Python 实现 KNN 分类算法
本文将详细讲述 KNN 算法及其 python 实现
1. KNN
KNN(K-Nearest Neighbour)即 K最近邻,是分类算法中最简单的算法之一。KNN 算法的核心思想是 如果一个样本在特征空间中的 k 个最相邻的样本中的大多数属于某一个类别,则将该样本归为该类别
1.1 KNN 分类算法步骤
有 N 个已知分类结果的样本点,对新纪录 r
使用 KNN 将其分类
- 1.确定
k
值,确定计算距离的公式,如常用欧氏距离 $d(x,y)=\sqrt{\displaystyle \sum^n_{i = 1}{{(x_i-y_i)}^2}}$ - 2.计算
r
和其他样本点之间的距离 $d_{ir}$,其中 $i\in(1,N)$ - 3.得到与
r
最接近的k
个样本 - 4.将
k
个样本中最多归属类别的分类标签赋予新纪录r
,分类结束