k近邻算法K-Nearest Neighbors（KNN）

算法核心

KNN算法的核心思想是“近朱者赤，近墨者黑”。对于一个待分类或预测的样本点，它会查找训练集中与其距离最近的K个样本点（即“最近邻”）。然后根据这K个最近邻的标签信息来对当前样本进行分类或回归。在分类任务中，通常是根据K个最近邻中出现次数最多的类别来确定待分类样本的类别；在回归任务中，则是根据K个最近邻的目标值的平均值来预测待预测样本的目标值。

例如在图中：

如果我们以k=3画圆，因为在圆圈内ClassB出现的数量要比ClassA更多，因此我们可以把它归到ClassB

但如果我们以k=6画圆，因为在圆圈内ClassA出现的数量要比ClassB更多，因此我们可以把它归到ClassA

值得注意的是：这里的k是离我们观测点最近的第k个点，而非半径

距离选择

这里的距离可以采用不同的求法，常见的距离度量方式有：

• 欧氏距离：这是最常见的距离度量方式，它计算的是样本点在多维空间中的直线距离。对于两个样本点 x = (x_1, x_2, ..., x_n) 和 y = (y_1, y_2, ..., y_n) ，欧氏距离定义为 \sqrt{(x_1 - y_1)^2 + (x_2 - y_2)^2 + ... + (x_n - y_n)^2} 。• 曼哈顿距离：它计算的是样本点在坐标轴方向上的绝对距离之和，即 |x_1 - y_1| + |x_2 - y_2| + ... + |x_n - y_n| 。在某些场景下，比如在城市街区网格中计算两点之间的距离时，曼哈顿距离更符合实际情况。

• 明可夫斯基距离：它是一种更通用的距离度量，欧氏距离和曼哈顿距离都是它的特例。明可夫斯基距离的定义为

当 p = 2 时，就是欧氏距离；当 p = 1 时，就是曼哈顿距离

K值的选择

K值的选择对KNN算法的性能影响很大。如果K值选得太小，算法会过于敏感，容易受到噪声数据的影响。例如，当K = 1时，一个噪声点可能会直接影响到分类或回归的结果。如果K值选得太大，算法又会过于“平滑”，可能会将不同类别的样本混合在一起。比如在一个复杂的分类问题中，如果K值过大，可能会导致不同类别之间的边界模糊。通常，k值选择时一般选择的是比较小的值，像是3、5、7、9这样的个位单数

kd树优化算法

kd树（k-d tree，k维树）是用于优化KNN算法中最近邻搜索过程的一种数据结构。

kd树的作用

1. 加速最近邻搜索

• 在KNN算法中，最耗时的部分是计算待预测点与训练集中所有点之间的距离，以找到最近的K个邻居。当训练集规模很大时，这种暴力搜索方法效率非常低。

• kd树通过将训练数据组织成一种树形结构，能够快速定位到与目标点最近的区域，从而减少需要计算距离的点的数量，大大加快最近邻搜索的速度。

2. 空间划分

• kd树是一种二叉树结构，它通过递归地将数据空间划分为超矩形区域。在每次划分时，选择一个维度（通常是方差最大的维度）作为划分轴，将数据点按照该维度的中值分为两部分，分别存储在树的左子树和右子树中。通过这种方式，kd树将整个数据空间划分为多个小区域，每个区域对应树中的一个节点。

kd树的构建过程

1. 选择划分维度

• 在构建kd树时，需要选择一个维度作为划分轴。通常会选择方差最大的维度，因为方差大的维度意味着数据在这个方向上的分布更分散，划分效果更好。

2. 选择划分点

• 在选定的维度上，选择该维度的中值作为划分点。将小于中值的点分配到左子树，大于中值的点分配到右子树。

3. 递归划分

• 对左右子树重复上述过程，每次选择不同的维度进行划分，直到每个区域只包含一个数据点，或者满足其他停止条件。

kd树在KNN中的使用

1. 搜索最近邻

• 当需要找到某个目标点的最近邻时，kd树会从根节点开始，沿着树的结构向下搜索。根据目标点在当前划分维度上的值，决定是进入左子树还是右子树。通过这种方式，可以快速定位到目标点所在的区域。

2. 回溯查找

• 单纯沿着树向下搜索可能无法找到真正的最近邻，因为可能存在其他区域的点距离目标点更近。因此，在搜索到叶子节点后，需要进行回溯。在回溯过程中，检查每个节点的划分超平面与目标点的距离，如果这个距离小于当前已知的最近距离，就需要检查另一侧子树，以确保找到真正的最近邻。

示例场景

假设我们有一个二维空间中的数据点集合，目标是找到某个目标点\(P\)的最近邻点。我们将通过以下步骤来展示如何利用空间划分和距离关系来优化搜索过程。

1.数据点和目标点

假设我们有以下数据点：

• \(A(1,1)\)

• \(B(2,2)\)

• \(C(10,10)\)

• \(D(11,11)\)

• \(E(12,12)\)

目标点\(P\)的坐标为\((0,0)\)。

2.构建空间划分结构（如kd树）

为了优化搜索过程，我们首先构建一个kd树。假设我们按照以下步骤构建kd树：

1. 选择第一个维度（x轴）作为划分轴，找到中值点\(B(2,2)\)。

2. 将数据点分为两部分：

• 左子树：\(A(1,1)\)

• 右子树：\(C(10,10)\)，\(D(11,11)\)，\(E(12,12)\)

3. 对右子树，选择第二个维度（y轴）作为划分轴，找到中值点\(D(11,11)\)。

4. 继续划分，直到每个区域只包含一个点。

构建的kd树如下：

        B(2, 2)/ \A(1, 1) D(11, 11)/ \C(10, 10) E(12, 12)

3.利用距离关系跳过某些点

现在，我们从目标点\(P(0,0)\)开始搜索其最近邻点。

第一步：从根节点开始

• 从根节点\(B(2,2)\)开始，计算\(P\)与\(B\)的距离：

第二步：选择子树

• 由于\(P\)的 x 坐标小于\(B\)的 x 坐标，我们进入左子树，到达点\(A(1,1)\)。

• 计算\(P\)与\(A\)的距离：

• 目前，\(A\)是最近邻点，最近距离为\(\sqrt{2}\)。

第三步：回溯并跳过某些点

• 回溯到根节点\(B\)。检查右子树是否可能包含更近的点。

• 计算目标点\(P\)到右子树划分超平面（x=2）的距离：

• 由于\(2>\sqrt{2}\)，这意味着右子树中任何点到\(P\)的距离都不会小于当前的最近距离\(\sqrt{2}\)。因此，我们可以跳过右子树中的所有点（\(C\)，\(D\)，\(E\)），而不需要进一步计算它们与\(P\)的距离。

4.优化后的搜索过程

通过上述步骤，我们利用了空间划分（kd树）和距离关系（跳过距离远的点）来优化搜索过程。最终，我们确定\(A(1,1)\)是目标点\(P(0,0)\)的最近邻点，而无需计算\(P\)与右子树中所有点的距离。

5.复杂度分析

• 暴力搜索：计算目标点与所有点的距离，复杂度为\(O(DN)\)。

• 优化后的搜索：通过kd树的空间划分和跳过无关区域，复杂度降低到\(O(DN\log N)\)。这是因为：

• 构建kd树的复杂度为\(O(N\log N)\)。

• 搜索过程通过递归和回溯，每次只需要检查部分点，而不是所有点。

应用实例

以下是一个使用Python和`scikit-learn`库实现的KNN算法对鸢尾花（Iris）数据集进行分类的完整代码示例。鸢尾花数据集是机器学习中常用的入门数据集，包含150个样本，每个样本有4个特征（花萼长度、花萼宽度、花瓣长度、花瓣宽度），分为3个类别。

# 导入必要的库
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier
from sklearn.metrics import classification_report, confusion_matrix, accuracy_score# 加载鸢尾花数据集
iris = load_iris()
X = iris.data  # 特征数据
y = iris.target  # 标签数据# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)# 数据标准化
scaler = StandardScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test)# 创建KNN分类器
k = 3  # 选择K值
knn = KNeighborsClassifier(n_neighbors=k)# 训练模型
knn.fit(X_train, y_train)# 进行预测
y_pred = knn.predict(X_test)# 评估模型
print("混淆矩阵：")
print(confusion_matrix(y_test, y_pred))
print("\n分类报告：")
print(classification_report(y_test, y_pred))
print("\n准确率：")
print(accuracy_score(y_test, y_pred))# 输出测试集的真实标签和预测标签
print("\n测试集的真实标签：", y_test)
print("测试集的预测标签：", y_pred)

代码说明

1. 加载数据集

• 使用`load_iris()`函数加载鸢尾花数据集。

• 数据集包含150个样本，每个样本有4个特征，分为3个类别（0、1、2）。

2. 划分训练集和测试集

• 使用`train_test_split()`函数将数据集划分为训练集和测试集，其中测试集占30%。

• 设置`random_state`参数以确保结果的可重复性。

3. 数据标准化

• 使用`StandardScaler`对特征数据进行标准化处理，使每个特征的均值为0，标准差为1。这有助于提高KNN算法的性能。

4. 创建KNN分类器

• 使用`KNeighborsClassifier`创建KNN分类器，设置`n_neighbors=k`，其中`k`是最近邻的数量。

5. 训练模型

• 使用`fit()`方法训练模型。

6. 进行预测

• 使用`predict()`方法对测试集进行预测。

7. 评估模型

• 使用`confusion_matrix`、`classification_report`和`accuracy_score`评估模型的性能。

• 输出混淆矩阵、分类报告和准确率。

注意事项

1. K值的选择

• K值的选择对KNN算法的性能有很大影响。可以通过交叉验证等方法来选择最优的K值。

2. 数据标准化

• 对于KNN算法，数据标准化是非常重要的，因为KNN依赖于距离计算，而不同特征的量纲可能不同。

3. 数据集划分

• 数据集的划分方式可能会影响模型的性能，可以通过多次划分或使用交叉验证来评估模型的稳定性。