昇思训练营打卡第十八天（K近邻算法实现红酒聚类）

K近邻（K-Nearest Neighbors，KNN）算法是一种基本的机器学习算法，它既可以用于分类任务，也可以用于回归任务。KNN算法的核心思想是，如果一个新样本在特征空间中的K个最邻近的样本大多数属于某一个类别，那么这个新样本也属于这个类别

KNN算法的基本步骤

选择距离度量：确定样本之间的距离计算方法，常用的距离度量方法有欧氏距离、曼哈顿距离等。
确定邻居的数量K：K值的选择对KNN算法的结果有重要影响，K值通常需要通过交叉验证等方法来确定。
选择训练样本：训练样本应该能够代表整个数据集的特性。
进行分类：
- 对于一个新的输入实例，计算它与训练集中每一个实例的距离。
- 选择距离最近的K个实例。
- 根据这K个实例的标签，通过多数投票等方式，确定新实例的类别。

KNN算法的优缺点

优点：

简单易懂，易于实现。
不需要训练模型，因此对于训练数据没有假设，适用于各种类型的决策边界。
可以适用于多分类问题。

缺点：

计算量大，因为需要计算每个测试样本与所有训练样本的距离。
对噪声和离群点敏感，因为它们会影响近邻的选择。
需要预先确定K值，K值的选择对结果有较大影响。

应用场景

KNN算法在现实世界中广泛应用于模式识别、文本分类、图像识别等领域，尤其是在数据分布较为稠密且特征维度不高的情况下表现良好。

from download import download# 下载红酒数据集
url = "https://ascend-professional-construction-dataset.obs.cn-north-4.myhuaweicloud.com:443/MachineLearning/wine.zip"  
path = download(url, "./", kind="zip", replace=True)
%matplotlib inline
import os
import csv
import numpy as np
import matplotlib.pyplot as pltimport mindspore as ms
from mindspore import nn, opsms.set_context(device_target="CPU")
with open('wine.data') as csv_file:data = list(csv.reader(csv_file, delimiter=','))
print(data[56:62]+data[130:133])
X = np.array([[float(x) for x in s[1:]] for s in data[:178]], np.float32)
Y = np.array([s[0] for s in data[:178]], np.int32)
attrs = ['Alcohol', 'Malic acid', 'Ash', 'Alcalinity of ash', 'Magnesium', 'Total phenols','Flavanoids', 'Nonflavanoid phenols', 'Proanthocyanins', 'Color intensity', 'Hue','OD280/OD315 of diluted wines', 'Proline']
plt.figure(figsize=(10, 8))
for i in range(0, 4):plt.subplot(2, 2, i+1)a1, a2 = 2 * i, 2 * i + 1plt.scatter(X[:59, a1], X[:59, a2], label='1')plt.scatter(X[59:130, a1], X[59:130, a2], label='2')plt.scatter(X[130:, a1], X[130:, a2], label='3')plt.xlabel(attrs[a1])plt.ylabel(attrs[a2])plt.legend()
plt.show()
train_idx = np.random.choice(178, 128, replace=False)
test_idx = np.array(list(set(range(178)) - set(train_idx)))
X_train, Y_train = X[train_idx], Y[train_idx]
X_test, Y_test = X[test_idx], Y[test_idx]
class KnnNet(nn.Cell):def __init__(self, k):super(KnnNet, self).__init__()self.k = kdef construct(self, x, X_train):#平铺输入x以匹配X_train中的样本数x_tile = ops.tile(x, (128, 1))square_diff = ops.square(x_tile - X_train)square_dist = ops.sum(square_diff, 1)dist = ops.sqrt(square_dist)#-dist表示值越大，样本就越接近values, indices = ops.topk(-dist, self.k)return indicesdef knn(knn_net, x, X_train, Y_train):x, X_train = ms.Tensor(x), ms.Tensor(X_train)indices = knn_net(x, X_train)topk_cls = [0]*len(indices.asnumpy())for idx in indices.asnumpy():topk_cls[Y_train[idx]] += 1cls = np.argmax(topk_cls)return cls
acc = 0
knn_net = KnnNet(5)
for x, y in zip(X_test, Y_test):pred = knn(knn_net, x, X_train, Y_train)acc += (pred == y)print('label: %d, prediction: %s' % (y, pred))
print('Validation accuracy is %f' % (acc/len(Y_test)))

。