分类算法——KNN算法(二)

embedded/2024/12/23 7:42:52/

什么是K-近邻算法

1KNN原理
K Nearest Neighbor算法又叫KNN算法,这个算法是机器学习里面一个比较经典的算法,总体来说KNN算法是相对比较容易理解的算法

  • 定义

如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类别。

来源:KNN算法最早是由Cover和Hart提出的一种分类算法

  • 距离公式
    两个样本的距离可以通讨如下公式计算,又叫欧式距离

在这里插入图片描述

距离计算有:曼哈顿距离(绝对值距离)、明可关斯基距离

2电影类型分析
在这里插入图片描述
其中 ? 号电影不知道类别,如何去预测:利用K近邻算法
在这里插入图片描述

3问题

  • 如果取的最近的电影数量不一样,会是什么结果
    • k值取得过小,容易受到异常点的影响
    • k值取得过大,样本不均衡的影响
  • 分析K-近邻算法需要做什么样的处理
    • 无量纲化的处理(标准化)

K-近邻算法API

  • sklearn.neighbors.KNeighborsClassifier(n_neighbors=5,algorithm=‘auto’)
    • n_neighbors:int,可选(默认= 5),k_neighbors查询默认使用的邻居数
    • algorithm:{‘auto’,‘ball_tree’,‘kd_tree’,‘brute’},可选用于计算最近邻居的算法:‘ball_tree’ 将会使用 BallTree,‘kd_tree’ 将使用 KDTree。'auto’将尝试根据传递给 fit 方法的值来决定最合适的算法

案例:鸢尾花种类预测

流程:
①获取数据
②数据集划分
③特征工程(标准化)
④KNN预估器流程
⑤模型评估

1数据集介绍
lris数据集是常用的分类实验数据集,由Fisher,1936收集整理。lris也称鸢尾花卉数据集,是一类多重变量分析的数据集。关于数据集的具体介绍:
在这里插入图片描述
2代码过程

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import kNeighborsClassifierdef knn_iris():#1)获取数据iris=load_iris()#2)划分数据集x_train,x_test,y_train,y_test=train_test_split(iris.data,iris.target,random_state=6)#3)特征工程:标准化transfer=StandardScaler()x_train=transfer.fit_transform(x_train)x_test=transfer.transform(x_test)#4)KNN算法预估器estimator=KNeighborsClassifierl(n_neighbors=3)estimator.fit(x_train, y_train)#5)模型评估#方法1:直接比对真实值和预测值y_predict=estimator.predict(x_test)print("y_predict:\n",y_predict)print("直接比对真实值和预测值:\n",y_test==y _predict)#方法2:计算准确率score=estimator.score(x_test,y_test)print("准确率为:\n",score)return None

3运行结果
在这里插入图片描述

4结果分析

  • k值取多大?有什么影响?
    • k值取很小:容易受到异常点的影响
    • k值取很大:受到样本均衡的问题
  • 性能问题?
    • 距离计算上面,时间复杂度高

K-近邻总结

  • 优点:
    • 简单,易于理解,易于实现,无需训练
  • 缺点:
    • 懒惰算法,对测试样本分类时的计算量大,内存开销大
    • 必须指定K值,K值选择不当则分类精度不能保证
  • 使用场景:小数据场景,几千~几万样本,具体场景具体业务去测试

http://www.ppmy.cn/embedded/1872.html

相关文章

AGI的智力有可能在两年内超过人类水平

特斯拉CEO埃隆马斯克近日与挪威银行投资管理基金CEO坦根的访谈中表示,AGI的智力将在两年内可能超过人类智力,在未来五年内,AI的能力很可能超过所有人类。 马斯克透漏,去年人工智能发展过程中的主要制约因素是缺少高性能芯片&#…

ETL结合飞书快速实现业务信息同步

一、ETL工具介绍 ETLCloud数据集成平台是一款针对IT以及数据工程师推出的全域数据集成平台产品。它是集实时数据集成和离线数据集成以及API发布为一体的数据集成平台。与其他开源数据集成工具相比,系统采用轻量化架构、具有更快的部署速度、更快的数据传输速度、更…

华为海思校园招聘-芯片-数字 IC 方向 题目分享——第三套

华为海思校园招聘-芯片-数字 IC 方向 题目分享——第三套 (共9套,有答案和解析,答案非官方,未仔细校正,仅供参考) 部分题目分享,完整版获取(WX:didadidadidida313,加我备注&#x…

sql server2008触发器

sql server在Navicat工具不能插入数据 可以去写代码插入,代码连接sql server可以插入 或者使用sql server专门的工具 BEGINdeclare a int;declare s t_amount;select a baddebt_age_id,srate from aa_baddebt_age;INSERT INTO dade(id,name) VALUES(a,s) END1、插…

一些优雅的算法(c++)

求最大公约数&#xff1a;辗转相除法 int gcd(int a,int b){return b0?a:gcd(b,a%b); }求最小公倍数&#xff1a;两整数之积除以最大公约数 int lcm(int a, int b){return a*b / gcd(a, b); }十进制转n进制&#xff1a; char get(int x){if(x<9){return x0;}else{return…

QML中使用正则表达式

我想在TextField控件中使用正则表达式&#xff0c;然后GPT4给出的回答是这样的&#xff1a; TextField {id: versionInputplaceholderText: qsTr("输入版本号")validator: RegExpValidator { regExp: /^[a-zA-Z0-9]*$/ } // 仅允许字母和数字width: 120 // 设置合…

HTML5新增的多媒体标签

在网页中加入音乐 <audio></audio> src 设置音乐文件名以及路径,<audio>标记支持MP3、WAV及OGG 3种音乐格式 autoplay&#xff1a;是否自动播放,加入autopaly属性表示自动播放 controls&#xff1a; 是否显示播放面板,加入controls属性表示显示播放面板 …

Go 编译构建的一些细节

Go 编译构建的一些细节 发现自己竟然没有怎么认真研究过 go 的编译构建命令。 结论前置 go run 专门用来运行命令源码文件的命令&#xff0c;一般用来运行单个文件go build 主要是用于测试编译。编译某个包或者项目&#xff0c;在当前目录下生成可执行文件go install 编译并…