支持向量机(Support Vector Machine, SVM)从线性分类到核函数扩展

news/2025/1/31 0:40:09/

目录

  • 1. 线性分类与最大间隔
  • 2. 支持向量
  • 3. 软间隔与惩罚因子
  • 4. 核函数扩展
  • 5. SVM的优缺点
      • 6. SVM代码示例

支持向量机(Support Vector Machine,简称SVM)是一种强大而广泛应用的监督学习算法,用于分类和回归任务。本文将深入解析SVM的原理,从线性分类到核函数扩展

1. 线性分类与最大间隔

SVM的核心思想是在特征空间中找到一个最优的超平面,将不同类别的样本分开。对于线性可分的情况,SVM通过最大化分类边界(超平面)与两类样本之间的间隔来实现分类。这个间隔被称为最大间隔,使得SVM具有较好的鲁棒性和泛化能力

2. 支持向量

支持向量是指离最大间隔超平面最近的那些样本点。这些样本点对于定义超平面和决策边界起到重要作用。支持向量决定了SVM模型的结构和性能

3. 软间隔与惩罚因子

在实际应用中,很少有线性可分的数据集。为了处理线性不可分的情况,引入了软间隔(soft margin)概念。软间隔允许一些样本点位于超平面错误的一侧。为了平衡分类边界的鲁棒性和泛化能力,引入了惩罚因子C。C的取值决定了对误分类样本的容忍程度,较小的C会产生较宽松的决策边界,而较大的C会产生较严格的决策边界

4. 核函数扩展

当数据集不是线性可分的时候,线性SVM无法有效分类。为了解决这个问题,SVM引入了核函数的概念。核函数能够将低维特征空间中的样本映射到高维特征空间,从而使得原本线性不可分的问题变得线性可分。常用的核函数有线性核、多项式核、高斯核等

5. SVM的优缺点

SVM的优点:

  • 可处理高维特征空间和样本数量较大的数据集
  • 在处理线性可分问题时,具有较好的鲁棒性和泛化能力
  • 支持不同核函数的扩展,能够处理非线性问题

SVM的缺点:

  • 对于大规模数据集和高维数据集,训练时间较长
  • 对于选择合适的核函数和参数调优较为敏感
  • 在处理噪声较多的数据集时,容易产生过拟合

6. SVM代码示例

from sklearn.datasets import load_iris
from sklearn.svm import SVC
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score# 加载数据集
iris = load_iris()
X = iris.data
y = iris.target# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)# 创建SVM模型
model = SVC()# 训练模型
model.fit(X_train, y_train)# 预测结果
y_pred = model.predict(X_test)# 评估模型
accuracy = accuracy_score(y_test, y_pred)
print("准确率:", accuracy)

代码中,首先加载了一个经典的鸢尾花数据集(Iris),将数据集划分为训练集和测试集。然后们创建一个SVM分类模型,并使用训练集进行训练。使用测试集进行预测,并计算准确率来评估模型的性能


http://www.ppmy.cn/news/490752.html

相关文章

CMD命令查看IP地址

想要查看你的IP地址,很简单,只需要输入一个命令即可。打开C:\Windows\System32\cmd.exe,输入以下命令: ipconfig(下面的保密,是隐私,不要偷看!)如果想要看全的&#xff…

如何使用cmd查看本机IP地址

1、打开Command Prompt(命令提示符界面) 方法一:在开始菜单搜索框输入cmd→Command Prompt(命令提示符) 方法二:按【WinR】快捷键→输入cmd→OK 2、输入查询命令ipconfig查看

CMD查找域名对应的IP地址

进入cmd终端 在终端输入nslookup Address就会显示你的ip 以百度为例

cmd查看IP地址指令

ipconfig /all ipconfig /all

cmd下查询公网ip地址

telnet cip.cc 另:tracert http://www.baidu.com 你可以看到 你公网地址的网关但看不到你当前的公网地址 nslookup命令可以查看DNS配置

如何用CMD查看本机的IP地址

第一、先打开cmd窗口,两种方式 第一种方式: 第二种方式:winR 第二、命令行输入:IPCONFIG /ALL。 连接的wifi选择无线局域网适配器下的IPv4地址即为本机ip地址。

查询建立连接的IP地址

windows键加R打开对话框 输入cmd回车,打开命令提示符窗口 可以找到一个应用程序,与另一台设备建立连接 在命令提示符窗口输入netstat -n,回车 显示所有那些IP地址与本计算机建立了连接 ESTABLISHED是建立连接成功,将这些地址复制到…

查看计算机本机IP地址,本机ip地址查询

一:本机ip地址查询,首先介绍下,查看电脑在局域网里的ip地址 首先,右击“网上邻居”,选择“属性”; 然后,在打开的窗口中找到“本地连接”,右击,选择“属性”; 第三,在弹出…