机器学习3_支持向量机_线性不可分——MOOC

news/2024/11/13 8:24:25/

线性不可分的情况

如果训练样本是线性不可分的,那么上一节问题的是无解的,即不存在 \omega 和 b 满足上面所有N个限制条件。

对于线性不可分的情况,需要适当放松限制条件,使得问题有解。

放松限制条件的基本思路:

\Rightarrow 对每个训练样本及标签 \left ( X_i,Y_i \right )

\Rightarrow 设置松弛变量(slack variable)\delta _i

对于线性不可分情况,需适当放松限制条件

限制条件改写:y_i\left ( \omega ^Tx_i+b \right )\geq 1-\delta _i,(i=1\sim N)

改造后的支持向量机优化版本

最小化:\frac{1}{2}\left \| \omega \right \|^2+C\Sigma _{i=1}^N\delta _i  或  \frac{1}{2}\left \| \omega \right \|^2+C\Sigma _{i=1}^N\delta _i^2

限制条件:

(1)\delta _i\geq 0,\left ( i=1\sim N \right )

(2)y_i\left ( \omega ^TX_i+b \right )\geq 1-\delta _i,\left ( i=1\sim N \right )

  • 以前的目标函数只需要最小化  \frac{1}{2}\left \| \omega \right \|^2 现在的目标函数增加了一项  所有 \delta _i 的和。
  • 比例因子 C\Rightarrow  平衡两项

比例因子 C 是人为设定的。

人为事先设定的参数叫做算法的超参数(Hyper Parameter)

实际中:不断变化 C 的值 \Rightarrow 同时测试算法的识别率 \Rightarrow 选取超参数 C

一个算法中,选取的超参数 C 越多,意味着算法需要手动调整优化的地方也就越多,这样算法的自动性也会降低。

支持向量机是超参数很少的算法模型。

超参数很多的算法模型,如人工神经网络、卷积神经网络等。

在线性不可分情况下应用支持向量机

取目标函数:\frac{1}{2}\left \| \omega \right \|^2+C\Sigma _{i=1}^N\delta _i,C=10000

C=10000 是为了超平面和线性可分情况保持基本一致

以下是训练数据以及解出的分类面的展示

可以看到这个分类面分开大多数的圆圈和叉,只在一个训练样本上存在分类的错误。

有了线性不可分情况下的支持向量机算法

如图,这个解分错了将近一半的样本,这个解远远不能让人满意。

问题在于我们的算法模型是线性的。也就是,我们假设分开两类的函数是直线或者超平面,我们是在一组直线和超平面中选择最合适分开这两类数据的直线或者超平面。但线性模型的表现力是不够的。

在下图这个例子中,可以看到能够分开这两类的是某种曲面,例如这个椭圆,而不是直线。

因此,我们只有想办法扩大可选函数的范围,使它超越线性,才有可能应对各种复杂的线性不可分的情况。


低维到高维的映射

支持向量机在扩大可选函数范围方面独树一帜。

其他算法,如人工神经网络、决策树等,采用的是直接产生更多可选函数的方式。

例如上图,在人工网络中,通过多层非线性函数的组合能够产生类似于椭圆这样的曲线,从而分开这幅图中的圆圈和叉。

支持向量机却不是直接产生这样的函数,而是通过将特征空间由低维映射到高维,然后在高维的特征空间当中用线性超平面对数据进行分类。

X_1X_2 是图中的❌,X_3X_4 是图中的⭕️

这个例子是线性不可分的

如果我们构造一个二维到五维到映射 \varphi \left ( x \right ) 

\varphi \left ( x \right ): x=\begin{bmatrix} a\\ b \end{bmatrix}\rightarrow \varphi \left ( x \right )=\begin{bmatrix} a^2\\ b^2\\ a\\ b\\ ab \end{bmatrix}

按照这个映射,可以解出X_1X_2 、X_3X_4

\varphi \left ( X_1 \right )=\begin{bmatrix} 0\\ 0\\ 0\\ 0\\ 0 \end{bmatrix}     \varphi \left ( X_2 \right )=\begin{bmatrix} 1\\ 1\\ 1\\ 1\\ 1 \end{bmatrix}     \varphi \left ( X_3 \right )=\begin{bmatrix} 1\\ 0\\ 1\\ 0\\ 0 \end{bmatrix}     \varphi \left ( X_4 \right )=\begin{bmatrix} 0\\ 1\\ 0\\ 1\\ 0\end{bmatrix}

当映射变成五维时\varphi \left ( X_1 \right )\varphi \left ( X_2 \right )\varphi \left ( X_3 \right )\varphi \left ( X_4 \right )  线性可分

设:

\omega =\begin{bmatrix} -1\\ -1\\ -1\\ -1\\ 6 \end{bmatrix}

b=1

可以算出

\omega ^T\varphi \left (X_1\right )+b = 1\geqslant 0                  \omega ^T\varphi \left (X_2\right )+b = 3\geqslant 0

\omega ^T\varphi \left (X_3\right )+b =- 1< 0               \omega ^T\varphi \left (X_4\right )+b = -1< 0

由于X_1X_2 是同一类,X_3X_4 是同一类

人为二维到五维到映射 \varphi \left ( X \right )线性不可分的数据集 \Rightarrow 线性可分的数据集

假设:

在一个M维空间上随机取N个训练样本,随机的对每个训练样本赋予标签 +1 或 -1

假设:

这些训练样本线性可分的概率为 P\left ( M \right )

当 M 趋于无穷大时,P\left ( M \right )=1

即,当我们增加特征空间的维度 M 的时候,超平面待估计的参数 \left ( \omega ,b \right ) 的维度也会增加。也就是整个算法模型的自由度会增加。

这个定理告诉我们,将训练样本由低维映射到高维 \Rightarrow 增大线性可分的概率。


http://www.ppmy.cn/news/1546071.html

相关文章

Codeforces Round 984 (Div. 3)

题目链接 A. Quintomania 题意 思路 模拟即可 示例代码 void solve() {int n;cin >> n;vector<int>arr(n);fer(i, 0 ,n) cin >> arr[i];fer(i, 1, n){if(abs(arr[i] - arr[i - 1]) ! 5 && abs(arr[i] - arr[i - 1]) ! 7){cout << "N…

信息安全工程师(78)网络安全应急响应技术与常见工具

前言 网络安全应急响应是指为应对网络安全事件&#xff0c;相关人员或组织机构对网络安全事件进行监测、预警、分析、响应和恢复等工作。 一、网络安全应急响应技术 网络安全应急响应组织 构成&#xff1a;网络安全应急响应组织主要由应急领导组和应急技术支撑组构成。领导组负…

跨界码王:21天从产品汪到攻城狮 | 通义灵码和TA的朋友们

本文转自通义灵码用户分享 我是一名产品汪汪经理&#xff0c;常以满腹需求面对程序猿小哥哥小姐姐的冷眼。我在AI师傅实现了Python入门的从0到1&#xff08;其实是到0.5啦~&#xff09;。 从一个从没写通超过十行代码的编程小白&#xff0c;现在跑通了140行代码实现了自己提的需…

使用 Python 和 OpenCV 实现实时人脸识别

概述 人脸识别是一项重要的计算机视觉任务&#xff0c;广泛应用于安全监控、身份验证等领域。本文将详细介绍如何使用 Python 和 OpenCV 库实现实时人脸识别&#xff0c;并通过具体的代码示例来展示整个过程。 环境准备 在开始编写代码之前&#xff0c;确保已经安装了 OpenC…

PyTorch核心概念:从梯度、计算图到连续性的全面解析(三)

文章目录 Contiguous vs Non-Contiguous TensorTensor and ViewStrides非连续数据结构&#xff1a;Transpose( )在 PyTorch 中检查Contiguous and Non-Contiguous将不连续张量&#xff08;或视图&#xff09;转换为连续张量view() 和 reshape() 之间的区别总结 参考文献 Contig…

GIT GUI和 GIT bash区别

Git GUI 和 Git Bash 都是与 Git 版本控制工具相关的用户界面&#xff0c;但它们有不同的功能和用途。下面详细说明它们的区别及各自的作用&#xff1a; Git GUI 作用&#xff1a; Git GUI 是一个图形用户界面&#xff08;GUI&#xff09;工具&#xff0c;用于执行 Git 操作。…

VBA08-if语句

一、单行 If 语句 If x > 10 Then MsgBox "x is greater than 10"二、多行 If...Then...End If 语句 If x > 10 ThenMsgBox "x is greater than 10"y x 5 End If 三、If...Then...Else 语句 If condition Then 当条件为真时执行的代码块stateme…

金融行业信息流投放方法论及金融客户投放案例

失血2024&#xff0c;金融行业进入“极寒”&#xff0c;广告投放也不例外。 受金融政策管控&#xff0c;在渠道投放受限也颇多&#xff0c;创意文案及素材上审核异常严格&#xff0c;整体投放成本高…… 金融理财信息流广告投放&#xff0c;如带着“镣铐”跳舞&#xff0c;束…