线性可分支持向量机的原理推导 线性分隔超平面关于任意样本点 (x_i,y_i)的函数间隔 公式解析

news/2024/10/24 20:48:48/

本文是将文章《线性可分支持向量机的原理推导》中的公式单独拿出来做一个详细的解析,便于初学者更好的理解。


公式 9-1 用来表达训练集样本点 ( x i , y i ) (\mathbf{x}_i, y_i) (xi,yi) 到线性可分支持向量机分离超平面的距离。
d ^ i = y i ( w ⋅ x i + b ) (9-1) \hat d_i=y_i(w·x_i+b) \tag{9-1} d^i=yi(wxi+b)(9-1)

1. 支持向量机的基本背景

支持向量机的目标是找到一个超平面将不同类别的数据分开,且保证间隔(分类超平面与支持向量之间的距离)最大化。超平面的一般形式为:
w T x + b = 0 \mathbf{w}^T \mathbf{x} + b = 0 wTx+b=0

其中 w \mathbf{w} w 是超平面的法向量, b b b 是偏置。

分类函数 f ( x ) f(\mathbf{x}) f(x) 的形式为:
f ( x ) = sign ( w T x + b ) f(\mathbf{x}) = \text{sign}(\mathbf{w}^T \mathbf{x} + b) f(x)=sign(wTx+b)

这表示一个数据点 x \mathbf{x} x 是否位于分类超平面的某一侧,用于预测其分类标签。

2. 公式 9-1 的具体含义

公式 9-1 定义了样本点 ( x i , y i ) (\mathbf{x}_i, y_i) (xi,yi) 到分类超平面的“带符号距离”:
d ^ i = y i ( w T x i + b ) \hat d_i = y_i (\mathbf{w}^T \mathbf{x}_i + b) d^i=yi(wTxi+b)

解释:
  • d ^ i \hat d_i d^i 是带符号的距离,即考虑到样本点属于哪一类(由 y i y_i yi 表示)。
  • y i y_i yi 是样本 i i i 的真实标签,取值为 + 1 +1 +1 − 1 -1 1,分别表示两类。
  • w T x i + b \mathbf{w}^T \mathbf{x}_i + b wTxi+b 是点 x i \mathbf{x}_i xi 到超平面的函数值。

3. 公式的推导逻辑

  • y i = + 1 y_i = +1 yi=+1 时,如果 w T x i + b > 0 \mathbf{w}^T \mathbf{x}_i + b > 0 wTxi+b>0,说明该点位于超平面正确的一侧,且 d ^ i > 0 \hat d_i > 0 d^i>0 表示它的距离大于 0,意味着分类正确。
  • y i = − 1 y_i = -1 yi=1 时,若 w T x i + b < 0 \mathbf{w}^T \mathbf{x}_i + b < 0 wTxi+b<0 d ^ i \hat d_i d^i 也是正值,表示分类正确。

因此, d ^ i \hat d_i d^i 实际上是样本点到超平面的带符号距离,用来判定样本点是否被正确分类。

4. 为什么引入 y i y_i yi

y i y_i yi 的作用是将样本点的距离和它的真实分类关联起来。对于每个样本,如果该样本位于超平面正确的一侧(即符合它的类别),则 d ^ i \hat d_i d^i 为正,反之为负。因此, y i y_i yi 的引入确保了无论样本属于哪一类,计算出的距离都是一致的,正值意味着分类正确。

5. 总结

公式 9-1 定义了支持向量机中样本点 ( x i , y i ) (\mathbf{x}_i, y_i) (xi,yi) 到分类超平面的距离,其中通过引入 y i y_i yi 来确保这个距离能够反映样本点是否被正确分类。


http://www.ppmy.cn/news/1541661.html

相关文章

6.Three.js贴图与uv映射(uv坐标)理解和实践

6.Three.js贴图与uv映射(uv坐标)理解和实践 贴图是构建计算机三维物体的重要组成部分&#xff0c;通过加入贴图&#xff0c;才能使Three.js构造的三维物体更具真实性。 下面我们将建立一个简单的面&#xff0c;并尝试在面上贴上贴图&#xff0c;实现如下效果&#xff1a; 1.u…

基于Linux来讲解Kconfig的基础知识

主要参考&#xff1a;Linux下menuconfig与Kconfig基础知识概要-CSDN博客 简介 menuconfig是Linux平台用于管理代码工程、模块及功能的实用工具。上至决定某一程序模块是否编译&#xff0c;下到某一行具体的代码是否需要编译以及某个项的值在本次编译时该是什么都可由menuconfig…

【HarmonyOS NEXT】权限申请及应用设置页跳转

关键词&#xff1a;鸿蒙、程序访问控制、定位、应用详情页、startability、want 在app开发过程中&#xff0c;常进行系统权限的申请以提供设备访问或个性化功能&#xff08;如扫一扫、城市定位、剪贴板等&#xff09;&#xff0c;从而保障应用功能的完整性&#xff0c;那么本期…

ClickHouse的特点与优势

副本特点 副本机制 ClickHouse利用ZooKeeper&#xff0c;通过ReplicatedMergeTree引擎&#xff08;Replicated 系列引擎&#xff09;实现了副本机制。副本机制是多主架构&#xff0c;可以将INSERT语句发送给任意一个副本&#xff0c;其余副本会进行数据的异步复制。 副本机制…

【Java后端】之 ThreadLocal 详解

想象一下&#xff0c;你有一个工具箱&#xff0c;里面放着各种工具。在多人共用这个工具箱的时候&#xff0c;很容易出现混乱&#xff0c;比如有人拿走了你的锤子&#xff0c;或者你找不到合适的螺丝刀。为了避免这种情况&#xff0c;最好的办法就是每个人都有自己独立的工具箱…

编译器与集成开发环境

编译器 一.什么是编译器 将高级语言代码转换成CPU能够识别的二进制指令 二.常用编译器 1.MSVC Windows平台Visual Studio(VS)自带的C/C编译器 2.MingW(编译环境)&#xff1a;gcc是MingW的核心组成 Linux/Windows 3.clang 苹果电脑上的开发工具&#xff0c;XCode 集成…

(A-D)AtCoder Beginner Contest 376

目录 比赛链接&#xff1a; A - Candy Button 题目链接&#xff1a; 题目描述&#xff1a; 数据范围&#xff1a; 输入样例&#xff1a; 输出样例&#xff1a; 样例解释&#xff1a; 分析&#xff1a; 代码&#xff1a; B - Hands on Ring (Easy) 题目链接&#xff1…

D. Deleting Divisors

传送门&#xff1a;Problem - D - Codeforces 题意&#xff1a; 思路&#xff1a;博弈论 打表找规律&#xff08; 递推 &#xff09; 如果 ans[i] 为 true &#xff0c;则 Alice 能赢 ans[i] 为 false&#xff0c;则 Bob 会赢 数字 n 的一个因子 为 x &#xff0c; 如果 …