此公式出现在线性可分支持向量机基于拉格朗日函数L(w,b,α)对w求导的公式中。为什么 $\frac{1}{2}\Vert \mathbf{w}{\Vert }^2$ 对 $\mathbf{w}$ 的偏导数是 $\mathbf{w}$。这个问题涉及到向量的微分运算。

1. 复习：向量的范数

我们首先来看 $\Vert \mathbf{w}{\Vert }^2$，它是法向量 $\mathbf{w}$ 的二次范数，表示为：
$$\Vert \mathbf{w}{\Vert }^2={\mathbf{w}}^T\mathbf{w}$$

其中 ${\mathbf{w}}^T\mathbf{w}$ 是向量 $\mathbf{w}$ 的点积，结果是一个标量。

2. 求 $\frac{1}{2}\Vert \mathbf{w}{\Vert }^2$ 的偏导数

我们现在要对 $\frac{1}{2}\Vert \mathbf{w}{\Vert }^2$ 求关于 $\mathbf{w}$ 的偏导数。

首先，考虑 $\Vert \mathbf{w}{\Vert }^2={\mathbf{w}}^T\mathbf{w}$，其对 $\mathbf{w}$ 的偏导数可以用矩阵微分的规则来求解。根据矩阵微分公式：
$$\frac{\partial }{\partial \mathbf{w}}\left({\mathbf{w}}^T\mathbf{w}\right)=2\mathbf{w}$$

这是一个常用的矩阵微分公式，背后的原因是，${\mathbf{w}}^T\mathbf{w}$ 展开后是 $w_1^2+w_2^2+\cdots +w_n^2$，对每个 $w_i$ 求导都会得到 $2w_i$，于是整体对 $\mathbf{w}$ 求导的结果是 $2\mathbf{w}$。

3. 考虑系数 $\frac{1}{2}$

由于我们在这里要对 $\frac{1}{2}\Vert \mathbf{w}{\Vert }^2$ 进行求导，因此我们可以将求导结果除以 2：
$$\frac{\partial }{\partial \mathbf{w}}\left(\frac{1}{2}{\mathbf{w}}^T\mathbf{w}\right)=\mathbf{w}$$

4. 公式总结

因此，$\frac{1}{2}\Vert \mathbf{w}{\Vert }^2$ 对 $\mathbf{w}$ 的偏导数为 $\mathbf{w}$。这就是为什么在公式 9-18 中，$\frac{\partial L}{\partial \mathbf{w}}$ 的第一部分是 $\mathbf{w}$。

总结

• $\Vert \mathbf{w}{\Vert }^2$ 是向量 $\mathbf{w}$ 的二次范数，对 $\mathbf{w}$ 求偏导数的结果是 $2\mathbf{w}$。
• 在拉格朗日函数中，前面有系数 $\frac{1}{2}$，因此最后的结果是 $\mathbf{w}$。

这个求导结果是矩阵微分中的一个常见公式，广泛应用于机器学习优化问题中，特别是在涉及二次项时，如支持向量机等。