如何衡量分类器对当前样本的效果好坏?
需要损失函数
什么是损失函数?
损失函数搭建了模型性能与模型参数之间的桥梁,指导
模型参数优化。
损失函数是一个函数,用于度量给定分类器的预测值与真实值
的不一致程度,其输出通常是一个非负实值。
其输出的非负实值可以作为反馈信号来对分类器参数进行调整,
以降低当前示例对应的损失值,提升分类器的分类效果。
因为我们线性分类模型都是预测 多个不同类别
多类支撑向量机损失
- 正确类别的得分比不正确类别高出1分,就没有损失
- 否则,就会产生损失
对于鸟的损失
对于猫的损失
对于车的损失
正则项
L1 正则项
L2正则项
示例
优化算法目标
什么是参数优化?
参数优化是机器学习的核心步骤之一,它利用损失
函数的输出值作为反馈信号来调整分类器参数,以提升
分类器对训练样本的预测性能。
数值梯度: 近似, 慢, 易写
解析梯度: 精确, 快, 易错
数值梯度有什么作用?
答:求梯度时一般使用解析梯度,而数值梯度主要用于解析梯度的正确性校验(梯度检查)