线性分类器---损失函数与优化算法

news/2024/11/15 2:27:16/

在这里插入图片描述

如何衡量分类器对当前样本的效果好坏?

需要损失函数

什么是损失函数?

损失函数搭建了模型性能与模型参数之间的桥梁,指导
模型参数优化。
损失函数是一个函数,用于度量给定分类器的预测值与真实值
的不一致程度,其输出通常是一个非负实值
 其输出的非负实值可以作为反馈信号来对分类器参数进行调整,
降低当前示例对应的损失值提升分类器的分类效果。
在这里插入图片描述

因为我们线性分类模型都是预测 多个不同类别

多类支撑向量机损失

在这里插入图片描述

  • 正确类别的得分比不正确类别高出1分,就没有损失
  • 否则,就会产生损失

在这里插入图片描述
对于鸟的损失
在这里插入图片描述
对于猫的损失
在这里插入图片描述
对于车的损失
在这里插入图片描述
在这里插入图片描述

正则项

在这里插入图片描述
L1 正则项
在这里插入图片描述
L2正则项
在这里插入图片描述
示例
在这里插入图片描述

优化算法目标

什么是参数优化?
参数优化是机器学习的核心步骤之一,它利用损失
函数的输出值作为反馈信号来调整分类器参数,以提升
分类器对训练样本的预测性能。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
 数值梯度: 近似, 慢, 易写
 解析梯度: 精确, 快, 易错

数值梯度有什么作用?
答:求梯度时一般使用解析梯度,而数值梯度主要用于解析梯度的正确性校验(梯度检查)

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述


http://www.ppmy.cn/news/1245115.html

相关文章

MyBatis--返回值的含义

原文网址:MyBatis--返回值的含义_IT利刃出鞘的博客-CSDN博客 简介 本文介绍对MyBatis返回值的含义。 概述 在使用Mybatis时,java程序会调用到xml里边的语句,java会获得其返回值,其值如下 xml语句 返回值 SELECT 非null&…

Introducing the Arm architecture

快速链接: . 👉👉👉 个人博客笔记导读目录(全部) 👈👈👈 付费专栏-付费课程 【购买须知】:【精选】ARMv8/ARMv9架构入门到精通-[目录] 👈👈👈 — 适合小白入门【目录】ARMv8/ARMv9架构高级进阶-[目录]👈👈👈 — 高级进阶、小白勿买【加群】ARM/TEE…

cjson库打包数据实现方法

使用 cJson 库,在C语言环境下,打包一个cJson字符串: int CreateArryJsonString(void) {cJSON *cJsonArr cJSON_CreateArray();cJSON *sJsonObj1 cJSON_CreateObject();cJSON_AddStringToObject(sJsonObj1, "test1", "test1…

串口通信 HAL库+cubeMX

一.通信的基本概念 1.串行通信和并行通信 2.全双工、半双工和单工 3.针对串行通信的同步通信和异步通信 4.通信速率 二.UART配置 UART常用HAL库函数 //UART_HandleTypeDef *huart是句柄typedef struct {//初始化看前面两个就可以了USART_TypeDef *Instance; /* UART 寄存器…

数据结构 / 顺序表操作 / 顺序表尾部删除

1.实现逻辑 只需要把顺序表的长度减1。 2.顺序表尾部删除函数代码 /**顺序表尾部删除* */int delete_tail(sqlist *list) {if(NULLlist || 1is_list_empty(list)){return -1;}list->len--;return 0;}3. 完整代码 #include <string.h> #include <stdlib.h> #in…

LeetCode 1457. 二叉树中的伪回文路径

原题链接&#xff1a;力扣&#xff08;LeetCode&#xff09;官网 - 全球极客挚爱的技术成长平台 耗时&#xff1a;28min48s C代码 dfs、二叉树前序遍历、哈希表记录 #include<bits/stdc.h> using namespace std;struct TreeNode {int val;TreeNode *left;TreeNode *rig…

图书管理系统源码,图书管理系统开发,图书借阅系统源码四TuShuManager应用程序MVC控制器Controllers

Asp.net web应用程序MVC之Controllers控制器 Controller在ASP.NET MVC中负责控制所有客户端与服务器端的交互,并且负责协调Model与View之间的数据传递,是ASP.NET MVC的核心。 撰写Controller的基本要求: 1、Controller必须为公开类别; 2、Controller名称必须以Controller结…

智能优化算法应用:基于教与学算法无线传感器网络(WSN)覆盖优化 - 附代码

智能优化算法应用&#xff1a;基于教与学算法无线传感器网络(WSN)覆盖优化 - 附代码 文章目录 智能优化算法应用&#xff1a;基于教与学算法无线传感器网络(WSN)覆盖优化 - 附代码1.无线传感网络节点模型2.覆盖数学模型及分析3.教与学算法4.实验参数设定5.算法结果6.参考文献7.…