人工智能之机器学习5-回归算法1【培训机构学习笔记】

server/2024/11/20 21:36:21/

培训内容:

模型评估

培训班上课的PPT里很多错误,即使讲了很多年也从没改正过来。

而且很多字母没有给出具体的解释,比如RSS和TSS,对初学者非常不友善。

个人学习:

分类和回归的区别

回归和分类机器学习和统计学中两种常见的监督学习任务,二者主要在以下几个方面存在区别:

目标

  • 回归:主要用于预测一个连续的数值型目标变量,例如预测房价、股票价格、气温等。其目标找到输入特征与连续输出之间的映射关系,使得预测值尽可能接近真实的数值
  • 分类:则是将输入数据划分到不同的类别中输出是离散的类别标签,比如判断一封邮件是垃圾邮件还是正常邮件,一张图片是猫还是狗等,旨在找到输入特征与类别之间的决策边界,以准确地对数据进行分类。

输出变量类型

  • 回归输出的是一个数值,这个数值可以是整数,也可以是实数,例如预测的房价可能是 50.5 万元,股票价格可能是 123.45 元等。
  • 分类输出的是有限个离散的类别,如二分类问题中的正类和负类,分别用 0 和 1 表示;或者多分类问题中的不同类别,如 A、B、C 等。

评估指标

  • 回归:常用的评估指标有均方误差(MSE)平均绝对误差(MAE)均方根误差(RMSE)等这些指标衡量的是预测值与真实值之间的差异程度,差异越小,说明回归模型的性能越好。
    • 均方误差的计算公式为:MSE = \frac{1}{n}\sum_{i=1}^{n}(y^{_{i}}-\hat{y}^{_{i}})^{2},其中y^{_{i}}  是真实值, \hat{y}^{_{i}}是预测值, n是样本数量。
    • 平均绝对误差的计算公式为:MAE = \frac{1}{n}\sum_{i=1}^{n}|y^{_{i}}-\hat{y}^{_{i}}|
    • 均方误差则是均方误差的平方根,即 RMSE = \sqrt{MSE}
  • 分类:常见的评估指标包括准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1 值等。

模型选择

回归
  • 常见的回归模型线性回归、多项式回归、岭回归、Lasso 回归等。
  • 线性回归假设输入特征与输出之间存在线性关系,通过最小二乘法等方法拟合出最佳的线性模型;
  • 多项式回归则可以处理非线性关系,通过增加特征的幂次来构建更复杂的模型;
  • 回归Lasso 回归则是在普通线性回归的基础上加入了正则化项,用于防止过拟合
分类
  • 常用的分类模型逻辑回归、决策树、支持向量机、朴素贝叶斯、神经网络等
  • 逻辑回归虽然名字中带有 “回归”,但实际上是一种用于二分类的广义线性模型,它通过 Sigmoid 函数将线性回归的结果映射到 0 到 1 之间,从而得到属于正类的概率
  • 决策树通过构建树状结构来进行分类决策每个内部节点是一个属性上的测试,分支是测试输出,叶节点是类别或类别分布;
  • 支持向量机则是寻找一个最优的超平面来将不同类别的数据分开
  • 朴素贝叶斯基于贝叶斯定理和特征条件独立假设来计算属于各个类别的概率,从而进行分类
  • 神经网络通过多个神经元组成的网络结构来学习复杂的分类边界,具有很强的非线性拟合能力

损失函数

  • 回归:通常使用均方误差损失函数,即模型预测值与真实值之间差的平方和的平均值。其目的是使预测值尽可能地接近真实值,通过最小化均方误差来调整模型的参数
  • 分类不同的分类模型使用的损失函数有所不同。例如,逻辑回归使用对数损失函数,也称为交叉熵损失函数,它衡量的是预测概率分布与真实概率分布之间的差异,通过最小化交叉熵损失来优化模型参数,使得预测的类别概率更加接近真实的类别分布;支持向量机使用合页损失函数,其目标是找到一个能够最大化间隔的超平面,使得分类错误的样本尽可能少,并且尽可能远离决策边界。

回归和分类目标、输出变量类型、评估指标、模型选择和损失函数等方面都存在明显的区别,在实际应用中,需要根据具体的问题和数据特点来选择合适的任务类型和相应的模型。


http://www.ppmy.cn/server/143542.html

相关文章

VTK知识学习(10)- 渲染引擎

1、前言 vtkProp; vtkAbstractMapper; vtkProperty; vtkCamera; vtkLight; vtkRenderer; vtkRenderWindow; vtkRenderWindowInteractor; vtkTransform; vtkLookupTable;………… 这些类都是与数据显示或渲染相关的。 用计算机图形学的专业词汇来说,就是它…

Deep-Live-Cam -面部交换、视频深度伪造

文章目录 一、关于 Deep-Live-Cam免责声明 二、安装(Windows/Nvidia)安装(手动)基本安装(CPU) GPU加速(可选)CUDA执行提供商(Nvidia)CoreML执行提供商&#x…

深度学习之GAN的生成能力评价

1.1 如何客观评价GAN的生成能力? ​ 最常见评价GAN的方法就是主观评价。主观评价需要花费大量人力物力,且存在以下问题: 评价带有主管色彩,有些bad case没看到很容易造成误判 如果一个GAN过拟合了,那么生成的样本会非…

【Unity踩坑】Unity编辑器占用资源过高

在使用Unity 6 的编辑器时,尤其是打开URP项目后,发现笔记本电脑的风扇呼呼狂炫。 后来试着把Game中的Low Resolution Aspect Ratios打开后,温度神奇地下来了。 这不对比了一下,发现在关闭这个选项后,占用的资源主要是…

react中如何在一张图片上加一个灰色蒙层,并添加事件?

最终效果: 实现原理: 移动到图片上的时候,给img加一个伪类 !!此时就要地方要注意了,因为img标签是闭合的标签,无法直接添加 伪类(::after),所以 我是在img外…

数据库——索引机制

目录 一、基础理论 search key index file 二、ordered indices 定义: 主要类型: 三、Hash indices 定义: 溢出处理: 溢出桶: 溢出处理: 周期性重新哈希: 四、创建索引的语句 一、基础理论 索引是数据库中…

Spring Boot 中 Druid 连接池与多数据源切换的方法

Spring Boot 中 Druid 连接池与多数据源切换的方法 在Spring Boot项目中,使用Druid连接池和进行多数据源切换是常见的需求,尤其是在需要读写分离、数据库分片等复杂场景下。本文将详细介绍如何在Spring Boot中配置Druid连接池并实现多数据源切换。 一、…

HarmonyOS Next 关于页面渲染的性能优化方案

HarmonyOS Next 关于页面渲染的性能优化方案 HarmonyOS Next 应用开发中,用户的使用体验至关重要。其中用户启动APP到呈现页面主要包含三个步骤: 框架初始化页面加载布局渲染 从页面加载到布局渲染中,主要包含了6个环节: 执行页…