【AI数学原理】概率机器学习(三):拉普拉斯修正

news/2024/12/2 15:41:45/

朴素贝叶斯分类器需要通过拉普拉斯修正来提高其鲁棒性。

本文需要上一篇博文的基础:【AI数学原理】概率机器学习(二):朴素贝叶斯分类器


为什么不用拉普拉斯修正的NB分类器鲁棒性不理想呢?主要还是疏于考虑这种情况:

某个属性值在训练集中没有与某个类同时出现过。

      当然,你可以说这是训练集的锅,但现实中的训练集就是逐渐增大的过程,你不能说训练集不够你这分类器就不行。记住:男人,不能说不行。
      举个例子来说明原因:当某个属性‘才华’(取值有‘高’,‘中’,‘低’)和分类结果‘渣男’,而在训练数据中并没有‘才华’ = ‘中’和分类结果=‘渣男’的数据。所以用朴素贝叶斯分类器的时候,就会有:

P(才华=中|分类=渣男)=0

如 上一篇博文所说,朴素贝叶斯公式就是一个累乘的公式,当因子中有一个为0,那结果就变为0了。这就是朴素贝叶斯鲁棒性不高的究极原因。
      如果认真揣摸过上一篇博文的话,可以知道这种不稳定性只出现在离散取值属性中。当离散属性的每个取值没有被训练数据遍历到,就会出现这种问题。


拉普拉斯修正就解决了这个问题:
令N表示训练集D中可能的类别数,Ni表示第i个属性可能的取值数,把P(c)和P(xi|c)的公式分别修正为:


这里写图片描述

这样就算|Dc,xi| = 0,最后的P(xi|c)=1/(Dc+Ni),不会变成0从而使全局归零。有效避免了因训练样本不充分而导致概率估值为0的问题。


http://www.ppmy.cn/news/452323.html

相关文章

Bayer阵列的由来及原理简介

Bayer阵列是什么? 所谓拜耳阵列指的是CCD或者CMOS器件作为光传感器的时候,采集数字图像时用到的一种常见的方法。 下图为一种常见的BGGR的阵列排布方式: Bayer阵列发明者 Bayer阵列的发明者——柯达公司工程师Bryce Bayer。 为什么需要Baye…

程序员架构修炼之道:如何设计“易理解”的系统架构?

前言 尽管“可靠性”有时被视为“可用性”的同义词,但这一属性实际上意味着系统的所有关键设计的保证:可用性、持久性和安全不变量等。 我们构建易于理解的系统的主要指导思想是,使用清晰的、有约束的组件来构造系统。其中一些组件可能构成其可信计算的基础,因此可以集中解…

人工智能轨道交通行业周刊-第23期(2022.11.14-11.20)

莫道桑榆晚,为霞尚满天。 --《刘禹锡酬乐天咏老见示》 本期关键词:变电所无人化、钢轨探伤小车、隧道三维巡检、智慧工地、世界杯AI监控 1 整理涉及公众号名单 1.1 行业类 RT轨道交通中关村轨道交通产业服务平台人民铁道世界轨道交通资讯网铁路信…

科普Bayer滤光片

科普Bayer滤光片 bayer格式图片Bayer数据的一般格式bayer格式插值红蓝算法实现bayer格式插值绿算法实现Bayer RGB和RGB Raw bayer格式图片 bayer格式图片是伊士曼柯达公司科学家Bryce Bayer发明的,BryceBayer所发明的拜耳阵列被广泛运用数字图像。 对于彩色图像&am…

数字图像处理 拜耳过滤器简介

1、概述 典型的图像传感器(例如我们在数码相机中使用的图像传感器)由许多单独的光电传感器组成,所有这些光电传感器都捕获光。这些光电传感器本身就能够捕捉光的强度,但不能捕捉其波长(颜色)。因此,图像传感器通常被称为“滤色器阵列”或“滤色器马赛克”的东西覆盖。该…

鸿蒙2.0开发日志-手表心跳检测(2)页面跳转

我们先新建一个JS包 在pages.index上右键新建&#xff0c;选择JS Page 名称为training 建立后&#xff0c;将index.hml,css,js文件中的代码复制过去 打开training.hml,将文本修改为训练页面&#xff0c;value值改为返回 <div class"container"><text cl…

铁姆肯公司将以约1.65亿美元收购德国拜尔科博集团

全球轴承和动力传动产品领导者铁姆肯公司宣布已签署协议&#xff0c;将以约1.65亿美元的价格收购全球领先的自动润滑系统供应商德国拜尔科博集团 (BEKA)。该公司服务于广泛的工业行业&#xff0c;包括风能、食品和饮料、铁路、公路车辆和路外设备以及其他加工设备行业。BEKA 公…

2021-2027全球与中国开关式电动液压执行器市场现状及未来发展趋势

报告摘要 2019年&#xff0c;全球开关式电动液压执行器市场规模达到了xx亿元&#xff0c;预计2026年将达到xx亿元&#xff0c;年复合增长率(CAGR)为xx%。 本报告研究全球与中国市场开关式电动液压执行器的产能、产量、销量、销售额、价格及未来趋势。重点分析全球与中国市场的…