【机器学习理论】生成模型和判别模型

embedded/2025/2/2 19:43:33/

生成模型和判别模型是机器学习中两种不同的建模方式。生成模型关注的是联合概率分布 P ( X , Y ) P(X, Y) P(X,Y),即同时考虑数据 X X X和标签 Y Y Y的关系;判别模型则直接学习条件概率 P ( Y ∣ X ) P(Y|X) P(YX)或决策边界。

生成模型

生成模型的目标是学习联合概率分布 P ( X , Y ) P(X,Y) P(X,Y),即同时建模输入数据 X X X和标签 Y Y Y的联合分布。
核心公式:
P ( X , Y ) = P ( Y ) ⋅ P ( X ∣ Y ) P(X, Y) = P(Y) \cdot P(X|Y) P(X,Y)=P(Y)P(XY)
通过这个分布,模型可以:

  1. 推断标签的后验概率 P ( Y ∣ X ) P(Y|X) P(YX)(通过贝叶斯定理)。
  2. 生成新的数据样本(如生成图像、文本等)。

在垃圾邮件分类中,朴素贝叶斯会分别学习正常邮件和垃圾邮件的词频分布(即 P ( 词语 ∣ 正常 ) P(词语|正常) P(词语正常) P ( 词语 ∣ 垃圾 ) P(词语|垃圾) P(词语垃圾)),在结合后验概率 P ( 正常 ) P(正常) P(正常) P ( 垃圾 ) P(垃圾) P(垃圾),通过贝叶斯定理计算后验概率 P ( 类别 ∣ 邮件内容 ) P(类别|邮件内容) P(类别邮件内容)

判别模型

判别模型直接学习条件概率 P ( Y ∣ X ) P(Y∣X) P(YX) 或决策边界,即仅关注输入 X X X 和标签 Y Y Y 之间的映射关系。它的目标是最大化分类准确率,而非建模数据生成过程。
核心公式:
P ( Y ∣ X ) 或直接学习映射 f : X → Y P(Y|X) 或直接学习映射 f:X \rightarrow Y P(YX)或直接学习映射f:XY

例如:对于一个二分类问题,逻辑回归直接建模 P ( Y = 1 ∣ X ) = σ ( w T X + b ) P(Y=1|X)= \sigma (w^{T}X +b) P(Y=1∣X)=σ(wTX+b),(其中 σ \sigma σ是sigmoid函数, X X X是特征向量),找到最佳参数 w w w b b b,以最大化训练数据的似然函数,从而直接区分两类数据。


http://www.ppmy.cn/embedded/158991.html

相关文章

Lucene常用的字段类型lucene检索打分原理

在 Apache Lucene 中,Field 类是文档中存储数据的基础。不同类型的 Field 用于存储不同类型的数据(如文本、数字、二进制数据等)。以下是一些常用的 Field 类型及其底层存储结构: TextField: 用途:用于存储…

活动回顾和预告|微软开发者社区 Code Without Barriers 上海站首场活动成功举办!

Code Without Barriers 上海活动回顾 Code Without Barriers:AI & DATA 深入探索人工智能与数据如何变革行业 2025年1月16日,微软开发者社区 Code Without Barriers (CWB)携手 She Rewires 她原力在大中华区的首场活动“AI &…

ChatGPT 搜索测试整合记忆功能

据 TestingCatalog 报道,OpenAI 正在测试 ChatGPT 搜索的整合记忆功能,被命名为 “Memory in search”2。以下是关于该功能的具体情况123: 功能特点 个性化搜索:启用该功能后,ChatGPT 能利用存储的记忆数据&#xff0…

【自然语言处理(NLP)】深度学习架构:Transformer 原理及代码实现

文章目录 介绍Transformer核心组件架构图编码器(Encoder)解码器(Decoder) 优点应用代码实现导包基于位置的前馈网络残差连接后进行层规范化编码器 Block编码器解码器 Block解码器训练预测 个人主页:道友老李 欢迎加入社…

解锁维特比算法:探寻复杂系统的最优解密码

引言 在复杂的技术世界中,维特比算法以其独特的魅力和广泛的应用,成为通信、自然语言处理、生物信息学等领域的关键技术。今天,让我们一同深入探索维特比算法的奥秘。 一、维特比算法的诞生背景 维特比算法由安德鲁・维特比在 1967 年提出…

[LeetCode]day10 707.设计链表

707. 设计链表 - 力扣(LeetCode) 题目描述 你可以选择使用单链表或者双链表,设计并实现自己的链表。 单链表中的节点应该具备两个属性:val 和 next 。val 是当前节点的值,next 是指向下一个节点的指针/引用。 如果…

如何用大语言模型做一个Html+CSS+JS的词卡网站

一、引言 词汇是语言学习的核心,如何有效地帮助学生记忆并使用词汇是英语教学中的一个重要课题。大语言模型精通各类编程语言,能够为开发各类小项目提供帮助。为了辅助外语教学中的词汇学习,我借助大语言模型开发有声词卡网站,网…

低代码开发中的开源与闭源之争

在低代码开发的迅猛发展浪潮下,开源与闭源两种模式逐渐成为行业焦点,引发了激烈的讨论和争议。这两种模式各有千秋,也各自面临着不同的挑战,对于开发者和企业来说,如何抉择至关重要。 开源低代码平台:开放共…