生成模型和判别模型是机器学习中两种不同的建模方式。生成模型关注的是联合概率分布 P ( X , Y ) P(X, Y) P(X,Y),即同时考虑数据 X X X和标签 Y Y Y的关系;判别模型则直接学习条件概率 P ( Y ∣ X ) P(Y|X) P(Y∣X)或决策边界。
生成模型
生成模型的目标是学习联合概率分布 P ( X , Y ) P(X,Y) P(X,Y),即同时建模输入数据 X X X和标签 Y Y Y的联合分布。
核心公式:
P ( X , Y ) = P ( Y ) ⋅ P ( X ∣ Y ) P(X, Y) = P(Y) \cdot P(X|Y) P(X,Y)=P(Y)⋅P(X∣Y)
通过这个分布,模型可以:
- 推断标签的后验概率 P ( Y ∣ X ) P(Y|X) P(Y∣X)(通过贝叶斯定理)。
- 生成新的数据样本(如生成图像、文本等)。
在垃圾邮件分类中,朴素贝叶斯会分别学习正常邮件和垃圾邮件的词频分布(即 P ( 词语 ∣ 正常 ) P(词语|正常) P(词语∣正常)和 P ( 词语 ∣ 垃圾 ) P(词语|垃圾) P(词语∣垃圾)),在结合后验概率 P ( 正常 ) P(正常) P(正常)和 P ( 垃圾 ) P(垃圾) P(垃圾),通过贝叶斯定理计算后验概率 P ( 类别 ∣ 邮件内容 ) P(类别|邮件内容) P(类别∣邮件内容)。
判别模型
判别模型直接学习条件概率 P ( Y ∣ X ) P(Y∣X) P(Y∣X) 或决策边界,即仅关注输入 X X X 和标签 Y Y Y 之间的映射关系。它的目标是最大化分类准确率,而非建模数据生成过程。
核心公式:
P ( Y ∣ X ) 或直接学习映射 f : X → Y P(Y|X) 或直接学习映射 f:X \rightarrow Y P(Y∣X)或直接学习映射f:X→Y
例如:对于一个二分类问题,逻辑回归直接建模 P ( Y = 1 ∣ X ) = σ ( w T X + b ) P(Y=1|X)= \sigma (w^{T}X +b) P(Y=1∣X)=σ(wTX+b),(其中 σ \sigma σ是sigmoid函数, X X X是特征向量),找到最佳参数 w w w和 b b b,以最大化训练数据的似然函数,从而直接区分两类数据。