贝叶斯理论
P ( H ∣ E ) = P ( E ∣ H ) P ( H ) P ( E ) P(H|E) = \frac{P(E|H)P(H)}{P(E)} P(H∣E)=P(E)P(E∣H)P(H)
两个假设：
- 类别之间相互独立
- 每个类别同等重要
P(E1 | yes) = E1 个数 / yes 个数
0 频率问题
上述理论会遇到某个类别为0的情况，导致最终结果直接为0，为避免这种情况发生，引申出一个新的计算方式
P ( E i ∣ y e s ) = ( c o u n t ( E i ) + 1 c o u n t ( y e s ) + m P(E_i|yes) = \frac{(count(E_i)+1}{count(yes) +m} P(Ei∣yes)=count(yes)+m(count(Ei)+1
m为类别数
朴素贝叶斯可以很容易处理丢失数据
数值变量计算
P ( c l a s s = 5.5 ∣ y e s ) P (class = 5.5 | yes) P(class=5.5∣yes)
正态分布的概率密度函数
f ( x ) = 1 σ 2 π e − ( x − μ ) 2 2 σ 2 f(x) = \frac{1}{\sigma \sqrt{2\pi} }e^{-\frac{(x-\mu)^2}{2\sigma^2}} f(x)=σ2π1e−2σ2(x−μ)2
σ = ∑ i = 1 n ( x i − μ ) 2 n − 1 \sigma = \sqrt{\frac{\sum^n_{i=1}(x_i-\mu)^2}{n-1}} σ=n−1∑i=1n(xi−μ)2
总结
- 独立假设能够很简单地计算概率
- 快速计算
- 很多情况下比复杂训练模型效果还好
- 对独立的噪声有很好的鲁棒性
- 相关变量会减少朴素贝叶斯的效果
- 可以通过剔除变量或者变量合并解决
- 需要是正态分布
- 如果不符合条件可以用其他概率密度函数进行优化，比如Poisson, binomial, gamma
