ML 系列：机器学习和深度学习的深层次总结（ 20）

一、说明

离散概率分布，最早的杰出任务是贝努力，而贝努力分布是最早的离散概率模型，至今依然是重要的概率理论，在物理学的热力学、量子理论均有巨大意义。

雅各布·伯努利（Jacob Bernoulli）是一位杰出的数学家，来自著名的瑞士伯努利家族。他生活在 1655 年至 1705 年（50 岁）之间。他对数学的贡献包括微积分、概率论和伯努利分布的发展方面的重大进步。

二、贝努力分布

什么是伯努利分布：

伯努利分布是二元随机变量的概率分布函数。
伯努利分布是一种离散概率分布，其中伯努利随机变量只能有 0 或 1 作为结果。p 是成功的概率，1 — p 是失败的概率。伯努利分布的均值为 E[X] = p，方差为 Var[X] = p（1-p）。
表示仅采用两种可能结果（例如，成功或失败、正面或反面）的随机变量。
由单个参数 p 表示成功概率。

伯努利分布表

伯努利分布是为二进制随机变量 X 定义的，该变量可以取值 0 和 1。分布表如下：

图 1.Bernoulli 分布表

伯努利随机变量 X 的概率质量函数（PMF）由下式给出：

以下是公式如何简化 p 的特定值：

当 p = 0 时：

对于 x = 0：

对于 x = 1：

所以，分布表如图 1 所示。

2. 当 p = 1 时：

对于 x = 0：

对于 x = 1：

所以，分布表如图 1 所示。

伯努利分布的期望值和方差

对于参数为 p 的伯努利随机变量 X：

1. 期望（平均值）：

伯努利随机变量的期望值 E（X）由下式给出：

伯努利分布的期望值或均值只是 X 取值 1 的概率 p。

2. 方差：

伯努利随机变量的方差 Var（X）由下式给出：

方差度量分布的散布，并取决于 p 和 1 — p，反映结果 0 和 1 的可变性。

三、示例：计算机失败的概率

考虑一台机器，它在运行的第一个月内出现故障的概率为 2%。这可以使用 Bernoulli 分布进行建模，其中：

X = 1，如果计算机在第一个月内出现故障。
X = 0 如果计算机在第一个月内没有出现故障。

机器失败的概率 p 为 0.02。

1. 概率分布函数

此伯努利分布的概率分布函数（PDF）为：

代入 p = 0.02：

因此，分发表为：

概率分布函数显示，机器在第一个月内没有出现故障的概率为 0.98，出现故障的概率为 0.02。

2. 数学期望（平均值）

伯努利随机变量的期望值 E（X）由下式给出：

对于我们的示例，p = 0.02：

计算机在第一个月内出现故障的平均值或预期值为 0.02，这表明平均而言，预计有 2% 的计算机在此时间范围内出现故障。

3. 方差

伯努利随机变量的方差 Var（X）由下式给出：

对于我们的示例，p = 0.02：

0.0196 的方差表示结果围绕平均值的分布，反映了机器是否失效的可变性。

对于 p=0.02 的伯努利分布示例，我们有以下概率质量函数（PMF）：

让我们绘制这个 PMF 来可视化分布。我们将使用 Python 和 matplotlib 库进行绘图。这是代码：

import matplotlib.pyplot as plt
import numpy as np# Define the values of x
x_values = [0, 1]# Define the probability for each value of x
p = 0.02
pmf = [p**x * (1 - p)**(1 - x) for x in x_values]# Plot the distribution
plt.bar(x_values, pmf, color='skyblue')
plt.xticks(x_values)
plt.xlabel('X')
plt.ylabel('Probability')
plt.title('Bernoulli Distribution (p=0.02)')
plt.grid(True)
plt.show()

此代码将生成一个条形图，表示 p = 0.02 的伯努利分布。