高斯混合模型及最大期望算法（EM）聚类

devtools/2024/12/21 22:23:02/

混合高斯分布（Gaussian Mixture Model，GMM）是一种概率模型，用于表示具有多个高斯分布的加权组合的数据集。它被广泛应用于模式识别、聚类分析和密度估计等领域。

定义

混合高斯分布由多个单变量或多变量高斯分布的线性组合组成。数学上，混合高斯模型可以表示为：

$p(x) = \sum_{k=1}^K \pi_k \mathcal{N}(x \mid \mu_k, \Sigma_k)$

其中：

K 是高斯分布的数量。
$\pi_k$ 是第 k 个高斯分布的权重系数，且满足 $\sum_{k=1}^K \pi_k = 1$ 。
$\mathcal{N}(x \mid \mu_k, \Sigma_k)$ 是第 k 个高斯分布，其均值为 $\mu_k$ ，协方差矩阵为 $\Sigma_k$ 。

参数估计

混合高斯模型的参数通常通过最大期望算法（Expectation-Maximization, EM）来估计。EM算法迭代两个步骤来更新模型参数，直到收敛：

E步：计算每个数据点属于每个高斯成分的概率（责任）。
M步：根据计算得到的概率更新高斯分布的参数（均值、协方差和权重系数）。

应用

混合高斯分布在以下几个方面有广泛的应用：

聚类分析：GMM可以用于软聚类（每个点属于多个簇的概率）而不仅仅是硬聚类（每个点仅属于一个簇）。
密度估计：GMM可以用来估计数据的概率密度函数，特别适用于多峰分布的数据。
模式识别：在图像处理、语音识别等领域，GMM可以用作分类器的一部分。
异常检测：通过GMM可以识别出分布中不常见的数据点作为异常点。

实例：

使用Python和Scikit-learn库实现混合高斯模型的拟合和预测：

python">import numpy as np
import matplotlib.pyplot as plt
from sklearn.mixture import GaussianMixture# 生成示例数据
np.random.seed(0)
X = np.concatenate([np.random.randn(300, 2) * 0.75 + np.array([5, 5]),np.random.randn(300, 2) * 0.25 + np.array([-5, -5]),np.random.randn(300, 2) * 0.5 + np.array([5, -5])])# 拟合混合高斯模型
gmm = GaussianMixture(n_components=3, random_state=0)
gmm.fit(X)# 预测
labels = gmm.predict(X)# 可视化结果
plt.scatter(X[:, 0], X[:, 1], c=labels, cmap='viridis', s=15)
plt.title('Gaussian Mixture Model Clustering')
plt.xlabel('Feature 1')
plt.ylabel('Feature 2')
plt.show()