高斯混合模型回归(Gaussian Mixture Model Regression,GMM回归)

embedded/2024/11/17 22:28:02/

高斯混合模型(GMM)是一种概率模型,它假设数据是由多个高斯分布的混合组成的。在高斯混合回归中,聚类与回归被结合成一个联合模型:

  • 聚类部分 — 使用高斯混合模型进行聚类,识别数据的不同簇。
  • 回归部分 — 对每个簇中的数据使用回归方法来建模,通常是线性回归或非线性回归

GMM回归不仅能捕捉数据的聚类结构,还能进行回归预测,适用于处理具有复杂分布的数据。

下面是一个简单的高斯混合模型回归(GMM回归)的Python示例。在这个示例中,我们将使用GaussianMixture模型进行数据的聚类,然后在每个聚类中使用线性回归进行回归预测。

代码步骤:

  1. 生成数据:首先,生成一些具有非线性关系的样本数据。
  2. 高斯混合模型聚类:使用GaussianMixture对数据进行聚类。
  3. 在每个聚类中进行回归:在每个聚类中的数据上训练一个回归模型(例如线性回归)。
  4. 预测:对新样本进行聚类预测并使用相应的回归模型进行回归

示例代码:

import numpy as np
import matplotlib.pyplot as plt
from sklearn.mixture import GaussianMixture
from sklearn.linear_model import LinearRegression
from sklearn.datasets import make_regression
from sklearn.model_selection import train_test_split# 1. 生成一些数据
n_samples = 300
X, y = make_regression(n_samples=n_samples, n_features=1, noise=10, random_state=42)# 添加一些非线性扰动
y = y + 50 * np.sin(X).ravel()# 2. 高斯混合模型聚类
n_components = 3  # 假设数据可以分成3个簇
gmm = GaussianMixture(n_components=n_components, random_state=42)
gmm.fit(X)  # 对数据进行聚类# 预测每个数据点属于哪个簇
cluster_labels = gmm.predict(X)# 3. 在每个簇中训练回归模型
regressors = {}
for i in range(n_components):# 选取当前簇的数据X_cluster = X[cluster_labels == i]y_cluster = y[cluster_labels == i]# 对每个簇的样本拟合线性回归模型regressor = LinearRegression()regressor.fit(X_cluster, y_cluster)regressors[i] = regressor# 4. 可视化数据和回归模型
plt.figure(figsize=(10, 6))
plt.scatter(X, y, c=cluster_labels, cmap='viridis', marker='o', edgecolor='k', s=50)
plt.title("GMM Clustering and Regression", fontsize=16)
plt.xlabel("X", fontsize=12)
plt.ylabel("y", fontsize=12)# 绘制每个聚类的回归线
X_range = np.linspace(X.min(), X.max(), 1000).reshape(-1, 1)
for i in range(n_components):y_pred = regressors[i].predict(X_range)plt.plot(X_range, y_pred, label=f'Cluster {i} Regression', linewidth=2)plt.legend()
plt.show()# 5. 使用训练好的回归模型进行预测
# 假设我们有新的样本
X_new = np.array([[0.1], [1.5], [3.0]])# 对新的样本进行聚类预测
new_cluster_labels = gmm.predict(X_new)# 对每个样本使用对应簇的回归模型进行预测
y_new_pred = np.array([regressors[label].predict(X_new[i].reshape(1, -1)) for i, label in enumerate(new_cluster_labels)])print("Predictions for new samples:", y_new_pred.ravel())

代码说明:

  1. 生成数据:我们使用make_regression生成一些线性数据,然后添加了一个非线性扰动(50 * np.sin(X))来模拟更复杂的关系。

  2. 聚类:使用GaussianMixture模型将数据分为3个簇。GaussianMixture模型会根据数据的分布情况进行高斯分布的拟合。

  3. 回归:对于每个簇,我们单独训练一个线性回归模型。每个簇的数据都会拟合一个单独的回归模型,从而使得每个簇内的回归结果更加贴合数据的局部模式。

  4. 预测:通过预测新样本所属的簇,然后使用对应簇中的回归模型进行预测。

  5. 可视化:展示了数据点、每个簇的回归线以及数据的聚类分布。

运行结果:

在这里插入图片描述

  1. 聚类可视化:图中不同颜色的点表示数据被分成不同的簇,每个簇的数据分布和回归线是不同的。
  2. 回归预测:对于新样本,我们首先确定它属于哪个簇,然后根据该簇的回归模型进行预测。

适用场景:

  • 当数据集存在多个模式或子群体时,使用高斯混合模型进行聚类,并在每个簇内训练单独的回归模型,有助于提高回归性能。
  • 该方法适合数据分布复杂且呈现非线性关系的场景。

这个示例只是一个简单的实现,您可以根据需要进行更复杂的回归模型设计(例如,非线性回归模型、决策树回归等)以及调整高斯混合模型的超参数。


http://www.ppmy.cn/embedded/138366.html

相关文章

git 同步上游仓库到远端仓库

首先知道什么是本地仓库,远端仓库,上游仓库 本地仓库:你从远端仓库克隆到本地 PC 上的仓库 远端仓库:从上游仓库 fork 过来的仓库,可以理解为自己的仓库 上游仓库:公司的仓库,所有权不在于你 当…

蓝牙 HFP 协议详解及 Android 实现

文章目录 前言一、什么是蓝牙 HFP 协议?HFP 的核心功能HFP 的核心功能HFP 在 Android 中的典型应用场景 二、HFP 协议的工作流程HFP 的连接流程 三、HFP 在 Android 的实现1. 检查蓝牙适配器状态2. 发现并检测支持 HFP 的设备3. 获取 BluetoothHeadset 服务4. 连接设…

【linux】TCP网络编程及Web服务器搭建

一、TCP客户端编程 1、TCP的概述 客户端:主动连接服务器、和服务器进行通信 服务器:被动被客户端连接,启动新的线程或进程 服务器客户端(并发服务器) 2、创建TCP套接字 int sockfd = socket(AF_INET, SOCK_STREAM, 0); socket函数创建的TCP套接字,没有端口,默认为主…

鸿蒙HarmonyOS 地图不显示解决方案

基于地图的开发准备已完成的情况下,地图还不显式的问题 首先要获取设备uuid 获取设备uuid 安装DevEco Studio的路径下 有集成好的hdc工具 E:\install_tools\DevEco Studio\sdk\default\openharmony\toolchains 这个路径下打开cmd运行 进入“设置 > 关于手机…

uniapp中多角色导致tabbar过多的解决方式

由于项目时间较紧张,找了很多却没找到特别合适的方法,最后使用了此方式。 一、自己封装tabbar组件 这里就不介绍怎么封装了,先说一下缺点: 1.跳转会有白屏问题(并且搜了好多资料以及查看官网发现没有特别合适的方法…

分享 | 中望3D 2025发布会提及的工业数字化MBD是什么?

本文为CAD芯智库原创,未经允许请勿复制、转载! 原文转自:www.xwzsoft.com/h-nd-487.html 今年中望CAD/中望3D 2025版新品发布会上,中望产品规划与GTM中心总监胡其登先生的专题演讲——《基于模型的CAx一体化研发管理平台&#xff…

正则表达式常用字符

基础正则 ^:开头字符 $:结尾字符 ^$:空行 .:任意一个字符 *:前一个字符连续出现0次或以上 .*:所有 []:括号中的任意一个字符 [a-z] [a-zA-Z0-9] [a-zA-Z0-9] [^]:除括号内以外的字符 扩展正则 |:或 ssh|telnet|http ():表示整体 ^(ssh|telnet|http)^ssh|^telnet|^ht…

ranger-kms安装

默认已安装ranger-admin和mysql服务。Ranger组件服务默认都在/opt/bigdata.test/core/ranger目录下安装。 解压安装包 [hadoop~]$ cd /opt/ranger [hadoop ranger]$ tar -xzvf ranger-2.1.0-kms.tar.gz [hadoopx ranger]$ mv ranger-2.1.0-kms ranger/ranger-kms 修改instal…