心脏病数据挖掘过程
一、加载数据源
# 如果没有安装数据源所依赖的库，则先安装数据源所在的python库: pip install ucimlrepo
# 引入pandas和ucimlrepo
import pandas as pd
from ucimlrepo import fetch_ucirepo# fetch dataset Heart Disease dataset的Id为45
heart_disease = fetch_ucirepo(id=45)
二、筛选数据
# data (as pandas dataframes)
X = heart_disease.data.features # 特征
y = heart_disease.data.targets # 标签# 可先查看下metadata
# print(heart_disease.metadata) # 再看下变量信息 variable information
# print(heart_disease.variables)# 查看X是什么样子的数据
# X
# 查看y是什么样子的数据
三、数据预处理
3.1 将特征数据和标签数据整合
# 为使得数据集符合逻辑回归算法训练时需要的训练数据集的形式，即特征+标签，也就是有标签的数据集，需要将X和y进行合并
X['target'] = y
# 取出前几行查看下X
# X.head(5)
3.2 判断数据集中是否有缺失值
# 使用 isnull() 函数找出所有缺失值，并统计每列的缺失数量
missing_values = X.isnull().sum()
# print(missing_values)
3.3 将缺失值进行处理
# 对于缺失值可选择的处理方法如下:
# 1. 均值填充: 适用于正态分布的数据。
# 2. 中位数填充: 适用于非正态分布或存在异常值的数据。
# 3. 删除样本: 当缺失值较多时，可能导致数据量大幅减少，需谨慎使用。
# 计算每列的均值，并用这些均值填充缺失值 准确度 54%
mean_values = X.mean()
df_fill_mean = X.fillna(mean_values)# 计算每列的中位数，并用这些中位数填充缺失值 准确度54%
# median_values = X.median()
# df_fill_median = X.fillna(median_values)# 删除所有包含缺失值的行 准确度为 54%
# df_fill_median = X.dropna()
3.4 检查缺失值处理后的数据情况
# 检查填充后的数据
print(df_fill_mean.isnull().sum())
age 0
sex 0
cp 0
trestbps 0
chol 0
fbs 0
restecg 0
thalach 0
exang 0
oldpeak 0
slope 0
ca 0
thal 0
target 0
dtype: int64
3.5 数据分析
分析每个特征与目标变量的关系
import matplotlib.pyplot as plt# 为方便，重新用变量来表达数据集
df = df_fill_mean# 绘制目标变量分布图
df['target'].value_counts().plot(kind='bar')
plt.title('Heart Disease Distribution')
plt.show()# 选择age年龄特征来进行分析，查看年龄分布情况（按是否有心脏病分组）
# df.groupby('target') ：这部分的意思是根据“target”列对数据框进行分组。例如，在Heart Disease数据集中，“target”表示是否患有心脏病（0或1）。所以这一步会将数据分成两个组：一个是有心脏病的患者，另一个是没有心脏病的患者。
# ['age'] ：接下来，我们指定只使用“age”这一列的数据。也就是说，我们要分析每个分组中年龄的分布情况。
# .hist() ：调用hist方法，这是pandas的一个函数，用于绘制直方图。直方图可以展示数据的分布情况，比如年龄的分布。
# bins=15 ：这个参数指定将数据分成15个桶（bin）。每个桶代表一个年龄段，这样可以让图表更清晰地显示不同年龄段的分布情况。
# figsize=(10,6) ：设置图的大小，宽为10英寸，高为6英寸。这一步是为了让图表在展示时看起来更舒服，不会太小或太大。
df.groupby('target')['age'].hist(bins=15, figsize=(10,6))# 绘制直方图
# 运行这行代码后，会生成一个包含两个直方图的图表：
# 第一个是 'target' 为 0 的组（没有心脏病患者）的年龄分布。
# 第二个是 'target' 为 1 的组（有心脏病患者）的年龄分布。
# 这两个直方图将帮助你直观地比较两种不同类别中的年龄分布情况，例如：
# 是否有心脏病患者中存在明显的年龄段差异？
# 年龄较大的人是否更容易患心脏病？
plt.title('Age Distribution by Heart Disease Status')
plt.xlabel('Age')
plt.ylabel('Count')
plt.show()
3.6 分析结论
特征会影响目标的取值，目标变量target取值为[0,4],其中0表示没有心脏病，1-4表示有心脏病，只是程度不一样。由此，看出挖掘这部分数据可选用分类算法来完成，而且是选择二分类算法，比如逻辑回归算法、SVM算法等。这里我们选择逻辑回归，它是一种用于分类任务的统计方法，适用于二元分类问题。它通过拟合一个逻辑函数（sigmoid 函数）来预测目标变量的概率。
四、模型构建（数据挖掘-算法选择）
4.1 划分训练数据集和测试数据
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score# 分割数据集为训练集和测试集
X = df.drop('target', axis=1)
y = df['target']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
4.2 数据标准化处理
# 标准化（因为逻辑回归对特征尺度敏感）
from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test)
4.3 模型训练
# 训练逻辑回归模型
log_reg = LogisticRegression(max_iter=1000, random_state=42)
log_reg.fit(X_train, y_train)
五、模型预测
# 预测
y_pred_log = log_reg.predict(X_test)
y_pred_log
array([2, 1, 2, 0, 0, 3, 2, 2, 0, 0, 0, 0, 1, 2, 2, 0, 0, 3, 3, 0, 1, 0,3, 0, 3, 0, 0, 1, 3, 0, 0, 1, 0, 0, 0, 1, 3, 0, 3, 0, 2, 0, 1, 0,0, 2, 0, 0, 3, 1, 0, 0, 0, 0, 3, 0, 0, 3, 3, 2, 0], dtype=int64)
六、模型评估
from sklearn.metrics import roc_auc_score, confusion_matrix
import seaborn as sns# 真实值
y_true = y_test# 预测值
y_pred = y_pred_log# 计算准确率
accuracy = accuracy_score(y_true, y_pred)# 计算精确率、召回率和F1分数
precision = precision_score(y_true, y_pred,average='weighted')
recall = recall_score(y_true, y_pred,average='macro')
f1 = f1_score(y_true, y_pred,average='macro')# 计算ROC AUC值（适用于二分类）
if len(set(y_true)) == 2:auc = roc_auc_score(y_true, y_pred_proba)
else:auc = None# 可视化混淆矩阵
conf_matrix = confusion_matrix(y_true, y_pred)
plt.figure(figsize=(10, 7))
sns.heatmap(conf_matrix, annot=True, fmt='d')
plt.xlabel('Predicted')
plt.ylabel('Actual')
plt.show()print(f"Accuracy: {accuracy}")
print(f"Precision: {precision}")
print(f"Recall: {recall}")
print(f"F1 Score: {f1}")if auc is not None:print(f"AUC: {auc}")
执行结果如下：
D:\Program Files\Python312\Lib\site-packages\sklearn\metrics\_classification.py:1565: UndefinedMetricWarning: Precision is ill-defined and being set to 0.0 in labels with no predicted samples. Use `zero_division` parameter to control this behavior._warn_prf(average, modifier, f"{metric.capitalize()} is", len(result))
可视化混淆矩阵：
准确度、精确率、召回率和F1分数：
Accuracy: 0.5409836065573771
Precision: 0.5119535519125683
Recall: 0.3308976464148878
F1 Score: 0.3170415108810277
![[网络爬虫] 动态网页抓取 — Selenium 入门操作](https://i-blog.csdnimg.cn/direct/c7ac6bf07d524e96840512c2fa8a62c3.gif)
