【python】利用 GridSearchCV 和 SVM 进行学生成绩预测

ops/2024/10/18 3:31:07/

在机器学习领域，寻找最优模型参数是一个重要的步骤，它直接影响模型的泛化能力和预测准确性。本文将通过一个具体案例介绍如何使用支持向量机（SVM）和网格搜索（GridSearchCV）来预测学生的成绩，并通过调整参数来优化模型性能。

数据集：公众号“码银学编程”后台回复：学生成绩-SVM

引言

学生的成绩预测对于教育领域来说是一个重要的问题，它可以帮助教师更好地了解学生的学习情况，从而进行针对性的教学改进。在本案例中，我们将使用 SVM 作为分类器，并利用 GridSearchCV 对模型参数进行调优，以期获得更好的预测效果。

正文 

1. 数据准备

首先，我们从 CSV 文件中加载学生成绩数据集。数据集包含了多门课程的成绩，我们将这些成绩转换为等级，并使用 LabelEncoder 将分类数据转换为数值形式，以便 SVM 模型能够处理。

stu_grade = pd.read_csv('student-mat.csv')
print(stu_grade.head())

  1. age-学生年龄(数字:从15岁到22岁)
  2. Medu - 母亲教育(数字:0 -无，1 -小学教育(四年级)，2 -" 5 - 9年级，3 -"中等教育或，4 -"高等教育)
  3. Fedu - 父亲教育(数字:0 -无，1 -小学教育(4年级)，2 â€" 5 - 9年级，3 â€"中等教育或4 â€"高等教育)
  4. traveltime - 从家到学校的旅行时间(数字:1 - <15分钟，2 - 15 - 30分钟，3 - 30分钟到1小时，或4 - >1小时)
  5. studytime - 每周学习时间(数字:1 - <2小时，2 - 2 - 5小时，3 - 5 - 10小时，或4 - >10小时)
  6. failures - 过去班级失败的次数(数值:如果1<=n<3，则为n，否则为4)
  7. famrel - 家庭关系质量(数字:1 -非常差到5 -极好)
  8. freetime - 放学后的空闲时间(数字:从1 -非常少到5 -非常多)
  9. goout - 和朋友出去(数字:从1 -非常低到5 -非常高)
  10. Dalc - 工作日酒精消耗量(数字:1 -极低至5 -极高)
  11. Walc - 周末饮酒(数字:1 -极低至5 -极高)
  12. health - 当前健康状况(数字:从1-非常差到5-非常好)
  13. absences - 学校缺勤次数(数字:从0到93)
  14. G1 -第一阶段等级(数字:从0到20)
  15. G2 -第二阶段等级(数字:从0到20)
  16. G3 -最终等级(数字:从0到20，输出目标)

2. 模型选择与训练

SVM 是一种强大的分类算法，适用于各种类型的数据。在本案例中，我们选择了 SVC 类，它实现了支持向量分类算法。模型训练前，我们通过 train_test_split 将数据集划分为训练集和测试集。

X_train, X_test, Y_train, Y_test = train_test_split(stu_data.drop('G3', axis=1),  # 特征stu_data['G3'],  # 目标变量test_size=0.3, random_state=5)svm_model = SVC(random_state=6)
# 训练模型
svm_model.fit(X_train, Y_train)# 使用训练好的模型进行预测
Y_pred = svm_model.predict(X_test)
print(Y_pred)

3. 模型评估

在初始模型训练完成后，我们使用准确度（accuracy_score）和均方误差（mean_squared_error, MSE）来评估模型性能。准确度是衡量分类模型性能的常用指标，而 MSE 则提供了模型预测值与实际值之间差异的量化度量。

A = mean_absolute_error(Y_test, Y_pred)
S = mean_squared_error(Y_test, Y_pred)# 输出训练集和测试集的分数
print("训练集准确度:", accuracy_score(Y_train, svm_model.predict(X_train)))
print("测试集准确度:", accuracy_score(Y_test, Y_pred))
print(f"Scores:  MAE={A}, MSE={S}")

4. 参数调优

为了进一步提升模型性能，我们采用了 GridSearchCV 进行参数调优。GridSearchCV 是 scikit-learn 提供的一个工具，它通过遍历给定的参数网格，使用交叉验证来寻找最佳的参数组合。在本案例中，我们调整了 SVM 的 `C`、`gamma` 和 `kernel` 参数。

# 参数网格，用于GridSearchCV寻找最佳参数
param_grid = {'C': [0.01, 0.1, 0.2 , 0.3 , 0.4 , 0.5, 1, 10],'gamma': [1, 0.1, 0.01, 0.001],'kernel': ['rbf', 'poly', 'sigmoid']
}# 创建GridSearchCV实例
grid_search = GridSearchCV(estimator=svm_model, param_grid=param_grid, cv=5, return_train_score=True)

5. 最佳模型选择

经过 GridSearchCV 的搜索，我们得到了最佳的参数组合，并使用这些参数重新训练了 SVM 模型。再次使用准确度和 MSE 对优化后的模型进行评估，以验证参数调优的效果。

# 执行网格搜索找到最佳参数
grid_search.fit(X_train, Y_train)# 输出最佳参数和对应的最佳分数
print("最佳参数:", grid_search.best_params_)
print("最佳分数:", grid_search.best_score_)
# 使用最佳参数创建新的SVM模型
best_svm_model = grid_search.best_estimator_# 使用最佳模型进行预测
best_Y_pred = best_svm_model.predict(X_test)# 计算并输出最佳模型的测试集准确度
print("优化后测试集准确度:", accuracy_score(Y_test, best_Y_pred))MAE = mean_absolute_error(Y_test, best_Y_pred)
MSE = mean_squared_error(Y_test, best_Y_pred)print(f"优化后Scores:  MAE={MAE}, MSE={MSE}")

6. 结果分析

通过比较优化前后的模型性能，我们可以得出参数调优是否有效的结论。在本案例中，我们发现通过调整参数，模型的准确度和 MSE 都有所改善，这表明 GridSearchCV 是一个有效的工具，可以帮助我们找到更好的模型参数。

小结

本案例展示了如何使用 SVM 和 GridSearchCV 对学生成绩进行预测，并优化模型参数。通过实验，我们证明了参数调优对于提升模型性能的重要性。

尽管本案例取得了一定的成果，但仍有改进的空间。例如，可以尝试更多的机器学习算法，或者使用更复杂的特征工程技术来进一步提升模型性能。此外，对于数据集的深入分析，如探索不同课程成绩之间的关联，也可能是一个有价值的研究方向。

参考文章

GitHub地址

完整代码与运行结果

import pandas as pd
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.svm import SVC
from sklearn.preprocessing import LabelEncoder
from sklearn.metrics import accuracy_score
from sklearn.metrics import mean_absolute_error, mean_squared_error
import warnings# 忽略警告
warnings.filterwarnings("ignore", category=DeprecationWarning)# 读取数据集
stu_grade = pd.read_csv('student.csv')
print(stu_grade.head())# 特征选取
new_data = stu_grade.iloc[:, :] #所有的行和列
print(new_data.head())# 将成绩转换为等级
def convert(x):x = int(x)if x < 5:return 'bad'elif x >= 5 and x < 10:return 'medium'elif x >= 10 and x < 15:return 'good'else:return 'excellent'stu_data = new_data.copy()
stu_data['G1'] = stu_data['G1'].map(lambda x: convert(x))
stu_data['G2'] = stu_data['G2'].map(lambda x: convert(x))
stu_data['G3'] = stu_data['G3'].map(lambda x: convert(x))
print(stu_data.head())# 将分类特征转换为数值形式
label_encoders = {}
for column in ['G1', 'G2', 'G3']:le = LabelEncoder()stu_data[column] = le.fit_transform(stu_data[column])label_encoders[column] = le# 划分训练集和测试集
X_train, X_test, Y_train, Y_test = train_test_split(stu_data.drop('G3', axis=1),  # 特征stu_data['G3'],  # 目标变量test_size=0.3, random_state=5)# 创建SVM模型实例
svm_model = SVC(random_state=6)# 训练模型
svm_model.fit(X_train, Y_train)# 使用训练好的模型进行预测
Y_pred = svm_model.predict(X_test)
print(Y_pred)A = mean_absolute_error(Y_test, Y_pred)
S = mean_squared_error(Y_test, Y_pred)# 输出训练集和测试集的分数
print("训练集准确度:", accuracy_score(Y_train, svm_model.predict(X_train)))
print("测试集准确度:", accuracy_score(Y_test, Y_pred))
print(f"Scores:  MAE={A}, MSE={S}")# 参数网格，用于GridSearchCV寻找最佳参数
param_grid = {'C': [0.01, 0.1, 0.2 , 0.3 , 0.4 , 0.5, 1, 10],'gamma': [1, 0.1, 0.01, 0.001],'kernel': ['rbf', 'poly', 'sigmoid']
}# 创建GridSearchCV实例
grid_search = GridSearchCV(estimator=svm_model, param_grid=param_grid, cv=5, return_train_score=True)# 执行网格搜索找到最佳参数
grid_search.fit(X_train, Y_train)# 输出最佳参数和对应的最佳分数
print("最佳参数:", grid_search.best_params_)
print("最佳分数:", grid_search.best_score_)# 使用最佳参数创建新的SVM模型
best_svm_model = grid_search.best_estimator_# 使用最佳模型进行预测
best_Y_pred = best_svm_model.predict(X_test)# 计算并输出最佳模型的测试集准确度
print("优化后测试集准确度:", accuracy_score(Y_test, best_Y_pred))MAE = mean_absolute_error(Y_test, best_Y_pred)
MSE = mean_squared_error(Y_test, best_Y_pred)print(f"优化后Scores:  MAE={MAE}, MSE={MSE}")

结果： 

   age  Medu  Fedu  traveltime  studytime  ...  health  absences  G1  G2  G3
0   18     4     4           2          2  ...       3         6   5   6   6
1   17     1     1           1          2  ...       3         4   5   5   6
2   15     1     1           1          2  ...       3        10   7   8  10
3   15     4     2           1          3  ...       5         2  15  14  15
4   16     3     3           1          2  ...       5         4   6  10  10[5 rows x 16 columns]age  Medu  Fedu  traveltime  studytime  ...  health  absences  G1  G2  G3
0   18     4     4           2          2  ...       3         6   5   6   6
1   17     1     1           1          2  ...       3         4   5   5   6
2   15     1     1           1          2  ...       3        10   7   8  10
3   15     4     2           1          3  ...       5         2  15  14  15
4   16     3     3           1          2  ...       5         4   6  10  10[5 rows x 16 columns]age  Medu  Fedu  traveltime  ...  absences         G1      G2         G3
0   18     4     4           2  ...         6     medium  medium     medium
1   17     1     1           1  ...         4     medium  medium     medium
2   15     1     1           1  ...        10     medium  medium       good
3   15     4     2           1  ...         2  excellent    good  excellent
4   16     3     3           1  ...         4     medium    good       good[5 rows x 16 columns]
[2 0 2 2 2 2 3 2 2 2 2 0 2 1 2 1 2 2 2 2 2 2 2 2 2 2 1 2 2 2 0 3 2 2 1 3 22 1 2 2 1 2 2 2 3 2 3 2 2 1 2 2 2 2 2 2 3 3 3 2 2 3 2 2 2 1 2 2 2 2 2 2 23 2 2 1 3 1 2 1 3 0 1 0 3 2 2 2 0 2 2 2 2 1 2 3 2 3 2 2 2 2 0 2 2 2 3 2 22 2 2 2 3 2 1 3]
训练集准确度: 0.927536231884058
测试集准确度: 0.6218487394957983
Scores:  MAE=0.4957983193277311, MSE=0.7983193277310925
最佳参数: {'C': 0.3, 'gamma': 0.01, 'kernel': 'poly'}
最佳分数: 0.8115942028985508
优化后测试集准确度: 0.8235294117647058
优化后Scores:  MAE=0.2857142857142857, MSE=0.5882352941176471Process finished with exit code 0


http://www.ppmy.cn/ops/21154.html

相关文章

电力调度自动化中智能电网技术的应用

电力调度自动化中智能电网技术的应用

电力调度自动化中智能电网技术的应用 在现代电网的现代化发展和电网重组工作中起着关键作用,由于此项技术开发时间短,目前还没有形成一个相对清晰的概念,但此技术在未来的电网发展工作中的地位已得到了一些国家的认可。由于智能电网具有良好的兼容性以及交互性等优势,一经推出就…
阅读更多...
学习Docker笔记

学习Docker笔记

在23号刚刚学完新版本的docker还想说回去继续学习老版本的springcloud课程里面的docker 结果一看黑马首页新版本课程出了&#xff0c;绷不住了。以下是我学习新版本docker的笔记&#xff0c;记录了我学习过程遇到的各种bug和解决&#xff0c;也参考了黑马老师的笔记&#xff1a…
阅读更多...
CCRCC+101 种机器学习算法组合+免疫原性死亡+单细胞

CCRCC+101 种机器学习算法组合+免疫原性死亡+单细胞

免疫原性细胞死亡相关的多组学鉴定-在3P医学背景下&#xff0c;基于101 -组合机器学习计算框架的透明细胞肾细胞癌的特征 一、研究背景 1、透明细胞肾细胞癌(ccRCC)是一种常见的泌尿系统恶性肿瘤&#xff0c;死亡率极高。缺乏可靠的预后生物标志物破坏了其预测、预防和个性化…
阅读更多...
Pytorch GPU版本安装

Pytorch GPU版本安装

一、背景 记录一下安装Pytorch GPU版本过程。 由于手残&#xff0c;卸载了电脑上的显卡驱动&#xff0c;现在我连显卡类型是啥都不知道了。 总体思路&#xff1a;安装显卡驱动->安装cuda->安装pytorch库 二、安装显卡驱动 2.1 查看本地显卡型号 通过「DirectX 诊断工具…
阅读更多...
mysql-sql-练习题-2-窗口函数

mysql-sql-练习题-2-窗口函数

窗口函数 访问量max sum建表窗口函数连接 直播间人数 第1、3名建表排名sum 访问量max sum 每个用户截止到每月为止&#xff0c;最大单月访问次数&#xff0c;累计到该月的总访问次数 建表 create table visit(uid1 varchar(5) comment 用户id,month1 varchar(10) comment 月…
阅读更多...
FPGA中乘除法运算实现途径

FPGA中乘除法运算实现途径

主要介绍在FPGA中实现乘除法的方式 准则 虽然verilog中可以直接写* 或者/来表示乘除&#xff0c;但建议不要这样使用。如果是一个比较简单的话&#xff0c;还可以勉强使用。但遇到浮点之类的&#xff0c;肯定不可以了 。 具体官方给出了三种方式&#xff1a; 1.采用左移或右移…
阅读更多...
企业工厂如何逆风翻盘：VR全景打破多重桎梏

企业工厂如何逆风翻盘：VR全景打破多重桎梏

现阶段&#xff0c;制造业工厂面临的困境&#xff0c;就是用着上百万的设备&#xff0c;却赚着几毛钱的利润。传统的工厂参观方式也存在着很多的局限性&#xff0c;例如时间上不方便、不能实地参访、生产线具有隐患等&#xff0c;都会使得参观者不能深入地了解工厂的生产环境和…
阅读更多...
Leetcode—1017. 负二进制转换【中等】（string列表初始化、反向迭代器）

Leetcode—1017. 负二进制转换【中等】（string列表初始化、反向迭代器）

2024每日刷题&#xff08;120&#xff09; Leetcode—1017. 负二进制转换 实现代码 class Solution { public:string baseNeg2(int n) {string ans;while(n ! 0) {ans to_string(n & 1);n -(n >> 1);}return ans.empty() ? "0": string{ans.rbegin(),…
阅读更多...
最新文章

Copyright @ 2022~2023