【机器学习】过拟合与欠拟合——如何优化模型性能

embedded/2024/9/25 14:41:45/

【机器学习】过拟合与欠拟合——如何优化模型性能

1. 引言

在机器学习中，模型的表现不仅依赖于算法的选择，还依赖于模型对数据的拟合情况。过拟合（Overfitting）和欠拟合（Underfitting）是模型训练过程中常见的问题。过拟合意味着模型过于复杂，以至于“记住”了训练数据中的噪声，而欠拟合则意味着模型过于简单，无法捕捉到数据的主要特征。本文将深入探讨过拟合与欠拟合的定义、表现、原因及常见的解决方案，帮助你优化模型性能。

在这里插入图片描述

2. 什么是过拟合？

2.1 定义

过拟合是指模型在训练集上表现得非常好，但在测试集或新数据上表现较差。这是因为模型在训练数据上过于复杂，捕捉了数据中的噪声和异常值，而这些并不代表数据的实际分布。

2.2 过拟合的表现：

  • 训练集上的误差极低：模型在训练集上表现完美。
  • 测试集上的误差较高：模型无法泛化到未见的数据。
  • 高方差：模型对训练数据敏感，对测试数据不够鲁棒。

2.3 过拟合的原因：

  • 模型过于复杂：参数过多，导致模型能够记住每一个训练数据点。
  • 训练数据量过少：数据不足以代表真实情况。
  • 特征过多且无正则化：大量不相关的特征增加了模型复杂度。

示例：决策树模型过拟合

from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score# 加载数据
iris = load_iris()
X = iris.data
y = iris.target# 拆分数据集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)# 训练复杂的决策树模型
model = DecisionTreeClassifier(max_depth=None)  # 不限制深度，可能导致过拟合
model.fit(X_train, y_train)# 评估模型
train_accuracy = accuracy_score(y_train, model.predict(X_train))
test_accuracy = accuracy_score(y_test, model.predict(X_test))
print(f"训练集准确率: {train_accuracy}")
print(f"测试集准确率: {test_accuracy}")

3. 什么是欠拟合？

3.1 定义

欠拟合是指模型过于简单，无法捕捉到训练数据中的模式。这种情况下，模型的训练误差和测试误差都较高，说明模型既没有学好训练数据，也无法在测试集上表现良好。

3.2 欠拟合的表现：

  • 训练集和测试集误差都较高：模型对训练数据和测试数据都不能很好地拟合。
  • 高偏差：模型对数据的基本结构理解不到位，表现为过于简化。

3.3 欠拟合的原因：

  • 模型过于简单：模型结构无法捕捉数据中的复杂关系。
  • 训练时间不足：模型还没有充分学习到数据中的模式。
  • 特征不足：输入特征太少，导致模型无法充分学习。

示例：线性回归模型欠拟合

from sklearn.datasets import load_boston
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error# 加载数据
X, y = load_boston(return_X_y=True)# 拆分数据集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)# 训练简单的线性回归模型
model = LinearRegression()
model.fit(X_train, y_train)# 评估模型
train_error = mean_squared_error(y_train, model.predict(X_train))
test_error = mean_squared_error(y_test, model.predict(X_test))
print(f"训练集均方误差: {train_error}")
print(f"测试集均方误差: {test_error}")

在这里插入图片描述

4. 如何避免过拟合？

4.1 减少模型复杂度

通过限制模型的复杂度，可以减少模型过拟合的风险。例如，决策树的深度越大，模型越容易过拟合。

示例：限制决策树深度
model = DecisionTreeClassifier(max_depth=3)  # 限制树的最大深度
model.fit(X_train, y_train)

4.2 使用正则化

正则化是在损失函数中添加惩罚项，限制模型的复杂度，从而避免过拟合。常见的正则化方法有 L1 正则化（Lasso）和 L2 正则化（Ridge）。

示例：使用 Ridge 回归进行正则化
from sklearn.linear_model import Ridge# 使用 Ridge 回归
model = Ridge(alpha=1.0)
model.fit(X_train, y_train)

4.3 数据扩充

如果训练数据不足，可以通过数据扩充来增加数据量，从而减少过拟合的风险。对于图像数据，数据扩充的方法包括翻转、旋转、缩放等。

4.4 使用交叉验证

交叉验证通过将数据集划分为多个子集来验证模型的性能，避免模型在特定数据上过拟合。

示例：K 折交叉验证
from sklearn.model_selection import cross_val_score# 使用 5 折交叉验证
scores = cross_val_score(model, X, y, cv=5)
print(f"交叉验证得分: {scores}")

在这里插入图片描述

5. 如何避免欠拟合？

5.1 增加模型复杂度

通过增加模型的复杂度，可以帮助模型更好地拟合数据。例如，在神经网络中增加隐藏层或神经元的数量。

示例：增加决策树的深度
model = DecisionTreeClassifier(max_depth=10)  # 增加树的深度
model.fit(X_train, y_train)

5.2 训练更长时间

在深度学习中，欠拟合通常意味着模型还没有充分学习。可以通过增加训练的轮数来改善欠拟合。

5.3 增加特征

通过引入更多有意义的特征，可以帮助模型更好地学习数据中的模式。例如，特征工程中的特征生成步骤可以生成多项式或交互特征。

示例：生成多项式特征
from sklearn.preprocessing import PolynomialFeatures# 生成二次多项式特征
poly = PolynomialFeatures(degree=2)
X_poly = poly.fit_transform(X_train)model.fit(X_poly, y_train)

5.4 使用非线性模型

如果数据存在复杂的非线性关系，线性模型容易欠拟合。可以选择非线性模型（如随机森林、支持向量机）来提升模型表现。

6. 过拟合与欠拟合的权衡

6.1 偏差-方差权衡

优化模型性能的过程中，我们通常要在**偏差（bias）和方差（variance）**之间找到平衡。偏差过高意味着欠拟合，方差过高则意味着过拟合。通过选择合适的模型复杂度，可以在偏差和方差之间取得良好的权衡。

6.2 学习曲线

通过绘制学习曲线，可以帮助我们观察模型是否出现了过拟合或欠拟合。训练误差和验证误差趋于一致且较低时，说明模型表现良好。
在这里插入图片描述

7. 案例：避免房价预测中的过拟合与欠拟合

数据清洗与预处理

# 假设数据已经加载到 data 中
X = data.drop('price', axis=1)
y = data['price']# 拆分数据集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

训练 Ridge 回归模型避免过拟合

from sklearn.linear_model import Ridge# 使用正则化的 Ridge 回归
model = Ridge(alpha=1.0)
model.fit(X_train, y_train)# 评估模型
train_error = mean_squared_error(y_train, model.predict(X_train))
test_error = mean_squared_error(y_test, model.predict(X_test))
print(f"训练集均方误差: {train_error}")
print(f"测试集均方误差: {test_error}")

8. 总结

过拟合和欠拟合是机器学习模型中的常见问题。过拟合通常由模型过于复杂或数据不足引起，而欠拟合则是由于模型过于简单或数据特征不足。通过使用正则化、交叉验证、增加数据量和调整模型复杂度等方法，可以有效地优化模型性能。在实际应用中，找到适当的模型复杂度并在偏差和方差之间平衡，是提升机器学习模型性能的关键。

9. 参考资料

  • 《Deep Learning》 by Ian Goodfellow
  • Coursera 深度学习课程
  • TensorFlow 官方文档

使用机器学习分析csdn热榜

image-20240925092639602

  • 也不知道为什么这个热榜对机器学习这么看重，只要你的文章标题是机器学习那就很容易上热榜，但如果不是，那即使你文章流量啊、点赞、评论数上热榜的要求就像翻了倍一样…
  • 机器学习和csdn热榜的爹一样
  • 就像官方在鼓励你写机器学习水文一样

image-20240925093019600

img

你好,我是Qiuner. 为帮助别人少走弯路而写博客 这是我的 github https://github.com/Qiuner⭐ gitee https://gitee.com/Qiuner 🌹

如果本篇文章帮到了你 不妨点个赞吧~ 我会很高兴的 😄 (^ ~ ^) 。想看更多 那就点个关注吧 我会尽力带来有趣的内容 😎。

代码都在github或gitee上，如有需要可以去上面自行下载。记得给我点星星哦😍

如果你遇到了问题，自己没法解决，可以去我掘金评论区问。私信看不完，CSDN评论区可能会漏看 掘金账号 https://juejin.cn/user/1942157160101860 掘金账号

更多专栏:

  • 📊 一图读懂系列

  • 📝 一文读懂系列

  • ⚽ Uniapp

  • 🌟 持续更新

  • 🤩 Vue项目实战

  • 🚀 JavaWeb

  • 🎨 设计模式

  • 📡 计算机网络

  • 🎯 人生经验

  • 🔍 软件测试

掘金账号 CSDN账号

感谢订阅专栏 三连文章

http://www.ppmy.cn/embedded/116663.html

相关文章

怎样才能远程了解在iPhone、iPad上看了什么网站、用了什么APP？

怎样才能远程了解在iPhone、iPad上看了什么网站、用了什么APP？

有不少家长在网上吐槽： ——自家小孩每天抱着手机看，一看就两三个小时，到底在看什么？ ——没有不允许小孩玩手机，但他一玩就一整天，用什么户外活动、家庭活动都吸引不回来。 ——每次问小孩在手机上看什…
阅读更多...
c++判断一个字符串的内容是否是16进制字符串

c++判断一个字符串的内容是否是16进制字符串

操作系统：ubuntu22.04 IDE:Visual Studio Code 编程语言：C11 功能描述 要判断一个字符串是否为16进制字符串，可以遍历字符串中的每个字符，并检查它们是否都是合法的16进制字符（即0-9和A-F或a-f）。 代码示…
阅读更多...
fastadmin前端切换成英文，后台中文，修改JS文件

fastadmin前端切换成英文，后台中文，修改JS文件

找到JS文件，修改配置，最底下部分 public\assets\js\require-frontend.js require([jquery, bootstrap], function ($, undefined) {//初始配置var Config requirejs.s.contexts._.config.config;//将Config渲染到全局window.Config Config;// 配置语言…
阅读更多...
php中打印函数

php中打印函数

在PHP中，打印函数主要用于输出或显示数据。常用的打印函数包括： 1.echo- 可以输出一个或多个字符串。 echo "Hello, World!"; echo "Hello", " ", "World!"; 2.print - 功能与echo相似，但print只能…
阅读更多...
基于AI+多技术融合在流域生态系统服务评价、水文水生态分析、碳收支、气候变化影响、制图等领域中的实践应用

基于AI+多技术融合在流域生态系统服务评价、水文水生态分析、碳收支、气候变化影响、制图等领域中的实践应用

流域生态系统服务在环境保护与资源管理中具有不可替代的重要性。随着全球气候变化和人类活动对自然环境的压力日益增大，流域生态系统的稳定性和健康状况面临严峻挑战。水资源短缺、洪水频发、水质污染、生物多样性减少等问题，正在威胁流域内及其下游区域…
阅读更多...
C++第2课——取余运算符的应用、浮点型和字符型（含视频讲解）

C++第2课——取余运算符的应用、浮点型和字符型（含视频讲解）

文章目录 1、课程笔记2、课程视频 1、课程笔记 /* #include<iostream> using namespace std; int main(){//cout<<"hello,world!";//运算符的优先级 () * / % -// 3/2 1...1 3%21 5%32 3%53 -3%2-1 3%-21//cout<<6/4%2;//int 向下取整6…
阅读更多...
时间序列数据可视化

时间序列数据可视化

#时间序列可视化 #离散数据的时间序列可视化 import numpy as np import pandas as pdts pd.Series(np.random.randn(1000), indexpd.date_range(1/1/2000, periods1000)) ts ts.cumsum() ts.plot() #%% #连续数据的时间序列可视化 import matplotlib.pyplot as plt df pd.D…
阅读更多...
小程序服务零工市场

小程序服务零工市场

零工市场小程序有着信息发布、岗位匹配、线上接单、零工人员保障险参保、技能培训、费用结算、完工确认、服务评价、纠纷调解等功能&#xff0c;为求职者和雇主搭建一座高效、便捷、精准的对接桥梁。 用工单位通过小程序的“雇主找人”&#xff0c;发布招聘信息&#xff0c;找到…
阅读更多...
最新文章

Copyright @ 2022~2023