1、欠拟合
1.1 现象
欠拟合是机器学习和统计建模中的一种常见问题，表现为模型无法充分捕捉数据中的潜在规律和模式。无论是训练数据还是测试数据，模型的预测误差都居高不下。
在实际应用中，欠拟合的模型往往显得过于简单和粗糙，无法对数据进行有效的拟合和描述。
1.2 原因
- 模型过于简单是导致欠拟合的主要原因：
- 例如，使用直线去拟合具有明显曲线趋势的数据，或者使用低阶多项式去拟合高阶的复杂函数关系。这种情况下，模型的表达能力不足以捕捉数据中的复杂模式
- 特征空间的维度过低
- 模型训练不足
- …
1.3 解决方法
为了解决欠拟合问题，可以采取以下几种方法：
1.3.1 增加特征复杂度
通过增加特征的复杂度来提升模型的拟合能力。
例如，在回归问题中：
- 使用多项式回归，将特征从线性组合扩展为高阶多项式组合，使模型能够更好地拟合非线性数据
- 通过特征工程的方法，增加交叉特征、多项式特征等，丰富特征空间，提高模型对数据规律的捕捉能力
1.3.2 增加模型复杂度
- 选择更复杂的模型架构，如从简单的线性模型升级到非线性模型，如决策树、支持向量机等；
- 在深度学习中，可以增加神经网络的层数和神经元数量，以增强模型的表达能力和拟合能力。
1.3.2 减少正则化强度
适当降低正则化参数的强度，避免对模型的复杂度进行过度限制，从而提高模型的拟合能力。
2、过拟合
2.1 现象
过拟合是另一个常见的模型拟合问题，表现为模型在训练数据上表现得非常好，但在测试数据上表现不佳。具体来说，模型在训练数据上的误差很低，但在新的、未见过的数据上误差较高。这说明模型对训练数据的细节和噪声过度学习，导致其泛化能力下降，无法很好地适应新的数据。
2.2 原因
模型过于复杂是导致过拟合的主要原因。
例如，
- 使用高阶多项式去拟合相对简单的数据关系
- 在神经网络中使用过多的层数和神经元
- 训练数据量不足
- 特征空间维度过高
- 模型训练过度
- …
这种情况下，模型具有很强的表达能力，能够对训练数据进行几乎完美的拟合，包括数据中的噪声和异常点
2.3 解决方法
为了解决过拟合问题，可以采取以下几种方法：
2.3.1 正则化
正则化是一种常用的防止过拟合的技术，通过在损失函数中添加正则化项来限制模型的复杂度。
常见的正则化方法包括L1正则化和L2正则化：
- L1正则化通过添加绝对值范数的惩罚项，使模型的一些权重系数变为零，从而实现特征选择和稀疏化
- L2正则化通过添加平方范数的惩罚项，使模型的权重系数保持较小的值，避免权重过大导致的过拟合
2.3.2 增加数据量或使用数据增强
增加训练数据量是缓解过拟合的有效方法。更多的训练数据可以使模型更好地学习数据中的真实规律，减少对噪声和异常点的过度拟合。当获取更多数据困难时，可以使用数据增强技术。
- 在图像数据中，可以通过旋转、翻转、缩放、裁剪等操作生成新的训练样本；
- 在文本数据中，可以通过同义词替换、句子重组等方法进行数据增强。
2.3.3 早停法
在模型训练过程中，监测验证集的性能，当验证集的误差不再改善时提前停止训练，避免模型过度拟合训练数据。
2.3.4 Dropout
在神经网络中，Dropout是一种有效的正则化技术。它在训练过程中随机失活一部分神经元，防止神经元之间的过度依赖，提高模型的泛化能力。
2.3.5 简化模型复杂度
适当减少模型的复杂度，如降低多项式的阶数、减少神经网络的层数或神经元数量等，以降低模型的过拟合风险。
微语录：不去追逐，永远不会拥有。不往前走，永远原地停留。知道自己目的地的人，才是旅行最远的人。
