本篇是延续第一篇：【AI面试】工作和面试过程中，经常遇到的其他问题汇总一（持续更新）
如果你还没有看过上一篇文章，建议先去看看，尽管这两篇文章没有什么交集。
一、在CNN和transformer的训练过程中，学习率的调整，有什么经验？
在训练卷积神经网络（CNN）和Transformer网络时，学习率的调整是一个至关重要的步骤，因为它会直接影响到模型的收敛速度和最终性能。这里有一些关于学习率调整的通用经验指导：
- 学习率预热（Warm-up）
特别是在训练大型模型如Transformer时，学习率预热是非常有用的。学习率预热是指在训练初期，学习率从一个较小的值逐渐增加到预定的初始学习率。这种方法可以帮助模型在训练开始时稳定下来，防止模型在初始阶段由于较大的学习率而发散。
- 学习率衰减（Decay）
随着训练的进行，逐渐降低学习率可以帮助模型更细致地逼近全局最小。常见的学习率衰减策略包括：
-
阶梯式衰减：在预定的epoch数后，学习率乘以一个常数因子（如0.1）。
-
指数衰减：学习率按照一个指数函数逐渐减少。
-
余弦退火：学习率随着训练的进行按照
