文章大纲

• 3.2.3 预训练任务设计：`掩码语言建模（MLM）`与下一句预测（NSP）
• • 1. 掩码语言建模（`Masked Language Modeling, MLM`）
  • • 1.1 MLM的核心原理与数学形式
    • 1.2 高级掩码优化技术
    • • 1.2.1 `Span Masking（SpanBERT）`
      • 1.2.2 自适应掩码（`AMLM`）
  • 2. 下一句预测（`Next Sentence Prediction, NSP`）
  • • 2.1 NSP任务设计
  • 3. MLM与NSP的联合训练
  • • 3.1 联合目标函数
    • 3.2 动态课程学习
  • 4. 工程实现与优化
  • • 4.1 数据预处理流水线
    • 4.2 显存优化策略
  • 5. 实验分析与效果验证
  • • 5.1 消融实验（`Wikipedia数据集`）
    • 5.2 跨语言泛化能力
  • 6. 总结与最佳实践
  • • 6.1 预训练任务设计准则
    • 6.2 领域适配方案