知识迁移
2024/9/23 22:40:20
识蒸馏十大关键概念详解:从教师-学生范式到模型压缩和重生网络
知识蒸馏(Knowledge Distillation)任务通常会使用以下术语和表述:
Knowledge Distillation (KD): 知识蒸馏的直接称呼,指从一个大型复杂的教师模型(teacher model)中提取知识,并传递给一个小型简单的学生模型(student model)的过程。Teacher-Student Framework: 教师-学生框架…
识蒸馏十大关键概念详解:从教师-学生范式到模型压缩和重生网络
知识蒸馏(Knowledge Distillation)任务通常会使用以下术语和表述:
Knowledge Distillation (KD): 知识蒸馏的直接称呼,指从一个大型复杂的教师模型(teacher model)中提取知识,并传递给一个小型简单的学生模型(student model)的过程。Teacher-Student Framework: 教师-学生框架…