Diffusion Models专栏文章汇总：入门与实战

前言：大语言模型实在是太火了，各种技术日新月异，研究diffusion models的从LLMs中找一些研究灵感已经是基操了。当模型比较小的时候，微调全部参数还是可以的。但是现在的大预训练模型时代，微调所有参数不仅效果堪忧，对资源的消耗也非常恐怖，所以这就是做有效微调的初衷。为了研究清楚如何进行有效的大模型微调，我打算沿着Adapter Tuning——Prefix Tuning——Prompt Tuning——P-Tuning——lora的路线详细讲解一下，希望可以对做diffusion models的同学有所启发。

方法详解

Adapter结构

Adapter模块有两个主要特点：参数数量少，以及近乎相同的初始化。 与原始网络的层相比，适配器模块需要很小。 这意味着当添加更多任务时，总模型大小增长相对缓慢。