常用采样器、目前有20个采样步骤越多每个步之间的降噪越小,减少采样过程中的截断误差,结果越好
学微分方程求解器
Euler(最简单的采样器,采样过程中不加随机噪声,根据采样计划来执行每个步骤中的噪声,并使用欧拉方法减少适当数量的噪声以适应噪声计划,到最后一步为0)、Heun(是对 Euler 的更精确的改进,但需要在每个步骤中预算两次噪声,处理速度相对会更慢一些)、LMS(解决学微分方程的标准方法,采样速度与Euler 相同)
祖先采样器.
随机采样,采样过程具一定的随机性,缺点是图像不收敛
Euler a(在每个步骤中减去比『应该』更多的噪声并添加一些随机的噪声以接近于噪声计划,去噪图像取决于前面步骤添加的特定噪声)、DPM2
a、DPM++2s a、DPM2 a Karras、DPM++ 2S a Karras
官方采样器,最早的采样器算法
DDIM、(使用去噪后的图像来近似最终图像,并使用噪声预测估计的噪声来近似图像方向)PLMS (是 DDIM 的新版且更快速的替代品)DPM 和
DPM++,DPM2(是 katherine Crowson 在 k-diffusion 项目中自创的,灵感来源 DPM-Solever-2 和算法
2,受采样器设置中的 sigma 参数影响) 、DPM2 a(祖先采样器的一种,受采样器的 ETA 参数影响)、DPM++ 2s
a(祖先采样器的一种,受采样器的 ETA 参数影响) 、DPM++ SDE(受采样器的 ETA 参数影响)、DPM fast (用于 steps 小于 20
的情况,受采样器的 ETA 参数影响 )、DPM++ 2M(在速度和质量的平衡最好,代表 m 的多步比上面的 s
单步在采样时会参考更多步,而非当前步所以能有更好的质量)、DPM adaptive (2022 年发布的扩散模型的新采样器,DPM2 比 DPM
更准确但速度较慢,DPM++是对 DPM 的改进,可以自适应的调整步长,但会很慢,不能保证在规定的采样步骤内完成.)
带有 Karras 字样的采样器
使用了噪声时间表,控制每个步骤的噪声水平,随着采样步骤的增加,减少了截断误差
UNiPC
是 2023 年发布的,目前最快速的最新的采样方法 UNiPC sampling steps 10、UNiPC sampling steps
20、UNiPC sampling steps 30受 ODE 求解器中预测校正方法启发 可以在很少的步骤就可以实现高质量图像生成
常用的采样器
DPM++ 2M karras(20-30 步)、unpic(15-25 步)、如果想要高质量的图,不收敛可以选择 DPM++ SED
Karras,DDIM (10-15 步,较快) ,如果要简单的图可以选 Euler,heun 可以减少步骤以节省时间,如果想要稳定可复线的图(Euler
a、DPM2 a、DPM++ 2s a、DPM2 a karras、DPM2 ++ 2s a karras,避免采用任何祖先采样器)
常用模型
二次元代表 :Anything v5、Counterfeit v2.5、Dreamlike Diffusion、
标签与风格关键词:
illustration,painting,sketch,drawing,painting,comic,anime,catoon
可以使用这些词语为关键词搜索对应的风格模型,也可以使用它们在 Prompt 中激活模型风格特性。
写实代表:Deliberate、Realistic Vision、LOFI(L.O.F.I)
标签与风格关键词:
photography,photo,realistic,photorealistic,RAW photo
可以使用这些词语为关键词搜索对应的风格模型,也可以使用它们在 Prompt 中激活模型风格特性。
2.5D 风代表 :NeverEnding Dream(NED)、Protogen (Realistic) 、国风 V3(GuoFeng3)
、lora 卡通证件照(底模:DreamShaper,06-0.9)
风格关键词:
3D、render、chibi、digital art、concept art、{realistic}
可以使用这些词语为关键词搜索对应的风格模型,也可以使用它们在 Prompt 中激活模型风格特性。
模型扩展名的区分
模型的类型(是装着各种图片的容器)官方模型网站:https://huggingface.co
Stable Diffusion 大模型(*.ckpt) 文件是用 pickle
序例化的。这意味着它有可能会包含恶意代码。加载这类型的模型应该确认可靠的来源。
.safetensors 文件是用 numpy 保存的,这意味着它们只是包含张量数据。没有任何代码。加载.safetensors 文件更安全快捷。
emb 模型 嵌入式模型是一种用于生成图片语言理解组件,它可以接受文本提示并产生 token embeddings,模型有多种不同的训练方法,例如
Textual Inversion,Hypernetwork,Dreambooth 和 LoRA,这几种各有优劣势和应用场景。
VAE
模型,具有颜色的校正功能,可以让生成的图像更加鲜艳或者柔和,初化的图像,可能在这个图像的基础上进行细化和改进。低维的隐空间,可以在这个空间中控制图像的风格和特征。
超网络模型(hypernetworks) 可以用来对 Stable-diffusion 的模型进行风格迁移(style transfer)。
LoRA 模型 体积小,适合性能不足的电脑使用,可以用少量的图片训练,训练时间较短,一般用于固定的人物,服装,动作。
模型的安装
官方模型网站 https://huggingface.co
将下载的模型文件放入 stable-diffusion-webui/models/下对应模型类型的文件目录中,在 web UI
的模型选择后面重载,即可看到新加入的模型,models 目录下包含模型,算法,采样器。
关注我,后继会更新更多有趣有用的关于AI相关的课程!
AI绘画商业应用,个人变现项目本人正在试验中,感兴趣的朋友可以下方扫码咨询我。
写在最后
感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。