Stable Diffusion AI绘画学习指南【常用模型,采样器介绍】

embedded/2025/1/22 6:05:41/

常用采样器、目前有20个采样步骤越多每个步之间的降噪越小,减少采样过程中的截断误差,结果越好

学微分方程求解器

Euler(最简单的采样器,采样过程中不加随机噪声,根据采样计划来执行每个步骤中的噪声,并使用欧拉方法减少适当数量的噪声以适应噪声计划,到最后一步为0)、Heun(是对 Euler 的更精确的改进,但需要在每个步骤中预算两次噪声,处理速度相对会更慢一些)、LMS(解决学微分方程的标准方法,采样速度与Euler 相同)

祖先采样器.

随机采样,采样过程具一定的随机性,缺点是图像不收敛

Euler a(在每个步骤中减去比『应该』更多的噪声并添加一些随机的噪声以接近于噪声计划,去噪图像取决于前面步骤添加的特定噪声)、DPM2
a、DPM++2s a、DPM2 a Karras、DPM++ 2S a Karras

官方采样器,最早的采样器算法

DDIM、(使用去噪后的图像来近似最终图像,并使用噪声预测估计的噪声来近似图像方向)PLMS (是 DDIM 的新版且更快速的替代品)DPM 和
DPM++,DPM2(是 katherine Crowson 在 k-diffusion 项目中自创的,灵感来源 DPM-Solever-2 和算法
2,受采样器设置中的 sigma 参数影响) 、DPM2 a(祖先采样器的一种,受采样器的 ETA 参数影响)、DPM++ 2s
a(祖先采样器的一种,受采样器的 ETA 参数影响) 、DPM++ SDE(受采样器的 ETA 参数影响)、DPM fast (用于 steps 小于 20
的情况,受采样器的 ETA 参数影响 )、DPM++ 2M(在速度和质量的平衡最好,代表 m 的多步比上面的 s
单步在采样时会参考更多步,而非当前步所以能有更好的质量)、DPM adaptive (2022 年发布的扩散模型的新采样器,DPM2 比 DPM
更准确但速度较慢,DPM++是对 DPM 的改进,可以自适应的调整步长,但会很慢,不能保证在规定的采样步骤内完成.)

带有 Karras 字样的采样器

使用了噪声时间表,控制每个步骤的噪声水平,随着采样步骤的增加,减少了截断误差

UNiPC

是 2023 年发布的,目前最快速的最新的采样方法 UNiPC sampling steps 10、UNiPC sampling steps
20、UNiPC sampling steps 30受 ODE 求解器中预测校正方法启发 可以在很少的步骤就可以实现高质量图像生成

常用的采样器

DPM++ 2M karras(20-30 步)、unpic(15-25 步)、如果想要高质量的图,不收敛可以选择 DPM++ SED
Karras,DDIM (10-15 步,较快) ,如果要简单的图可以选 Euler,heun 可以减少步骤以节省时间,如果想要稳定可复线的图(Euler
a、DPM2 a、DPM++ 2s a、DPM2 a karras、DPM2 ++ 2s a karras,避免采用任何祖先采样器)

常用模型

二次元代表 :Anything v5、Counterfeit v2.5、Dreamlike Diffusion、

标签与风格关键词:

illustration,painting,sketch,drawing,painting,comic,anime,catoon

可以使用这些词语为关键词搜索对应的风格模型,也可以使用它们在 Prompt 中激活模型风格特性。

写实代表:Deliberate、Realistic Vision、LOFI(L.O.F.I)

标签与风格关键词:

photography,photo,realistic,photorealistic,RAW photo

可以使用这些词语为关键词搜索对应的风格模型,也可以使用它们在 Prompt 中激活模型风格特性。

2.5D 风代表 :NeverEnding Dream(NED)、Protogen (Realistic) 、国风 V3(GuoFeng3)
、lora 卡通证件照(底模:DreamShaper,06-0.9)

风格关键词:

3D、render、chibi、digital art、concept art、{realistic}

可以使用这些词语为关键词搜索对应的风格模型,也可以使用它们在 Prompt 中激活模型风格特性。

模型扩展名的区分

模型的类型(是装着各种图片的容器)官方模型网站:https://huggingface.co

Stable Diffusion 大模型(*.ckpt) 文件是用 pickle
序例化的。这意味着它有可能会包含恶意代码。加载这类型的模型应该确认可靠的来源。

.safetensors 文件是用 numpy 保存的,这意味着它们只是包含张量数据。没有任何代码。加载.safetensors 文件更安全快捷。

emb 模型 嵌入式模型是一种用于生成图片语言理解组件,它可以接受文本提示并产生 token embeddings,模型有多种不同的训练方法,例如
Textual Inversion,Hypernetwork,Dreambooth 和 LoRA,这几种各有优劣势和应用场景。

VAE
模型,具有颜色的校正功能,可以让生成的图像更加鲜艳或者柔和,初化的图像,可能在这个图像的基础上进行细化和改进。低维的隐空间,可以在这个空间中控制图像的风格和特征。

超网络模型(hypernetworks) 可以用来对 Stable-diffusion 的模型进行风格迁移(style transfer)。

LoRA 模型 体积小,适合性能不足的电脑使用,可以用少量的图片训练,训练时间较短,一般用于固定的人物,服装,动作。

模型的安装

官方模型网站 https://huggingface.co

将下载的模型文件放入 stable-diffusion-webui/models/下对应模型类型的文件目录中,在 web UI
的模型选择后面重载,即可看到新加入的模型,models 目录下包含模型,算法,采样器。

关注我,后继会更新更多有趣有用的关于AI相关的课程!

AI绘画商业应用,个人变现项目本人正在试验中,感兴趣的朋友可以下方扫码咨询我。

写在最后

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述


http://www.ppmy.cn/embedded/155980.html

相关文章

【线性代数】基础版本的高斯消元法

线性方程组 考虑线性方程组, 已知 A ∈ R n , n , b ∈ R n A\in \mathbb{R}^{n,n},b\in \mathbb{R}^n A∈Rn,n,b∈Rn, 求未知 x ∈ R n x\in \mathbb{R}^n x∈Rn A 1 , 1 x 1 A 1 , 2 x 2 ⋯ A 1 , n x n b 1 , A_{1,1} x_1 A_{1,2}x_2\cdots A_…

macOS 安装JDK17

文章目录 前言介绍新特性下载安装1.下载完成后打开downloads 双击进行安装2.配置环境变量3.测试快速切换JDK 小结 前言 近期找开源软件,发现很多都已经使用JDK17springboot3 了,之前的JDK8已经被替换下场,所以今天就在本机安装了JDK17&#…

#前端网址

网址 CSS color 属性 (w3school.com.cn) MDN Web Docs (mozilla.org) Can I use... Support tables for HTML5, CSS3, etc

如何将自己本地项目开源到github上?

环境: LLMB项目 问题描述: 如何将自己本地项目开源到github上? 解决方案: 步骤 1: 准备本地项目 确保项目整洁 确认所有的文件都在合适的位置,并且项目的 README.md 文件已经完善。检查是否有敏感信息&#xff0…

Elasticsearch:Jira 连接器教程第二部分 - 6 个优化技巧

作者:来自 Elastic Gustavo Llermaly 将 Jira 连接到 Elasticsearch 后,我们现在将回顾最佳实践以升级此部署。 在本系列的第一部分中,我们配置了 Jira 连接器并将对象索引到 Elasticsearch 中。在第二部分中,我们将回顾一些最佳实…

PIL——抗锯齿修改分辨率

1. PIL 中的抗锯齿与齿轮图像的平滑处理 如果用户的问题是希望使用 PIL 处理齿轮图像(例如绘制或缩放齿轮图像),并避免锯齿问题,可以参考以下方法: (1)使用 Image.ANTIALIAS 进行抗锯齿处理 …

PostgreSQL插件pg_repack介绍和简单使用【2】

文章目录 pg_repack用法介绍OPTIONS指定选项重组选项连接选项通用选项 pg_repack用法介绍 OPTIONS指定选项 -a, --all 重新打包所有数据库-t, --tableTABLE 仅打包指定表-I, --parent-tableTABLE 重新打包特定的父表及其继承表-c, --schemaSCHEMA 仅打包指定模式内的表-s, --…

Flink在流处理中,为什么还会有窗口的概念呢

窗口操作在流处理中看似有些反直觉,因为流处理通常处理的是无限数据流,数据不断流入而没有明确的结束点。然而,窗口操作却是流处理的一个核心概念,特别是在需要对流数据进行 聚合、统计、处理 等操作时,窗口的概念就显…