Stable Diffusion的Lora使用和训练如何使用和训练LoRA模型？你想要的都在这！--人人都可以当炼金术士！

随着人工智能技术的不断发展，图像生成与反推技术已经成为了AI领域的一大热点。今天，我们就来为大家详细介绍Stable Diffusion的Lora使用和训练方法，让每个人都能成为炼金术士，创造出属于自己的图像生成魔法！

在我们使用和训练LoRa之前，我们先介绍下LoRa的概念和作用。

LoRa是基于大模型基础上，对产生的画面的一种微调手段的小模型。如果把基础模型比喻为游戏引擎，那么LoRa就是相当于游戏mod的存在。他是基于基础模型上对画面更具有可控性的一种微调方式，如果你用的是二次元基模，那么通过真人LoRa也不能出现真人画面。他只是一个辅助、做些美化，不可能对画面画风进行大幅度的修改。

在这里插入图片描述

LoRa有很多种类型，有场景LoRa、画风LoRa、姿势LoRa、服装LoRa、汽车LoRa、人物LoRa、甚至有专门某个部位的如眼睛的LoRa、手部的LoRa以及调光影的影调LoRa。

LoRa这个名称可以理解为一个微调模型的统称，我们一般说的LoRa模型，其实包括：LyCORIS、LoHa、LoRa、LoCon、LoKR 和 DyLoRA 等，他们的区别在于因微调技术的分类和其算法不同。

目前用的较多的还是，传统的LoRa和LyCORIS两种，而LoHa模型又是基于LyCORIS上的技术。LyCORIS的表现比传统的Lora会好些，当然他的模型大小也相对大点，在344M左右，传统的LoRa则一般在144M或者更小。

LoRa的用处

类比大语言模型基础上，在训练属于自己领域特性的微调语言模型的道理一样，训练LoRa模型，是基于大模型基础上的微调模型。

最常用的是通过训练比如特定人物或衣服的 LoRA模型后，就可以在 Prompt 中用一个触发词调用这微调模型，从而获得特定人物或衣服的图片。

有如下的作用与优点：

节省训练时间：

可以让我们用不多的时间里，对特定的目标进行快速地通过模型训练让AI学习到后并在之后的使用中可以精准调用。而不用投入过多的时间精力去训练大模型。

提高准确性：

使用LoRa模型微调，可以在保持底层模型的特征提取能力的同时，针对具体任务进行优化，从而提高模型在特定任务上的准确性。

加快创作速度：

LoRa 模型可以快速生成想法的效果，这些结果可以为创作者提供新的创作灵感，开拓新的设计思路和方向，从而更好地实现自己的设计目标。

可迁移性：

可迁移性意味着可以在不同任务之间共享底层模型，从而减少重复训练，提高工作效率，使其能够更快速地从一个任务转移到另一个任务。

===========================

LoRa训练的6个环节

我们这里介绍的是传统的LoRa模型的训练方式和参数，你们可能会看到不少不同的参数和训练方式的内容，那是或许是不同的细分模型类型的不同，微调技术的分类和其算法不同，但训练步骤和环节都基本差不多。

在此我们先将整个训练过程做个梳理和讲解，实操阶段可以学习完这篇后，再结合我们推荐的视频内容，你会更容易上手。

01.训练环境搭建

我们可以到B站“秋葉aaaki”的视频内容中获取链接，或者到他在GitHub上的链接下载安装训练所需的脚本。当然，这之前你需要已装有Python，这在使用Stable Diffusion前已经搭建了的环境。

训练包LoRa-scripts下载：

（需要的同学可自行扫描获取）

在这里插入图片描述

将训练包下载后解压缩到自己指定的路径下即可。我是放在D盘的根目录下，方便后面训练调用和训练集存放不用挖太深。

02.训练素材准备

训练集素材的搜集很重要_！很重要！很重要~！

对要用于训练的图片素材：例如在角色训练素材中，需要清晰的、多角度的、正脸的、侧脸的、最好是背景干净的、各种表情的、摆头的。就是需要各种角度（不要有俯视的，尽量都是平视图避免比例失调）、景别、姿势、光照。脸部不要有被遮挡的图片。这样增加训练集的多样性，提高模型的泛化性。

（这里借用B站博主的图片作训练集图片挑选的示范）

在这里插入图片描述

对于高清的照片（至少要1M以上的文件），可以设置高分辨率来训练（比如1024*768），还可以将高清照片截取不同区域来重复利用为素材。

将搜集好的图像文件保存到一个目录下后备用。

如果是角色训练集控制在20-50张图左右，太多会导致过拟合。

如果是训练其他风格，有说法是图片越多效果就越好，相应的训练时长也会增加，建议在50~80张。

在这里插入图片描述

影响训练出的LoRa模型的好坏，训练集是最最最重要的~！

如果是角色训练，也建议将需要训练的人物及相关的特征装饰都抠出来，背景尽量简单或直接是纯色背景，建议白底或黑底，但不要是透明底。

*素材可以少，但是质量一定要高。

*角色背景最好是白底网站上面可以选择换背景颜色

搜集好训练用的图像后，需要进行大小的规范处理，需要是64的倍数。一般都处理为512*512，也可以是768*768，不建议超过1024，尺寸越大则越吃显存。

03.图像预处理

将裁切规范后的训练集图像文件夹，置入Stable Diffusion中的“训练”标签页中。

所谓的图像预处理，就是将批量的训练集中图像进行批量打标签，批量给训练集中的每一张图像生成一个对应的tag文本文件。

在这里插入图片描述

04.打标签

这个环节，将对tag文本文件的描述语进行处理，删除关于描述人物特征的tag，比如你要保留其黑色头发作为训练LoRa的自带特征，而不会在出图时头发被改为金色，那么这里就要将“black_hair”的描述tag删除掉。那么在训练时，AI自动将黑色头发与该LoRa绑定，之后的出图中就不会出现其他颜色的头发。还比如微笑的tag，smile，就需要保留，作为这张图像的面部特征需要告知AI。

因此在检查tag这个环节，需要我们手动将AI识别不到，但又需要将其排出在我们LoRa特征之外的tag补齐。这就是为什么我们在挑选训练集图像的时候就需要讲究越简单越好。如果你的人物训练集图片中只有要的人物和白色背景，那么tag文档中只需要留下触发词和white backgroud即可。

注意，这个触发词一定要设置，可以是特别的自己好记的英文字母的代名词。

对于模糊的图像tag中可以添加动态模糊的描述词，对于面部特写的图像可以加特写的tag，让AI更好地学习。

这里批量处理tag也有小工具软件辅助，我们推荐的是BooruDatasetTagManager，一个单独的小工具软件。可以很方便对导入的文本文件进行统一的tag删减和增加。

在这里插入图片描述

将处理好的图片和文本文档的文件夹拷贝到训练用的路径下，并设定好文件夹下划线前的循环训练次数值（Num）。这个Num意思是对训练集的图像学习的循环次数。

在这里插入图片描述

批量处理Tag小工具下载链接：

05.开始训练

这里注意，对每次训练的数据最好自己做个文档记录，记录主要的参数设置，作为之后测试模型效果后进行训练参数调整的参考依据（我自己记录的主要参数有：训练集照片数量、Num值、epoch、Dim值、Alpha值、batch size，学习率和采样器都还是默认的，之后深入学习后可以尝试）。

训练时长，总的来说，不宜也不需训练过长时间。尽可能把训练时长控制在半小时到一小时内，时间过长容易导致过拟合，通过调整等参数控制训练时长。即便是batch size值为1，也是如此，这就意味着你的训练总步数其实是不需要过多。（当然，时长也跟显卡的功力也有一定关系，但时长不至于偏差得几倍去。）

都准备好训练集后，就是对训练脚本（目录LoRa-scripts下，编辑训练脚本“train.ps1”）进行修改，调整训练参数后，就可以执行此脚本文件开始训练。

在这里插入图片描述

参数讲解

Clip用1似乎效果不佳，真是玄学，还是用回2吧，不管是真人还是二次元。

训练的结果好坏，是否过拟合或欠拟合，就跟我们在脚本中设定的参数也是有关的。

训练用的底模，一般用chilloutmix_Ni.safetensors（偏人物）或官方的SD1-5的版本（建议），这里最好是将模型先拷贝到训练程序的相应目录下D:\LoRa-scripts\sd-models，这样就不需要将路径最前面的一个“.”改为“…”。

接着设定训练集的路径，将我们保存训练集图像文件的路径复制黏贴入即可。注意如果你没有将训练集的文件夹拷贝到程序的目录下D:\LoRa-scripts\，那么就需要在路径最前面将[dir=“.]，改为[dir=”…]，就是要加多一个小点，训练集的文件夹不在程序的目录下调用。

dim值和alpha值设定，训练人物一般都设32，64也是可以；训练风格可以用到128。

分辨率resolution的设定，根据训练集的图片文件的像素来设定即可。

max_train_epochs表示这个训练跑多少批次（或称为跑多少圈）；

save_every_n_epochs表示跑多少圈保存一次模型。

Batch Size表示训练这些图片时，每训练几次算1步。

总训练数=训练集的图片数量*Num值*epoch值

训练步数=训练集的图片数量*Num值*epoch值/Batch Size值。

举例参数是：

34张*10Num*20epoch=6800次。

06.模型测试

炼出的多个模型，如何知晓并筛选出最好用的那个，就需要我们用脚本中的xyz图表的方式来跑图测试。

跑图测试调用LoRa的方式可以是用Additional Networks中的模型类型和权重来做xy轴，也可以是用提示词搜索替换的方式来改权重（但这好像只能是对不同权重的比对而无法比对不同的LoRa来比对）。

先将Additional Networks开启，简单设置下就好。

在这里插入图片描述

再到脚本栏选用xyz图表，进行各项对比参数的设置。

在这里插入图片描述

最后生成的阵列图中，就可以很直观地看出哪个模型，在某种权重值情况下表现得最好。至于采样模式，我个人比较偏好用DPM++ 2M Karras，当然也可以用xyz图表跑跑看其他几种不同采样方法下的模型表现情况，不建议选太多种跑图。

感兴趣的小伙伴，赠送全套AIGC.html" title=AIGC>AIGC学习资料，包含AI绘画、AI 人工智能等前沿科技教程和软件工具，具体看这里。

在这里插入图片描述

AIGC.html" title=AIGC>AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC.html" title=AIGC>AIGC技术也将不断提高。未来，AIGC.html" title=AIGC>AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC.html" title=AIGC>AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC.html" title=AIGC>AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
在这里插入图片描述