Stable Diffusion教程:LoRA模型

embedded/2024/9/23 6:50:51/

LoRA模型是一种微调模型,它不能独立生成图片,常常用作大模型的补充,用来生成某种特定主体或者风格的图片。

下载模型

在模型下载网站,如果模型是LoRA模型,网站会特别标识出来。以 liblib.ai为例:

模型左上角会有一个模型类型的标记,CHECKPOINT代表大模型,LORA代表这是一个LoRA模型。

点击进入模型详情之后,我们可以看到它的一些介绍,以及下载按钮。注意看下图我标出来的这几个地方:

1、下载按钮:点击即可下载,可能需要先登陆。LoRA模型文件一般不大,几十M到几百M不等。

2、基础算法:LoRA模型适配的大模型版本,常见的就是 1.5 和 XL。如果是 1.5,那么搭配的大模型也需要是 1.5 的模型,而不能是 XL 的模型。大模型的算法版本我们也可以在模型的详情页面上找到。

3、触发词:在提示词中包含这些词可以在生成图片中强调LoRA模型提供的独特主体或风格,这些触发词有时候不是必须的,但是建议写到提示词中,以稳定出图效果。

4、模型发布者提供的一些LoRA模型的使用说明。

5、模型发布者提供的使用当前LoRA模型生图的参数,包括提示词、采样器、采样步数、随机种子等等,使用完全一致的生图参数可以生成完全一样的图片。

在页面的下方还有其它爱好者使用这个模型的一些返图,以及图片对应的生成参数,你可以直接拿来主义。

使用模型

安装模型

我们需要把下载的模型放到 Stable Diffusion WebUI 的 LoRA 模型的文件夹下边。

<stable-diffusion-webui>/models/Lora

注意替换 为你的 SD WebUI 安装目录,然后重启 Stable Diffusion WebUI。

如果部署成功,我们可以在“文生图”或者“图生图”页面的“低秩微调模型(LoRA)”中看到刚刚上传的模型。

使用模型

使用模型就是在提示词中引用模型,格式是:

lora:模型的名字:模型的权重

模型的名字和模型的文件名不一定相同,我们可以在“低秩微调模型(LoRA)”中点击这个模型,WebUI就会自动在提示词中增加对这个模型的引用。

模型的权重越高生成图片时越贴近模型提供的主体或者风格,权重的取值范围是:0-1。

以下是不同权重时的效果展示:

生成图片时可以同时使用多个LoRA模型,最终效果会综合多个模型的风格。

训练LoRA模型

LoRA模型训练成本不高,往往只需要几十张图片就能训练出比较好的效果,广泛用于在生成图片时强化特定事物,比如某个高级脸、某种穿搭风格、某种绘画风格等等,经常用来做模特换衣、插画生产等,比较方便普通用户试玩。

写在最后

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述


http://www.ppmy.cn/embedded/4320.html

相关文章

将 Notepad++ 添加到右键菜单

目录 方式一&#xff1a;添加注册表&#xff08;手动&#xff09; 方式二&#xff1a;添加注册表&#xff08;一键添加&#xff09; 有时安装了notepad后&#xff0c;在txt文件上右键&#xff0c;在弹出的菜单栏中没有【通过 Notepad 打开】&#xff0c;如下&#xff1a; 这…

MoJoCo 入门教程(七)XML 参考

系列文章目录 前言 表格第二列中的符号含义如下&#xff1a; ! 必填元素&#xff0c;只能出现一次 ? 可选元素&#xff0c;只能出现一次 * 可选元素&#xff0c;可多次出现 R 可选元素&#xff0c;可递归出现多次 一、简介 本章是 MuJoCo 中使用的 MJCF 建模语言的参考手册。…

.NET JWT入坑

目录 ✨ 建立项目jwttest 1.创建TestJwtController 2.下载JWT 3.建实体类 4.添加post login 5.登录验证 6.测试没问题&#xff0c;写个JwtHelper 7.添加token加密类 8.测试JWT ⭐️JwtBearer 9、添加NuGet包Microsoft.AspNetCore.Authentication.JwtBearer 10、在…

Elasticsearch(2)

目录 121.ES查询中match和term的区别? 122.Es查询中should和must的区别? 123.ES查询中match,match_phrase和match_phase_prefix有什么区别? 124.ES查询中什么是复合查询?有哪些复合查询方式?

Rust常见陷阱 | 线程间传递消息导致主线程无法结束

在多线程编程中,线程之间的通信是一个不可或缺的话题。尤其是在Rust语言中,由于其特有的所有权机制,线程通信需要更加仔细地处理。本文将深入讨论使用Rust标准库中的消息通道时如何避免主线程被阻塞的问题,并提供详尽的代码示例来辅助理解。 问题描述 当我们在Rust中使用…

基于springboot实现教学辅助平台系统项目【项目源码+论文说明】

基于springboot实现教学辅助平台系统演示 摘要 随着信息技术在管理上越来越深入而广泛的应用&#xff0c;管理信息系统的实施在技术上已逐步成熟。本文介绍了教学辅助平台的开发全过程。通过分析教学辅助平台管理的不足&#xff0c;创建了一个计算机管理教学辅助平台的方案。文…

有没有批量调节音乐播放速度的方法?调节音频的播放速度

一&#xff0c;引言​ 调节音乐播放的速度是一种有趣而富有创造性的方式&#xff0c;可以改变我们对音乐的感知和体验。通过调整音乐的速度&#xff0c;我们可以创造出全新的听觉效果&#xff0c;让音乐呈现出不同的情感和氛围。二&#xff0c;调节音乐速度的效果 调节音乐速…

【C++】哈希结构

目录 一&#xff0c;哈希结构的认识 1-1&#xff0c;哈希思想 1-2&#xff0c;哈希函数 1-3&#xff0c;哈希冲突 1-3-1&#xff0c;闭散列 1-3-2&#xff0c;开散列 二&#xff0c;哈希结构的封装实现 2-1&#xff0c;闭散列封装实现 ​编辑 2-2&#xff0c;开散列封…