stable diffusion webui + kohya_ss

news/2024/11/16 2:27:10/

关于sd,我自己也是新手,就简单记录一下

首先是项目地址,https://github.com/AUTOMATIC1111/stable-diffusion-webui

然后关于这个webui的使用教程,找到一个博客,但是需要科技才能上。

 欢迎 | Stable Diffusion WebUI使用手冊(简体中文)|Ivon的部落格 (ivonblog.com)

在部署方面,也是查了很多博客,我这边是部署在autodl服务器上,安装的时候,碰到第一个问题,root用户下不能安装,但是如果新建一个用户的话,又没有python,两难。后来看了下webui.sh中有关于root的注释,其中有一段,注释掉后就不会报错了

# read any command line flags to the webui.sh script
while getopts "f" flag > /dev/null 2>&1
docase ${flag} inf) can_run_as_root=1;;*) break;;esac
done

我是把这个全部注释掉。比较担心会不会有后续影响,直到后来查看输入参数的时候,一直追查,从modules里的launch_utils.py到cmd_args.py,里面定义了很多参数,第一个就是

parser.add_argument("-f", action='store_true', help=argparse.SUPPRESS)  # allows running as root; implemented outside of webui

从这个描述来看,应该就是允许root用户安装,不过我也没有用过,就是提一下,在launch_utils.py当中有一些需要安装的git的地址,如果存在网络问题的话,可以提前将这些地址改为镜像地址,如此的话可以一次成功,不然就自己提前下好装好也是可以的,但是sd他默认是会装一个虚拟环境,也就是不管你的conda是不是新建了环境,他都是使用在自己目录内的venv内的python环境,所以想要pip安装包,应该是venv/bin/python -m pip ...

在顺利装上sd之后,他好像是默认会下载一个model,但我的没有,可能是网络原因,所以我是自己下载的,推荐一个网站模型广场 (aigccafe.com),下载速度还不错,下载的时候需要注意看一下,至少需要一个checkpoint,不要下载到了lora,需要放置在正确的位置上。

对webui的启动,同样,执行webui.sh就可以了,但是autodl的端口,建议是6006,然后远程访问的话,除了对应ip,端口是54482。不过后来发现,用vscode的端口转发的话,什么端口号都可以了。还建议开启api模式,如果用--nowebui,则没有web,只有api模式,用--api的话,就是两个模式都可以,不过如果开启api模式的话,可以查看api文档,虽然也比较简略就是了。

webui支持插件功能,比如可以汉化,这篇帖子写了怎么汉化,还有一些使用教程,不过个人觉得,汉不汉化都无所谓,使用上没有障碍,主要是,在使用提示词的话,基本上不支持中文,所以需要注意使用英文。

推荐这篇浅谈stable diffusion (三) - 知乎 (zhihu.com)对各个参数有讲解,还是不错的,强烈推荐。

接下来说一下lora,在我的理解中,他就是对大模型的一个微调,所以比较小,在使用上,主要是通过<>来进行调用,括号中写上lora名和权重,默认是1,例如<MOXIN:0.9>,前面是lora名,就是文件名,后面0.9就是权重,但是需要注意的是,在web端,通过鼠标点击对应的图标来添加的话,他是使用的lora的别名,但是这个别名不好得到,所以使用文件名也是可以的,关于权重,可以参考下载的时候的模型描述。

因为我主要使用api模式,所以看了下api的代码,他提供了很多方法,这里提到一些坑,比如,需要更换模型,他是没有对应接口的,最开始我是修改了reload接口的代码实现的,后来发现,其实是有的,他有个setconfig可以设置很多信息,但最终其实没有必要,因为在进行文生图的时候,可以指定模型,这样还方便一些,每次发送文本和指定风格就行了,不然还需要先判断当前使用的是什么风格,再判断要不要切换风格并加载对应模型,不如每次都指定风格,省了很多事。

然后他的默认api好像是没有提供获取全部lora模型信息的,至少在api的py文件中没有,通过web端下方点击api按钮跳转api文档能看到有,如果没有的话,可能是需要安装一个插件,可以查看这个帖子,这个帖子主要是lora的训练和对比,但也提到安装一个插件。

对于lora的训练,首先,sd好像是没有提供训练的方法,他提供的训练也不太清楚是啥,有篇帖子介绍了比较详细,然后训练的话,最开始看的就是这篇,什么是LoRA模型,如何使用和训练LoRA模型?你想要的都在这! - 知乎 (zhihu.com)

他提到了训练的方式是,通过 bmaltais/kohya_ss (github.com)这个项目,这个项目也是有坑。

我这边不是按照那个lora训练的帖子来的,基本流程是,1.准备图片

2.通过sd webui做数据预处理,也就是生成图片标签,具体是训练标签中的数据预处理,填写好路径之后,下面勾选生成tags

3.生成的文本是txt格式的,此时遇到第一个坑,再kss这个项目中,他默认的标签文件格式是.caption,所以记住一定要在训练参数那一栏中找到,文本格式,填上.txt,不然在开始训练的时候,会有提示,找不到caption,但是仍然可以开始训练,所以是不会报错的,一定要注意看打印日志。

kss这个项目,在安装的时候,似乎也是会自己安装虚拟环境,但我的似乎是检测到什么,所以没有,直接使用的当前本地的python,但是他有个巨坑是,他第一步是检查自己是不是最新的,所以会先git自己,但是由于网络原因,不成功,虽然不影响后面进程,但是会很拖时间,通过什么参数可以取消这一步;然后由于他需要的库都指定了版本,且太新了,很可能pip会报错,此时,先不要急,想一想是不是使用国内的pip源,切换回原始源,然后更新pip,就可以了。这里吐槽一下,感觉实在没有必要,一定要最新的么,是不是过于新了,在安装的时候没折腾死。

总结一下,这篇简单的写了一下踩坑,但是并没有很详细的写具体怎么用,怎么训练,因为我觉得,怎么用sd,网上一搜一大把,至于训练,效果远不如网上下载的,有点折腾,而且生成的标签也需要人工校对,如果这些都愿意花时间解决,那区区一个训练,相对而言,花很少的时间就能解决

 


http://www.ppmy.cn/news/590945.html

相关文章

PCSX2模拟《铁拳5》相关设置

默认情况下使用pcsx2 1.6.0模拟铁拳5&#xff0c;主要会出现两个问题 问题解决方案屏幕抖动菜单 Config > Video (GS) > Plugin Settings&#xff0c;开启"Enable HW Hacks"&#xff0c;点击Configure Hacks&#xff0c;开启"Wild Arms Offset"竖行…

迷雾世界无限号服务器,迷雾世界部分服务器5月3日数据互通公告

迷雾世界为了优化游戏体验&#xff0c;更好地提升组队、交互的互动体验&#xff0c;开发组在 4月28日 对所有玩家进行了关于数据互通的调查投票。结果显示&#xff0c;绝大部分的玩家都投票同意。 因此&#xff0c;我们将在本周三(5月3日)08&#xff1a;00分别对【霜啸丛林、铁…

铁拳6常用符解释图文|新手必看|

铁拳6常用符解释图文|新手必看| 拳脚按键 左拳——1  右拳——2  左脚——3  右脚——4 摇杆方向 上———u (up)   下———d (down)   前———f (forward)  后———b (back)  复位——n (Neutral) 斜上——u/f   后上——u/b   斜下——d/f…

街霸4图形技术讲解

动作全部手工添加。巨大化攻击部位的秘密和正合适的攻击冲击感&#xff01; [街霸4]系列倡导了[把2D格斗游戏趣味美化后再现]&#xff0c;[把插图&#xff08;illustration&#xff09;风格用3D方式运动起来]的概念。 在前篇中虽然解说了Shading和Lighting等[涂色]的部分&#…

教AI逐帧搓招玩《铁拳》通关最高难度,现在的街机游戏爱好者有点东西啊

博雯 发自 凹非寺量子位 | 公众号 QbitAI 现在的AI都开始学着逐帧搓招打街机了&#xff1f; 《拳皇98》、《街头霸王》、《死或生》……一干童年回忆全都玩了个遍&#xff0c;其中还有号称要打5000场才能入门的3D格斗游戏《铁拳》&#xff1a; 没错&#xff0c;就是那个对新手极…

绝地求生服务器维护3月25日,绝地求生:3月25日停机维护五小时修复BUG,三周年在线57W...

今天绝地求生3月25日早上8&#xff1a;30开始停服修复游戏中出现的一些BUG&#xff0c;官方发出公告大概需要5小时就能更新完毕&#xff0c;而且近期也是绝地求生三周年的生日&#xff0c;在线人数也是达到了57W&#xff0c;也是可喜可贺啊。 因为近期的在线人数一直只有10W左右…

黑客反击战3

回到宿舍后我照例打开机子&#xff0c;收到了肥猫的留言。他告诉我美国黑客组织PoisonBOx的行动升级了&#xff0c;已经开始大肆攻击中国网站&#xff0c;并由政府网站扩散到民间网站。他知道我在一家大公司上班&#xff0c;因此警告我要小心防范。他当然不知道我的公司已经被攻…

Python分析《羞羞的铁拳》电影观众评论

專 欄 ❈ 伟楠&#xff0c;Python中文社区专栏作者&#xff0c;数据分析师&#xff0c;知乎专栏&#xff1a;数据故事会。 https://www.zhihu.com/people/hao-wei-nan ❈ 前段时间上映的《羞羞的铁拳》可谓是票房大丰收啊&#xff0c;截止到我写这篇文章时&#xff0c;我看了眼…