SD教程 重绘 ControlNet-Inpain

————————————————

                        版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

原文链接：https://blog.csdn.net/A1353192296/article/details/138462891

Inpaint Anything算法，可以实现移除、填补、替换一切内容，实现单击图像上的任何物体可以一键擦除替换任何内容、更改任意背景，这可以提高遮罩创建过程的效率和准确性，从而在节省时间和精力的同时获得更高质量的修复结果。

安装方法
1、在扩展面板中安装Inpaint Anything

地址：https://github.com/Uminosachi/sd-webui-inpaint-anything.git
如无法下载，请看文末扫描获取

2、guthub安装

inpaint anything扩展项目地址： https://github.com/Uminosachi/sd-webui-inpaint-anything
如无法下载，请看文末扫描获取

3、安装插件并重启之后，可以在导航栏面板中看到Inpaint Anything组件，此时还需要安装SAM模型。

SAM 提供三种模型，显存高的下载 sam_vit_h，识别度更精准。显存 8G 左右的下载 sam_vit_l，显存低于 8G 的下载 sam_vit_b。选择对应模型后，点击“下载模型”，下载后的模型会存放在 Inpaint Anything 插件目录中的 models 文件夹内。

4、SAM模型，我已经放在网盘了（请看文末扫描获取）下载后把SAM模型放在“……\sd-webui-aki-v4\extensions\sd-webui-segment-anything\models\sam”路径下。

2.使用生成指定蒙版

上传你要修改的图片，点击“run segment anything”，会将参考图进行分割。

在右侧图片分割区域，调整笔刷大小，鼠标点击图片需要分割的区域，涂抹你要修改的色块。

选取完毕后，点击“创建遮罩”，蒙版将出现在选定的蒙版图像区域中。

你可以看到，上衣已经被选中，以高亮的颜色标识。接着，在界面左下还有一排标签，选择最右边的Mask only：

出现的两个按钮，分别点击一下，你就得到了两张图：

左边是直接抠图，将上一步中高亮选中的部分直接扣出，生成一张Alpha通道的png图片。

右边是生成蒙版，高亮区域为白色，其他区域黑色。

需要说明的是，这两张图和原图尺寸完全一致，可以直接保存到本地。

蒙版调整说明：

如果觉得蒙版边缘不够精准，可以点击下方的expand mask整体外扩蒙板，使用此按钮可以稍微扩大遮罩的区域以获得更广泛的覆盖范围。

Add mask by sketch 按钮：单击此按钮会将草绘区域添加到蒙版中。

在左侧仅蒙版选项卡中，点击“获取遮罩”，创建蒙版图。

点击“发送到图生图重绘”，将蒙版发送到图生图上传重绘蒙版模式中。

以下是控制衣服颜色的测试
从中领悟到提示词是基础，比为先， 各种花里胡哨的大模型为后
同时蒙版的精准控制待解决

3、设置SD模型和图生图参数

选择 Stable Diffusion 模型，如果要生成写实模型，就选真人模型比如majicMIX realistic 模型。

输入你要修改的提示词描述，设置好宽高，分辨率与原图一致（512X768），重绘幅度建议0.6以上。

采样方法和迭代步数根据情况来设置，这里设置采样方法为Euler a，迭代步数 20，启用脸部修复。

在上传重绘蒙版选项卡的重绘模式中，选择“重绘非蒙版内容”。（白色部分是蒙版，黑色部分不是蒙版）

我们测试将白色上衣修改成藏青色毛衣。

正向提示词：

(8k, RAW photo, best quality, masterpiece:1.3),(realistic,photo-realistic:1.37),1girl,solo,long hair,denim,brown hair,brown eyes,realistic,looking at viewer,jeans,pants,outdoors,blurry background,blurry,long sleeves,lips,( Navy sweater),day,arms behind back,closed mouth,breasts,(8k, RAW photo, best quality, masterpiece:1.3),(realistic,photo-realistic:1.37),1girl,solo,long hair,denim,brown eyes,realistic,looking at viewer,jeans,pants,outdoors,long sleeves,lips,((Navy )High-Neck Cashmere Sweater:1.3),day,arms behind back,closed mouth,breasts,

反向提示词：

ng_deepnegative_v1_75t, badhandv4, (worst quality:2), (low quality:2), (normal quality:2), lowres, ((monochrome)), ((grayscale)), watermark, (bad-hands-5:1.1) (Unspeakable-Horrors-Composition-4v:1.1)

EasyNegative,paintings,sketches,(worst quality:2),(low quality:2),(normal quality:2),lowres,normal quality,((monochrome)),((grayscale)),skin spots,acnes,skin blemishes,age spot,extra fingers,fewer fingers,lowres,bad anatomy,text,error,missing fngers,extra digt,fewer digits,cropped,wort quality,jpeg artifacts,signature,watermark,username,blurry,(((Redundant limbs))),((nipples)),((nsfw)),bare,((cleavage)),hands finger 5 finger hands kkkk,(((Redundant fingers))),(((freckle))),(((nevus))),(((nasolabial folds))),(((Decree pattern))).,

点击“生成”，碰到如下错误

NansException: A tensor with NaNs was produced in Unet. This could be either because there's not enough precision to represent the picture, or because your video card does not support half type. Try setting the "Upcast cross attention layer to float32" option in Settings > Stable Diffusion or using the --no-half commandline argument to fix this. Use --disable-nan-check commandline argument to disable this check.

然后，点击右上角的“生成”按钮。上衣已经换过来了。

也可以换成其他颜色，在正向提示词里换成“blue Sweater:1.3”，生成蓝色毛衣。

可以结合Control net，选择openpos骨架图，控制人物姿势，你也可以不使用，直接生成。

3.生成图像及后期处理

在生成的效果图中，可以看到人物衣服已经替换过来了，我们完成了局部“换肤

选择一张整体满意的图，如需要微调图片中的内容，可以将 seed 种子数固定，再调整提示词重新生成。点击“后期处理”，选择图片放大倍数和模型，增强图像分辨率和细节。

写在最后
感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。