Stable Diffusion系列(二):ControlNet基础控件介绍

news/2024/11/8 22:42:38/

文章目录

  • 线稿提取类
    • Canny:边缘检测
    • SoftEdge:软边缘检测
    • Lineart:精细线稿提取
    • Scribble/Sketch:涂鸦提取
    • MLSD:建筑领域的线条提取
  • 3D提取类
    • Normal map:法线贴图
    • Depth:深度计算
    • Segmentation:语义分割
  • 属性继承
    • Shuffle:风格迁移
    • OpenPose:姿态提取
    • Reference:整体保留
    • Revise:整体提示
  • 图片重绘
    • Tile/Blur:增加/减少细节
    • Recolor:重新上色
    • InstructP2P:指令修图
    • Inpaint:局部重绘
  • 其他
    • T2I-Adapter:文字到图片自适应
    • IP-Adapter:指令图片自适应

在下载插件时可以看到,ControlNet 插件的星数遥遥领先,远超其他妖艳贱货。究其原因,是因为其大大增强了使用者对图片生成过程的控制能力,图片的生成同时受到提示词和提示图的影响,使得文生图由抽卡游戏变成了一个更具确定性的创作工具。

ControlNet位置位于文生图界面下方,记得要勾选启用,可控类型包括这么点东西:
在这里插入图片描述
接下来我将以喜闻乐见的熊猫花花为例,演示一下关于ControlNet的高端操作
在这里插入图片描述

线稿提取类

Canny:边缘检测

如下图所示,图片的生成效果其实分为两步,第一步是使用canny预处理器提取出图片的线稿,第二步是由模型根据线稿和提示词同时绘图,如果你已经有现成的线稿,记得要把预处理器设为none
在这里插入图片描述
当我输入以下提示词时,得到了这样的画面,构图确实基本上一致,但说好的女装熊猫呢???你的裙子呢???
在这里插入图片描述

在这里插入图片描述
问题不大,不就是提示词的分量不够重吗,我直接减小控制权重以及让它不从头开始控制以及让提示词更重要,emmm,勉强算符合要求吧:
在这里插入图片描述

SoftEdge:软边缘检测

这其实就是上面的升级版,说是可以保留更多细节,相同设置下,直接看看效果:
在这里插入图片描述

Lineart:精细线稿提取

升级升级版,可以理解为是更精细的线稿提取,不错不错,有那味了:
在这里插入图片描述

Scribble/Sketch:涂鸦提取

个人感觉是在线稿基础上的“抓住主要矛盾,忽视次要矛盾”,注意这里除了从原图生成涂鸦,也可以自己手动画一个,但我只想说,你是哪来的肥兔子:
在这里插入图片描述

MLSD:建筑领域的线条提取

这种线条提取会更注重建筑结构比如景深之类,最经典的应用就是生成房屋效果图,如果强行丢一张非建筑,那只能是这样:
在这里插入图片描述
换一张花花的宫殿图试试,只能说它对于建筑的定义有点窄了:
在这里插入图片描述

3D提取类

下面就不放根据提示词重生成的图了,看着都大同小异(懒得放图了),只放第一步预处理的结果

Normal map:法线贴图

跟黑白线稿相比,可以很好地保存原图的光影效果以及表面的凹凸情况:
在这里插入图片描述

Depth:深度计算

提取画面的景深图,颜色越浅,距离越近,可以在图生图用来重新生成背景:

在这里插入图片描述

Segmentation:语义分割

从结构方面提取画面的信息,可以手动在语义分割图中添加新的语义块完成图生图任务:
在这里插入图片描述

属性继承

Shuffle:风格迁移

提取原图的绘画风格并迁移到新生成的图上,不得不说,这还是绘画或者游戏场景下比较适合,对熊猫来说这种艺术还是太超前了:
在这里插入图片描述

OpenPose:姿态提取

熊猫的姿态就不算姿态了吗?气鼓鼓
在这里插入图片描述
来个正常的人类:
在这里插入图片描述

Reference:整体保留

这个可以看做是上面种种的集大成者,可以用来在画面主体对应的个体不变的情况下改变动作或场景,比如对于提示词奔跑的熊猫就会生成下面这堆东西,不过还是没有画出花花的神韵,在这里插入图片描述

Revise:整体提示

其实跟Reference有点像,它的思路是直接把输入的原图作为提示词,可以文字提示词设为空直接跑,也可以与文字提示词一起用,但为什么熊猫变成了猎豹呢,可能是一个名字里有猫,一个是猫科动物吧:
在这里插入图片描述

图片重绘

Tile/Blur:增加/减少细节

前者用来做高清修复,后者用来做画面模糊,试试先模糊后修复的效果如何,高清修复不是很高啊:
在这里插入图片描述
在这里插入图片描述

Recolor:重新上色

原理很简单,首先把彩色改成黑白,然后在黑白图上根据提示词重新上色:
在这里插入图片描述

InstructP2P:指令修图

这个需要在图生图页面中启用,输入make it snow,效果看着还不错:
在这里插入图片描述

Inpaint:局部重绘

这个需要在图生图下的手绘蒙版页面中启用,花花变花猪:
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

其他

剩下这俩都是腾讯搞的,感觉就是mini版ControlNet,就先不细说了

T2I-Adapter:文字到图片自适应

IP-Adapter:指令图片自适应


http://www.ppmy.cn/news/1189697.html

相关文章

Sci Immunol丨先天性 IL-25-ILC2-MDSC 轴

今天和大家分享一篇发表于2022年6月的文章,题目为“An innate IL-25-ILC2-MDSC axis creates a cancer-permissive microenvironment for Apc mutation-driven intestinal tumorigenesis”,发表在《Sci Immunol》杂志上。文章主要研究了Interleukin-25 (…

使用正则表达式来匹配字符串 “ds(s(adfas)f)aaa“ 中第一个括号和最后一个括号之间的内容

在 JavaScript 中,可以使用正则表达式来匹配字符串 "ds(s(adfas)f)aaa" 中第一个括号和最后一个括号之间的内容。以下是一个示例代码: const str "ds(s(adfas)f)aaa"; const regex /\((.*)\)/; const match str.match(regex…

QT窗体之间值的传递,多种方法实现

目录 1. 信号和槽机制 2. 全局变量或单例模式 3. 事件过滤器 4. Qt属性系统 5. 使用QSettings类 在Qt中,有多种方法可以在窗体之间传递值。下面是一些常用的方法: 1. 信号和槽机制 使用Qt的信号和槽机制是一种常见的方式来在窗体之间传递值。您可以…

在电子元器件里,散热器是什么?

电子元器件中的散热器:作用与重要性 在电子元器件的世界里,散热器扮演着至关重要的角色。作为一种专门用于散发电子元件产生的热量的装置,散热器对于维护电子设备的稳定性和可靠性具有不可替代的作用。本文将详细介绍散热器在电子元器件中的定…

阿里云2核2G3M带宽轻量服务器87元一年,经济型e实例99元一年

2023阿里云双十一优惠活动2核2G3M轻量应用服务器一年优惠价87元,云服务器ECS经济型e实例优惠价格99元一年,也是2核2G配置,自带3M带宽,并且续费不涨价,阿里云百科aliyunbaike.com还是很建议大家选择e实例的,…

两个字符串的最小ASCII删除和

题目描述 给定两个字符串s1 和 s2,返回 使两个字符串相等所需删除字符的 ASCII 值的最小和 。 示例 思路 这个题的解法一和最长公共子序列的解法大致相同,我们可以在此代码基础上稍微更改即可。 代码如下 解法一 public int minimumDeleteSum1(Stri…

518抽奖软件,可从Excel~Word~Pdf~网页导入名单

518抽奖软件简介 518抽奖软件,518我要发,超好用的年会抽奖软件,简约设计风格。 包含文字号码抽奖、照片抽奖两种模式,支持姓名抽奖、号码抽奖、数字抽奖、照片抽奖。(www.518cj.net) 从Excel、WPS表格导入 整列: 用鼠…

LiveMeida视频接入网关

一、产品简介 视频接入网关主要部署在视频存储节点或视频汇聚节点,面向不同用户,主要用于对接不同厂家、不同型号的摄像机设备,获取摄像机视频后,以统一标准的视频格式和传输协议,将视频推送至上层联网/应用平台。可广…