ComfyUI | 5分钟部署最新Flux大模型

devtools/2024/10/10 11:27:00/

Midjourney 和 Stable Diffusion 都是目前流行的 AI 图像生成工具,它们能够根据文本描述生成高质量的图像。都是基于深度学习技术的文本到图像生成模型,但它们各自基于不同的大模型。

但最近推出了一款比前两者更强大,生成图像更加逼真,在细节上更符合现实世界的模型,就是FLUX!

图片

什么是Flux?

Flux AI是由Black Forest Labs推出的一款最新的文本生成图像模型,这个团队是由从Stable Diffusion离开的原班人马,创立的全新用于AI绘图的大模型。Flux AI模型以其卓越的视觉质量、精确的提示词遵循、多样化的风格和复杂场景生成能力而著称。它包含三个版本:FLUX.1 [pro]、FLUX.1 [dev]和FLUX.1 [schnell],分别针对不同的使用场景和需求。

Flux模型以及工作流已经打包好,有需要可以扫描下方,免费获取

在这里插入图片描述

FLUX.1 Pro

是专为商业用途设计的闭源模型,提供最先进的图像生成性能。

FLUX.1 Dev

是一个开源的引导蒸馏模型,适用于非商业应用。

FLUX.1 Schnell

是专为本地开发和个人使用设计的快速版本。

Flux AI模型采用了创新的混合架构,结合了多模态处理能力和并行扩散机制的Transformer技术,并扩展至高达120亿个参数。这些模型在训练生成模型的方法上采用了流匹配技术,这种方法不仅通用性强,而且概念简洁,特别适用于包括扩散过程在内的各种情况。

图片

官网展示图片样例:

图片

图片

图片

以下是Flux、Midjourney和Stable Diffusion模型的对比:

图像质量

Flux: 不需要其他插件的参与,本身就擅长生成高分辨率、细节丰富的图像,特别是在复杂场景和人体解剖学方面表现出色。

Midjourney: 以其艺术风格和高质量输出闻名,尤其在艺术性和风格多样性上有优势。

Stable Diffusion: 能够生成逼真的图像,适合需要真实感输出的项目。

速度和效率

Flux: 提供快速的图像生成,特别是schnell变体,适合需要快速原型制作和迭代设计的过程。大多数情况下不需要额外的下载风格模型,即可输出各种风格的图片。

Midjourney: 未明确提及速度,但通常商业模型可能会在云服务器上运行,可能存在排队等候的情况。

Stable Diffusion: 生成速度较慢,但在图像优化过程中提供更多控制。

处理复杂场景

Flux: 在处理复杂构图方面表现出色,得益于其先进的架构。特别是文字方面,flux可以输出带文字的图片,只要提示词足够的准确可以直接输出设计海报级别的图片。

Midjourney: 能够处理复杂场景,但在某些情况下可能需要更多的迭代来达到理想效果。

Stable Diffusion: 在处理复杂场景方面可能存在一些限制。

人体解剖渲染

Flux: 在渲染人体解剖方面表现出色,尤其是手部细节,更加的完整还原。

Midjourney: 未特别提及,但通常能够生成具有艺术感的人物图像,难以指定准确描绘。

Stable Diffusion: 可能在准确描绘人体特征方面遇到困难。需要额外的插件或者后期的处理才能勉强更正或基本达到效果

灵活性和集成

Flux: 提供多种变体,适合不同的使用场景和需求,包括开源和专业模型。

Midjourney: 作为商业工具,可能在定制化方面有一定的限制。

Stable Diffusion: 开源模型,社区驱动,提供了丰富的定制化和集成选项。

开源与商业模型

Flux: 提供开源模型,鼓励社区参与和创新。

Midjourney: 为商业模型,提供专业的图像生成服务。

Stable Diffusion: 开源模型,有活跃的社区支持和持续的改进。

特定应用

FluxI: 适合需要高细节和准确表现复杂场景的项目。

Midjourney: 适合艺术创作和设计,尤其是在需要艺术风格和创意表现的领域。

Stable Diffusion: 适合对最终图像控制至关重要的真实感输出。

总结来说flux:

(1)画面更细节,效果更好

(2)图片文字支持更突出完整,输出更准确

(3)人物手部完整,符合现实,基本不会出错

(4)模型包含风格多,支持风格多样,不依赖额外的模型协助补充

(5)可忽略输入负面提示词,单靠正面提示词即可准确输出

通过以上对比,flux之所以更强,是因为它的训练参数是比前两者更大,stable diffusion 3是最高8B的训练参数,约80亿,而flux 1的开始就是12B的训练参数,足足120亿,多了好几倍!单个模型的大小就有23G大小,可想而知,Flux强大是很有实力的。

图片

Flux模型的区别:主要分为下面三大模型

图片

图片

图片

图片

*注意:如果使用GGUF和NF4,需额外安装插件:

图片

图片

图片

如何部署安装flux?

1、保证你的comfyui是最新的版本。(本文使用秋叶老师的启动器)

点击启动器的版本,看到顶部的内核、扩展,依次点击右上角的一键更新按钮,更新到最新的即可。因为flux是8月前发布的,保证自己的comfyui是更新到8月1日之后的最新版本哦。

图片

2、进入官网的汉堡主页

图片

下载 ae.safetensors(即vae)、flux1-dev.safetensors(即unet)

图片

3、下载clip文件,进入comfyui的github主页找到flux:https://github.com/comfyanonymous/ComfyUI_examples/tree/master/flux

图片

从这里进入,看到clip_l.safetensors、t5xxl_fp16.safetensors、t5xxl_fp8_e4m3fn.safetensors这三个文件下载。

图片

图片

4、文件放置位置:

图片

5、其他资源包括controlnet及lora,在xlab-ai主页https://huggingface.co/XLabs-AI

图片

图片

*注意如想使用flux模型的controlnet、flux模型的iPadapter等功能,,还需要在comfyui里面下载安装XLabs-Ai插件。在comfyui管理器里打开节点管理,然后搜索该插件并安装,然后重启comfyui即可。

图片

6、系统内存设置

注意采用的模型运行占内存比较大时,建议打开系统的虚拟内存:系统设置-高级-性能设置-高级-虚拟内存-勾选自动管理。

图片

**
**

图片

如何快速使用?

官方给出了相关使用的工作流,只需要把官方github的案例图片拖放到comfyui即可。看图片命名对应使用,值得我们学习。

图片

官方案例工作流

如用flux_dev_example工作流为例子,将图片拖放到comfyui

图片

得到下面的工作流:

图片

把flux_schnell_example拖入则得到如下:

图片

划分结构:

图片

flux_schnell_example是最为简单的,4步骤即可出图。

从简单的入手,在flux_schnell_example工作流里面尝试使用下面提示词:

一个穿着校服的女孩,拿着粉笔在黑板上写着开心文字,真实摄影,学校教室,半身构图,电影灯光,细节丰富,日式低饱和度

A girl wearing a school uniform, holding chalk to write happy words on the blackboard, real photography, school classroom, half body composition, movie lighting, rich details, Japanese low saturation

得到的出图:

图片

(1)黑板上的字准确体验

(2)人物的手结构正常

(3)质感效果按提示词的真实风格符合

(4)出图效率高,无等待感,跟提示词吻合

接着我们在模型之间插入一个lora加载器,并且在网上下载了一个黑神话悟空的lora模型,加载进去(lora来自liblib.art平台作者)

图片

模型先使用fp8 schnell,使用lora作者提供的描述词,然后启动队列,看到作者电脑32G内存,可以去到85%到98%上,显卡是英伟达2080。

图片

输入提示词:

悟空,在绘画室内,绘画,素描,画笔,写字,努力工作,(大文字“不想工作”)

Wukong,in the painting studio,painting,sketching,using a paintbrush, writing,and working hard (big text says’ don’t want to work ')

得到图像:

图片

简单的描述,无需负面提示词,添加lora后人物手部,文字等都很好。

总的来说flux除了大模型需要强配置的电脑,较小的模型其实效果也错不了多少,对于普通的自媒体应用、方案创意等足够使用了。

另外除了简单的添加lora等,熟悉comfyui的话,添加放大增加细节的节点,甚至使用controlnet等高级应用都可以产生更多更好的效果。如有更好的提示词或者工作流,欢迎各位在评论区留言哦~

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

对于0基础小白入门:

如果你是零基础小白,想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!

零基础AI绘画学习资源介绍

👉stable diffusion新手0基础入门PDF👈

(全套教程文末领取哈)
在这里插入图片描述

👉AI绘画必备工具👈

在这里插入图片描述

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉AI绘画基础+速成+进阶使用教程👈

观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉12000+AI关键词大合集👈

在这里插入图片描述

这份完整版的AI绘画全套学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述


http://www.ppmy.cn/devtools/123674.html

相关文章

EXTI外部中断

目录 一.前言 二. 红外对射式传感器 三.旋转编码器 一.前言 什么是中断?中断就是在主程序运行过程中,出现了特定的中断触发条件(中断源),使得CPU暂停当前正在运行的程序,转而去处理中断程序,处…

【Android 源码分析】Activity生命周期之onStop-2

忽然有一天,我想要做一件事:去代码中去验证那些曾经被“灌输”的理论。                                                                                  – 服装…

STM32单片机(F03C8T6)-点灯(寄存器点灯和库函数点灯)

作者:Whappy 时间:2024.10.9 日志:本实验是我第一个32位单片机实验程序,如有不足请指点! #include "stm32f10x.h" // Device headerint main(void) {//寄存器点灯RCC->APB2ENR 0x000…

团标大数据(2024年09月)

一、总体数据 截至2024年09月30日,共有8240家社会团体在全国团体标准信息平台注册,其中民政部登记注册的有973家,地方民政部门登记注册的有7267家。社会团体在平台共计公布89857项团体标准,其中民政部登记注册的社会团体公布3603…

使用C语言获取iostat中的await值的方法和方案

使用C语言获取iostat中的await值的方法和方案 1. 准备工作2. 调用iostat命令并获取输出3. 解析iostat输出4. 完整实现和错误处理5. 注意事项在Linux系统中,iostat命令是sysstat软件包的一部分,用于监控系统的CPU、网卡、tty设备、磁盘、CD-ROM等设备的活动情况和负载信息。其…

Word 首行缩进 2 字符怎么设置?具体步骤演示

在日常的文档编辑和排版中,首行缩进是一个非常常见且重要的排版需求。尤其是在中文文档中,首行缩进能够提高文章的美观度和可读性,使文章结构更加清晰。那 Word 首行缩进 2 字符怎么设置呢?下面就给大家展示具体的操作步骤。 设置…

深入理解C#中的TimeSpan结构体:创建、访问、计算与格式化

TimeSpan 结构体在 C# 中用于表示两个时间点之间的时间间隔。它可以表示天、小时、分钟、秒以及毫秒的时间长度。TimeSpan 结构体非常适合于处理时间差,比如计算两个 DateTime 对象之间的差异,或者在需要表示一段时间长度时使用。 以下是一些使用 TimeS…

Git---Git打标签

打标签 像其他版本控制系统(VCS)一样,Git 可以给仓库历史中的某一个提交打上标签,以示重要。 比较有代表性的是人们会使用这个功能来标记发布结点( v1.0 、 v2.0 等等)。 在本节中,你将会学习如…