如何使用Flux+lora进行AI模型文字生成图片

概要

前期准备

部署安装与运行

1. 部署ComfyUI 本篇的模型部署是在ComfyUI的基础上进行，如果没有部署过ComfyUI，请按照下面流程先进行部署，如已安装请跳过该步：

（1）使用命令克隆 ComfyUI

（2）安装 conda（如已安装则跳过）

（3）创建虚拟环境

(4) 安装pytorch

(5) 安装需要的依赖

2.部署Flux.1

（1）下载Flux.1模型

（2）下载Clip模型

（3）下载工作流

3. 部署lora

(1) 下载flux1-dev-fp8模型

(2) 下载lora模型

(3) 导入工作流

概要

最近AI生成图片也是越来越火爆了, 我也是尝试着搭建了一下目前主流的comfyui来进行图片生成,下面是一些基本搭建的流程以及最后的效果展示。

前期准备

一台带有gpu(越nb越好)显卡的服务器.显存最低要求8G以上,cuda要求11.8以上
准备好Miniconda安装包并安装好conda虚拟环境,安装包为Miniconda3-latest-Linux-x86_64.sh
使用git clone下载comfyui
准备好需要的模型,flux1-dev_3.safetensors, clip_l.safetensors,t5xxl_fp16.safetensors,t5xxl_fp8_e4m3fn.safetensors,ae.safetensors,LR_Pho_Realistic-FLUX__v1.0.safetensors, 一般model_scope上都有下载

部署安装与运行

1. 部署ComfyUI
本篇的模型部署是在ComfyUI的基础上进行，如果没有部署过ComfyUI，请按照下面流程先进行部署，如已安装请跳过该步：

（1）使用命令克隆 ComfyUI

git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI

（2）安装 conda（如已安装则跳过）

下面需要使用 Anaconda 或 Mimiconda 创建虚拟环境，可以输入 conda --version 进行检查。下面是 Mimiconda 的安装过程：

下载 Miniconda 安装脚本

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

运行安装脚本

bash Miniconda3-latest-Linux-x86_64.sh

遵循安装提示并初始化
按 Enter 键查看许可证条款，阅读完毕后输入 yes 接受条款，安装完成后，脚本会询问是否初始化 conda 环境，输入 yes 并按 Enter 键。

运行 source ~/.bashrc 命令激活 conda 环境
再次输入 conda --version 命令来验证是否安装成功，如果出现类似 conda 4.10.3这样的输出就成功了。

（3）创建虚拟环境

输入下面的命令：

conda create -n comfyui
conda activate comfyui

(4) 安装pytorch

pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu121

(5) 安装需要的依赖

pip install -r requirements.txt

此时所需环境就已经搭建完成，通过下面命令进行启动：

python3 main.py --listen 0.0.0.0 --port 8189

访问机器地址+端口能出现如下图就是正常启动了

2.部署Flux.1

（1）下载Flux.1模型

官方提供了Flux.1系列模型，共有三个：Flux.1[pro]是闭源的，可以从官方 API 申请访问权限，同时支持企业定制。Flux.1[dev]开源，不可商用，直接从 FLUX.1 [pro] 蒸馏而来，具备相似的图像质量和提示词遵循能力，但是更高效。Flux.1[schnell]：开源模型，可商用，专门为本地开发和个人使用量身定制，生成速度最快，内存占用也最小。

进入hugging face网站，点击搜索“flux.1”然后选择dev模型