DAMODEL丹摩|基于丹摩算力的可图(Kolors)的部署与使用

Kolors是一个以生成图像为目标的人工智能系统，可能采用了类似于OpenAI的DALL·E、MidJourney等文本生成图像的技术。通过自然语言处理（NLP）和计算机视觉（CV）相结合，Kolors能够根据用户提供的文本描述生成符合描述的图像。

一、Kolors 简介

Kolors 是快手 Kolors 团队开发的基于潜在扩散的大规模文本到图像生成模型。 Kolors 经过数十亿个文本图像对的训练，在视觉质量、复杂语义准确性以及中英文字符的文本渲染方面比开源和专有模型表现出显着优势。此外，Kolors 支持中英文输入，在理解和生成中文内容方面表现出强大的性能。基于丹摩算力和Kolors技术的文生图系统，可能利用了强大的计算能力和先进的深度学习框架，能够在极短时间内从复杂的文本描述生成高质量的图像，广泛应用于艺术创作、广告设计、教育等领域。

前提条件

要成功部署和使用 Kolors 模型，需满足以下环境要求：

Python：3.8 或更新版本
PyTorch：1.13.1 或更新版本
Transformers：4.26.1 或更新版本
CUDA：建议使用 11.7 或更新版本，支持 GPU 加速
硬件环境：建议使用包含 8 卡 NVIDIA RTX 4090 的计算节点

二、Kolors 模型的安装与部署

1.创建实例

登录丹摩官网，创建新实例
在这里插入图片描述
由于 CogVideoX 在 FP-16 精度下的推理至少需 18GB 显存，微调则需要 40GB 显存，我们这里需要选择大于 40GB 显存的实例。

硬盘选择默认的 100GB 系统盘和 50GB 数据盘。
镜像选择 PyTorch2.3.0、Ubuntu-22.04，CUDA12.1 镜像。
在这里插入图片描述
创建密钥对

点击创建，进行实例

点击操作里的JupyterLab，进入JupyterLab的页面。平台已预置了调试好的代码库，开箱即用。

点击Terminal，进入终端页面。

安装 Anaconda

首先安装 Anaconda，方便管理 Python 环境和依赖项。

# 下载 Anaconda 安装脚本
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh# 安装 Anaconda
bash Miniconda3-latest-Linux-x86_64.sh# 将 Anaconda 目录加入环境变量
vim ~/.bashrc
export PATH=$PATH:/root/miniconda3/condabin# 重新加载环境变量
source ~/.bashrc

在这里插入图片描述

安装成功
在这里插入图片描述

3. Kolors 库下载

首先尝试更新系统的软件源列表：

sudo apt-get update

再安装 git-lfs：

# 安装 Git Large File Storage (LFS)
apt-get install git-lfs

从 GitHub 下载 Kolors 模型库。
在这里插入图片描述

# 克隆 Kolors 库
git clone https://gitee.com/ai-aigc/Kolors
cd Kolors

在这里插入图片描述

4. 创建虚拟环境并安装依赖项

使用 Anaconda 创建 Python 虚拟环境并安装 Kolors 模型所需的依赖库。

# 创建名为 "kolors" 的 Python 虚拟环境
conda create --name kolors python=3.8# 初始化并激活虚拟环境
conda init bash
source ~/.bashrc
conda activate kolors# 安装依赖项
pip install -r requirements.txt# 安装 Kolors 模型
python3 setup.py install# 下载模型权重文件
git lfs clone https://huggingface.co/Kwai-Kolors/Kolors weights/Kolors

在这里插入图片描述

三、生成图片

成部署后，您可以使用 Kolors 模型生成图像。以下是一个示例命令：

python3 scripts/sample.py "一个在星空下奔跑的女孩"

行该命令后，生成的图片将保存在 scripts/outputs/sample_test.jpg 路径下。
在这里插入图片描述