AI大一统:阿里达摩院发布多任务、多模态统一模型OFA
功能:包括3类跨模态、单模态和zero-shot。具有文本到图像生成、图像描述生成(标题生成)、视觉问答、图像查找、图像分类等
源码地址:https://github.com/OFA-Sys/OFA
论文地址:https://arxiv.org/pdf/2202.03052.pdf
开源时间:22.03
阿里大模型网址:https://modelscope.cn/home
文本到图片生成演示:https://decoder.modelscope.cn/pcIndex
dall-e2 文本到图片生成
说明:商品化
厂家: OpenAI
谷歌的 Imagen 和 Midjourney产品
说明:商品化,使用的diffuser 模型
Stable diffusion 模型:Hugging Face发布diffuser模型AI绘画库
功能:文本生成图像
开源地址:
Hugging Face 网址:https://huggingface.co/yulet1de/stablediffusion2
开源时间:22.08
说明:上面是普通的模型,里面还有很多其他类型 diffusion 模型
5.oneflow 中文版和中英文版“太乙Stable diffusion” 模型
功能:文本生成图像
开源地址:https://github.com/Oneflow-Inc/diffusers/wiki/How-to-Run-OneFlow-Stable-Diffusion#without-docker
Hugging Face 网址-纯中文:https://huggingface.co/IDEA-CCNL/Taiyi-Stable-Diffusion-1B-Chinese-v0.1
Hugging Face 网址-中英文:https://huggingface.co/IDEA-CCNL/Taiyi-Stable-Diffusion-1B-Chinese-EN-v0.1
开源时间:22.11
说明:上面是普通的模型,里面还有很多其他类型 diffusion 模型
5.英伟达Magic3d
功能:文本生成3d
是否开源:未发布代码
开源地址:
论文地址:https://arxiv.org/pdf/2211.10440.pdf
资料网址:https://deepimagination.cc/Magic3D/
开源时间:
发布时间:22.11
说明:3d 模型生成3d一般需要时间较长,资源较多
6.谷歌文本提示生成3D模型的DreamFusion
功能:文本生成3d
是否开源:
开源地址:
论文地址:
模型资料网址:https://dreamfusion3d.github.io/
开源时间:
发布时间:22.11
说明:声称不需要 3D 训练数据,也不需要修改图像扩散模型,证明了预训练图像扩散模型作为先验模型的有效性。
7.文本提示生成图片 disco-diffusion *****
功能:文本提示生成图
是否开源:是
开源地址:https://github.com/alembics/disco-diffusion
论文地址:
模型资料网址:https://dreamfusion3d.github.io/
开源时间:21.10
发布时间:21.10
说明:在github 找到的disco-diffusion,网上说google 要翻墙的免费的文本生成模型,这个不清楚是与google 的disco-diffusion 有没有关系,更新也比较快。
7.百度文本提示生成图片 文心一格 ERNIE-ViLG 2.0 模型 *****
功能:文本提示生成图
是否开源:是
开源地址:https://github.com/PaddlePaddle/PaddleHub/tree/develop/modules/image/text_to_image/ernie_vilg
模型参数量:120亿
Hugging Face 网址: https://huggingface.co/spaces/PaddlePaddle/ERNIE-ViLG
模型参数说明:https://www.datalearner.com/ai-resources/pretrained-models/ernie-vilg2
论文地址:https://arxiv.org/abs/2210.15257
开源时间:22.10
发布时间:22.10
说明:具有文本生成图像和图像生成文本两种功能。效果远超 OpenAI 发布的 DALL-E 等模型。它是百度的方式,不是github 方式上面有模型的地址,目前不大明白???,使用需要请前往 文心旸谷社区 申请使用本模型所需的 API key 和 Secret Key,网址https://wenxin.baidu.com/user/key 这里申请。