CogVLM 是什么

• CogVLM 是一个强大的开源视觉语言模型（VLM）。CogVLM-17B 拥有 100 亿视觉参数和 70 亿语言参数。

• CogVLM-17B 在 10 个经典跨模态基准测试上取得了 SOTA 性能，包括 NoCaps、Flicker30k captioning、RefCOCO、RefCOCO+、RefCOCOg、Visual7W、GQA、ScienceQA、VizWiz VQA 和 TDIUC，而在 VQAv2、OKVQA、TextVQA、COCO captioning 等方面则排名第二，超越或与 PaLI-X 55B 持平。

CogVLM Github 地址

https://github.com/THUDM/CogVLM.git

部署 CogVLM

克隆代码，

git clone https://github.com/THUDM/CogVLM.git; cd CogVLM

创建虚拟环境，

conda create -n cogvlm python=3.11 -y
conda activate cogvlm

安装 PyTorch，

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
conda install -y -c "nvidia/label/cuda-12.1.0" cuda-runtime

安装依赖项，

pip install -r requirements.txt
python -m spacy download en_core_web_sm

启动 CogVLM

python web_demo.py --from_pretrained cogvlm-chat --version chat --english --bf16

未完待续！