前缘概述

之前说道，我想通过自己的笔记本（6G显存）部署一个Qwen/Qwen2.5-VL-3B-Instruct，最后因为显存不够，就放弃了。

Centos7，T4，几多磨难

但随后，我便开始了在一台系统为centos7，显卡为T4的机器上进行部署。总之就是很磨难，很多坑，最后还没有成功。

我猜测，相较于T4作为一张老显卡所带来的限制，centos7所默认的glibc版本为4.8应该是更为致命。

这一块儿，反正咱先给个初步的猜测，如果你想通过vllm部署Qwen/Qwen2.5-VL-3B-Instruct，如果你是centos7，那么请你优先采用docker部署。会省去很多麻烦。

如果你是T4这样的老显卡，也要做好被虐的准备。

柳暗花明，A100还是香啊

放弃T4之后，后来，到处乞讨，终于借到了一张A100。

就，怎么说呢？给我的感觉就是，贵的东西是真的香啊！

整个部署过程，除了安装uv，虚拟环境，和激活环境，后面，就两步：