前言
上回咱说道,如果你没办法访问huggingface.co,则可以把modelscope作为vllm默认的下载源。
但如果你非得用你用不了的huggingface.co呢?那你可以考虑将hf-mirror.com作为vllm默认的下载源。这里,hf-mirror.com和huggingface.co的效果是一样的。
要将hf-mirror.com设为vLLM的默认下载源,可通过以下三种方式实现:
- 全局环境变量配置
在终端执行:
export HF_ENDPOINT=https://hf-mirror.com
此设置对所有基于Hugging Face库的下载生效,包括vLLM。建议将此命令写入~/.bashrc
或~/.zshrc
实现永久生效。
- 临时会话配置
在运行vLLM命令前添加变量: