---

通过HF-Mirror镜像wget下载，常用的模型。

---

Xinferencesystemd_8">一、Xinference开机服务systemd

使用 systemd（适用于服务器长期运行）

1. 创建 systemd 服务：

sudo vi /etc/systemd/system/xinference.service

填入：

[Unit]
Description=Xinference Service
After=network.target[Service]
ExecStart=/root/anaconda3/envs/xinference_env/bin/xinference --host 0.0.0.0 --port 9997
WorkingDirectory=/root
Restart=always
User=root[Install]
WantedBy=multi-user.target

2. 重新加载 systemd 并启动服务：

sudo systemctl daemon-reload
sudo systemctl start xinference
sudo systemctl enable xinference  # 开机自启

3. 查看日志：

sudo journalctl -u xinference -f

4. 停止服务：

sudo systemctl stop xinference

---

LLM_57">二、语言（LLM）模型

2.1 配置介绍

模型引擎

分别是：

1. Transformers

   • 依赖 Hugging Face Transformers 库，适用于标准 PyTorch 或 TensorFlow 部署，通常兼容性较好，支持多种硬件加速（如 GPU）。

2. vLLM

   • 适用于高吞吐量推理，利用 PagedAttention 进行优化，推荐用于大规模推理场景，减少显存占用。

3. SGLang

   • 可能是专门优化的推理引擎，具体表现需要查看官方文档或测试。

4. llama.cpp

   • 适用于 CPU 运行，优化了低资源设备上的 LLM 推理，适合本地运行或嵌入式环境。

选择建议：

• 高性能 GPU 推理：vLLM
• 通用部署（PyTorch / TensorFlow 支持）：Transformers
• 低资源或本地运行（CPU 推理）：llama.cpp
• 特定优化需求：SGLang（需要进一步了解其特点）

模型格式

现在的 模型格式 选项增加了 gptq，它与 awq 一样是 量化推理优化 方案，但两者在优化策略上有所不同：

1. pytorch

   • 原生 PyTorch 格式，未量化，最高精度但占用更多显存。
   • 适用于 高精度推理，但对硬件要求较高。

2. awq (Activation-aware Weight Quantization)

   • 量化方案，主要优化 激活值感知权重量化，可以减少推理时的计算开销，同时保持较高的精度。
   • 适用于 低显存 GPU 或高吞吐场景，如 vLLM 和 llama.cpp。
   • 更适合多种硬件，特别是 NVIDIA GPU 运行。

3. gptq (Generalized Post-Training Quantization)

   • 另一种 后训练量化 方法，目标是 最小化量化误差，尤其对 Transformer 模型进行优化。
   • GPTQ 量化后的模型通常比 AWQ 更轻量，适用于 极限压缩场景（如 4-bit GPTQ）。
   • 适用于 低功耗设备 或 超大模型的轻量化部署。

选择建议：

• 如果显存足够，追求最佳模型精度 → pytorch
• 如果需要在低显存 GPU（如 24GB 以内）高效推理 → awq
• 如果显存极其受限（如 16GB 或更低），或需要极端优化 → gptq

如果你打算在 Deepseek 上 高效部署一个大模型，建议选择 awq 或 gptq。

---

2.2 DeepSeek-R1-Distill-Qwen-32B（大杯）

gitlfsHugging_Face_120">工具下载git-lfs（可以绕过Hugging Face）

解决方案：安装 git-lfs

你需要先安装 git-lfs，然后才能正确克隆和下载模型。

步骤 1：安装 git-lfs

根据你的系统类型选择对应的安装方法：

Ubuntu / Debian

apt update && apt install -y git-lfs

CentOS / RHEL

yum install -y epel-release
yum install -y git-lfs

Mac (如果你在本地 Mac 运行)

brew install git-lfs

Windows（如果你在 Windows 本地）
直接去官网下载安装：https://git-lfs.github.com/

---

步骤 2：启用 git-lfs

安装完成后，执行：

git lfs install

如果成功，你会看到：

Git LFS initialized.

---

步骤 3：克隆模型

git clone https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B.git

然后进入目录：

cd DeepSeek-R1-Distill-Qwen-32B
ls -lh

如果 .safetensors 还没有下载完整，执行：

git lfs pull

这将确保所有 LFS 文件正确下载。

当然可能git: ‘lfs’ is not a git command. See ‘git --help’.

问题分析
系统 无法安装 git-lfs，因为 apt update 过程中出现了 GPG 错误 和 无法解析某些仓库地址 的问题：

1. NO_PUBKEY A4B469963BF863CC
   • 说明你的系统缺少 NVIDIA CUDA 仓库的 GPG 公钥。
2. Could not resolve 'mirror.rightscale.com'
   • 这个仓库地址已经不可用或 DNS 解析失败。

---

解决方案

1. 先修复 apt update 失败的问题

① 删除无效的 RightScale 仓库

sudo rm -f /etc/apt/sources.list.d/rightscale*

② 添加缺失的 NVIDIA 公钥

sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/7fa2af80.pub

③ 再次更新 apt

sudo apt update

---

2. 安装 git-lfs
如果 apt update 修复成功，你可以尝试：

sudo apt install -y git-lfs

安装完成后，运行：

git lfs install

如果成功，你会看到：

Git LFS initialized.

---

3. 如果 apt 仍然无法安装 git-lfs，尝试手动安装

① 下载 Git LFS 安装包

wget https://github.com/git-lfs/git-lfs/releases/latest/download/git-lfs-linux-amd64.tar.gz

② 解压并安装

tar -xvzf git-lfs-linux-amd64.tar.gz
sudo ./install.sh

③ 验证安装

git lfs --version

④ 启用 Git LFS

git lfs install

---

最终测试

如果 git-lfs 安装成功，你可以尝试重新克隆模型：

git clone https://hf-mirror.com/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B.git
cd DeepSeek-R1-Distill-Qwen-32B
git lfs pull

如果下载仍然不完整，可以尝试 wget 或 aria2c 下载 .safetensors 文件。

---

下载很慢，下完还要等一会，因此建议用宝塔（两个网页），方便看情况

下载完后，.git会很大

如果只是使用模型，直接删除 .git 目录 ✅
如果还想更新模型，建议保留 .git 目录 🔄
如果要节省空间但保留 git-lfs 更新能力，可精简 .git 目录 🛠
Xinference配置：GPU索引根据机器情况设置。

！！！ 大模型启动较慢，且Xinference用网页打开有缓存问题，因此不要着急。

2.3 DeepSeek-R1-Distill-Qwen-32B-Q4_K_M-GGUF（小杯）

通过hf-mirror

wget https://hf-mirror.com/roleplaiapp/DeepSeek-R1-Distill-Qwen-32B-Q4_K_M-GGUF/resolve/main/deepseek-r1-distill-qwen-32b-q4_k_m.gguf

---

三、嵌入（Embedding）模型

嵌入（Embedding）模型，选择合适的模型取决于你的具体需求，例如 语言支持、维度大小、最大 token 数 和 应用场景。以下是对比分析：

模型对比分析

模型名称	语言支持	维度	最大 Token 数	适用场景
bge-large-zh-v1.5	中文	1024	512	适用于中文语义搜索、文本匹配
bge-large-en-v1.5	英文	1024	512	适用于英文文本匹配
bge-m3	中文+英文	1024	8192	适用于多语言检索，支持更长文本
gte-Qwen2	中文+英文	3584	32000	适用于大规模检索、高质量向量表示
jina-embeddings-v3	中文+英文	1024	8192	适用于跨语言检索、语义匹配

推荐选择

1. 如果你的任务是中文语义检索

   • 选择 bge-large-zh-v1.5，它是专门针对中文优化的。

2. 如果是英文语义检索

   • 选择 bge-large-en-v1.5，它是英文版本的最佳选择。

3. 如果需要中英混合检索，且输入文本较短

   • 选择 bge-m3，支持多语言，最大 token 数较大。

4. 如果是超长文本、高精度应用（如搜索引擎）

   • 选择 gte-Qwen2，它的 维度 更高（3584），最大 token 也更长（32000）。

5. 如果是跨语言检索

   • 选择 jina-embeddings-v3，在多语言场景下表现不错。

总结

• 轻量级中文嵌入：bge-large-zh-v1.5
• 轻量级英文嵌入：bge-large-en-v1.5
• 通用多语言支持：bge-m3
• 高性能长文本支持：gte-Qwen2
• 跨语言匹配：jina-embeddings-v3

如果你的应用场景是 大规模检索、向量数据库存储（如 FAISS），那么 gte-Qwen2 或 bge-m3 是更好的选择。

如果仅是 普通文本匹配或短文本搜索，bge-large-zh-v1.5（中文）或 bge-large-en-v1.5（英文）就足够了。

3.1 安装BAAI/bge-large-zh-v1.5

git clone https://hf-mirror.com/BAAI/bge-large-zh-v1.5.git

---

四、重排序（Rerank）模型

git_352">4.1 git

git clone https://hf-mirror.com/BAAI/bge-reranker-v2-m3.git

4.2 wget

你可以按照以下步骤在 /usr/local 目录下新建文件夹，并下载模型：

1. 创建目录并赋权

sudo mkdir -p /usr/local/models/bge-reranker-v2-m3
sudo chmod -R 777 /usr/local/models/bge-reranker-v2-m3
cd /usr/local/models/bge-reranker-v2-m3

2. 使用 wget 从 HF Mirror 下载模型

wget -c https://hf-mirror.com/BAAI/bge-reranker-v2-m3/resolve/main/model.safetensors
wget -c https://hf-mirror.com/BAAI/bge-reranker-v2-m3/resolve/main/sentencepiece.bpe.model
wget -c https://hf-mirror.com/BAAI/bge-reranker-v2-m3/resolve/main/config.json
wget -c https://hf-mirror.com/BAAI/bge-reranker-v2-m3/resolve/main/tokenizer.json
wget -c https://hf-mirror.com/BAAI/bge-reranker-v2-m3/resolve/main/tokenizer_config.json
wget -c https://hf-mirror.com/BAAI/bge-reranker-v2-m3/resolve/main/special_tokens_map.json

-c 选项用于支持断点续传，防止下载中断后需要重新开始。

3. 检查下载文件的大小

ls -lh /usr/local/models/bge-reranker-v2-m3

确认 model.safetensors 大小是否接近 2.27 GB，其余文件大小也要和 HF Mirror 网站上保持一致。

4. 修改 Xinference 配置

在 Xinference 的模型路径参数中，填写：

/usr/local/models/bge-reranker-v2-m3

然后重新加载模型。

这样，你的 bge-reranker-v2-m3 模型应该就能正确运行了！ 🚀

五、接入dify

以上就是常用的大模型了，我们可以介入dify使用了。

六、多模态模型支持

FLUX.1-dev

git clone https://hf-mirror.com/black-forest-labs/FLUX.1-dev.git
cd FLUX.1-dev
git lfs pull

以下是支持的，可去自行探索；hf-mirror