1 ollama 的安装与设置

ollama官网链接：https://ollama.com/

• 在左上角的【Models】中展示了ollama支持的模型
• 在正中间的【Download】中课可以下载支持平台中的安装包。
  
   

其安装和模型路径配置操作流程如下：

1. ollama的安装
   这里选择命令安装

   curl -fsSL https://ollama.com/install.sh | sh
   

   正确安装后，查看安装的ollama版本

   ollama --version
   

2. 启动ollama服务

   ollama serve
   

   若报端口被占用，则查看端口的使用情况

   sudo lsof -i :11434
   

3. 下载模型默认路径的修改（可选，推荐）
   正常来说，就可以下载和运行模型了。但大模型一般来说比较大，最好将模型下载默认路径设置在挂载的数据盘上。默认情况下，ollama模型的存储目录为 /usr/share/ollama/.ollama/models。
   修改默认路径的操作如下：
   • 创建路径并修改权限

     # 这里设置路径为 /opt/ai-platform/lldataset/ollama/
     sudo mkdir /opt/ai-platform/lldataset/ollama/
     sudo chmod -R 777 /opt/ai-platform/lldataset/ollama/
     

   • 停止服务并修改配置文件

     sudo systemctl stop ollama
     sudo nano /etc/systemd/system/ollama.service
     

     打开文件后，添加内容

     Environment="OLLAMA_MODELS=/opt/ai-platform/lldataset/ollama/"
     Environment="OLLAMA_HOST=0.0.0.0:11434"# 按下 Ctrl + O 保存文件。
     # 按下 Enter 确认保存。
     # 按下 Ctrl + X 退出编辑器。
     

   • 启动ollama并查看其状态

     sudo systemctl daemon-reload
     sudo systemctl restart ollama.servicesudo systemctl status ollama.service
     

     若正确启动则如下图

2 ollama运行大模型

ollama下载和运行大模型跟简单，即ollama run <模型名称>。若未下载，则先下载再运行；若已下载，则试接运行。
实际使用中，需要根据自己设备资源支持，去下载某个大模型的某个版本。以deepseek-r1为例，具体操作为：

1. 搜索栏中搜索【deepseek-r1】
   
2. 根据自己服务器的显存大小，选择合适的模型版本。复制命令

   ollama run deepseek-r1:32b
   

   
   拉取成功后即可进行问答。从deepseek回答的think中，能看出它是个讨好型的大模型…
   
   

3 交互界面 ChatBox

服务器上部署好了deepseek，然后在同局域网下的本机，可安装windows版本的chatbox，进行界面中的问答。chatbox的下载链接 https://chatboxai.app/zh。下载windows平台下的应用，双击安装。

1. 左下角的【设置】
2. 【模型提供方】选择【OLLAMA API】。
3. 【模型】中会出现服务器中ollama已经拉取的模型列表。选择想要使用的模型。
4. 点击【保存】
5. 点击左下角的【新对话】，然后就可以进行大模型问答
   
   

4 DeepSeek-R1-Distill-Qwen-32B的简单介绍

【DeepSeek R1】

• 是一款拥有 6710 亿参数的大型混合专家（MoE）模型。通过强化学习（RL）和监督微调（SFT）相结合的方式训练，DeepSeek R1 的推理能力得到了显著提升。
   

【DeepSeek-R1-Distill-Qwen-32B】
通过将 DeepSeek R1 的推理模式蒸馏到更小的模型中，实现了更高效的性能。 在该模型中

• DeepSeek 和 Qwen 的关系是基于知识蒸馏的师生关系：

  • DeepSeek-R1 是教师模型：它是一个经过大规模强化学习训练的强大推理模型，具有复杂的结构和庞大的参数量。DeepSeek-R1 在数学、编程、逻辑推理等任务上表现出色，能够生成高质量的预测结果。
  • Qwen-32B 是学生模型：它是一个参数量较小的模型，通过学习 DeepSeek-R1 的输出来提升自己的推理能力。在蒸馏过程中，DeepSeek-R1 生成的推理轨迹和预测结果被用作“教学材料”，Qwen-32B 通过模仿这些输出来学习。

• 蒸馏过程

  • 数据生成：DeepSeek-R1 生成了 800K 条高质量的推理数据，这些数据包括数学、编程、逻辑推理等任务。这些数据被用作蒸馏过程中的“教学材料”。
  • 训练过程：Qwen-32B 作为学生模型，输入这些数据并尝试生成与 DeepSeek-R1 相似的推理轨迹和预测结果。通过监督微调（SFT），Qwen-32B 的参数不断优化，使其输出逐渐逼近 DeepSeek-R1。
  • 性能提升：经过蒸馏的 Qwen-32B 在多个基准测试中表现出色，例如在 AIME 2024 上得分 72.6%，在 MATH-500 上得分 94.3%，在 LiveCodeBench 上得分 57.2%。这些结果显著优于直接在 Qwen-32B 上进行强化学习的结果。
     

通过这种知识蒸馏的方式，DeepSeek-R1 的推理能力被高效地迁移到了 Qwen-32B 中，使得 Qwen-32B 在推理任务上能够达到与 DeepSeek-R1 相当的性能。