在前面章节中介绍了如何使用LLama_Factory微调大模型，并将微调后的模型文件合并导出，本节我们我们看下如何使用ollama进行调用。

1、llama.cpp

LLama_Factory训练好的模型，ollama不能直接使用，需要转换一下格式，我们按照ollama官网的提示使用llama.cpp来进行实现。

1.1 安装llama.cpp

下载 llama.cpp

git clone https://github.com/ggerganov/llama.cpp.gitcd llama.cpp# 安裝 Python 相依套件
pip install -r requirements.txt

1.2 格式转换

python convert_hf_to_gguf.py  /root/LLaMA-Factory-main/Qwen2-0.5B-Chat_all \
> --outfile /root/LLaMA-Factory-main/Qwen2-0.5B-Chat_all/Qwen2-0.5B-Chat_829.gguf

• /root/LLaMA-Factory-main/Qwen2-0.5B-Chat_all ：微调后合并的模型文件路径
• /root/LLaMA-Factory-main/Qwen2-0.5B-Chat_all/Qwen2-0.5B-Chat_829.gguf ：转换后的文件路径和名称

速度很快

ollama_35">2、ollama启动模型

ollama_37">2.1 Linux安装ollama

curl -fsSL https://ollama.com/install.sh | sh

如果服务器网络不好无法下载，可以先下载到本地再上传
下载地址：https://ollama.com/download/ollama-linux-amd64.tgz
解压安装：sudo tar -xzf ollama-linux-amd64.tgz -C /usr/local/

2.2 加载模型

要导入 GGUF 模型到 Ollama 中，您需要创建一个名为 ModelFile 的文件，并在其中包含指定的内容。以下是如何创建这个文件的步骤：

1. 选择创建文件的目录
   需要确定把ollama相关的配置文件放在那个目录，比如在主目录中创建一个专用目录来存放模型文件：

   mkdir -p ~/ollama_models/my_model
   cd ~/ollama_models/my_model
   

2. 创建 ModelFile 文件
   在进入目标目录后，使用以下命令创建一个名为 ModelFile 的文件：

   touch ModelFile
   

3. 编辑 ModelFile 文件

   接下来，使用您熟悉的文本编辑器（如 nano、vi 或 vim）打开并编辑 ModelFile 文件。例如，使用 nano 编辑：

   nano ModelFile
   

   在文件中输入以下内容，将 /path/to/file.gguf 替换为 GGUF 文件的实际路径：

   FROM /path/to/file.gguf
   

   例如，我的 GGUF 文件位于 FROM /root/LLaMA-Factory-main/Qwen2-0.5B-Chat_all/Qwen2-0.5B-Chat_829.gguf，则内容应为：

   FROM /root/LLaMA-Factory-main/Qwen2-0.5B-Chat_all/Qwen2-0.5B-Chat_829.gguf
   

4. 保存并关闭文件

   在编辑完成后，保存文件并退出编辑器：

   • 在 nano 中，按 Ctrl + O 保存，按 Enter 确认保存路径，然后按 Ctrl + X 退出编辑器。
   • 在 vi 或 vim 中，按 Esc 键，然后输入 :wq 保存并退出。

5. 使用 Ollama 导入模型

   完成 ModelFile 文件的创建后，使用 Ollama 的命令来导入该模型：

   ollama create my-model -f /root/ollama_models/my_model/ModelFile
   

   在上述命令中，my-model 为模型选择的名称。
   

6. 查看创建的模型
   

7. 运行模型