使用 Ollama 运行 Qwen2.5.1-Coder-7B-Instruct
- 1. 下载和安装 ollama
- 2. 设置环境变量
- 3. 运行 Qwen2.5.1-Coder-7B-Instruct
1. 下载和安装 ollama
访问 https://ollama.com/download 下载安装文件，
或者访问 https://github.com/ollama/ollama/releases 下载安装文件。
双击下载后的文件直接进行安装。
2. 设置环境变量
ollama 默认会将模型下载到电脑的 c 盘，如果修改这个默认配置，可以通过设置环境变量 OLLAMA_MODELS 进行修改。
3. 运行 Qwen2.5.1-Coder-7B-Instruct
访问 https://huggingface.co/bartowski/Qwen2.5.1-Coder-7B-Instruct-GGUF，选择 “Use this model” 的 “Ollama”，
选择你想使用的量化版本，例如，Q8_0，然后单击 “Copy”，
在 Windows 电脑打开一个终端，粘贴刚刚拷贝的命令，直接运行，
ollama run hf.co/bartowski/Qwen2.5.1-Coder-7B-Instruct-GGUF:Q8_0
接下来就可以通过 Qwen2.5.1-Coder-7B-Instruct 生成代码了。
参考资料：
- https://huggingface.co/docs/hub/en/ollama
