llama_0">window下玩llama遇到的问题
- 安装llama客户端
首先，从官网下载 llama，安装 Ollama 客户端
下载地址：https://ollama.com/download/windows
下载完成之后点击安装； - 下载模型文件
打开 windows powershell 或 CMD 命令行终端，输入 ollama 命令，回车，即可显示 ollama 命令的使用帮助
在命令行中输入如下命令，即可在线拉取模型。
ollama run llama3.1:8b
如果您的显卡非常好，其他两个模型的拉取命令如下 ：
ollama run llama3.1:70b
ollama run llama3.1:405b
更多模型支持
当然 ollama 不仅支持运行 llama3.1，实际上他支持更多的开源模型，详细教程见官方文档：模型库
手动导入模型
如果您的网络情况不太好，在线下载模型进度缓存，官方也支持从其他渠道下载好的模型导入。
详细参考导入模型，这里不做赘述。
模型下载好之后，就可以进行对话了。
- 配置远程访问
Ollama 启动的默认地址为http://127.0.0.1:11434，我们通过设置环境变量 OLLAMA_HOST来修改默认监听地址和端口，这往往对我们需要远程调用API时非常有用。同时，如果要在open-webui等UI面板中调用 API ，需要为 Ollama 进行跨域配置后方可正常使用。
需要了解如下三个变量的用途
| 变量名 | 值 | 说明 |
|---|---|---|
| OLLAMA_HOST | 0.0.0.0:8888 | 用于配置监听的 IP 和端口 |
| OLLAMA_ORIGINS | * | 支持跨域访问，也可以指定特定域名，如：“baidu.com,hello.com” |
| OLLAMA_MODELS | C:\Users\Administrator.ollama | 模型文件较大，建议调整到数据盘目录下。 |
3.1 API 调用
curl -X POST http://localhost:11434/api/generate -H "Content-Type: application/json" -d "{\"model\":\"llama3.1:8b\",\"prompt\":\"You are a professional, authentic translation engine. You only return the translated text, without any explanations.\"}"Invoke-WebRequest http://localhost:11434/api/generate -Method POST -Body '{ "model": "llama3.1:8b" , "prompt": "Why is the sky blue?"}'Invoke-WebRequest http://localhost:11434/api/generate -Method POST -Body '{ "model": "llama3.1:8b" , "prompt": "Why is the sky blue?", "options": { "num_ctx": 4096 } }'
reference
@article{xn–bxy.xn–wxt.xn–5kv.xn–230a.xn–9kq.2024Aug,
author = {xn–bxy. xn–wxt. xn–5kv. xn–230a. xn–9kq.},
title = {{xn–OllamaLlama-vd2r931f1e5cd33bmo8aeb3d 3.xn–1-mn0b92cy20b}},
journal = {SegmentFault xn–3qr51z},
year = {2024},
month = aug,
publisher = {SegmentFault},
url = {https://segmentfault.com/a/1190000045123889}
}
