下载安装
进入ollama的仓库下载 「 qwen 7b 」
libraryGet up and running with large language models.https://ollama.com/library查找阿里的 「 qwen 」
根据自己的电脑配置情况,选择合适的模型
总体来说,模型是越大,效果越好,但是对电脑的配置要求也越高
- 4b 模型要 3GB内存
- 7b 模型要 8GB 内存
- 13b 模型要 16GB 内存
- 70b 模型要 64GB 内存
特别注意:你如果要用于商业用途,需要申请授权,否则只能用于个人学习
千问许可说明:
qwen:latest/licenseGet up and running with large language models.https://ollama.com/library/qwen:latest/blobs/41c2cf8c272f
申请商用授权: 灵积模型服务https://dashscope.console.aliyun.com/openModelApply/qianwen
复制qwen 7b下载命令
ollama pull qwen:7b
7b的模型有4.5GB,我们只需等待安装
安装完成,随便问他几个问题
测试API请求
Mac/Linux下执行
curl 'http://localhost:11434/api/chat' \
--data '{"model": "qwen:7b","messages": [{"role": "user","content": "你是谁"}],"temperature": 0.1,"stream": false
}'
Windows下执行:
curl "http://localhost:11434/api/chat" ^
--data "{""model"": ""qwen:7b"", ""messages"": [{""role"": ""user"", ""content"": ""你是谁""}], ""temperature"": 0.1, ""stream"": false}"