安装部署大语言模型 | 通义千问

embedded/2024/11/15 0:47:38/

下载安装

 进入ollama的仓库下载 「 qwen 7b 」

libraryGet up and running with large language models.icon-default.png?t=N7T8https://ollama.com/library查找阿里的 「 qwen

根据自己的电脑配置情况,选择合适的模型

总体来说,模型是越大,效果越好,但是对电脑的配置要求也越高

  • 4b 模型要 3GB内存
  • 7b 模型要 8GB 内存
  • 13b 模型要 16GB 内存
  • 70b 模型要 64GB 内存

特别注意:你如果要用于商业用途,需要申请授权,否则只能用于个人学习

千问许可说明: 

qwen:latest/licenseGet up and running with large language models.icon-default.png?t=N7T8https://ollama.com/library/qwen:latest/blobs/41c2cf8c272f

申请商用授权: 灵积模型服务icon-default.png?t=N7T8https://dashscope.console.aliyun.com/openModelApply/qianwen

复制qwen 7b下载命令

ollama pull qwen:7b

 7b的模型有4.5GB,我们只需等待安装

安装完成,随便问他几个问题

测试API请求

Mac/Linux下执行

curl 'http://localhost:11434/api/chat' \
--data '{"model": "qwen:7b","messages": [{"role": "user","content": "你是谁"}],"temperature": 0.1,"stream": false
}'

Windows下执行:

curl "http://localhost:11434/api/chat" ^
--data "{""model"": ""qwen:7b"", ""messages"": [{""role"": ""user"", ""content"": ""你是谁""}], ""temperature"": 0.1, ""stream"": false}"

测试结果


http://www.ppmy.cn/embedded/30148.html

相关文章

类和对象【四】运算符重载

文章目录 运算符重载的概念运算符重载(函数)返回值类型:任意类型函数名:operator已有操作符 运算符重载(函数)的特点和注意点3个比较特殊的运算符重载赋值运算符()重载返回值类型和返…

C/C++ BM32 合并二叉树

文章目录 前言题目解决方案一1.1 思路阐述1.2 源码 解决方案二2.1 思路阐述2.2 源码 总结 前言 树的题目大概率是要用到递归的,将一个树的问题拆分成子树的问题,不断拆分。 这题也用到了递归的思想。 题目 已知两颗二叉树,将它们合并成一颗…

鸿蒙内核源码分析(用栈方式篇) | 程序运行场地谁提供的

精读内核源码就绕不过汇编语言,鸿蒙内核有6个汇编文件,读不懂它们就真的很难理解以下问题. 1.系统调用是如何实现的? 2.CPU是如何切换任务和进程上下文的? 3.硬件中断是如何处理的? 4.main函数到底是怎么来的? 5.开机最开始发生了什么? 6.关机…

每天学习一个Linux命令之file

每天学习一个Linux命令之file 在Linux系统中,有很多强大的命令可用于文件操作和管理。其中一个非常有用的命令是file。file命令可以用于确定文件的类型,它会根据文件的内容进行检测和判断,并输出相应的文件类型信息。在本篇博客中&#xff0…

借助Aspose.SVG图像控件,在线将 PNG 转换为 XML

Aspose.SVG for .NET 是用于SVG文件处理的灵活库,并且与其规范完全兼容。API可以轻松加载,保存和转换SVG文件,以及通过其文档对象模型(DOM)读取和遍历文件的元素。API独立于任何其他软件,使开发人员无需使用…

python的json序列化和反序列化

在Python中解析JSON数据非常简单,你可以使用内置的json模块。这个模块提供了loads()函数来解析JSON字符串,以及load()函数来解析JSON文件。 import json# JSON字符串 json_str {"name": "John", "age": 30, "city&…

golang 基础知识细节回顾

之前学习golang的速度过于快,部分内容有点囫囵吞枣的感觉,写gorm过程中有很多违反我常识的地方,我通过复习去修正了我之前认知错误和遗漏的地方。 itoa itoa自增的作用在编辑error code时候作用很大,之前编辑springboot的error c…

【Flask 系统教程 3】请求与响应

Flask 是一个灵活而强大的 Web 框架,而请求与响应则是构建 Web 应用的核心组成部分。在本文中,我们将探讨 Flask 中请求与响应的各种用法,包括不同的请求方法、重定向、响应对象、获取查询参数以及文件上传等。 请求 在 Flask 中&#xff0…