使用ollama本地部署qwen2并api调用

server/2024/10/22 14:41:50/

目录

一、下载ollama

二、安装qwen大模型 

三、Api调用

四、尝试apifox调用

一、下载ollama

Ollama 是一个开源的、本地运行的 AI 聊天模型,允许在自己的设备上运行 LLM,无需依赖云服务。它支持多种 LLM。目前Ollama library已经支持Qwen2,可以直接使用。

首先安装ollama, 访问官网 下载 ollama 对应版本 Download Ollama on macOS

windows下选择exe ,然后运行安装,安装完成后。添加一个系统环境变量OLLAMA_MODELS,否则Ollama 会将模型默认下载到C盘,比如我这里指了D盘:

 

然后打开powershell 运行一下,注意不是CMD是powershell ,看是否安装成功 

二、安装qwen大模型 

ollama pull qwen2.5:7b-instruct

等待模型下载,下载的模型速度取决您的网络速度。

 

使用
使用ollama 命令行窗口推理
    启动模型

ollama run qwen2.5:7b-instruct

 模型启动完成,这样我们就可以实现模型推理了 

三、Api调用

通过查阅资料,ollama会在本地的11434端口自动开启服务

查阅官方的api参考文档,得到使用说明。

API 参考 - Ollama中文网

可以查看ollama的官网来查看相关的环境配置以及接口文档

四、尝试apifox调用


http://www.ppmy.cn/server/133927.html

相关文章

ASP.NET.Web应用程序(.NET Framework)添加Swagger本地Debuge成功打开接口展示界面,发布服务器无法打开接口展示界面

前言 提示:项目使用ASP.NET.Web应用程序(.NET Framework4.6.1)创建WEB API接口供外部系统调用。本地Debug运行可支持https://localhost:44374/swagger/打开界面展示操作,发布使用Release部署服务器时打开界面展示失败。 一、Swag…

一文掌握Cephadm部署Ceph存储集群

📚 博客主页: StevenZeng学堂 🎉 本文专栏: 一文读懂Kubernetes一文读懂Harbor云原生安全实战指南云原生存储实践指南 ❤️ 摘要:随着企业数据量的增长和存储需求的复杂化,Ceph因其高可扩展性和灵活性,能…

Python爬虫:urllib_post请求百度翻译(06)

#post的请求 import urllib.request import urllib.parse import jsonurl https://fanyi.baidu.com/sugheaders {user-agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/130.0.0.0 Safari/537.36}data {kw : spider }#post请…

AI创新驱动教育:科技革命下的教育转型

日前,2024教育装备创新大会在杭州市余杭区举行,会上集中展示了AI技术如何赋能教学并深入探讨了其影响。AI技术正在以前所未有的力度,引领教育步入智能新时代,成为教育改革创新的催化剂。 在国家政策的积极推动下,AI技…

【前端】如何制作一个自己的网页(14)

当我们还需要对网页中的内容进行局部样式的修改。这时候,就需要用到HTML中的重要元素:span。 span是一个行内元素,可以对HTML文档中的内容进行局部布局。 如图,我们给标题和段落元素的部分内容设置了各种样式。 接下来&#xff0…

Redis入门:在Java程序中高效使用Redis

准备工作 下载windows版的Redis(自行查找网络资源) 解压到指定文件夹 如图所示:Redis的目录结构 redis本质上也是一个数据库,只不过经常被用作缓存 。redis分为服务端和客户端,先启动服务器redis-server,在…

华为od面试手撕代码真题题型4——链表

链表 1 单链表相交 160. 相交链表 - 力扣(LeetCode) 解法一 指针 pA 指向 A 链表,指针 pB 指向 B 链表,依次往后遍历。如果 pA 到了末尾,则 pA headB 继续遍历、如果 pB 到了末尾,则 pB headA 继续遍历…

CVTE Android面试题及参考答案(100道题)

目录 插件化 组件化 合并相似接口 抽象通用方法 使用接口代理 引入设计模式 编写源代码 资源文件准备 编译资源文件 编译源代码 生成 dex 文件 打包 APK 文件 技术能力提升 项目经验积累 职业发展 知识分享与团队协作 建立良好的沟通机制 明确团队目标和职责…