Ollama部署指南

news/2025/2/2 22:23:01/

什么是Ollama?

Ollama是一个专为在本地机器上便捷部署和运行大型语言模型(LLM)而设计的开源工具。

如何部署Ollama?

我是使用的云平台,大家也可以根据自己的云平台的特点进行适当的调整。
使用系统:ubuntu
首先从官网上下载https://ollama.com/download/linux对应的命令
curl -fsSL https://ollama.com/install.sh | sh
更新配置文件
vi /etc/systemd/system/ollama.service
在里面添加:
Environment=“OLLAMA_HOST=0.0.0.0:8891”
输入:wq!回车,保存此文件。
在这里插入图片描述
重启服务
sudo systemctl daemon-reload
sudo systemctl restart ollama

查看ollama的状态
sudo systemctl status ollama
正常返回如下
在这里插入图片描述
拉取模型,为了方便(如果是用云平台的话,最好带上端口号):

从这里找自己需要的模型https://ollama.com/search

OLLAMA_HOST=127.0.0.1:8891 ollama run deepseek-r1
在这里插入图片描述
结束之后,就可以对话了
在这里插入图片描述
如果想查看你都有哪些模型,可以使用如下命令
OLLAMA_HOST=127.0.0.1:8891 ollama list

langchain_ollama_32">如何使用langchain 调用ollama的模型

使用的langchain的版本号:
langchain 0.3.17
langchain-community 0.3.16

python">from langchain.prompts.chat import ChatPromptTemplate
from langchain_community.chat_models import ChatOllamatemplate="你是一个特别厉害的翻译专家,可以将{input_language}翻译成{output_language}"
human_template="{text}"
chat_prompt=ChatPromptTemplate.from_messages([("system",template),("human",human_template)])
messages=chat_prompt.format_messages(input_language="中文",output_language="英文",text="今天是周日")ollama_llm = ChatOllama(model="deepseek-r1:latest",base_url="http://localhost:8891")
result=ollama_llm.invoke(messages)
print(result.content)

然后你就可以看到答案
在这里插入图片描述


http://www.ppmy.cn/news/1568802.html

相关文章

从零开始开发纯血鸿蒙应用之自定义构建函数

从零开始开发纯血鸿蒙应用 一、前言二、系统性认识Builder和BuilderParam三、改造 PageTitleBar四、总结 一、前言 上个周末,由于身体抱恙,故而没有更新博文,而昨天,在返乡路途上,所以,只能拖到今天才进行…

可被electron等调用的Qt截图-录屏工具【源码开放】

1. 工具功能简介: (1)、QT5.15.2截图工具(exe)可单独使用或嵌入IM(嵌入方法参照:https://gitee.com/lykiao/yfscreenshot_release) (2)、支持通过Windows消息通知截图成功或取消 (3)、支持圆形、矩形、线条…

第25节课:前端缓存策略—提升网页性能与用户体验

目录 前端缓存的重要性HTTP缓存HTTP缓存的基本原理常见的HTTP缓存头Cache-ControlExpiresETagLast-Modified HTTP缓存的类型强缓存协商缓存 服务端渲染与SSR服务端渲染(SSR)简介SSR的优势SSR的挑战实践:使用SSR框架构建Web应用Next.js安装Nex…

Kafka常见问题之 java.io.IOException: Disk error when trying to write to log

文章目录 Kafka常见问题之 java.io.IOException: Disk error when trying to write to log1. 问题概述2. 问题排查方向(1)磁盘空间不足(2)磁盘 I/O 故障(3)Kafka 日志文件损坏(4)Kaf…

360嵌入式开发面试题及参考答案

解释一下 802.11ax 和 802.11ac/n 有什么区别 速度与带宽 802.11n 支持的最高理论速率为 600Mbps,802.11ac 进一步提升,单流最高可达 866.7Mbps,多流情况下能达到更高,如 1.3Gbps 等。而 802.11ax(Wi-Fi 6)引入了更多先进技术,理论最高速率可达 9.6Gbps,相比前两者有大…

2025年01月25日Github流行趋势

项目名称:it-tools 项目地址url:https://github.com/CorentinTh/it-tools项目语言:Vue历史star数:25298今日star数:212项目维护者:CorentinTh, apps/renovate, cgoIT, sharevb, marvin-j97项目简介&#xf…

Excel分区间统计分析(等步长、不等步长、多维度)

在数据分析过程中,可能会需要统计不同数据区间的人数、某个数据区间的平均值或者进行分组区间统计,本文从excel函数到数据透视表的方法,从简单需求到复杂需求,采用不同的方法进行讲解,尤其是通过数据透视表的强大功能大…

jvm - GC篇

如何减慢一个对象进入老年代的速度,如何降低GC的次数 堆内存细分 年轻代(Young Generation): 新创建的对象首先被分配在年轻代中。年轻代又被进一步划分为一个Eden区和两个Survivor区(通常称为S0和S1)。…