启动并运行大型语言模型。

下载

下载

<span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><span style="color:#1f2328"><span style="color:var(--fgColor-default, var(--color-fg-default))"><span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><code>curl -fsSL https://ollama.com/install.sh | sh
</code></span></span></span></span>

手动安装说明

Docker Hub 上提供了官方的 Ollama Docker 镜像。ollama/ollama

• OLLAMA-Python
• OLLAMA-JS

• 不和
• Reddit 网站

要运行 Llama 并与 Llama 聊天 3.2：

<span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><span style="color:#1f2328"><span style="color:var(--fgColor-default, var(--color-fg-default))"><span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><code>ollama run llama3.2
</code></span></span></span></span>

Ollama 支持 ollama.com/library 上可用的模型列表

以下是一些可以下载的示例模型：

Ollama 支持在 Modelfile 中导入 GGUF 模型：

1. 创建一个名为 ， 的文件，其中包含要导入的模型的本地文件路径的指令。ModelfileFROM

   <span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><span style="color:var(--fgColor-default, var(--color-fg-default))"><span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><code>FROM ./vicuna-33b.Q4_0.gguf
   </code></span></span></span>

2. 在 Ollama 中创建模型

   <span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><span style="color:var(--fgColor-default, var(--color-fg-default))"><span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><code>ollama create example -f Modelfile
   </code></span></span></span>

3. 运行模型

   <span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><span style="color:var(--fgColor-default, var(--color-fg-default))"><span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><code>ollama run example
   </code></span></span></span>

请参阅 导入模型 以了解更多信息。

Ollama 库中的模型可以通过提示进行自定义。例如，要自定义模型：llama3.2

<span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><span style="color:#1f2328"><span style="color:var(--fgColor-default, var(--color-fg-default))"><span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><code>ollama pull llama3.2
</code></span></span></span></span>

创建一个 ：Modelfile

<span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><span style="color:#1f2328"><span style="color:var(--fgColor-default, var(--color-fg-default))"><span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><code>FROM llama3.2# set the temperature to 1 [higher is more creative, lower is more coherent]
PARAMETER temperature 1# set the system message
SYSTEM """
You are Mario from Super Mario Bros. Answer as Mario, the assistant, only.
"""
</code></span></span></span></span>

接下来，创建并运行模型：

<span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><span style="color:#1f2328"><span style="color:var(--fgColor-default, var(--color-fg-default))"><span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><code>ollama create mario -f ./Modelfile
ollama run mario
>>> hi
Hello! It's your friend Mario.
</code></span></span></span></span>

有关使用 Modelfile 的更多信息，请参阅 Modelfile 文档。

ollama create用于从 Modelfile 创建模型。

<span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><span style="color:#1f2328"><span style="color:var(--fgColor-default, var(--color-fg-default))"><span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><code>ollama create mymodel -f ./Modelfile
</code></span></span></span></span>

<span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><span style="color:#1f2328"><span style="color:var(--fgColor-default, var(--color-fg-default))"><span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><code>ollama pull llama3.2
</code></span></span></span></span>

此命令还可用于更新本地模型。只会拉取 diff。

<span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><span style="color:#1f2328"><span style="color:var(--fgColor-default, var(--color-fg-default))"><span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><code>ollama rm llama3.2
</code></span></span></span></span>

<span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><span style="color:#1f2328"><span style="color:var(--fgColor-default, var(--color-fg-default))"><span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><code>ollama cp llama3.2 my-model
</code></span></span></span></span>

对于多行输入，您可以使用 ："""

<span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><span style="color:#1f2328"><span style="color:var(--fgColor-default, var(--color-fg-default))"><span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><code>>>> """Hello,
... world!
... """
I'm a basic program that prints the famous "Hello, world!" message to the console.
</code></span></span></span></span>

<span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><span style="color:#1f2328"><span style="color:var(--fgColor-default, var(--color-fg-default))"><span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><code>ollama run llava "What's in this image? /Users/jmorgan/Desktop/smile.png"
The image features a yellow smiley face, which is likely the central focus of the picture.
</code></span></span></span></span>

<span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><span style="color:#1f2328"><span style="color:var(--fgColor-default, var(--color-fg-default))"><span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><code>$ ollama run llama3.2 "Summarize this file: $(cat README.md)"Ollama is a lightweight, extensible framework for building and running language models on the local machine. It provides a simple API for creating, running, and managing models, as well as a library of pre-built models that can be easily used in a variety of applications.
</code></span></span></span></span>

<span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><span style="color:#1f2328"><span style="color:var(--fgColor-default, var(--color-fg-default))"><span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><code>ollama show llama3.2
</code></span></span></span></span>

<span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><span style="color:#1f2328"><span style="color:var(--fgColor-default, var(--color-fg-default))"><span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><code>ollama list
</code></span></span></span></span>

<span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><span style="color:#1f2328"><span style="color:var(--fgColor-default, var(--color-fg-default))"><span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><code>ollama ps
</code></span></span></span></span>

<span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><span style="color:#1f2328"><span style="color:var(--fgColor-default, var(--color-fg-default))"><span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><code>ollama stop llama3.2
</code></span></span></span></span>

ollama serve当您想在不运行桌面应用程序的情况下启动 OLLAMA 时使用。

查看开发人员指南

接下来，启动服务器：

<span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><span style="color:#1f2328"><span style="color:var(--fgColor-default, var(--color-fg-default))"><span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><code>./ollama serve
</code></span></span></span></span>

最后，在单独的 shell 中运行一个模型：

<span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><span style="color:#1f2328"><span style="color:var(--fgColor-default, var(--color-fg-default))"><span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><code>./ollama run llama3.2
</code></span></span></span></span>

Ollama 有一个用于运行和管理模型的 REST API。

<span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><span style="color:#1f2328"><span style="color:var(--fgColor-default, var(--color-fg-default))"><span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><code>curl http://localhost:11434/api/generate -d '{"model": "llama3.2","prompt":"Why is the sky blue?"
}'
</code></span></span></span></span>

<span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><span style="color:#1f2328"><span style="color:var(--fgColor-default, var(--color-fg-default))"><span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><code>curl http://localhost:11434/api/chat -d '{"model": "llama3.2","messages": [{ "role": "user", "content": "why is the sky blue?" }]
}'
</code></span></span></span></span>

请参阅所有端点的 API 文档。

• 打开 WebUI
• Enchanted（macOS 原生）
• 霍拉玛
• Lollms-Webui
• LibreChat （瞬感娱乐）
• 仿生 GPT
• HTML 用户界面
• 鞍
• 聊天机器人 UI
• 聊天机器人 UI v2
• 打字稿 UI
• 用于 Ollama 模型的极简 React UI
• 奥拉马克
• 大 AGI
• Cheshire Cat 助手框架
• 阿米卡
• 聊天
• Ollama-SwiftUI
• Dify.AI
• MindMac 电脑
• 适用于 Ollama 的 NextJS Web 界面
• Msty
• 聊天框
• WinForm Ollama 副驾驶
• NextChat with Get Started Doc
• 羊驼 WebUI
• OllamaGUI （英语）
• 开放AOE
• 奥丁符文
• LLM-X（渐进式 Web 应用程序）
• AnythingLLM（Docker + MacOs/Windows/Linux 原生应用程序）
• Ollama Basic Chat：使用 HyperDiv 反应式 UI
• Ollama-chats 角色扮演游戏
• IntelliBar（适用于 macOS 的 AI 驱动的助手）
• QA-Pilot（交互式聊天工具，可以利用 Ollama 模型快速理解和导航 GitHub 代码存储库）
• ChatOllama（基于 Ollama 的开源聊天机器人，带有知识库）
• CRAG Ollama Chat（使用 Corrective RAG 进行简单 Web 搜索）
• RAGFlow （基于深度文档理解的开源检索增强生成引擎）
• StreamDeploy （LLM 应用程序基架）
• 聊天（适用于 Teams 的聊天 Web 应用程序）
• Lobe Chat 与 Integrating Doc
• Ollama RAG 聊天机器人（使用 Ollama 和 RAG 与多个 PDF 进行本地聊天）
• BrainSoup（灵活的原生客户端，带有RAG和多代理自动化功能）
• macai（用于 Ollama、ChatGPT 和其他兼容 API 后端的 macOS 客户端）
• RWKV-Runner（RWKV 离线 LLM 部署工具，也可用作 ChatGPT 和 Ollama 的客户端）
• Ollama Grid Search （用于评估和比较模型的应用程序）
• olpaka（适用于 Ollama 的用户友好型 Flutter Web 应用程序）
• OllamaSpring（适用于 macOS 的 Ollama 客户端）
• LLocal.in （适用于 Ollama 的易于使用的 Electron Desktop 客户端）
• Shinkai Desktop （使用 Ollama + Files + RAG 双击安装本地 AI）
• AiLama （一个 Discord 用户应用程序，可让您在 Discord 中的任何地方与 Ollama 互动）
• Ollama 与 Google Mesop（使用 Ollama 实现 Mesop 聊天客户端）
• R2R（开源 RAG 引擎）
• Ollama-Kis（一个简单易用的 GUI，带有用于驾驶员教育的示例自定义 LLM）
• OpenGPA（开源离线优先企业代理应用程序）
• Painting Droid（具有 AI 集成的 Painting 应用程序）
• Kerlig AI（适用于 macOS 的 AI 写作助手）
• AI 工作室
• Sidellama（基于浏览器的 LLM 客户端）
• LLMStack（用于构建 LLM 代理和工作流的无代码多代理框架）
• 适用于 Mac 的 BoltAI（适用于 Mac 的 AI 聊天客户端）
• Harbor（以 Ollama 作为默认后端的容器化 LLM 工具包）
• PyGPT（适用于 Linux、Windows 和 Mac 的 AI 桌面助手）
• Alpaca（使用 GTK4 和 Adwaita 制作的适用于 linux 和 macos 的 Ollama 客户端应用程序）
• AutoGPT （AutoGPT Ollama 集成）
• Go-CREW （Golang 中强大的离线 RAG）
• PartCAD（使用 OpenSCAD 和 CadQuery 生成 CAD 模型）
• Ollama4j Web UI - 使用 Vaadin、Spring Boot 和 Ollama4j 构建的基于 Java 的 Ollama Web UI
• PyOllaMx - 能够与 Ollama 和 Apple MLX 模型聊天的 macOS 应用程序。
• Claude Dev - 用于多文件/整个存储库编码的 VSCode 扩展
• Cherry Studio（支持 Ollama 的桌面客户端）
• ConfiChat（轻量级、独立、多平台和注重隐私的 LLM 聊天界面，具有可选加密功能）
• Archyve（支持 RAG 的文档库）
• 带有 Mesop 的 crewAI（Mesop Web 界面，用于使用 Ollama 运行 crewAI）
• 基于 Tkinter 的客户端（适用于 Ollama 的基于 Python tkinter 的客户端）
• LLMChat （注重隐私、100% 本地、直观的多合一聊天界面）
• 本地多模态 AI 聊天（基于 Ollama 的 LLM 聊天，支持多种功能，包括 PDF RAG、语音聊天、基于图像的交互以及与 OpenAI 的集成。
• ARGO（在 Mac/Windows/Linux 上使用 RAG 本地下载和运行 Ollama 和 Huggingface 模型）
• OrionChat - OrionChat 是一个用于与不同 AI 提供商聊天的 Web 界面
• G1 （使用提示策略通过类似 o1 的推理链改进 LLM 推理的原型。
• Web 管理（Web 管理页面）
• Promptery （Ollama 的桌面客户端。
• Ollama 应用程序（适用于 Ollama 的现代且易于使用的多平台客户端）
• SpaceLlama （Firefox 和 Chrome 扩展，可在侧边栏中使用 ollama 快速汇总网页）
• YouLama（用于快速总结任何 YouTube 视频的 Webapp，也支持 Invidious）
• DualMind（实验性应用程序，允许两个模型在终端或 Web 界面中相互通信）
• ollamarama-matrix（用于 Matrix 聊天协议的 Ollama 聊天机器人）
• ollama-chat-app （基于 Flutter 的聊天应用）
• 完美记忆 AI（生产力 AI 根据您在屏幕上看到的、在会议中听到的和所说的内容进行个性化设置）
• Hexabot（对话式 AI 构建器）
• Reddit Rate （搜索和评级具有加权总和的 Reddit 主题）
• OpenTalkGpt（Chrome 扩展程序，用于管理 Ollama 支持的开源模型、创建自定义模型以及从用户友好的 UI 与模型聊天）
• VT（一个最小的多模式 AI 聊天应用程序，具有动态对话路由。通过 Ollama 支持本地模型）
• Nosia（基于 Ollama 的易于安装和使用的 RAG 平台）
• Witzy（适用于 Mac/Windows/Linux 的 AI 桌面应用程序）
• Abbey（一个可配置的 AI 接口服务器，具有笔记本、文档存储和 YouTube 支持）
• 最小值（具有本地或完全本地工作流的 RAG）
• aidful-ollama-model-delete （用于简化模型清理的用户界面）
• Perplexica（一个AI驱动的搜索引擎&“Perplexity AI的开源替代品）
• AI Toolkit for Visual Studio Code（Microsoft 官方 VSCode 扩展，用于聊天、测试、评估支持 Ollama 的模型，并在您的 AI 应用程序中使用它们。

• 谷歌云
• Fly.io
• 科耶布

• oterm
• Ellama Emacs 客户端
• Emacs 客户端
• 新英雄用于从 Neovim 中与模型交互的 UI 客户端
• gen.nvim
• ollama.nvim
• ollero.nvim
• ollama-chat.nvim
• ogpt.nvim
• gptel Emacs 客户端
• 燕麦片
• CMDH
• 哎呀
• shell-pilot（在 Linux 或 macOS 上通过纯 shell 脚本与模型交互）
• 特内尔
• llm-ollama 用于 Datasette 的 LLM CLI。
• 类型聊天-CLI
• 壳牌甲骨文
• TLM
• podman-ollama
• 咕噜咕噜
• 骆驼
• Ollama 电子书摘要
• 50 行代码的 Ollama Mix of Experts （MOE）
• vim-intelligence-bridge“Ollama” 与 Vim 编辑器的简单交互
• X-cmd OLLAMA
• bb7
• 与 Swollama Swift 软件包捆绑在一起的 SwollamaCLI。演示
• 艾查特全能的LLM CLI工具，具有Shell Assistant、Chat-REPL、RAG、AI工具和代理功能，可以访问OpenAI、Claude、Gemini、Ollama、Groq等。
• PowershAI 公司PowerShell 模块，将 AI 引入 Windows 上的终端，包括对 Ollama 的支持
• Orbiton 公司免配置文本编辑器和 IDE，支持 Ollama 的 Tab 键补全。

• 魔法

• pgai - PostgreSQL 作为向量数据库（使用 pgvector 从 Ollama 模型创建和搜索嵌入）
  • 入门指南
• MindsDB（将 Ollama 模型与近 200 个数据平台和应用程序连接起来）
• chromem-go 示例
• Kangaroo（适用于 AI 的 SQL 客户端和常用数据库的管理工具）

• 吃豆人
• 巴布亚
• Helm 图表
• Guix 频道
• Nix 封装
• 弗洛克斯

• LangChain 和 LangChain.js 示例
• Firebase Genkit
• 船员AI
• Yacana（用户友好的多代理框架，用于集思广益和执行预定流程，内置工具集成）
• Spring AI 与参考和示例
• LangChainGo 示例
• LangChain4j 示例
• LangChainRust 示例
• LangChain for .NET 示例：
• LLPhant
• LlamaIndex 和 LlamaIndexTS
• LiteLLM
• OllamaFarm 围棋版
• 适用于 .NET 的 OllamaSharp
• 用于 Ruby 的 Ollama
• 适用于 Rust 的 Ollama-rs
• 用于 C++ 的 Ollama-hpp
• 适用于 Java 的 Ollama4j
• ModelFusion Typescript 库
• 适用于 Swift 的 OllamaKit
• Ollama for Dart
• Ollama for Laravel
• LangChainDart
• 语义内核 - Python
• 草垛
• Elixir LangChain
• Ollama for R - rollama
• Ollama for R - ollama-r
• Ollama-ex for Elixir
• 适用于 SAP ABAP 的 Ollama 连接器
• 测试容器
• Portkey （端口密钥）
• PromptingTools.jl 中的示例
• 骆驼脚本
• llm-axe（用于构建 LLM 支持的应用程序的 Python 工具包）
• 咕噜
• Gollama for Golang
• Ollamaclient for Golang
• Go 中的高级函数抽象
• Ollama PHP
• Agents-Flex for Java 示例
• Parakeet 是一个 GoLang 库，旨在简化使用 Ollama 开发小型生成式 AI 应用程序的过程。
• 包含示例的 Haverscript
• 适用于 Swift 的 Ollama
• 使用 DocC 的 Swollama for Swift
• GoLamify 公司
• Ollama for Haskell
• multi-llm-ts（一个 Typescript/JavaScript 库，允许在统一 API 中访问不同的 LLM）
• LlmTornado （C#库为主要的FOSS和商业推理API提供统一的接口）

• 魔法
• 女仆
• Ollama 应用程序（适用于 Ollama 的现代且易于使用的多平台客户端）
• ConfiChat（轻量级、独立、多平台和注重隐私的 LLM 聊天界面，具有可选加密功能）

• Raycast 扩展
• Discollama （Ollama Discord 频道内的 Discord 机器人）
• 继续
• Vibe （转录和分析与 Ollama 的会议）
• Obsidian Ollama 插件
• Logseq Ollama 插件
• NotesOllama （Apple Notes Ollama 插件）
• Dagger 聊天机器人
• Discord AI 机器人
• Ollama 电报机器人
• Hass Ollama 对话
• 铆钉插件
• Obsidian BMO Chatbot 插件
• Cliobot（支持 Ollama 的 Telegram 机器人）
• Copilot for Obsidian 插件
• Obsidian Local GPT 插件
• 打开解释器
• Llama Coder（使用 Ollama 的 Copilot 替代品）
• Ollama Copilot（允许您将 ollama 用作 Github copilot 等副驾驶的代理）
• twinny（使用 Ollama 的 Copilot 和 Copilot 聊天替代方案）
• Wingman-AI（使用 Ollama 和 Hugging Face 的 Copilot 代码和聊天替代方案）
• Page Assist（Chrome 扩展程序）
• Plasmoid Ollama Control （KDE Plasma 扩展，可让您快速管理/控制 Ollama 模型）
• AI Telegram Bot（后端使用 Ollama 的 Telegram 机器人）
• AI ST 完成（支持 Ollama 的 Sublime Text 4 AI 助手插件）
• Discord-Ollama 聊天机器人（通用 TypeScript Discord 机器人，带调优文档）
• ChatGPTBox：带有集成教程的多合一浏览器扩展
• Discord AI 聊天/审核机器人用 python 编写的聊天/审核机器人。使用 Ollama 创建个性。
• Headless Ollama （用于在任何作系统上自动安装ollama客户端和模型的脚本，适用于依赖ollama服务器的应用程序）
• Terraform AWS Ollama & Open WebUI （一个Terraform模块，用于在AWS上部署一个现成的Ollama服务，连同其前端Open WebUI服务。）
• node-red-contrib-ollama
• 本地 AI 帮助程序（Chrome 和 Firefox 扩展，支持与活动选项卡和可自定义的 API 端点进行交互。包括用于用户提示的安全存储。
• vnc-lm（用于通过 Ollama 和 LiteLLM 与 LLM 进行消息传递的 Discord 机器人。在本地和旗舰型号之间无缝移动。
• LSP-AI（用于 AI 支持的功能的开源语言服务器）
• QodeAssist（适用于 Qt Creator 的 AI 驱动的编码助手插件）
• Obsidian Quiz Generator 插件
• AI Summmary Helper 插件
• TextCraft（使用 Ollama 的 Word 替代方案中的 Copilot）
• Alfred Ollama （Alfred 工作流）
• 文本LLaMA一个 Chrome 扩展程序，可帮助您编写电子邮件、更正语法和翻译成任何语言

• llama.cpp Georgi Gerganov 创立的项目。

• OpenLIT是一种OpenTelemetry原生工具，用于监控Ollama应用程序和GPUs，使用跟踪和指标。
• HoneyHive 是一个面向 AI 代理的 AI 可观测性和评估平台。使用 HoneyHive 评估代理性能、询问故障并监控生产质量。
• Langfuse 是一个开源 LLM 可观测性平台，使团队能够协作监控、评估和调试 AI 应用程序。