高端入门:Ollama 本地高效部署DeepSeek模型深度搜索解决方案

devtools/2025/2/8 18:21:32/

目录

一、Ollama 介绍

二、Ollama下载 

2.1 官网下载

2.2 GitHub下载

三、模型库

四、Ollmal 使用

4.1 模型运行(下载)

4.2 模型提问

五、Ollama 常用命令

相关推荐


一、Ollama 介绍

        Ollama是一个专为在本地机器上便捷部署和运行大型语言模型(LLM)而设计的开源框架。以下是对Ollama的详细解释:

  • 简化部署:Ollama旨在简化在Docker容器中部署大型语言模型的过程,使得非专业用户也能方便地管理和运行这些复杂的模型。
  • 轻量级与可扩展:作为轻量级框架,Ollama保持了较小的资源占用,同时具备良好的可扩展性,允许用户根据需要调整配置以适应不同规模的项目和硬件条件。
  • 跨平台支持:Ollama提供针对macOS、Windows(预览版)、Linux以及Docker的安装指南,确保用户能在多种操作系统环境下顺利部署和使用。

二、Ollama下载 

2.1 官网下载

        Ollama 支持多平台部署,可以在官网,选择适合的平台进行下载,如下图:

2.2 GitHub下载

GitHub - ollama/ollama: Get up and running with Llama 3.3, DeepSeek-R1, Phi-4, Gemma 2, and other large language models.Get up and running with Llama 3.3, DeepSeek-R1, Phi-4, Gemma 2, and other large language models. - ollama/ollamahttps://github.com/ollama/ollamahttps://github.com/ollama/ollamahttps://github.com/ollama/ollamahttps://github.com/ollama/ollamahttps://github.com/ollama/ollama

三、模型库

        Ollama 支持在 ollama.com/search 上获取的模型列表,比如最近比较火的 deepseek-r1:

        不同版本的模型所需内存大小也有所不同。例如在Ollama中部署DeepSeek-R1的不同版本(1.5b、7b、8b、14b、32b、70b、671b)所需的内存大小:

DeepSeek-R1版本所需内存(大约)备注
1.5b1.1GB硬盘空间内存需求相对较低
7b4.7GB硬盘空间内存和显存需求适中
8b约4.9GB硬盘空间显存占用约6.5GB左右
14b约9GB硬盘空间内存需求较高,建议至少8GB以上内存,显存占用约13GB
32b约20GB硬盘空间需要更高的内存和显存配置,建议至少32GB内存
70b约43GB硬盘空间需要非常大的内存和显存资源,适合高端配置
671b约404GB硬盘空间这是目前提到的最大版本,所需内存和显存资源将是所有版本中最高的

        根据自身需要选择版本,如下是我之前下的几个模型的版本和所占内存大小:

四、Ollmal 使用

4.1 模型运行(下载)

        打开命令终端,输入指令 ollama run xxxx(模型名称,如deepseek-r1),若是首次运行某个模型,Ollma 会先下载对应的模型文件,然后运行模型。        

//下载7b版本
ollama run deepseek-r1//下载14b版本
ollama run deepseek-r1:14b

        可以根据不同命令下载不同版本,怎么获取命令?你可以先选中模型的版本,ollama 会根据不同的版本生成命令,如下图所示:

4.2 模型提问

五、Ollama 常用命令

  • ollama serve:该命令用于启动Ollama服务器(在不运行桌面应用程序的情况下启动 ollama;),以便运行模型和处理请求。首次启动可能会生成ssh私钥文件,并提示服务端口状态。
  • ollama start:启动服务。
  • ollama list或ollama ls:列出本地所有可用的模型。
  • ollama ps:显示当前正在运行的模型列表。
  • ollama show [模型名称]:查看特定模型的详细信息,如模型名称、版本等。
  • ollama pull [模型名称]:从模型注册表中拉取一个模型到本地使用。此命令也可以用于更新本地模型,只会拉取差异部分。
  • ollama run [模型名称]。运行一个已安装的模型,执行某些任务。可以根据需要指定模型的参数和配置。
  • ollama create [模型路径]:使用包含模型信息的 [模型路径]来创建一个新模型。
  • ollama push [模型名称]:将本地模型推送到模型注册表中,以便他人或其他系统使用。
  • ollama cp [原模型名称] [新模型名称]:复制一个模型到另一个位置或给定名称的地方。
  • ollama rm [模型名称]:删除一个已安装的模型。
  • ollama -vollama --version:显示当前Ollama工具的版本信息。

相关推荐

Download Ollama on macOSDownload Ollama for macOShttps://ollama.com/downloadhttps://ollama.com/downloadhttps://ollama.com/downloadhttps://ollama.com/downloadhttps://github.com/ollama/ollamahttps://github.com/ollama/ollamahttps://github.com/ollama/ollamahttps://github.com/ollama/ollamahttps://github.com/ollama/ollamaNeo4j 图数据库安装与操作指南(以mac为例)_neo4j安装-CSDN博客文章浏览阅读1w次,点赞78次,收藏82次。本文介绍了Neo4j图数据库的安装、配置、启动以及基本操作方法。首先,需要满足Java环境的安装要求,并可选择使用Homebrew进行安装。然后,从官方网站下载Neo4j并解压,或通过Homebrew进行安装。配置Neo4j时,可设置环境变量以简化命令操作。启动Neo4j后,可通过Cypher查询语言进行节点、关系的创建、修改、匹配和删除等操作。本文还介绍了Neo4j的其他常用命令,如查询版本、服务状态、重启、停止和卸载等。_neo4j安装https://shuaici.blog.csdn.net/article/details/144115514https://shuaici.blog.csdn.net/article/details/144115514https://shuaici.blog.csdn.net/article/details/144115514https://shuaici.blog.csdn.net/article/details/144115514


http://www.ppmy.cn/devtools/157147.html

相关文章

【STM32】蓝牙模块数据包解析

使用到的蓝牙模块为DX-BT24,他可以将串口转蓝牙,实现与手机蓝牙的通信,本次实现使用手机蓝牙发送数据包来控制单片机LED的亮灭,规则如下: AA 05 01 FF AF 该数据包表示包头为AA,05表示该数据包的大小&#…

3步打造C# API安全密盾

引言:API 安全的重要性 在数字化浪潮中,应用程序编程接口(API)已成为不同软件系统之间通信和数据交互的关键桥梁。无论是企业内部的微服务架构,还是面向外部用户的在线服务,API 都承担着数据传输和业务逻辑…

unity学习31:Video Player 视频播放相关基础

目录 1 新增Video Player的 component 2 导入视频到Asset里 3 拖入到 video player的 video clip里去即可 4 渲染模式 4.1 多种渲染模式 4.2 如果选择 Render Texture模式 4.3 然后把Render Texture 拖到游戏里的 gameObject上面 5 在UI上显示 5.1 创建UI 5.2 在UI上…

机器学习day8

自定义数据集 ,使用朴素贝叶斯对其进行分类 代码 import numpy as np import matplotlib.pyplot as pltclass1_points np.array([[2.1, 2.2], [2.4, 2.5], [2.2, 2.0], [2.0, 2.1], [2.3, 2.3], [2.6, 2.4], [2.5, 2.1]]) class2_points np.array([[4.0, 3.5], …

python学opencv|读取图像(五十四)使用cv2.blur()函数实现图像像素均值处理

【1】引言 前序学习进程中,对图像的操作均基于各个像素点上的BGR值不同而展开。 对于彩色图像,每个像素点上的BGR值为三个整数,因为是三通道图像;对于灰度图像,各个像素上的BGR值是一个整数,因为这是单通…

Spring boot整合quartz方法

目录 1.定时任务 1.quartz说明 2.Quartz提供了不同的数据存储策略以管理作业调度信息: 1.Quartz引入依赖 2.开发定时任务 (1)更新定时任务 (2)停止定时任务 (3)唤醒定时任务 &#xff…

Windows图形界面(GUI)-QT-C/C++ - QT Tab Widget

公开视频 -> 链接点击跳转公开课程博客首页 -> ​​​链接点击跳转博客主页 目录 一、概述 1.1 什么是 QTabWidget? 1.2 使用场景 二、常见样式 2.1 选项卡式界面 2.2 动态添加和删除选项卡 2.3 自定义选项卡标题和图标 三、属性设置 3.1 添加页面&…

CS 与 BS 架构的差异

在数字化的今天,选择软件架构模式对系统的性能、维护、安全和成本都有很大影响。BS架构和CS架构是最常见的两种模式,了解它们的区别和特点对开发人员和企业决策者都很重要。 CS架构最早出现,当时用户直接从主机获取数据。随着客户端和服务端…