deepseek本地部署和使用(Linux虚拟机)

ops/2025/2/13 13:25:43/

下载安装Ollama

关于Ollama

在部署deepseek之前,需要首先安装Ollama。那么,Ollama是啥呢?是一个专注于本地运行大型语言模型(LLM)的工具,旨在简化 LLM 的部署和使用。它支持多种开源模型(访问Ollama官网如下图可以看到支持的LLM),并允许用户通过命令行与模型交互。

安装Ollama

如何安装Ollama呢?可以参考《Linux下安装Ollama指南》。根据该指南所示,可以在线安装或者离线安装。

在线安装
curl -fsSL https://ollama.com/install.sh | sh
离线安装
curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz

注册Ollama到systemd服务

创建用户、用户组和工作目录

sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)

创建ollama.service服务文件

touch /etc/systemd/system/ollama.service
[Unit]
Description=Ollama Service
After=network-online.target[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"[Install]
WantedBy=default.target

注册ollama服务开机自启(不必须)

sudo systemctl daemon-reload
sudo systemctl enable ollama

启动和验证服务

sudo systemctl start ollama
sudo systemctl status ollama

~]# ollama -v
ollama version is 0.5.7

下载并运行DeepSeek模型

查看ollama的模型库,支持非常丰富的模型。我们这里安装的是deepseek,所以,其他LLM就略过了。

deepseek支持拉取并运行“deepseek-v3、deepseek-r1、deepseek-llm”等:

上面的1.5b、7b等是模型的参数量(“B”代表Billion/十亿),是衡量其规模和能力的重要指标。DeepSeek大模型的不同参数版本反映了计算资源、任务复杂度和实际应用场景的权衡。反映到拉取的介质上,就是大小差异、运行所需资源差异、响应性能等。deepseek-r1默认是7b(查看deepseek-r1镜像列表)可以看到deepseek-r1:latest和deepseek-r1:7b的镜像ID是一样的。

可以根据自己需要和设备性能拉取相应的镜像(1.5b最小1.1GB、671b最大404GB)。拉取的镜像默认存储在Linux用户家目录下的.ollama下:

~]# ll ~/.ollama/
总用量 12
-rw------- 1 root root 297 2月   6 16:00 history
-rw------- 1 root root 387 2月   5 16:45 id_ed25519
-rw-r--r-- 1 root root  81 2月   5 16:45 id_ed25519.pub
drwxr-xr-x 4 root root  36 2月   5 16:48 models

另外,Linux下默认没有WebUI,只有命令行这种交互方式:

同一个问题,我对比了1.5b和7b,后者就比前者更合理、清晰、准确。


http://www.ppmy.cn/ops/157043.html

相关文章

蓝桥杯真题 - 像素放置 - 题解

题目链接:https://www.lanqiao.cn/problems/3508/learning/ 个人评价:难度 3 星(满星:5) 前置知识:深度优先搜索 整体思路 深搜,在搜索过程中进行剪枝,剪枝有以下限制条件&#xf…

MySQL视图索引操作

创建学生表; mysql> create table Student(-> Sno int primary key auto_increment,-> Sname varchar(30) not null unique,-> Ssex char(2) check (Ssex男 or Ssex女) not null,-> Sage int not null,-> Sdept varchar(10) default 计算机 not …

基于单片机的智能安全插座(论文+源码)

1 系统整体方案设计 本课题基于单片机的智能安全插座设计,以STM32嵌入式单片机为主体,将计算机技术和检测技术有机结合,设计一款电量参数采集装置,实现电压、电流信号的数据采集任务,电压、电流和功率在上位机的显示任…

DeepSeek-V3:开源多模态大模型的突破与未来

目录 引言 一、DeepSeek-V3 的概述 1.1 什么是 DeepSeek-V3? 1.2 DeepSeek-V3 的定位 二、DeepSeek-V3 的核心特性 2.1 多模态能力 2.2 开源与可扩展性 2.3 高性能与高效训练 2.4 多语言支持 2.5 安全与伦理 三、DeepSeek-V3 的技术架构 3.1 模型架构 3…

TypeScript 中的元组:固定长度的数组

🤍 前端开发工程师、技术日更博主、已过CET6 🍨 阿珊和她的猫_CSDN博客专家、23年度博客之星前端领域TOP1 🕠 牛客高级专题作者、打造专栏《前端面试必备》 、《2024面试高频手撕题》 🍚 蓝桥云课签约作者、上架课程《Vue.js 和 E…

spring boot接收请求常用注解

RequestBody 用于将 HTTP 请求体&#xff08;例如 JSON、XML 等&#xff09;中的数据绑定到控制器方法的参数上 示例&#xff1a; PostMapping("/status/{status}")public Result<String> startOrStop(PathVariable("status") Integer status, Lon…

vite共享配置之---define

define 定义全局常量替换方式。其中每项在开发环境下会被定义在全局&#xff0c;而在构建时被静态替换。 一、基本功能 define选项主要用于在开发期间和构建期间全局替换特定的字符串。这些替换在源码级别进行&#xff0c;意味着在代码运行之前&#xff0c;指定的变量或表达式…

Redis --- 秒杀优化方案(阻塞队列+基于Stream流的消息队列)

下面是我们的秒杀流程&#xff1a; 对于正常的秒杀处理&#xff0c;我们需要多次查询数据库&#xff0c;会给数据库造成相当大的压力&#xff0c;这个时候我们需要加入缓存&#xff0c;进而缓解数据库压力。 在上面的图示中&#xff0c;我们可以将一条流水线的任务拆成两条流水…