deepseek linux本地化部署

news/2025/2/22 14:17:14/

一、环境准备
硬件需求:

最低配置:CPU(支持 AVX2 指令集)+ 16GB 内存 + 30GB 存储。

推荐配置:NVIDIA GPU(RTX 3090 或更高)+ 32GB 内存 + 50GB 存储。

软件依赖:

操作系统:Linux(推荐 Ubuntu 20.04+)。

Python:3.8+。

CUDA:11.7+(需与 PyTorch 版本匹配)。

Docker:如果使用 Open Web UI,需要安装 Docker。

二、安装 Ollama
Ollama 是一个开源工具,用于在本地轻松运行和部署大型语言模型,以下是安装 Ollama 的步骤:

在终端运行以下命令安装 Ollama:

bash 复制

curl -sSfL https://ollama.com/download.sh | sh
安装完成后,通过以下命令验证 Ollama 是否安装成功:

bash 复制

ollama --version
如果输出版本号,则说明安装成功。

三、下载并部署 DeepSeek 模型
选择模型版本:

根据硬件配置选择合适的模型版本,例如入门级的 1.5B 版本,适合初步测试;中端的 7B 或 8B 版本,适合大多数消费级 GPU;高性能的 14B、32B 或 70B 版本,适合高端 GPU。
下载模型:

打开终端,输入以下命令下载并运行 DeepSeek 模型。例如,下载 7B 版本的命令为:

bash 复制

ollama run deepseek-r1:7b
如果需要下载其他版本,可以参考以下命令:

bash 复制

ollama run deepseek-r1:8b  # 8B版本
ollama run deepseek-r1:14b # 14B版本
ollama run deepseek-r1:32b # 32B版本
启动 Ollama 服务:

在终端运行以下命令启动 Ollama 服务:

bash 复制

ollama serve
服务启动后,可以通过访问 http://localhost:11434 来与模型进行交互。

四、使用 Open Web UI(可选)
为了更直观地与 DeepSeek 模型进行交互,可以使用 Open Web UI,以下是安装和使用步骤:

安装 Docker:确保你的机器上已安装 Docker。

运行 Open Web UI:

在终端运行以下命令安装并启动 Open Web UI:

bash 复制

docker run -d -p 3000:8080
  --add-host=host.docker.internal:host-gateway
  -v open-webui:/app/backend/data
  --name open-webui
  --restart always
  ghcr.io/open-webui/open-webui:main
安装完成后,访问 http://localhost:3000,选择 deepseek-r1:latest 模型即可开始使用。

五、其他工具安装(可选)
安装 Chatbox AI:

Chatbox AI 是一个基于对话的 AI 平台,能够实现自然语言交互。访问 Chatbox AI 的官方网站,下载最新版本的安装包。

对于 Linux 系统,下载完成后使用以下命令运行:

bash 复制

sudo ./Chatbox-1.9.5-x86_64.AppImage
打开配置文件 config.json 或者直接打开 UI,根据需要修改参数,例如连接 Ollama 的地址等。进入软件后点击设置,然后选择 ollama 的 api,加载之前下载的模型即可。


http://www.ppmy.cn/news/1574176.html

相关文章

【Python爬虫(12)】正则表达式:Python爬虫的进阶利刃

【Python爬虫】专栏简介:本专栏是 Python 爬虫领域的集大成之作,共 100 章节。从 Python 基础语法、爬虫入门知识讲起,深入探讨反爬虫、多线程、分布式等进阶技术。以大量实例为支撑,覆盖网页、图片、音频等各类数据爬取&#xff…

【智能客服】ChatGPT大模型话术优化落地方案

本文原创作者:姚瑞南 AI-agent 大模型运营专家,先后任职于美团、猎聘等中大厂AI训练专家和智能运营专家岗;多年人工智能行业智能产品运营及大模型落地经验,拥有AI外呼方向国家专利与PMP项目管理证书。(转载需经授权) 目录 一、项目背景 1.1 行业背景 1.2 业务现…

C++ 设计模式-策略模式

支付策略 #include <iostream> #include <memory> #include <unordered_map> #include <vector> #include <ctime>// 基础策略接口 class PaymentStrategy { public:virtual ~PaymentStrategy() default;virtual std::string name() const 0;…

泷羽Sec-蓝队基础之网络七层杀伤链

声明 学习视频来自B站UP主 泷羽sec,如涉及侵泷羽sec权马上删除文章笔记的只是方便各位师傅学习知识,以下网站涉及学习内容,其他的都与本人无关,切莫逾越法律红线,否则后果自负 一、企业管理技术 信息安全管理成熟度模型&#xff08;ISM3&#xff09;&#xff1a;描述了企业安…

大数据学习(49) - Flink按键分区状态(Keyed State)

&&大数据学习&& &#x1f525;系列专栏&#xff1a; &#x1f451;哲学语录: 承认自己的无知&#xff0c;乃是开启智慧的大门 &#x1f496;如果觉得博主的文章还不错的话&#xff0c;请点赞&#x1f44d;收藏⭐️留言&#x1f4dd;支持一下博主哦&#x1f91…

计算机三级网络技术知识汇总【4】

第四章 路由设计技术基础 1. IP路由选择 1.1 初识路由器 路由器&#xff08;Router&#xff09;是连接两个或多个网络的硬件设备&#xff0c;在网络间起网关的作用&#xff0c;是读取每一个数据包中的地址然后决定如何传送的专用智能性的网络设备。 1.2 分组转发 分组转发…

springboot三层架构详细讲解

目录 springBoot三层架构 0.简介1.各层架构 1.1 Controller层1.2 Service层1.3 ServiceImpl1.4 Mapper1.5 Entity1.6 Mapper.xml 2.各层之间的联系 2.1 Controller 与 Service2.2 Service 与 ServiceImpl2.3 Service 与 Mapper2.4 Mapper 与 Mapper.xml2.5 Service 与 Entity2…

深入探索 DeepSeek 在数据分析与可视化中的应用

在数据驱动的时代&#xff0c;快速且准确地分析和呈现数据对于企业和个人都至关重要。DeepSeek 作为一款先进的人工智能工具&#xff0c;凭借其强大的数据处理和可视化能力&#xff0c;正在革新数据分析的方式。 1. 数据预处理与清洗 在进行数据分析前&#xff0c;数据预处理…