Deepseek本地部署指南：在linux服务器部署，在mac远程web-ui访问

ops/2025/2/9 0:47:27/

1. 在Linux服务器上部署DeepSeek模型

要在 Linux 上通过 Ollama 安装和使用模型，您可以按照以下步骤进行操作：

步骤 1：安装 Ollama

  1. 安装 Ollama：
    使用以下命令安装 Ollama：

    curl -sSfL https://ollama.com/download.sh | sh

  2. 验证安装：
    安装完成后，您可以通过以下命令验证 Ollama 是否安装成功：

    ollama --version

在这里插入图片描述

步骤 2：下载模型

ollama run deepseek-r1:32b

这将下载并启动DeepSeek R1 32B模型。
在这里插入图片描述

DeepSeek R1 蒸馏模型列表

模型名称参数量基础架构适用场景
DeepSeek-R1-Distill-Qwen-1.5B1.5BQwen2.5适合移动设备或资源受限的终端
DeepSeek-R1-Distill-Qwen-7B7BQwen2.5适合普通文本生成工具
DeepSeek-R1-Distill-Llama-8B8BLlama3.1适合小型企业日常文本处理
DeepSeek-R1-Distill-Qwen-14B14BQwen2.5适合桌面级应用
DeepSeek-R1-Distill-Qwen-32B32BQwen2.5适合专业领域知识问答系统
DeepSeek-R1-Distill-Llama-70B70BLlama3.3适合科研、学术研究等高要求场景

RTX 4090 显卡显存为 24GB，32B 模型在 4-bit 量化下约需 22GB 显存，适合该硬件。32B 模型在推理基准测试中表现优异，接近 70B 模型的推理能力，但对硬件资源需求更低。

步骤 3：运行模型

在这里插入图片描述
通过上面的步骤，已经可以直接在 Linux服务器通过命令行的形式使用Deepseek了。但是不够友好，下面介绍更方便的形式。

linuxOllama_43">2. 在linux服务器配置Ollama服务

1. 设置Ollama服务配置
设置OLLAMA_HOST=0.0.0.0环境变量，这使得Ollama服务能够监听所有网络接口，从而允许远程访问。

sudo vi /etc/systemd/system/ollama.service

[Unit]
Description=Ollama Service
After=network-online.target[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="OLLAMA_HOST=0.0.0.0"
Environment="PATH=/usr/local/cuda/bin:/home/bytedance/miniconda3/bin:/home/bytedance/miniconda3/condabin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin"[Install]
WantedBy=default.target

2. 重新加载并重启Ollama服务

sudo systemctl daemon-reload
sudo systemctl restart ollama
  1. 验证Ollama服务是否正常运行
    运行以下命令，确保Ollama服务正在监听所有网络接口：
sudo netstat -tulpn | grep ollama

您应该看到类似以下的输出，表明Ollama服务正在监听所有网络接口（0.0.0.0）：

tcp        0      0 0.0.0.0:11434           0.0.0.0:*               LISTEN      -                   ollama

4. 配置防火墙以允许远程访问

为了确保您的Linux服务器允许从外部访问Ollama服务，您需要配置防火墙以允许通过端口11434的流量。

sudo ufw allow 11434/tcp
sudo ufw reload

5. 验证防火墙规则
确保防火墙规则已正确添加，并且端口11434已开放。您可以使用以下命令检查防火墙状态：

sudo ufw status

状态： 激活至                          动作          来自
-                          --          --
22/tcp                     ALLOW       Anywhere                  
11434/tcp                  ALLOW       Anywhere                  
22/tcp (v6)                ALLOW       Anywhere (v6)             
11434/tcp (v6)             ALLOW       Anywhere (v6)

6. 测试远程访问
在完成上述配置后，您可以通过远程设备（如Mac）测试对Ollama服务的访问。
在远程设备上测试连接：
在Mac上打开终端，运行以下命令以测试对Ollama服务的连接：

curl http://10.70.83.38:11434/api/version

显示

{"version":"0.5.7"}

测试问答

(base) ➜  ~ curl -X POST http://10.70.83.38:11434/api/generate \-H "Content-Type: application/json" \-d '{"model": "deepseek-r1:32b", "prompt": "你是谁?"}'

显示

{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.118616168Z","response":"\u003cthink\u003e","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.150938966Z","response":"\n\n","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.175255854Z","response":"\u003c/think\u003e","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.199509353Z","response":"\n\n","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.223657359Z","response":"您好","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.24788375Z","response":"！","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.272068174Z","response":"我是","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.296163417Z","response":"由","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.320515728Z","response":"中国的","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.344646528Z","response":"深度","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.36880216Z","response":"求","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.393006489Z","response":"索","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.417115966Z","response":"（","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.441321254Z","response":"Deep","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.465439117Z","response":"Seek","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.489619415Z","response":"）","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.51381827Z","response":"公司","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.538012781Z","response":"开发","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.562186246Z","response":"的","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.586331325Z","response":"智能","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.610539651Z","response":"助手","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.634769989Z","response":"Deep","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.659134003Z","response":"Seek","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.683523205Z","response":"-R","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.70761762Z","response":"1","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.731953604Z","response":"。","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.756135462Z","response":"如","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.783480232Z","response":"您","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.807766337Z","response":"有任何","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.831964079Z","response":"任何","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.856229156Z","response":"问题","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.880487159Z","response":"，","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.904710537Z","response":"我会","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.929026993Z","response":"尽","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.953239249Z","response":"我","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.977496819Z","response":"所能","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:16.001763128Z","response":"为您提供","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:16.026068523Z","response":"帮助","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:16.050242581Z","response":"。","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:16.074454593Z","response":"","done":true,"done_reason":"stop","context":[151644,105043,100165,30,151645,151648,271,151649,198,198,111308,6313,104198,67071,105538,102217,30918,50984,9909,33464,39350,7552,73218,100013,9370,100168,110498,33464,39350,12,49,16,1773,29524,87026,110117,99885,86119,3837,105351,99739,35946,111079,113445,100364,1773],"total_duration":3872978599,"load_duration":2811407308,"prompt_eval_count":6,"prompt_eval_duration":102000000,"eval_count":40,"eval_duration":958000000}

通过上述步骤，已经成功在Linux服务器上配置了Ollama服务，并通过Mac远程访问了DeepSeek模型。接下来，将介绍如何在Mac上安装Web UI，以便更方便地与模型进行交互。

3. 在Mac上安装Web UI

为了更方便地与远程Linux服务器上的DeepSeek模型进行交互，可以在Mac上安装一个Web UI工具。这里我们推荐使用 Open Web UI，它是一个基于Web的界面，支持多种AI模型，包括Ollama。

1. 通过conda安装open-webui
打开终端，运行以下命令创建一个新的conda环境，并指定Python版本为3.11：

conda create -n open-webui-env python=3.11
conda activate open-webui-env
pip install open-webui

2. 启动open-webui

open-webui serve

在这里插入图片描述

3. 浏览器访问

http://localhost:8080/
  1. 使用管理员身份（第一个注册用户）登录
  2. 在Open webui界面中，依次点击“展开左侧栏”（左上角三道杠）–>“头像”（左下角）–>管理员面板–>设置（上侧）–>外部连接
  3. 在外部连接的Ollama API一栏将switch开关打开，在栏中填上http://10.70.83.38:11434（这是我的服务器地址）在这里插入图片描述
  4. 点击右下角“保存”按钮
  5. 点击“新对话”（左上角），确定是否正确刷出模型列表，如果正确刷出，则设置完毕。

4. 愉快的使用本地deepseek模型
在这里插入图片描述


http://www.ppmy.cn/ops/156841.html

相关文章

c语言对应汇编写法（以中微单片机举例）

c语言对应汇编写法（以中微单片机举例）

芯片手册资料 1. 赋值语句 C语言： a 5; b a; 汇编： ; 立即数赋值 LDIA 05H ; ACC 5 LD R01,A ; R01 ACC（a5）; 寄存器间赋值 LD A,R01 ; ACC R01（读取a的值） LD R02,A ; R02 ACC&…
阅读更多...
TDengine 中如何部署集群

TDengine 中如何部署集群

目 录 手动部署 部署 taosd 1. 清除数据2. 检查环境3. 安装4. 修改配置5. 启动6. 添加 dnode7. 添加 mnode 部署 taosAdapter部署 taosKeeper部署 taosX部署 taosX-Agent部署 taos-Explorer Docker 部署 启动 TDengine在 host 网络模式下启动 TDengine以指定的 hostname 和 po…
阅读更多...
【2】Cisco SD-WAN 组件介绍

【2】Cisco SD-WAN 组件介绍

1. 概述 Cisco SD-WAN 是一套基于软件定义的广域网（SD-WAN）解决方案，能够提供安全、可扩展且高效的网络连接。它通过集中的控制和智能路径选择，实现跨多个站点的可靠性、可见性和优化。 在 Cisco SD-WAN 体系架构中，主要由四个核心组件构成： vManage（管理平面） vSmart…
阅读更多...
Unity 2D实战小游戏开发跳跳鸟 - 跳跳鸟碰撞障碍物逻辑

Unity 2D实战小游戏开发跳跳鸟 - 跳跳鸟碰撞障碍物逻辑

在有了之前创建的可移动障碍物之后，就可以开始进行跳跳鸟碰撞到障碍物后死亡的逻辑，死亡后会产生一个对应的效果。 跳跳鸟碰撞逻辑 创建Obstacle Tag 首先跳跳鸟在碰撞到障碍物时，我们需要判定碰撞到的是障碍物，可以给障碍物的Prefab预制体添加一个Tag为Obstacle，添加步…
阅读更多...
【拼十字——树状数组】

【拼十字——树状数组】

题目 暴力代码 30% #include <bits/stdc.h> using namespace std; using ll long long; const int N 1e5 10; const int mod 1e9 7; int n; int l[N], w[N], c[N]; int main() {cin >> n;ll ans 0;for (int i 1; i < n; i){cin >> l[i] >> …
阅读更多...
深入解析：Python 爬虫高级技巧与实战应用

深入解析：Python 爬虫高级技巧与实战应用

在当今数字化时代&#xff0c;Python 爬虫已成为自动化数据抓取的核心工具。Python 拥有强大的第三方库支持&#xff0c;使得网络爬虫在数据采集领域应用广泛。本文将深入探讨 Python 爬虫的高级用法&#xff0c;包括处理反爬虫机制、动态网页抓取、分布式爬虫以及并发和异步爬…
阅读更多...
Maven（Ⅲ）继承和聚合

Maven（Ⅲ）继承和聚合

Maven继承 概念 Maven继承主要用于管理项目的公共配置&#xff0c;如依赖、插件等。通过继承&#xff0c;子项目可以复用父项目的配置&#xff0c;减少重复代码&#xff0c;提高项目的可维护性。一个父项目可以有多个子项目&#xff0c;子项目可以继承父项目的 groupId、vers…
阅读更多...
TCP/IP 邮件

TCP/IP 邮件

TCP/IP 邮件 引言 在互联网技术飞速发展的今天，电子邮件（Email）已成为人们日常工作和生活中不可或缺的通信工具。TCP/IP协议作为互联网通信的基础，为电子邮件的传输提供了强大的技术支持。本文将详细介绍TCP/IP在电子邮件传输过程中的作用，以及相关的协议和实现方式。 …
阅读更多...
最新文章

Copyright @ 2022~2023