在我的电脑上构建ollama+deepseek-r1-7b运行环境;

devtools/2025/3/26 5:47:30/

这里写自定义目录标题

    • 一、环境准备(20分钟)
      • 1.1 系统要求
      • 1.2 基础依赖安装
    • 二、Ollama安装配置
  • Windows(PowerShell管理员模式)
    • 三、DeepSeek模型部署
      • 3.1 下载模型文件
      • 3.2 创建Modelfile
      • 3.3 构建模型
    • 四、运行测试
      • 4.1 启动模型
      • 4.2 测试本地ollama
      • 4.3性能监控

一、环境准备(20分钟)

1.1 系统要求

  • 操作系统:Linux/Windows/macOS
  • 内存:≥16GB(推荐32GB)
  • 存储:≥50GB 可用空间
  • 显卡:支持CUDA的NVIDIA显卡(可选)

1.2 基础依赖安装

# Ubuntu/Debian示例
sudo apt update && sudo apt install -y curl wget python3-pip git
pip install virtualenv# Windows用户需额外安装:
- WSL2(推荐)
- NVIDIA驱动(如使用显卡)

二、Ollama安装配置

2.1 安装Ollama

# Linux/macOS
curl -fsSL https://ollama.ai/install.sh | sh

Windows(PowerShell管理员模式)

winget install ollama.ollama

2.2 验证安装

ollama --version  # 应显示版本号≥0.1.20

三、DeepSeek模型部署

3.1 下载模型文件

# 下载官方GGUF格式模型(示例)
wget https://huggingface.co/deepseek-ai/deepseek-r1/resolve/main/deepseek-r1.Q4_K_M.gguf

3.2 创建Modelfile

FROM ./deepseek-r1.Q4_K_M.gguf
PARAMETER num_ctx 4096
PARAMETER temperature 0.7
PARAMETER num_gpu 4  # 根据实际GPU数量调整

3.3 构建模型

ollama create deepseek-r1 -f Modelfile

四、运行测试

4.1 启动模型

ollama serve &  # 后台运行服务
ollama run deepseek-r1

4.2 测试本地ollama

>>> 为什么天空是蓝色的?
答案很好:因为太阳光的波长范围中,存在一种特别重要的波长,即可见光(380-780纳米)。在这个范围内,有大量的氮气和氧气分子。这些分子可以吸收短波长的紫外线,同时反射 longer波长的蓝色光。这就是为什么天空看起来是蓝
色的。还有一个更深入的科学原理:当太阳光照射到大气层时,会遇到水蒸汽、碳 monoxide 和其他小分子。这些分子可以吸收和散射光线,
使得蓝色光线被反射回我们看起来天空是蓝色的。当然,这只是一个简化的解释,但它给了你一个基本的了解,为什么天空看起来是蓝色的。如果你想知道更多关于太阳光、大气层和颜色的信息,可以问我任何其他问题。>>> Send

4.3性能监控

watch -n 1 nvidia-smi  # GPU监控(如使用)
htop  # CPU/内存监控

http://www.ppmy.cn/devtools/171264.html

相关文章

力扣题目分享:只出现1次的数字I II III(位运算版)

只出现一次的数字 这道题目是要找出只出现一次的数字,其他数字都会出现两次 C语言可以直接用的位运算有按位与(&),按位或(|),按位异或(^) 这道题用到的是按位异或 先讲一下按位异或: 对于两个二进制数,相同为0…

leetcode-45.跳跃游戏II

题很简单,怎么少点写代码比较困难。 这题很明显贪心算法,每次跳跃我们都希望理论上能到达的地方更远。一开始站在初始点,那么可选范围就是0到nums[0],在这里面找能跳得最远的点i,接下来遍历nums[0]1到 inums[i]&#x…

Qwen-VL系列多模态大模型技术演进-模型架构、训练方法、数据细节

记录一下Qwen-VL系列多模态大模型技术演进-模型架构、训练方法、数据细节,仅供参考。 系列模型的应用场景: Qwen-VL:基础图像理解和对话。Qwen2-VL:图像短视频理解,代理任务。Qwen2.5-VL:长视频、复杂文档…

深入解析SQL2API平台:数据交互革新者

在数字化转型持续深入的当下,企业对数据的高效利用与管理的需求愈发迫切。SQL2API平台应运而生,成为助力企业突破数据交互困境的有力工具,特别是它由麦聪软件基于DaaS(数据即服务)产品创新衍生而来,备受业界…

数据结构十五、排序

一、插入排序 插入排序&#xff08;insertion sort&#xff09;类似于扑克牌的插牌过程&#xff0c;将待排序元素插入到已排序的序列中。 #include <iostream> using namespace std;const int N 1e5 10; int n; int a[N];void insert_sort() {for (int i 2;i < n;…

HBase Shell

以下是 **HBase Shell** 的常用命令总结&#xff0c;涵盖表管理、数据操作和常用工具&#xff0c;适合快速查阅和日常使用&#xff1a; --- ### **1. 进入与退出 HBase Shell** bash # 进入 HBase Shell&#xff08;确保 HBase 服务已启动&#xff09; hbase shell # 退出 S…

深度学习--链式法则

可以链接一个多元函数对其所有变量的偏导数的方式来计算梯度。 偏导计算示例&#xff1a; 设函数z f(x,y) 3x^2y 2xy^2 求z对x和y的偏导数 对x求偏导数 把y看作事常熟&#xff0c;对x求导数 3x2xy 2y^2 对y求偏导数 3x^2 2x x 3y^2 2.4.4 链式法则 用上吗的方法可能很难找…

【漫话机器学习系列】153.残差平方和(Residual Sum of Squares, RSS)

残差平方和&#xff08;RSS&#xff09;&#xff1a;机器学习中的误差衡量指标 在机器学习和统计建模中&#xff0c;衡量模型的拟合优劣是一个重要问题。残差平方和&#xff08;Residual Sum of Squares, RSS&#xff09;是一个常用的误差度量方法&#xff0c;它衡量了模型预测…