环境基本要求

硬件配置

需要本地跑模型，兼顾质量、性能、速度以及满足日常开发需要，我们需要准备以下硬件：

• CPU：I9
• 内存：128GB
• 硬盘：3-4TB 最新SSD，C盘确保有400GB，其它都可划成D盘；
• GPU：4080S即可（有条件的上4090D或者双卡），但是4080S已经足足够用了；
• 风扇：华硕七彩，10个 + 大功能水冷；
• 机箱：别用什么海景房，什么火山岩，不实用，太小，建议直接就是买那种大号的半透明机箱一个就行了，又大散热又好，什么海景房火山岩都不如搞7彩风扇好看；

软件配置

• 操作系统：Win11/Linux CentOS8.2/Ubuntu 24+
• 安装nvidia驱动，安装nvidia cuda核心，安装nvidia cudnn
• python 3.10+
• chatbox（用于作GUI聊天对话界面用）

确保nvidia的驱动在安装后你还必须要有nvidia cuda核心

一般互联网开发人员不知道这是什么，我们这样来装它。

先打开你的nvidia驱动装完后右下角的nvidia control panel找到以下这样的一个界面

一般4080s+以上都是12.6.65及以上，我们记成12.6.0。

于是打开以下网址下载nvidia cuda核心：

https://developer.nvidia.com/cuda-12-6-0-download-archive?target_os=Windows&target_arch=x86_64&target_version=10&target_type=exe_local

 在此下载cuda 12.6。

确保nvidia CUDNN被安装

一定要先装完了cuda核心后，再要装cudnn。

https://developer.nvidia.com/rdp/cudnn-archive#a-collapse897-120

我们进入nvidia开发者中心里下载它。

cuDNN下载完成后，是一个压缩包，解压完成后。请严格按照下面步骤去做，它解压后包含bin,include,lib三个目录。

1. 把cuda\bin\cudnn64_7.dll复制到 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2\bin 目录下.

2. 把\cuda\ include\cudnn.h复制到 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2\include 目录下.

3. 把\cuda\lib\x64\cudnn.lib复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2\lib\x64 目录下.

安装Ollama

接着我们下载Ollama，https://ollama.com/。

下载完后直接安装它。

安装完后右下角会有这么一个图标。

安装完后即启动了，你也可以设置成开机不启动。

配置ollama

我我们使用ollama安装deek seek前，一定要先做配置，如果不配置，它会在安装时把很多模型文件一股脑的装到你的：

• Windows 目录：C:\Users%username%.ollama\models
• MacOS 目录：~/.ollama/models
• Linux 目录：/usr/share/ollama/.ollama/models

这样的话你的C盘或者是启动盘就吃紧了，到时麻烦可就大了。

必配参数与解释

OLLAMA_MODELS

模型文件存放目录，默认目录为当前用户目录我们把它指向了D盘的d:\ollama_models。

OLLAMA_HOST

Ollama 服务监听的网络地址，默认为127.0.0.1，如果允许其他电脑访问 Ollama（如：局域网中的其他电脑），建议设置成0.0.0.0，从而允许其他网络访问

OLLAMA_PORT

Ollama 服务监听的默认端口，默认为11434，如果端口有冲突，可以修改设置成其他端口（如：8080等）

OLLAMA_ORIGINS

HTTP 客户端请求来源，半角逗号分隔列表，若本地使用无严格要求，可以设置成星号，代表不受限制

OLLAMA_KEEP_ALIVE

大模型加载到内存中后的存活时间，默认为5m即 5 分钟（如：纯数字如 300 代表 300 秒，0 代表处理请求响应后立即卸载模型，任何负数则表示一直存活）；我们可设置成24h，即模型在内存中保持 24 小时，提高访问速度

OLLAMA_NUM_PARALLEL

请求处理并发数量，默认为1，即单并发串行处理请求，可根据实际情况进行调整

OLLAMA_MAX_QUEUE

请求队列长度，默认值为512，可以根据情况设置，超过队列长度请求被抛弃

OLLAMA_DEBUG

输出 Debug 日志标识，应用研发阶段可以设置成1，即输出详细日志信息，便于排查问题

OLLAMA_MAX_LOADED_MODELS

最多同时加载到内存中模型的数量，默认为1，即只能有 1 个模型在内存中

配置完成后，启动一个terminal或者是命令行，然后以下几条常用ollama命令供参考

Ollama常用命令

列出当前系统装了哪些模型

ollama list

NAME            ID              SIZE    MODIFIED

gemma2:9b       c19987e1e6e2    5.4 GB  7 days ago

qwen2:7b        e0d4e1163c58    4.4 GB  10 days ago

安装和运行一个模型

ollama run deepseek-r1:14b

如果这个模型不存在，它就会先下载这个模型至ollama_models指向的那个目录并作下载，如上条命令就是安装和运行deep seek r1 14b的。

查看己安装的模型

ollama ps

删除一个模型

ollama rm 

如：

ollama rm gemma2:9b

安装完后Deek Seek使用ChatBox来做验证

下载网址

 https://chatboxai.app/zh

建议安装1.9.6版。

配置

 我们使用了一个生产的复杂场景，3层推理分别试了让GPT3.5 TURBO16K以及GPT4O，还有QWEN2 7B以及Deep Seek r1 14b分别作了回答。

无论是从GPU性能开销、回答正确性来看，Deep Seek秒杀了Gpt4O，不得不说Deep Seek是我们的国产之光。

这下，我们实现了AI自由了。

附、其它ollama支持的模型

模型	参数	大小	使用命令
Llama 3.1	8B	4.7GB	ollama run llama3.1
Llama 3.1	70B	40GB	ollama run llama3.1:70b
Llama 3.1	405B	231GB	ollama run llama3.1:405b
Gemma 2	9B	5.5GB	ollama run gemma2
Gemma 2	27B	16GB	ollama run gemma2:27b
qwen2	7B	4.4GB	ollama run qwen2
qwen2	72B	41GB	ollama run qwen2:72b
glm4	9B	5.5GB	ollama run glm4