Ollama使用笔记【更新ing】

news/2025/2/28 13:11:25/

0.引言

本篇以自己的学习轨迹为主，记录有关ollama的技术和理论问题。

llama_3">1.Ollama是什么？

o<a class= llama图标" />
上图为ollama官方logo。Ollama 是一个专注于本地部署大型语言模型的工具，通过提供便捷的模型管理、丰富的预建模型库、跨平台支持以及灵活的自定义选项，使得开发者和研究人员能够在本地环境中高效利用大型语言模型进行各种自然语言处理任务，而无需依赖云服务或复杂的基础设施设置。

llama_8">2.如何选择安装Ollama版本？

macOS和Windows的超级简单，进入官网点击下载等待即可。
重点讲Linux系统。
一般如果没有显卡跑不起来大模型，所以会根据显卡类型判断下载的版本。
（1）如果是A卡（AMD）类型，需要下载ROCm 软件包

curl -L https://ollama.com/download/ollama-linux-amd64-rocm.tgz -o ollama-linux-amd64-rocm.tgz
sudo tar -C /usr -xzf ollama-linux-amd64-rocm.tgz

（2）如果是N卡（NVIDIA）类型，下载amd64.tgz即可

curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz

（3）如果是ARM64架构的机器，下载特定于 ARM64 的包

curl -L https://ollama.com/download/ollama-linux-arm64.tgz -o ollama-linux-arm64.tgz
sudo tar -C /usr -xzf ollama-linux-arm64.tgz

3.如何判断A卡还是N卡？

A卡全名（AMD）代表GPU芯片是AMD研发的，N卡全名（NVIDIA）他代表GPU是英伟达家研发的。
AMD家的显卡基本上都是以R开头或者是RX开头。例如，以前的R7 370 R9 390。现在AMD家的新显卡基本上都是以RX开头了，例如RX6500 RX6500XT RX6600 RX6600XT RX6750XT RX6800XT RX6900XT RX6950XT。
N卡的开头字母主要有GT GTX RTX三种。GT一般代表入门级显卡比如GT1030，这部分显卡性能不是太好，但是用于点亮电脑或者玩一些小游戏还是没问题的，价格也比较便宜，至于这个GTX和RTX都代表高性能显卡，只不过这个RTX具有光追功能。