Llama 3.1 本地电脑部署 Linux系统 【轻松简易】

embedded/2025/2/26 3:00:52/

本文分享在自己的本地电脑部署 llama3.1,而且轻松简易,快速上手。

这里借助Ollama工具,在Linux系统中进行大模型部署~

Llama3.1,有三个版本:8B、70B、405B

Llama 3.1 405B 是第一个公开可用的模型,在常识、可操纵性、数学、工具使用和多语言翻译等最先进的能力方面可与顶级 AI 模型相媲美。

8B 和 70B 模型的升级版本支持多种语言,上下文长度显著增加至 128K,工具使用先进,推理能力也更强

这使得 Meta 的最新模型能够支持高级用例,例如长篇文本摘要、多语言对话代理和编码助手。

Meta 还对其许可证进行了修改,允许开发人员使用 Llama 模型(包括 405B 模型)的输出来改进其他模型。

 1、安装Ollama

来到官网地址:Download Ollama on macOS

执行命令来安装ollama:curl -fsSL https://ollama.com/install.sh | sh 

安装位置默认是在 /usr/local/lib/ollama

恭喜Ollama安装成功啦~

启动Ollama():ollama serve

然后可以查询一下版本(可选):ollama -v

或者看一下ollama命令有那些参数(可选):ollama

2、加载和使用Llama3.1

来到Ollama的模型库 https://ollama.com/library/llama3.1

Llama3.1,有三个版本:8B、70B、405B

这里可以先选择小的试一试,比如8b,

输入命令:ollama run llama3.1:8b

这里建议能科学上网,不然可能需要等待很久很久~

成功加载llama3.1:8b啦,能和它聊天交流~

如果想退出聊天,按下Ctrl + d

3、安装chatbox,改善聊天界面

如果使用命令进行聊天,感觉不太舒服,而且代码也不方便表示

这时我们使用chatbox工具,然后加载DeepSeek-R1模型,这样可以用一个漂亮的可视化界面聊天啦

chatbox官网地址:Chatbox AI官网:办公学习的AI好助手,全平台AI客户端,官方免费下载

点击下载完成后,能看到Chatbox-1.9.8-x86_64.AppImage

我们需要给它添加可运行权限:

sudo chmod a+x Chatbox-1.9.8-x86_64.AppImage

然后双击运行,就能打开它啦~

然后打开Chatbox,进行编辑配置

选择“OLLAMA API”,然后选择模型“llama3.1:8b”,其他配置默认就好啦

开启聊天啦

4、尝试不同版本的Llama

上面是llama3.1:8b的版本,用起来很流畅,于是尝试更大参数量的版本(70b、405b等)

对应的命令:

ollama run llama3.1:70b

ollama run llama3.1:405b

相关文章分享:

DeepSeek-R1 本地电脑部署 Windows系统 【轻松简易】_windows部署 deepseek r1-CSDN博客

DeepSeek-R1 本地电脑部署 Linux系统 【轻松简易】_14900kflinux-CSDN博客

分享完成~


http://www.ppmy.cn/embedded/167175.html

相关文章

运行 Rancher 的建议

运行在多个节点上的多个 Rancher 实例确保了单节点环境无法实现的高可用性,所以在生产环境或者一些很重要的环境中部署 Rancher 时,应该使用至少有三个节点的高可用 Kubernetes 集群,并在这个集群上面安装 Rancher。 在专用的集群上运行 Ran…

Prime_Series_Level-1靶场,wpscan爆破,LFI漏洞,wordpress更改文件getshell,ubuntu内核提权

泷羽Sec-尘宇安全 前言 oscp备考,oscp系列——Prime_Series_Level-1靶场,wpscan爆破,LFI漏洞,wordpress更改文件getshell,ubuntu内核提权 难度简单偏上 对于低权限shell获取涉及:wpscan爆破,…

Java虚拟机(JVM)深度解析

Java虚拟机(JVM)深度解析 JVM概述JVM内存结构堆内存详细分区类加载机制类加载流程类加载器层次执行引擎与运行时数据区执行引擎核心组件运行时数据区交互垃圾回收机制(GC)GC算法分类常见垃圾收集器JVM性能调优常用参数示例JVM概述 Java虚拟机(Java Virtual Machine, JVM)…

计算机视觉算法实战——产品分拣(主页有源码)

✨个人主页欢迎您的访问 ✨期待您的三连 ✨ ✨个人主页欢迎您的访问 ✨期待您的三连 ✨ ✨个人主页欢迎您的访问 ✨期待您的三连✨ ​ 1. 领域简介✨✨ 产品分拣是工业自动化和物流领域的核心技术,旨在通过机器视觉系统对传送带上的物品进行快速识别、定位和分类&a…

instanceof和typeof的区别【JavaScript常见面试题】

typeof (一元操作符): 用于判断一个变量的类型。它可以用于任何数据类型,并返回一个表示该类型的字符串。 console.log(typeof 42); // "number" console.log(typeof Hello); // "string" conso…

Spring Boot + JSqlParser:全面解析数据隔离最佳实践

Spring Boot JSqlParser:全面解析数据隔离最佳实践 在构建多租户系统或需要进行数据权限控制的应用时,数据隔离是一个至关重要的课题。不同租户之间的数据隔离不仅能够确保数据的安全性,还能提高系统的灵活性和可维护性。随着业务的扩展和需…

python和pycharm 和Anaconda的关系

好的,下面我会详细说明 Python、PyCharm 和 Anaconda 三者的关系,并逐一解释它们的功能和作用。 1. Python(编程语言) 定义:Python 是一种高级编程语言,设计简洁,易于学习,且功能强…

LeetCode 贪心算法经典题目 (C++实现)

121. 买卖股票的最佳时机 题目描述 给定一个数组 prices ,它的第 i 个元素 prices[i] 表示一支给定股票第 i 天的价格。 你只能选择 某一天 买入这只股票,并选择在 未来的某一个不同的日子 卖出该股票。设计一个算法来计算你所能获取的最大利润。 返…