Llama3本地部署及API接口本地调试,15分钟搞定最新Meta AI开源大模型本地Windows电脑部署

ops/2024/10/18 13:39:38/

文章目录

      • 目的
      • 操作难度等级
      • 15分钟本地Windows电脑部署Llama3 开源大模型
        • 1、下载安装Ollama
        • 2、使用Ollama的命令下载Llama3模型文件
        • 3、使用Llama3聊天对话功能
        • 4、本地Llama3 API接口调用

目的

你知道国内大模型多少是基于Llama2改造的,你就知道Llama模型有多厉害了,那么现在Llama3刚出来,搞自媒体的赶紧蹭Llama3的流量,搞技术的程序员赶紧抓住研究一下,看能否技术变现一下,尤其搞技术的,再不动到时年龄大了被裁员了不要怨天怨地的!

操作难度等级

非程序员的普通人及产品经理都可以按此文章说来本地部署

15分钟本地Windows电脑部署Llama3 开源大模型

1、下载安装Ollama

访问https://ollama.com,下载Ollama客户端,下载Windows版本,如果你的电脑是MacOs,下载对应的版本即可。

安装完成后,打开Windows命令窗口,输入ollama,出现如下提示,说明安装成功,可以使用了:
在这里插入图片描述

2、使用Ollama的命令下载Llama3模型文件

在ollama命令窗口输入:

ollama run llama3

按回车后就开始自动下载Llama3模型文件,默认下载最新的8B版本,模型文件大小4.7G。

等待5到10分钟即可下载完成(下载文件途中可以去上个厕所或者关注一下我的账号)
在这里插入图片描述

3、使用Llama3聊天对话功能

下载完成后出现send a message提示时,就可以直接与它进行对话了。看看我和它的对话:
在这里插入图片描述

4、本地Llama3 API接口调用

ollama会自动生成Llama3的API接口访问地址,API文档地址:https://github.com/ollama/ollama/blob/main/docs/api.md

请求地址:

curl http://localhost:11434/api/chat -d '{"model": "llama3","messages": [{"role": "user","content": "why is the sky blue?"}],"stream": false
}'

不会写代码的,使用Postman去调试:

在这里插入图片描述


http://www.ppmy.cn/ops/6430.html

相关文章

pt-archiver归档表数据

一 介绍 pt-archiver的原理主要是根据定义的时间间隔(sleep参数),扫描要清理的数据表。它按照指定的规则分批(limit参数)将查询到的记录转移到其他表或文件中,发现它是按主键去删除的表数据,对数据库影响很小。 二 语法 /bin/pt-archiver …

五分钟手撕“三大特性”<继承>(下)

目录 一、protected 关键字 二、继承方式 三、final 关键字 四、子类的构造方法 五、this和super (一)相同点: (二)不同点: 六、代码块的执行先后 一、protected 关键字 在类与对象中提到过&…

基于双向长短期神经网络bilstm的径流量预测,基于gru神经网络的径流量预测

目录 背影 摘要 LSTM的基本定义 LSTM实现的步骤 BILSTM神经网络 基于双向长短期神经网络bilstm的径流量预测,基于gru神经网络的径流量预测 完整代码:基于双向长短期神经网络bilstm的径流量预测,基于gru神经网络的径流量预测(代码完整,数据齐全)资源-CSDN文库 https://dow…

SpringMVC 常用注解介绍

Spring MVC 常用注解介绍 文章目录 Spring MVC 常用注解介绍准备1. RequestMapping1.1 介绍2.2 注解使用 2. 请求参数2.1 传递单个参数2.2 传递多个参数2.3 传递对象2.4 传递数组 3. RequestParam3.1 注解使用3.2 传入集合 4. RequestBody5. PathVariable6. RequestPart7. Rest…

学习在Debian系统上安装Shadowsocks教程

学习在Debian系统上安装Shadowsocks教程 安装shadowsocks-libev及其所需的依赖启动Shadowsocks服务:如果你想要通过代理本地流量,你可以使用ss-local:启动并设置ss-local:查看状态本地连接 安装shadowsocks-libev及其所需的依赖 …

(vue)el-select选择框加全选/清空/反选

(vue)el-select选择框加全选/清空/反选 <el-form-item label"批次"><el-selectv-model"formInline.processBatch"multiplecollapse-tagsfilterableplaceholder"请选择"style"width: 250px"no-data-text"请先选择企业、日…

特殊统计SQL实例分析:活动答题记录表的多维度统计

特殊统计SQL实例分析&#xff1a;活动答题记录表的多维度统计 引言数据表结构应用场景与SQL查询实例问题一&#xff1a;活动7天&#xff0c;每人每天有3次机会&#xff0c;每次机会答5道题&#xff0c;每5道题一个批次&#xff0c;答对有状态status为Y。现在需要获取活动期间每…

通过v-if渲染的element-ui表单,校验规则不生效的问题

因为form-item绑定验证事件是在mounted中进行的&#xff0c;规则变化后没有进行重新绑定验证事件&#xff0c;v-if渲染组件节点diff后被复用了&#xff0c;所以验证也就自然失效了 例如&#xff1a;通过动态选择类型来控制驾驶人是否显示&#xff0c;并且是必填项 给每一个el…