本地运行AI大模型简单示例

embedded/2024/12/22 15:15:44/
aidu_pl">

一、引言

大模型LLM英文全称是Large Language Model,是指包含超大规模参数(通常在十亿个以上)的神经网络模型。2022年11月底,人工智能对话聊天机器人ChatGPT一经推出,人们利用ChatGPT这样的大模型帮助解决很多事情,提高人们的工作效率。

利用大模型,多模态,RAG等具体技术,各种AI应用在各行各业落地。这些技术往往需要很高GPU算力等服务器资源,那么如何在本地运行大模型呢,发现了一个帮助在本地电脑运行大模型的工具 ollama

二、简介

本文会介绍一下ollama如何安装以及运行大模型并和大模型进行交互对话,帮助我们回答问题,进行问答交互。

三、实践

  1. 下载安装ollama环境,访问ollama官网 就可以看到可爱的羊驼了,(Meta AI Meta AI 发布的预训练大语言基础模型(Large Language Model Meta AI)也就是LLaMA翻译过来就是羊驼的意思)。

image.png

根据自己电脑操作系统下载即可,ollama支持macOS, Linux, and Windows (preview)。
ollama 官网有模型库,选择自己感兴趣的大模型,敲命令就可以运行了,首次运行会先下载大模型包,大家要注意自己的磁盘大小。

  1. 使用命令运行大模型
ollama run llama2

image.png

  1. 这样就可以直接通过命令行和大模型进行问答交互了。

image.png

这样,通过命令行就可以和 llama2 大模型进行基本的问答了。


http://www.ppmy.cn/embedded/37317.html

相关文章

Found multiple lockfiles

当你遇到“发现多个锁定文件”的提示时,通常意味着你的项目中存在多于一个用来管理依赖关系的文件,而你正在使用的工具(比如npm、yarn、pip或其他包管理器)不确定应该使用哪一个。锁定文件,比如npm中的package-lock.js…

《Fundamentals of Power Electronics》——示例:Buck-Boost转换器模型变为正则形式

为了说明正则电路模型推导的步骤,让我们将buck-boost转换器的等效电路操作成规范形式。buck-boost转换器的一个小信号交流等效电路如下图所示。 为了将上图所示网络转换成正则形式,需要将所有独立源d(t)转换到左侧,而将所有电感转换到右侧与变…

车载打气泵pcba方案研发

车载打气泵是一种常见的充气工具,它在我们的日常生活中扮演着重要的角色。它主要用于给车辆、自行车、橡皮艇、游泳圈等充气,方便人们在各种场合使用。它简单方便的操作,快速高效的充气速度,以及便携的设计,让我们能够…

微信小程序交互增强:实现上拉加载、下拉刷新与一键返回顶部【代码示例】

微信小程序交互增强:实现上拉加载、下拉刷新与一键返回顶部【代码示例】 基础概念实现步骤与代码示例1. 下拉刷新2. 上拉加载更多3. 返回顶部 性能优化与安全考虑结语与讨论 在微信小程序的开发过程中,提供流畅的用户体验至关重要,其中上拉加…

科技早报 | 微软将推出自研AI大模型;苹果折叠屏iPhone新专利获批 | 最新快讯

微软将推出自研AI大模型 5月6日消息,据The Information报道,微软正在公司内部训练一个新的人工智能模型,规模足以与谷歌、Anthropic,乃至OpenAI 自身的先进大模型相抗衡。 报道称,这个新模型内部代号为“MAI-1”&…

frp内网穿透服务搭建与使用

frp内网穿透服务搭建与使用 1、frp简介 frp 是一个专注于内网穿透的高性能的反向代理应用,支持 TCP、UDP、HTTP、HTTPS 等多种协议。 可以将内网服务以安全、便捷的方式通过具有公网 IP 节点的中转暴露到公网。frp工作原理 服务端运行,监听一个主端口…

研发效能 | Jacoco dump基于k8s的实现

问题描述 总所周知,jacoco的dump操作如果是使用server模式只需要使用以下命令就能获取到 exec 文件。 java -jar jacococli.jar dump --address 192.169.110.1 --port 6300 --destfile ./jacoco-demo.exec 如果是非 k8s 的集群,也只需要遍历执行这条命…

unity华为sdk接入指路指南

目前比较靠谱的几个方案:试过几个仅供参考 温馨提示:最高目前可支持方案到unity2021版本以下,以上请联系华为官方寻求技术支持 Unity集成华为游戏服务SDK方式(一):集成Unity官方游戏SDK: 华为…