贾维斯的初步形态——利用Ollama搭建属于自己的大模型,个人或者工作室,也可以有自己的智能官家。

ops/2024/9/24 23:27:51/

“一千个读者就有一千个哈姆雷特”就是仁者见仁,智者见智的意思。来自英国剧作家威廉·莎士比亚的一句名言,英文原文是There are a thousand Hamlets in a thousand peoples eyes.

意思是:每个人对这部作品的解读、赏析和看法都不一样,所以每个人都有自己的观点。

翻译成人话,可以说:仁者见仁,智者见智。

一、引子

做为一个技术开发人员,看过《钢铁侠》电影后,除了佩服钢铁侠足够中二,以及其“侠之大者,为国为民”的家国情怀后,最喜欢的还是他的智能管家——JARVIS。

做为科幻电影,老贾的全名是一个很土的称谓——Just A Rather Very Intelligent System(只是一个相当聪明的智能系统)。但在ChatGPT出现之前,不管是天猫精灵,小爱同学,还是水果曾经“遥遥领先”的Siri,都谈不是人工智能。甚至对于一些相对专业的问题,还完全相当于人工智障。

二、实现老贾初步形态

自从有了ChatGPT, 可以说技术人员的理想在慢慢照进现实了。

前面一年多,虽然我也在一直看相关的技术和实现,但是一直没有出手操作过什么。一是因为相关的技术都是国外人在热炒,吹牛逼谁都会,真正能用到实际应用中,肯定还有很长的一段路要走;二是前期对于人工智障们的相关研究,还是有一定的心理阴影。所以也就打定主意,不等到明显进步,我是不会出手的。

可是,没等到OpenAI进一步自证自己有多牛X,反而等来了他自己关上了门,尤其是他对于国内(所谓的不友好国家)的不友好态度,更是让人失望。

转机出现在llama3.1……

1、llama3.1和他的几个朋友们

最近发布的llama3.1,据发布时吹的牛X说已经超越ChatGPT4。同时,市面上同步的在发布的几个大模型也都竞相表现一样,谷歌的Gemma2, 阿里的Qwen2, 都号称自己性能有多好,参数有多多,最重要的是,这些大模型都可以自由下载,自由部署,还可以自己训练成完全属于自己的大模型。

所以,看到这些信息后,我觉得——是时候搞自己的智能管家,JARVIS了。

2、初步架构——Ollama + Open WebUI

Ollama 是一个开源框架,专为在本地机器上便捷部署和运行大型语言模型(LLM)而设计。

Ollama非常方便,几行命令就可以部署完毕,一行代码就可以拉取大模型,并在自己的机器上跑起来。

但是他跑起来的效果是这样的:

果然,很多技术人员的世界很苍白啊。这么强大的一个工具,最后实现的效果竟然是个命令行效果。所以他还得必需有一个前端界面工具。

能实现前端的界面工具有很多,在Ollama的仓库底部,就有很多实现的推荐:

但我们第一次尝试嘛,还是想尝试推荐人最多的——Open WebUI

在部署相关环境和安装的过程中,也发现了很多坑。这个放在下一篇文章中介绍吧。

安装好以后,做个测试吧。

以技术相关的问题来做测试,还是很可靠的。但要是以百度弱智吧的问题来问,那大模型还是非常显智障属性的。

关于大模型的使用。

个人觉得,在大模型出现之初,很多公司(尤其是开发公司)不允许员工使用相关功能,提高工作效率。

虽然这个问题很明显,技术相关的问题,大模型回答的还是相对准确的。也说明这对于技术人员提高工作效率是非常有帮助的。但是,在你提问的同时,是不是自己公司的技术核心也就提供给了相关大模型公司。

至于提交的后果是什么,供大模型深度学习?泄露自己公司的核心代码?是不是相关的隐患就非常多了。

这么想想,自己有自己的大模型,在上关技术逐渐丰富,能够稳定提高工作效率的当下,还是非常有必要的。


http://www.ppmy.cn/ops/93321.html

相关文章

pytorch多GPU训练简明教程

1. Torch 的两种并行化模型封装 1.1 DataParallel DataParallel 是 PyTorch 提供的一种数据并行方法,用于在单台机器上的多个 GPU 上进行模型训练。它通过将输入数据划分成多个子部分(mini-batches),并将这些子部分分配给不同的 G…

docker搭建内网穿透服务

docker搭建内网穿透服务 frpfrpsfrpc zerotier构建 moon构建 planet查询客户端配置moon方法 nps frp 参考文章:https://blog.csdn.net/weixin_43909881/article/details/126526059 frps docker pull snowdreamtech/frps docker run --restartalways --network ho…

新加坡服务器延迟大吗?如何进行优化

新加坡服务器延迟大吗?新加坡服务器的延迟通常在全国平均延迟111ms左右,其中移动网络约为90ms,联通网络106ms,电信网络最低约为85ms。为了进行优化,一般可以采取使用CDN、优化路由线路、增加带宽和服务器升级等方法。 …

webrtc一对一视频通话功能实现

项目效果 实现原理 关于原理我就不做说明,直接看图 WebRTC建立的时序图 系统用例逻辑 搭建环境 turn服务器:Ubuntu24.04搭建turn服务器 mkcert的安装和使用:配置https访问 必须使用https协议, 由于浏览器的安全策略导致的&am…

Redis 缓存预热、雪崩、穿透、击穿

缓存预热 缓存预热是什么 缓存预热就是系统上线后,提前将相关的缓存数据直接加载到缓存系统。避免在用户请求的时候,先查询数据库,然后再将数据缓存的问题!用户直接查询事先被预热的缓存数据!解决方案 使用 PostConstr…

Android Framework之Pkms详解

PKMS是Android系统中负责安装包管理的服务,它的主要职责如下: 管理系统安装的所有应用程序,包括升级、安装、卸载 根据Intent匹配相应的Activity、Service、Provider和BroadcastReceiver等,并提供相关信息 解析应用权限&#xff…

RabbitMQ再回首--往事如梦

这文章你就读吧,越读越🥸,一读一个不吱声 可靠的🐰警官:rabbitMQ,功能全面,不丢数据,体量小,容易堆积 声明exchange channel . exchangeDeclare ( String exchange , …

软件测试需要具备的基础知识【功能测试】---后端知识(三)

​ ​ 您好,我是程序员小羊! 前言 为了更好的学习软件测试的相关技能,需要具备一定的基础知识。需要学习的基础知识包括: 1、计算机基础 2、前端知识 3、后端知识 4、软件测试理论 后期分四篇文章进行编写,这是第三篇 …