“一千个读者就有一千个哈姆雷特”就是仁者见仁,智者见智的意思。来自英国剧作家威廉·莎士比亚的一句名言,英文原文是There are a thousand Hamlets in a thousand peoples eyes.
意思是:每个人对这部作品的解读、赏析和看法都不一样,所以每个人都有自己的观点。
翻译成人话,可以说:仁者见仁,智者见智。
一、引子
做为一个技术开发人员,看过《钢铁侠》电影后,除了佩服钢铁侠足够中二,以及其“侠之大者,为国为民”的家国情怀后,最喜欢的还是他的智能管家——JARVIS。
做为科幻电影,老贾的全名是一个很土的称谓——Just A Rather Very Intelligent System(只是一个相当聪明的智能系统)。但在ChatGPT出现之前,不管是天猫精灵,小爱同学,还是水果曾经“遥遥领先”的Siri,都谈不是人工智能。甚至对于一些相对专业的问题,还完全相当于人工智障。
二、实现老贾初步形态
自从有了ChatGPT, 可以说技术人员的理想在慢慢照进现实了。
前面一年多,虽然我也在一直看相关的技术和实现,但是一直没有出手操作过什么。一是因为相关的技术都是国外人在热炒,吹牛逼谁都会,真正能用到实际应用中,肯定还有很长的一段路要走;二是前期对于人工智障们的相关研究,还是有一定的心理阴影。所以也就打定主意,不等到明显进步,我是不会出手的。
可是,没等到OpenAI进一步自证自己有多牛X,反而等来了他自己关上了门,尤其是他对于国内(所谓的不友好国家)的不友好态度,更是让人失望。
转机出现在llama3.1……
1、llama3.1和他的几个朋友们
最近发布的llama3.1,据发布时吹的牛X说已经超越ChatGPT4。同时,市面上同步的在发布的几个大模型也都竞相表现一样,谷歌的Gemma2, 阿里的Qwen2, 都号称自己性能有多好,参数有多多,最重要的是,这些大模型都可以自由下载,自由部署,还可以自己训练成完全属于自己的大模型。
所以,看到这些信息后,我觉得——是时候搞自己的智能管家,JARVIS了。
2、初步架构——Ollama + Open WebUI
Ollama 是一个开源框架,专为在本地机器上便捷部署和运行大型语言模型(LLM)而设计。
Ollama非常方便,几行命令就可以部署完毕,一行代码就可以拉取大模型,并在自己的机器上跑起来。
但是他跑起来的效果是这样的:
果然,很多技术人员的世界很苍白啊。这么强大的一个工具,最后实现的效果竟然是个命令行效果。所以他还得必需有一个前端界面工具。
能实现前端的界面工具有很多,在Ollama的仓库底部,就有很多实现的推荐:
但我们第一次尝试嘛,还是想尝试推荐人最多的——Open WebUI
在部署相关环境和安装的过程中,也发现了很多坑。这个放在下一篇文章中介绍吧。
安装好以后,做个测试吧。
以技术相关的问题来做测试,还是很可靠的。但要是以百度弱智吧的问题来问,那大模型还是非常显智障属性的。
关于大模型的使用。
个人觉得,在大模型出现之初,很多公司(尤其是开发公司)不允许员工使用相关功能,提高工作效率。
虽然这个问题很明显,技术相关的问题,大模型回答的还是相对准确的。也说明这对于技术人员提高工作效率是非常有帮助的。但是,在你提问的同时,是不是自己公司的技术核心也就提供给了相关大模型公司。
至于提交的后果是什么,供大模型深度学习?泄露自己公司的核心代码?是不是相关的隐患就非常多了。
这么想想,自己有自己的大模型,在上关技术逐渐丰富,能够稳定提高工作效率的当下,还是非常有必要的。