本地化部署AI语言模型RWKV指南,ChatGPT顿时感觉不香了。

news/2024/11/17 2:26:05/

之前由于ChatGpt处处受限,又没法注册的同学们有福了,我们可以在自己电脑上本地化部署一套AI语言模型,且对于电脑配置要求也不是非常高,对它就是RWKV

关于RWKV

RWKV是一个开源且允许商用的大语言模型,灵活性很高且极具发展潜力,它是一种纯 RNN 的架构,能够进行语言建模,目前最大参数规模已经做到了 14B,该模型训练由Stability赞助。本文发布时RWKV在GitHub上已获得7.8k stars,还在迅速增长中。

RWKV官方仓库:https://github.com/BlinkDL/RWKV-LM

RWKV-Runner

开源仓库地址:https://github.com/josStorer/RWKV-Runner
下载地址(RWKV目录):https://pan.baidu.com/s/1wchIUHgne3gncIiLIeKBEQ?pwd=1111

RWKV-Runner是RWKV的管理和启动工具,由大神 国服第一海豹 制作并开源,它旨在降低大语言模型的使用门槛,做到人人可用,提供了全自动化的依赖和模型管理,你只需要直接点击运行,跟随引导,即可完成本地大语言模型的部署,工具本身体积极小,只需要一个exe即可完成一键部署。

此外,RWKV也提供了与OpenAI API完全兼容的接口,这意味着你可以把任意ChatGPT客户端用作RWKV的客户端,实现能力拓展,而不局限于聊天。

项目介绍

部署RWKV

访问 RWKV开源仓库地址

进入 Release 找到最新版1.1.0

在这里插入图片描述
下载 RWKV-Runner_windows_x64.exe 文件
在这里插入图片描述
将执行程序存放到单独目录中,此目录将作为系统根目录,执行启动器后所有的依赖将安装至此
在这里插入图片描述

启动程序,根据自己的PC显卡配置选择语言模型,并点击启动

在这里插入图片描述

程序启动后自动安装Python、Pytouch等依赖,以及所选择的模型语言库,等所所有需要的内容都下载完毕后就可以开始体验了,部署就是如此简单。

主页

在这里插入图片描述

聊天

补全

在这里插入图片描述

配置

在这里插入图片描述

模型管理

在这里插入图片描述

下载管理

在这里插入图片描述

设置

在这里插入图片描述

聊天实例

启动中文模型,由于我的笔记本电脑配置并不是很高,只能启用 GPU-4G-7B-CN 这个模型,当看到 模型状态:运行中 变绿时就可以开始提问了。

我简单提了两个问题,计算机在收到问题后开始疯狂的运算,文字输出并不快,移动鼠标会感觉到电脑卡顿,在经过几分钟的等待后,RWKV给出了完整的回答。

在这里插入图片描述

介绍一下 linux

Linux是一种开源的操作系统,它具有高度的可定制性和灵活性。Linux可以在多种硬件上运行,包括服务器、个人电脑、移动设备等。Linux被广泛用于Web服务器、嵌入式系统、桌面应用程序等领域。

如何学习Linux

学习Linux的最佳方法是通过阅读相关的书籍和文档,以及参加在线课程和培训。此外,还可以参加Linux社区的活动和讨论,与其他Linux用户交 学习Linux的最佳方法是通过实践和经验积累。以下是一些学习Linux的建议:

阅读文档和手册:Linux的用户手册和官方文档非常详细,它们可以帮助你了解Linux的基本概念、系统组件和命令行工具。
安装Linux操作系统:在学习Linux之前,你需要先安装一个Linux操作系统。你可以选择使用Ubuntu、Debian或Fedora等流行的发行版。
编写Shell脚本:Shell脚本是用于自动化任务的脚本文件,它们可以帮助你更高效地管理服务器和网络设置。
参加社区活动:参加Linux社区活动可以帮助你与其他开发人员交流并学习新技能。
持续学习: Linux是一个不断发展的领域,因此保持对新技术和趋势的关注非常重要。通过阅读技术博客、参加线上课程或与其他开发人员交流来保持对最新技术的了解。
总之,学习Linux需要耐心和时间,但通过不断实践和探索,你将获得更深入的了解和更广泛的应用场景。


http://www.ppmy.cn/news/102140.html

相关文章

阿里云国际站代理商:阿里云支持哪些大数据方案和应用?如何使用和操作?

阿里云国际站代理商:阿里云支持哪些大数据方案和应用?如何使用和操作? [本文由阿里云代理商聚搜云撰写] 大数据时代已经来临,如何处理并分析这些海量的数据成了企业迫切需要解决的问题。作为一家国内领先的云计算提供商&#xff0…

Collection集合的遍历方式

Collection集合的遍历方式 Collection集合的遍历方式是全部集合都可以直接使用的 Collection集合的遍历方式有三种: (1)迭代器。 (2)foreach(增强for循环)。 (3)Lambda表达式(JDK 1.8开始之后) &#xf…

Python集合详解:从入门到精通

Python是一种广泛使用的高级编程语言,它的语法清晰,易于学习,而且Python的标准库提供了丰富的工具和数据结构,可以帮助我们更高效地完成各种任务。其中,集合(Set)是Python中的一种基本数据结构。…

Codeforces Round 875 (Div. 2)(A~D)

文章目录 ABCD B题wa了一发,有点离谱取最大时取错了样例能过。C题读了半天,读懂立马有了思路,写了半天wa了标记没处理对。搞了半天。 A 题意:给你一个长度为n的排列a,现要求你构造一个长度为n的排列b使得 a [ i ] b […

电力电子课设|数控产生PWM波|使用51单片机输出占空比可调PWM波(按钮控制、数码管显示)速成教程

我们学校电气专业开始做电力电子的课设了,小组选了一项制作硬件电路的任务,里面有要求采用数控方式实现DC-DC电压变换的输出电压调节,数控在电路中的体现就是用单片机输出可调占空比的PWM作用于IRF520模块,实现电压的变化&#xf…

ubuntu循环登录,无法进入桌面

现象 在用户登录界面输入用户名和密码后无法正常登录,并且一直循环提示输入登录信息。 问题定位 1. 键入:ctrlaltF1, 进入命令行登录界面 2. 输入当前的用户名和密码(也可以是root,操作需谨慎) 3.…

泰国这场发布会,UTONMOS元宇宙游戏玩出炫酷新花样

Sensor Tower 最近发布的一项报告显示,全球元宇宙 App 下载量在 2022 年H1 达到 1.7 亿次,其中游戏达到了 1.1 亿次,占比 67.3%。在营收方面,元宇宙 App 在 H1 共获得 6.5 亿美元收入,游戏占 94%,达到 6.4 …

多线程面试题

1. 多线程的创建方式 (1)、继承Thread类:但Thread本质上也是实现了Runnable接口的一个实例,它代表一个线程的实例,并 且,启动线程的唯一方法就是通过 Thread类的start()实例方法。start()方法是一个 nativ…