简单两步实现离线部署ChatGPT,ChatGPT平替版,无需GPU离线搭建ChatGPT

news/2024/10/23 7:35:14/

文末附主程序安装包和大模型参数文件~
演示效果如下图所示:

在这里插入图片描述

一、使用方法

软件主要分为两个部分:GPT4ALL软件主体(主程序)+模型参数(离线模型),如果使用API Key的话则不需要下载模型参数。

可以从官网下载主程序安装包或者直接使用小编准备好安装包进行主程序安装(软件官网也在最后的链接中)。

1、主程序安装

以Windows为例,双击安装程序正常执行主程序安装即可,大概需要200MB左右的磁盘空间。

在这里插入图片描述
安装完成后,第一次进入主程序界面会出现两个隐私选项,为了保证个人隐私的安全,建议都选择【No】。

在这里插入图片描述

2、模型下载

选择完隐私选项后,大概率会自动弹出一个窗口,让我们选择一个模型进行下载,其中有红色字体的的模型表示不推荐下载,大概率是因为内存不满足模型运行的最低要求。这里最小的模型为GPT4ALL Falcon,该模型包含70亿参数,只需要8GB的可支配运行内存即可。

【注】:可支配内存为8G往往需要电脑的实际内存大于8G,总内存为8G的电脑可支配内存通常不足8G(维持操作系统运行要用掉一部分)。

在这里插入图片描述

别着急点击下载,据小编测试,使用国内网络大概率不能下载成功,并且直接在软件内部下载会有极大可能下载几MB后卡住不动,所以小编推荐在官网下载模型参数(官网地址见链接中文本文件),然后手动导入(GPT4ALL Falcon模型小编已经下载好放在最后的链接里了,大家下载后直接导入即可)。

官网下载模型方法:在官网下拉找到【Model Explorer】,从下拉框找到需要下载的模型然后点击右下角的下载按钮即可下载,推荐使用迅雷等下载软件下载,否则很可能下载到一半因链接中断需要重新下载。

在这里插入图片描述

模型文件的后缀名为【.bin】,将模型文件下载下来后,我们在主程序中点击【设置】按钮。

在这里插入图片描述

进入设置界面后,点击【Application】,在【Download path】按钮旁边有一个【Browse】按钮,用于选择模型默认下载路径,点击该按钮,然后选择模型文件所在的路径作为默认下载路径。

在这里插入图片描述

一般来说经过上述设置,主程序就可以自动识别模型,需要注意的是,尽量不要在模型存放路径中出现中文,否则很可能会在加载模型时出现类似下面这样的错误提示。

在这里插入图片描述

建议直接在D盘根目录创建一个名为【Model】的文件夹作为模型默认下载路径,然后直接将模型文件放在这个文件夹即可。

如此一来,就可以使用这款本地GPT为你完成一些简单的工作啦,经过小编测试,该离线版GPT响应速度还可以(和CPU性能有关,设置中可以调整线程数,线程数越多,使用的CPU资源越多,模型响应速度越快),并且具备编写代码的功能,可惜仅支持英文沟通,当你用中文描述问题时,模型会表示无法理解你的问题。

在这里插入图片描述

二、下载链接

见评论区


http://www.ppmy.cn/news/1138562.html

相关文章

高效使用Python的subprocess模块:基本用法与进阶技巧

文章目录 Python的subprocess模块参数和方法的用法subprocess.run、subprocess.check_call 和 subprocess.Popen的区别如何使用`subprocess`实现一些功能执行系统命令并获取输出通过管道执行多个命令在后台运行进程一些额外的`subprocess`模块技巧超时功能错误处理输入/输出重定…

Go语言中的指针介绍

Go语言中的指针 文章目录 Go语言中的指针一、Go语言中的指针介绍1.1 指针介绍1.2 基本语法1.3 声明和初始化1.4 Go 指针的3个重要概念1.4.1 指针地址(Pointer Address)1.4.2 指针类型(Pointer Type)1.4.3 指针取值(Poi…

Folium 笔记:MarkerCluster

在一张地图上以聚簇的形式显示大量的标记(markers) 举例: import folium from folium.plugins import MarkerCluster import randomm folium.Map(location[45.5236, -122.6750], zoom_start13) # 创建一个基本的地图marker_cluster Marker…

在Linux中软链接和硬链接的区别是什么?

2023年10月6日,周五晚上 目录 软链接(SymbolicLink):硬链接(HardLink):区别: 软链接(SymbolicLink): 软链接本身只是一个指向其他文件或目录的指针,不占用任何磁盘空间。软链接的修改或删除不会影响原文件。软链接可以指向不同文件系统中的文件。 硬链接(HardLink…

adb详细教程(四)-使用adb启动应用、关闭应用、清空应用数据、获取设备已安装应用列表

adb对于安卓移动端来说,是个非常重要的调试工具。本篇介绍常用的adb指令 文章目录 一、启动应用:adb shell am start二、使用浏览器打开指定网址:adb shell am start三、杀死应用进程adb shell am force-stop/adb shell am kill四、删除应用所…

【高性能计算】CUDA编程之OpenCV的应用(教程与代码-4)//test error

imread命令将返回以蓝色、绿色和红色(BGR格式)开头的三个通道 处理视频的main函数中需要做的第一件事是创建VideoCapture对象。 GPU CUDA模块中的函数都定义在cv::cuda命名空间中,将设备上配置给图像数据用的显存块作为其参数。 gettickcount…

用VLD调查VC内存泄漏

一、发现内存泄漏 使用VS2022&#xff0c;发现提示有内存泄漏&#xff0c;检查了所有的new&#xff0c;确认都有相应的delete释放。 Detected memory leaks! Dumping objects -> {1914} normal block at 0x0000021FDFFBD2E0, 48 bytes long.Data: < >…

redis 雪崩,穿透,击穿及解决方案

一、缓存雪崩&#xff1a; 1. 原因: 缓存雪崩是指在我们设置缓存时大量采用了相同的过期时间&#xff0c;导致缓存在某一时刻同时失效&#xff0c;请求全部转发到DB&#xff0c;DB瞬时压力过重雪崩。 2. 解决方案: 将失效时间分散&#xff0c;通过生成随机数使得key的过期时间…