在笔记本电脑上使用 LLMs 的 5 种方法

devtools/2024/9/23 3:55:58/
aidu_pl">

在网上使用 ChatGPT 很简单,只需有网络连接和好的浏览器即可。但这样做可能会泄露您的隐私和数据。OpenAI 存储了您的提示和其他元数据以重新训练模型。对于一些人来说可能不成问题,但注重隐私的人可能更愿意在本地使用这些模型,不受外部跟踪的影响。

本文将介绍五种在本地使用大型语言模型(LLMs)的方法。这些软件大多兼容所有主要操作系统,并且可以轻松下载安装。通过在笔记本电脑上使用LLMs,您可以自由选择模型,只需从 HuggingFace hub 下载模型即可开始使用。此外,您还可以授权这些应用程序访问您的项目文件夹,并生成上下文感知的响应。

1. GPT4All

图片

GPT4All 是一款先进的开源软件,允许用户轻松下载和安装最先进的开源模型。

只需从网站下载并在系统上安装 GPT4ALL。接下来,从面板中选择适合您需求的模型即可开始使用。如果您安装了 CUDA(Nvidia GPU),GPT4ALL 将自动开始使用您的 GPU 生成每秒最多 30 个标记的快速响应。

您可以授予对包含重要文件和代码的多个文件夹的访问权限,GPT4ALL 将使用检索增强生成生成响应。GPT4ALL 用户友好,速度快,受到 AI 社区的欢迎。

2. LM Studio

图片

LM Studio 是一款新软件,与 GPT4ALL 相比,它提供了几个优点。用户界面出色,您可以通过几次点击安装 Hugging Face Hub 上的任何模型。此外,它提供了 GPU 卸载和其他 GPT4ALL 中不可用的选项。但是,LM Studio 是闭源的,并且没有通过阅读项目文件生成上下文感知的响应选项。

LM Studio 提供了对数千种开源LLMs的访问,允许您启动本地推理服务器,行为类似于 OpenAI API。您可以通过交互式用户界面上的多个选项修改LLM的响应。

3. Ollama

图片

Ollama 是一个命令行界面(CLI)工具,可快速操作大型语言模型,如 Llama 2、Mistral 和 Gemma。如果您是黑客或开发人员,这个CLI工具是一个绝佳的选择。您可以下载并安装该软件,并使用 llama run llama2 命令开始使用 LLaMA 2 模型。您可以在 GitHub 存储库中找到其他模型命令。

它还允许您启动本地 HTTP 服务器,可以与其他应用程序集成。例如,您可以通过提供本地服务器地址使用 Code GPT VSCode 扩展,并开始使用它作为AI编码助手。

4. LLaMA.cpp

图片

LLaMA.cpp 是一个同时提供 CLI 和图形用户界面(GUI)的工具。它允许您在本地无需任何麻烦即可使用任何开源LLMs。这个工具高度可定制,并提供对任何查询的快速响应,因为它完全使用纯 C/C++ 编写。

LLaMA.cpp 支持所有类型的操作系统、CPU 和 GPU。您还可以使用多模态模型,如 LLaVA、BakLLaVA、Obsidian 和 ShareGPT4V。

5. NVIDIA Chat with RTX

图片

要使用 NVIDIA Chat with RTX,您需要在笔记本电脑上下载并安装 Windows 11 应用程序。该应用程序与至少具有 8GB RAM 和 50GB 可用存储空间的 30 系列或 40 系列 RTX NVIDIA 显卡的笔记本电脑兼容。此外,您的笔记本电脑至少应具有 16GB RAM 才能顺利运行 Chat with RTX。

通过 Chat with RTX,您可以在笔记本电脑上本地运行 LLaMA 和 Mistral 模型。这是一个快速高效的应用程序,甚至可以从您提供的文档或 YouTube 视频中学习。但是,需要注意的是,Chat with RTX 依赖于 TensorRTX-LLM,后者仅支持 30 系列 GPU 或更新版本。

结论

如果您想利用最新的LLMs同时保持数据安全和私密,您可以使用像 GPT4All、LM Studio、Ollama、LLaMA.cpp 或 NVIDIA Chat with RTX 这样的工具。每个工具

都有其独特的优势,无论是易于使用的界面、命令行可访问性还是对多模态模型的支持。通过正确的设置,您可以拥有一个功能强大的人工智能助手,生成定制的上下文感知响应。

建议您先从 GPT4All 和 LM Studio 开始,因为它们涵盖了大多数基本需求。之后,您可以尝试 Ollama 和 LLaMA.cpp,最后再尝试 Chat with RTX。

如何学习AI大模型

作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

AGI_69">一、全套AGI大模型学习路线

AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!

img

二、640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

四、AI大模型商业化落地方案

img

作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。


http://www.ppmy.cn/devtools/49819.html

相关文章

数组和指针的联系(C语言)

数组和指针是两种不同的数据类型,数组是一种构造类型,用于存储一组相同类型的变量;而指针是一种特殊类型,专门用来存放数据的地址。数组名除了sizeof(数组名)和&数组名表示整个数组外,其他情况下都表示的是首元素的…

Postman简介

目录 1.概述 2.诞生背景 3.历史版本 4.安装和卸载 5.菜单和菜单项 6.使用 7.应用场景 8.示例 8.1.简单的GET请求 8.2.POST请求提交数据 8.3.查询参数 9.未来展望 10.总结 1.概述 Postman是一款用于API开发、测试和文档管理的综合性工具。允许开发者和测试人员创建…

怎么压缩视频大小

在数字时代,视频已成为我们日常生活和工作中不可或缺的一部分。然而,视频文件的大小也越来越大,这给存储和传输带来了不小的挑战。因此,学会如何有效地压缩视频文件,就显得尤为重要。本文将详细介绍一种常用的视频压缩…

【docker实战】使用代理的坑

在docker公共仓库被封禁的日子里,大多数人更喜欢使用镜像仓库代理源。 网上教程一大把,似乎不使用代理,就不会使用docker一样。 上图就是我设置的代理源镜像仓库。通常是设置/etc/docker/daemon.json这个文件实现的。 这样设置之后&#xff0…

时钟寄存器配置

STM32F103XX时钟 三种不同的时钟源可被用来驱动系统时钟(SYSCLK): HSI振荡器时钟:系统时钟;由内部8MHz的RC振荡器产生,启动时间比HSE晶体振荡器短。即使在校准之后它的时钟频率精度仍较差。 HSE振荡器时钟:3~25Mz外部…

COSMIC法软件评估总结

子过程描述不要出现检验、校验、分析、判断、解析这样的字眼,因为COSMIC认为校验可以被其关联的数据移动所承担,校验过程没有数据移动,不单独算是一个功能点。(尽量用通俗易懂的描述)COSMIC材料中不要出现英文表名或者…

易灸灸的微商模式,新零售全案运营,裂变营销与代理模式

易灸灸的独特之处在于其受众面广,男女老少均可使用,且作为短时间消耗品,具有高复购率的特点。这使得裂变营销模式成为易灸灸的最佳选择。裂变营销通过用户的分享和推荐,快速提高品牌的知名度,降低营销成本,…

Vue使用vue-esign实现在线签名

Vue在线签名 一、目的二、样式三、代码1、依赖2、代码2.1 在线签名组件2.2父组件 一、目的 又来了一个问题,直接让我在线签名(还不能存储base64),并且还得上传,我直接***违禁词。 二、样式 初始样式 点击前往组件&am…