【AI大模型】这可能是最简单的本地大模型工具,无须部署,一键使用

ops/2024/10/18 18:23:43/
aidu_pl">

ain-toc">目录

前言

LM-Studio​编辑

那么问题来了,为什么我要在本地部署大模型?

隐私性:

定制性:

成本和体验的优化:

工具功能特点和使用方式介绍:

首页提供搜索功能和一些模型的推荐

模型下载管理:

聊天界面:​编辑

模型偏好设置

使用速度体验:


前言

不需要配置环境,不需要部署,不需要自己找模型。小白也可以打开即用的本地大模型使用工具来了,下面就谈一谈我的使用感受和心得:

LM-Studio

那么问题来了,为什么我要在本地部署大模型?

个人使用下来,最吸引我的有这三点:

  1. 隐私性

网络大模型你的输入都是要上传的云端的,也就是你的隐私肯定会被大模型服务商所获得,这也是为什么那么多公司内部禁止使用网络大模型的原因。而且由于安全和审核机制,你所需要的或者发送的敏感的内容会被屏蔽。但是本地部署,数据完全由自己掌握。

  1. 定制性

目前大部分免费使用的大模型都是通用模型,就那几种,虽然可以通过提示词约束,但是内容生成大部分时候只是差强人意。本地部署,你将拥有整个开源世界的微调模型,医疗,法律,学术,动漫,感情,你即使不去定制自己的模型,也将拥有专业的各领域专家来帮你解决你能想到的大部分问题。更不必说定制自己的专属模型的可能性。

  1. 成本和体验的优化

首先承认大部分开源模型的上限是没有闭源模型高的,但是很多时候闭源模型的响应感受会受到网络,当前访问人数的限制。除非你愿意开会员,即使你愿意开会员,目前除了gpt-4o。大部门模型的响应是一个字一个字往外蹦的,尤其某些厂商做的恶心限制,离开网页就停止输出(某一言)如果你本地有一个还行的显卡,你会感受到原来大模型回答原来可以很迅速。

工具功能特点和使用方式介绍:

下载即exe,安装后即可使用,本体不到500m(提供mac和linux版本)

首页提供搜索功能和一些模型的推荐

你可以直接搜索并下载开源世界的大模型(目前看基本上huggingface,需要梯子)并下载使用,推荐模型会给出介绍。如他的来源是什么,他是多少参数的大模型,什么功能,是否经过量化处理,本地运行至少需求多少内存,占用多少硬盘空间。

模型下载管理:

注意!无论设置什么目录,模型目录必须有如下层级结构,否则会找不到模型:

聊天界面:

模型偏好设置

在聊天界面右上角有个设置功能,可以帮助我们更好的个性化使用,我会给出一些比较常用的参数设置解释

  1. 模型初始化角色配置

Preset 可以选择不同模型的初始化设置,你也可以设置自定义的模型使用配置,包括不限于,系统角色初始化提示词(system prompt),回答的随机程度,系统使用内存和显存的占比等。

  1. 模型回答内容控制:

设置模型记忆上下文长度(content length),采样温度(temperature)介于 0 和 1 之间。较高的值(如 0.7)将使输出更加随机,而较低的值(如 0.2)将使其更加集中和确定性,最大生成内容长度(tokens to generate),默认-1由大模型决定生成长度。

  1. 模型内容质量控制

Top k : 模型回复时所考虑的回复质量占总体回复的质量比例,总体来说比例越高,回答的质量越高,效果也越单一。

Repeat penalty: 模型重复惩罚,越高模型回答的内容重复性越低

CPU threads: 占用线程。经过尝试,增加占用线程对模型响应速度有少量提升,效果不明显。

  1. 显存内存使用占比:

没什么可说的,显存能撑住的情况下,拉到最大,内存的速度比显存慢多了。

使用速度体验:

2060 8g 显卡,7B Q4量化模型(基于llama3 微调的中文模型)。生成token速度为31t/s左右(比大部分网络模型响应快一倍左右),感受还是很不错的,如果完全不使用显存只使用内存,速度约5t/s 只能说能用。

kimi效果:

这个软件可以直接搜索官网mstudio.ai下载。

无法下载模型的小伙伴我也在我的公众号中打包了,我所使用的中文llama3模型(Llama3-8B-Chinese-Chat-q4_0-v2_1,和原始英文模型下载(Meta-Llama-3-8B-Instruct-Q4_K_M)已经软件的整合包下载。

后台回复 LmStudio 即可 !每天还有更多教程和AI资讯分享!

——因为热爱的AI漫谈社


http://www.ppmy.cn/ops/42700.html

相关文章

面试准备-项目【面试准备】

面试准备-项目【面试准备】 前言面试准备自我介绍:项目介绍: 论坛项目功能总结简介数据库表设计注册功能登录功能显示登录信息功能发布帖子评论私信点赞功能关注功能通知搜索网站数据统计热帖排行缓存 论坛项目技术总结Http的无状态cookie和session的区别…

LVS精益价值管理系统 LVS.Web.ashx SQL注入漏洞复现

0x01 产品简介 LVS精益价值管理系统是杭州吉拉科技有限公司研发的一款专注于企业精益化管理和价值流优化的解决方案。该系统通过集成先进的数据分析工具、可视化的价值流映射技术和灵活的流程改善机制,帮助企业实现高效、低耗、高质量的生产和服务。 0x02 漏洞概述 LVS精益…

SpringMVC流程

1、SpringMVC常用组件: DispatcherServlet(请求分发器):Spring MVC的核心组件之一,负责处理全局配置和将用户请求分发给其他组件进行处理。Controller(处理器): 实际处理业务逻辑的…

talib 安装

这里写自定义目录标题 talib 安装出错 talib 安装出错 https://github.com/cgohlke/talib-build/releases 这里找到轮子 直接装。

15分钟Element-UI快速入门

Element-UI 是一个基于 Vue.js 2.0 的桌面端组件库,它提供了丰富的、可复用的组件,帮助开发者快速构建出美观且功能强大的网页应用。以下是一个 Element-UI 的快速入门指南: 1. 安装 Element-UI 首先,你需要在你的 Vue.js 项目中…

【活动】开源与闭源大模型:探索未来趋势的双轨道路

🌈个人主页: 鑫宝Code 🔥热门专栏: 闲话杂谈| 炫酷HTML | JavaScript基础 ​💫个人格言: "如无必要,勿增实体" 文章目录 开源与闭源大模型:探索未来趋势的双轨道路引言一、开源大模型&#…

数据结构面试题总结

本文总结面试题&#xff1a; 用Java实现一个栈用Java实现一个队列用Java实现一个链表 1. 用Java实现一个栈 import java.util.ArrayList; import java.util.EmptyStackException; import java.util.List;// 使用泛型&#xff0c;兼容各种数据类型 public class MyStack<T…

springboot接口同时接收文件和json数据

在对接第三方接口时&#xff0c;遇到了一个问题:这个接口有时会传文件&#xff0c;有时会在body里传递json格式的参数&#xff0c;一开始我直接封装了个请求类&#xff0c;请求类里包含MultipartFile类型的文件参数&#xff0c;用于接收文件&#xff0c;这个没问题&#xff0c;…