本篇文章主要讲解,通过LM Studio工具实现各类型AI模型本地部署的操作方法方式。
作者:任聪聪
日期:2025年1月29日
LM Studio 介绍:
LM Studio是一款能够本地离线运行各类型大语言模型的客户端应用,通过LM Studio 可以快速搜索所需的llms类型的开源大语言模型,并进行运行。
通过使用LM Studio 在本地运行大语言模型可以更加快速的运行流畅的提问,并在独立的环境中保障数据不被监听和收集。
特点:本地、独立、离线
官网:https://lmstudio.ai/
硬件要求
硬件要求是硬性的如果不满足是无法运行模型的!!!!
清单:
GPU显卡 GTX3060TI 及以上显存8GB以上
CPU 频率子3.3GHZ以上即可
硬盘 250gb及以上空间大小
提示:
如果不满足的话则无法运行模型,或模型运行及其卡顿。
LM Studio的安装:
步骤一、进入到官网后我们点击如下按钮即可进行下载:
步骤二、下载完毕后,我们点击如下安装包执行文件:
步骤三、打开后进入到安装界面,如下图:
此处选择仅为我安装,并点击下一步进入到如下界面:
此处如果对安装文件目录有要求可以进行如下的设置变化,通过点击浏览进行:
选择目录后,点击安装即可进入到安装环节:
等待完毕后,点击下一步即可完成安装,安装后桌面会显示如下图标:
通过LM Studio 安装并本地运行DeepSeek模型
步骤一、双击快捷图标,打开我们的LM Studio 如下图:
选中一个模型,这里默认可以选择LLM模型,但是也可以点击如下图的 跳过菜单进行跳过:
跳过后即可进入到步骤二环节。
步骤二、进入到chat界面并点击顶部的选择按钮,进行搜索和下载新的模型:
搜索我们的DeepSeek模型,如下图:
点击search more …进入到检索界面,检索的信息中按照下图形式选中并点击下载即可:
等待下载完成…
步骤三、下载完毕后,chat界面选择运行的模型及配置信息,如下图:
点击模型,弹出配置参数表单,可以根据自己的电脑性能进行选择(性能越高,速度越快):
确认无误后,点击load Model即可,对于model的管理可以点击左侧的model的菜单加载进入:
本地运行DeepSeek效果:
可以看到已经在正常运行输出,笔者的电脑配置较低,所以回复情况等待较久,配置越高的电脑,速度越快,效果越好。
常见问题
出现提示消息属于无意义的英文提示
选择模型后,加载进度结束后,选择框中依旧没有选中的模型:
这是由于配置过低没有成功预加载导致,这个问题只能尝试换一个配置更高的电脑。
安装其他模型的方式:
说明:通过搜索model库当中的模型,与我们上文中安装deepseek模型的操作方式一样,如下则是其他开源大语言模型的安装操作。
下载完毕后再chat界面的顶部,选择这个模型即可: