目前NV和github都托管了DeepSeek,生成Key后可以很方便的用CodeGPT接入。CodeGPT有三种方式使用AI,分别时Agents,Local LLMs(本地部署AI大模型),LLMs Cloud Model(云端大模型,从你自己账号设置中把key拷贝过来就行)
我们使用Ollama管理本地部署的大模型,到 Ollama 官方网站下载Ollama。在Ollama网站山更可以搜索它支持的模型,
点击我们要部署的deepseek-coder-v2, 根据你的需要选择适当参数的ds模型,在右边就有生成对应的ollama安装命令,复制后到本地命令行运行即可安装。例如:
ollama run deepseek-coder-v2:16b ollama run deepseek-coder-v2:236b
也可以在VSCode的CodeGPT插件中安装对应模型,更加的省事,直接选择点击下载即可。
下载完成后,在命令用命令启动你的本地大模型,启动时间需要一点,直到按回车出现 >>>,大模型就启动成功了。这时候你可以敲个问题给大模型,能回到就说明部署成功。
也可以用OpenWebUI这个python插件,来通过web使用。
安装: pip install open-webui -i https://pypi.tuna.tsinghua.edu.cn/simple
(有人反馈,没有安装msbuil的话,安装 open webui可能会报错,可以先安装 Microsoft C++ 生成工具 - Visual Studio ,如果你是开发者就没这个问题)
安装完成后启动 openwebui服务,open-webui serve
之后就用浏览器链接 http://localhost:8080/
如果连接有问题,那么注意一下防火墙,开放一下8080端口即可。
接下来配置CodeGPT的 Local LLMS,如果你没有安装它会推荐一些本地大模型给你(Recommend Models 见上图),如果你已经有安装了那么显示的时Installed Models(见下图)
选择已经本地部署的大模型后,无需在Connect to Ollama里填入Ollama的地址,也不用去点击
Connect. 否则CodeGTP会报 Error Model Not found。 Status 404。没仔细研究,