CodeGPT使用本地部署DeepSeek Coder

devtools/2025/2/3 20:12:04/

    目前NV和github都托管了DeepSeek,生成Key后可以很方便的用CodeGPT接入。CodeGPT有三种方式使用AI,分别时Agents,Local LLMs(本地部署AI大模型),LLMs Cloud Model(云端大模型,从你自己账号设置中把key拷贝过来就行)

     我们使用Ollama管理本地部署的大模型,到 Ollama 官方网站下载Ollama。在Ollama网站山更可以搜索它支持的模型,

点击我们要部署的deepseek-coder-v2, 根据你的需要选择适当参数的ds模型,在右边就有生成对应的ollama安装命令,复制后到本地命令行运行即可安装。例如:

ollama run deepseek-coder-v2:16b   ollama run deepseek-coder-v2:236b

   也可以在VSCode的CodeGPT插件中安装对应模型,更加的省事,直接选择点击下载即可。

下载完成后,在命令用命令启动你的本地大模型,启动时间需要一点,直到按回车出现 >>>,大模型就启动成功了。这时候你可以敲个问题给大模型,能回到就说明部署成功。

也可以用OpenWebUI这个python插件,来通过web使用。

安装: pip install open-webui -i https://pypi.tuna.tsinghua.edu.cn/simple

(有人反馈,没有安装msbuil的话,安装 open webui可能会报错,可以先安装 Microsoft C++ 生成工具 - Visual Studio  ,如果你是开发者就没这个问题)

安装完成后启动 openwebui服务,open-webui serve

之后就用浏览器链接 http://localhost:8080/ 

如果连接有问题,那么注意一下防火墙,开放一下8080端口即可。

    接下来配置CodeGPT的 Local LLMS,如果你没有安装它会推荐一些本地大模型给你(Recommend Models 见上图),如果你已经有安装了那么显示的时Installed Models(见下图)

选择已经本地部署的大模型后,无需在Connect to Ollama里填入Ollama的地址,也不用去点击
Connect. 否则CodeGTP会报 Error Model Not found。 Status 404。没仔细研究,

    


http://www.ppmy.cn/devtools/155818.html

相关文章

< 自用文儿 制作 (自签名) 证书脚本 > script: certificate-generator.sh (分享)

# Created by Dave on 1Feb.2025 原因: 手机浏览器不能解析 NAS 主机名,如果用 DNS 就要变得太复杂。改回用 IP 方式来打开 Navigator 主页上面这些在 docker 上面运行的 20来个 web apps 应该是最优解。 觉得证书,还会再生成的&#xff0…

机器人基础深度学习基础

参考: (1)【具身抓取课程-1】机器人基础 (2)【具身抓取课程-2】深度学习基础 1 机器人基础 从平面二连杆理解机器人学 正运动学:从关节角度到末端执行器位置的一个映射 逆运动学:已知末端位置…

浅析服务器虚拟化技术

服务器虚拟化技术是现代信息技术领域的一项重要创新,通过将物理服务器的硬件资源(如CPU、内存、存储和网络)抽象化,实现多个虚拟服务器(虚拟机,VMs)的运行。这种技术不仅提高了资源利用率,还简化了管理流程,降低了成本,并为云计算和大数据发展提供了坚实的基础。以下…

100.3 AI量化面试题:解释配对交易(Pairs Trading)的原理,并说明如何选择配对股票以及设计交易信号

目录 0. 承前1. 配对交易基本原理1.1 什么是配对交易1.2 基本假设 2. 配对选择方法2.1 相关性分析2.2 协整性检验 3. 价差计算方法3.1 简单价格比率3.2 回归系数法 4. 交易信号设计4.1 标准差方法4.2 动态阈值方法 5. 风险管理5.1 止损设计5.2 仓位管理 6. 策略评估6.1 回测框架…

浏览器同源策略:从“源”到安全限制的全面解析

一、什么是“源”(Origin)? 在浏览器中,“源”是 Web 安全的核心概念。一个“源”由三部分组成: 协议(Protocol):如 http://、https://、ftp:// 域名(Host)…

GPIO配置通用输出,推挽输出,开漏输出的作用,以及输出上下拉起到的作用

通用输出说明: ①输出原理: 对输出数据寄存器的对应位写0 或 1,就可以控制对应编号的IO口输出低/高电平 ②输出类型 推挽输出:IO口可以输出高电平,也可以输出低电平 开漏输出:IO口只能输出低电平 所以…

【Linux系统】计算机世界的基石:冯诺依曼架构与操作系统设计

文章目录 一.冯诺依曼体系结构1.1 为什么体系结构中要存在内存?1.2 冯诺依曼瓶颈 二.操作系统2.1 设计目的2.2 系统调用与库函数 一.冯诺依曼体系结构 冯诺依曼体系结构(Von Neumann Architecture)是计算机的基本设计理念之一,由…

JVM运行时数据区域-附面试题

Java虚拟机在执行Java程序的过程中会把它所管理的内存划分为若干个不同的数据区域。这些区域 有各自的用途,以及创建和销毁的时间,有的区域随着虚拟机进程的启动而一直存在,有些区域则是 依赖用户线程的启动和结束而建立和销毁。 1. 程序计…