水务+AI应用探索(一)| FastGPT+DeepSeek 本地部署

embedded/2025/2/15 19:12:58/

在当下的科技浪潮中,AI 无疑是最炙手可热的焦点之一,其强大的能力催生出了丰富多样的应用场景,广泛渗透到各个行业领域。对于水务行业而言,AI 的潜力同样不可估量。为了深入探究 AI 在水务领域的实际应用成效,切实掌握与之相关的前沿应用技术,我们积极开展了 AI 在水务业务应用方面的实践工作,力求为行业发展带来新的突破与变革。

deepseek本地化部署

二 搭建企业知识库应用

三 AI应用实践:工单地址信息识别

四 AI应用实践:合同规范性审核

五 AI应用实践:数据分析与总结

六 AI应用实践:基于AI大模型的数据库交互

七 AI应用实践:现有系统的AI大模型嵌入

AI

AI模型发展现状及本地部署需求

人工智能(AI)模型已经进入了快速发展的新时代,凭借其不断壮大的计算能力和日益完善的算法,AI正逐渐从理论走向实际应用。从自然语言处理到图像识别、语音识别,再到预测分析,AI模型在多个领域的表现愈发卓越。尤其是在深度学习和强化学习的推动下,AI系统的学习能力得到了显著提升,能够自动从海量数据中提取有价值的知识,并不断优化自我性能。

随着AI技术的普及,越来越多的用户出于对数据隐私和安全性的考量,倾向于选择本地部署AI模型。相比云端部署,本地部署能够确保敏感数据不经过外部网络传输,从而降低数据泄露的风险。此外,本地部署还能够更好地掌控数据流向,提高处理速度和响应效率,避免受到网络延迟或外部服务中断的影响,为用户提供更可靠、安全的AI解决方案。

FastGPT+DeepSeek

FastGPT+DeepSeek本地部署尝试

为了更好地控制成本、确保系统稳定性并保护数据隐私,我们决定尝试本地部署FastGPT与DeepSeek模型。这一举措将有助于打造企业级AI辅助工具,提升整体效能与安全性,同时满足业务需求和合规要求。

01

部署内容

ollama + fastgpt + oneapi

Ollama 负责简化模型的管理和部署,使得模型能够快速加载并运行在本地环境。

FastGPT 提供了对 GPT 模型的加速和优化,确保本地环境中的推理效率。

OneAPI 帮助提升计算性能,支持多种硬件加速,确保部署在不同硬件平台上的高效运行。

02

部署流程

采用Docker方式尝试部署:

准备环境

安装WSL2、Docker Desktop

部署Ollama

下载并部署7b版本Ollama模型

部署FastGPT

使用Docker compose,修改配置并启动容器

OpenAI设置

安装 OneAPI 并配置模型设置与硬件加速

访问与使用 FastGPT

配置工作台、知识库等内容

使用本地模型开始问答

03

部署成果展示

工作台配置

知识库配置

聊天测试

04

实际运用效果

  1. 相较于官方模型受制于服务器稳定性的情况,本地模型在问答处理方面更加快速,且能有效避免网络波动或用户数量过多导致无法使用模型的情况

  2. 针对用户上传的文件等,本地模型能精准有效地进行符合需求的分析与查询

  3. 本地模型具备的定制化功能能更好地为用户需求服务,相较于官方大模型更加灵活

  4. 整体运用DeepSeek模型的同时额外接入了Qwen2.5模型,功能更加全面,分析更加精准

本地部署成果分析

最终我们成功实现了FastGPT+DeepSeek的本地部署与配置,测试了模型的学习能力与需求处理功能,整体满足我们对本地AI模型的预期。对于本次AI模型本地部署尝试,结果分析如下:

优点

  1. 数据私密性得到了有效保障,所有数据都仅限于本地处理,避免了信息泄露的风险。

  2. 在本地硬件稳定的情况下,模型运行表现稳定且响应迅速。

  3. 本地部署大幅度减少了网络延迟的影响,提高了处理效率。

  4. 由于不依赖外部服务器,系统的连续性和可控性得到了显著提升。

  5. 定制化模型可以更好地满足特定需求,减少了对外部供应商的依赖,增强了灵活性。

缺点

  1. 相较于官方671B的大模型专用服务器,本地的硬件条件限制了模型的学习能力及处理需求的上限,因此更适用于小规模工作负载。

  2. 本地模型的维护与更新需要依赖管理人员手动导入学习资料并进行配置,这无疑增加了人工成本和维护复杂性。

  3. 随着需求的增长,硬件资源的扩展也可能成为瓶颈,影响长期使用效果。

AI

未来工作方向思考

通过本次AI模型本地部署尝试,我们看到了AI模型本地部署并介入文档处理、数据分析、信息查询等工作的可行性。考虑到水务整体工作中对于生产及用户数据等数据整理、处理、分析的庞大需求,未来我们将会更多地尝试将AI模型灵活地运用进水务工作中,减轻人工数据处理压力,减少重复性工作,开发包括数据整理、地址识别、问题聚集分析、预测预警等符合水务工作的AI定制化需求,顺应科技时代发展浪潮,推动水务行业自动化、智慧化发展。


http://www.ppmy.cn/embedded/162484.html

相关文章

CentOS 7上安装Python 3的步骤如下

CentOS 7上安装Python 3的步骤如下 上传或下载 Python 3 安装包 #下载 wget https://www.python.org/ftp/python/3.13.2/Python-3.13.2.tgz#安装 tar zxvf Python-3.13.2.tgz安装依赖 #安装依赖包 yum install -y zlib-devel bzip2-devel ncurses-devel sqlite-devel readli…

Electron 客户端心跳定时任务调度库调研文档 - Node.js 任务调度库技术调研文档

Electron 客户端心跳定时任务调度库调研文档 - Node.js 任务调度库技术调研文档 本文将对七个流行的定时任务调度库:node-cron、rxjs、bull、node-schedule、agenda、bree、cron。这些库都可以用来处理定时任务,但它们的特点和适用场景有所不同。我们将从…

CEF132 编译指南 Linux 篇 - 版本控制与脚本语言:Git 与 Python 配置(三)

1. 引言 在之前的篇章中,我们已经成功搭建了编译 CEF 所需的基础开发环境。接下来,我们将安装和配置在 CEF 编译流程中扮演着至关重要角色的两个工具:Git 和 Python。Git 作为版本控制系统,负责管理和获取 CEF 的源代码&#xff…

浅识MQ的 Kafka、ActiveMQ、RabbitMQ、RocketMQ区别

DeepSeek回复: 以下是主流消息队列(MQ)的对比分析,结合核心特性、适用场景和实际案例说明: 一、主流MQ对比分析 维度 Kafka RabbitMQ RocketMQ ActiveMQ所属公司Apache(LinkedIn开源)…

【Python】条件循环

个人主页:Guiat 归属专栏:Python 文章目录 1. 条件语句1.1 if语句1.2 if - else语句1.3 if - elif - else语句 2. 循环语句2.1 for循环2.2 while循环2.3 循环控制语句2.3.1 break语句2.3.2 continue语句2.3.3 else子句 正文 1. 条件语句 1.1 if语句 i…

大模型被偷家?CNN结合多模态!

2025深度学习发论文&模型涨点之—— CNN多模态 卷积神经网络是一种特殊类型的神经网络,其主要结构包括卷积层、池化层、全连接层和输出层。卷积层通过卷积操作学习图像的特征,池化层通过下采样操作减少参数数量,全连接层和输出层通过分类…

DeepSeek整理PDF文档以思维导图方式展示

目录 一、DeepSeek网页版将PDF文档整理成思维导图 二、将输出的markdown代码复制到文本文件中,将文本文件后缀名修改为.md 三、在思维导图中打开md文件 1、思维导图工具软件 2、新建思维导图文件 3、导入markdown的md文件 4、最终生成思维导图文件 5、思维导…

RunLoop 详解

概述: RunLoop 是一个核心的 iOS 机制,它是 事件循环机制 的实现,负责管理线程的执行和调度。RunLoop 能够持续监听输入事件(如用户触摸、定时器、网络请求等)并分发给相应的处理方法,从而保持应用程序持续…