1024程序员节- AI智能时代,码出未来

embedded/2024/10/25 4:08:28/

   在 1024 程序员节这个特殊的日子里,探讨了 AI 技术在不同领域的应用与发展。上海和深圳作为科技创新的前沿阵地,相关活动中的演讲内容更是聚焦了 AI 技术的核心要点,为我们展示了 AI 时代的新趋势和新机遇。

一、AI 技术的发展历程与背景

AI 的发展历史悠久,从早期的语言模型以规则和统计方法为主,到神经网络的突破推动深度学习技术的快速发展,再到如今大型语言模型(LLM)的兴起,如 GPT 系列的不断演进,AI 技术已经取得了令人瞩目的成就。随着计算需求的增长,传统的计算架构面临着诸多挑战,例如冯诺依曼架构存在的 “功耗墙” 和 “存储墙” 问题,以及摩尔定律的放缓,都促使人们寻求新的计算技术和架构。

二、新型计算架构 —— 存内计算

(一)原理与优势

存内计算架构打破了存储单元与计算单元的物理隔离,基于不同存储器件的工作原理,在存储器内部实现计算功能。这种架构避免了数据搬运造成的高昂代价,有效解决了内存墙问题,更适合大数据量、大规模并行的 AI 计算场景。例如,知存科技的存内计算芯片在能效方面表现出色,相比传统的 CPU/GPU,可使带宽提升 20 倍,密度提升 30 倍,成本降低 10 倍。

(二)产品应用

  • 知存科技的产品系列
    • WTM - 2 系列:2022 年率先国际量产商用,是第一代存内计算 SoC,主要应用于端侧,算力小于 1Tops@Int8,参数小于 4M。基于该系列芯片的平台提供了智能语音和健康类的智能算法。
    • WTM - 8 系列:新一代 3D 存内计算架构的视觉 AI 芯片,即将量产,主要应用于端侧和边缘侧。算力大于 24Tops@Int8,参数大于 64M,可赋能图像处理及空间计算,实现如分辨率提升、帧率提升等功能。
  • 应用领域拓展
    存内计算不仅在语音和图像处理领域有应用,还在其他多个领域展现出潜力。例如在神经网络系统中,可用于实现 ANN、CNN、RNN 等的高效运算,提升神经网络的速度和能量效率;在机器学习系统中,可应用于无监督学习和随机权重表示;在科学计算系统中,可高效实现离散微分方程、离散余弦变换等求解过程。

(三)实训案例 ——denoise demo

以知存科技的 denoise demo 为例,其开发过程展示了存内计算技术的实际应用。

  • 硬件环境:使用 WTMDK2101 - X3 评估板,包含 WTM2101 核心板(存算芯片)和 I/O 板。
  • 开发流程
    • 模型训练:在 python 环境下训练降噪模型,经过一系列操作生成用于转换的模型文件。
    • 模型转换:连接特定环境,准备输入文件并执行转换脚本生成 map 文件。
    • 权重烧写:可选择使用 NPU 烧写板或 jlink ota 进行模型权重烧写。
    • 工程编译与测试:安装知存 IDE 进行工程编译,下载到开发板后使用串口工具查看准确率输出,并进行灌数据测试。

三、AI 技术在企业中的落地应用

(一)企业 AI 落地的背景与需求

随着 ChatGPT 等 AI 应用的出现,企业老板看到了 AI 降本增效的潜力,但缺乏落地经验。市场需求催生了 AI 企业落地师这一新岗位,其职责是在企业中实施和落地 AI 技术。

(二)企业 AI 落地的步骤

  • 了解需求:与各部门沟通,明确业务卡点、流程卡点和业务指标,结合企业现有的数据和技术资源,设计 AI 解决方案的实施计划。
  • 落地与优化:在方案落地成功后,培训员工,监控效果,持续改进。

(三)企业 AI 落地的关键因素

  • 全员参与:AI 落地需要全公司上下共同努力,从高层开始,逐步推广到各个层级,培养全员 AI 思维,形成创新文化。
  • 定期培训:建议每半个月进行一次 AI 相关培训,将培训与实际工作场景相结合,并及时更新培训内容。
  • 鼓励尝试:设立小额奖励,鼓励员工尝试 AI 应用,分享成功案例,激发创新。同时,从简单、重复性工作开始 AI 应用,逐步扩大应用范围。

四、AI 技术面临的挑战与解决方案

(一)存内计算面临的挑战

  • 模型权重与器件电导不匹配:AI 模型训练的权重与存内计算器件的电导状态存在差异,导致原始模型参数无法直接映射存储。
  • 计算噪声问题:存内计算阵列存在编程误差、热噪声等,影响计算结果的准确性。
  • 边缘端学习能力缺失:当前存内计算阵列大多仅支持推断运算,不支持权重微调等训练操作。

(二)解决方案

  • 训练后量化:将参数量化到低精度定点数,但可能影响模型性能。
  • 量化、噪声感知训练:模拟硬件状态进行训练,避免性能损失。
  • 片上训练:直接在存内计算系统中执行训练过程,提升模型性能。

五、AI 技术的未来展望

AI 技术在未来将继续发展,存内计算作为一种有潜力的计算架构,将助力大模型向端边侧渗透。随着技术的不断进步,AI 将在更多领域得到应用,为企业和社会带来更大的价值。同时,我们也需要关注 AI 技术带来的挑战,如数据隐私、伦理道德等问题,通过合理的政策和技术手段加以解决,确保 AI 技术的健康发展。

1024 程序员节的这些活动演讲内容让我们看到了 AI 技术的强大魅力和无限潜力。无论是新型计算架构的探索,还是企业 AI 落地的实践,都为我们指明了未来的发展方向。在 AI 时代,程序员们将继续发挥重要作用,推动技术的不断创新和进步。


http://www.ppmy.cn/embedded/132234.html

相关文章

python支付宝支付和回调

创建支付订单 logging.basicConfig(levellogging.INFO,format%(asctime)s %(levelname)s %(message)s,filemodea,) logger logging.getLogger()if __name__ __main__:"""设置配置,包括支付宝网关地址、app_id、应用私钥、支付宝公钥等&#xff0c…

【优选算法篇】在分割中追寻秩序:二分查找的智慧轨迹

文章目录 C 二分查找详解:基础题解与思维分析前言第一章:热身练习1.1 二分查找基本实现解题思路图解分析C代码实现易错点提示代码解读 1.2 在排序数组中查找元素的第一个和最后一个位置解题思路1.2.1 查找左边界算法步骤:图解分析C代码实现 1…

3.1.1ReactOS系统中搜索给定长度的空间地址区间函数的实现

系列文章目录 //搜索给定长度的空间地址区间 MmFindGap(); PMADDRESS_SPACE AddressSpace,//该进程用户空间 ULONG_PTR Length,//寻找的空间间隔大小 ULONG_PTR Granularity,//粒度位,表明空间起点的对齐要求,注意是起…

时序数据库 TDengine 支持集成开源的物联网平台 ThingsBoard

Thingsboard 中“设备配置”和“设备”的关系是一对多的关系,通过设备配置为每个设备设置不同的配置,每个设备都会有一个与其关联的设备配置文件。等等,这不就是TDengine 中超级表的概念: 超级表是一种特殊的表结构,用…

针对 el-date picker pickerOptions 快捷选项的超级方法

提供快捷的配置,支持原子组合,高级用法支持用户自定义配置项 demo import { generateShortCuts } from ./date-shortcuts.js ... pickerOptions: {shortcuts: generateShortCuts({type: day}) } ...date-shortcuts 文件 import moment from moment // …

vue使用 jsplumb 生成流程图

1、安装jsPlumb: npm install jsplumb 2、 在使用的 .vue 文件中引入 import { jsPlumb } from "jsplumb"; 简单示例: 注意:注意看 id 为"item-3"和"item-9"那条数据的连线配置 其中有几个小图片&#x…

银河麒麟(debian)下安装postgresql、postgis

1、安装postgresql、postgis sudo apt update sudo apt install postgresql postgresql-contrib sudo apt install postgis postgresql-12-postgis-32、创建一个使用postgis的数据库 sudo -i -u postgres #postgres管理员用户createdb gisdb #创建新的gisdb数据库 psql -d gi…

Mac ARM 本地运行 Mini-Omni 记录

Mini-Omni是一个开源的多模态大型语言模型,可以听、说和思考。具有实时端到端语音输入和流式音频输出的对话能力。Github 安装 conda miniconda 安装 执行 # 创建一个python环境 conda create -n omni python3.10 conda activate omni# clone项目 git clone http…