神经网络AI原理回顾

news/2025/3/5 3:21:12/

长期记忆存储在大模型的参数权重中,不经过推理和编码无法读取,且必须依赖输入的提示,因为大模型不会无缘无故的自言自语,毕竟输入层是它唯一
与外界交互的窗口。
目前个性化大模型的局限就是训练成本过高,除非使用RAG,否则无法分类和巩固长期记忆形成自我进化的AI。

在这里插入图片描述


一、大脑记忆存储机制的核心发现

  1. 海马体的短期记忆功能

    • 海马体是大脑的短期记忆中枢,负责将新接收的信息暂存并初步加工。若海马体受损,会导致短期记忆无法形成(如无法记住新电话号码)。
    • 短期记忆的存储时间约为数小时至数天,类似于计算机的RAM内存,容量有限且需要重复强化才能转化为长期记忆。
  2. 大脑皮层的长期记忆存储

    • 长期记忆通过海马体与大脑皮层之间的神经重播(Replay)机制逐步固化。研究表明,海马体在睡眠期间会将标记为重要的记忆片段传递给皮层,形成稳定的神经网络连接。
    • 皮层中的记忆表现为神经元之间突触连接的改变,形成新的神经环路。
  3. 记忆转化的动态过程

    • MIT实验显示,海马体和新皮层在记忆形成初期同时激活,但长期记忆的巩固需要数周至数月。
    • 海马体通过“尖波涟漪”事件筛选关键记忆,而皮层通过突触修剪保留高频使用的连接。

二、深度学习AI的记忆机制对比

  1. Transformer模型与海马体的相似性

    • 自注意力机制:Transformer通过全局关联计算(类似海马体的信息整合)筛选关键信息,与海马体NMDA受体调控的突触可塑性高度相似。
    • 参数调控:AI模型中类似镁离子的参数调整可控制记忆强度,模仿海马体对记忆的筛选过程。
  2. 短期记忆与长期记忆的模拟

    • AI的RAM与ROM:AI的短期记忆对应GPU显存中的临时数据,长期记忆则通过参数固化到模型权重中。
    • 记忆巩固流程:与大脑类似,AI模型通过梯度下降和反向传播将重要特征写入权重,实现记忆保存。
  3. 核心差异

    • 能耗效率:人脑功耗约20W,而训练大模型需兆瓦级电力,突显生物系统的高效性。
    • 机制复杂性:大脑记忆涉及胶质细胞、神经递质等多层级调控,而AI依赖数学建模,无法完全模拟生物细节。

三、总结:相似性与差异性

维度大脑记忆机制深度学习AI机制
短期存储海马体暂存,依赖神经电活动GPU显存临时存储,依赖矩阵运算
长期固化皮层突触重塑,需睡眠巩固模型权重更新,需反向传播训练
信息筛选NMDA受体镁离子门控自注意力权重分配
能耗效率极低(20W)极高(训练需兆瓦级)

四、延伸思考

  • 类脑AI的发展方向:通过模拟海马体NMDA受体机制,可设计更高效的记忆模块,如动态调整模型参数以增强重要记忆。
  • 神经科学的启示:AI模型的结构验证了大脑信息处理的部分合理性,例如Transformer与海马体功能的高度契合。

http://www.ppmy.cn/news/1576717.html

相关文章

Datawhale 数学建模导论二 笔记5 多模数据与智能模型

主要涉及到的知识点有: 数字图像处理与计算机视觉 计算语言学与自然语言处理 数字信号处理与智能感知 10.1 数字图像处理与计算机视觉 视觉信息是我们第一种非常规的数据模式,在Python当中可以使用opencv处理数字图像,并提取出视觉特征用…

基于大数据的音乐网站数据分析与可视化推荐系统

【大数据】基于大数据的音乐网站数据分析与可视化推荐系统(完整系统源码开发笔记详细部署教程)✅ 目录 一、项目简介二、项目界面展示三、项目视频展示 一、项目简介 本选题旨在设计并实现一款基于大数据技术的音乐网站数据分析与可视化推荐系统&#x…

Idea java项目结构介绍

一般来说,一个典型的 IntelliJ IDEA Java 项目具有特定的结构,以下是对其主要部分的介绍: 项目根目录 项目的最顶层目录,包含了整个项目的所有文件和文件夹,通常以项目名称命名。在这个目录下可以找到.idea文件夹、.g…

R语言基础| 基本统计分析

写在前面 R语言拥有丰富的数据处理、统计分析和机器学习工具包,涵盖了从简单的描述统计到复杂的模型建立的各个方面。再加上数据的处理可以完美的衔接后续的可视化,这使得它成为处理各种类型和规模的数据集的理想选择。 完整R语言教程和测试数据可见&a…

Github 2025-03-02 php开源项目日报Top10

根据Github Trendings的统计,今日(2025-03-02统计)共有10个项目上榜。根据开发语言中项目的数量,汇总情况如下: 开发语言项目数量PHP项目10Blade项目1JavaScript项目1Nextcloud服务器:安全的数据之家 创建周期:2796 天开发语言:PHP, JavaScript协议类型:GNU Affero Gene…

面试基础--Spring Boot启动流程及源码实现

深度解析Spring Boot启动流程及源码实现 一、Spring Boot启动全景图(含核心阶段) #mermaid-svg-dYTQ6WPa3o6vKFHh {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-dYTQ6WPa3o6vKFHh .error-i…

计算机毕设JAVA——某高校宿舍管理系统(基于SpringBoot+Vue前后端分离的项目)

文章目录 概要项目演示图片系统架构技术运行环境系统功能简介 概要 网络上许多计算机毕设项目开发前端界面设计复杂、不美观,而且功能结构十分单一,存在很多雷同的项目:不同的项目基本上就是套用固定模板,换个颜色、改个文字&…

Kafka 消息 0 丢失的最佳实践

文章目录 Kafka 消息 0 丢失的最佳实践生产者端的最佳实践使用带有回调的 producer.send(msg, callback) 方法设置 acks all设置 retries 为一个较大的值启用幂等性与事务(Kafka 0.11)正确关闭生产者与 flush() 方法 Broker 端的最佳实践设置 unclean.l…