【论文笔记】Token Turing Machines

devtools/2024/11/7 9:22:16/

🍎个人主页:小嗷犬的个人主页
🍊个人网站:小嗷犬的技术小站
🥭个人信条:为天地立心,为生民立命,为往圣继绝学,为万世开太平。


基本信息

标题: Token Turing Machines
作者: Michael S. Ryoo, Keerthana Gopalakrishnan, Kumara Kahatapitiya, Ted Xiao, Kanishka Rao, Austin Stone, Yao Lu, Julian Ibarz, Anurag Arnab
发表: CVPR 2023
arXiv: https://arxiv.org/abs/2211.09119

基本信息

摘要

我们提出了一种Token图灵机(TTM),这是一种具有记忆功能的顺序自回归Transformer模型,用于现实世界的顺序视觉理解。

我们的模型受到开创性的神经图灵机的启发,并具有一个外部记忆,由一组总结先前历史(即帧)的标记组成。

这个记忆通过在每个步骤使用Transformer作为处理单元/控制器来高效地寻址、读取和写入。

模型的记忆模块确保新的观察结果只与记忆内容(而不是整个历史)进行处理,这意味着它可以高效地处理长序列,并在每个步骤保持有限的计算成本。

我们表明,在两个现实世界的顺序视觉理解任务上,TTM优于其他替代方案,例如为长序列设计的其他Transformer模型和循环神经网络,这些任务包括从视频中在线检测时间活动以及基于视觉的机器人动作策略学习。

代码开源于:https://github.com/google-research/scenic/tree/main/scenic/projects/token_turing

方法

模型架构

模型架构

模型由存储器(Memory)、读写模块和处理单元构成。

Reader

Reader

接受Memory和Inputs输入,压缩为处理单元输入所需的大小。

Writer

Writer

接受处理单元输出、Memory和Inputs输入,压缩为Memory所需的大小。

实验

主实验

Comparison with the state-of-the-art methods on Charades temporal activity detection

TTM在Charades temporal activity detection任务上与先前SOTA方法的对比。

TTM vs. different sequence modeling methods

TTM与其他不同序列模型的对比。

消融实验

消融实验

总结

我们引入了Token图灵机用于序列决策。

Token图灵机可以看作是神经图灵机的现代化,其内存读写是通过标记摘要来设计的。

它具有现代基于Transformer模型的优点,同时得益于拥有外部内存:无论历史长度如何,计算都是恒定的。

这种能力在许多序列决策和在线推理问题中尤为重要,例如机器人动作策略学习。

我们通过具有挑战性视觉输入的真实世界任务验证了其能力:即即兴表演活动定位和基于视觉的机器人动作策略学习。


http://www.ppmy.cn/devtools/131974.html

相关文章

【AcWing】算法基础课-动态规划

目录 1、闫式DP分析法 2、背包问题 2.1 01背包问题 朴素版本 优化版本 2.2 完全背包问题 朴素版本 优化版本 2.3 多重背包问题 朴素版本 二进制优化 2.4 分组背包问题 3、线性DP 3.1 数字三角形 3.2 最长上升子序列 3.3 最长公共子序列 4、区间DP 5、数位统计…

VLAN间通信以及ospf配置

目录 1.基础知识介绍 1.1 什么是VLAN? 1.2 VLAN有什么用? 1.3 不同VLAN如何实现通信? 1.4 什么是路由汇总? 1.4.1 路由汇总的好处: 2. 实验 2.1 网络拓扑设计 2.2 实验配置要求 2.2.1 三层交换配置&#xff…

开源 - Ideal库 - 常用时间转换扩展方法(一)

从事软件开发这么多年,平时也积累了一些方便自己快速开发的帮助类,一直在想着以什么方式分享出来,因此有了这个系列文章,后面我将以《开源-Ideal库》系列文章分享一些我认为比较成熟、比较方便、比较好的代码,如果感觉…

鸿蒙进阶-List组件

hello大家好,这里是鸿蒙开天组,今天我们来讲讲常用的List组件,也就是列表组件。 List组件 List 组件的基本用法,可以用它来展示列表,并且实现列表滚动,日常开发的时候还可以用它来实现更为复杂的效果。 …

mit6824-06-Raft学习记录01

文章目录 必要知识单点故障脑裂多数原则 近日开始学习分布式共识算法Raft,慢慢记录一些自己能看懂的东西。 优质博客: Raft原理详解 必要知识 单点故障 单点故障(single point of failure):服务器中某台机器出现故…

基于Spring Boot 框架的试卷自动生成系统的设计与实现

项目描述 临近学期结束,还是毕业设计,你还在做java程序网络编程,期末作业,老师的作业要求觉得大了吗?不知道毕业设计该怎么办?网页功能的数量是否太多?没有合适的类型或系统?等等。你想解决的问题,今天给大家介绍…

Bert完形填空

转载自:| 03_language_model/03_Bert完形填空.ipynb | 基于transformers使用Bert模型做完形填空 |Open In Colab | 完形填空 利用语言模型,可以完成完形填空(fill mask),预测缺失的单词。 当前,效果最好的…

TS(类 接口 泛型)

文章目录 类复习相关知识属性修饰符public 修饰符属性的简写形式 protected修饰符private修饰符readonly修饰符 抽象类 接口(interface)定义类结构定义对象结构定义函数结构接口之间的继承接口自动合并 (可重复定义)一些相似的概念…