论文笔记:How Can Large Language Models Understand Spatial-Temporal Data?

devtools/2024/9/23 14:24:43/

arxiv 202401

1 intro

  • LLM在NLP和CV领域表现出色,但将它们应用于时空预测任务仍然面临挑战,主要问题包括:
    • 数据不匹配
      • 传统的LLMs设计用于处理序列文本数据,而时空数据具有复杂的结构和动态性,这两者之间存在显著差异
    • 模型设计限制
      • 现有的时空预测方法通常需要为特定领域设计专门的模型,这限制了模型的通用性和适应性
    • 数据稀缺和泛化能力
      • 传统的时空预测方法在面对数据稀缺或稀疏的情况下表现不佳,且泛化能力有限
    • ——>论文提出了STG-LLM(Spatial-Temporal Graph-Large Language Model)
      • STG-Tokenizer
        • 时空图(graph)标记器(Tokenizer)
        • 将复杂的图数据转换为简洁的tokens,这些token能够捕捉空间和时间关系
      • STG-Adapter
        • 轻量级的适配器,包含线性编码和解码层,用于在LLMs和token化数据之间架起桥梁
        • 通过微调少量参数,使LLMs能够理解由STG-Tokenizer生成的token的语义,同时保留LLMs原有的自然语言理解能力

2 LLM+时空的几种可能方法

3 论文方法

4 实验

4.1 supervised比较

 

4.2 few shot 迁移能力

4.3 ablation study


http://www.ppmy.cn/devtools/5876.html

相关文章

大型网站系统架构演化实例_8.业务拆分

1.第九阶段:业务拆分 大型网站为了应对日益复杂的业务场景,通过使用分而治之的手段将整个网站业务分成不同的产品线。如大型购物交易网站都会将首页、商铺、订单、买家、卖家等拆分成不同的产品线,分归不同的业务团队负责。 具体到技术上&…

代码随想录-哈希表 | 242 有效的字母异位词

代码随想录-哈希表 | 242 有效的字母异位词 LeetCode 242-有效的字母异位词解题思路代码复杂度难点总结 LeetCode 242-有效的字母异位词 题目链接 题目描述 给定两个字符串 s 和 t ,编写一个函数来判断 t 是否是 s 的字母异位词。 注意:若 s 和 t 中每…

Redis系列之Cluster集群搭建

在上一篇博客,我们学习Redis哨兵Sentinel集群的搭建,redis的哨兵模式提供了比如监控、自动故障转移等高可用方案,但是这种方案,容量相对固定,要进行持续扩容或者数据分片就不适合,所以有另外一种更复杂的集…

PTA-L2-004 这是二叉搜索树吗?

一棵二叉搜索树可被递归地定义为具有下列性质的二叉树:对于任一结点, 其左子树中所有结点的键值小于该结点的键值;其右子树中所有结点的键值大于等于该结点的键值;其左右子树都是二叉搜索树。 所谓二叉搜索树的“镜像”&#xf…

STM32G431RBT6之时钟树配置与生成工程

默认大家都下载了蓝桥杯嵌入式资源包了哈. 首先,打开cubumx,修改RCC与SYS. 打开并观察原理图,发现晶振是24Mhz. 第一步,打开Clock Configuration. 第二步,修改晶振为原理图相对应的24Mhz. 第三步,切换到HSE. 第四步,切换到PLLCLK. 第五步,设置HCLK为80Mhz(15届真题要求为8…

全球首份网络空间测绘报告发布(2022年)

美国、俄罗斯网络韧性位居前 2 位,香港、洛杉矶、新德里位列全球安全城市前三甲 日前,第 55 届亚太先进网络学会(APAN)学术会议在尼泊尔首都加德满都举行,来自中国的网络空间测绘联合研究中心 ( 以下简称联合研究中心 …

前端文件word Excel pdf PPT预览

组件一 <template><j-modal:visible"visible":fullscreen"fileType!other&&fileType!word"ok"handleOk":width"1200"cancel"handleCancel"><vue-office-docxv-if"fileTypeword":src"…

2024 年选择安全运营中心 (SOC) 工具指南

安全运营中心 (SOC) 是对抗网络威胁的前线。他们使用各种安全控制措施来监控、检测和快速响应任何网络威胁。这些控制措施对于确保信息系统全天候安全至关重要。 大型组织中的现代 SOC 与各种安全供应商合作&#xff0c;处理 75 到 100 种不同的工具。让我们探讨一下您可能遇到…