论文笔记:How Can Large Language Models Understand Spatial-Temporal Data?

ops/2025/3/19 19:27:06/

arxiv 202401

1 intro

  • LLM在NLP和CV领域表现出色,但将它们应用于时空预测任务仍然面临挑战,主要问题包括:
    • 数据不匹配
      • 传统的LLMs设计用于处理序列文本数据,而时空数据具有复杂的结构和动态性,这两者之间存在显著差异
    • 模型设计限制
      • 现有的时空预测方法通常需要为特定领域设计专门的模型,这限制了模型的通用性和适应性
    • 数据稀缺和泛化能力
      • 传统的时空预测方法在面对数据稀缺或稀疏的情况下表现不佳,且泛化能力有限
    • ——>论文提出了STG-LLM(Spatial-Temporal Graph-Large Language Model)
      • STG-Tokenizer
        • 时空图(graph)标记器(Tokenizer)
        • 将复杂的图数据转换为简洁的tokens,这些token能够捕捉空间和时间关系
      • STG-Adapter
        • 轻量级的适配器,包含线性编码和解码层,用于在LLMs和token化数据之间架起桥梁
        • 通过微调少量参数,使LLMs能够理解由STG-Tokenizer生成的token的语义,同时保留LLMs原有的自然语言理解能力

2 LLM+时空的几种可能方法

3 论文方法

4 实验

4.1 supervised比较

 

4.2 few shot 迁移能力

4.3 ablation study


http://www.ppmy.cn/ops/12225.html

相关文章

面试二十、BST二叉排序树

静态查找表: 当有序表是静态的,即其内容在创建后不再发生变化,适合使用顺序表作为存储结构。顺序表通过数组实现,可以提供常数时间的随机访问,因此在静态情况下,适合顺序表存储,这样可以简化数据…

uniapp同步开发h5+小程序双平台踩坑记录

最近做项目的需求是先发布h5,后续再开发上线微信小程序版,自然我选择了uniapp多平台打包,过程中也踩了一些坑。本篇文章记录了使用uniapp开发h5的注意事项,及打包成小程序需要兼容改动的内容。 1.需要在pages.json注册页面路由 在…

【复现代码——环境配置】

目录 一、复现代码举例二、创建环境——选择一个Python版本2.1 创建基本环境2.1.1 基于AutoDL2.1.2 基于PyCharm 2.2 终端激活环境2.3 退出环境2.4 删除环境 三、PyTorch安装3.1 查看cuda3.2 安装PyTorch 四、其他依赖安装4.1 tensorboardX4.2 matplotlib4.3 medpy4.4 visdom4.…

Llama改进之——均方根层归一化RMSNorm

引言 在学习完GPT2之后,从本文开始进入Llama模型系列。 本文介绍Llama模型的改进之RMSNorm(均方根层归一化)。它是由Root Mean Square Layer Normalization论文提出来的,可以参阅其论文笔记1。 LayerNorm 层归一化(LayerNorm)对Transformer等模型来说…

Ventus(承影):基于RISC V的开源GPGPU

Ventus(承影):基于RVV的开源GPGPU 清华大学集成电路学院dsp-lab的承影RVV GPGPU设计文档。 整体目标 提供一个开源的基于RVV的GPGPU实现方案,并给出软件映射方案、指令集(支持的指令及特性、添加的自定义指令&#xf…

保姆级系列教程-玩转Fiddler抓包教程(1)-HTTP和HTTPS基础知识

1.简介 有的小伙伴或者童鞋们可能会好奇地问,不是讲解和分享抓包工具了怎么这里开始讲解HTTP和HTTPS协议了。这是因为你对HTTP协议越了解,你就能越掌握Fiddler的使用方法,反过来你越使用Fiddler,就越能帮助你了解HTTP协议。 Fid…

Apache Log4j Server 反序列化命令执行漏洞(CVE-2017-5645)

vuluhub搭建靶场 ysoserial是什么? ysoserial是在常见的java库中发现的一组实用程序和面向属性的编程“小工具链”,在适当的条件下,可以利用执行对象不安全反序列化的Java应用程序。主驱动程序接受用户指定的命令,并将其封装在用…

用户请求经过哪些处理(公网)

DNS服务器之间协作: 递归DNS查询:用户的请求首先发送到递归DNS服务器。 查询根DNS服务器:递归DNS服务器查询根DNS服务器,以找到管理.com顶级域的TLD DNS服务器。 查询TLD DNS服务器:根DNS服务器响应带有TLD DNS服务器…