随着增强现实（AR）技术的发展，将物理世界与数字信息融合的需求日益增长。为了探索这一领域的可能性，谷歌推出了一项名为“增强对象智能”（Augmented Object Intelligence, AOI）的新交互范式，并发布了一个开源原型系统——XR-Objects。该系统旨在通过实时对象分割和多模态大模型的支持，将日常物品转变为可交互的数字门户，为用户提供更加自然、直观的信息获取方式。

研究背景

目标

XR-Objects 的核心目标在于打破现实世界作为被动背景的传统观念，使用户能够直接与周围环境中的物体互动，以获取相关数据或执行特定操作，从而实现物理对象与数字实体之间的无缝连接。

主要概念

AOI 是一种创新的交互模式，它让物理对象在扩展现实（XR）环境中变得具有功能性，而无需预先注册这些对象或进行复杂的配置过程。这种转变使得任何被识别的对象都能成为通向更深层次内容和服务的桥梁。

技术实现

对象检测

借助于MediaPipe提供的强大工具集，XR-Objects可以准确地对80种不同类型的常见物品进行分类和边界分割。这一