Facebook 新款AR眼镜都有哪些技术创新?

news/2024/11/23 9:46:45/

作者|maver jiang 编辑|3D视觉开发者社区

Facebook一周前(2022年10月11日)发布了新款VR眼镜—— Meta Quest Pro。这款产品售价1500美元,而上一代的Meta Quest 2售价只有400美元。

在这里插入图片描述
小扎在产品发布会上宣称新产品融合了VR和AR,创造出所谓的MR(Mixed Realitiy )技术,可以将虚拟世界的元素与物理世界融合在一起,给用户带来前所未有的metaverse(元宇宙)体验。

微软CEO纳德拉也出现在产品发布活动中,他介绍了微软与Meta在元宇宙应用上的合作关系,微软将会把一些工作协同应用程序发布到QUEST VR设备上:比如teams办公聊天软件,office365以及xBox云游戏。

小扎宣传新的Meta Quest Pro的主控芯片依然是Meta与高通合作开发的Snapdragon芯片,这一代芯片比上一代要强大很多,AR+VR = MR 应用需要更强大的计算力,小扎称之为第二波人机计算浪潮。

用户可以通过‘透视显示器’看到增强的虚拟现实内容。

在这里插入图片描述
可以更好地实现个人的AI助理功能,比如在会议中显示图表,在购物中显示物品购买指导信息等等,体验更加‘沉浸式’。

而这一切都建立在新的更强大的硬件计算与传感平台上:

从camera的角度来说,AR眼镜包括了前视鱼眼、长焦相机,后视相机,眼动追踪相机,追踪与记录相机。

在这里插入图片描述
Facebook的智能传感器与系统设计专家介绍了这款产品的传感器与相机的需求。

  • 1.global shutter(全局快门)
  • 2.高速传输
  • 3.低功耗
  • 4.pixel sensor(像素传感器)的尺寸要小

在这里插入图片描述

  • 5.pixel要有三次量化(Triple Quantization)设计

每个pixel都有3个ADC模式:
低光照 ---- High Gain PD ADC 模式
中光照 ---- Low Gain FD ADC 模式
高光照 ---- TTS(Time to Saturation) 模式

即每个pixel可以根据光照情况选择最优的模式

在这里插入图片描述
sensor的结构图如下:

在这里插入图片描述

这种设计是比较新的HDR技术,可以达到127dB的动态范围。
在这里插入图片描述

线性化之后可以看到,在不同动态范围拼接处的SNR下降小于10dB,可以说性能非常的好。

在这里插入图片描述
还公布了图像质量比较样张,可以看到普通sensor既无法捕获高亮的灯丝也无法捕获暗处的玩偶图像信息。

在这里插入图片描述
以下是该图像传感器的详细技术参数

这款sensor的功耗是真低。
在这里插入图片描述
除了上述的基本的图像传感器信息,meta设计的sensor还继承了AI功能,这也是为了适应元宇宙AR VR 这类高性能移动计算应用的需求。

从下面的架构信息可以看出系统由三部分组成**:图像传感器,图像处理与云端处理**
在这里插入图片描述
为了降低从设备到云的传送数据量,必然要求在‘端’和‘边’上做分布式计算,sensor的智能化是必然的选择。

在这里插入图片描述

sensor端集成NN加速器,有没有想起Sony前两年公布的AI sensor imx500,这种设计很适合这样的的应用场景。
在这里插入图片描述

把neural network的前若干级布置在sensor端,后面若干级布置在Aggregator端,这样可以更有效的分配workload,把合适的工作分配给合适的元件。
在这里插入图片描述

这种设计的好处是可以大大降低数据的搬移成本,可以降低传输带宽,进而降低系统功耗。

下图显示了功耗与各种数据传输的关系

在这里插入图片描述
Meta的这种分布式传感/计算设计模式,可以大大降低功耗。

如果设计的是普通的图像传感器,那么计算就都压在图像处理器上,在总线上传输的数据量也非常大。

在这里插入图片描述
采用分布式设计,由下图可见,系统功耗降低了34%。

在这里插入图片描述
即使不做AR眼镜,Facebook的这种分布式传感计算系统设计对于我们设计、开发产品也很有借鉴意义,元宇宙还处在婴儿阶段,未来还会集成很多新的技术,让我们拭目以待。

版权声明:本文为奥比中光3D视觉开发者社区特约作者授权原创发布,未经授权不得转载,本文仅做学术分享,版权归原作者所有,若涉及侵权内容请联系删文。

3D视觉开发者社区是由奥比中光给所有开发者打造的分享与交流平台,旨在将3D视觉技术开放给开发者。平台为开发者提供3D视觉领域免费课程、奥比中光独家资源与专业技术支持。

快来[3D视觉开发者社区]和开发者们一起讨论分享吧~


http://www.ppmy.cn/news/623396.html

相关文章

它来了,它终于来了!3299元的新款iPhone SE上架了

晚睡还是有晚睡的好处啊,起码在4月15号深夜等来了苹果悄咪咪上架的2020新款iPhone SE。 这款传了好久,爆料信息都要看吐了的小屏手机,终于发布了,不叫iPhone 9 ,也不叫iPhone SE2,苹果称它为新款iPhone SE。…

微软确认:这款浏览器将彻底再见!新款浏览器将于下月正式上线

来自:扩展迷EXTFANS(ID:infinitydaily 众所周知,从去年年初开始,微软的新版Edge浏览器就已经换上了Chromium内核。 经过一年多的时间,新版Edge也已经通过Windows Update向几乎所有的Win10用户推送了。 Ch…

社区团购小程序怎么制作

社区团购小程序开发,有什么功能 商品管理:社区团购小程序提供商品管理功能,可以方便地添加、编辑和删除商品信息。你可以设置商品的价格、库存、规格等,并上传商品的图片和描述,以吸引用户关注。 配送管理&#xff1…

多串口数据采集网关有什么功能

数据采集网关是一种通信终端设备,也称物联网网关,它具备数据采集、存储、传输等功能。物通博联WG系列数据采集网关提供多种数据传输方式和接口通道,包括有线、无线和串口传输等(5G、4G、WIFI、以太网),可以…

什么叫冷备用状态_什么是热备用状态?

2013-09-21 高压开关的四种状态是什么 高压开关有4种状态即检修,运行,冷备,热备。 A。1  运行状态 指设备的开关及闸刀都在合上位置,将电源至受电端的电路接通(包括辅助设备如电压互感器、避雷器等);所有的继电保护及自动装置均在…

中文常用停用词表(哈工大停用词表、百度停用词表

中文常用停用词表(哈工大停用词表、百度停用词表等:https://github.com/goto456/stopwords

jieba分词的停用词问题

去掉停用词一般要自己写个去除的函数(def....),一般的思想是先分好词,然后看看分的词在不在停用词表中,在就remove,最后呈现的结果就是去掉停用词的分词结果。 后来找到一个jieba.analyse.set_stop_words(filename),以…

2750个通用停用词表整理,免费下载

中文停用词表下载 一共2750个停用词,属于通用停用词表。 下载地址: 链接:https://pan.baidu.com/s/1u-Ob86VGVSk3vhnwf2S29w 提取码:aoj4 停用词表整理代码 下载了很多网上的通用停用词表,同时合并了我们实验室的停用…