输出设备:为用户提供仿真过程对输入的反馈,通过输出接口给用户产生反馈的感觉通道。包括:图形显示设备,声音输出设备,触觉反馈设备。
3.1 图形显示设备
图形显示设备:一种计算机接口设备,它把计算机合成的场景图像展现给虚拟世界中参与交互的用户。
3.1.1 人类视觉系统
要设计图形显示设备,必须先了解人类的视觉系统。一个有效的图形显示设备需要使它的图像特性与人类观察到的合成场景相匹配。
人类视觉系统的特性:
- 特性一:中央凹与聚焦区
人眼有126 000 000个感光器,这些感光器不均匀地分布在视网膜上。视网膜的中心区域称为中央凹,它是高分辨率的色彩感知区域,周围是低分辨率的感知区域。
被投影到中央凹的图像代表聚焦区。在仿真过程中,观察者的焦点是无意识地动态变化的。如果能跟踪到眼睛的动态变化,就可以探测到焦点的变化。
- 特性二:视场与测量深度
视场(Field Of View,简称FOV)。一只眼睛的水平视场大约150°,垂直视场大约120°;双眼水平视场大约180°,垂直视场大约120° ,如右图所示。观察体的中心部分是立体影像区域,在这里两只眼睛定位同一幅图像,水平重叠的部分大约为120°。
大脑利用两只眼睛看到的图像位置的水平位移测量深度,也就是观察者到场景中虚拟对象的距离。
- 特性三:会聚角与图像视差
在视场中,当目光聚焦在固定点F上时,视轴和固定点F的连线之间的夹角确定了会聚角,如右图所示。这个角度同时也依赖于左眼瞳孔和右眼瞳孔之间的距离,这个距离称为内瞳距(IPD)。
由于固定点F对于两只眼睛的位置不同,因此在左眼和右眼呈现出水平位移,这个位移称为图像视差,如右图所示。为了使人脑能理解虚拟世界中的深度,VR的图形显示设备必须能产生同样的图像视差。实现立体图形显示,需要输出两幅有轻微位移的图像。
3.1.2 头盔显示器
头盔显示器( Head Mounted Display,简称HMD ),常见的立体显示设备,利用头盔显示器将人对外界的视觉、听觉封闭,引导用户产生一种身在虚拟环境中的感觉。
头盔显示器通常由两个LCD或CRT显示器分别显示左右眼的图像,这两个图像由计算机分别驱动,两个图像间存在着微小的差别,人眼获取这种带有差异的信息后在脑海中产生立体感。
头盔显示器主要由显示器和光学透镜组成,辅以3个自由度的空间跟踪定位器可进行虚拟输出效果观察,同时观察者可以做空间上的自由移动,如行走、旋转等。
显示技术
普通消费级(单视场、无立体感) | HMD使用LCD显示器,主要是为个人观看电视节目和视频游戏设计,而不是为VR专门设计的。它只能接受NTSC(在欧洲是PAL)单视场视频输入,当集成到VR系统中时,需要把图形流输出的红绿蓝信号格式转换成NTSC/PAL,如下图所示。 |
专业级(立体显示) | HMD设备则使用CRT显示器,它能产生更高的分辨率,是专门为VR交互设计的,它接受RGB视频输入。 如下图所示,在图形流中,两个RGB信号被直接发送给HMD控制单元,用于立体观察。通过跟踪用户的头部运动,把位置数据发送给VR引擎,用于图形计算。 |
常见头盔显示器
类别 | 优点 | 应用 |
Virtual Research 1280数字头盔 | 该产品将高亮度、高分辨率彩色微型显示器与量身设计的光学设备相结合;使用简便,且比以往的显示系统更加结实耐用;该产品的佩戴过程只需短短几秒,后部和顶部的棘齿和前额弹簧垫确保佩戴更加牢固和舒适;用户可进行快捷精确的调整,通过调整瞳距还可同时调整良视距离,以适应镜片需求。 | 可用于医疗、游戏产业以及建筑专案的设计规划、虚拟现实模拟训练等领域。 |
eMagin数字头盔 | 搭配高灵敏度头部追踪装置,可为用户提供360°图像追踪;使用户摆脱了传统头戴式显示器的束缚,游戏用户可体验身临其境的虚拟现实环境;PC用户则可以在不受限制的环境中工作和体验虚拟现实环境。 | 适用于3D游戏、模拟训练、工业仿真及商业应用领域。 |
Liteye单目穿透式头盔 | 单目式虽然不能产生立体效果,但是因为更加轻巧的质量和可透视显示器常被应用于增强现实和军事领域。 | 增强现实,军事领域 |
Cybermind双目式 | 双目式的两个2D显示器可以形成立体影像,因此常用于虚拟现实领域。 | 娱乐、仿真、游戏、医疗等诸多领域 |
5DT数字头盔 | 用户可根据自己对沉浸感的需求进行不同层级的调节,另外还有可进行大小调节的顶部旋钮、背部旋钮、穿戴式的头部跟踪器以及便于检测的翻盖式设计。 超高分辨率 |
3.1.3 沉浸式立体投射系统
类别 | 优点 | 应用 |
单通道立体投影系统 通常以一台图形计算机为实时驱动平台,使用两台投影机(一台投射左眼图像,另外一台投射右眼图像),将左右眼图像同时投射到屏幕上显示一幅高分辨率的立体投影影像。 | 最大优点是能够显示优质的高分辨率三维立体投影影像;是一种低成本、操作简便、占用空间较小、具有极好性能价格比的小型虚拟三维投影显示系统,其集成的显示系统使安装、操作使用更加容易。 | 实时显示虚拟现实仿真应用程序,被广泛应用于高等院校和科研院所的虚拟现实实验室中。 |
多通道环幕(立体)投影系统 采用多台投影机组合而成的多通道大屏幕显示系统,系统采用环形的投影屏幕作为仿真应用的投射载体统。根据环形幕半径的大小,通常为120 、135、180、240、270、360度弧度不等。 | 它比单通道立体投影系统具备更大的显示尺寸、更宽的视野、更多的显示内容、更高的显示分辨率,以及更具冲击力和沉浸感的视觉效果。 | 通常用于一些大型的虚拟仿真应用,比如,虚拟战场仿真、虚拟样机、数字城市规划、三维地理信息系统、展览展示、工业设计、教育培训等专业领域 |
CAVE沉浸式虚拟现实显示系统 是一种基于多通道视景同步技术、三维空间整形校正算法、立体显示技术的房间式可视协同环境。 | 该系统可提供一个同房间大小的四面(或六面)立方体投影显示空间,供多人参与,所有参与者均完全沉浸在一个被三维立体投影画面包围的高级虚拟仿真环境中,提供给使用者一种前所未有的带有震撼性的身临其境的沉浸感。 | 科学家能通过CAVE直接看到可视化研究对象,可以应用于任何具有沉浸感需求的虚拟仿真应用领域。如虚拟设计与制造,模拟训练,虚拟演示演示,虚拟生物医学工程,地质、矿产、石油,航空航天,建筑视景与城市规划,地震及消防演练仿真等。 |
球面投影显示系统 | 视野非常广阔,覆盖了观察者的所有视野,从而令使用者完全置身于飞行场景中,给人身临其境的沉浸感。 |
3.1.4 立体眼镜(鹰眼)
立体眼镜以其简单的结构、轻巧的外形和低廉的价格,而且佩戴很长时间眼睛也不至于疲劳,成为虚拟现实观察设备理想的选择。
3.1.5 图形显示过程
图形显示设备的高延时与晕动症:
在VR的一次交互中,视觉接受的自身的身体状态,与负责感知身体状态的中耳前庭器官不一致,中枢神经对这一状态的反馈就是“恶心”,以此来提醒身体状态的异常。简单来说,戴上VR头显移动头部的时候,由于延时,视觉观察到的变化会比身体感觉到的慢,二者产生冲突继而造成了晕眩反应。
3.2 声音输出设备
一类计算机接口,能给与虚拟世界交互的用户提供合成的声音反馈。
3.2.1 三维声音
立体声音 | 三维声音 |
耳机中的立体声音听上去好像是从用户的头里发出来的,它不像真实声音那样是在外面的。 | 从同一个耳机或扬声器中放出的三维声音则包含着重要的心理信息,可以改变用户的感觉,使他们相信这些录制的声音真的来自于用户周围的环境。 |
3.2.2 人类的听觉系统
用一个称为纵向极坐标系统来表示三维声源位置。声源的位置由三个变量确定:方位角、仰角和范围。
- 方位角θ(±180°):是鼻子与纵向轴z 和声源的平面之间的夹角;
- 声源的仰角φ(±90°):是声源和头部中心点的连线与水平面的夹角;
- 范围r(大于头的半径):是沿这条连线测量出的声源距离。
大脑根据左右耳觉察到的声音的强度、频率和时间线索估计声源的位置(方位角、仰角和范围)。
3.2.3 基于扬声器的三维声音
原理:PC机的喇叭装在监视器的左右两侧,与监视器方向一致,面向用户。知道了用户头部的相对位置,就可以创建出在用户周围有许多扬声器的假象,并且能设置扬声器的方位角和位置。
三维声卡特点:
- 提供简化三维声音的能力,支持这类声卡的能让游戏玩家听到对手是从哪个方向靠近自己的,从哪个方向进行攻击自己的。
- 保留了这些生源中的原始多声道音频信息,使聆听者感到SRS 3D更加丰富的环绕声场效果。
3.3 触觉反馈
触觉反馈 | 传送接触表面的几何结构、虚拟对象的表面硬度、滑动和温度等实时信息。 它不会主动抵抗用户的触摸运动,不能阻止用户穿过虚拟表面。 |
力反馈 | 提供虚拟对象表面柔顺性、对象的重量和惯性等实时信息。 它主动抵抗用户的触摸运动,并能阻止该运动(如果反馈力比较大)。 |
3.3.1 人类的触觉系统
人类的触觉系统的输入是由感知循环提供的;
对环境的输出(对触觉接口而言)是以传感器-发动机控制循环为中介的。
输入数据由众多的触觉传感器、本体感受传感器和温度传感器收集,输出的是来自肌肉的力和扭矩。
触觉:当皮肤受到刺激时,触觉传感器会产生很小的放电,最终被大脑感知到。
传感器-发动机控制:身体的传感器-发动机控制系统使用触觉、本体感受和肌肉运动知觉来影响施加在触觉接口上的力。
3.3.2 触觉反馈接口
触觉鼠标 | 通常在使用鼠标时用户要一直看着屏幕,以免失去控制。触觉反馈增加了响应用户动的另一条线索,从而可以对此作出适当的补偿(即使把脸转过去也能感知到)。iFeel Mouse |
iMotion触觉反馈手套 | iMotion 是一款带有触觉反馈的体感控制器。iMotion 可以提供精准的 3D 动作控制,并且横跨各大平台和诸多app。该设备在用户面前创建了一个虚拟的触摸空间,并且拥有触觉反馈,让用户“真实触摸”到游戏或应用中的物体。它能够欺骗你的大脑,让你误以为你的双手正在推、拉,或者进行其它应用(游戏)想要的动作,虚拟的触觉反馈。 iMotion 内置陀螺仪、加速计,通过表面的三个 LED 灯来判断用户身体在 3D 空间的位置等 |
3.3.3 力反馈接口
力反馈操纵杆 | WingMan Force 3D操纵杆,它有三个自由度,其中两个自由度具有力反馈 原理:计算机用户的动作改变仿真程序,如果有触觉事件就提供反馈。 这些命令继而被操纵杆的模/数转换器转换成模拟信号并放大,然后发送给产生电流的直流激励器。 这样就形成了闭合的控制回路,用户就可以感觉到振动和摇晃,或者感觉到由操纵杆产生的弹力 |
CyberGrasp力反馈手套 | 力反馈手套借助数据手套的触觉反馈功能,用户能够用双手亲自“触碰”虚拟世界,并在与计算机制作的三维物体进行互动的过程中真实感受到物体的振动。 |
注:读书笔记摘自《虚拟现实与增强现实技术概论》