平行云——开启通往元宇宙的通道

元宇宙是平行于真实世界的虚拟世界，是新一代互联网。具有真三维、可交互、可沉浸特性的XR，是构建元宇宙的终极数字媒体形态。如何打破XR终端设备与XR内容之间的紧耦合，实现任意平台、任意终端的线上访问，Cloud XR是其必由之路，从而开启通往元宇宙的通道。平行云是国际领先的Cloud XR的理念倡导者和技术先行者，致力于为行业伙伴和开发者提供低代码、开箱即用、高效部署的Cloud XR PaaS平台产品。已在全球范围内已吸引近千家企业用户，数万名独立开发者，产品及解决方案成熟应用于教育培训、数字孪生、医疗康复、虚拟直播、数字人、云活动、云游戏等场景。

文/李岩

编辑/LiveVideoStack

今天的内容主要围绕三个关键词展开：平行云、元宇宙、通道。“平行云”是我们公司的名字。“元宇宙”是我们今天分论坛的主题。“通道”是平行云在元宇宙这个行业里对自身的一个定位。

接下来我结合这三个关键词，从平行云与元宇宙、音视频与元宇宙、挑战与探索、关于我们公司及案例展示五个方面简单做一个介绍。

-01-

平行云与元宇宙

首先，平行云与元宇宙。“平行云”这三个字源自于一句话“平行于真实世界的云上虚拟世界”。这句话从公司创立之初到现在，是我们一直坚持和从未改变过的一个初心和愿景。

说起平行世界，实际上我认为这个概念并不新鲜，它应该是我们人类自古以来的一个追求。无论是我们大家讲Metaverse的出处、雪崩，或者山海经、古希腊的神话，又或者当下的影视题材乃至网络游戏，无不在构建着一个与我们世界所平行的一个虚拟世界。那么所不同的是什么呢？所不同的是构成平行世界的数字媒体的形态一直在演进。

像刚才说的古希腊的神话、山海经，都是在有互联网、数字化之前的时候，象形文字用图画来构成的。有了互联网之后，逐渐地从文字到图片到音视频。今天其实就是一个音视频的天下，互联网由文字图片音视频来构成，但是不管是文字图片还是音视频都有一个共同的特点：“他们所构建的平行世界，虚拟世界是二维的，信息是单向传输的，我们没有办法跟它互动，这就导致虚就是虚实就是实，虚与实之间是割裂的，想进入一个虚拟世界实际上没有那么容易，就像年轻的时候读一本小说，我们可能会把自己想象成小说中的一个人物，但是需要可能很强的一个想象力”。

元宇宙是新一代的互联网，元宇宙这个词出来之后，大家众说纷纭，目前还处于一个盲人摸象的状态。行业不同的从业者一定会从自己的角度去描述元宇宙，就好比摸到象腿的说是柱子，摸到象耳朵的是蒲扇一个道理，但是我们看所列举出来的新一代互联网里边的这些应用，例如社交、办公、游戏、教育、支付等都不够新鲜。

那么新的是什么？新的是构成互联网数字媒体的形态，从文字图片到音视频走到今天之后，由XR也就是扩展现实所构成的互联网，这是一种新的形态。

这个新的形态有什么新的特点呢？它是三维的、交互的，借助不同的终端可以实现不同的沉浸体验，这恰恰跟我们的物理世界就变得一样了。因为我们的物理世界是三维的，是身在其中的，是可以去与之互动的，这种虚实等维作为一个大的前提，我们才可以去带来所谓的后边的虚实相生，虚实共生。

未来可能虚拟世界和物理世界变得界限非常的模糊，虚实是交融在一起的，甚至是我们都分不清哪是虚哪是实，这才是元宇宙的概念。虽然在技术层面，我们认为它就是一个这样的数字媒体的迭代，但是在应用层面为什么它会这么火？我认为这是一个主要的原因。

总结一下前面讲的内容，新一代互联网就是指现在讲的元宇宙，元宇宙是由一个3D化、去中心化的互联网所构成的，与我们物理世界所平行的虚拟世界。去中心化的这个事我们暂时先不讨论，今天重点讲3D化。

-02-

音视频与元宇宙

音视频是由什么组成的？是由图片和音频组成的。那么构成平行世界的XR是由什么构成的呢？

我们来看这个图，这是我截取的几张去年 UE5.0发布的demo，古代山谷里边的两幅截图，这个在游戏界也是非常知名的黑悟空画面截图。这些东西其实都一样，是由大量的一个个三角面片加上纹理所构成的。

拿古代山谷的案例来说，一个雕像底下有超过3,300万个三角面，而整个演示demo包含的三角面数达到了数千亿个，由这些元素组成XR，XR组成整个平行的虚拟世界。当然这个地方讲的XR是一个狭义的、偏内容的，指的是三维的、可交互的，借助不同终端实现沉浸的内容。

那么这就带来了至少三个方面的痛点：

1、数据量大。从古代山谷的 demo来看，这一个demo的存储空间有205GB，数据量很大，而且这和大家所熟悉的音视频不一样，音视频可以支持流式的传输，可以边下载边观看，但是这205GB的内容，如果下载的时候里边有几个k的动态库坏了，整个程序可能都运行不起来；

2、运行所需算力高。我们刚才一直说，让这些上亿万个三角面片运行起来所需要的算力是非常高的。从让这些三角面能够去实时计算出来的角度来讲，它需要的算力非常高。去年刚刚发布的4090的卡，从传统的两槽位变成了三槽位，普通的终端肯定装不下，只有非常专业的计算机通信工作站可以放得下；

3、数据资产的保护非常困难。越是生产很难的资产越宝贵，像刚才我们见得那么复杂的三维的数据资产，如果被别人下载走了，没有很好的办法去保护，对于整个生态的发展是一个非常不利的事情。

以上这三个痛点我们把它总结一下，看看我们想要什么，以及现在的现状是什么。

1、我们希望用任意的终端即点即用，降低使用成本，但是目前这种硬件配置的要求很高，使用的成本也很高；

2、我们不希望下载那么多数据，希望能像上网一样点一个URL链接即点即用，但是现在需要预先下载程序插件数据，甚至还要做复杂的配置；

3、我们希望打开只需要几秒，不需要做内容的下载。而现在即使是变成一个基于WebGL的这种BS架构的模式，实际上它在后台还是需要下载数据的，打开时间很长；

4、我们希望单平台开发跨平台使用，而现状有Windows、Linux、MAC等各种各样的版本；

5、我们希望是一个极简的维护更新的内容升级，但现状是这种分散式部署维护更新的成本很高；

6、从数据安全方面，我们希望数据和用户是分离的，能够很好地保护知识产权，但是现在内容授权难以控制，知识产权的保护无法保障。

这几个目标和痛点一定是我们要去解决的问题，否则生态没有办法良性地向前推进。

一开始去做这件事的时候，大家端云之争各种各样的路线之争还非常多，有幸的是走到现在，整个行业都已经认可了这句话，就是云所带来的无限可能。

Cloud XR是XR规模化应用的必由之路。我们希望每个人都能够进入元宇宙，一定要把门槛降低。

为什么Cloud XR可以解决这三个问题？以上是流程图，我一直反对把Cloud XR简称为streaming，也称为串流。串流指的是点对点，是解决中间网络传输的过程，但这个过程远不止于网络传输。

终端发送一个交互指令到云端，云端要做的第一步是进行算力的分配，下一步进行计算和渲染，对结果进行画面的采集，采集完成进行编码后传输到终端，最后再进行解码和一次视频的渲染显示。

在这个过程中，终端只做两件事情，第一个是指令的上传，第二个是音视频的解码和渲染显示，只要具备能在线观看高清视频类似这样的终端，就可以去访问原本要求性能非常高的图形工作站上才可以访问的XR应用。同时数据是不落地的，通过streaming视频流的方式到终端，用户看得见摸不着，即使把屏幕的视频截走，也拿不走任何的数据，可以很好地解决前面所列举的几个痛点。

-03-

挑战与探索

平行云只做一件事，开启通往元宇宙的通道。

通道一定是连接两端的东西。一端是由XR所构成三维的、可交互的、可沉浸的，与物理世界平行的虚拟世界，各行各业的伙伴都在去构建这个世界。另外一端是越来越轻便的终端设备，无论是现在使用最多的手机、iPad、电脑，还是未来可能会越来越普及的VR、AR、MR设备。通道形成之前是没有的，需要把内容下载安装到设备上成为一种紧耦合的状态，它就不需要通道。

就像音视频之前是录在录像带上，用DVD机去播放CD、VCD这样的方式完成。现在可以通过网络把它实现一个解耦。XR要想实现一个规模化的应用，也必须实现这样的解耦。

平行云实际上更多侧重于软件层的产品，下不做算力，上不做应用，只做中间层，这是与前面最大的区别。

我列举了以下几点：

1、音视频传输优化的挑战；2、云端算力资源分配的挑战

3、异构终端接入的挑战；4、开箱即用与二次开发的挑战

图源：华为Wireless X Labs白皮书

Cloud XR对于网络要求非常高，主要是来源于这几个方面：数据量很大、实时性要求非常高、QoS的保障要求非常苛刻。

首先说超大码率，根据当年白皮书上所列举的从起步到舒适再到理想状态，分别对典型的带宽要求需要达到80M、260M，甚至1G到1.5G。这跟我们当下音视频的ITC应用码率是完全不同的。

超低时延需要让端到端的时延至少在起步阶段小于70，舒适阶段小于50，理想阶段小于30，同时最后要做一次异步、时间扭曲的计算，就是所谓的ATW。ATW的计算会控制在20毫秒以内，计算的效果取决于前面端到端的实验，所以这个是一定能够达到的。

超高可靠，如果不可靠就会造成花屏和卡顿。

上述列举的这些数据实际上可以说与我们关系不大。我们是做软件层面的产品，这些网络层属于基础设施，只能够在目前已有网络基础的条件上，做一点我们力所能及的事情。

其实这个行业内大家都在做这方面的研究，我专门关注了一下LiveVideoStackCon 2021北京站的情况，腾讯的专家分享了“云渲染技术框架及互动新玩法”，其实大家都一样，从编码和传输这两个角度去做一些优化。

行业里边做这个事应该说是大同小异，大同的事不多说，简单讲下小异，以下是我们自己做的一些探索。

现在主流的做法是基于网络分组，根据延迟、丢包率等数据去做决策控制。这种决策控制是现在用的最多的，但是它充分地考虑网络实时波动，所以把它定义为微观视角下的决策控制框架。这种控制框架的好处是可以对网络变化有实时的反馈。在网络条件好的情况下，效果是不错的，但是在弱网条件下，决策控制往往是滞后的，没有办法更好地带来用户体验。

在这个基础之上，我们提出了一个微宏观兼顾的角色控制框架。不只是考虑网络的微观、宏观的情况，还要考虑应用层、用户反馈层。这样可以把整个角色控制，让它更加灵活，更加科学。最终的目标是一样的，我们是为了在现有的网络条件下，特别是像WiFi这种弱网的网络条件下，能够带来更好的用户体验。

2、云端算力资源分配的挑战

一是GPU图形加速计算资源池化解决方案。二是中心加边缘的算力资源调度。

对GPU熟悉的人可能会清楚，GPU的虚拟化确实做得还不够成熟。现在的虚拟化方案要么用虚拟化，要么用直通，即把一个vGPU或者物理GPU挂在一个虚拟机上，这种做法的好处是可以严格的隔离，坏处是它的资源使用和调度不是特别灵活。

一个vGPU或者GPU只能给一个用户使用。就像刚才提到对于某一款游戏，在它的算力占用已知的情况下，它是完全可以满足的。但是在做多样内容平台的情况下，不同用户访问不同内容，对于这样算力的需求有非常大的弹性变化，这种模式是不太合理的。

在我们的产品里边， Athena做 GPU池化的方案，在业内大家对池化有不同的做法，比较统一的都是进程的隔离和资源的限制，以及API层面的拦截和封装。既然是对API层进行拦截，那么它做的事一定是有限的。

上面讲图形加速计算的池化，我们只拦截Direct X Open GL这样的图形接口。如果是做HPC，大家用得更多的可能是Cuda。在这个情况下，没有虚拟化这一层，就类似于Docker和VM之间的区别，所有上层的APP直接运行在整个的OS上面，通过进程间的隔离来实现多用户共享，从而去实现一个超细粒度的、动态的资源调度与分配。

中心加边缘的算力资源调度，虽然我们控制不了网络，但可以尽可能给用户提供更好的条件，让用户离算力更近一点。算力建好之后，关于用的时候如何去分配调度，这里边有一套复杂的结构。比如说需要考虑组别、区域、距离、并发数、每个节点的资源占用数等，基于这样的一个分配算法，最终让用户得到自己最佳的一个节点。

前不久和天猫联合做了一个全国性的活动，全国做了几个节点，同时这些节点还做了不同的分组，分组里边有VIP用户和普通用户，普通用户没有节点需要等待，VIP用户可以随时访问。

3、异构终端接入

虽然理想状态是希望可穿戴设施的设备越来越多，但是不可避免手机一类的平面设备用的还是最多的，同样都是从云端Streaming下来，但它是不一样的，这些手机、iPad、电脑都是由平面三维从云端指来一路视频流。而像VR这样的设备，需要从云端指来两路视频流，而且左右眼还是不一样的。

AR除了这两路视频流之外，还需要跟物理世界去叠加。如何让异构的应用和终端能够在一个平台上统一使用，需要把底层的Runtime打通，实现它的接入。

4、开箱即用与二次开发的挑战

市面上有很多和我们类似的公司，平行云是最早的一家，也是唯一公认的把Could XR能力产品化的公司，我们不做任何的定制，不做任何能力的输出。

进入平行云官网，只需要注册一下就可以去下载开箱即用的产品。但是不同行业里又有不同的需求，如何去满足这些不同的需求，需要我们提供大量的灵活的二次开发的能力，让大家在标准化的产品之上，结合自己行业的需求，结合自己行业的Know-how，自己去做二次开发和使用。

5、关于我们

简单介绍一下，平行云是国内第一家将实时云渲染解决方案产品化的公司。LarkXR现在是行业里使用率最高的通用型解决方案。行业里各个应用的一些头部企业，都是基于我们的产品在做行业内的开发。

目前我们已经吸引了上万名的开发者和数百家企业级的行业伙伴的使用。在行业内像NVIDIA、AWS、阿里云等巨头，都是我们在这个领域唯一的合作伙伴。

目前平行云已经开始了全球化的进程。海外的开发者越来越多，之前没有去做刻意的拓展，我们发现靠自然流量都有越来越多的人使用，所以我们打算从今年起努力做一些海外业务。

这张图是上个月抓取的用户授权数据。从图中可以看到在全球的七大洲里面，除了南极洲没有访问者，其他洲都有，这也是为什么我们在努力把自己的产品推向海外的原因。其一海外的客户有需求，其二我们的产品在海外有竞争力。

6、案例展示

天猫购物节是把整套东西通过手机淘宝APP进入，对于流量把控非常苛刻，在峰值的时候要做到两三万，在波谷的时候可能只有几百个并发。做到非常有弹性的伸缩，只要通过手机淘宝搜索所有的关键词就可以马上进入。

三星和喜力啤酒联合元宇宙跨年演唱会

借着这个案例来简单分享下平行云产品。

平行云主打的功能特色是最底层的云渲染能力，再逐渐地针对各个行业做一些行业适用的功能组件。再往上讲是云原生的开发框架。云原生框架是端云结合的，如刚才所讲有一些业务流程需要在手机淘宝上操作，涉及的图片音视频，甚至是一些触摸性的渲染都是在web上实现的。这些高精模型的渲染主要是放在云端上，基于云原生框架去实现二者打通。

之前讲的都是泛消费娱乐级元宇宙的应用，这是ToB的数字孪生领域当中的一个应用。这家合作伙伴基本上在国内的机场信息化占百分之七八十的市场份额。

目前所有的数字孪生系统要想把它使用起来，避免成为一个只做大屏展示的一个产品，就必须让它摆脱终端的限制，真正发挥作用。

最后希望借助平行云的一些产品和能力，去帮助大家早日遇到平行世界的自己！

谢谢大家！