创新实践:流媒体服务器如何推动WebRTC支持H.265及JS硬软解码(MSE硬解、WASM软解)

embedded/2024/10/18 14:14:36/

为了实现这一全面的解决方案,我们投入了近半年的时间进行调研与研发。我们的主要目标是:让流媒体服务器能够直接传输H.265编码的视频,而无需将其转码为H.264,从而使Chrome浏览器能够无缝解码并播放H.265视频。

值得注意的是,目前市场上许多软硬件产品仍采用将H.265转码为H.264的方式来支持WebRTC。然而,在我看来,这种做法不仅增加了硬件负担,也代表了技术的一种倒退,因为它没有充分利用H.265的高效编码优势。

之前,Web JS通过WASM(WebAssembly)实现H.265解码,但随后Chrome浏览器加入了H.265的硬解码支持,使得Web解码H.265的方法扩展到了包括MSE和WebCodecs在内的多种选择。

在解码播放的场景中,既有支持硬件加速的,也有不支持H.265硬解码的情况。因此,WASM的软解码H.265成为了一个基础且可靠的备选方案。

对于WASM解码H.265,存在多种模式可选,包括单线程WASM解码模式以及更高效的多线程WASM SIMD模式,两者在效率上存在显著差异。

解决方案

我们采取了将视频以H.265编码并搭配AAC音频(所有音频均统一转码为AAC格式)封装成FLV格式,随后利用WebRTC的DataChannel功能,高效地将这些数据传输至客户端。

WebRTC原本设计了VideoChannel、AudioChannel和DataChannel,其中DataChannel最初主要用于传输控制信令或私有信息。然而,随着技术的发展,DataChannel现已被创新性地用于视频数据的传输,且实践表明,这种传输方式效果良好。

当DataChannel将数据传输到客户端后,这些数据会被回调至上层,进而采用类似HTTP-FLV或WebSocket-FLV的模式进行处理。在这一阶段,可以选择使用MSE硬件加速、WebCodecs硬解码,或是备选的WASM软解码方式来进行视频解码。

值得一提的是,WebRTC的DataChannel支持通过UDP或TCP进行数据传输,充分利用了WebRTC的高效QoS(服务质量)策略,确保数据传输的稳定性和效率。因此,用户只需专注于服务端的FLV封装和客户端的FLV解码播放,即可享受流畅的视频传输体验。

效果如图如下:


http://www.ppmy.cn/embedded/99352.html

相关文章

iPhone照片怎么导入电脑?一键导入毫不费力

随着智能手机的普及,我们越来越依赖手机来记录生活的点点滴滴。iPhone作为其中的佼佼者,其高质量的摄像头为用户捕捉了无数珍贵瞬间。然而,随着照片数量的增多,手机存储空间可能会变得捉襟见肘,此时将照片导入电脑既能…

目标检测(Object Detection)

The essence of object detection is to get category and location through input images. 1、CV 计算机视觉概述 2、Classification of Object Detection 基于深度学习的目标检测算法主要分为两类:Two stage 和 One stage 。 (1)Tow St…

前端构建工具 webpack与vite对比

一、webpack构建原理 Webpack的构建过程大致为: 1.从入口文件开始分析依赖, 2.递归解析所有依赖模块,生成依赖图, 3.调用Loader转换文件内容, 4.打包所有模块输出优化后的静态资源 。 webpack工作特点: …

鸿蒙(API 12 Beta3版)【使用ImagePacker完成图片编码】图片开发指导

图片编码指将PixelMap编码成不同格式的存档图片(当前仅支持打包为JPEG、WebP 和 png 格式),用于后续处理,如保存、传输等。 开发步骤 图片编码进文件流 创建图像编码ImagePacker对象。 // 导入相关模块包 import { image } fr…

【CSS】什么是1px问题,前端如何去解决它,如何画出0.5px边框?

1px 问题概述 在移动端开发中,1px 的边框在高 DPI 屏幕上可能会显得过粗,这是因为移动设备的像素密度(DPI)通常比传统的计算机屏幕高。在高 DPI 屏幕上,1px 实际上可能会被渲染为 2px 或更多,这使得边框看…

基于x86 平台opencv的图像采集和seetaface6的人脸跟踪功能

目录 一、概述二、环境要求2.1 硬件环境2.2 软件环境三、开发流程3.1 编写测试3.2 配置资源文件3.2 验证功能一、概述 本文档是针对x86 平台opencv的图像采集和seetaface6的人脸跟踪功能,opencv通过摄像头采集视频图像,将采集的视频图像送给seetaface6的人脸跟踪模块从而实现…

JVM系列--初始JVM

根据《黑马程序员JVM虚拟机入门到实战全套视频教程》整理 1 什么是JVM JVM 全称是 Java Virtual Machine,中文译名 Java虚拟机。JVM 本质上是一个运行在计算机上的程序,他的职责是运行Java字节码文件。 Java源代码执行流程如下: 分为三个步…

Mybatis-Plus分页插件注意事项

使用Mybatis-Plus的分页插件进行分页查询时&#xff0c;如果结果需要使用<collection>进行映射&#xff0c;只能使用嵌套查询&#xff0c;而不能使用嵌套结果映射 嵌套查询和嵌套结果映射是Collection映射的两种方式&#xff0c;下面通过一个案例进行介绍 例如有room_i…