音视频技术开发周刊

每周一期，纵览音视频技术领域的干货。

新闻投稿：contribute@livevideostack.com。

架构

WebRTC 1.0 标准中更新了 Candidate 筛选优先级内容

WebRTC 1.0：浏览器之间的实时通信

https://www.w3.org/blog/news/archives/8666

NAT traversal 如何工作的？

在我们的文章中，我们涵盖了关于Tailscale如何工作的很多内容。然而，我们忽略了如何通过NATs(网络地址转换器)直接连接你的设备，不管它们之间有什么障碍。让我们现在谈谈这个!

https://tailscale.com/blog/how-nat-traversal-works/

使用WebRTC开发Android Messenger：第1部分

这是一个由三部分组成的系列文章，内容涉及：利用WebRTC中的BUG和利用Messenger应用程序。本系列文章重点阐述了当应用程序不能应用于WebRTC补丁程序以及通信和安全问题通知中断时可能出问题的方面。

https://googleprojectzero.blogspot.com/2020/08/exploiting-android-messengers-part-1.html

传输网络

彻底弄懂TCP协议：从三次握手说起

说到 TCP 协议，相信大家都比较熟悉了，对于 TCP 协议总能说个一二三来，但是 TCP 协议又是一个非常复杂的协议，其中有不少细节点让人头疼点。本文就是来说说这些头疼点的，浅谈一些 TCP 的疑难杂症。

https://mp.weixin.qq.com/s/6LiZGMt2KRiIoMaLwx-lkQ

基于云的远程办公

本文来自SMPTE2020的演讲，作者是Grass Valley产品行销副总裁Boromy Ung。此次演讲的主题是：基于云的远程办公。

https://mp.weixin.qq.com/s/4hgkFTlTOyNxOOYift75lA

SRT协议概述

本文来自SVA 2020，主讲人是来自Haivision的Maxim Sharabayko，他向我们介绍了有关的SRT协议的许多内容。SRT能够让有损视频传输网络的性能表现看起来像无损视频传输，正是这种能力使得其越来越广为人知，这一点从SRT联盟的成员公司目前已经超过400个就可以证明。

https://mp.weixin.qq.com/s/xFMYU3YgNh51BPKnmKZdMg

编解码

FFmpeg 播放器实现音视频同步的三种方式

播放器对音频和视频的播放没有绝对的静态的同步，只有相对的动态的同步，实际上音视频同步就是一个“你追我赶”的过程。

音视频的同步方式有 3 种，即：音视频分别向系统时钟同步、音频向视频同步及视频向音频同步。

https://mp.weixin.qq.com/s/RRZAAUV8OZ0ksyhFPJnGEw

浅析FFmpeg及SDL视频流播放存储技术

本文阐述FFmpeg与SDL的常用函数及各结构体间的关系，并给出视频流播放存储的实现过程。在实际应用中，可以根据支持的不同种传输协议、媒体容器格式和音视频编解码标准，调整码率、帧数，实现不同需求的实时视频流播放存储，提高在不同情况下的媒体流播放效果。

https://mp.weixin.qq.com/s/ujBwUNHXegREKMehQtCk5g

GeForce RTX 30系列GPU：通过AV1解码迎来视频内容的新时代

视频占世界互联网流量的60％以上。随着世界变得更加数字化，寻找有效的视频传输方式比以往任何时候都更为重要。

https://www.nvidia.com/en-us/geforce/news/rtx-30-series-av1-decoding/

人物专访

当AI成为基础资源，360OS 发力在线教育的重心——专访360OS张焰

2020年疫情爆发，在疫情期间帮助行业降本增效，正成为一门大的学问和生意，其中AI在多行业应用中展现了前所未有的能量。360OS AI视觉在线上教育领域的突飞崛起，使得行业将眼光注入到这支AI新生力量中。为此，我们采访了360OS AI影像事业部研发总监张焰，一起探寻AI在线上教育应用中的中国式突围。

https://mp.weixin.qq.com/s/fHYcsld3ZgyY_uCk2mxjSw

音视频技术

RED：通过数据冗余提高音频质量

WebRTC 中的音频前向纠错替代方案。

https://webrtchacks.com/red-improving-audio-quality-with-redundancy/

AI加持的竖屏沉浸播放新体验

本文由爱奇艺刘小辉在LiveVideoStackCon 2020 线上峰会的演讲内容整理而成，内容主要讲述通过AI智能的视频画面主体识别能力和字幕识别能力，实现在手机端竖屏全屏观看横拍视频的新体验，给用户提供沉浸视界新体验。

https://mp.weixin.qq.com/s/xgfhi-6y8Mh-DTk1Bdn8FQ

At home production

本文来自VIDOVATION的线上会议，参与会议的主要成员有来自MediaKind的Matthew Goldman，VidOvation的Jim Jachetta，VISTA WorldLink的Josh Liemer和Matrox Video的Dan Maloney。在这次会议主要介绍了At home production这一直播新技术。

https://mp.weixin.qq.com/s/yhMbWVYkU-6cgDotdv9kiA

AI智能

亚马逊团队在 Interspeech 2020 深度降噪挑战赛中获得第一名

什么时候可以 WebAssembly 形式发布出来？

https://www.amazon.science/blog/amazon-team-takes-first-place-in-interspeech-2020-deep-noise-suppression-challenge

深度学习对机器视觉的影响

本文结合了embeded vision 2019中FLIR的演讲PPT和威视康电子报中的内容，汇总一下当前深度学习对机器视觉制造的影响。

https://mp.weixin.qq.com/s/nAxbljcLeGWsPK6ITunzTA

Keras vs PyTorch vs Caffe：CNN实现对比

在本文中，我们将构建相同的深度学习框架，即在Keras、PyTorch和Caffe中对同一数据集进行卷积神经网络图像分类，并对所有这些方法的实现进行比较。最后，我们将看到PyTorch构建的CNN模型如何优于内置Keras和Caffe的同行。

https://juejin.im/post/6865636168354725895

图像处理