AI Codec,视频模板技术,高效视频处理,RTC+AI,感知编码,CV-CUDA,窄带高清AI...

news/2025/3/20 6:35:54/

AI Codec,NPU硬件加速

Topic

基于AI和NPU的Codec变革

孔德辉  中兴微电子 多媒体技术总监

伴随通信容量(包括5G以及千兆有线网络)的发展,高带宽为更多用户接入超高清视频提供了可能。但是随着用户数量的增加,高质量的压缩方案也是变得更迫切,而边缘计算平台的性能提升也为解码增强提供了算力支持。AI算法的进步则提供了更丰富的计算方式。

本次分享包括三个部分:第一部分介绍Codec在不同场景下的需求,以及使用基于混合编码策略的困境;第二部分重点分析AI-Codec的发展思路,带来的收益通过修正编码参数、修复编码缺陷或者完全端到端方法的可行性以及部署困境;第三部分将讨论从算法到NPU硬件加速或者芯片化设计的一些可能形态。通过这些介绍,与各位同行讨论“云”和“端”结合的硬件架构与性能提升方法。

1. 经典编码标准在应用中的困境;

2. AI-Codec的发展现状,益处与困境;

3. AI-NPU-Codec的可能形态探讨;

多平台视频模板技术落地实践

Topic

兼容并蓄,全平台视频模板技术创新及应用

李磊  北京美摄网络科技有限公司 研发总监

在视频内容生产过程中,效果的复用可以极大简化生产流程,提高生产效率。美摄多平台的视频模板技术方案不仅可以在包装效果上实现复用,而且配套使用美摄自研的多端工具,可以让用户根据自身使用场景,在移动端、PC端、Web端之间实现工作方式的自由切换,随时随地完成视频内容生产。同时美摄模板支持以插件的方式实现对AE效果的转化,进一步拓展了使用范围。

1. 基于美摄多平台视频技术实现的视频模板方案

2. 通过AE插件转化视频模板技术探索

3. 美摄多平台视频模板技术落地实践

高效视频处理技术架构及实践

Topic

海量视频的系统化高效处理构想和算法实践

虞新阳  沐曦 AI解决方案总监

随着短视、直播、智慧城市、5G等的快速发展,视频内容遍地开花,五花八门,相应的处理需求也多种多样。如何能高效地应对这些视频处理需求?需要数据处理的系统管理,底层计算能力,以及算法研究等多方面协同努力。

本次分享主要分为三个部分:第一部分阐述对视频处理的需求理解和归纳;第二部分介绍沐曦应对视频处理场景的GPU产品;第三部分介绍视频系统处理的解决方案构想和实践。

1. 视频处理的需求理解和归纳;

智能编码,视频超分,语音提取字幕,视频结构化分析等

2. 沐曦高性能GPU产品简介;

3. 视频系统处理的解决方案构想和实践;

AI助力ORTC技术演进

Topic

ORTC与AI互相成就之道

李雪松  OPPO 高级后台工程师

随着计算规模的增大及对计算精度要求的提高,端侧AI运算已经不能满足高精度、高算力要求的应用场景,很多AI处理算法就要搬到算力强大的云端处理。而要达到近乎等同于端侧的效果,则需要在端云传输实时性、稳定性、抗弱网、分布式、集群等技术做深入优化,从而更好的发挥云端优势。

本次分享主要内容包括与RTC紧密结合的AI应用场景,ORTC在低延时、抗弱网所做的策略保证,媒体服务器如何实现AI算法解耦、如何保障大规模AI处理的有序进行,以及如何进行有效的预警及事后取证。

1. ORTC简介

2. ORTC在实时通信技术中实践案例

3. AI及其在实时通信的应用场景

4. AI助力ORTC技术演进

5. ORTC成就AI落地的探索展望

AI驱动的感知编码技术

Topic

AI驱动的感知编码技术及其落地实践

邢怀飞  百度智能云 资深工程师

人眼视觉出发的感知编码技术,成为互联网短视频、OTT等UGC场景的重点优化手段,可以更好的降低带宽成本、提升用户体验;AI技术为感知编码优化提供了必要的辅助技术手段。

本次分享,主要介绍AI驱动的感知编码优化方案,质量评价方法,技术落地收益等。期望通过本次分享,听众能够对相关技术有所了解,更好的进行技术选型。

1. 感知编码技术背景

2. AI驱动感知优化核心介绍

3. 应用落地实践

CV-CUDA: 高性能图像处理

Topic

CV-CUDA: 高性能图像处理加速库

张毅  英伟达 GPU计算专家团队工程师

盛一耀  字节跳动 机器学习系统团队工程师

在深度学习领域,图像前处理和后处理作为非常重要的组成部分存在于众多应用之中,例如内容理解,视频特效,图片/视频检索等。传统的方案中图像前后处理会在CPU上进行,一方面会占用CPU的资源,另一方面性能较差,容易成为整个流水线的瓶颈。因此NVIDIA和ByteDance联合开发了CV-CUDA图像处理加速库,有效提升了图像处理整体效率。

目前此方案不仅在字节跳动内部业务成功落地,而且也集成到 火山引擎,有需要的业务可以去上面体验。本次分享主要分为两部分,第一部分介绍CV-CUDA的特性和基本框架,第二部分介绍CV-CUDA在字节的典型使用案例。

1. CV-CUDA特性和基本框架

2. ByteDance典型应用案例

视频超分,窄带高清AI落地实践

Topic

B站视频云画质与窄带高清AI落地实践

成超  哔哩哔哩 资深开发工程师

视频赛道卷到下半场,一定会面临体验与成本的对抗,尤其是在行业大环境“过冬”的背景下,想要在有限带宽下获得最佳的画质观感变得异常具备挑战性。从视频云业务场景的视角来看,如何有效解决cross-domain问题、如何突破低业务延迟下的算力瓶颈、如何提升单位码字承载的有效信息量,成为我们在实践过程中的应用范式。

本次分享将分为两个部分:一是介绍B站视频云云端转码中的画质提升链路。重点介绍我们基于画质修复观点下的视频超分技术在点播业务中的应用落地,以及在4K@60fps直播场景下的实践;二是介绍B站窄带高清AI所采用的低秩重构方案是如何做到在视觉无损的条件下进一步压缩18%以上码率带宽的。

1. B站视频云画质提升链路

2. 4K超分在点播/直播业务中的落地实践

3. 窄带高清AI如何做到视觉无损下的极致视频压缩

所属专题

f02998eeb80325b819791790cae34500.png

相关阅读推荐

  • AI自动剪辑生成视频探索实践

  • FFmpeg AI推理+图形渲染的可定制GPU管线

  • 奇声(IQDubbing)-- 面向影视剧的AI配音技术

  • AI时代的视频云转码移动端化——更快、更好,更低,更广

  • 对话美摄科技李磊:走出一条AI与传统视音频技术相结合的美摄特色道路

a917ebf4bfa3bb8f811bf8a6c88c3c73.gif

↓ 点击「阅读原文」立即报名!


http://www.ppmy.cn/news/341377.html

相关文章

【点灯科技+esp8266+小爱同学】实现语音控制的米思齐代码和arduino代码

以下转换后的arduino代码。 #define BLINKER_WIFI #include <Blinker.h> char auth[] = "点灯分配的密钥"; char ssid[] = "你的wifi"; char pswd[] = "wifi密码"; void miotPowerStatedata(const String & data){ if (data == BL…

音视频卡顿问题的原因及解决方案

音视频在现在的社会中无处不在,视频直播已经成为大家生活或娱乐的必需品了,那么音视频卡顿给我们的体验会造成影响,那么造成音视频卡顿的原因都有哪些昵? 一、设备原因 此处设备主要是指用户端的软硬件配置。在直播的传输过程中,会对视频进行编解码,高清视频往往会给硬件…

音频信号转为开关控制信号_如何使用模拟开关动态切换音频和视频信号

在切换音频和视频信号时,难点在于如何避免引入噪声,以及因设备电阻或附带电容导致的信号损失。虽然 CMOS 模拟开关既有效又高效,但设计人员需要了解关键的参数折衷才能正确使用它们。在音频或视频信号源间切换可能非常棘手。大多数机械开关或继电器并非为切换多媒体信号而设…

前端的有限状态机

有限状态机 说白了就是根据不同的字符串状态&#xff0c;去归类 function stringMatcher(input) {// 定义状态const states {START: START,A: A,B: B,REJECT: REJECT,ACCEPT: ACCEPT,};// 定义状态转换规则const transitions [{ from: states.START, to: states.A, input: a…

【专题介绍】声临其境 — 音频沉浸体验

” “音视频无限可能”是一扇 LiveVideoStackCon面向新兴领域开启的大门&#xff0c;在移动互联网红利消失、内卷的局面下&#xff0c;智能车、制造、金融、医疗、出海等新兴领域还在迫切追寻新技术带来的增值。在“音视频无限可能”&#xff0c;提前看到新机会、新案例、新实践…

适用于影视剧场景的智能配音算法实现

近日&#xff0c;爱奇艺研发了适用于影视剧配音场景的智能配音系统&#xff1a;奇声&#xff08;IQDubbing&#xff09;影视剧智能配音系统。该解决方案基于多种自研 AI 技术&#xff0c;并以 Voice Conversion 为核心技术&#xff0c;提供了多语种、多音色的 AI 配音功能&…

奇声音箱自动关闭的问题解决了

搞了半天是因为两个小喇叭接错了地方。 前面的日子每天都需要不断的开音箱比较痛苦&#xff0c;不过倒是可以让自己用电脑的过程中适当活动一下。以后要自己控制活动的时间了。[more] 来自 “ ITPUB博客 ” &#xff0c;链接&#xff1a;http://blog.itpub.net/9826/viewspace-…

奇声(IQDubbing)-- 面向影视剧的AI配音技术

点击上方“LiveVideoStack”关注我们 ▲扫描图中二维码或点击阅读原文▲了解音视频技术大会更多信息 // 编者按&#xff1a;随着长视频制作行业和消费市场的持续发展&#xff0c;国外越来越多优秀内容“走进来”&#xff0c;同时更多的国内优秀作品“走出去”&#xff0c;这对…