音视频解码 AVIO内存输入模式

devtools/2024/9/24 14:31:12/

原因

根据下文,我们已经学会了如何从本地文件读取数据,对音视频进行解码操作得到原始数据。

ffmpeg 音视频解码-CSDN博客

现在有一个需求,网络读取到的数据,也就是内存数据如何直接进行解码操作?

本文就是介绍解决这个问题。

AVIO内存输入模式

AVIO内存输入模式是FFmpeg库中用于处理多媒体数据的一种方式,它允许数据直接从内存中读取或写入,而不是通过文件系统。这种模式的特点主要包括:

  1. 灵活性:AVIO内存输入模式提供了一种机制,可以直接从内存读取数据,适用于数据已经加载到内存中,或者需要从非文件源(如网络流)读取数据的情况 。

  2. 性能:由于数据直接在内存中处理,避免了磁盘I/O操作,这可以减少延迟,提高处理速度 。

  3. 自定义IO操作:用户可以自定义AVIO的输入和输出函数,实现特定的数据处理逻辑,例如裁剪、缩放或添加水印等操作,而无需先将数据写入磁盘 。

  4. 内存管理:使用AVIOContext结构体进行内存管理,其中包括了读写缓存、读写函数指针、读写偏移量等信息,支持自定义协议和数据源 。

  5. 高效数据处理:AVIO内存输入模式支持从内存流中读取媒体数据,解码器可以直接对这些数据进行解码,然后由播放器呈现,这提供了无缝的媒体播放体验 。

  6. 节约资源:由于避免了磁盘操作,这种模式可以减少对磁盘空间的占用,节省存储资源 。

  7. 应用广泛:适用于多种多媒体应用,包括在线视频播放、本地视频播放和媒体处理等场景 。

  8. 回调机制:通过回调函数read_packetwrite_packet实现自定义的读写逻辑,这些回调函数会在需要从输入源读取或向输出源写入数据时被调用 。

  9. 结构体管理AVIOContext结构体用于管理输入/输出缓冲区,通过avio_alloc_context()函数分配并初始化,支持设置自定义的读写和定位操作回调函数 。

  10. API支持:FFmpeg提供了丰富的API支持,包括av_malloc()avio_alloc_context()avcodec_find_decoder()av_read_frame()等,以实现内存输入和输出的高效管理 。

综上所述,AVIO内存输入模式以其高效、灵活和可定制的特点,在多媒体数据处理中发挥着重要作用。

主要使用流程和api介绍

下列主要介绍使用avio内存输入模式,进行初始化,数据来源绑定以及读取数据。

//1.自定义io  稍后必须用av_free()释放
io_buf=(uint8_t*)av_malloc(IO_BUFFER_SIZE);/**2.定义io上下文
* 分配并初始化一个AVIOContext对象,用于缓冲式I/O操作。
之后必须使用avio_context_free()函数释放该对象。* @param buffer 用于通过AVIOContext进行输入/输出操作的内存块。
* @param buffer_size 缓冲区的大小对于性能非常重要。
* 对于具有固定块大小的协议,应将其设置为该块大小。
* 对于其他协议,典型的大小是一个缓存页,例如4KB。* @param write_flag 设置为1表示缓冲区可写,否则设置为0。
* @param opaque 是 read_packet / write_packet 的第⼀个参数,指向⽤户数据。
* @param read_packet 用于重新填充缓冲区的函数,可以为NULL。
* 对于流协议,必须永远返回非0值,而不是适当的AVERROR代码。
* @param write_packet 用于写入缓冲区内容的函数,可以为NULL。
* 该函数不得更改输入缓冲区的内容。
* @param seek 用于跳转到指定字节位置的函数,可以为NULL。
* return  分配的 AVIOContext 对象,或者在失败时返回 NULL。
*/
avio_ctx = avio_alloc_context(io_buf,IO_BUFFER_SIZE,0,(void*)infd,read_packet,nullptr,nullptr);
//3 创建视频信息对象。
AVFormatContext 主要是数据存储 封装格式上下文结构体,也是统领全局的结构体,保存了视频文件封装格式相关信息。
fmt_ctx = avformat_alloc_context();
fmt_ctx->pb=avio_ctx; // 绑定I/O 上下文//4.打开io
ret = avformat_open_input(&fmt_ctx,NULL,NULL,NULL);//打开输入视频文件//5. 数据来源avio 读取一帧数据 存储到pkt 然后进行解码操作
ret = av_read_frame(fmt_ctx,pkt);
decode(codec_ctx,pkt,frame,outfd);

总结

ffmpeg提供了avio内存输入模式,让我们在对音视频处理时更得心应手。可以对内存中的数据直接操作,而不是读取io文件。 


http://www.ppmy.cn/devtools/105560.html

相关文章

Linux Kernel 6.12版预计将支持在崩溃后显示二维码 后续可以解码排查错误

7 月份时红帽工程师基于 systemd 255 版的全屏显示错误消息功能为 Linux Kernel 开发崩溃后显示二维码选项,这与微软在 Windows 10/11 蓝屏死机后显示二维码有异曲同工之妙。 不过 Linux 与 Windows 在崩溃时显示的二维码内容则有本质区别,因为 Window…

景联文科技:专业视频标注服务助力计算机视觉应用升级

视频标注是指对视频内容进行分析,并在视频中的特定对象、行为或事件上添加标签的过程。 视频标注包括: 1. 对象检测与跟踪 •对象检测:在每一帧中识别并定位特定的对象,如人、车、动物等。 •对象跟踪:跟踪这些对象…

牛客(数字统计)

[NOIP2010]数字统计 题目题解(77)讨论(41)排行面经 new 时间限制:1秒 空间限制:128M 知识点NOIP复赛字符串 校招时部分企业笔试将禁止编程题跳出页面,为提前适应,练习时请使用在线自测,而非本地IDE。 描述 请统计…

【Python篇】Python 类和对象:详细讲解(中篇)

文章目录 Python 类和对象:详细讲解前言9. 方法重写(Method Overriding)9.1 为什么需要方法重写?9.2 方法重写的基本示例9.3 代码详解 10. 多继承(Multiple Inheritance)10.1 多继承的概念10.2 多继承的示例…

ARP协议(原理,特点,报文格式,具体过程),ARP缓存(有效时间,为什么),ARP欺骗(定向断网,成为中间人),RARP简单介绍

目录 ARP协议 引入 介绍 原理 arp请求/响应 特点 报文格式 硬件类型 协议类型 硬件/协议地址长度 op(操作码) 过程 发送请求并处理 返回响应并处理 总结 arp缓存 介绍 arp表项的有效时间 解释 arp欺骗 介绍 定向断网 基于arp的成为中间人的方式 多向…

记一次某中学系统越权漏洞

一、确定测试站点 资产的收集依旧是按照弱口令与注册进站的思路进行寻找(具体思路可参考上篇文章,含有完整的收集思路与个人信息搜集方法)。最后确定了该站点,密码依旧存在弱口令: 于是利用默认密码成功登录该站点&am…

Golang | Leetcode Golang题解之第390题消除游戏

题目&#xff1a; 题解&#xff1a; func lastRemaining(n int) int {a1 : 1k, cnt, step : 0, n, 1for cnt > 1 {if k%2 0 { // 正向a1 step} else { // 反向if cnt%2 1 {a1 step}}kcnt >> 1step << 1}return a1 }

【图论简介】

图论简介 图论是一门数学分支&#xff0c;主要研究图&#xff08;Graph&#xff09;的性质、结构和应用。图论在计算机科学、网络理论、优化问题、生物信息学等多个领域都有广泛的应用。本文将简要介绍图论的基本概念、常见算法及其在实际中的应用。 一、图的基本概念 图&…