音视频解码 AVIO内存输入模式

news/2024/9/19 0:55:25/ 标签: 音视频

原因

根据下文,我们已经学会了如何从本地文件读取数据,对音视频进行解码操作得到原始数据。

ffmpeg 音视频解码-CSDN博客

现在有一个需求,网络读取到的数据,也就是内存数据如何直接进行解码操作?

本文就是介绍解决这个问题。

AVIO内存输入模式

AVIO内存输入模式是FFmpeg库中用于处理多媒体数据的一种方式,它允许数据直接从内存中读取或写入,而不是通过文件系统。这种模式的特点主要包括:

  1. 灵活性:AVIO内存输入模式提供了一种机制,可以直接从内存读取数据,适用于数据已经加载到内存中,或者需要从非文件源(如网络流)读取数据的情况 。

  2. 性能:由于数据直接在内存中处理,避免了磁盘I/O操作,这可以减少延迟,提高处理速度 。

  3. 自定义IO操作:用户可以自定义AVIO的输入和输出函数,实现特定的数据处理逻辑,例如裁剪、缩放或添加水印等操作,而无需先将数据写入磁盘 。

  4. 内存管理:使用AVIOContext结构体进行内存管理,其中包括了读写缓存、读写函数指针、读写偏移量等信息,支持自定义协议和数据源 。

  5. 高效数据处理:AVIO内存输入模式支持从内存流中读取媒体数据,解码器可以直接对这些数据进行解码,然后由播放器呈现,这提供了无缝的媒体播放体验 。

  6. 节约资源:由于避免了磁盘操作,这种模式可以减少对磁盘空间的占用,节省存储资源 。

  7. 应用广泛:适用于多种多媒体应用,包括在线视频播放、本地视频播放和媒体处理等场景 。

  8. 回调机制:通过回调函数read_packetwrite_packet实现自定义的读写逻辑,这些回调函数会在需要从输入源读取或向输出源写入数据时被调用 。

  9. 结构体管理AVIOContext结构体用于管理输入/输出缓冲区,通过avio_alloc_context()函数分配并初始化,支持设置自定义的读写和定位操作回调函数 。

  10. API支持:FFmpeg提供了丰富的API支持,包括av_malloc()avio_alloc_context()avcodec_find_decoder()av_read_frame()等,以实现内存输入和输出的高效管理 。

综上所述,AVIO内存输入模式以其高效、灵活和可定制的特点,在多媒体数据处理中发挥着重要作用。

主要使用流程和api介绍

下列主要介绍使用avio内存输入模式,进行初始化,数据来源绑定以及读取数据。

//1.自定义io  稍后必须用av_free()释放
io_buf=(uint8_t*)av_malloc(IO_BUFFER_SIZE);/**2.定义io上下文
* 分配并初始化一个AVIOContext对象,用于缓冲式I/O操作。
之后必须使用avio_context_free()函数释放该对象。* @param buffer 用于通过AVIOContext进行输入/输出操作的内存块。
* @param buffer_size 缓冲区的大小对于性能非常重要。
* 对于具有固定块大小的协议,应将其设置为该块大小。
* 对于其他协议,典型的大小是一个缓存页,例如4KB。* @param write_flag 设置为1表示缓冲区可写,否则设置为0。
* @param opaque 是 read_packet / write_packet 的第⼀个参数,指向⽤户数据。
* @param read_packet 用于重新填充缓冲区的函数,可以为NULL。
* 对于流协议,必须永远返回非0值,而不是适当的AVERROR代码。
* @param write_packet 用于写入缓冲区内容的函数,可以为NULL。
* 该函数不得更改输入缓冲区的内容。
* @param seek 用于跳转到指定字节位置的函数,可以为NULL。
* return  分配的 AVIOContext 对象,或者在失败时返回 NULL。
*/
avio_ctx = avio_alloc_context(io_buf,IO_BUFFER_SIZE,0,(void*)infd,read_packet,nullptr,nullptr);
//3 创建视频信息对象。
AVFormatContext 主要是数据存储 封装格式上下文结构体,也是统领全局的结构体,保存了视频文件封装格式相关信息。
fmt_ctx = avformat_alloc_context();
fmt_ctx->pb=avio_ctx; // 绑定I/O 上下文//4.打开io
ret = avformat_open_input(&fmt_ctx,NULL,NULL,NULL);//打开输入视频文件//5. 数据来源avio 读取一帧数据 存储到pkt 然后进行解码操作
ret = av_read_frame(fmt_ctx,pkt);
decode(codec_ctx,pkt,frame,outfd);

总结

ffmpeg提供了avio内存输入模式,让我们在对音视频处理时更得心应手。可以对内存中的数据直接操作,而不是读取io文件。 


http://www.ppmy.cn/news/1519840.html

相关文章

特种设备作业气瓶作业试题附答案

1.液化石油气瓶检验完毕后,逐只进行抽真空其主要目的是()。 A、提高气体的纯度 B、防止形成爆鸣气体 C、验证检验质量 D、提高充装速度 答案:B 2.无“()”监督检验钢印标记的气瓶严禁充装。 A、SC B、CC C、TS D、SS 答案:C 3.特种气瓶是指()。 A、盛装液化石油气…

微积分复习笔记 Calculus Volume 1 - 1.3Trigonometric Functions

1.3 Trigonometric Functions - Calculus Volume 1 | OpenStax

H264码流结构讲解

所谓的码流结构就是指:视频经过编码之后所得到的数据是怎样排列的,换句话说,就是编码后的码流我们该如何将一帧一帧的数据分离开来,哪一块数据是一帧图像,哪一块是另外一帧图像,只要了解了这个,…

【原型模式】

原型模式 Prototype Pattern 属于创建型模式是指原型实例指定创建对象的种类,并且通过拷贝这些原型创建新的对象,调用者不需要知道任何创建细节,不调用构造函数关键点:不通过 new 关键字,而是通过方法去创建对象 原型模…

高职院校人工智能训练师边缘计算实训室建设方案

一、引言 随着人工智能技术的飞速发展,边缘计算在提升数据处理效率、降低延迟、保护数据安全等方面展现出巨大潜力。高职院校作为技能型人才培养的重要基地,建设人工智能训练师边缘计算实训室,旨在培养掌握前沿技术、具备实战能力的复合型人才…

自定义Shell程序(内附源码)

在这篇博客中,我们将深入探讨如何自行编写一个简单的Shell程序,我们的示例程序是一个用C语言编写的名为myshell的小型命令行界面。这个项目不仅是对操作系统如何通过命令行与用户互动的一个实用介绍,同时也展示了环境变量、进程创建和命令解析…

Python 全栈系列265 使用ORM、Kafka、Apscheduler实现任务的并发处理

说明 这次的尝试,从框架来说是比较成功的。但是不太走运的是,有一个小的磁盘回收没有写,结果在我外出旅游的时候磁盘打满,导致任务没有按预期执行完,这点比较遗憾。 这里快速把实现的框架梳理一下,后续可…

差旅游记|绵阳:生活的意义在于体验

哈喽,你好啊,我是雷工! 几年前在微博上有个段子广为流传,说是梁朝伟哪天烦闷了,就去机场,赶上哪班就搭哪班,比如去伦敦广场晒太阳,发呆,喂鸽子,完了再搭最近…

Azure Data Factory 多选选项集不受支持

在用ADF往外部推数据时,会碰到CRM的一种数据类型,多选下拉框,如下图中的 如果我们把多选字段输入源字段中,会得到如下的提示 查询官方文档,则有如下的说法 所以把值往外推就需要变通下,例如使用一个文本字段…

爬虫:爬取MDPI杂志中国作者单位和邮箱

Python爬虫,简单来说,就是使用Python编程语言编写的一种自动化获取网页内容的程序。它们能够模拟人类浏览网页的行为,如访问网页、解析网页内容、甚至填写表单和点击链接等,从而帮助我们从互联网上大量收集和处理数据。Python爬虫…

dart 字符串截取

截取 String str "500001"; String lastThreeDigits str.substring(str.length - 3);在这个例子中,str.length - 3计算的是开始截取的索引位置,它从字符串的倒数第三个字符开始截取,一直到字符串的末尾。因此,lastTh…

Nginx学习(第二天)

一.Nginx高级配置 1.1 Nginx状态页 基于nginx 模块 ngx_http_stub_status_module 实现, 在编译安装nginx的时候需要添加编译参数 --with-http_stub_status_module 否则配置完成之后监测会是提示法错误 注意: 状态页显示的是整个服务器的状态,而非虚拟主机的状态 …

运维问题0001:MM模块-MIGO收货报错“消息号 M7036 对于采购订单********无收货可能”

1、问题解析: 该报错为SAP标准报错类型,针对公司不同配置/业务设计/校验逻辑,导致该问题原因比较多。 常见的问题总结如下: 1)输入的PO信息有问题(例如:PO输入错误/PO删除状态/PO冻结状态/PO已完成收货等…

【Next】3. 开发规范

笔记来源:编程导航 1、约定式路由 Next.js 使用 约定式路由,根据文件夹的结构和名称,自动将对应的 URL 地址映射到页面文件。 常见的几种路由规则如下: 1)基础规则:以 app 目录作为根路径,根…

企微获客链接 中文乱码问题处理

企微获客链接 中文乱码问题处理 问题背景问题处理补充内容 问题背景 为了推广产品,同时更好的服务客户,公司在接入企业微信后,需要用到企微获客链接相关推广操作,那么通过API 接口创建企微获客链接时,出现了中文乱码问…

MYSQL————联合查询

联合多个表进行查询 设计数据时把表进行拆分,为了消除表中字段的依赖关系,比如部分函数依赖,传递依赖,这时会导致一条SQL查出来的数据,对于业务来说是不完整的,我们就可以使用联合查询把关系中的数据全部查…

Java 入门指南:Java 并发编程 —— Condition 灵活管理线程间的同步

Condition Condition 是 Java 并发编程中的一种高级同步工具,它可以协助线程之间进行等待和通信。提供了一种比传统的 wait() 和 notify() 更加灵活的方式来管理线程间的同步。Condition 接口通常与 Lock 接口一起使用,允许更细粒度的控制线程的等待和唤…

DNS服务器的配置(服务名named,端口53)

目录 前言 配置文件 DNS服务器的配置 主配置文件 扩展配置文件 区域配置文件 重启服务 配置防火墙 配置客户端dns 前言 DNS服务器的主要作用是将人类可读的域名转换为机器可读的IP地址,从而方便用户访问互联网资源。 在互联网中,设备需要通过I…

前端性能优化:使用Vue3+TS+Canvas对图片进行压缩后再上传,优化带宽,减小服务器存储成本,减少流量损耗

在上传图片之前,对图片进行压缩。看到这里是不是有点懵,前端怎么压缩图片呢,这不应该是后端做的吗? 但是我在开发的时候接到了这样一个需求,要求对用户上传的图片进行一定的压缩,而且并且尽量还原图片的清…

vue项目中scss文件导出,js文件引入scss文件时为空{}

解决办法一: 将scss文件重命名为 ‘原名.module.scss’ 解决办法二:降低vue脚手架的版本 "vue/cli-plugin-babel": "~4.5.0", "vue/cli-plugin-eslint": "~4.5.0", "vue/cli-service": "~4.5.0…