音视频入门

embedded/2024/10/9 12:57:12/

一个视频,一秒内普遍大于等于25帧。

入门知识:

1.帧,一张画面就是一帧。一个视频就是由许许多多帧组成的。

帧率,单位时间内帧的数量。单位:帧/秒 或 fps。

分类:I帧,P帧,B帧

I帧:不需要参考其他画面而生成,解码时仅靠自己就重构完整图像;

P帧:根据本帧与相邻的前一帧(I帧或P帧)的不同点来压缩本帧数据

B帧:B 帧图像采用双向时间预测,可以大大提高压缩倍数。

2.色彩空间

1)RGB:red, green, blue 三种颜色 

2)YUV:亮度值:Y,色彩度UV(U:蓝色通道与亮度的差值,V:红色通道与亮度的差值)(兼容黑白电视)

声音是由物体的振动产生的,这种振动引起了周围空气压强的振荡,我们称这种振荡的函数表现形式为波形.声音有振幅,振幅的主观感觉是声音的大小。计算机并不直接使用连续平滑的波形来表示声音,它是每隔固定的时间对波形的幅值进行采样,用得到的一系列数字量来表示声音。

3.采样率:即声音的采样频率,采样率要大于原声波频率的2倍,人耳能听到的为[20Hz, 20Khz],所以采样率为[40,40KHz]。

4.采样位数:计算机内有采样器来记录振幅,通常有8 16 32位(采样值的精度取决于它用多少位来表示)

如果对视频及音频不做压缩编码,那么对内存的消耗是极大的。

未经编码的原始音视频,数据量至底有多大?
以一个分辨率 1920×1280 ,帧率 30 的视频为例:
共: 1920×1280=2,073,600 Pixels 像素),每个像素点是 24bit
也就是: 每幅图片 2073600×24=49766400 bit 8 bit (位) =1 byte (字节);
所以: 49766400bit=6220800byte≈ 6.22MB
这是一幅 1920×1280 图片的原始大小( 6.22MB ,再乘以帧率 30
也就是说: 每秒视频的大小是 186.6MB 每分钟大约是 11GB

视频编码常见编码方式:H264,H265。

音频编码常见编码方式:AAC

ACC格式主要为两种:ADIF,ADTS.

        ADIF:只有一个统一的头,必须在得到所有数据后解码。

        ADTS:ADTS可以在任意帧解码,它每一帧都有头信息。

硬解码和软解码

软解码:利用CPU的来解码,使用统一的算法,兼容性很好。

硬解码:利用专门的解码芯片来解码,速度快,但是容易因为质量问题出现兼容性问题。

mp4, avi, mov等常见的音视频格式,是包裹了音视频编码数据的容器,用来把以特定编码标准编码的视频流和音频流混在一起,成为一个文件。

音视频同步方式:Audio Master:同步视频到音频         Video Master:同步音频到视频

External Clock Master:同步音频和视频到外部时钟。

一般情况下 Audio Master > External Clock Master > Video Master


http://www.ppmy.cn/embedded/125076.html

相关文章

golang中如何读取nacos配置中心的信息

golang中如何读取nacos配置中心的信息 golang中如何读取nacos配置中心的信息读取步骤1. 安装 Nacos Go 客户端:2. 编写代码读取配置: 代码说明运行代码注意事项 golang中如何读取nacos配置中心的信息 在 Go 语言中读取 Nacos 配置信息,以下是…

无人机+无人车+机器狗+无人船:大规模组网系统技术详解

无人机、无人车、机器狗和无人船的大规模组网系统技术,是实现海陆空全空间无人设备协同作业的关键。这种组网系统技术通过集成先进的通信、控制、感知和决策技术,使得不同类型的无人平台能够高效、准确地完成各种复杂任务。以下是对该技术的详细解析&…

YOLOv8改进 - 注意力篇 - 引入SimAM注意力机制

一、本文介绍 作为入门性篇章,这里介绍了SimAM注意力在YOLOv8中的使用。包含SimAM原理分析,SimAM的代码、SimAM的使用方法、以及添加以后的yaml文件及运行记录。 二、SimAM原理分析 SimAM官方论文地址:SimAM文章 SimAM官方代码地址&#…

R语言绘制折线图

折线图是实用的数据可视化工具,通过连接数据点的线段展示数据随时间或变量的变化趋势。在经济、科学、销售及天气预报等领域广泛应用,为决策和分析提供依据。它能清晰呈现经济数据动态、助力科学研究、反映企业销售情况、预告天气变化,以简洁…

“网络安全等级保护测评入门:基础概念与重要性“

网络安全等级保护测评(简称“等保测评”)是依据国家网络安全等级保护制度,对信息系统安全等级进行评估和评定的过程。它是提高信息系统安全性、保障信息安全的重要手段。以下是关于等保测评的基础概念与重要性的详细解读: 一、等…

Chromium 中js navigator对象c++实现分析

一、Navigator 对象 Navigator 对象包含有关浏览器的信息。 前端测试例子&#xff1a; <!DOCTYPE html> <html> <head> <meta charset"utf-8"> <title>接口测试</title> </head> <body><div id"example&q…

火山引擎边缘智能亮相“地瓜机器人开发者大会”,推动端侧大模型应用与落地

9 月 20 日&#xff0c;2024 地瓜机器人开发者日暨新品发布在深圳科创学院南山总部成功举办&#xff0c;火山引擎边缘智能受邀出席此次会议。会议以“加速智能生长”为主题&#xff0c;发布了地瓜机器人新一代机器人开发者套件 RDK X5 &#xff0c;同时&#xff0c;会议汇聚了中…

Python 基于 flask 的前程无忧招聘可视化系统,Python大数据招聘爬虫可视化分析

博主介绍&#xff1a;✌程序员徐师兄、7年大厂程序员经历。全网粉丝12w、csdn博客专家、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ &#x1f345;文末获取源码联系&#x1f345; &#x1f447;&#x1f3fb; 精彩专栏推荐订阅&#x1f447;…