RAW、RGB 、YUV三种图像格式理解

1. 背景

在工作中，经常听到用来描述图像格式的RAW，RGB与YUV，但一直没有系统的进行了解，处于局部认知的理解下，现在将相关理解记录。

颜色
- 颜色是人眼感知到的现象，它是由光波的频率和强度所决定的，仅仅存在于人的眼睛和大脑中，因此为了方便描述颜色，引入了色彩空间。
色彩空间
- 色彩空间（Color Space）是用于描述、定义和组织颜色的一种方法，它是一个三维坐标系，其中每个坐标都代表一种颜色。在计算机图形学中，色彩空间被广泛应用于调整、转换和操纵颜色。在色彩空间中，经常使用的三种坐标是 RGB（红色、绿色、蓝色）。
  - RGB：常用于在显示器或电视屏幕上显示颜色，使用红、绿和蓝三种原色来组合出各种颜色，是一种加法颜色模型。

色彩空间

RAW
- RAW 图像是指图像传感器数字图像，这种图像未经过任何处理，未压缩和未降噪，保留了其原始数据，以便后续的数字后期制作和处理。
采集过程
- 环境光/补光灯照在物理表面形成反射 –> 镜头汇聚光线 –> 图像传感器彩色滤镜阵列(CFA)将单色光照在光电二极管 –> 光电转换 –> ADC采集，其他模块转换排列为设置的 bayer格式的RAW。

RAW 一般是使用 bayer 格式进行排列，每个像素实际只包含单种特定颜色的光的强度(比如单个像素只能为R/G/B亮度信息)。

彩色滤镜CFA

由于人眼对于绿色更加敏感，所以加重了其在感光点的权重，Bayer格式中的G分量都是B、R分量的两倍。

排列1	排列2	排列3	排列4
RG GB	BG GR	GR BG	GB RG

在这里插入图片描述

RGB 图像是一种数字图像格式，其名称既指代了该图像格式所使用的颜色空间（红、绿、蓝），也指代了图像本身，其中包含了红、绿、蓝三色通道的像素值。

在 RGB 空间中的颜色可以通过各种亮度级别的三种原色进行表示，通常使用 8 位整数值（0-255）来描述每个通道的亮度级别。因此，成像设备所成功捕捉到的颜色信息可以进行比较精确的映射和表示。

常用的 RGB 格式包括颜色通道的信息位数、每种颜色可以表示的颜色数量和典型应用场景等。

RGB 格式	颜色通道信息位数	可表示的颜色数量	典型应用场景
RGB888	每种通道均为 8 位	16,777,216	数字图像处理、计算机游戏、电影和摄影等
RGB565	R: 5位, G: 6位, B: 5位	65,536	嵌入式应用、机器视觉、数字标志等
RGBA8888	R,G,B 各 8 位，A 通道为 8 位	16,777,216	图像编辑、视觉效果、移动应用等
RGB332	每个通道均为 3 位，共 8 位	256	简单图形、低成本设备、老式显示器等

注意，这里列出的应用场景只是典型的用途，实际应用还要根据具体情况进行选择。

YUV 图像是一种将图像亮度（Y）和颜色（U、V）分离的数字图像格式，常用于视频编码和数字图像处理的领域。下面介绍一下常见的 YUV 采样与排列方式。

在 YUV 图像格式中，针对颜色信息的采样方式有以下几种：

4:4:4：Y、U、V 三个分量的采样比例均为 1：1，没有任何采样压缩，图像质量最高，但是处理的数据量也最大，需要更多的存储和传输带宽。
4:2:2：Y 分量的采样比例为 1：1，U、V 分量的采样比例为 1：2，即在水平方向上每两个 Y 像素对应一个 UV 像素，垂直方向上不进行压缩，可支持更多的压缩算法和更高的编码效率。
4:2:0：Y 分量的采样比例为 1：1，U、V 分量的采样比例为 1：2，即在水平和垂直方向上每两个 Y 像素对应一个 UV 像素。是很多视频编解码标准的默认格式之一，可在较小的数据量和带宽开销下，实现较高的编解码效率。
4:1:1：Y 分量的采样比例为 1：1，U、V 分量的采样比例为 1：4，即在水平方向上每四个 Y 像素对应一个 UV 像素，垂直方向上不进行压缩，在一些比较老旧的视频编解码标准中可能会使用。

在 YUV 图像格式中，针对采样后的 Y、U、V 分量的排列方式有以下几种：

Planar：将 Y、U、V 三个分量单独存放在不同的内存区域中，每个分量都是独立的一维数组，三个数组都存储着相同的宽度和高度。
Packed：将 Y、U、V 三个分量数据以一种交叉存储的方式来存放，三个分量紧密地排列在内存中，常见的排列方式有 YYUV、YVYU、UYVY 等。
Semi-Planar：将 U、V 两个色度分量合并在一起作为一个独立的数组 VU（或者 UV），与亮度分量 Y 组成一个二维数组，常见的排列方式有 YUV420、YUV422 等。
Interleaved：将 RGB 24 位像素格式进行 YUV 转换后得到的 YUV422_YUYV 格式，即 YUV 分量以交错方式存储在内存中，Y 和 U、V 之间依次交替进行存储。

总之，对于 YUV 图像格式，常见的采样方式包括 4:4:4、4:2:2、4:2:0 和 4:1:1 等，常见的排列方式包括 Planar、Packed、Semi-Planar 和 Interleaved 等。根据不同的应用场景和编解码标准的需求，通常会选择不同的采样和排列方式。

下面是YV12（YUV420）格式简图以及内部排布图：
在这里插入图片描述