ISP图像处理pipeline简介2

ops/2024/10/11 13:20:23/

上一篇文章介绍了ISP pipeline中的3A和镜头传感器校正。现在继续介绍pipeline中的其它流程。

在这里插入图片描述
上一篇文章主要讲了镜头,sensor相关的处理流程,pipeline接下来的一步是颜色插值。
在这里插入图片描述
sensor直接输出的图片是raw格式,需要经过isp处理之后才是平时常见的JPEG等格式的图片。

颜色插值

颜色插值也叫解马赛克,或者叫raw2rgb, 即raw转rgb. 关于解马赛克可以参考这篇文章:拜耳阵列(Bayer Pattern)和解马赛克简介
之所以需要插值是因为sensor的pixel,每个只能记录rgb三个分量中的一个,因此需要通过插值来计算计算其它两个色彩分量的值。
典型的传感器拜耳阵列:
在这里插入图片描述

在这里插入图片描述
上图中,左侧就是sensor输出的raw格式图片放大图,是一个马赛克图,经过插值之后得到一个rgb图。
在这里插入图片描述

色彩校正

经过解马赛克之后,就从raw域进入到rgb域
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
色彩校正简单讲就是调色,的目标是匹配人类(或机器)感知
在这里插入图片描述

在这里插入图片描述
色彩的调节对最终画面效果的表现力起着很重要的作用。这一步和大家用ps调色是一样的,只不过isp通常是有一些内置的算法来进行调色。比如:CCM, CLUT
CCM: color correction matrix, CCM会影响最终成像的色彩是否正确。
CLUT:color lookup table,颜色查找表,通过LUT,你可以将一组RGB值输出为另一组RGB值,从而改变画面的曝光与色彩。lut在消费类isp中应用十分广泛。

Tone Mapping 色调映射

色调映射是图像处理和计算机图形学中使用的一种技术,用于将一组颜色映射到另一组颜色,提高图像在动态范围有限的显示设备中的高动态范围 (HDR)表现 。CRT 或 LCD 显示器以及投影仪的动态范围都有限,不足以再现自然场景中存在的整个光强度范围。

色调映射的目标可以根据特定应用的不同而有所不同。在某些情况下,仅生成美观的图像是主要目标,而其他应用程序可能强调再现尽可能多的图像细节,或最大化图像对比度
在这里插入图片描述

参考:Tone Mapping

在这里插入图片描述

Gamma Correction

Gamma Correction ISP系统中极其重要的一环,Gamma 定义了像素的数值与其实际亮度之间的关系。如果没有Gamma Correction,数码相机捕捉到的阴影就不会像我们的眼睛(在标准显示器上)那样的表现。
Gamma Correction校正的原因之一是sensor感知光线的方式和人眼不太一样。使用数码相机时,当两倍数量的光子撞击传感器时,它会接收到两倍的信号(“线性”关系)。然而人眼不是这样,人眼可能只感知到两倍的光只是亮了几分之一,即人眼对光强度的感知是非线性的,而且光强度越大这种非线性就越强。
在这里插入图片描述

Gamma Correction图像可以更有效地存储影调信息。由于Gamma Correction重新映射的影调水平更接近我们的眼睛感知它们的方式,因此描述给定影调范围所需的比特位更少。否则,将花费过多的比特位来描述较亮的色调(相机相对更敏感),而描述较暗的色调将留下不足的比特位。
在这里插入图片描述


http://www.ppmy.cn/ops/5446.html

相关文章

reportlab 生成pdf文件 (python)

1 安装 pip install reportlab2 应用场景 通过网页动态生成PDF文档大量的报告和数据发布用XML一步生成PDF 官网案例 3 PLATYPUS Platypus是“Page Layout and Typography Using Scripts”,是使用脚本的页面布局和印刷术的缩写,这是一个高层次页面布局…

通过excel获取网站的数据信息

通过excel获取网站的数据信息,有时候网站数据的表格很多数据,需要梳理到表格中,如何用excel表格直接读取网站数据 备注问题:表格内容有时候在一行,很长,不方便处理 bug问题:不要多选&#xff0…

html5与css3前端学习笔记

一、前端页面开发流程 创建页面项目目录使用Photoshop对效果图切图,切出网页制作中需要的小图片将装饰类图像合并,制作成雪碧图结合Photoshop和代码编辑器,参照效果图,进行html和css代码书写,制作页面 二、CSS权重 …

C++进阶——继承

前言:从这篇文章开始,我们进入C进阶知识的分享,在此之前,我们需要先来回顾一个知识: C语言有三大特性,分别是封装、继承和多态,而我们前边所分享的各种容器类,迭代器等,…

vue admin pro 角色不同显示不同页面

从后端获取动态路由,并根据不同角色侧边栏有不同页面,此框架有写好我们只需做部分修改,文章最后贴出渲染页面代码 1,src/config/net.config.js中按照官方注释改后端接口 // 默认的接口地址,开发环境和生产环境都会走…

[阅读笔记18][CITING]LARGE LANGUAGE MODELS CREATE CURRICULUM FOR INSTRUCTION TUNING

这篇论文是23年10月提交到arxiv上的,也是用大模型蒸馏小模型的思路。 作者在这篇论文中提出了课程指令微调,大体流程如下图所示,教师模型给出一个问题,让学生模型回答一下,这时候学生回答大概率不够准确,这…

算法训练营第25天回溯(分割)

回溯算法(分割) 131.分割回文串 力扣题目链接(opens new window) 题目 给定一个字符串 s,将 s 分割成一些子串,使每个子串都是回文串。 返回 s 所有可能的分割方案。 示例: 输入: “aab” 输出: [ [“aa”,“b”], [“a”,“…

23年新算法,SAO-SVM,基于SAO雪消融算法优化SVM支持向量机回归预测(多输入单输出)-附代码

SAO-SVM是一种基于SAO雪消融算法优化的支持向量机(SVM)回归预测方法,适用于多输入单输出的情况。下面是一个简要的概述,包括如何使用SAO-SVM进行回归预测的步骤: 步骤: 1. 数据准备: 收集并准…