2020年5月14日,索尼发布了全球首款具备AI处理的CMOS图像传感器IMX500
可以从下面的这张表格,看到IMX500的一些关键指标:
用一句话来概括就是:通过3D堆叠,将sensor单元与memory&computing单元集成起来,在一个芯片内部完成对图像信号的感知、存储和计算。
这样带来的好处就是:low latency,low power,low cost,more secure
low latency:3D集成使得sensing单元与memory&computing单元的物理距离更近,数据移动更快;
low power:任务运行的大部分功耗在于数据在memory与computing单元之间的频繁搬运,memory与computing单元在一个chip,功耗降低;
low cost:IMX500 使用行业标准的 M12(S 卡口)镜头。部署新的 AI 模型,并将相同的硬件重用于不同的任务;
more secure:获得到的图像数据从不离开整个chip,输出的只有神经网络运行结果,保护原始数据安全
sony官方对于IMX500的信息披露很少,可以关注一下ISSCC 2021会议sony的报告
上图为IMX500集成示意图和实拍图
图片的上半部分是IMX500的模块运算示意图,外界图像信息通过pixel array采样,经过ADC转换,交由后续的ISP(image signal processor:对输入CNN图像进行预处理)和DSP(digital signal processor:运行CNN模型)进一步处理。图片的下半部分可以看到,通过selector进行选择,可以输出原始图像数据和CNN网络运行结果。