ArmSom------摄像头开发指南(二)

一. 简介

RK3588从入门到精通
开发板：ArmSoM-W3
Kernel：5.10.160
OS：Debian11

上篇文档介绍了rockchip平台怎么配置MIPI-CSI的通路，本⽂主要介绍在Rockchip平台下Camera相关测试命令

二. 摄像头连接

ArmSoM-W3开发板与imx415连接图如下:
在这里插入图片描述

注意

排线的金属引脚朝向板子

三. 使用摄像头

连接摄像头模块并上电后，可查看开机日志。

root@linaro-alip:/# dmesg | grep imx415
[    2.547754] imx415 3-001a: driver version: 00.01.08
[    2.547767] imx415 3-001a:  Get hdr mode failed! no hdr default
[    2.547819] imx415 3-001a: Failed to get power-gpios
[    2.547826] imx415 3-001a: could not get default pinstate
[    2.547831] imx415 3-001a: could not get sleep pinstate
[    2.547850] imx415 3-001a: supply dvdd not found, using dummy regulator
[    2.547918] imx415 3-001a: supply dovdd not found, using dummy regulator
[    2.547945] imx415 3-001a: supply avdd not found, using dummy regulator
[    2.613843] imx415 3-001a: Detected imx415 id 0000e0
[    2.613890] rockchip-csi2-dphy csi2-dphy0: dphy0 matches m00_b_imx415 3-001a:bus type 5
[   18.386174] imx415 3-001a: set fmt: cur_mode: 3864x2192, hdr: 0
[   18.389067] imx415 3-001a: set exposure(shr0) 2047 = cur_vts(2250) - val(203)

如果没有报错，那表明模块在正常运行，在Linux系统中，你可以使用多种方法来访问和利用该摄像头设备。

3.1 使用命令行工具

media-ctl 和 v4l2-ctl 是在Linux环境下用于配置和管理视频和多媒体设备的命令行工具。它们通常与V4L2（Video for Linux 2）子系统一起使用，用于管理摄像头、视频采集卡、显示设备和其他多媒体硬件的设置和参数。

media-ctl工具的操作是通过/dev/medio0等media 设备，它管理的是Media的拓扑结构中各个节点的
format、大小、链接。
v4l2-ctl工具则是针对/dev/video0，/dev/video1等 video设备，它在video设备上进行set_fmt、
reqbuf、qbuf、dqbuf、stream_on、stream_off 等一系列操作。

 n为4的倍数(0,1,2,3…)/dev/videon+0：视频输出 SP主通道/dev/videon+1：视频输出 MP自身通道/dev/videon+2：3A统计/dev/videon+3：3A参数设置

3.1.1 显示拓扑结构

使用以下命令可以显示拓扑结构：

media-ctl -p -d /dev/media0

主要关注的是有没有找到Sensor的Entity。如果没有找到Sensor的Entity，说明Sensor注册有问题。

开发板上接上摄像头后可以看到如下的输出：

root@linaro-alip:# media-ctl -p -d /dev/media0............
- entity 58: rockchip-csi2-dphy0 (2 pads, 2 links)type V4L2 subdev subtype Unknown flags 0device node name /dev/v4l-subdev1pad0: Sink[fmt:SGBRG10_1X10/3864x2192@10000/300000 field:nonecrop.bounds:(12,16)/3840x2160]<- "m00_b_imx415 3-001a":0 [ENABLED]pad1: Source-> "rockchip-mipi-csi2":0 [ENABLED]- entity 63: m00_b_imx415 3-001a (1 pad, 1 link)type V4L2 subdev subtype Sensor flags 0device node name /dev/v4l-subdev2pad0: Source[fmt:SGBRG10_1X10/3864x2192@10000/300000 field:nonecrop.bounds:(12,16)/3840x2160]-> "rockchip-csi2-dphy0":0 [ENABLED]

3.2.2 查看摄像头信息

使用命令列出所有摄像头设备：

root@linaro-alip:/home/linaro# v4l2-ctl --list-devices
rk_hdmirx (fdee0000.hdmirx-controller):/dev/video20rkisp-statistics (platform: rkisp):/dev/video18/dev/video19rkcif-mipi-lvds2 (platform:rkcif):/dev/media0rkcif (platform:rkcif-mipi-lvds2):/dev/video0/dev/video1/dev/video2/dev/video3/dev/video4/dev/video5/dev/video6/dev/video7/dev/video8/dev/video9/dev/video10rkisp_mainpath (platform:rkisp0-vir0):/dev/video11/dev/video12/dev/video13/dev/video14/dev/video15/dev/video16/dev/video17/dev/media1

其中/dev/video11就是这个摄像头的设备。

查看设备的预览支持格式：

root@linaro-alip:/# v4l2-ctl --list-formats-ext --device /dev/video11
ioctl: VIDIOC_ENUM_FMTType: Video Capture Multiplanar[0]: 'UYVY' (UYVY 4:2:2)Size: Stepwise 32x16 - 3840x2160 with step 8/8[1]: 'NV16' (Y/CbCr 4:2:2)Size: Stepwise 32x16 - 3840x2160 with step 8/8[2]: 'NV61' (Y/CrCb 4:2:2)Size: Stepwise 32x16 - 3840x2160 with step 8/8[3]: 'NV21' (Y/CrCb 4:2:0)Size: Stepwise 32x16 - 3840x2160 with step 8/8[4]: 'NV12' (Y/CbCr 4:2:0)Size: Stepwise 32x16 - 3840x2160 with step 8/8[5]: 'NM21' (Y/CrCb 4:2:0 (N-C))Size: Stepwise 32x16 - 3840x2160 with step 8/8[6]: 'NM12' (Y/CbCr 4:2:0 (N-C))Size: Stepwise 32x16 - 3840x2160 with step 8/8

查看设备的所有信息：

root@linaro-alip:/home/linaro# v4l2-ctl --all --device /dev/video11
Driver Info:Driver name      : rkisp_v6Card type        : rkisp_mainpathBus info         : platform:rkisp0-vir0Driver version   : 2.0.0Capabilities     : 0x84201000Video Capture MultiplanarStreamingExtended Pix FormatDevice CapabilitiesDevice Caps      : 0x04201000Video Capture MultiplanarStreamingExtended Pix Format
Media Driver Info:Driver name      : rkisp0-vir0Model            : rkisp0Serial           : Bus info         : Media version    : 5.10.110Hardware revision: 0x00000000 (0)Driver version   : 5.10.110
Interface Info:ID               : 0x03000007Type             : V4L Video
Entity Info:ID               : 0x00000006 (6)Name             : rkisp_mainpathFunction         : V4L2 I/OPad 0x01000009   : 0: SinkLink 0x0200000a: from remote pad 0x1000004 of entity 'rkisp-isp-subdev': Data, Enabled
Priority: 2
Format Video Capture Multiplanar:Width/Height      : 3840/2160Pixel Format      : 'NV12' (Y/CbCr 4:2:0)Field             : NoneNumber of planes  : 1Flags             : Colorspace        : DefaultTransfer Function : DefaultYCbCr/HSV Encoding: DefaultQuantization      : Full RangePlane 0           :Bytes per Line : 3840Size Image     : 12441600
Selection Video Capture: crop, Left 0, Top 0, Width 3840, Height 2160, Flags: 
Selection Video Capture: crop_bounds, Left 0, Top 0, Width 3840, Height 2160, Flags: 
Selection Video Output: crop, Left 0, Top 0, Width 3840, Height 2160, Flags: 
Selection Video Output: crop_bounds, Left 0, Top 0, Width 3840, Height 2160, Flags: Image Processing Controlspixel_rate 0x009f0902 (int64)  : min=0 max=1000000000 step=1 default=1000000000 value=356800000 flags=read-only, volatile

3.2.3 显示图像

使用v4l2-ctl抓一帧图片：

root@linaro-alip:/# v4l2-ctl --verbose -d /dev/video11 --set-fmt-video=width=3840,height=2160,pixelformat='NV12' --stream-mmap=4 --stream-skip=3 --stream-to=/data/4k_nv12.yuv --stream-count=4 --stream-poll
VIDIOC_QUERYCAP: ok
VIDIOC_G_FMT: ok
VIDIOC_S_FMT: ok
Format Video Capture Multiplanar:Width/Height      : 3840/2160Pixel Format      : 'NV12' (Y/CbCr 4:2:0)Field             : NoneNumber of planes  : 1Flags             :Colorspace        : DefaultTransfer Function : DefaultYCbCr/HSV Encoding: DefaultQuantization      : Full RangePlane 0           :Bytes per Line : 3840Size Image     : 12441600VIDIOC_REQBUFS returned 0 (Success)VIDIOC_QUERYBUF returned 0 (Success)VIDIOC_QUERYBUF returned 0 (Success)VIDIOC_QUERYBUF returned 0 (Success)VIDIOC_QUERYBUF returned 0 (Success)VIDIOC_QBUF returned 0 (Success)VIDIOC_QBUF returned 0 (Success)VIDIOC_QBUF returned 0 (Success)VIDIOC_QBUF returned 0 (Success)VIDIOC_STREAMON returned 0 (Success)
cap dqbuf: 0 seq:      0 bytesused: 12441600 ts: 4953.039121 delta: 4953039.121 ms (ts-monotonic, ts-src-eof)
cap dqbuf: 1 seq:      1 bytesused: 12441600 ts: 4953.073968 (ts-monotonic, ts-src-eof)
cap dqbuf: 2 seq:      2 bytesused: 12441600 ts: 4953.106558 (ts-monotonic, ts-src-eof)
cap dqbuf: 3 seq:      3 bytesused: 12441600 ts: 4953.139114 (ts-monotonic, ts-src-eof)
cap dqbuf: 0 seq:      4 bytesused: 12441600 ts: 4953.173258 fps: 29.82 (ts-monotonic, ts-src-eof)
cap dqbuf: 1 seq:      5 bytesused: 12441600 ts: 4953.206177 fps: 29.93 (ts-monotonic, ts-src-eof)
cap dqbuf: 2 seq:      6 bytesused: 12441600 ts: 4953.239030 fps: 30.01 (ts-monotonic, ts-src-eof)

参数说明：

-d：摄像头对应设备文件
–set-fmt-video：指定了宽高及pxielformat(用FourCC表示)。NV12即用FourCC表示的pixelformat
–stream-mmap：指定buffer的类型为mmap，即由kernel分配的物理连续的或经过iommu映射的buffer
–stream-to：指定帧数据保存的文件路径
–stream-skip：指定丢弃(不保存到文件)前3帧
–stream-count：指定抓取的帧数，不包括–stream-skip丢弃的数量

抓取的图片使用adb工具拷贝到Windows下用7YUV工具打开，也可以用ffplay命令打开

ffplay是FFmpeg提供的一个极为简单的音视频媒体播放器（由ffmpeg库和SDL库开发），可以用于音视频播放、可视化分析，提供音视频显示和播放相关的图像信息、音频的波形等信息，也可以用作FFmpeg API的测试工具使用。

使用 ffplay 非常简单，只需在终端中运行以下命令来播放媒体文件：

ffplay /data/4k_nv12.yuv -f rawvideo -pixel_format nv12 -video_size 3840x2160

3.2.3 显示视频

使用v4l2可以录制视频：

v4l2-ctl --verbose -d /dev/video11 --set-fmt-video=width=3840,height=2160,pixelformat='NV12' --stream-mmap=4 --set-selection=target=crop,flags=0,top=0,left=0,width=3840,height=2160 --stream-to=out.yuv

使用ffplay播放：

ffplay -f rawvideo -video_size 3840x2160 -pixel_format nv12 out.yuv

3.3 使用多媒体框架应用程序

GStreamer：GStreamer是一种多媒体框架，你可以使用它来构建自定义的多媒体应用程序，捕获摄像头视频，进行处理和展示。

你可以使用以下GStreamer管道捕获视频：

gst-launch-1.0 v4l2src device=/dev/video11 ! video/x-raw,format=NV12,width=3840,height=2160,framerate=30/1 ! videoconvert ! autovideosink

v4l2src：从 /dev/video11 捕获视频数据。
video/x-raw：指定输出数据格式为原始视频，format 参数设置为 NV12，width 设置为 3840，height 设置为 2160，framerate 设置为 30fps。
videoconvert：执行格式转换，确保输出数据适用于后续的元素。
autovideosink：自动选择适当的视频输出插件，将视频显示在屏幕上。

显示如下：

在这里插入图片描述

注意：显示器的分辨率是1920x1080，摄像头的分辨率是3840x2160，导致如左上角画面显示不全，双击边框可以得到分辨率是1920x1080的画面。

下面有一个简单的Python示例，用于创建一个GStreamer管道并启动捕获视频可供参考：

import gi
gi.require_version('Gst', '1.0')
from gi.repository import GstGst.init(None)# 创建一个新的GStreamer管道
pipeline = Gst.Pipeline()# 创建元素，设置摄像头设备和分辨率
src = Gst.ElementFactory.make("v4l2src", "v4l2-source")
src.set_property("device", "/dev/video11")caps = Gst.Caps.from_string("video/x-raw,format=NV12,width=3840,height=2160,framerate=30/1")
filter = Gst.ElementFactory.make("capsfilter", "filter")
filter.set_property("caps", caps)convert = Gst.ElementFactory.make("videoconvert", "converter")
sink = Gst.ElementFactory.make("autovideosink", "videosink")# 将元素添加到管道中
pipeline.add(src)
pipeline.add(filter)
pipeline.add(convert)
pipeline.add(sink)# 链接元素
src.link(filter)
filter.link(convert)
convert.link(sink)# 设置管道的状态为播放
pipeline.set_state(Gst.State.PLAYING)try:# 在此处添加自定义的处理逻辑# 你可以添加信号处理、保存视频到文件、处理图像等操作pass
except KeyboardInterrupt:pass# 停止管道并释放资源
pipeline.set_state(Gst.State.NULL)