文章目录
- 前言
- 流程
- hicamera
- histream
- hiuvc
- 模块分析
- 总结
前言
海思mpp例子里面的uvc_app源码学习笔记。
看了半天,以为是3516读取usb摄像头数据的,结果是实现一个usb摄像头的。可以搞个公对公的usb线测试下。
大概流程是从摄像头获取图像,进行处理或者编码,按照v4l2的标准操作字符设备实现图像的输出。基本思想是一个生产者和消费者的模型,用两个队列做图像缓冲区。
流程
读取配置文件,使用了一个开源的库iniparser库,配置文件格式是ini文件。
if (create_config_svc("./uvc_app.conf") != 0){goto ERR;}
UVC全称为USB Video Class,即:USB视频类,UAC全称为USB Audio Class,即:USB音频类。
创建分别用于存放图像或者声音的缓存,实质上是一个链表实现的队列。
if (create_uvc_cache() != 0){goto ERR;}if (g_uac){if (create_uac_cache() != 0){goto ERR;}}
初始化以及运行业务程序。
if (get_hicamera()->init() != 0 ||get_hicamera()->open() != 0 ||get_hicamera()->run() != 0){goto ERR;}
退出时释放资源等等。
hicamera
hicamera结构体可以看作相机或者最顶层方法的封装,包括初始化、打开、关闭、运行等。
static hicamera __hi_camera =
{.init = __init,.open = __open,.close = __close,.run = __run,
};
init初始化方法:初始化hiuvc、histream、hiuac、hiaudio。
open打开方法:打开hiuvc、hiaudio。
close关闭方法:关闭hiuvc、histream、hiuac、hiaudio。
run运行方法:启动两个线程运行hiuvc、hiuac。
histream
typedef struct histream
{struct stream_control_ops *mpi_sc_ops;struct processing_unit_ops *mpi_pu_ops;struct input_terminal_ops *mpi_it_ops;struct extension_unit_ops *mpi_eu_ops;int streaming;int exposure_auto_stall;int brightness_stall;
} histream;static struct histream __hi_stream = {.mpi_sc_ops = NULL,.mpi_pu_ops = NULL,.mpi_it_ops = NULL,.mpi_eu_ops = NULL,.streaming = 0,.exposure_auto_stall = 0,.brightness_stall = 0,
};
结构体有些复杂,这里是和mpp驱动相关的部分,在sample_venc_config函数中进行注册。
HI_VOID sample_venc_config(HI_VOID)
{printf("\n@@@@@ HiUVC App Sample @@@@@\n\n");histream_register_mpi_ops(&venc_sc_ops, &venc_pu_ops, &venc_it_ops, HI_NULL);
}
static struct stream_control_ops venc_sc_ops = {.init = sample_venc_init,.startup = sample_venc_startup,.shutdown = sample_venc_shutdown,.set_idr = sample_venc_set_idr,.set_property = sample_venc_set_property,
};
这里是mpp初始化等等操作,是常规的处理流程。
sample_venc_init mpp初始化:初始化SYS和VB。
sample_venc_startup mpp流媒体开始:VPSS、VENC初始化,使用系统绑定处理图像,可以将原始数据或者编码后的数据放到UVC的队列里面。
sample_venc_shutdown mpp结束:关闭或者停止。
UVC图像节点设置的函数为sample_yuv_dump和__SAMPLE_COMM_VENC_SaveData,前者将YUV数据放入节点中,后者将编码后的数据放入节点中,具体执行哪个函数由一个全局变量__encoder_property控制,可以上位机进行。两个函数都是从free_queue节点中获取空闲图像缓存节点,存放数据放入到ok_queue队列中,是生产者。
static HI_VOID sample_yuv_dump(VIDEO_FRAME_S *pVBuf, FILE *g_pfd)
{PIXEL_FORMAT_E enPixelFormat = pVBuf->enPixelFormat;uvc_cache_t *uvc_cache = HI_NULL;frame_node_t *fnode = HI_NULL;sample_yuv_get_buf_size(pVBuf, &g_u32Size);g_pUserPageAddr = (HI_CHAR*)HI_MPI_SYS_Mmap(pVBuf->u64PhyAddr[0], g_u32Size);if (HI_NULL == g_pUserPageAddr){goto ERR;}//get free cache nodeuvc_cache = uvc_cache_get();if (uvc_cache){get_node_from_queue(uvc_cache->free_queue, &fnode);}if (!fnode){goto ERR;}if (PIXEL_FORMAT_YVU_SEMIPLANAR_422 == enPixelFormat){if (sample_yuv_sp422_to_p422(pVBuf, fnode) != HI_SUCCESS){goto ERR;}}else if (PIXEL_FORMAT_YVU_SEMIPLANAR_420 == enPixelFormat){sample_yuv_sp420_to_p420(pVBuf, fnode);}else{}ERR:if (fnode){put_node_to_queue(uvc_cache->ok_queue, fnode);}if (g_pUserPageAddr){HI_MPI_SYS_Munmap(g_pUserPageAddr, g_u32Size);g_pUserPageAddr = HI_NULL;}return;
}
其他操作是一些设置相关的,暂不分析。
hiuvc
hiuvc是对UVC类操作的封装,这里涉及到V4L2的一些知识。
static hiuvc __hi_uvc =
{.init = __init,.open = __open,.close = __close,.run = __run,
};
打开方法:打开设备及一些初始化操作。
static int __open()
{const char *devpath = "/dev/video0";return open_uvc_device(devpath);
}
run运行方法:两个线程以死循环的形式分别跑了run_uvc_data,run_uvc_device函数。
这里需要注意的点是run_uvc_data和run_uvc_device都是使用select在等待前面open的同一个文件描述符,不过一个监听的是可以向其中写入数据,一个监听的是异常情况。
uvc_video_process_userptr是设备文件描述符可写时的处理函数,表示可以将图像视频数据输出,这里使用V4L2_MEMORY_USERPTR用户指针模式,内存由用户进行分配,V4L2_BUF_TYPE_VIDEO_OUTPUT表示视频图像输出。
static int uvc_video_process_userptr(struct uvc_device* dev)
{struct v4l2_buffer buf;int ret;// INFO("#############uvc_video_process_userptr\n");memset(&buf, 0, sizeof buf);buf.type = V4L2_BUF_TYPE_VIDEO_OUTPUT;buf.memory = V4L2_MEMORY_USERPTR;if ((ret = ioctl(dev->fd, VIDIOC_DQBUF, &buf)) < 0){return ret;}uvc_video_fill_buffer_userptr(dev, &buf);if ((ret = ioctl(dev->fd, VIDIOC_QBUF, &buf)) < 0){LOG("Unable to requeue buffer: %s (%d).\n", strerror(errno), errno);return ret;}return 0;
}
uvc_video_fill_buffer_userptr先获取用于输出图像的缓存,然后从ok_queue队列中取出已经存放好的图像,__waited_node数组指针用于存放上次的图像节点,然后放到free_queue队列中,表示该节点空闲可以再次使用,是消费者。
run_uvc_device运行uvc_events_process函数,主要是对UVC事件的处理函数。
模块分析
把代码大概划分一下模块
模块名 | 作用 | 实现 |
---|---|---|
配置解析模块 | 实现解析配置文件的功能 | iniparser解析库 |
缓存模块cache | 存放图像数据 | 使用单向循环链表实现的队列 |
V4L2图像数据输出 | 输出图像到上位机 | V4L2框架 |
总结
- iniparser库的使用
- UVC&UAC 总结
- 浅析 Hi MPP 中的 uvc_app
- V4l2视频输出实现流程
- uevent机制:uevent原理分析
- 多进程/线程select同一文件问题
- V4L2视频采集的基本流程