彩色MT9V034摄像头 Bayer转rgb FPGA实现

1 图像bayer格式介绍

　　bayer格式是伊士曼·柯达公司科学家Bryce Bayer发明的，Bryce Bayer所发明的拜耳阵列被广泛运用数字图像。Bayer格式是相机内部的原始数据, 一般后缀名为.raw。

　　对于彩色图像,一般是三原色数据，rgb格式。但是摄像头一个像素点只有rgb中一种数据（下图为bayer色彩滤波阵列）。但是有很多摄像头直接输出rgb和yuv格式，如ov5640、ov7725等等，这是因为在Sensor模组的内部会有一个ISP模块，会将 Sensor采集到的数据进行插值和特效处理，所以直接输出彩色图像但也有摄像头没有ISP模块，直接输出Bayer数据，这就需要自己写Bayer转rgb算法。

2 MT9V034简单介绍

　　做图像处理的朋友都知道，MT9V034是一款十分出色的做机器视觉的摄像头，一般都是灰度的。但是也有彩色款，当时我觉得灰度的效果那么好，一时头热就买一个彩色款的。mt9v034用起来很方便，可以不用寄存器配置，上电默认752*480分辨率。当然也可以iic配置。

　　全局快门（相对滚动快门）拍摄高速物体的效果：

　　高动态效果：

3 MT9V034 datasheet 简单解析

　　1）有效图像 752x480

　　　　最大时钟为27Mhz

　　　　最大帧率为60fps

　　　　10位的adc（我的是八位的输出，店家只将高8位引出，有点影响最后图像的精度）

　　2）这是mt9v034Bayer阵列，注意输出方向，从左到右，从上到下。

　　3）摄像头ID号要根据 S_CTRL_ADR1, S_CTRL_ADR0这两个引脚咋连接的

　　4）下图是摄像头原理图，很明显S_CTRL_ADR1, S_CTRL_ADR0是被拉低了，所以摄像头ID为0x90.上面说到摄像头只有高8位被引出，在这里可以证实了。

　　5）下面是大部分寄存器，mt9v034可配置的寄存器很少。0x00是芯片版本。03、04是摄像头分辨率

　　6）datasheet就介绍到这里，更多信息可以自己去阅读。

4 Bayer转rgb算法解析

我是用shift register ip 缓存两行数据，形成2*2窗口（这是FPGA做图像算法最常用的方法和ip），不是很会的朋友可以百度搜一搜，有很多博客可以学习，一定要自己仿真一下，搞明白，这有点难理解。

根据窗口移动，不难发现，总结出一条重要的规律：总共只有四种窗口，而且与行和列的奇偶有关。

假设计数器从零开始记数：

第一种{行偶，列偶}

第二种{行偶，列奇}

第三种{行奇，列偶}

第四种{行奇，列奇}

5 算法实现

首先说明我是用xilinx的zynq fpga，altera的也有类似的ip。我直接说明一下ip 参数修改，其他的怎么添加ip什么的我就不讲了，不会的自己百度学习。

　　1）这是ip首页，蓝框自定义ip名，修改一下红框的参数，我们是8位数据，一行数据为640个。clock enable端与sclr端可以根据自己的要求决定勾不勾选。其他默认就行，点击ok可以了。

　　2）vivado也提供端口例化模板，如下图操作就行，

　　3）源码

`timescale 1ns / 1ps
//
// Company: 
// Engineer: 宏强子
// 
// Create Date: 2019/02/04 10:29:56
// Design Name: colour MT98V034 bayer2rgb
// Module Name: MT_bayer2rgb
// Project Name: Colour_MT_bayer2rgb
// Target Devices: ZYNQ7020
// Tool Versions: vivado2018.3
// Description: 
// 
// Dependencies: 
// 
// Revision:
// Revision 0.01 - File Created
// Additional Comments:
// 
//module MT_bayer2rgb(//system singalinput						s_rst_n			,//cmos simgalsinput						vsync_i			,input						hsync_i			,input						pclk			,input			[7:0]		　　　　 bayer_data		,//输出output						vsync_o			,output						hsync_o			,output			[23:0]		　　　　 rgb_data		);//========================================================================\
// =========== Define Parameter and Internal signals =========== 
//========================================================================/reg 			[9:0]		col_cnt			;
reg 			[8:0]		row_cnt			;reg 					hsync_i_1		;
reg 					hsync_i_2		;reg 					vsync_i_1		;
reg 					vsync_i_2		;wire 			[7:0]		line_1			;
wire 			[7:0]		line_2			;
reg			[2:0]		data_control	　　　　 ;reg 			[7:0]		line1_1			;	
reg 			[7:0]		line1_2			;	reg 			[7:0]		line2_1			;	
reg 			[7:0]		line2_2			;	reg 			[7:0]		rgb_r			;
reg 			[8:0]		rgb_g			;
reg 			[7:0]		rgb_b			;
//=============================================================================
//****************************     Main Code    *******************************
//=============================================================================//列计数
always @ (posedge pclk or negedge s_rst_n) beginif(s_rst_n == 1'b0)col_cnt <= 10'd0;else if (hsync_i == 1'b1)col_cnt <= col_cnt + 1'b1;	else	col_cnt <= 10'd0;
endalways @ (posedge pclk) begin hsync_i_1 <= hsync_i;hsync_i_2 <= hsync_i_1;
endalways @ (posedge pclk) begin vsync_i_1 <= vsync_i;vsync_i_2 <= vsync_i_1;
end//行计数
always @ (posedge pclk or negedge s_rst_n) beginif(s_rst_n == 1'b0)row_cnt <= 9'd0;else if(~hsync_i && hsync_i_1)row_cnt <= row_cnt + 1'b1;else if (row_cnt >= 9'd481)row_cnt <= 9'd0;     
end//data_control
always @ (posedge pclk or negedge s_rst_n) beginif(s_rst_n == 1'b0)data_control <= 3'b100;else if (hsync_i_1 == 1'b1 && hsync_i == 1'b1)data_control <= {1'b0,row_cnt[0],~col_cnt[0]};elsedata_control <= 3'b100;	   
endshift_ram		shift_ram_1 (.D 			(bayer_data 	　　　　　),    	// input wire [7 : 0] D.CLK 			(pclk			),  	// input wire CLK.CE 			(hsync_i 		),   	// input wire CE.SCLR			(~s_rst_n		),  	// input wire SCLR.Q 			(line_1			)     	// output wire [7 : 0] Q
);shift_ram		shift_ram_2 (.D 			(line_1			),    	// input wire [7 : 0] D.CLK 			(pclk			),  	// input wire CLK.CE 			(hsync_i 		),   	// input wire CE.SCLR			(~s_rst_n		),  	// input wire SCLR.Q 			(line_2			)     	// output wire [7 : 0] Q
);always @ (posedge pclk or negedge s_rst_n) beginif(s_rst_n == 1'b0) beginline1_1	<= 8'd0;line1_2	<= 8'd0;line2_1 <= 8'd0;line2_2 <= 8'd0;endelse beginline1_1	<= line_1;line1_2	<= line1_1;line2_1	<= line_2;line2_2	<= line2_1;end	endalways @ (data_control) begincase(data_control)3'b000 : begin rgb_r = line1_1 + 8'd5; rgb_g = line2_1 + line1_2 + 8'd10; rgb_b = line2_2 + 8'd5;end3'b001 : beginrgb_r = line1_2 + 8'd5;rgb_g = line1_1 + line2_2 + 8'd10; rgb_b = line2_1 + 8'd5;end3'b010 : beginrgb_r = line2_1 + 8'd5;rgb_g = line1_1 + line2_2 + 8'd10;rgb_b = line1_2 + 8'd5;end3'b011 : beginrgb_r = line2_2 + 8'd5;rgb_g = line2_1 + line1_2 + 8'd10;rgb_b = line1_1 + 8'd5;enddefault: begin rgb_r = 8'd0;rgb_g = 9'd0;rgb_b = 8'd0; endendcase
endassign rgb_data =  {rgb_r,rgb_g[8:1],rgb_b};
assign vsync_o 	= vsync_i_2;
assign hsync_o 	= hsync_i_2;
endmodule

　　4）最后欣赏一下效果，效果还不错，继承了灰度款的优良性能。