FPGA多路MIPI转FPD-Link视频缩放拼接显示，基于IMX327+FPD953架构，提供2套工程源码和技术支持

1、前言

如今新能源汽车、自动驾驶已成为我国在工业革命浪潮中弯道超车的赛道，而车载视频传输对长距离、低延时、稳定性、可靠性要求极高，FPFA在车载自动驾驶图传解决方案中理应占有一席之地；本设计基于FPGA为平台，搭建IMX327+FPD953+FPD954的MIPI转FPD-Link车载同轴视频传输架构，该方案已在某大型项目中得到可靠应用，具有极高的参考价值；

工程概述

本设计基于Xilinx的Kintex7-325T中端FPGA为平台，搭建IMX327+FPD953+FPD954的MIPI转FPD-Link车载同轴视频传输架构，视频输入源为IMX327 MIPI摄像头，IMX327 摄像头配置为 MIPI-4 Lane-RAW12模式，输出有效分辨率为1920x1080@60Hz；IMX327输出的LVDS视频接入TI公司的FPD953芯片实现串化，即将4对差分数据线和1对随路时钟的视频信号转换为时钟内嵌的高速串行单端信号，并通过同轴线输出，至此，MIPI转FPD-Link车载同轴视频发送架构搭建完毕，可实现长距离、低延时、稳定性、可靠性的视频传输；然后同轴视频接入TI公司的FPD954芯片实现解串，即将时钟内嵌的高速串行单端信号恢复为4对差分数据线和1对随路时钟的LVDS视频信号；至此，FPD-Link车载同轴视频接收完成；然后使用本博主自定义的MIPI CSI RX解码IP实现MIPI的D_PHY+CSI_RX解码功能，并输出AXI4-Stream格式的RAW12格式视频；至此，MIPI视频解码工作完成；但此时的视频还是原始的RAW12格式，远远达不到输出显示要求，所以还需进行图像处理操作，即图像ISP处理；本博主提供完整的图像ISP，具体流程包括Bayer转RGB888、自动白平衡、色彩校正、伽马校正、RGB888转YCrCb444、图像增强、YCrCb444转RGB888、AE自动曝光等一系列操作；经过ISP处理后的图像颜色饱满、画质清晰，输出RGB888格式视频；然后用本博自研、基于HLS实现的、任意比例任意尺寸缩放的、AXIS接口的、傻瓜式使用的图像缩放IP，实现对MIPI视频的缩放处理；然后再使用Xilinx官方的Video Mixer IP实现多路视频拼接；然后再使用Xilinx官方的VDMA图像缓存架构将视频缓存到板载的DDR3中；然后在Native时序的控制下将缓存视频从DDR3中读出，再使用本博常用的HDMI输出模块将图像输出到显示器显示即可；提供2套vivado2019.1版本的工程源码；具体如下：

工程源码1

开发板FPGA型号为Xilinx–Kintex7–xc7k410tffg676-2；视频输入源为IMX327 MIPI摄像头，IMX327 摄像头配置为 MIPI-4 Lane-RAW12模式，输出有效分辨率为1920x1080@60Hz；IMX327输出的LVDS视频接入TI公司的FPD953芯片实现串化，即将4对差分数据线和1对随路时钟的视频信号转换为时钟内嵌的高速串行单端信号，并通过同轴线输出，至此，MIPI转FPD-Link车载同轴视频发送架构搭建完毕，可实现长距离、低延时、稳定性、可靠性的视频传输；然后同轴视频接入TI公司的FPD954芯片实现解串，即将时钟内嵌的高速串行单端信号恢复为4对差分数据线和1对随路时钟的LVDS视频信号；至此，FPD-Link车载同轴视频接收完成；然后使用本博主自定义的MIPI CSI RX解码IP实现MIPI的D_PHY+CSI_RX解码功能，并输出AXI4-Stream格式的RAW12格式视频；至此，MIPI视频解码工作完成；但此时的视频还是原始的RAW12格式，远远达不到输出显示要求，所以还需进行图像处理操作，即图像ISP处理；本博主提供完整的图像ISP，具体流程包括Bayer转RGB888、自动白平衡、色彩校正、伽马校正、RGB888转YCrCb444、图像增强、YCrCb444转RGB888、AE自动曝光等一系列操作；经过ISP处理后的图像颜色饱满、画质清晰，输出RGB888格式视频；然后将视频复制1份，以模拟2路视频；然后用本博自研、基于HLS实现的、任意比例任意尺寸缩放的、AXIS接口的、傻瓜式使用的图像缩放IP，实现对MIPI视频的缩放处理，具体为由1920x1080缩放为960x540；然后再使用Xilinx官方的Video Mixer IP实现2路视频拼接；然后再使用Xilinx官方的VDMA图像缓存架构将视频缓存到板载的DDR3中；然后在Native时序的控制下将缓存视频从DDR3中读出，再使用本博常用的HDMI输出模块将图像输出到显示器显示即可；

工程源码2

开发板FPGA型号为Xilinx–Kintex7–xc7k410tffg676-2；视频输入源为IMX327 MIPI摄像头，IMX327 摄像头配置为 MIPI-4 Lane-RAW12模式，输出有效分辨率为1920x1080@60Hz；IMX327输出的LVDS视频接入TI公司的FPD953芯片实现串化，即将4对差分数据线和1对随路时钟的视频信号转换为时钟内嵌的高速串行单端信号，并通过同轴线输出，至此，MIPI转FPD-Link车载同轴视频发送架构搭建完毕，可实现长距离、低延时、稳定性、可靠性的视频传输；然后同轴视频接入TI公司的FPD954芯片实现解串，即将时钟内嵌的高速串行单端信号恢复为4对差分数据线和1对随路时钟的LVDS视频信号；至此，FPD-Link车载同轴视频接收完成；然后使用本博主自定义的MIPI CSI RX解码IP实现MIPI的D_PHY+CSI_RX解码功能，并输出AXI4-Stream格式的RAW12格式视频；至此，MIPI视频解码工作完成；但此时的视频还是原始的RAW12格式，远远达不到输出显示要求，所以还需进行图像处理操作，即图像ISP处理；本博主提供完整的图像ISP，具体流程包括Bayer转RGB888、自动白平衡、色彩校正、伽马校正、RGB888转YCrCb444、图像增强、YCrCb444转RGB888、AE自动曝光等一系列操作；经过ISP处理后的图像颜色饱满、画质清晰，输出RGB888格式视频；然后将视频复制4份，以模拟4路视频；然后用本博自研、基于HLS实现的、任意比例任意尺寸缩放的、AXIS接口的、傻瓜式使用的图像缩放IP，实现对MIPI视频的缩放处理，具体为由1920x1080缩放为960x540；然后再使用Xilinx官方的Video Mixer IP实现4路视频拼接；然后再使用Xilinx官方的VDMA图像缓存架构将视频缓存到板载的DDR3中；然后在Native时序的控制下将缓存视频从DDR3中读出，再使用本博常用的HDMI输出模块将图像输出到显示器显示即可；

本博客详细描述了Xilinx系列FPGA多路MIPI转FPD-Link视频缩放拼接显示的设计方案，工程代码可综合编译上板调试，可直接项目移植，适用于在校学生、研究生项目开发，也适用于在职工程师做学习提升，可应用于医疗、军工等行业的高速接口或图像处理领域；
提供完整的、跑通的工程源码和技术支持；
工程源码和技术支持的获取方式放在了文章末尾，请耐心看到最后；

免责声明

本工程及其源码即有自己写的一部分，也有网络公开渠道获取的一部分(包括CSDN、Xilinx官网、Altera官网以及其他开源免费获取渠道等等)，若大佬们觉得有所冒犯，请私信批评教育；部分模块源码转载自上述网络，版权归原作者所有，如有侵权请联系我们删除；基于此，本工程及其源码仅限于读者或粉丝个人学习和研究，禁止用于商业用途，若由于读者或粉丝自身原因用于商业用途所导致的法律问题，与本博客及博主无关，请谨慎使用。。。

2、相关方案推荐

本博主所有FPGA工程项目–>汇总目录

其实一直有朋友反馈，说我的博客文章太多了，乱花渐欲迷人，自己看得一头雾水，不方便快速定位找到自己想要的项目，所以写了一篇汇总目录的博文并置顶，列出我目前已有的所有项目，并给出总目录，每个项目的文章链接，当然，本博文实时更新。。。博客链接如下：
点击直接前往

我这里已有的 MIPI 编解码方案

我这里目前已有丰富的基于FPGA的MIPI编解码方案，主要是MIPI解码的，既有纯vhdl实现的MIPI解码，也有调用Xilinx官方IP实现的MIPI解码，既有2line的MIPI解码，也有4line的MIPI解码，既有4K分辨率的MIPI解码，也有小到720P分辨率的MIPI解码，既有基于Xilinx平台FPGA的MIPI解码也有基于Altera平台FPGA的MIPI解码，还有基于Lattice平台FPGA的MIPI解码，后续还将继续推出更过国产FPGA的MIPI解码方案，毕竟目前国产化方案才是未来主流，后续也将推出更多MIPI编码的DSI方案，努力将FPGA的MIPI编解码方案做成白菜价。。。
基于此，我专门建了一个MIPI编解码的专栏，并将MIPI编解码的博客都放到了专栏里整理，对FPGA编解码MIPI有项目需求或学习兴趣的兄弟可以去我的专栏看看，专栏地址如下：
点击直接前往专栏

我这里已有的FPGA图像缩放方案

我的主页目前有FPGA图像缩放专栏，改专栏收录了我目前手里已有的FPGA图像缩放方案，从实现方式分类有基于HSL实现的图像缩放、基于纯verilog代码实现的图像缩放；从应用上分为单路视频图像缩放、多路视频图像缩放、多路视频图像缩放拼接；从输入视频分类可分为OV5640摄像头视频缩放、SDI视频缩放、MIPI视频缩放等等；以下是专栏地址：
点击直接前往

本博已有的已有的FPGA视频拼接叠加融合方案

我的主页目前有FPGA视频拼接叠加融合专栏，改专栏收录了我目前手里已有的FPGA视频拼接叠加融合方案，从实现方式分类有基于HSL实现的视频拼接、基于纯verilog代码实现的视频拼接；从应用上分为单路、2路、3路、4路、8路、16路视频拼接；视频缩放+拼接；视频融合叠加；从输入视频分类可分为OV5640摄像头视频拼接、SDI视频拼接、CameraLink视频拼接等等；以下是专栏地址：
点击直接前往

3、本 MIPI CSI-RX IP 介绍

本设计采用本博自研的MIPI CSI RX解码IP实现MIPI的D_PHY+CSI_RX功能，输出AXI4-Stream格式的RAW12颜色视频，该IP由本博免费提供；该IP目前只适用于Xilinx A7及其以上系列器件，支持的 4 lane RAW12图像，输入分辨率最高支持4K @30帧；IP UI配置界面如下：

该自定义IP只提供网表不提供源码，但用户依然可以自由使用，和使用Xilixn官方的 MIPI CSI-2 RX Subsystem一样，没有本质区别，因为MIPI CSI-2 RX Subsystem也是看不到源码的；MIPI CSI-RX IP资源消耗如下：

4、详细设计方案

设计原理框图

工程设计原理框图如下：

IMX327 及其配置

本设计使用本博提供的专用SONY公司的 IMX327 MIPI相机，该相机输出分辨率达到了1920x1080，采用焦距可调的镜头，清晰度极高，适用于高端项目开发，相机截图如下：

IMX327 MIPI相机需要 i2c配置才能正确使用，本设计调用本博自定义的i2c主机IP实现对IMX327的配置，该IP挂载与AXI-Lite总线上，通过MicroBlaze软核运行的C语言代码实现配置，此外，本博还设计了自动曝光程序，实时读取IMX327 RAW12像素，通过写IMX327对应寄存器的方式实现实时的自动曝光算法，使得IMX327在暗黑的环境下也能输出明亮的图像；

FPD-Link视频串化-解串方案

本设计采用IT公司的FPD953+FPD954架构实现FPD-Link视频串化-解串方案，这部分主题由硬件电路实现，FPGA只需对FPD953和FPD954做i2c初始化配置即可，FPD953+FPD954一般级联使用，是TI主推的FPD-Link方案，TI官方提供了参考原理图和参考i2c初始化配置代码，使得设计和使用难度大大降低，为了方便读者推进自己的项目，本博主提供参考原理图，为PDF版本；如下：

MIPI CSI RX

本设计采用自定义的MIPI CSI RX解码IP实现MIPI的D_PHY+CSI_RX功能，输出AXI4-Stream格式的RAW12颜色视频，该IP由本博免费提供；该IP目前只适用于Xilinx A7及其以上系列器件，支持的 4 lane RAW12图像，输入分辨率最高支持4K @30帧；IP UI配置界面如下：

该自定义IP只提供网表不提供源码，但用户依然可以自由使用，和使用Xilixn官方的 MIPI CSI-2 RX Subsystem一样，没有本质区别，因为MIPI CSI-2 RX Subsystem也是看不到源码的；

图像 ISP 处理

本博提供及其完整的图像ISP，具体流程包括Bayer转RGB888、自动白平衡、色彩校正、伽马校正、RGB888转YCrCb444、图像增强、YCrCb444转RGB888、AE自动曝光等一系列操作；经过ISP处理后的图像颜色饱满、画质清晰，输出YCrCb422格式的视频；图像 ISP 处理在工程 Block Design中如图：

这些IP均为Xilinx的免费IP，有的需要配置才能使用，在MicroBlaze软核运行的C语言代码已经提供了配置程序；其中AE自动曝光采用SDK C语言AE算法实现，FPGA实时读取IMX327的亮度值，然后与AE模型进行比较，亮度不足则补光，亮度太高则降光，通过控制IMX327内部寄存器实现，C代码需要在MicroBlaze软核运行；

自研HLS图像缩放详解

工程图像缩放采用HLS方案C++代码实现，并综合成RTL后封装为IP，可在vivado中调用该IP，自研HLS图像缩放优点如下：
1：采用HLS实现，C++代码量很小，核心代码仅3行，并以综合成RTL代码后封装为自定义IP，方便在vivado中调用；
2：采用双线性插值算法，可实现任意比例、任意尺寸缩放，灵活性可谓天花板级别；
3：驱动简单、使用方便，提供SDK驱动程序，在主函数中调用API直接实现缩放操作；
自研HLS图像缩放缺点如下：
1：只适用于Xilinx Zynq系列FPGA，需要其他Xilinx 系列FPGA使用则需要找博主定制，需要修改HLS工程中的FPGA型号，然后重新综合编译封装成IP才能在新的FPGA中使用；
2：只适用于vivado2019.1及其以下版本，从vivado2019.2版本开始，已不能使用其以下版本的HLS IP核，这是Xilinx官方的问题；以工程源码1为例，图像缩放IP在工程Block Design中如下：

该IP在vivado中的综合资源占用情况如下：

HLS图像缩放需要在SDK中运行驱动和用户程序才能正常工作，我在工程中给出了C语言程序，具体参考工程源码；通过调用驱动API，可自由改变缩放后的输出分辨率；

图像缓存

本设计使用Xilinx官方的VDMA图像缓存方案，VDMA架构使用Xilinx官方力推的图像缓存架构，实现图像3帧缓存，VDMA图像缓存架构由Video In to AXI4-Stream、VDMA、Video Timing Controller、AXI4-Stream To Video Out构成；以工程源码1为例，其在Block Design中如下：

VDMA需要驱动才能正常工作，本工程提供C语言驱动；

Video Mixer 多路视频拼接详解

这里重点介绍一下Xilinx官方的Video Mixer IP；
支持最大分辨率：8K，即可以处理高达8K的视频；
支持最多16层视频拼接叠加，即最多可拼接16路视频；
输入视频格式：AXI4-Stream；
输出视频格式：AXI4-Stream；
需要SDK软件配置，其本质为通过AXI_Lite 做寄存器配置；
提供自定义的配置API，通过调用该库函数即可轻松使用，具体参考SDK代码；
模块占用的FPGA逻辑资源更小，相比于自己写的HLS视频拼接而言，官方的Video Mixer资源占用大约减小30%左右，且更高效：以工程源码1的2路视频拼接为例，Video Mixer逻辑资源如下，请谨慎评估你的FPGA资源情况；

关于这个Video Mixer视频拼接方案详情，请参考我之前的博客，博客链接如下：
点击直接前往
以工程源码1为例，Video Mixer使用Xilinx vivado的Block Design设计，以工程源码1为例，其在Block Design中如下：

HDMI输出

HDMI输出架构由Native时序和HDMI输出模块构成，Native时序负责产生输出的1920x1080@60Hz的时序，并控制FDMA数据读出，HDMI输出模块负责将VGA的RGB视频转换为差分的TMDS视频，代码架构如下：

工程源码架构

工程Block Design截图如下；

工程综合后的源码截图如下：

工程源码需要运行MicroBlaze软核，用于配置ISP、VDMA等；SDK工程架构如下：

5、工程源码1详解：2路视频拼接版本

开发板FPGA型号：Xilinx–Kintex7–xc7k410tffg676-2；
开发环境：Vivado2019.1；
输入：IMX327 MIPI相机，4 Lane，分辨率1920x1080@60Hz；
输出：HDMI，1080P分辨率下的960x540的2路视频拼接2分屏显示；
FPD-Link串化方案：TI的FPD953芯片；
FPD-Link解串方案：TI的FPD954芯片；
图像缩放方案：自研HLS图像缩放方案；
图像缩放实例：由1920x1080缩放到960x540；
视频拼接方案：Xilinx官方Video Mixer方案；
视频拼接实例：2路视频拼接；
图像缓存方案：Xilinx官方VDMA方案；
图像缓存路径：DDR3；
工程作用：此工程目的是让读者掌握FPGA多路MIPI转FPD-Link视频缩放拼接显示的设计能力，以便能够移植和设计自己的项目；
工程Block Design和工程代码架构请参考第4章节“工程源码架构“小节内容；
工程的资源消耗和功耗如下：

6、工程源码2详解：4路视频拼接版本

开发板FPGA型号：Xilinx–Kintex7–xc7k410tffg676-2；
开发环境：Vivado2019.1；
输入：IMX327 MIPI相机，4 Lane，分辨率1920x1080@60Hz；
输出：HDMI，1080P分辨率下的960x540的4路视频拼接4分屏显示；
FPD-Link串化方案：TI的FPD953芯片；
FPD-Link解串方案：TI的FPD954芯片；
图像缩放方案：自研HLS图像缩放方案；
图像缩放实例：由1920x1080缩放到960x540；
视频拼接方案：Xilinx官方Video Mixer方案；
视频拼接实例：4路视频拼接；
图像缓存方案：Xilinx官方VDMA方案；
图像缓存路径：DDR3；
工程作用：此工程目的是让读者掌握FPGA多路MIPI转FPD-Link同轴视频拼接显示的设计能力，以便能够移植和设计自己的项目；
工程Block Design和工程代码架构请参考第4章节“工程源码架构“小节内容；
工程的资源消耗和功耗如下：

7、工程移植说明

vivado版本不一致处理

1：如果你的vivado版本与本工程vivado版本一致，则直接打开工程；
2：如果你的vivado版本低于本工程vivado版本，则需要打开工程后，点击文件–>另存为；但此方法并不保险，最保险的方法是将你的vivado版本升级到本工程vivado的版本或者更高版本；

3：如果你的vivado版本高于本工程vivado版本，解决如下：

打开工程后会发现IP都被锁住了，如下：

此时需要升级IP，操作如下：

FPGA型号不一致处理

如果你的FPGA型号与我的不一致，则需要更改FPGA型号，操作如下：



更改FPGA型号后还需要升级IP，升级IP的方法前面已经讲述了；

其他注意事项

1：由于每个板子的DDR不一定完全一样，所以MIG IP需要根据你自己的原理图进行配置，甚至可以直接删掉我这里原工程的MIG并重新添加IP，重新配置；
2：根据你自己的原理图修改引脚约束，在xdc文件中修改即可；
3：纯FPGA移植到Zynq需要在工程中添加zynq软核；

8、上板调试验证

准备工作

需要准备的器材如下：
FPGA开发板+转接板；
FPD-Link同轴线；
IMX327 MIPI相机；
HDMI显示器；
我的开发板了连接如下：

2路视频拼接输出演示

2路视频拼接输出演示如下：

4路视频拼接输出演示

4路视频拼接输出演示如下：

9、工程代码的获取

代码太大，无法邮箱发送，以某度网盘链接方式发送，
资料获取方式：私，或者文章末尾的V名片。
网盘资料如下：

此外，有很多朋友给本博主提了很多意见和建议，希望能丰富服务内容和选项，因为不同朋友的需求不一样，所以本博主还提供以下服务：