OpenCV如何模板匹配

server/2024/10/18 14:15:59/

 返回:OpenCV系列文章目录（持续更新中......）

上一篇：OpenCV如何实现背投
下一篇 ：OpenCV在图像中寻找轮廓

目标

在本教程中，您将学习如何：

  • 使用 OpenCV 函数 matchTemplate()搜索图像贴片和输入图像之间的匹配项
  • 使用 OpenCV 函数 minMaxLoc()查找给定数组中的最大值和最小值（以及它们的位置）。

matchTemplate() 和 minMaxLoc() 都是 OpenCV 库中常用的图像处理函数，通常用于模板匹配和特征检测等操作。

matchTemplate() 是一个常用的模板匹配函数，它可以在一个大图像上通过模板匹配方法定位和识别目标区域。该函数的基本思路是，在大图像中滑动一个与目标尺寸相同的小区域，然后利用图像相似度度量方法比较该区域与目标模板的相似度，最后得到相似度矩阵，并在其中选择最佳匹配位置。

minMaxLoc() 则是由 matchTemplate() 调用的一个配套函数，它用于找到匹配模板结果中最佳匹配位置。该函数的基本思想是，在相似度矩阵中找到最大值和最小值，然后根据所需的结果类型返回相应最大/最小值及其位置和相应的匹配模板。

因此，matchTemplate() 和 minMaxLoc() 通常会一起使用。matchTemplate() 函数可以计算出匹配模板的相似度矩阵，并返回最大/最小数值的位置或多个最大/最小值的位置；而 minMaxLoc() 函数则用于确定相似度矩阵中的最大/最小值及位置，以确定匹配区域。这两个函数的联合使用可以实现图像识别、目标跟踪等更加复杂的图像处理和分析操作。

理论

什么是模板匹配？

模板匹配是一种用于查找图像中与模板图像(补丁)匹配（相似）的区域的技术。

虽然补丁必须是一个矩形，但可能不是所有的矩形都是相关的。在这种情况下，可以使用掩码来隔离补丁中应该用于查找匹配项的部分。

它是如何工作的？

  • 我们需要两个主要组件：

    1. 源图像(I)：我们希望在其中找到与模板图像匹配的图像
    2. 模板图像(T)：将与源图像进行比较的修补图像

    我们的目标是检测匹配度最高的区域：

  • 要识别匹配区域，我们必须通过滑动模板图像将模板图像与源图像进行比较：

  • 滑动是指一次移动一个像素（从左到右，从上到下）。在每个位置，都会计算一个指标，以表示该位置的匹配程度（或补丁与源图像的特定区域的相似程度）。
  • 对于 T 相对于 I 的每个位置，将指标存储在结果矩阵 R 中。R 中的每个位置 (x，y)都包含匹配指标：

上图是用公制TM_CCORR_NORMED滑动贴片的结果 R。最亮的位置表示匹配度最高。如您所见，红色圆圈标记的位置可能是值最高的位置，因此该位置(由该点形成的矩形作为角，宽度和高度等于补丁图像)被视为匹配。

  • 在实践中，我们使用函数 minMaxLoc()在 R 矩阵中找到最高值(或更低值，具体取决于匹配方法的类型）

模板匹配如何工作的？

  • 如果匹配需要遮罩，则需要三个组件：
    1. 源图像(I)：我们希望在其中找到与模板图像匹配的图像
    2. 模板图像(T)：将与源图像进行比较的修补图像
    3. 蒙版图像(M)：蒙版，用于遮罩模板的灰度图像
  • 目前只有两种匹配方法接受掩码：TM_SQDIFF 和 TM_CCORR_NORMED（有关 opencv 中可用的所有匹配方法的说明，请参见下文）。
  • 蒙版的尺寸必须与模板相同
  • 蒙版应具有CV_8U或CV_32F深度，以及与模板图像相同的通道数。CV_8U情况下，掩码值被视为二进制值，即零和非零。CV_32F情况下，这些值应落在 [0..1] 范围内，模板像素将乘以相应的蒙版像素值。由于示例中的输入图像具有CV_8UC3类型，因此掩码也被读取为彩色图像。

OpenCV 中可用的匹配方法有哪些？

问得好。OpenCV 在函数 matchTemplate()中实现模板匹配。可用的方法有 6 种：

1、方法=TM_SQDIFF

 

2、方法=TM_SQDIFF_NORMED

3、方法=TM_CCORR

4、方法=TM_CCORR_NORMED

′)2

5、方法=TM_CCOEFF

哪里

6、方法=TM_CCOEFF_NORMED

C++代码：

  • 这个程序是做什么的？
    • 加载输入图像、图像补丁（模板）和可选的蒙版
    • 通过将 OpenCV 函数 matchTemplate（） 与前面描述的 6 种匹配方法中的任何一种结合使用来执行模板匹配过程。用户可以通过在跟踪栏中输入其选择来选择方法。如果提供了掩码，则该掩码将仅用于支持掩码的方法
    • 规范化匹配过程的输出
    • 以更高的匹配概率定位位置
    • 在与最高匹配项对应的区域周围绘制一个矩形
  • 可下载代码： 点击这里
  • 代码一览：
#include "opencv2/imgcodecs.hpp"
#include "opencv2/highgui.hpp"
#include "opencv2/imgproc.hpp"
#include <iostream>using namespace std;
using namespace cv;bool use_mask;
Mat img; Mat templ; Mat mask; Mat result;
const char* image_window = "Source Image";
const char* result_window = "Result window";int match_method;
int max_Trackbar = 5;void MatchingMethod( int, void* );const char* keys =
"{ help h| | Print help message. }"
"{ @input1 | Template_Matching_Original_Image.jpg | image_name }"
"{ @input2 | Template_Matching_Template_Image.jpg | template_name }"
"{ @input3 | | mask_name }";int main( int argc, char** argv )
{CommandLineParser parser( argc, argv, keys );samples::addSamplesDataSearchSubDirectory( "doc/tutorials/imgproc/histograms/template_matching/images" );img = imread( samples::findFile( parser.get<String>("@input1") ) );templ = imread( samples::findFile( parser.get<String>("@input2") ), IMREAD_COLOR );if(argc > 3) {use_mask = true;mask = imread(samples::findFile( parser.get<String>("@input3") ), IMREAD_COLOR );}if(img.empty() || templ.empty() || (use_mask && mask.empty())){cout << "Can't read one of the images" << endl;return EXIT_FAILURE;}namedWindow( image_window, WINDOW_AUTOSIZE );namedWindow( result_window, WINDOW_AUTOSIZE );const char* trackbar_label = "Method: \n 0: SQDIFF \n 1: SQDIFF NORMED \n 2: TM CCORR \n 3: TM CCORR NORMED \n 4: TM COEFF \n 5: TM COEFF NORMED";createTrackbar( trackbar_label, image_window, &match_method, max_Trackbar, MatchingMethod );MatchingMethod( 0, 0 );waitKey(0);return EXIT_SUCCESS;
}void MatchingMethod( int, void* )
{Mat img_display;img.copyTo( img_display );int result_cols = img.cols - templ.cols + 1;int result_rows = img.rows - templ.rows + 1;result.create( result_rows, result_cols, CV_32FC1 );bool method_accepts_mask = (TM_SQDIFF == match_method || match_method == TM_CCORR_NORMED);if (use_mask && method_accepts_mask){ matchTemplate( img, templ, result, match_method, mask); }else{ matchTemplate( img, templ, result, match_method); }normalize( result, result, 0, 1, NORM_MINMAX, -1, Mat() );double minVal; double maxVal; Point minLoc; Point maxLoc;Point matchLoc;minMaxLoc( result, &minVal, &maxVal, &minLoc, &maxLoc, Mat() );if( match_method == TM_SQDIFF || match_method == TM_SQDIFF_NORMED ){ matchLoc = minLoc; }else{ matchLoc = maxLoc; }rectangle( img_display, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 );rectangle( result, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 );imshow( image_window, img_display );imshow( result_window, result );return;
}

解释

声明一些全局变量，例如图像、模板和结果矩阵，以及匹配方法和窗口名称：

bool use_mask;
Mat img; Mat templ; Mat mask; Mat result;
const char* image_window = "Source Image";
const char* result_window = "Result window";int match_method;
int max_Trackbar = 5;

加载源图像、模板，以及可选的掩码（如果匹配方法支持）：

img = imread( samples::findFile( parser.get<String>("@input1") ) );templ = imread( samples::findFile( parser.get<String>("@input2") ), IMREAD_COLOR );if(argc > 3) {use_mask = true;mask = imread(samples::findFile( parser.get<String>("@input3") ), IMREAD_COLOR );}if(img.empty() || templ.empty() || (use_mask && mask.empty())){cout << "Can't read one of the images" << endl;return EXIT_FAILURE;}

创建跟踪栏以输入要使用的匹配方法的种类。检测到更改时，将调用回调函数。

const char* trackbar_label = "Method: \n 0: SQDIFF \n 1: SQDIFF NORMED \n 2: TM CCORR \n 3: TM CCORR NORMED \n 4: TM COEFF \n 5: TM COEFF NORMED";createTrackbar( trackbar_label, image_window, &match_method, max_Trackbar, MatchingMethod );

让我们来看看回调函数。首先，它复制源图像：

 Mat img_display;img.copyTo( img_display );

执行模板匹配操作。参数自然是输入图像 I、模板 T、结果 R 和 match_method（由 Trackbar 给出），以及可选的蒙版图像 M。

 bool method_accepts_mask = (TM_SQDIFF == match_method || match_method == TM_CCORR_NORMED);if (use_mask && method_accepts_mask){ matchTemplate( img, templ, result, match_method, mask); }else{ matchTemplate( img, templ, result, match_method); }

我们对结果进行归一化：

 normalize( result, result, 0, 1, NORM_MINMAX, -1, Mat() );

我们使用 minMaxLoc() 对结果矩阵 R 中的最小值和最大值进行本地化。

 double minVal; double maxVal; Point minLoc; Point maxLoc;Point matchLoc;minMaxLoc( result, &minVal, &maxVal, &minLoc, &maxLoc, Mat() );

对于前两种方法（TM_SQDIFF 和 MT_SQDIFF_NORMED），最佳匹配是最低值。对于所有其他值，较高的值表示更好的匹配。因此，我们将相应的值保存在 matchLoc 变量中：

 if( match_method == TM_SQDIFF || match_method == TM_SQDIFF_NORMED ){ matchLoc = minLoc; }else{ matchLoc = maxLoc; }

显示源图像和结果矩阵。在尽可能高的匹配区域周围绘制一个矩形：

 rectangle( img_display, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 );rectangle( result, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 );imshow( image_window, img_display );imshow( result_window, result );

结果

  1. 使用输入图像测试我们的程序，例如：

和模板图像：

生成以下结果矩阵（第一行是标准方法 SQDIFF、CCORR 和 CCOEFF，第二行是其规范化版本中的相同方法）。在第一列中，最暗的匹配度越好，对于其他两列，位置越亮，匹配度越高。

  1. 右边的匹配项如下所示（右边那个人的脸周围的黑色矩形）。请注意，CCORR 和 CCDEFF 给出了错误的最佳匹配，但是它们的规范化版本是正确的，这可能是因为我们只考虑“最高匹配”，而不是其他可能的高匹配。

参考文献：

1、《Template Matching》 -------Ana Huamán


http://www.ppmy.cn/server/24498.html

相关文章

Springboot+Vue项目-基于Java+MySQL的校园外卖服务系统(附源码+演示视频+LW)

Springboot+Vue项目-基于Java+MySQL的校园外卖服务系统(附源码+演示视频+LW)

大家好&#xff01;我是程序猿老A&#xff0c;感谢您阅读本文&#xff0c;欢迎一键三连哦。 &#x1f49e;当前专栏&#xff1a;Java毕业设计 精彩专栏推荐&#x1f447;&#x1f3fb;&#x1f447;&#x1f3fb;&#x1f447;&#x1f3fb; &#x1f380; Python毕业设计 &…
阅读更多...
十大排序算法之——希尔排序算法（Java实现）及思路讲解

十大排序算法之——希尔排序算法（Java实现）及思路讲解

希尔排序&#xff08;Shell Sort&#xff09;是插入排序的一种更高效的改进版本。希尔排序是非稳定排序算法。该方法的基本思想是&#xff1a;先将整个待排序的记录序列分割成为若干子序列&#xff08;由相隔某个“增量”的记录组成&#xff09;分别进行直接插入排序&#xff0…
阅读更多...
Django orm高级用法以及查询优化

Django orm高级用法以及查询优化

基础查询 #全表查询 Author.objects.all() #<QuerySet [<Author: Author object (4)>, <Author: Author object (1)>, <Author: Author object (10)>, <Author: Author object (8)>, <Author: Author object (5)>, <Author: Author objec…
阅读更多...
【百度Apollo】探索自动驾驶：Apollo 新版本 Beta 全新的Dreamview+，便捷灵活更丰富

【百度Apollo】探索自动驾驶：Apollo 新版本 Beta 全新的Dreamview+，便捷灵活更丰富

&#x1f3ac; 鸽芷咕&#xff1a;个人主页 &#x1f525; 个人专栏: 《linux深造日志》《粉丝福利》 ⛺️生活的理想&#xff0c;就是为了理想的生活! 文章目录 引入一、Dreamview介绍二、Dreamview 新特性2.1、基于模式的多场景——流程更简洁地图视角调节&#xff1a;调试流…
阅读更多...
MAC 本地搭建Dify环境

MAC 本地搭建Dify环境

Dify 介绍 Dify 是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务&#xff08;Backend as Service&#xff09;和 LLMOps 的理念&#xff0c;使开发者可以快速搭建生产级的生成式 AI 应用。即使你是非技术人员&#xff0c;也能参与到 AI 应用的定义和数据运营过…
阅读更多...
MySQL 高级 - 第四章 | 配置文件与系统变量

MySQL 高级 - 第四章 | 配置文件与系统变量

目录 一、配置文件的使用1.1 配置文件格式1.2 启动命令和选项组1.3 特定 MySQL 版本的专用选项1.4 同一个配置文件中多个组的优先级1.5 命令行和配置文件中启动选项的区别 二、系统变量2.1 系统变量简介2.2 查看系统变量2.3 设置系统变量2.3.1 通过启动选项配置2.3.2 服务器程序…
阅读更多...
Cocos Creator 3D物理引擎的碰撞检测与触发器详解

Cocos Creator 3D物理引擎的碰撞检测与触发器详解

前言 Cocos Creator是一个强大的游戏开发引擎&#xff0c;拥有丰富的功能和工具&#xff0c;其中包括3D物理引擎。物理引擎是游戏开发中非常重要的一部分&#xff0c;它可以模拟现实世界中的物理规律&#xff0c;让游戏中的物体之间产生真实的交互。在Cocos Creator中&#xf…
阅读更多...
机器学习：深入解析SVM的核心概念（问题与解答篇）【二、对偶问题】

机器学习：深入解析SVM的核心概念（问题与解答篇）【二、对偶问题】

对偶问题 **问题一&#xff1a;什么叫做凸二次优化问题&#xff1f;而且为什么符合凸二次优化问题&#xff1f;**为什么约束条件也是凸的半空间&#xff08;Half-Space&#xff09;凸集&#xff08;Convex Set&#xff09;半空间是凸集的例子SVM 约束定义的半空间总结 **问题二…
阅读更多...
最新文章

Copyright @ 2022~2023