一种基于自定义特征模板匹配的图像目标定位方法与流程
本发明涉及图像处理与计算机视觉,涉及一种基于自定义特征模板匹配的图像目标定位方法。
背景技术:
1、图像目标定位是计算机视觉领域的基础问题,广泛应用于工业检测、机器人视觉、自动驾驶、安防监控等场景。基于模板匹配的目标定位方法因其原理直观、实现简便而长期被广泛采用。
2、然而,现有的模板匹配方法主要存在以下不足:第一,模板构建方式单一,灵活性差。传统方法中,模板通常是目标的完整图像或需要预先提取的完整特征描述。当目标具有复杂形状或仅部分区域具有显著特征时,使用完整模板不仅增加了计算量,还可能在局部遮挡时导致匹配失败。用户无法根据实际需求,灵活选择目标的局部代表性区域来构建模板。第二,特征提取与匹配计算脱节。现有方法在进行模板匹配时,通常对整幅图像采用统一的预处理流程,例如统一转换为灰度图后进行边缘提取。这种方式没有针对具体的特征类型进行差异化处理——例如,当用户关注的是目标的颜色特征时,灰度化操作反而丢失了关键的匹配信息;当用户关注的是纹理特征时,简单的边缘检测又不足以增强纹理信息。预处理操作与后续匹配所需的信息类型之间缺乏对应关系。第三,匹配度计算方式不够灵活。现有方法在计算模板与图像的匹配程度时,通常固定采用某一种相似度度量,难以在不同应用场景下兼顾计算效率和抗干扰能力。例如,平方差总和计算简单但对光照变化敏感,归一化互相关对光照鲁棒但计算量较大。用户无法根据实际场景的光照条件、精度要求和实时性要求灵活选择或组合不同的计算方式。第四,模板必须使用完整的目标外观。传统方法中,模板必须是目标的完整图像或完整特征描述,无法仅选取目标的局部代表性区域构建模板。即使用户只关注目标的几个局部特征,也不得不使用包含目标全部区域的完整模板,导致计算量增大,且目标非特征区域的像素参与匹配计算可能引入干扰。
技术实现思路
1、本发明提供了一种基于自定义特征模板匹配的图像目标定位方法,以解决现有技术中模板构建灵活性差、特征提取与匹配计算脱节、匹配度计算方式单一、以及模板必须使用完整目标外观的问题。本发明发放的基本流程为:首先获取包含待定位目标的图像,由用户从图像中选取一个或多个具有区分度的局部图像块作为特征图形;各特征图形按其原始空间位置关系排布组合,形成特征模板;然后将特征模板在图像上滑动,针对特征模板与图像的对应区域逐一计算匹配度,由此生成匹配度曲线或曲面图,其维度取决于模板在图像上进行滑动的维度;最后在曲线或曲面图中定位最大匹配度值所在位置,即确定为目标在图像中的位置。
2、本发明提供一种基于自定义特征模板匹配的图像目标定位方法,包括以下步骤:
3、获取图像,所述图像中包含待定位目标;
4、从所述图像中提取至少一个包含目标局部信息的特征图形;
5、将提取的所述特征图形按其在所述目标中的空间相对位置关系进行排布,形成特征模板;
6、将所述特征模板在所述图像上进行滑动遍历,对所述特征模板与所述图像进行相关性计算,以得到的匹配度曲线或曲面图;以及
7、根据所述曲线或曲面图中的匹配度最大值,确定所述目标在所述图像中的位置。
8、进一步地,所述特征图形是根据所述目标定义的、能够代表目标局部形状、纹理或颜色信息的图像块,即所述特征图形为用户从图像中选取的具体图像块,是一块具有特定图像内容的图像区域,代表目标的局部显著信息;所述特征图形的特征类型包括:
9、目标轮廓的完整或局部外轮廓片段;
10、目标内部的通孔、凹槽或凸起区域;
11、目标表面的印刷图案、文字符号或特定纹理块;
12、目标的角点、边缘交点及其邻域构成的局部图像块。
13、进一步地,当所述目标具有复杂形状时,采用特征离散的方法来提取和组合所述特征图形,包括以下步骤:
14、仅从所述目标的复杂形状中,有选择性地提取部分特征图形(代表性区域);以及
15、将提取的特征图形,保留其原始的空间位置关系进行排布,组合后形成一个仅包含所选取特征图形的特征模板。
16、进一步地,从所述图像中提取至少一个包含目标局部信息的特征图形包括:
17、将所述图像分离为多个单一颜色通道图像,从至少一个所述单一颜色通道图像中提取所述特征图形;或者
18、对所述图像的多个颜色通道以不同权重进行加权融合,生成融合图像,从所述融合图像中提取所述特征图形;其中,所述以不同权重进行加权融合所采用的权重系数,根据所述目标的颜色特征,以最大化目标区域与背景区域在融合图像中的对比度为准则计算得到,使得所述特征图形所在的图层能够突出目标与背景的差异。
19、进一步地,所述特征模板由一个或多个特征图形按照其原始空间位置关系组合而成。这种“局部选取、整体组合”的模板构建方式,使得用户可以根据实际需求灵活选择目标的代表性区域,而不必使用完整的目标图像作为模板。
20、进一步地,根据不同的图层,分别定义不同的特征模板,每个所述特征模板包含提取自同一图层的至少一个所述特征图形;
21、每个所述特征模板对应一个通道,将所述通道的所述特征模板分别与所述图像进行相关性计算,再将所述通道计算得到的匹配度进行加权融合,生成所述匹配度曲线或曲面图。针对所述特征模板中特征图形所覆盖的像素区域进行匹配度计算,生成匹配度曲线或者匹配度曲面图。
22、进一步地,所述曲线或曲面图的维度取决于所述特征模板在所述图像上进行滑动的维度。
23、进一步地,在对所述特征模板与所述图像进行相关性计算前,还包括:
24、识别特征图形的特征类型,根据特征类型对图像进行预处理,其包括:
25、当所述特征图形表现为轮廓或边缘特征时,所述预处理包括对所述图像进行图像锐化、边缘检测或二值化处理;
26、当特征图形表现为纹理特征时,所述预处理包括对所述图像进行直方图均衡化或对比度拉伸处理;以及
27、当特征图形来源于特定颜色图层时,所述预处理包括对所述图像的对应颜色通道进行加权融合处理,这种特征类型与预处理操作之间的确定性映射关系,确保了预处理始终服务于后续匹配的需要。
28、进一步地,所述匹配度,根据所述特征模板的像素值与所述图像对应区域的像素值,基于预设的相似度函数或距离函数计算得到;其中,相似度函数值越大表示匹配程度越高,距离函数值越小表示匹配程度越高。
29、进一步地,所述相似度函数或距离函数采用以下至少一种:
30、归一化互相关:计算所述特征模板的像素值与所述图像对应区域的像素值的归一化互相关系数,其取值范围为[-1, 1],取值为1时表示完全匹配,取值为-1时表示完全反相关;
31、零均值归一化互相关:将所述特征模板的像素值减去其均值,将所述图像对应区域的像素值减去其均值,计算各自减去均值后所得两组数值的归一化互相关系数;
32、平方差总和:计算所述特征模板的像素值与所述图像对应区域的像素值之差的平方和,取值越小表示匹配程度越高;
33、绝对值差总和:计算所述特征模板的像素值与所述图像对应区域的像素值之差的绝对值之和,取值越小表示匹配程度越高;
34、矩阵内积:将所述特征模板的像素按序排列为模板向量,将所述图像对应区域的像素按相同规则排列为特征向量,计算所述模板向量与所述特征向量的内积,取值越大表示匹配程度越高。由于特征模板仅由特征图形组合构成,相似度函数或距离函数的计算即基于特征模板所覆盖的像素区域进行,从而减少无效计算量并避免非特征区域的干扰。当采用矩阵内积时,还可以先对向量进行二值化处理,将乘法运算简化为逻辑与运算、加法运算简化为位计数运算,大幅提升计算效率。
35、进一步地,所述相似度函数或距离函数的计算,仅基于所述特征模板中所述特征图形覆盖的像素区域进行。
36、进一步地,当采用所述矩阵内积时,先对所述模板向量和/或所述特征向量的各元素进行二值化处理,将像素值根据预设阈值转化为0或1;计算二值化后的向量内积时,乘法运算由逻辑与运算替代,加法运算由位计数运算替代。
37、进一步地,当所述目标可能存在旋转变化时,基于所述特征模板生成对应多个旋转角度的模板表示,将所述特征模板在所述图像上进行滑动时,综合所述多个旋转角度下的相关性计算结果,生成匹配度曲线或曲面图,并确定目标的最佳匹配角度及位置。
38、进一步地,所述根据所述曲线或曲面图中的匹配度最大值,确定所述目标在所述图像中的位置,是将所述匹配度最大值对应的像素坐标结合所述特征模板的尺寸确定目标的边界框,或者对所述匹配度最大值的位置进行亚像素插值获得亚像素级精度的目标位置,并输出所述目标在所述图像中的位置及旋转角度。
39、本发明方法允许用户从图像中选取一个或多个局部图像块作为特征图形,将各特征图形按其原始空间位置关系组合构成特征模板;将特征模板在图像上滑动,对特征图形覆盖区域与图像对应区域进行相关性计算,生成匹配度曲线或曲面图,以匹配度最大值的位置确定目标位置。本发明将传统完整模板拆解为特征图形与特征模板两个层次,用户可灵活选取局部区域构建模板;采用特征离散法可形成稀疏模板,减少计算量并增强抗遮挡能力;根据特征图形的特征类型确定对应的预处理操作,确保预处理服务于后续匹配;提供多种匹配度计算方式供选择,并限定计算仅基于特征图形覆盖区域进行,具有适用场景广泛、定位准确度高、计算效率可调的优点。
40、本发明的核心思想在于:将传统的“完整模板”概念拆解为“特征图形”与“特征模板”两个层次。特征图形是用户从图像中选取的具体图像块,代表目标的局部显著信息;特征模板则由一个或多个特征图形按照其原始空间位置关系组合而成。这种“局部选取、整体组合”的模板构建方式,使得用户可以根据实际需求灵活选择目标的代表性区域,而不必使用完整的目标图像作为模板。
41、综上,本发明从以下几个方面对现有技术进行了改进:
42、在特征图形的提取方面,用户可以从图像中直接框选感兴趣的图像块作为特征图形。这些特征图形可以是目标轮廓的局部片段、目标内部的通孔或凹槽区域、目标表面的印刷图案或纹理块、以及角点或边缘交点附近的局部图像块。当目标具有复杂形状时,采用特征离散的方法,仅从复杂形状中有选择性地提取部分代表性区域,将其保留原始空间位置关系进行排布,从而形成一个仅包含所选取特征图形的特征模板。
43、在特征图形的提取来源方面,特征图形可以直接从图像的某一单一颜色通道中提取,也可以从多个颜色通道加权融合生成的融合图像中提取。加权融合的权重系数以最大化目标区域与背景区域在融合图像中的对比度为准则确定,从而使得特征图形所在的图层能够突出目标与背景的差异。进一步地,可以从不同的图层分别提取特征图形,为每个图层构建独立的特征模板,分别与图像进行匹配后融合各通道的匹配度结果。
44、在匹配前的预处理方面,根据特征图形的特征类型确定对应的预处理操作,以增强图像中与特征图形相对应的信息。具体而言,当特征图形表现为轮廓或边缘特征时,对图像进行图像锐化、边缘检测或二值化处理;当特征图形表现为纹理特征时,对图像进行直方图均衡化或对比度拉伸处理;当特征图形来源于特定颜色图层时,对图像的对应颜色通道进行加权融合处理。这种特征类型与预处理操作之间的确定性映射关系,确保了预处理始终服务于后续匹配的需要。
45、在匹配度的计算方面,匹配度根据特征模板的像素值与图像对应区域的像素值,基于预设的相似度函数或距离函数计算得到。相似度函数值越大表示匹配程度越高,距离函数值越小表示匹配程度越高。相似度函数或距离函数可以从以下计算方式中选择:归一化互相关,计算模板像素值与图像对应区域像素值的归一化互相关系数;零均值归一化互相关,先将像素值减去均值再计算归一化互相关系数;平方差总和,计算模板像素值与图像对应区域像素值之差的平方和;绝对值差总和,计算模板像素值与图像对应区域像素值之差的绝对值之和;矩阵内积,将模板像素按序排列为向量后与图像对应区域向量计算内积。由于特征模板仅由特征图形组合构成,相似度函数或距离函数的计算即基于特征模板所覆盖的像素区域进行,从而减少无效计算量并避免非特征区域的干扰。当采用矩阵内积时,还可以先对向量进行二值化处理,将乘法运算简化为逻辑与运算、加法运算简化为位计数运算,大幅提升计算效率。
46、当目标可能存在旋转变化时,基于特征模板生成对应多个旋转角度的模板表示,在滑动匹配过程中综合多个角度的相关性计算结果,同时确定目标的位置和最佳匹配角度。
47、在目标定位精度方面,可以将匹配度最大值对应的像素坐标结合特征模板的尺寸确定目标的边界框,也可以对匹配度最大值位置进行亚像素插值,获得亚像素级精度的目标位置,并输出目标在图像中的位置及旋转角度。
48、本发明至少具有下列有益效果:1)模板构建灵活。用户可以根据目标的实际特征,自由选取一个或多个局部图像块作为特征图形,组合构成特征模板。特征模板不要求完整描述目标的全部外观,只需包含具有区分度的局部信息即可。当目标具有复杂形状时,采用特征离散法仅选取部分代表性区域,形成稀疏模板,有效减少了模板的数据量和后续的计算量。同时,由于模板中仅包含目标的局部区域,当目标发生局部遮挡时,未被遮挡的特征图形仍可提供有效的匹配信息,增强了抗遮挡能力。2)特征提取与预处理相互对应。根据特征图形的特征类型确定预处理操作,形成了"边缘特征→边缘增强预处理"、"纹理特征→纹理增强预处理"、"颜色特征→颜色通道增强预处理"的明确映射关系。这种设计确保了对图像的处理始终围绕特征图形所承载的信息类型展开,避免了传统方法中预处理操作与匹配需求脱节的问题。3)匹配度计算方式丰富且可选择。提供了归一化互相关、零均值归一化互相关、平方差总和、绝对值差总和、矩阵内积等多种相似度或距离度量方式,用户可以根据实际应用场景的光照条件、精度要求和实时性要求灵活选择。归一化互相关和零均值归一化互相关对光照变化鲁棒,适用于光照条件复杂的场景;平方差总和和绝对值差总和计算简单,适用于光照稳定的工业场景;矩阵内积可配合二值化处理实现位运算加速,适用于对实时性要求较高的场景。4)特征模板仅由选取的特征图形构成,匹配度计算仅针对特征图形覆盖的像素区域进行。相比于使用完整目标区域的传统模板,本发明有效减少了参与计算的像素数量,降低了计算量;同时,目标上未被选取的非特征区域不参与匹配,避免了这些区域与图像背景的随机匹配对匹配度响应带来的干扰,提高了匹配的准确性和稳定性。5)支持多图层特征融合。可以从不同的颜色通道或融合图层中分别提取特征图形,为每个图层构建独立的特征模板,各自匹配后融合结果。这种方式充分利用了目标在不同图层中的差异化信息,各图层独立匹配互不干扰,最终通过加权融合综合决策,提高了匹配的鲁棒性和精度。6)匹配精度灵活可调。支持像素级定位和亚像素级定位两种精度输出方式,用户可以根据应用需求选择合适的精度等级。在需要快速粗定位的场景使用像素级定位,在对精度要求较高的场景使用亚像素插值获得更精确的目标位置,并可同步输出旋转角度信息。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com