目标对象匹配方法及装置与流程

1.本发明涉及图像处理领域，尤其涉及一种目标对象匹配方法及装置。


背景技术：

2.为了规范车辆行驶行为，以及保证人民生命财产安全，在道路上按照一定的部署原则安装有摄像头等图像采集设备。当发生人员失踪或者车辆违规行驶等事件时，可通过上述图像采集设备定位失踪人员或者违规车辆，对还原事件真相有重要意义。
3.现有技术中，通过如下方式定位目标对象，首先，提取采集设备采集到的图像的特征图，以及目标对象的图像的特征图，然后，将欧氏距离作为相关度度量来比较两个特征图，从而在采集设备采集到的图像中确定出目标对象的位置。
4.然而，将欧氏距离作为相关度度量确定出来的位置准确度不高。


技术实现要素：

5.本发明提供一种目标对象匹配方法及装置，用于提高目标对象定位准确度。
6.第一方面，本发明提供一种目标对象匹配方法，包括：获取采集设备采集到的待匹配图像的特征图以及目标图像的特征图，该目标图像中包括目标对象；根据该待匹配图像的特征图和该目标图像的特征图，采用相关卷积频域乘积形式确定该待匹配图像中该目标对象所在的区域。
7.第二方面，本发明提供一种目标对象匹配装置，包括：获取模块，用于获取采集设备采集到的待匹配图像的特征图以及目标图像的特征图，该目标图像中包括目标对象；确定模块，用于根据该待匹配图像的特征图和该目标图像的特征图，采用相关卷积频域乘积形式确定该待匹配图像中该目标对象所在的区域。
8.第三方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述目标对象匹配方法。
9.第四方面，本发明提供一种追踪方法，包括：获取交通摄像头拍摄的视频；将该视频的每帧图像作为待匹配图像，采用第一方面提供的方法确定每帧图像中该目标对象所在的区域；在每帧图像上采用预设标识符标记该区域，该预设标识符包括：矩形框。
10.本发明提供的目标对象匹配方法和装置，得到采集设备采集的待匹配图像的特征图以及目标图像的特征图后，摒弃欧式距离这种度量工具，而是采用相关卷积频域乘积形式来确定待匹配图像中目标对象所在的区域，和现有技术相比，提高了定位准确度。
附图说明
11.图1为本发明提供的目标对象匹配方法的应用场景图；
12.图2为本发明提供的目标对象匹配方法的实施例一的流程示意图；
13.图3为本发明提供的确定候选特征图的原理示意图；
14.图4为本发明提供的目标对象匹配方法的实施例二的流程示意图；
15.图5为本发明提供的待匹配图像中目标对象所在的区域的示意图；
16.图6为本发明提供的目标对象匹配装置的结构示意图；
17.图7为本发明提供的电子设备的硬件结构示意图。
具体实施方式
18.为使本技术的目的，技术方案和优点更加清楚，下面将结合本技术中的附图，对本技术中的技术方案进行清楚，完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
19.在本技术中，需要解释的是，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b的情况，其中a，b可以是单数或者复数。字符“以是一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：单独a，单独b，单独c，a和b的组合，a和c的组合，b和c的组合，或a，b以及c的组合，其中a，b，c可以是单个，也可以是多个。
20.图1为本发明提供的目标对象匹配方法的应用场景图。现实生活中，在寻找失踪人员或者肇事车辆时，经常需要从摄像头采集到的视频中匹配失踪人员或者肇事车辆。现有技术中，摄像头等采集设备采集到图像后，通过如下方式来进行目标对象的匹配，这里的目标对象可以是如图1中的人，也可以是车辆，或者是宠物。首先，提取采集设备采集到的图像的特征图，以及目标对象的图像的特征图，然后，将欧氏距离作为相关度度量来比较两个特征图，从而在采集设备采集到的图像中确定出目标对象所在的区域。然而，由于欧式距离将样本的不同属性之间的差别等同看待，其并不是一个理想的度量工具，也就是说，使用现有技术确定的目标对象的区域准确度不高。
21.基于现有技术存在的上述技术问题，本发明提供一种目标对象匹配方法，考虑到欧氏距离并非图像处理领域理想度量工具，本发明提出得到采集设备采集的待匹配图像的特征图以及目标图像的特征图后，摒弃欧式距离这种度量工具，而是采用相关卷积频域乘积形式来确定待匹配图像中目标对象所在的区域，提高了定位准确度。
22.本发明提供的目标对象匹配方法可以由笔记本电脑、台式电脑、平板电脑、智能手机等终端设备执行，也可有服务器来执行。本发明对此不作限制。
23.下面以具体地实施例对本发明的技术方案以及本技术的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
24.图2为本发明提供的目标对象匹配方法的实施例一的流程示意图。如图2所示，本实施例提供的目标对象匹配方法，包括：
25.s201、获取采集设备采集到的待匹配图像的特征图以及目标图像的特征图。
26.其中，上述目标图像中包括目标对象，如上文描述，本实施例中的目标对象可以为人、车辆、宠物等。采集设备可以为摄像头、相机、红外采集装置等，本发明对此不作限定。
27.需要说明的是：本实施例中的待匹配图像可以为采集设备采集到的视频中的任意
一帧图像。在执行本步骤之前，可将采集设备采集到的视频分为图像帧，将图像帧作为待匹配图像。
28.一种可能的实现方式中，可预先训练一个匹配模型，可将待匹配图像输入该匹配模型中，该匹配模型便可输出该待匹配图像的特征图。同理，将目标图像输入该匹配模型中，该匹配模型便可输出目标图像的特征图。
29.下面对上述匹配模型的训练过程进行介绍：
30.步骤a、获取样本空间。
31.由于人或车辆时刻在移动，其在图像中可能会发生变形，这样可能导致无法识别到人或车辆在图像中的位置，为了使匹配模型能够识别这种正常变形获得局部变形能力，可通过如下方式来获取样本：
32.第一步、根据预先训练的跟踪模型和视频样本，获取视频样本包含的至少一帧图像。具体的，训练跟踪模型时旨在能够使用该跟踪模型采集到视频中出现正常变形的至少一帧图像。
33.第二步、使用图像增强技术对每帧图像进行处理，得到每帧图像对应的增强图像，上述至少一帧图像以及每帧图像对应的增强图像构成样本空间。将增强图像作为样本可以使匹配模型对于同一目标对象的形变不会认为是不同目标。
34.假设第一步得到的至少一帧图像构成了第一样本空间v1，使用图像增强技术对每帧图像进行处理后得到的增强图像构成了第二样本空间v2，第一样本空间v1加上第二样本空间v2便可构成第二步提到的样本空间。
35.步骤b、使用样本空间包含的图像训练得到匹配模型。
36.一种可能的实现方式中，在步骤a得到样本空间后，针对样本空间中的每个样本，一方面，人工标记目标对象所在位置，另一方面，然后采用相关卷积频域乘积形式确定目标对象所在位置，通过上述两个位置，对模型中的权重进行优化，直至两个位置非常接近为止。
37.s202、根据待匹配图像的特征图和目标图像的特征图，采用相关卷积频域乘积形式确定待匹配图像中目标对象所在的区域。
38.一种可能的实现方式中，可根据目标图像的特征图的尺寸，采用预设步长遍历待匹配图像的特征图，得到至少一个候选特征图，然后，将该至少一个候选特征图和目标图像的特征图在n个通道内做相关卷积操作，得到n个通道的输出结果，最后根据该n个通道的输出结果，确定待匹配图像中目标对象所在的区域。
39.其中，n个通道的输出结果中第一通道的输出结果为相似度矩阵，该相似度矩阵用于表征各个候选特征图与目标图像的特征图之间的相似度；n个通道的输出结果中第二通道的输出结果为横坐标偏移矩阵，该横坐标偏移矩阵用于表征各个候选特征图的中心点的横坐标偏移量；n个通道的输出结果中第三通道的输出结果为纵坐标偏移矩阵，该纵坐标偏移矩阵用于表征各个候选特征图的中心点的纵坐标偏移量；n个通道的输出结果中第四通道的输出结果为匹配宽度矩阵，该匹配宽度矩阵用于表征目标对象在各个候选特征图上的宽度；n个通道的输出结果中第五通道的输出结果为匹配高度矩阵，该匹配高度矩阵用于表征所述目标对象在各个候选特征图上的高度。
40.可选的，上述预设步长可以为1px，n可以为5。
41.下面对上述获取至少一个候选特征图的过程举例说明：
42.假设，参见图3所示，目标图像的特征图的尺寸为6px*6px，待匹配图像的特征图的尺寸为22px*22px，预设步长为1px，在待匹配图像的特征图上，将6px*6px作为滑动窗口的大小，按照从左到右，从上到下的顺序，以步长为1px遍历待匹配图像的特征图，可以得到17*17个候选特征图。如图3中标号1和标号2对应的区域就构成两个候选特征图。
43.本实施例提供的目标对象匹配方法，得到采集设备采集的待匹配图像的特征图以及目标图像的特征图后，摒弃欧式距离这种度量工具，而是采用相关卷积频域乘积形式来确定目标对象在待匹配图像中所在的区域，提高了定位准确度。
44.图4为本发明提供的目标对象匹配方法的实施例二的流程示意图。本实施例对上述实施例中确定待匹配图像中目标对象所在的区域的实现方式进行了详细介绍。如图4所示，本实施例提供的目标对象匹配方法，包括：
45.s401、获取采集设备采集到的待匹配图像的特征图以及目标图像的特征图。
46.具体的，s401的实现方式可参见上述实施例中的s201，本发明在此不再赘述。
47.s402、根据目标图像的特征图的尺寸，采用预设步长遍历待匹配图像的特征图，得到至少一个候选特征图。
48.具体的，获取至少一个候选特征图的实现方式可参见上述实施例，本发明在此不再赘述。
49.s403、根据相似度矩阵，确定相似度最大的候选特征图。
50.一种可能的实现方式中，在得到上述至少一个候选特征图后，将该至少一个候选特征图和目标图像的特征图在n个通道内做相关卷积操作，第一通道的输出结果为相似度矩阵，可根据该相似度矩阵确定相似度最大的候选特征图。
51.具体的，在第一通道内可通过如下公式确定每个候选特征图和目标图像的特征图之间的相似度：
52.respmap[x,y,0]＝scoremap[x,y]＝(ft*z)[x,y,0]
[0053]
其中，scoremap[x,y]为相似度矩阵，ft为候选特征图，z为目标图像的特征图。该相似度矩阵用于表征各个候选特征图与目标图像的特征图之间的相似度。
[0054]
结合上述实施例中s202中的例子：
[0055]
若在待匹配图像的特征图上遍历得到17*17个候选特征图，将该17*17个候选特征图和目标图像的特征图在第一通道内使用上述公式做相关卷积操作，得到相似度矩阵scoremap[x,y]为17*17的矩阵，该矩阵上第i行第j列的元素表示的是待匹配图像的特征图上第i行第j列的候选特征图和目标图像的特征图之间的相似度。
[0056]
在得到上述相似度矩阵scoremap[x,y]的基础上，可将该相似度矩阵scoremap[x,y]中相似度最大的元素所对应的坐标作为相似度最大的候选特征图的中心坐标，可通过如下公式确定相似度最大的候选特征图的中心坐标：
[0057]
obj_xy＝arg max(scoremap)
[0058]
比如：相似度矩阵scoremap[x,y]中相似度最大的元素在第a行第b列，则可将(a，b)确定为相似度最大的候选特征图的中心坐标。
[0059]
s404、根据所述相似度最大的候选特征图的中心点坐标，确定所述待匹配图像中所述目标对象所在的区域。
[0060]
一种可能的实现方式中，一方面，根据相似度最大的候选特征图的中心点坐标和横坐标偏移矩阵，确定相似度最大的候选特征图的中心点的横坐标偏移量；另一方面，根据相似度最大的候选特征图的中心点坐标和纵坐标偏移矩阵，确定相似度最大的候选特征图的中心点的纵坐标偏移量；再一方面，根据相似度最大的候选特征图的中心点坐标和匹配宽度矩阵，确定目标对象在相似度最大的候选特征图上的宽度；再一方面，根据相似度最大的候选特征图的中心点坐标和匹配高度矩阵，确定目标对象在相似度最大的候选特征图上的高度；最后，根据相似度最大的候选特征图的中心点坐标、上述横坐标偏移量、上述纵坐标偏移量、上述宽度以及上述高度，确定待匹配图像上目标对象所在的区域。
[0061]
具体的，可通过如下公式确定相似度最大的候选特征图的中心点的横坐标偏移量和纵坐标偏移量：
[0062]
dx＝respmap[x,y,1](obj_xy)
[0063]
dy＝respmap[x,y,2](obj_xy)
[0064]
其中，dx为横坐标偏移量，dy为纵坐标偏移量，obj_xy为相似度最大的候选特征图对应的中心坐标，respmap[x,y,1]表示dx对应的是卷积操作的第二通道，respmap[x,y,2]表示dy对应的是卷积操作的第三通道。
[0065]
得到上述横坐标偏移量和纵坐标偏移量后，对相似度最大的候选特征图的中心点坐标进行修正，得到修正后的中心点坐标：
[0066]
x＝8*obj_xy.x dx
[0067]
y＝8*obj_xy.y dy
[0068]
其中，8表征待匹配图像的特征图相比于待匹配图像缩小了8倍，目标图像的特征图相比于目标图像缩小了8倍；(x,y)表示修正后的中心点坐标，obj_xy.x为相似度最大的候选特征图的中心点的横坐标，obj_xy.y为相似度最大的候选特征图的中心点的纵坐标。
[0069]
具体的，可采用如下公式确定目标对象在相似度最大的候选特征图上的宽度以及高度：
[0070]
w＝respmap[x,y,3](obj_xy)
[0071]
h＝respmap[x,y,4](obj_xy)
[0072]
其中，w为待目标对象在相似度最大的候选特征图上的宽度，h为目标对象在相似度最大的候选特征图上的高度，respmap[x,y,3]表示w对应的是卷积操作的第四通道，respmap[x,y,4]表示h对应的是卷积操作的第五通道。
[0073]
具体的，在得到上述修正后的中心点坐标、目标对象在相似度最大的候选特征图上的宽度和高度后，可确定待匹配图像上目标对象所在的区域为：中心坐标为(8*obj_xy.x dx,8*obj_xy.y dy),宽度为respmap[x,y,3](obj_xy)，高度为respmap[x,y,4](obj_xy)对应的区域，参见图5所示。
[0074]
需要说明的是，本实施例提供的方法可应用在目标对象实时追踪场景下，在得到交通摄像头拍摄的视频后，将该视频中的每帧图像作为上述待匹配图像，通过执行上述步骤可确定每帧图像中目标对象所在的区域，在每帧图像上采用矩形框等标识符来标记该区域，使得该区域能够在显示屏上突显出来，便于用户查看，本实施例提供的目标对象匹配方法，相较于现有技术中使用欧氏距离作为相关度度量工具相比，准确度更好。
[0075]
图6为本发明提供的目标对象匹配装置的结构示意图，如图6所示，本发明提供的
目标对象匹配装置，包括：
[0076]
获取模块601，用于获取采集设备采集到的待匹配图像的特征图以及目标图像的特征图，所述目标图像中包括目标对象；
[0077]
确定模块602，用于根据所述待匹配图像的特征图和所述目标图像的特征图，采用相关卷积频域乘积形式确定所述待匹配图像中所述目标对象所在的区域。
[0078]
可选的，确定模块602，具体用于：
[0079]
采用预设步长遍历所述待匹配图像的特征图，得到至少一个候选特征图；
[0080]
将所述至少一个候选特征图和所述目标图像的特征图在n个通道内做相关卷积操作，得到n个通道的输出结果；
[0081]
根据所述n个通道的输出结果，确定所述待匹配图像中所述目标对象所在的区域。
[0082]
可选的，所述n个通道的输出结果中第一通道的输出结果为相似度矩阵，所述相似度矩阵用于表征各个候选特征图与所述目标图像的特征图之间的相似度；所述n个通道的输出结果中第二通道的输出结果为横坐标偏移矩阵，所述横坐标偏移矩阵用于表征各个候选特征图的中心点的横坐标偏移量；所述n个通道的输出结果中第三通道的输出结果为纵坐标偏移矩阵，所述纵坐标偏移矩阵用于表征各个候选特征图的中心点的纵坐标偏移量；所述n个通道的输出结果中第四通道的输出结果为匹配宽度矩阵，所述匹配宽度矩阵用于表征所述目标对象在各个候选特征图上的宽度；所述n个通道的输出结果中第五通道的输出结果为匹配高度矩阵，所述匹配高度矩阵用于表征所述目标对象在各个候选特征图上的高度。
[0083]
可选的，确定模块602，具体用于：
[0084]
根据所述相似度矩阵，确定相似度最大的候选特征图；
[0085]
根据所述相似度最大的候选特征图的中心点坐标，确定所述待匹配图像中所述目标对象所在的区域。
[0086]
可选的，确定模块602，具体用于：
[0087]
根据所述相似度最大的候选特征图的中心点坐标和所述横坐标偏移矩阵，确定所述相似度最大的候选特征图的中心点的横坐标偏移量；
[0088]
根据所述相似度最大的候选特征图的中心点坐标和所述纵坐标偏移矩阵，确定所述相似度最大的候选特征图的中心点的纵坐标偏移量；
[0089]
根据所述相似度最大的候选特征图的中心点坐标和所述匹配宽度矩阵，确定所述目标对象在所述相似度最大的候选特征图上的宽度；
[0090]
根据所述相似度最大的候选特征图的中心点坐标和所述匹配高度矩阵，确定所述目标对象在所述相似度最大的候选特征图上的高度；
[0091]
根据所述相似度最大的候选特征图的中心点坐标、所述横坐标偏移量、所述纵坐标偏移量、所述宽度以及所述高度，确定所述待匹配图像上所述目标对象所在的区域。
[0092]
可选的，获取模块601，具体用于：
[0093]
将所述待匹配图像输入预先训练的匹配模型，得到所述待匹配图像的特征图，将所述目标图像输入所述匹配模型，得到所述目标图像的特征图。
[0094]
可选的，获取模块601，具体用于：
[0095]
根据预先训练的跟踪模型和视频样本，获取所述视频样本包含的至少一帧图像；
使用图像增强技术对每帧图像进行处理，得到每帧图像对应的增强图像，所述至少一帧图像以及每帧图像对应的增强图像构成样本空间；使用所述样本空间包含的图像训练得到所述匹配模型。
[0096]
本实施例提供的目标对象匹配装置，可用于执行上述任一方法实施例中的步骤，其实现原理和技术效果类似，在此不再赘述。
[0097]
图7为本发明提供的电子设备的硬件结构示意图。如图7所示，本实施例的电子设备可以包括：
[0098]
存储器701，用于存储程序指令。
[0099]
处理器702，用于在所述程序指令被执行时实现上述任一实施例描述的目标对象匹配方法，具体实现原理可参见上述实施例，本实施例此处不再赘述。
[0100]
本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例描述的目标对象匹配方法。
[0101]
本发明还提供一种程序产品，所述程序产品包括计算机程序，所述计算机程序存储在可读存储介质中，至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备实施上述任一实施例描述的目标对象匹配。
[0102]
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0103]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0104]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
[0105]
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(英文：read-only memory，简称：rom)、随机存取存储器(英文：random access memory，简称：ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0106]
应理解，本发明所描述的处理器可以是中央处理单元(英文：central processing unit，简称：cpu)，还可以是其他通用处理器、数字信号处理器(英文：digital signal processor，简称：dsp)、专用集成电路(英文：application specific integrated circuit，简称：asic)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处
理器等。结合本技术所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
[0107]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。