一种基于超高清图像的识别方法及装置与流程

1.本发明涉及图像处理技术领域，尤其涉及一种基于超高清图像的识别方法及装置。


背景技术：

2.在对超高清图像进行目标识别时，为了提高识别速度，通常是对超高清图像进行分区块识别或者将超高清图像的分辨率缩小后再进行识别，前者会导致目标识别错误，后者则有可能会出现目标无法识别的情况，从而影响目标的检测和跟踪效果。


技术实现要素：

3.为了解决上述技术问题，本发明提供了一种超高清图像的识别方法及装置。
4.本发明的第一方面，提供一种基于超高清图像的识别方法，所述方法包括：
5.确定n个局部图像；其中，所述n个局部图像至少包括存在重合区域的两个相邻的局部图像，n是大于1的正整数；
6.识别每个局部图像中的对象，确定每个对象在所属的局部图像中的初始检测框；其中，所述对象是一个完整的目标或者是目标的一部分；
7.确定每个初始检测框是待合并检测框或独立检测框；
8.根据同一目标对应的所有待合并检测框，确定包含所述同一目标的合并检测框；
9.根据所述合并检测框和所述独立检测框确定全局图像的识别结果；
10.其中，所述全局图像是所述至少两个局部图像的组成图。
11.上述方法还具有以下特点：所述根据同一目标对应的所有待合并检测框，确定包含所述同一目标的合并检测框，包括：
12.确定同一目标对应的合并组，所述合并组包括至少两个待合并检测框，所述合并组中的不同待合并检测框是所述同一目标位于不同局部图像中的部分所对应的初始检测框；
13.将每个合并组中的待合并检测框合并为一个合并检测框。
14.上述方法还具有以下特点：所述确定同一目标对应的合并组，包括：
15.选择一个未作标识的待合并检测框，并设置第一标识；
16.循环执行以下过程，直至无法查找到符合第一条件的结果：
17.从未设置标识的待合并检测框中，按第一条件进行查找，所述第一条件为与设置有第一标识的待合并检测框具有相交关系，且与该设置有第一标识的待合并检测框在重合区域的重合度大于预设阈值，查找到至少一待合并检测框后，将所述设置有第一标识的待合并检测框的第一标识修改为第二标识，为查找到的至少一待合并检测框设置第一标识。
18.上述方法还具有以下特点：所述根据同一目标对应的所有待合并检测框确定包含所述同一目标的合并检测框，包括：
19.选择一个未作标识的待合并检测框，并设置起始标识；
20.循环执行以下过程，直至不存在未设置标识的待合并检测框：
21.从未设置标识的待合并检测框中，按第二条件进行查找，所述第二条件为与设置有起始标识的待合并检测框具有相交关系，且与该设置有起始标识的待合并检测框在重合区域的重合度大于预设阈值；
22.查找到符合第二条件的至少一待合并检测框时，将查找到的至少一待合并检测框与所述设置有起始标识的待合并检测框合并为中间框，将查找到的至少一待合并检测框设置起始标识；
23.未查到符合第二条件的待合并检测框时，将最近一次合并操作中获得的中间框作为一个合并检测框，并且，选择一个未作标识的待合并检测框，并设置起始标识。
24.上述方法还具有以下特点：所述方法还包括：将所有待合并检测框放置于待合并检测框列表；
25.所述设置起始标识为：将相应的待合并检测框从待合并检测框列表中取出放置于第二列表；
26.所述方法还包括：在查找到符合第二条件的至少一待合并检测框后，将查找到的至少一待合并检测框从待合并检测框列表中取出放置于第二列表；
27.所述直至不存在未设置标识的待合并检测框为：直至所述待合并检测框列表中不包含任何待合并检测框。
28.本发明的第二方面，提供了一种基于超高清图像的识别装置，所述装置包括：
29.局部图像确定模块，用于确定n个局部图像；其中，所述n个局部图像至少包括存在重合区域的两个相邻的局部图像，n是大于1的正整数；
30.识别模块，识别每个局部图像中的对象，确定每个对象在所属的局部图像中的初始检测框；其中，所述对象是一个完整的目标或者是目标的一部分；
31.检测框类别确定模块，用于确定每个初始检测框是待合并检测框或独立检测框；
32.合并检测框确定模块，用于根据同一目标对应的所有待合并检测框，确定包含所述同一目标的合并检测框；
33.识别结果确定模块，用于根据所述合并检测框和所述独立检测框确定全局图像的识别结果；
34.其中，所述全局图像是所述至少两个局部图像的组成图。
35.上述装置还具有以下特点：所述合并检测框确定模块，用于：
36.确定同一目标对应的合并组，所述合并组包括至少两个待合并检测框，所述合并组中的不同待合并检测框是所述同一目标位于不同局部图像中的部分所对应的初始检测框；
37.将每个合并组中的待合并检测框合并为一个合并检测框。
38.上述装置还具有以下特点：所述合并检测框确定模块，用于：
39.选择一个未作标识的待合并检测框，并设置第一标识；
40.循环执行以下过程，直至无法查找到符合第一条件的结果：
41.从未设置标识的待合并检测框中，按第一条件进行查找，所述第一条件为与设置有第一标识的待合并检测框具有相交关系，且与该设置有第一标识的待合并检测框在重合区域的重合度大于预设阈值，查找到至少一待合并检测框后，将所述设置有第一标识的待
合并检测框的第一标识修改为第二标识，为查找到的至少一待合并检测框设置第一标识。
42.上述装置还具有以下特点：所述合并检测框确定模块，用于：
43.选择一个未作标识的待合并检测框，并设置起始标识；
44.循环执行以下过程，直至不存在未设置标识的待合并检测框：
45.从未设置标识的待合并检测框中，按第二条件进行查找，所述第二条件为与设置有起始标识的待合并检测框具有相交关系，且与该设置有起始标识的待合并检测框在重合区域的重合度大于预设阈值；
46.查找到符合第二条件的至少一待合并检测框时，将查找到的至少一待合并检测框与所述设置有起始标识的待合并检测框合并为中间框，将查找到的至少一待合并检测框设置起始标识；
47.未查到符合第二条件的待合并检测框时，将最近一次合并操作中获得的中间框作为一个合并检测框，并且，选择一个未作标识的待合并检测框，并设置起始标识。
48.上述装置还具有以下特点：所述合并检测框确定模块，用于：
49.将所有待合并检测框放置于待合并检测框列表；
50.所述设置起始标识为：将相应的待合并检测框从待合并检测框列表中取出放置于第二列表；
51.所述合并检测框确定模块，用于：
52.在查找到符合第二条件的至少一待合并检测框后，将查找到的至少一待合并检测框从待合并检测框列表中取出放置于第二列表；
53.所述直至不存在未设置标识的待合并检测框为：直至所述待合并检测框列表中不包含任何待合并检测框。
54.本发明在对超高清图像进行图像识别时，在确定了各个初始检测框之后，在初始检测框中筛选出需要进行合并的待合并检测框，然后对属于同一目标的待合并检测框进行合并，从而提高图像识别的准确性，进而提高目标的检测和跟踪效果。
附图说明
55.构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
56.图1是相关技术中一超高清图像进行目标对象识别的示意图；
57.图2是本技术实施例中用于识别超高清图像的方法流程图；
58.图3是本技术实施例中对待识别图像构建全局坐标系的示意图；
59.图4是本技术实施例中对待识别图像生成初始检测框的示意图；
60.图5是本技术实施例中对待识别图像生成目标检测框的示意图；
61.图6是本技术实施例中得到中间检测框和合并检测框的过程示意图；
62.图7是本技术实施例提供的两个相机拍摄的画面拼接形成的待识别图像输出初始检测框的示意图；
63.图8是本技术实施例提供的两个相机拍摄的画面拼接形成的待识别图像输出目标检测框的示意图；
64.图9是本技术实施例提供的用于识别超高清图像的装置的框图。
具体实施方式
65.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互任意组合。
66.在对超高清图像进行目标的识别时，为了提高识别速度，在一相关技术中，对超高清图像进行分区块识别，即，将超高清图像划分为多个局部图像，当待识别的目标位于多个局部图像的交接位置时，就会导致同一目标在多个局部图像识别为不同的目标。例如，如图1所示，超高清图像分为4个局部图像，分别为区块1’、区块2’、区块3’和区块4’，目标a位于区块1’、区块2’、区块3’和区块4’的交接位置，即目标a跨越了区块1’、区块2’、区块3’和区块4’，这样，在进行目标的识别时，会在区块1’生成检测框a1’，在区块2’中生成检测框a2’，在区块3中生成检测框a3’，在区块4’中生成检测框a4’，这样，同一目标在分别在四个区块生成了四个检测框，也即识别为四个目标，导致目标识别错误，影响目标的检测和跟踪效果。
67.在另一相关技术中，将超高清图像缩小到能够满足现有图像识别算法运算能力的尺寸，例如，yolo算法默认是将输入图像的分辨率缩小到416
×
416，这就会造成分辨率的损失，当图像中的目标较小时，原本在超高清图像中可以识别出的目标，在低分辨率图像中很可能只有几个像素，导致目标难以识别。而若要将超高清图像分割为多个局部图像，则会出现上述相关技术中所述的目标识别错误的问题。
68.为了解决以上技术问题，本技术提供了一种基于超高清图像的识别方法，对待识别图像分区进行目标的识别，当待识别的目标跨越多个局部图像时，能够对多个局部图像中识别出的目标的检测框进行合并，从而提高图像识别的准确性，保证目标对象的检测和跟踪效果。
69.如图2所示，基于超高清图像的识别方法包括：
70.s100、确定n个局部图像；其中，所述n个局部图像至少包括存在重合区域的两个相邻的局部图像，n是大于1的正整数。
71.在该步骤中，n个局部图像能够形成一个超高清的待识别图像，超高清图像通常指的是分辨率在3840
×
2160像素以上的图像。在一些实施例中，待识别图像为阵列相机拍摄的多个局部图像拼接形成的全局图像，其分辨率可高达一亿甚至十亿像素。在本实施例中，阵列相机的每个相机负责拍摄场景中的一部分区域得到局部图像，各相邻相机拍摄的局部图像之间有所重叠，每个相机拍摄的图像即构成步骤s100中所述的一个局部图像，各相邻相机拍摄的局部图像之间的重叠区域即构成步骤s100中所述的重合区域。
72.在另一些实施例中，待识别图像为一个相机拍摄的超高清图像，将超高清图像分割为多个子图像，且各个相邻子图像之间有一定的重叠。在本实施例中，分割得到的子图像即构成步骤s100中所述的局部图像，各个相邻子图像之间的重叠区域即构成步骤s100中所述的重合区域。
73.为了方便对待识别图像的分割，以及后续的目标的识别以及检测框的合并，在确定n个局部图像后，构建包括所有局部图像的全局坐标系，例如，如图3所示，待识别图像为
方形，以待识别图像的一个顶点为原点，以经过该顶点的两条边分别为x轴和y轴构建全局坐标系。在待识别图像为一个相机拍摄的超高清图像的实施例中，对待识别图像进行分割时，可以由原点起，沿x轴和y轴方向按预定尺寸对待识别图像进行分割，以将待识别图像分割为多个方形的局部图像，例如，如图3所示，将待识别图像分割为4个局部图像，分别为区块1(实线框出的区域)、区块2(虚线框出的区域)、区块3(双点划线框出的区域)、区块4(单点划线框出的区域)。
74.构建完全局坐标系之后，计算各个局部图像在全局坐标系中的坐标，在局部图像为方形的实施例中，可以方形的左下角顶点和右上角顶点的坐标作为该局部图像在全局坐标系中的坐标。继续以图3为例，各局部图像的长边长度为a，短边长度为b，相邻局部图像的交叠区域的宽度为w，则区块1在全局坐标系中的坐标为左下角顶点o和右上角顶点d1的坐标，即[(0，0)，(a，b)]；区块2在全局坐标系中的坐标为左下角顶点d2和右上角顶点d3的坐标，即[(0，b
‑
w)，(a w，2b
‑
w)]；区块3在全局坐标系中的坐标为左下角顶点d4和右上角顶点d5的坐标，即[(a
‑
w，0)，(2a
‑
w，b)]；区块4在全局坐标系中的坐标为左下角顶点d6和右上角顶点d7的坐标，即[(a
‑
w，b
‑
w)，(2a
‑
w，2b
‑
w)]。
[0075]
为了方便后续的重合度计算，进一步地，计算任意相邻局部图像之间的重合区域的坐标，例如，在局部图像为方形的实施例中，相邻局部图像的重合区域为矩形，可以矩形的左下角顶点和右上角顶点的坐标作为该重合区域在全局坐标系中的坐标，同时，记录每个局部图像的相邻局部图像编号以及对应的重合区域坐标。继续以图3为例，可生成表1。
[0076][0077]
s200、识别每个局部图像中的对象，确定每个对象在所属的局部图像中的初始检测框；其中，对象是一个完整的目标或者是目标的一部分。
[0078]
在该步骤中，对于每个局部图像均进行识别，例如可采用yolo等算法进行识别，识别的对象例如可以为车辆、人、动物等。同时，对识别出的对象生成初始检测框，可以理解的是，当目标位于局部图像的非重合区域(即没有与相邻局部图像产生重叠的区域)时，生成
的初始检测框为独立检测框，该独立检测框即为该目标的目标检测框，而当目标位于局部图像的重合区域时，该目标在相邻局部图像的重合区域必然也会生成一个初始检测框，该目标即为跨区域目标，此时，需要对初始检测框进行合并来生成目标的目标检测框。
[0079]
以图4为例，目标a跨越了4个局部图像，即跨越了区块1、区块2、区块3和区块4，目标b位于一个局部图像中，即区块2中，分别对区块1、区块2、区块3和区块4进行对象识别，得到目标a在四个区块的检测框(检测框a1、检测框a2、检测框a3、检测框a4)以及目标b在区块2的检测框b1即为初始检测框。
[0080]
由于目标有可能是位于局部图像的非重合区域，也可能是跨越多个局部图像，因此，识别出的对象可能是一个完整的目标(目标位于局部图像的非重合区域时)或者是目标的一部分(目标跨越多个局部图像时)。
[0081]
在对每个局部图像进行图像识别时，通常输出的是初始检测框在局部图像的局部坐标系中的局部坐标，为了方便后续的检测框合并，需要将初始检测框在局部坐标系中的局部坐标转化为在全局坐标系中的全局坐标，例如，可根据初始检测框在局部坐标系中的坐标与该局部图像在全局坐标系中的坐标生成初始检测框在全局坐标系中的坐标。
[0082]
s300、确定每个初始检测框是待合并检测框或独立检测框。
[0083]
如前所述，在进行图像识别时，有些目标位于局部图像的非重合区域，该目标对应的初始检测框为独立检测框，该独立检测框记为该目标的目标检测框，而当目标位于局部图像的重合区域时，则会在多个局部图像中生成对应的初始检测框，此时需要对初始检测框进行合并。因此，需要对初始检测框进行分类，即，通过该步骤，确定每个初始检测框是待合并检测框还是独立检测框，待合并检测框即需要进行合并的初始检测框，独立检测框即不需要进行合并的初始检测框。
[0084]
在一实施例中，步骤s300具体包括：
[0085]
若初始检测框与其所在的局部图像的重合区域相交，则确定该初始检测框为合并检测框，若初始检测框位于其所在局部图像的非重合区域，则确定该初始检测框为独立检测框。
[0086]
本实施例中，判断初始检测框是否与其所在局部图像的重合区域相交，若与重合区域相交，则说明目标跨越了多个局部图像，需要进行检测框合并，若不与重合区域相交，即初始检测框位于局部图像的非重合区域，则说明目标没有跨多个局部图像，该初始检测框为独立检测框。
[0087]
在一实施例中，创建待合并检测框列表和目标检测框列表，针对每个局部图像，依次遍历其初始检测框，将确定的待合并检测框加入到待合并检测框列表中，将确定的独立检测框加入到目标检测框列表中。
[0088]
继续参考图4，检测框a1、检测框a2、检测框a3、检测框a4分别与区块1、区块2、区块3、区块4的重合区域相交，则检测框a1、检测框a2、检测框a3、检测框a4为待合并检测框，将检测框a1、检测框a2、检测框a3、检测框a4加入到待合并检测框列表中。检测框b1不与区块2的重合区域相交，则检测框b1为独立检测框，该独立检测框即为目标b的目标检测框，将检测框b1加入到目标检测列表中。
[0089]
s400、根据同一目标对应的所有待合并检测框，确定包含同一目标的合并检测框。
[0090]
该步骤中，将属于同一目标的待合并检测框进行合并，从而提高图像识别的准确
性，保证目标的检测和跟踪效果。
[0091]
在一实施例中，根据各待合并检测框的相交状态，以及相交的待合并检测框在重合区域的重合度，对属于同一目标的待合并检测框进行合并，得到目标的合并检测框，该合并检测框即为该目标在待识别图像中的目标检测框。
[0092]
本实施例中，可根据各待合并检测框的相交状态以及相交的待合并检测框在重合区域的重合度判断各待合并检测框是否属于同一目标，例如，两个处于相交状态且在重合区域重合度较高的待合并检测框必然属于同一目标。如此，可将属于同一目标的待合并检测框合并得到该目标在待识别图像中的目标检测框。示例性地，可将属于同一目标的待合并检测框的最小外接矩形(minimum bounding rectangle，简称mbr)作为该目标的目标检测框。
[0093]
以图4和图5为例，检测框a1、检测框a2、检测框a3和检测框a4两两相交，且各检测框之间在相应重合区域的重合度较高，因此可判定检测框a1、检测框a2、检测框a3和检测框a4属于同一目标即目标a，对检测框a1、检测框a2、检测框a3和检测框a4进行合并，得到目标a的目标检测框a5。
[0094]
s500、根据合并检测框和独立检测框确定全局图像的识别结果，其中，全局图像是至少两个局部图像的组成图。
[0095]
该步骤中，将各个局部图像合成为全局图像，由于相邻局部图像之间具有重合区域，在合成时，重合区域需要合并或者将相邻两个局部图像中的一个的重合区域删除。同时，将合并检测框和独立检测框作为目标检测框与全局图像一起输出。
[0096]
本技术实施例提供的用于识别超高清图像的方法中，能够对属于同一跨多个局部图像的目标的待合并检测框进行合并，从而提高图像识别的准确性，进而提高目标的检测和跟踪效果。另外，根据各待合并检测框的相交状态以及相交的待合并检测框在重合区域的重合度来确定属于同一目标的待合并检测框，运算量小，运算速度快，进而提高图像识别速度。
[0097]
在一些实施例中，可以是边进行同一目标的待合并检测框的查找，边进行待合并检测框的合并，具体地，步骤400包括：
[0098]
s410、选择一个未作标识的待合并检测框，并设置起始标识；
[0099]
s420、循环执行以下过程，直至不存在未设置标识的待合并检测框：
[0100]
从未设置标识的待合并检测框中，按第二条件进行查找，第二条件为与设置有起始标识的待合并检测框具有相交关系，且与该设置有起始标识的待合并检测框在重合区域的重合度大于预设阈值；
[0101]
查找到符合第二条件的至少一待合并检测框时，将查找到的至少一待合并检测框与设置有起始标识的待合并检测框合并为中间框，将查找到的至少一待合并检测框设置起始标识；
[0102]
未查到符合第二条件的待合并检测框时，将最近一次合并操作中获得的中间框作为一个合并检测框，并且，选择一个未作标识的待合并检测框，并设置起始标识。
[0103]
在该步骤中，通过对设置有起始标识的待合并检测框所在局部图像的相邻局部图像进行查找，得到相邻局部图像中与设置有起始标识的待合并检测框属于同一目标的待合并检测框，对查找到的待合并检测框设置起始标识并继续循环执行上述的查找过程，直至
找到并合并完成所有的属于同一目标的待合并检测框。在对相邻局部图像进行遍历时，可以是随机遍历相邻局部图像，也可以是按相邻局部图像的编号顺序进行遍历，以图4为例，选取检测框a1作为目标a的设置有起始标识的待合并检测框，与检测框a1所在的区块1相邻的局部图像为区块2和区块3，可以首先查找区块2，然后查找区块3，最后查找与区块2和区块3相邻的区块4。
[0104]
第二条件为与设置有起始标识的待合并检测框具有相交关系，且与该设置有起始标识的待合并检测框在重合区域的重合度大于预设阈值，本实施例中，可通过交并比(intersection over union，简称iou)来表征重合度的大小，则，第二条件为：与设置有起始标识的待合并检测框具有相交关系、且与设置有起始标识的待合并检测框在重合区域的交并比大于预设交并比，预设交并比例如可以为70％。示例性地，参考图6，基础检测框r1所在局部图像为区块b1，在判断与区块b1相邻的区块b2中的待合并检测框r2是否与设置有起始标识的待合并检测框r1属于同一目标时，执行如下步骤：
[0105]
计算区块b1和区块b2的重合区域b12，即计算区块b1与区块b2的交集b12＝b1∩b2；
[0106]
设置有起始标识的待合并检测框r1与重合区域b12的交集r1’＝r1∩b12，以及待合并检测框r2与重合区域b12的交集r2’＝r2∩b12；
[0107]
计算r1’与r2’的交并比iou(r1’，r2’)＝s(r1’∩r2’)/s(r1’∪r2’)，其中，s的含义为求面积，即s(r1’∩r2’)为r1’∩r2’的面积，s(r1’∪r2’)为r1’∪r2’的面积。若iou(r1’，r2’)大于预设交并比，则待合并检测框r2与设置有起始标识的待合并检测框r1属于同一目标，将待合并检测框r2确定为符合第二条件的待合并检测框；
[0108]
设置有起始标识的待合并检测框r1与待合并检测框r2合并得到中间框r，例如，r＝mbr(r1，r2)。
[0109]
可以理解的是，上述的计算过程可利用各检测框在全局坐标系中的坐标值计算得到。
[0110]
在一实施例中，将确定的合并检测框作为目标检测框放入目标检测框列表中，以便于检测结果的输出以及后续的目标追踪。
[0111]
对于同一目标而言，步骤s420中检测出符合第二条件的局部图像，其中的待合并检测框不会再有属于该目标的可能，基于此，本实施例中，在将查找到的至少一待合并检测框设置起始标识并对该待合并检测框按第二条件进行查找时，忽略检测出符合第二条件的局部图像，即，在对一个目标进行查找时，凡是查找到符合第二条件的局部图像，后续的循环过程中，不会再对该局部图像进行查找，从而避免出现重复查找的情况，提高运算速度。示例性地，对各个局部图像分别创建待合并检测框列表，即每个局部图像对应一个待合并检测框列表，在将查找到的至少一待合并检测框设置起始标识并对该待合并检测框按第二条件进行查找时，忽略查找到符合第二条件的局部图像对应的待合并检测框列表，只对其他符合要求的局部图像的待合并检测框列表进行遍历。
[0112]
在完成一个目标的目标检测框的合并之后，再选取一个未设置标识的待合并检测框，并继续按上述的过程查找属于该目标的各个待合并检测框并进行合并，得到该目标在待识别图像中的目标检测框。
[0113]
在一实施例中，创建待合并检测框列表和目标检测框列表，在步骤s410中，设置起
始标识为，将选取的待合并检测框在待合并检测框列表中取出，在步骤s420中，在查找到符合第二条件的至少一待合并检测框后，将查找到的至少一待合并检测框从待合并检测框列表中取出。这样，在完成该目标的目标检测框的确定之后，将确定的目标检测框存入目标检测框列表，然后在待合并检测框列表中再选取一个待合并检测框，并继续执行步骤s420中的循环过程，直至不存在未设置标识的待合并检测框为：直至待合并检测框列表中不包含任何待合并检测框，即直至待合并检测框列表为空，说明所有的待合并检测框列表均合并完成，此时，目标检测框列表中的各个目标检测框即为该待识别图像中所有目标的目标检测框。
[0114]
上述递归过程可利用预先构建的栈与待合并检测框列表实现，示例性地，步骤s400具体包括：
[0115]
s401、在一局部图像(后称基础局部图像)的待合并列表中取出一个待合并检测框(后称基础检测框)，并为该基础检测框创建一个目标对象，对其初始化矩形为空；
[0116]
s402、将基础检测框压入预先构建的空栈中，并将基础局部图像的编号加入一个预先构建的空的已处理局部图像集合中；
[0117]
s403、弹出位于栈顶的检测框作为当前检测框，将其矩形与目标对象中的矩形合并得到中间框，并将目标对象中的矩形更新为中间框，遍历与当前局部图像相邻的各个局部图像(忽略已处理局部图像集合中的局部图像)，对于每个相邻的局部图像，查找与当前检测框具有最大重合度的待合并检测框，若两者的重合度大于预设阈值，则将待合并检测框从待合并列表中移除，并将移除的待合并检测框压入栈中，同时将该待合并检测框所属局部图像的编号加入已处理局部图像集合中；
[0118]
s404、判断栈是否为空，若是，则将中间框确定为合并检测框，将该合并检测框作为目标检测框加入目标检测框列表中，并执行步骤s405，否则返回步骤s403；
[0119]
s405、判断所有局部图像的待合并列表是否为空，若是，则输出目标检测框列表，若否，返回步骤s401。
[0120]
下面以图7和图8为例，介绍一个具体的识别超高清图像的实施例。图8为两个相机拍摄的画面拼接形成的待识别图像，两个相机拍摄的画面分别形成两个局部图像，即图7所示的区块e1和区块e2，两条虚线之间的区域为两个局部图像的重合区域。分别对区块e1和区块e2进行车辆的识别，如图7所示，区块e1中识别出车辆的初始检测框f1和f21，区块e2中识别出车辆的初始检测框f22。由于初始检测框f1位于区块e1的非重合区域，因此，初始检测框f1为独立检测框，如图8所示，输出初始检测框f1作为车辆1的目标检测框。
[0121]
由于初始检测框f21与区块e1的重合区域有交叠，初始检测框f22与区块e2的重合区域有交叠，因此初始检测框f21和初始检测框f22为待合并检测框，由于两者在重合区域的重合度大于预设阈值，因此两者属于同一车辆，需要将两者合并得到合并检测框，如图8所示，输出合并后的检测框f2作为车辆2的目标检测框。
[0122]
在另一些实施例中，可以是将所有属于同一目标的待合并检测框全部找到之后一起合并合并，具体地，步骤s400包括：
[0123]
s430、确定同一目标对应的合并组，合并组包括至少两个待合并检测框，合并组中的不同待合并检测框是同一目标位于不同局部图像中的部分所对应的初始检测框；
[0124]
s440、将每个合并组中的待合并检测框合并为一个合并检测框。
[0125]
本实施例中，首先找出属于同一目标的所有待合并检测框，即上述的合并组，然后将这些属于同一目标的所有待合并检测框合并为一个合并检测框，该合并检测框即为该目标的目标检测框。
[0126]
示例性地，步骤s430包括：
[0127]
选择一个未作标识的待合并检测框，并设置第一标识；
[0128]
循环执行以下过程，直至无法查找到符合第一条件的结果：
[0129]
从未设置标识的待合并检测框中，按第一条件进行查找，第一条件为与设置有第一标识的待合并检测框具有相交关系，且与该设置有第一标识的待合并检测框在重合区域的重合度大于预设阈值，查找到至少一待合并检测框后，将设置有第一标识的待合并检测框的第一标识修改为第二标识，为查找到的至少一待合并检测框设置第一标识。
[0130]
本实施例中，首先在所有的待合并检测框中选择一个待合并检测框，并为其设置第一标识，然后查找所有符合第一条件的待合并检测框，查找完毕后，将该设置有第一标识的待合并检测框的第一标识修改为第二标识，并为查找到的所有的待合并检测框设置第一标识。再执行上述的循环过程，继续按第一条件在未设置标识的待合并框中进行查找，直至无法查找到符合第一条件的结果，则属于一个目标的所有待合并检测框均已查找到，即设置有第一标识的待合并检测框以及设置有第二标识的待合并检测框形成一个合并组。上述递归过程也可利用预先构建的栈与待合并检测框列表实现，与前述实施例类似，在此不再赘述。
[0131]
本技术还提供了一种基于超高清图像的识别装置，对待识别图像分区进行目标的识别，当待识别的目标跨越多个局部图像时，能够对多个局部图像中识别出的目标的检测框进行合并，从而提高图像识别的准确性，保证目标对象的检测和跟踪效果。
[0132]
如图9所示，装置包括局部图像确定模块100、识别模块200、检测框类别确定模块300、合并检测框确定模块400和识别结果确定模块500。其中，局部图像确定模块100用于确定n个局部图像；其中，n个局部图像至少包括存在重合区域的两个相邻的局部图像，n是大于1的正整数。识别模块200用于识别每个局部图像中的对象，确定每个对象在所属的局部图像中的初始检测框；其中，对象是一个完整的目标或者是目标的一部分。检测框类别确定模块300用于确定每个初始检测框是待合并检测框或独立检测框。合并检测框确定模块400用于根据同一目标对应的所有待合并检测框，确定包含同一目标的合并检测框。识别结果确定模块500用于根据合并检测框和独立检测框确定全局图像的识别结果；其中，全局图像是至少两个局部图像的组成图。
[0133]
在一个示例性实施例中，提供了一种基于超高清图像的识别装置，该控制装置中，合并检测框确定模块400，用于：
[0134]
选择一个未作标识的待合并检测框，并设置起始标识；
[0135]
循环执行以下过程，直至不存在未设置标识的待合并检测框：
[0136]
从未设置标识的待合并检测框中，按第二条件进行查找，所述第二条件为与设置有起始标识的待合并检测框具有相交关系，且与该设置有起始标识的待合并检测框在重合区域的重合度大于预设阈值；
[0137]
查找到符合第二条件的至少一待合并检测框时，将查找到的至少一待合并检测框与所述设置有起始标识的待合并检测框合并为中间框，将查找到的至少一待合并检测框设
置起始标识；
[0138]
未查到符合第二条件的待合并检测框时，将最近一次合并操作中获得的中间框作为一个合并检测框，并且，选择一个未作标识的待合并检测框，并设置起始标识。
[0139]
在一个示例性实施例中，提供了一种基于超高清图像的识别装置，该控制装置中，合并检测框确定模块400，用于：
[0140]
将所有待合并检测框放置于待合并检测框列表；
[0141]
设置起始标识为：将相应的待合并检测框从待合并检测框列表中取出；
[0142]
合并检测框确定模块400，用于：
[0143]
在查找到符合第二条件的至少一待合并检测框后，将查找到的至少一待合并检测框从待合并检测框列表中取出；
[0144]
直至不存在未设置标识的待合并检测框为：直至待合并检测框列表中不包含任何待合并检测框。
[0145]
在一个示例性实施例中，提供了一种基于超高清图像的识别装置，该控制装置中，合并检测框确定模块400，用于：
[0146]
确定同一目标对应的合并组，合并组包括至少两个待合并检测框，合并组中的不同待合并检测框是同一目标位于不同局部图像中的部分所对应的初始检测框；
[0147]
将每个合并组中的待合并检测框合并为一个合并检测框。
[0148]
在一个示例性实施例中，提供了一种基于超高清图像的识别装置，该控制装置中，合并检测框确定模块400，用于：
[0149]
选择一个未作标识的待合并检测框，并设置第一标识；
[0150]
循环执行以下过程，直至无法查找到符合第一条件的结果：
[0151]
从未设置标识的待合并检测框中，按第一条件进行查找，第一条件为与设置有第一标识的待合并检测框具有相交关系，且与该设置有第一标识的待合并检测框在重合区域的重合度大于预设阈值，查找到至少一待合并检测框后，将设置有第一标识的待合并检测框的第一标识修改为第二标识，为查找到的至少一待合并检测框设置第一标识。
[0152]
另外，本发明申请还提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，所述程序被处理器执行时，用于实现如上所述的用于识别超高清图像的方法。
[0153]
上面描述的内容可以单独地或者以各种方式组合起来实施，而这些变型方式都在本发明的保护范围之内。
[0154]
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现，相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。
[0155]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括所述要素的物品或者设备中
还存在另外的相同要素。
[0156]
以上实施例仅用以说明本发明的技术方案而非限制，仅仅参照较佳实施例对本发明进行了详细说明。本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。