一种图像拼接方法及装置与流程

1.本发明涉及图像处理技术领域，具体涉及一种图像拼接方法及装置。


背景技术：

2.图像拼接技术可以将两张具有重叠区域的输入图融合成一张具有高分辨率和具有更大视野的图像，通过图像拼接技术可以降低银行对于客户输入的证件和货币等图像的质量要求。
3.目前现有图像拼接技术的基本流程包括：像素值的标准化，指定参考系，图像的特征提取，单应性模型的估计，以及图像的融合。但是，由于证件和卡等物体具有平整光滑的特点，从图像中的证件和卡等物体上能够提取到的特征点较少，图像的背景特征的数量会远大于从物体(证件和卡)上提取到的特征的数量；按照现有的图像拼接技术所得到的单应性模型更倾向于满足背景特征的配置，导致期望的物体结构发生畸变，图像中低特征物体拼接的准确性较低。


技术实现要素：

4.有鉴于此，本发明实施例提供一种图像拼接方法及装置，以解决现有图像拼接技术存在的图像中低特征物体拼接的准确性较低等问题。
5.为实现上述目的，本发明实施例提供如下技术方案：
6.本发明实施例第一方面公开一种图像拼接方法，所述方法包括：
7.获取多个图像组，每个所述图像组包括相对应的第一目标图像和参考图像；
8.对于每个图像组，确定所述图像组中第一目标图像和参考图像的投影误差，以及确定所述图像组中第一目标图像对应的单应性模型；
9.基于所述投影误差，对所有所述单应性模型进行聚类以得到至少一个模型类别，并从所述至少一个模型类别中确定目标类别；
10.利用预设的优化方程，对所述目标类别中每个单应性模型对应的第一目标图像进行优化，得到相应的第二目标图像，其中，所述优化方程至少包括：基于点特征的匹配优化项，基于线特征的匹配优化项，基于十字特征的投影失真优化项和基于十字特征的透视失真优化项；
11.确定所述目标类别中每个单应性模型对应的优化后的最佳缝合线；
12.对于每个第二目标图像，基于所述第二目标图像对应的优化后的最佳缝合线，将所述第二目标图像与相应的参考图像进行拼接，得到图像拼接结果；
13.计算各个所述图像拼接结果的评价指标，并基于所述评价指标从各个所述图像拼接结果确定最终图像拼接结果。
14.优选的，对于每个图像组，确定所述图像组中第一目标图像和参考图像的投影误差，以及确定所述图像组中第一目标图像对应的单应性模型，包括：
15.对于每个图像组，分别提取所述图像组中第一目标图像和参考图像的特征信息，
其中，所述特征信息包括特征点和特征线；
16.基于所述特征信息，确定所述图像组中第一目标图像和参考图像的投影误差，以及确定所述图像组中第一目标图像对应的单应性模型。
17.优选的，基于所述投影误差，对所有所述单应性模型进行聚类以得到至少一个模型类别，并从所述至少一个模型类别中确定目标类别，包括：
18.基于所述投影误差，对所有所述单应性模型进行聚类以得到至少一个模型类别；
19.从进行聚类的所述单应性模型中确定最佳的单应性模型；
20.确定涵盖所述最佳的单应性模型的模型类别为目标类别。
21.优选的，确定涵盖所述最佳的单应性模型的模型类别为目标类别之后，所述方法还包括：
22.获取所述目标类别包含的单应性模型的模型数量；
23.判断所述模型数量是否小于数量阈值；
24.若所述模型数量小于数量阈值，输出所述目标类别；
25.若所述模型数量大于或等于所述数量阈值，对所述目标类别包含的单应性模型进行聚类以得到至少一个模型类别，返回执行从进行聚类的所述单应性模型中确定最佳的单应性模型这一步骤。
26.优选的，确定所述目标类别中每个单应性模型对应的优化后的最佳缝合线，包括：
27.利用大津算法，确定所述目标类别中每个单应性模型对应的优化后的最佳缝合线。
28.优选的，计算各个所述图像拼接结果的评价指标，并基于所述评价指标从各个所述图像拼接结果确定最终图像拼接结果，包括：
29.计算各个所述图像拼接结果的峰值信噪比；
30.确定峰值信噪比最大的所述图像拼接结果为最终图像拼接结果。
31.本发明实施例第二方面公开一种图像拼接装置，所述装置包括：
32.获取单元，用于获取多个图像组，每个所述图像组包括相对应的第一目标图像和参考图像；
33.第一确定单元，用于对于每个图像组，确定所述图像组中第一目标图像和参考图像的投影误差，以及确定所述图像组中第一目标图像对应的单应性模型；
34.第一处理单元，用于基于所述投影误差，对所有所述单应性模型进行聚类以得到至少一个模型类别，并从所述至少一个模型类别中确定目标类别；
35.优化单元，用于利用预设的优化方程，对所述目标类别中每个单应性模型对应的第一目标图像进行优化，得到相应的第二目标图像，其中，所述优化方程至少包括：基于点特征的匹配优化项，基于线特征的匹配优化项，基于十字特征的投影失真优化项和基于十字特征的透视失真优化项；
36.第二确定单元，用于确定所述目标类别中每个单应性模型对应的优化后的最佳缝合线；
37.拼接单元，用于对于每个第二目标图像，基于所述第二目标图像对应的优化后的最佳缝合线，将所述第二目标图像与相应的参考图像进行拼接，得到图像拼接结果；
38.第二处理单元，用于计算各个所述图像拼接结果的评价指标，并基于所述评价指
标从各个所述图像拼接结果确定最终图像拼接结果。
39.优选的，所述第一确定单元具体用于：对于每个图像组，分别提取所述图像组中第一目标图像和参考图像的特征信息，其中，所述特征信息包括特征点和特征线；基于所述特征信息，确定所述图像组中第一目标图像和参考图像的投影误差，以及确定所述图像组中第一目标图像对应的单应性模型。
40.优选的，所述第一处理单元包括：
41.第一聚类模块，用于基于所述投影误差，对所有所述单应性模型进行聚类以得到至少一个模型类别；
42.第一确定模块，用于从进行聚类的所述单应性模型中确定最佳的单应性模型；
43.第二确定模块，用于确定涵盖所述最佳的单应性模型的模型类别为目标类别。
44.优选的，所述第一处理单元还包括：
45.获取模块，用于获取所述目标类别包含的单应性模型的模型数量；
46.判断模块，用于判断所述模型数量是否小于数量阈值；
47.输出模块，用于若所述模型数量小于数量阈值，输出所述目标类别；
48.第二聚类模块，用于若所述模型数量大于或等于所述数量阈值，对所述目标类别包含的单应性模型进行聚类以得到至少一个模型类别，返回执行所述第一确定模块。
49.基于上述本发明实施例提供的一种图像拼接方法及装置，获取多个图像组；对于每个图像组，确定图像组中第一目标图像和参考图像的投影误差，以及确定图像组中第一目标图像对应的单应性模型；基于投影误差，对所有单应性模型进行聚类以得到至少一个模型类别，并从至少一个模型类别中确定目标类别；利用预设的优化方程，对目标类别中每个单应性模型对应的第一目标图像进行优化，得到相应的第二目标图像；确定目标类别中每个单应性模型对应的优化后的最佳缝合线；对于每个第二目标图像，基于第二目标图像对应的优化后的最佳缝合线，将第二目标图像与相应的参考图像进行拼接，得到图像拼接结果；计算各个图像拼接结果的评价指标，并基于评价指标从各个图像拼接结果确定最终图像拼接结果。本方案采用基于结果为驱动的图像拼接策略，并通过多个优化步骤降低图像拼接结果的失真，提高图像中低特征物体拼接的准确性。
附图说明
50.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
51.图1为本发明实施例提供的一种图像拼接方法的流程图；
52.图2为本发明实施例提供的确定目标类别的流程图；
53.图3为本发明实施例提供的一种图像拼接装置的结构框图。
具体实施方式
54.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于
本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
55.在本技术中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
56.需要说明的是，本发明提供的一种图像拼接方法及装置可用于金融领域或其他领域。上述仅为示例，并不对本发明提供的一种图像拼接方法及装置的应用领域进行限定。
57.由背景技术可知，由于证件和卡等物体具有平整光滑的特点，从图像中的证件和卡等物体上能够提取到的特征点较少，图像的背景特征的数量会远大于从物体(证件和卡)上提取到的特征的数量；按照现有的图像拼接技术所得到的单应性模型更倾向于满足背景特征的配置，导致期望的物体结构发生畸变，图像中低特征物体拼接的准确性较低。
58.因此，本发明实施例提供一种图像拼接方法及装置，采用基于结果为驱动的图像拼接策略，并通过多个优化步骤降低图像拼接结果的失真，以提高图像中低特征物体拼接的准确性。
59.需要说明的是，在将两张图像进行拼接时，该两张图像事实上存在于不同的坐标系下，因此需要从该两张图像中指定一张图像作为参考图像，另一张图像作为目标图像；将目标图像所在的坐标系变换到参考图像的坐标系后，才能完成后续的图像拼接。
60.参见图1，示出了本发明实施例提供的一种图像拼接方法的流程图，该图像拼接方法包括：
61.步骤s101：获取多个图像组。
62.在具体实现步骤s101的过程中，获取多个图像组，每个图像组都包括相对应的第一目标图像和参考图像；也就是说，一个图像组由一张第一目标图像和一张相应的参考图像组成。
63.步骤s102：对于每个图像组，确定图像组中第一目标图像和参考图像的投影误差，以及确定图像组中第一目标图像对应的单应性模型。
64.在具体实现步骤s102的过程中，对于每个图像组，分别提取该图像组中第一目标图像和参考图像的特征信息，其中，特征信息包括特征点和特征线；也就是说，提取第一目标图像的特征点和特征线，以及提取参考图像的特征点和特征线。
65.具体而言，采用尺度不变特征转换(scale-invariant feature transform，sift)和线段检测(line segment detector，lsd)提取第一目标图像的特征点和特征线，以及采用sift和lsd提取参考图像的特征点和特征线。
66.对于每个图像组，基于从该图像组提取得到的特征信息，确定该图像组中第一目标图像和参考图像的投影误差，以及确定该图像组中第一目标图像对应的单应性模型。
67.具体而言，基于从图像组提取得到的特征信息，采用随机抽样一致算法(random sample consensus，ransac算法)迭代得到该图像组中第一目标图像和参考图像的投影误差，以及确定该图像组中第一目标图像对应的单应性模型(记为hi)。
68.通过上述方式，确定得到每组图像对应的投影误差，及确定得到每组图像中第一
目标图像对应的单应性模型；即可多得多组投影误差和多个单应性模型。
69.步骤s103：基于投影误差，对所有单应性模型进行聚类以得到至少一个模型类别，并从至少一个模型类别中确定目标类别。
70.在具体实现步骤s103的过程中，在确定得到多组投影误差和多个单应性模型后，基于投影误差，利用聚类算法(如k-menas算法)对所有单应性模型进行聚类，得到至少一个模型类别(记为k个模型类别)；再从至少一个模型类别中确定目标类别，目标类别可记为k(h
opt
)，确定目标类别的具体过程详见下述本发明实施例图2示出的内容。
71.需要说明的是，目标类别中包含至少一个单应性模型，目标类别中所有单应性模型所构成的集合可以记为
72.步骤s104：利用预设的优化方程，对目标类别中每个单应性模型对应的第一目标图像进行优化，得到相应的第二目标图像。
73.在具体实现步骤s104的过程中，利用预设的优化方程，对目标类别中的每一个单应性模型对应的第一目标图像进行优化，得到相应的第二目标图像；也就是说，对于目标类别中的每个单应性模型，利用优化方差对该单应性模型对应的第一目标图像进行优化，得到相应的第二目标图像。
74.需要说明的是，优化方程至少包括：基于点特征的匹配优化项，基于线特征的匹配优化项，基于十字特征的投影失真优化项和基于十字特征的透视失真优化项。也就是说，利用点特征、线特征和十字特征对目标类别中每一个单应性模型对应的第一目标图像进行优化，以得到相应的第二目标图像。
75.具体如何确定得到优化方程，详见以下说明：
76.基于尽可能投影(as-projective-as-possible image stitching，apap)算法中的网格划分，记表示经过apap算法权重调整过后的网格目标；假设目标图像任意一个像素点p位于的网格的顶点为“v＝[v1,v2,v3,v4]
t”，则可确定网格的顶点与像素点之间的关系为“p＝w
t
v”，其中，w＝[w1,w2,w3,w4]
t
为网格顶点与像素点之间转换的系数，w＝[w1,w2,w3,w4]
t
可由插值法(如线性插值法)确定得到。通过前述转换，优化过程的目标可由像素点转换为网格，记优化后网格的四个顶点坐标为与优化后的网格对应的像素点即为
[0077]
可以理解的是，在优化过程中需考虑点特征和线特征的配准问题，针对特征点所定义的约束项e
p
的具体内容如公式(1)。
[0078][0079]
在公式(1)中，为目标图像中经过优化后的特征点坐标，p
′
为参考图像中的特征点，p
′
与目标图像中的特征点p相匹配。
[0080]
针对线特征，设输入的参考图像与目标图像之间总共有l对匹配的线段特征，其中一对匹配的线段特征记为“{lj,l
′j}
j＝1,2,...l”。在实际处理过程中可将线特征用首尾两个像素点表示，且线段可能在网格作用下被切分成多个小线段，记目标图像中线段的所有端点
集合为此时所定义的约束项如公式(2)。
[0081][0082]
在公式(2)中，l
′j可表示为a
′jx b
′jy c
′j＝0，(a
′j,b
′j,c
′j)为l
′j的系数，表示目标图像中优化后的两个端点的坐标。
[0083]
需要说明的是，在图像拼接过程中，非重叠区域内的失真问题主要来源于在经过单应性模型的坐标转换后所产生的透视失真和投影失真；因此在本方案中采用十字特征构造投影失真优化项(也称为投影失真约束项)和透视失真优化项(也称为透视失真约束项)，以缓解非重叠区域内的失真问题。
[0084]
采用apap算法确定一个单应性模型(记为h
mdlt
)，在基于单应性模型的坐标变换过程中，有且只有一簇平行线在经过变换后仍保持平行关系，故该条平行线初始的斜率可基于公式(3)计算得到。
[0085][0086]
在公式(3)中，h7和h8为单应性模型中影响图像尺度变换的参数。
[0087]
在单应性模型h
mdlt
的影响下，上述公式(3)所计算得到的平行线的斜率被改为如公式(4)所示出的内容。
[0088][0089]
在公式(4)中，h4、h5、h1和h2为对图像进行旋转变换的参数，即h4、h5、h1和h2共同组成一个旋转变换矩阵。
[0090]
通过上述方式所求得的内容为十字特征中“十”的横线部分，将“十”的竖线部分的斜率表示为k2；在将十字特征表示为{lu,lv}时，横线部分和竖线部分的斜率分别为k1和k2；在单应性模型h
mdlt
的作用下，原始的十字特征变换为{l
′u,l
′v}，将变换前后的十字特征的所有横线表示为将变换前后的十字特征的所有竖线表示为其中，sc和tc分别表示横线和竖线的数量。由十字特征是由两条线段构成，因此横线也可以表示为两个端点的集合竖线也可以表示为两个端点的集合其中，sn表示构成横线的端点的数量，tn表示构成竖线的端点的数量。
[0091]
对于透视失真，通过公式(5)定义
[0092][0093]
在公式(5)中，等价于等价于和分别为l
′
ui
和l
′
vj
的法向量，为将网格顶点转换为像素点的系数，为像素点所在的网格的顶点坐标，为将
网格顶点转换为像素点的系数，为像素点p
vj
所在的网格顶点的齐次坐标形式，为像素点的齐次坐标形式。利用可保证l
′
ui
和l
′
vj
的斜率。公式(5)中的可视为横线部分在优化后的斜率，将该斜率与初始横线的法向量做内积，从保证斜率不变。
[0094]
可以理解的是，可通过减少l
vj
的长度来减少透视失真，通过公式(6)定义
[0095][0096]
可用于减少图像沿x轴方向的失真，通过上述公式(5)和公式(6)，最终的透视失真优化项可合并为
[0097]
对于投影失真，设no表示目标图像中的非重叠区域，通过公式(7)定义投影失真优化项e
pj
。
[0098][0099]
可以理解的是，可用于减少l
ui
在优化后形变的程度。
[0100]
结合上述基于点特征的匹配优化项、基于线特征的匹配优化项，基于十字特征的投影失真优化项和基于十字特征的透视失真优化项，确定得到优化方程如公式(8)。
[0101][0102]
在公式(8)中，为特征点匹配优化项，β
l
为基于线特征的匹配优化项的权重，为特征线匹配优化项，β
pj
为投影失真优化项的权重(如可设置为50)，e
pj
为投影失真优化项，β
ps
为透视失真优化项的权重，为透视失真优化项。
[0103]
以上是关于优化方程的相关说明，在利用优化方程对目标类别中每个单应性模型对应的第一目标图像进行优化的过程中，可通过稀疏线性求解器对该优化方程进行求解，可得到优化后的所有网格顶点坐标，即可得到第二目标图像(优化后的第一目标图像)。
[0104]
步骤s105：确定目标类别中每个单应性模型对应的优化后的最佳缝合线。
[0105]
在具体实现步骤s105的过程中，利用大津算法(ostu算法)，确定目标类别中每个单应性模型对应的优化后的最佳缝合线。也就是说，目标类别中的每个单应性模型，都利用大津算法确定该单应性模型对应的优化后的最佳缝合线。
[0106]
具体如何确定优化后的最佳缝合线，详见以下内容。
[0107]
本方案中，为减轻重叠区域内由视差所导致的拼接不准确的问题，可通过公式(9)给出的基本模型e
seam
获取最佳缝合线。
[0108]
[0109]
由于最佳缝合线是一种分配标签的策略，设标签为f＝{0,1}，当f＝0时，表示重叠区域中被分配给该标签的区域的像素值来源于目标图像i0；当f＝1时，表示重叠区域中被分配给该标签的像素值来源于参考图像i1。在为每个像素点分配完标签f
p
后，使得重叠区域内的像素尽可能地平滑过渡(相当于一条最佳缝合线)。因此，公式(9)中，ne表示像素点p的领域，q表示在ne领域的像素点，ed(f
p
)表示将标签f
p
分配给p的代价；fq表示标签，取值为0时表示像素值来自于目标图像i0，取值为1时表示像素值来自于参考图像i1；s(f
p
,fq)为平滑项，q为两张图像的重叠区域。ed(f
p
)的具体内容如公式(10)。
[0110][0111]
在公式(10)中，λs为自由设置的值，用于保证像素点误取图像时给予的惩罚值；表示像素值具体取自哪一张图像。
[0112]
需要说明的是，平滑项s(f
p
,fq)用于保证缝合线两边图像结构过渡平滑且一致，可通过公式(11)定义平滑项s(f
p
,fq)。
[0113][0114]
在公式(11)中，为像素点p被分配标签之后应取的像素值；为：像素点p周围领域内的像素点q被分配标签之后应取的像素值。
[0115]
可以理解的是，平滑项计算得到的是缝合线两边像素值的欧几里得距离，距离越小则表示过渡越平滑。通过图割算法(graph-cut)求解公式(9)即可得到每个像素点的分配(即可得到一条最佳缝合线)。
[0116]
值得说明的是，由于人眼对像素值变化的敏感度存在阈值τ，因此可通过公式(11)，利用数学语言对平滑项进行描述。
[0117][0118]
结合公式(11)可知，如果能设置合适的阈值τ，即可能获得一条更加满足用户预期的最佳缝合线。基于此，本方案通过sigmoid作为平滑项s(f
p
,fq)的测量方式，尽可能分配给小于τ的平滑项更小的耗费，给大于τ的平滑项更大的耗费，本方案中提及的sigmoid的表达式如公式(12)。
[0119]
sigmoid(s)＝(1 e-4κ(s-τ)
)-1
ꢀꢀ
(12)
[0120]
在公式(12)中，阈值τ可以利用ostu算法进行估计，s为平滑项s(f
p
,fq)，κ为s(f
p
,fq)≈τ时敏感度的加速程度，定义为κ＝1/bin，bin表示灰度直方图的单位量。
[0121]
需要说明的是，ostu算法的思路为：设存在阈值τ将图像分为前景c1(小于τ)和背景c2(大于τ)，可分别求得c1和c2的像素均值，所求得的像素均值分别表示为m1和m2，设整张图像的像素均值为mg，则可得到公式(13)。
[0122]
t1m1 t2m2＝mg,t1 t2＝1
ꢀꢀ
(13)
[0123]
在公式(13)中，t1和t2为可调参数。
[0124]
对公式(13)引入类间方差σo，可得到公式(14)。
[0125]
σo＝t1(m
1-mg)2 t2(m
2-mg)2(14)
[0126]
结合公式(13)和公式(14)，可得到公式(15)。
[0127]
σo＝t1t2(m
1-m2)2ꢀꢀ
(15)
[0128]
当σo取最大时，表示c1和c2间的差异达到最大，σo所对应的灰度即为所需要的阈值τ。
[0129]
利用ostu算法代替上述基于平滑项的欧几里得距离测量方式，可得到公式(16)。
[0130][0131]
在公式(16)中，s
new
(f
p
,fq)为优化后的平滑项估计方式，λ
new
为一个用于防止误匹配的参数(该参数的取值通常较大)。
[0132]
基于上述公式(16)，确定用于优化最佳缝合线的模型如公式(17)。
[0133][0134]
利用公式(17)，即可确定得到目标类别中每个单应性模型对应的优化后的最佳缝合线(相当于优化后的标签分配策略)。
[0135]
步骤s106：对于每个第二目标图像，基于第二目标图像对应的优化后的最佳缝合线，将第二目标图像与相应的参考图像进行拼接，得到图像拼接结果。
[0136]
需要说明的是，第二目标图像为：对目标类别中每个单应性模型对应的第一目标图像进行优化后得到的图像；故第二目标图像也存在与之对应的参考图像。
[0137]
在具体实现步骤s106的过程中，对于目标类别中每个单应性模型对应的每个第二目标图像，基于该第二目标图像对应的优化后的最佳缝合线，通过图像融合算法将该第二目标图像与相应的参考图像进行拼接，得到图像拼接结果；通过上述方式，将每个第二目标图像同与之相应的参考图像进行拼接，得到图像拼接结果；图像拼接结果的数量等于目标类别包含的单应性模型的数量。
[0138]
步骤s107：计算各个图像拼接结果的评价指标，并基于评价指标从各个图像拼接结果确定最终图像拼接结果。
[0139]
需要说明的是，通过以上各个步骤的具体内容可见，参考图像不会进行几何变换操作，即参考图像中的物体不会遭受形变，故可将参考图像作为“真实的有效图像值”；对于某一图像拼接结果而言，若该图像拼接结果与参考图像越相似，则该图像拼接结果越接近真实情况。基于前述内容，可以利用峰值信噪比(peak signal to noise ratio，psnr)作为对比参考图像和图像拼接结果的指标。
[0140]
在具体实现步骤s107的过程中，通过公式(18)计算各个图像拼接结果的峰值信噪比。
[0141][0142]
在公式(18)中，max为图像(该图像为psnr中的任意图像)中像素的最大值，mse表示均方根误差，mse的具体内容如公式(19)。
[0143][0144]
在公式(19)中，ir(i,j)为从参考图像中截取的区域，i
′r(i,j)为图像拼接结果中与ir(i,j)相同的部分。
[0145]
通过上述方式计算得到各个图像拼接结果的峰值信噪比之后，确定峰值信噪比最大的图像拼接结果为最终图像拼接结果(相当于最佳的图像拼接结果)，将最终图像拼接结果输出给用户；或者说，将max(psnr)对应的图像拼接结果作为最终图像拼接结果输出给用户。
[0146]
在本发明实施例中，采用基于结果为驱动的图像拼接策略，并通过多个优化步骤降低图像拼接结果的失真(如减轻非重叠区域和重叠区域的失真)，提高图像中低特征物体拼接的准确性。
[0147]
上述本发明实施例图1步骤s103中涉及的确定目标类别的内容，参见图2，示出了本发明实施例提供的确定目标类别的流程图，包括以下步骤：
[0148]
步骤s201：基于投影误差，对所有单应性模型进行聚类以得到至少一个模型类别。
[0149]
在具体实现步骤s201的过程中，利用投影误差和聚类算法(如k-means算法)，对所有单应性模型进行聚类以得到至少一个模型类别；具体对所有单应性模型进行聚类的过程，详见以下内容。
[0150]
在存在num个单应性模型的情况下，记其中一个单应性模型为hi，hi的投影误差记为resi；将所有单应性模型的投影误差进行聚类以得到k类，此时可确定得到公式(20)和公式(21)。
[0151]
kj＝argmin||res
i-μj||2,j＝1,2,...,k
ꢀꢀ
(20)
[0152][0153]
在公式(20)和公式(21)中，kj为以投影误差最小的样本划分的类数，μj为第j类的样本中心，μj可以随机设置，l
ij
为指示型参数；在投影误差归为第j类时，l
ij
＝1，否则l
ij
＝0。执行上述公式(20)和公式(21)对所有单应性模型的投影误差进行聚类，并在执行上述公式(20)和公式(21)的过程中估计损失函数的结果直至损失函数收敛，此时可聚类得到至少一个模型类别，每个模型类别中包含至少一个单应性模型。
[0154]
可以理解的是，损失函数j的具体内容如公式(22)。
[0155][0156]
通过以上内容，对所有单应性模型进行聚类以得到至少一个模型类别。
[0157]
步骤s202：从进行聚类的单应性模型中确定最佳的单应性模型。
[0158]
在具体实现步骤s202的过程中，利用baseline从进行聚类的单应性模型中确定最佳的单应性模型(可记为h
opt
)。
[0159]
步骤s203：确定涵盖最佳的单应性模型的模型类别为目标类别。
[0160]
由于最佳的单应性模型为进行聚类的某一单应性模型，因此在聚类之后会将最佳的单应性模型划分到某一模型类别；在具体实现步骤s203的过程中，涵盖最佳的单应性模
型的模型类别为目标类别；也就是说，确定最佳的单应性模型所属的模型类别为目标类别。目标类别中所包含的单应性模型可以认为是合理的单应性模型。
[0161]
步骤s204：获取目标类别包含的单应性模型的模型数量。
[0162]
需要说明的是，hr为由目标类别中所有单应性模型所构成的集合；如果输入的第一目标图像的分辨率过高，在第一次对单应性模型进行聚类后，hr中会包括大量的单应性模型，可能会加大后续处理过程所耗费的时间，因此需对hr进行优化。
[0163]
在具体实现步骤s204的过程中，在确定得到目标类别之后，获取目标类别包含的单应性模型的模型数量。
[0164]
步骤s205：判断模型数量是否小于数量阈值。若模型数量小于数量阈值，执行步骤s206；若模型数量大于或等于数量阈值，执行步骤s207。
[0165]
在具体实现步骤s205的过程中，判断模型数量是否小于数量阈值。
[0166]
若模型数量小于数量阈值，表征不需要对hr进行优化(模型数量较少)，执行步骤s206；若模型数量大于或等于数量阈值，表征需要对hr进行优化(模型数量较多)，执行步骤s207。
[0167]
需要说明的是，数量阈值可根据实际情况设定，在此对于数量阈值不做具体限定。
[0168]
步骤s206：输出目标类别。
[0169]
在具体实现步骤s206的过程中，若模型数量小于数量阈值，输出本次聚类得到的目标类别，以作为后续处理流程中所使用的目标类别。
[0170]
步骤s207：对目标类别包含的单应性模型进行聚类以得到至少一个模型类别，返回执行步骤s202。
[0171]
在具体实现步骤s207的过程中，若模型数量大于或等于数量阈值，对目标类别包含的单应性模型再次进行聚类，以得到至少一个模型类别，返回执行步骤s202，从再次进行聚类的单应性模型中重新确定最佳的单应性模型。若模型数量大于或等于数量阈值，采用重新对目标类别包含的单应性模型进行聚类的方式，可降低目标类别所包含的单应性模型的数量；对目标类别包含的单应性模型进行聚类的方式，可参见上述步骤s201中的内容，在此不再赘述。
[0172]
需要说明的是，步骤s204至步骤s207所示出的内容为优选示例；在实际应用中，可仅执行步骤s201至步骤s203确定目标类别；也可以执行步骤s201至步骤s207确定目标类别，在本发明实施例中不做具体限定。
[0173]
以上各个实施例的内容，是关于图像拼接方法的相关说明，本方案采用基于结果为驱动的图像拼接策略，并通过多个优化步骤降低图像拼接结果的失真，以提高图像中低特征物体拼接的准确性。
[0174]
为更好体现本方案相对于其它图像拼接技术的优势，通过以下内容进行解释说明。
[0175]
需要说明的是，在比对本方案的图像拼接效果和其它图像拼接技术的图像拼接效果时，所采用的评估标准eval如公式(23)。
[0176]
eval＝psnr*ssim
ꢀꢀ
(23)
[0177]
在公式(23)中，psnr为上述提及的峰值信噪比，ssim为结构相似一致性指标。
[0178]
测试本方案和其它图像拼接技术所采用的测试数据集的具体内容如表1。
[0179]
表1：
[0180][0181]
需要说明的是，上述表1示出的内容中，mnp1和mnl1分别为h
opt
对应的匹配点和匹配线的数量，mnp2和mnl2分别为采用本方案获得的图像拼接结果中单应性模型的点和线的数量。
[0182]
采用本方案和其它图像拼接技术对上述表1中的任意部分数据进行处理，所得到的eval评分如表2示出的内容；其中，其它图像拼接技术包括但不仅限于：baseline、apap、anap、seam-driven、tft和spw。
[0183]
表2：
[0184]
[0185][0186]
采用本方案和apap上述表1中的任意部分数据进行处理，所得到的psnr、ssim和eval如表3示出的内容。
[0187]
表3：
[0188][0189]
通过上述表2和表3示出的内容可见，采用本方案所得到的图像拼接结果优于采用其它图像拼接技术所得到的图像拼接结果。
[0190]
与上述本发明实施例提供的一种图像拼接方法相对应，参见图3，本发明实施例还提供了一种图像拼接装置的结构框图，该图像拼接装置包括：获取单元301、第一确定单元302、第一处理单元303、优化单元304、第二确定单元305、拼接单元306和第二处理单元307；
[0191]
获取单元301，用于获取多个图像组，每个图像组包括相对应的第一目标图像和参考图像。
[0192]
第一确定单元302，用于对于每个图像组，确定图像组中第一目标图像和参考图像的投影误差，以及确定图像组中第一目标图像对应的单应性模型。
[0193]
在具体实现中，第一确定302单元具体用于：对于每个图像组，分别提取图像组中第一目标图像和参考图像的特征信息，其中，特征信息包括特征点和特征线；基于特征信息，确定图像组中第一目标图像和参考图像的投影误差，以及确定图像组中第一目标图像对应的单应性模型。
[0194]
第一处理单元303，用于基于投影误差，对所有单应性模型进行聚类以得到至少一个模型类别，并从至少一个模型类别中确定目标类别。
[0195]
优化单元304，用于利用预设的优化方程，对目标类别中每个单应性模型对应的第一目标图像进行优化，得到相应的第二目标图像，其中，优化方程至少包括：基于点特征的匹配优化项，基于线特征的匹配优化项，基于十字特征的投影失真优化项和基于十字特征的透视失真优化项。
[0196]
第二确定单元305，用于确定目标类别中每个单应性模型对应的优化后的最佳缝合线。
[0197]
在具体实现中，第二确定单元305具体用于：利用大津算法，确定目标类别中每个单应性模型对应的优化后的最佳缝合线。
[0198]
拼接单元306，用于对于每个第二目标图像，基于第二目标图像对应的优化后的最佳缝合线，将第二目标图像与相应的参考图像进行拼接，得到图像拼接结果。
[0199]
第二处理单元307，用于计算各个图像拼接结果的评价指标，并基于评价指标从各个图像拼接结果确定最终图像拼接结果。
[0200]
在具体实现中，第二处理单元307具体用于：计算各个图像拼接结果的峰值信噪比；确定峰值信噪比最大的图像拼接结果为最终图像拼接结果。
[0201]
在本发明实施例中，采用基于结果为驱动的图像拼接策略，并通过多个优化步骤降低图像拼接结果的失真(如减轻非重叠区域和重叠区域的失真)，提高图像中低特征物体拼接的准确性。
[0202]
优选的，结合图3示出的内容，第一处理单元303包括：第一聚类模块、第一确定模块和第二确定模块；各个模块的执行原理如下：
[0203]
第一聚类模块，用于基于投影误差，对所有单应性模型进行聚类以得到至少一个模型类别。
[0204]
第一确定模块，用于从进行聚类的单应性模型中确定最佳的单应性模型。
[0205]
第二确定模块，用于确定涵盖最佳的单应性模型的模型类别为目标类别。
[0206]
优选的，第一处理单元303还包括：获取模块、判断模块、输出模块和第二聚类模块；各个模块的执行原理如下：
[0207]
获取模块，用于获取目标类别包含的单应性模型的模型数量。
[0208]
判断模块，用于判断模型数量是否小于数量阈值。
[0209]
输出模块，用于若模型数量小于数量阈值，输出目标类别。
[0210]
第二聚类模块，用于若模型数量大于或等于数量阈值，对目标类别包含的单应性模型进行聚类以得到至少一个模型类别，返回执行第一确定模块。
[0211]
综上所述，本发明实施例提供一种图像拼接方法及装置，采用基于结果为驱动的图像拼接策略，并通过多个优化步骤降低图像拼接结果的失真，提高图像中低特征物体拼接的准确性。
[0212]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为
分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0213]
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0214]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。