一种针对随机纹理场景的图像拼接方法及其应用与流程

1.本技术涉及晶圆缺陷检测技术领域，更具体地，涉及一种针对随机纹理场景的图像拼接方法、一种针对随机纹理场景的图像拼接装置、一种电子设备和一种计算机可读存储介质。


背景技术：

2.近年来，随着半导体集成电路的迅速发展，集成电路器件的性能也在快速提升，同时其制造的过程也变得越发复杂。在半导体集成电路的制造过程中，对产品制造工艺中存在的问题进行及时地发现就显得尤为重要。在半导体晶圆检测过程中，相机的视场角受到限制，构建多相机阵列是一个可行途径，因此阵列工业图像的快速精确拼接成为半导体集成电路中晶圆量测的一大关键步骤。
3.图像拼接技术最先应用在遥感技术领域，其核心是图像配准，产生了两个分支。一个分支是基于特征的图像配准，包括角点、边缘、斑点等。1988年，harris提出了经典的harris角点检测算法，将图像中具有旋转、平移不变性的角点作为特征点进行图像配准。lowe于1999年提出，并在2004年完善尺度不变特征变换算法，该算法对平移、旋转、尺度缩放和光照不均都有不错的适应性，但是在弱纹理背景下由于图像角点很少，无法实现高精度的配准效果。
4.另一个分支是基于区域的图像配准，包括模板匹配法和相位相关法。模板匹配法相对于全局搜索法操作简单容易实现但只能解决平移问题，并且计算量大。reddy于1996年提出扩展相位相关法，将相位相关法和对数极坐标变换相结合解决旋转和尺度缩放问题，但该方法计算较为复杂，无法实时处理。可见，对于在图像拼接过程中既要保证拼接精度，也对实时性也提出了很高的要求，目前业界尚不存在一种有效兼顾图像拼接精度和实时性的方法。


技术实现要素：

5.针对现有技术的至少一个缺陷或改进需求，本发明提供了一种针对随机纹理场景的图像拼接方法、装置和电子设备以及计算机可读存储介质，旨在解决现有随机纹理场景的图像拼接方法拼接精度低、需要进行坐标变换等操作导致计算量大，拼接实时性差的问题。
6.为实现上述目的，按照本发明的第一个方面，提供了一种针对随机纹理场景的图像拼接方法，包括：获取当前帧图像并进行位置标记，根据所述位置标记确定需要与所述当前帧图像进行拼接的图像组，并将所述图像组中的待拼接帧图像分别与所述当前帧图像组合标记为计算对；根据每组所述计算对中的所述当前帧图像与所述待拼接帧图像的重叠部分选取若干个目标像素点分别独立计算偏移值；根据所述重叠部分计算相似度值，并选取所述相似度值最高的一组所述目标像素点计算得到的所述偏移值作为对应所述计算对的准确偏移值；根据所述准确偏移值对所述计算对的所述重叠区域进行融合处理，以将所述
当前帧图像拼接到完整图像中。
7.在本发明的一个实施例中，所述根据每组所述计算对中所述当前帧图像与所述待拼接帧图像的重叠部分选取若干个目标像素点分别独立计算偏移值，包括：将属于所述待拼接帧图像和所述当前帧图像的所述重叠部分分别做离散傅里叶变换，得到对应的图像功率频谱；根据所述图像功率频谱进行频谱相关性计算得到交叉功率谱；根据所述交叉功率谱计算得到所述待拼接帧图像与所述当前帧图像上所有对应像素点之间的偏移值。
8.在本发明的一个实施例中，所述针对随机纹理场景的图像拼接方法还包括：根据所述交叉功率谱选取表征像素点灰度值的多个局部极大值；分别计算各所述局部极大值对应像素点之间的偏移值，作为选取所述准确偏移值的备选值。
9.在本发明的一个实施例中，所述根据所述重叠部分计算相似度值，包括：将所述图像功率图谱进行傅里叶反变换到空域中，对所述待拼接帧图像和所述当前帧图像上的各个像素点进行遍历，得到对应的所述相似度值。
10.在本发明的一个实施例中，所述根据所述准确偏移值对所述计算对的所述重叠区域进行融合处理，包括：根据所述准确偏移值确定所述重叠区域的边界距离；根据所述边界距离计算所述重叠区域上各像素点的灰度值进行线性融合。
11.按照本发明的第二个方面，还提供了一种针对随机纹理场景的图像拼接装置，其包括：图像组合标记模块，用于获取当前帧图像并进行位置标记，根据所述位置标记确定需要与所述当前帧图像进行拼接的图像组，并将所述图像组中的待拼接帧图像分别与所述当前帧图像组合标记为计算对；偏移值计算模块，用于根据每组所述计算对中的所述当前帧图像与所述待拼接帧图像的重叠部分选取若干个目标像素点分别独立计算偏移值；偏移值选取模块，根据所述重叠部分计算相似度值，并选取所述相似度值最高的一组所述偏移值作为对应所述计算对的准确偏移值；融合处理模块，用于根据所述准确偏移值对所述计算对的所述重叠区域进行融合处理，以将所述当前帧图像拼接到完整图像中。
12.在本发明的一个实施例中，所述偏移值计算模块具体用于：将属于所述待拼接帧图像和所述当前帧图像的所述重叠部分分别做傅里叶变换，得到对应的图像功率频谱；根据所述图像功率频谱进行频谱相关性计算得到交叉功率谱；根据所述交叉功率谱计算得到所述待拼接帧图像与所述当前帧图像上所有对应像素点之间的偏移值。
13.在本发明的一个实施例中，所述偏移值计算模块还用于：根据所述交叉功率谱选取表征像素点灰度值的多个局部极大值；分别计算各所述局部极大值对应像素点之间的偏移值，作为选取所述准确偏移值的备选值。
14.按照本发明的第三个方面，还提供了一种电子设备，其包括至少一个处理单元、以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述计算机程序被所述处理单元执行时，使得所述处理单元执行上述中任一个实施例所述方法的步骤。
15.按照本发明的第四个方面，还提供了一种计算机可读存储介质，其存储有可由访问认证设备执行的计算机程序，当所述计算机程序在访问认证设备上运行时，使得所述访问认证设备执行上述中任一个实施例所述方法的步骤。
16.总体而言，通过本发明所构思的以上技术方案与现有技术相比，至少能够取得下列有益效果：1）通过将当前帧图像与各待拼接帧图像组成计算对，根据每组计算对中当前帧图
像与各待拼接帧图像的重叠部分选取多个符合要求的像素点分别独立计算偏移值，并选取相似度值最高的一组像素点对应的偏移值进行后续图像融合处理，能够排除弱纹理背景下的噪声干扰，取得较高图像拼接精度的同时，避免图像坐标变换等耗时操作，且大量计算相互独立，适合在fpga或gpu上做并行运算，可以有效提升图像拼接速度，提高拼接实时性；2）通过计算当前帧图像与待拼接帧图像重叠部分对应的图像功率频谱，并进行频谱相关性计算得到交叉功率谱，以此能够实现待拼接帧图像与当前帧图像上亚像素精度级别的偏移值计算，有效提高图像拼接精度；3）通过交叉功率谱选取表征像素点灰度值的多个局部极大值点，分别计算该多个局部极大值点对应像素点之间的偏移值作为选取准确偏移值的备选值，提高了图像偏移值计算的鲁棒性；4）根据计算得到的准确偏移值对当前帧图像与待拼接帧图像的重叠区域进行线性融合，能够实现重叠区域的平滑过渡，达到无缝拼接的效果。
附图说明
17.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1为本技术实施例提供的针对随机纹理场景的图像拼接方法的流程图；图2为本技术实施例提供的图像融合处理示意图；图3为本技术实施例提供的针对随机纹理场景的图像拼接装置的结构示意图；图4为本技术实施例提供的电子设备的结构示意图；图5为本技术实施例提供的计算机可读存储介质的结构示意图。
19.附图标记说明s1至s4：针对随机纹理场景的图像拼接方法的步骤；20：针对随机纹理场景的图像拼接装置；201：图像组合标记模块；202：偏移值计算模块；203：偏移值选取模块；204：融合处理模块；30：电子设备；31：处理单元；32：存储单元；40：计算机可读存储介质。
具体实施方式
20.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
21.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
22.如图1所示，本发明第一实施例提出一种针对随机纹理场景的图像拼接方法，例如包括：步骤s1，获取当前帧图像并进行位置标记，根据所述位置标记确定需要与所述当前帧图像进行拼接的图像组，并将所述图像组中的待拼接帧图像分别与所述当前帧图像组合标记为计算对；步骤s2，根据每组所述计算对中的所述当前帧图像与所述待拼接帧图像的重叠部分选取若干个目标像素点分别独立计算偏移值；步骤s3，根据所述重叠部分计算相似度值，并选取所述相似度值最高的一组所述目标像素点计算得到的所述偏移值作为对应所述计算对的准确偏移值；步骤s4，根据所述准确偏移值对所述计算对的所述重叠区域进行融合处理，以将所述当前帧图像拼接到完整图像中。
23.本实施例提出图像拼接方法的例如针对具有随机纹理场景的图像，如半导体晶圆的检测图像。在步骤s1中，通过上位机图像处理软件对相机拍摄获取的检测图像进行处理，例如对输入的当前帧图像将进行标记为li，根据当前帧图像在整体图像坐标系中的位置确定需要与该当前帧图像进行拼接的图像组，该图像组中的待拼接帧图像皆与当前帧图像部分重叠。将当前帧图像分别与各个待拼接帧图像组合标记为计算对comp
ij
，具体为：其中，& 为相交。
24.在步骤s2中，例如根据每一组计算对comp
ij
的重叠部分计算当前帧图像与对应的待拼接帧图像之间的偏移距离。具体的，例如将计算对comp
ij
的两个计算区域ri和rj分别做离散傅里叶变换，得到对应的图像功率频谱分别为fi和fj：：其中，u = 0，1，2,
…
,m-1；v = 0,1,2,
…
,n-1；m，n分别为图像宽和高，u，v为图像对应的频域位置值。
25.再对图像功率频谱fi和fj进行频谱相关性计算，得到交叉功率谱psp
ij
，具体为：其中，x0和y0是ri和rj在图像宽度和高度方向上的偏移值。
26.通过对当前帧图像与待拼接帧图像重叠部分在频域上进行计算，以此能够实现亚像素精度级别的偏移值计算，能够有效提高后续图像拼接精度。
27.进一步的，例如选取交叉功率谱幅值上的多个局部极大值，提到的交叉功率谱幅值表征对应像素点的灰度值；接着分别计算各局部极大值对应像素点之间的偏移值作为后续选取准确偏移值的备选值，以此能够提高后续计算图像偏移值的鲁棒性。特别的，多个局部极大值的选取方式可通过对交叉功率谱上幅值出现局部极大值由大到小进行排序，选取前n个局部极大值进行后续偏移值计算，当然，局部极大值的数量n可由用户根据需要进行自定义设置，本发明并不以此为限制。
28.在步骤s3中，例如根据图像功率频谱fi和fj进行傅里叶反变换到空域中，并做相似度计算，具体的，例如对待拼接帧图像和当前帧图像上的各个像素点进行遍历，得到对应的相似度值。选择相似度值p
ij
最高的一组偏移距离{x0, y0}作为fi和fj的准确偏移距离。相似度计算具体为：其中，&为相交像素，∑是所有像素之和。
29.如此一来，通过选取多个符合要求的像素点分别独立计算图像偏移值，避免了如相位相关法等计算方式需进行极坐标变换等耗时操作，适合在fpga或gpu上做并行运算，可以有效提升图像拼接速度，提高拼接实时性；选取交叉功率谱上幅值出现的多个局部极大值进行后续偏移值计算，能够有效排除弱纹理背景下的噪声干扰，取得较高的图像拼接精度。
30.在步骤s4中，根据计算得到的准确偏移距离能够得到当前帧图像在整体图像坐标系中的位置，也即确定了当前帧图像与各待拼接帧图像之间重叠区域的边界距离，结合图2所示，例如重合区域做线性融合，得到融合的局部图像，具体为：其中，g（x，y）为当前帧图像在（x，y）处的灰度值，l为重叠区域的距离，l为重叠区域与当前帧区域的距离。
31.最后将融合的局部图像依次拼接进整体图像区域中得到完整图像，实现了重叠区域的平滑过渡，达到无缝拼接的效果。
32.综上所述，本发明第一实施例提出的针对随机纹理场景的图像拼接方法，通过将当前帧图像与各待拼接帧图像组成计算对，根据每组计算对中当前帧图像与各待拼接帧图像的重叠部分选取多个符合要求的像素点分别独立计算偏移值，选取相似度值最高的一组像素点对应的偏移值进行后续图像融合处理，能够排除弱纹理背景下的噪声干扰，取得较高图像拼接精度的同时，避免图像坐标变换等耗时操作，且大量计算相互独立，适合在fpga或gpu上做并行运算，可以有效提升图像拼接速度，提高拼接实时性；通过计算当前帧图像与待拼接帧图像重叠部分对应的图像功率频谱，并进行频谱相关性计算得到交叉功率谱，以此能够实现待拼接帧图像与当前帧图像上亚像素精度级别的偏移值计算，有效提高图像拼接精度；通过交叉功率谱选取表征像素点灰度值的多个局部极大值点，分别计算该多个局部极大值点对应像素点之间的偏移值作为选取准确偏移值的备选值，提高了图像偏移值计算的鲁棒性；根据计算得到的准确偏移值对当前帧图像与待拼接帧图像的重叠区域进行线性融合，能够实现重叠区域的平滑过渡，达到无缝拼接的效果。
33.另外，如图3所示，本发明第二实施例提出一种针对随机纹理场景的图像拼接装置20，例如包括：图像组合标记模块201，偏移值计算模块202、偏移值选取模块203和融合处理模块204。
34.其中，图像组合标记模块201用于获取当前帧图像并进行位置标记，根据所述位置标记确定需要与所述当前帧图像进行拼接的图像组，并将所述图像组中的待拼接帧图像分
别与所述当前帧图像组合标记为计算对。偏移值计算模块202用于根据每组所述计算对中的所述当前帧图像与所述待拼接帧图像的重叠部分选取若干个目标像素点分别独立计算偏移值。偏移值选取模块203用于根据所述重叠部分计算相似度值，并选取所述相似度值最高的一组所述偏移值作为对应所述计算对的准确偏移值。融合处理模块204用于根据所述准确偏移值对所述计算对的所述重叠区域进行融合处理，以将所述当前帧图像拼接到完整图像中。
35.值得一提的是，本发明第二实施例公开的针对随机纹理场景的图像拼接装置20所实现的方法如前述第一实施例中所述，故在此不再进行详细讲述。可选地，第二实施例中的各个模块和上述其他操作或功能分别为了实现第一实施例所述的针对随机纹理场景的图像拼接方法，且本实施例的有益效果同前述第一实施例的有益效果相同，为了简洁，不在此赘述。
36.本发明第三实施例还提出一种电子设备30，例如包括：至少一个处理单元31、以及至少一个存储单元32，其中，所述存储单元32存储有计算机程序，当所述计算机程序被所述处理单元执行时，使得所述处理单元31执行如第一实施例所述的方法，且本实施例提供的电子设备30的有益效果与第一实施例提供的针对随机纹理场景的图像拼接方法的有益效果相同。
37.本发明第三实施例还提供一种计算机可读存储介质40，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤，且本实施例提供的计算机可读存储介质的有益效果与第一实施例提供的针对随机纹理场景的图像拼接方法的有益效果相同。
38.其中，计算机可读存储介质可以包括但不限于任何类型的盘，包括软盘、光盘、dvd、cd-rom、微型驱动器以及磁光盘、rom、ram、eprom、eeprom、dram、vram、闪速存储器设备、磁卡或光卡、纳米系统（包括分子存储器ic），或适合于存储指令和/或数据的任何类型的媒介或设备。
39.需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本技术所必须的。
40.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
41.在本技术所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些服务接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
42.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目
的。
43.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
44.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储器包括：u盘、只读存储器（read-only memory， rom）、随机存取存储器（random access memory，ram）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
45.本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通进程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器（read-only memory， rom）、随机存取器（random access memory，ram）、磁盘或光盘等。
46.以上所述者，仅为本公开的示例性实施例，不能以此限定本公开的范围。即但凡依本公开教导所作的等效变化与修饰，皆仍属本公开涵盖的范围内。本领域技术人员在考虑说明书及实践这里的公开后，将容易想到本公开的其实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未记载的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的范围和精神由权利要求限定。
47.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
48.本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。