一种图像拼接方法、装置、系统及存储介质与流程

1.本发明涉及图像拼接技术领域，具体涉及一种图像拼接方法、装置、系统及存储介质。


背景技术：

2.在晶圆或集成电路进行检测时，通常是通过相机获取图像后，对图像进行分析，以确认晶圆或集成电路中是否存在缺陷。为了保证检测精度，通常需要使用相机分别对多个区域进行拍照，在将拍照获得的多个图像进行拼接，形成完整的图像，但是在对不同的区域进行拍照时，由于拍照环境不同或相机的图像采集角度不同，拼接后的图像经常会出现边缘不匹配或亮度不匹配的情况，导致图像边缘的拼接效果差，从而影响对晶圆或集成电路的检测结果。


技术实现要素：

3.本发明主要解决的技术问题是现有的图像拼接技术，拼接图像中的重叠区域颜色过渡不均匀、不够平滑的问题。
4.根据第一方面，一种实施例中提供一种图像拼接方法,包括：
5.获取多个待拼接图像；
6.确定多个待拼接图像具有至少一个重叠区域；
7.根据重叠区域对多个待拼接图像进行拼接处理，得到拼接图像；
8.获取重叠区域中对应重叠的各个待拼接图像的每个像素点的像素值；
9.根据各个待拼接图像的重叠区域的像素点的像素值，确定拼接图像中与重叠区域对应的像素点的像素值。
10.根据第二方面，一种实施例中提供一种图像拼接装置，包括：
11.图像获取模块，用于获取多个待拼接图像；
12.处理模块，用于确定多个待拼接图像具有至少一个重叠区域；根据重叠区域对多个待拼接图像进行拼接处理，得到拼接图像；获取重叠区域中对应重叠的各个待拼接图像的每个像素点的像素值；根据各个待拼接图像的重叠区域的像素点的像素值，确定拼接图像中与重叠区域对应的像素点的像素值。
13.根据第三方面，一种实施例中提供一种图像拼接系统，包括：
14.第二方面所述的图像拼接装置；
15.运动装置，用于改变图像拼接装置的图像获取模块的拍摄视角。
16.根据第四方面，一种实施例中提供一种计算机可读存储介质，介质上存储有程序，程序能够被处理器执行以实现如第一方面所述的方法。
17.依据上述实施例的图像拼接方法、装置、系统及存储介质，通过获取多个待拼接图像；确定多个待拼接图像具有至少一个重叠区域；根据重叠区域对多个待拼接图像进行拼接处理，得到拼接图像；获取重叠区域中对应重叠的各个待拼接图像的每个像素点的像素
值；根据各个待拼接图像的重叠区域的像素点的像素值，确定拼接图像中与重叠区域对应的像素点的像素值。可见，拼接图像的对应重叠区域中的像素点的像素值依据与对应重叠的各个待拼接图像的像素值，各个待拼接图像均提供了相应的权重，使得拼接图像中的对应重叠区域与其他区域的颜色过渡均匀。
附图说明
18.图1为一种实施例提供的图像拼接系统的结构示意图；
19.图2为一种实施例提供的图像拼接方法的示意性流程图；
20.图3与图4为一种实施例提供的拼接图像的示意图；
21.图5为一种实施例提供的重叠区域的示意图；
22.图6至图8为一种实施例提供的图像拼接方法的过程示意图；
23.图9与图10为一种实施例提供的图像拼接方法中模糊处理的示意图；
24.图11、图12与图14为一种实施例提供的图像拼接的前后对比示例图；
25.图13a至图13c为一种实施例提供的边界区域以及感兴趣区域的示意图。
26.附图标记：1-图像拼接装置；2-运动装置；10-图像获取模块；20-处理模块。
具体实施方式
27.下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本技术能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本技术相关的一些操作并没有在说明书中显示或者描述，这是为了避免本技术的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
28.另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
29.本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本技术所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。
30.实施例一
31.在集成电路领域中，涉及到需要通过对晶圆或者晶圆上的集成电路进行拍照，对图像进行相应的分析，以确认晶圆或集成电路中是否存在缺陷。一般采用电子显微镜等设备获取多个图像，每个图像对应晶圆或集成电路中一个区域，这些图像之间一般存在重叠区域，最后通过图像拼接形成完整的图像，以保证将晶圆上所有区域被完整拍照。
32.如图1所示，本发明提供的图像拼接系统包括图像拼接装置1以及运动装置2。本发明提供的图像拼接装置1包括图像获取模块10以及处理模块20。
33.上述运动装置2用于改变图像拼接装置1的图像获取模块10的拍摄视角。上述改变
图像获取模块10的拍摄视角包括但不限于是改变图像获取模块10的空间位置以及空间角度。其中，运动装置2可以包括用于安装固定图像获取模块10的安装台，以及驱动安装台进行转动、平面或三轴运动的运动组件。
34.上述图像获取模块10用于获取多个待拼接图像，在实际应用中，每个待拼接图像可以是对应晶圆或集成电路中一个区域的图像。上述图像获取模块10可以是具有电子显微镜的模块。图像获取模块10在运动装置2的作用下，运动至指定位置，拍摄指定区域的图像。例如，图像获取模块10可以包括相机或电子显微镜，还可以包括光学元件，光学元件用于调节拍摄光路或放大倍数。在常规的拍照过程中，按照规定的顺序获取各个区域对应的图像，并按照位置关系将图像传送至处理模块，由此，相邻的两个待拼接图像之间必然具有图像重叠的重叠区域。
35.上述处理模块20用于确定多个待拼接图像具有至少一个重叠区域；根据重叠区域对多个待拼接图像进行拼接处理，得到拼接图像；获取重叠区域中对应重叠的各个待拼接图像的每个像素点的像素值；根据各个待拼接图像的重叠区域的像素点的像素值，确定拼接图像中与重叠区域对应的像素点的像素值。在一种实际例子中，可以将拼接图像中与重叠区域对应的像素点的像素值确定为各个待拼接图像对应像素点的像素值的平均值。例如，处理模块20包括具有运算处理能力的器件，例如可以包括中央处理器。为了便于描述，将拼接图像中与重叠区域对应的区域定义为拼接区域。
36.下面就图像拼接装置或系统进行图像拼接的具体过程进行阐述，如图2所示，本发明提供的图像拼接方法包括以下步骤：
37.步骤1：处理模块20获取多个待拼接图像，其中，处理模块20可以通过图像获取模块10即时获取待拼接图像，处理模块20控制运动装置2驱动图像获取模块10的视角改变，以获得多个待拼接图像。又或者是，图像获取模块10获取待拼接图像后，存储至存储单元中，也可以存储在外部存储单元中，再通过外部存储单元导入，还可以是通过通信的方式从其它终端设备上获取多个待拼接图像，此时终端设备具有图像获取模块10。获取待拼接图像根据对应晶圆区域的位置关系进行获取，例如是按每行从左到右的顺序进行拍照获取。
38.步骤2：处理模块20确定多个待拼接图像具有至少一个重叠区域。
39.步骤3：根据重叠区域对多个待拼接图像进行拼接处理，得到拼接图像。其中，确定两个待拼接图像之间是否具有重叠区域的方式，可以采用现有的任一种图像识别的算法实现，例如是基于opencv的图像识别算法。本发明并不限制如何确定重叠区域的方式，例如，在实际应用中，晶圆检测过程是通过规律移动图像获取模块10，按照位置关系获取各个区域的图像，通过根据位置关系对图像命名，按位置顺序传输给处理模块20，处理模块20根据上述方式可以确定相邻的两个图像之间具有重叠区域。
40.例如，如图3所示，通过确定待拼接图像a(简称为图像a)与待拼接图像b(简称为图像b)之间具有一个重叠区域a，对图像a与图像b进行拼接处理后，得到拼接图像z，此时拼接图像z中包含有对应重叠区域a的拼接区域(如图中的阴影部分)。
41.又例如，如图4所示，通过每两个待拼接图像之间(一般指同行或同列相邻)确定重叠区域，确定四个待拼接图像a、b、c、d之间具有五个重叠区域，对四个待拼接图像a、b、c、d进行拼接处理后，其中，图像a与图像b之间具有重叠区域a，图像a与图像c之间具有重叠区域b，图像c与图像d之间具有重叠区域c，图像d与图像b之间具有重叠区域d，图像a、图像b、
图像c与图d之间具有重叠区域e。同理，对应五个重叠区域，此时拼接图像具有对应的五个拼接区域。
42.需要说明的是，上述拼接处理，可以仅是在位置上使多个待拼接图像移动到对应位置，并未进行图像合并。作为例子，类比于在计算机上采用photoshop等图像处理软件进行人工拼接，待拼接图像对应为图像处理软件的图层，进行拼接处理，仅是图层上进行重叠，并未进行图层合并。当然也可以是进行了图像合并形成了拼接图像，但是保留了待拼接图像。
43.在一种可能的实现方式中，为了便于描述，以下采用两个待拼接图像进行说明，可以采用以下步骤完成拼接处理：
44.步骤301：处理模块20确定一个待拼接图像为基准图像，获取与基准图像相邻的待拼接图像。
45.如图5所示，图像a为基准图像，图像b为与图像a(基准图像)相邻的待拼接图像。图像a与图像b拼接后的拼接图像中，重叠区域的宽度具有一个预设值d(在y方向上的拼接对应为重叠区域的高度)，由于运动装置2的运动精度的限制，图像a与图像b拼接后，两者之间的实际重叠区域的宽度与预设值d并不完全相同，运动装置2存在位移偏多或偏少，对应产生的重叠区域的宽度也并不相同，实际宽度为d1与d2。举例说明，预设图像a与图像b的拼接图像有100个像素点的宽度的重叠区域，运动装置2的精度可能偏移10个像素点，也就是说，拼接图像实际上的对应重叠区域的拼接区域的宽度可能在90～110个像素点之间。
46.步骤302：处理模块20获取基准图像的搜索区域以及待拼接图像的模板区域，如图6所示，获取图像a的搜索区域(图像a虚线框对应区域)，获取图像b的模板区域(图像b虚线框对应区域)。
47.其中基准图像的搜索区域以及待拼接图像的模板区域的宽度根据运动装置2的运动精度决定，因此，在此之前，处理模块20获取运动装置2的运动精度，根据运动精度获得上述两个区域。
48.具体的，重叠区域的预设宽度d(任意单位，以下同理)，则重叠区域实际宽度dr＝d
±
δd，其中，δd大于等于运动装置2的运动精度。因此为了实现对两个图像的拼配，定义搜索区域大于等于重叠区域，定义模板区域小于等于重叠区域，即，搜索区域的宽度ds≥d δd，模板区域的宽度dm≤d-δd。为了便于描述与计算，令搜索区域的宽度ds＝d δd，模板区域的宽度dm＝d-δd。由此，基准图像的搜索区域必然包括待拼接图像的模板区域，从而可以在待拼接图像的模板区域从提取特征或模板，并与基准图像的搜索区域进行匹配。
49.例如，在晶圆或集成电路检测中，图像获取模块10与晶圆的距离是固定的，理论上获得图像上的对象的大小是一样的，仅会在颜色上有偏差。因此，采用模板匹配的方式，计算更少，匹配速度更快。
50.步骤303：处理模块20根据待拼接图像中模板区域对应的图像，对基准图像中搜索区域对应的图像进行模板匹配，确定基准图像与待拼接图像的重叠区域。
51.如图7所示，通过模板匹配，获取图像a的对应图像b的模板图像b1(图像b中的阴影部分)的匹配图像a1(图像a中阴影部分)。具体的模板匹配方法，可以参考现有的任一种模板匹配方法，例如是opencv软件库中的现有模板匹配方法。
52.步骤304：处理模块20根据重叠区域对完成模板匹配的基准图像以及待拼接图像
进行拼接处理，得到拼接图像。
53.具体的，可以采用以下步骤对完成匹配的基准图像以及待拼接图像进行拼接处理：
54.步骤305：处理模块20根据重叠区域确定待拼接图像相对于基准图像的偏移量。如图8所示，在完成模板匹配后，获得匹配图像a1左侧边缘与图像a右侧边缘的距离，即为实际重叠区域的宽度dr。也就是待拼接图像(图像b)相对于基准图像(图像a)的偏移量。
55.步骤306：如图8所示，处理模块20根据偏移量，移动待拼接图像并与基准图像对准，完成拼接处理，得到拼接图像。
56.步骤4：处理模块20获取重叠区域中对应重叠的各个待拼接图像的每个像素点的像素值。
57.步骤5：处理模块20根据各个待拼接图像的重叠区域的像素点的像素值，确定拼接图像中与重叠区域对应的像素点的像素值。在一种实际应用中，将拼接图像中与重叠区域对应的像素点的像素值确定为各个待拼接图像对应像素点的像素值的平均值。例如，重叠区域的尺寸为m
×
n像素，以重叠区域的两个垂直边界建立坐标后，两个待拼接图像的重叠区域的坐标为(m/2，n/2)的像素点的像素值为100与150，那么由这两个待拼接图像拼接形成的拼接图像的拼接区域中，对应坐标为(m/2，n/2)的像素点的像素值确定为(100 150)/2＝125。
58.如图9所示，为了便于表述，取图像a与图像b的一行像素点进行拼接举例，其中，图内数字表示像素值，可以是图像的单通道的像素值或灰度值。图像a中重叠区域对应的两个像素点的像素值为40与30，图像b中重叠区域对应的两个像素点的像素值为30与20，采用本技术提供的方法拼接得到的拼接图像z的拼接区域的两个像素点的像素值为35＝(40 30)/2与25＝(30 20)/2。而现有的直接拼接方法，只采用一个图像的像素值作为拼接后的像素值，则产生图9所示的两种结果，其中，直接拼接结果1中，右侧第三与第二像素点的像素值相差15，直接拼接结果2中左侧第二与第三像素点的像素值相差15，而本方法提供的图像拼接方法，右侧第三与第二像素点的像素值相差10，左侧第二与第三像素点的像素值相差10。可见，采用本方法提供的图像拼接方法得到的拼接图像，其拼接区域的像素点的像素值与临近像素点的像素值过渡平滑。
59.如图10所示，当拼接图像z由四个重叠的待拼接图像拼接形成时，对应具有5个重叠区域，为了便于表述，定义四个待拼接图像均为2
×
2像素的图像，重叠区域的宽度或高度均为1像素。可见，拼接图像z中心重叠区域的对应像素点的像素值为(44 40 30 30)/4＝36。其临近的上下左右四个像素点的像素值的最大差值为11，而拼接前，中间重叠区域与上下左右四个重叠区域的像素点的像素值的最大差值为44-20＝22。因此，采用本发明提供的图像拼接方法，对于两个以上的待拼接图像的拼接同样具有拼接区域过渡平滑的效果。
60.实施例二
61.在一个实际应用中，如图11与图12所示，待拼接图像为4
×
2张，每张待拼接图像的图像大小一致。采用上述图像拼接方法，可以获取如图12所示的拼接图像。
62.如图12所示，拼接图像中对应重叠区域的边界，也就是拼接区域的边界，出现了一道痕迹，这是由于拼接图像的拼接区域的边界产生的亮度突变导致(也就是说像素点的像素值突变，一般是如图12所示的白色，对应像素值为接近255)。因此，本实施例中，在实施例
一基础上，提出一种具有边界处理的图像拼接方法。
63.在步骤5之后，本发明提供的图像拼接方法还可以包括：
64.步骤601：处理模块20根据待拼接图像的重叠区域，获取拼接图像中对应重叠区域的拼接区域。
65.步骤602：处理模块20确定拼接图像的拼接区域的边界区域，边界区域包括至少一个边界像素点。
66.例如，定义在图像边界数个像素(如1～3个像素)以内的区域为边界区域，边界区域内的像素点为边界像素点。具体边界区域的宽度需要根据拼接图像的尺寸以及亮度突变像素点的宽度来决定。
67.步骤603：处理模块20对拼接图像的边界区域进行模糊处理，确定边界像素点的目标像素值。本发明提供的图像拼接方法，对应边界亮度突变的处理方式，采用模糊处理的方法。其中，模糊处理用于根据边界像素点周围关联的其它像素点提供相应权重与像素值，生成新的目标像素值作为发生亮度突变的边界像素点的像素值。
68.可见，根据边界像素点周围区域的像素点的像素值来生成目标像素值，具有不同的权重方式。
69.在一种可能的实现方式中，上述步骤402可以包括：
70.步骤604：处理模块20以边界区域中的边界像素点作为中心，分别确定每个边界像素点对应的至少一个感兴趣区域。其中，边界像素点作为感兴趣区域中心，以感兴趣区域中的像素点的像素值作为边界像素点的目标像素值的参考值，使得已经发生亮度突变的边界像素点重新赋予合适的像素值，已解决边界亮度突变的问题。
71.建立感兴趣区域的方式并不限制，只要满足以感兴趣区域中的像素点的像素值作为边界像素点的目标像素值的参考值即可，需要说明的是，作为参考值，并不是将感兴趣区域中的一个像素点的像素值作为目标像素值，而是将感兴趣区域中的每个像素点的像素值进行计算，例如是取平均值，或者是加权平均值，又或者是采用不同权重进行求值。
72.例如，如图13a与图13b所示，感兴趣区域为一个，以拼接图像z的边界区域中的边界像素点(例如是图13a中阴影填充所示的像素点，像素值为254)作为中心，根据第一预设长度确定边界像素点的感兴趣区域，其中，第一预设长度为目标方向上的长度，边界像素点的目标方向为边界像素点所在边界线的垂直方向。进一步说明，当边界线的方向在x方向(左右方向)时，则向上下各扩大五个像素，形成感兴趣区域。当边界线的方向如图13a所示在y方向(上下方向)时，则向左右各扩大五个像素，形成感兴趣区域roia。
73.又例如，如图13a与图13c所示，感兴趣区域为两个，以拼接图像z的边界区域中的边界像素点作为中心，根据第一预设长度确定边界像素点的感兴趣区域a，根据第二预设长度确定边界像素点的感兴趣区域b，其中，第一预设长度大于第二预设长度，第一预设长度与第二预设长度为目标方向上的长度，边界像素点的目标方向为边界像素点所在边界线的垂直方向。进一步说明，其中第一预设长度可以为5或4，第二预设长度可以为2或1，具体根据亮度突变的边界线的宽度而定，利用感兴趣区域roia减去感兴趣区域roib，可以获得感兴趣区域roia没有亮度突变的像素点，或者包含较少亮度突变的像素点。
74.步骤605：处理模块20根据边界像素点对应的至少一个感兴趣区域中所有像素点的像素值确定目标像素值，将边界像素点的像素值修改为目标像素值。在本发明中，通过采
用感兴趣区域的所有像素点的像素值的累积和作为生成目标像素值的方式，使得边界像素点与感兴趣区域的每个像素点具有关联性，边界处理后的拼接图像的拼接区域的边界过渡平滑，改善边界线的问题。
75.具体的，上述步骤605中，根据感兴趣区域的个数不同，可以得到不同的目标像素值，也即是说，可以得到不同的模糊效果。
76.例如，感兴趣区域为一个，确定边界像素点对应的感兴趣区域所有像素点的像素值的平均值，将平均值作为目标像素值，将边界像素点的像素值修改为目标像素值。也即是说，直接采用感兴趣区域所有像素点的平均值作为目标像素值，其中，已经发生亮度突变的边界像素点也作为目标像素值的参考值。比如是，如图13a与图13b中，感兴趣区域roia的各个像素点的像素值的累加和suma＝590，平均值为590/9＝65.6，四舍五入为66，此时与两侧相临的像素点的像素值的差距变小，亮度突变的问题得到改善。
77.又例如，感兴趣区域为两个，感兴趣区域包括感兴趣区域a与感兴趣区域b，分别确定感兴趣区域a的像素点的个数na与像素值的累加和suma，以及感兴趣区域b的像素点的个数nb与像素值的累加和sumb，根据第一公式pd＝(suma－sumb)
÷
(na－nb)确定目标像素值，其中，pd为目标像素值。也即是说，将感兴趣区域roia减去感兴趣区域roib，尽可能保留感兴趣区域roia中没有发生亮度突变的像素点，使得已经发生亮度突变的边界像素点尽量不作为目标像素值的参考值。比如，suma＝590，sumb＝346，pd＝(590－346)
÷
(9－3)＝40.7，四舍五入为41，此时与两侧相临的像素点的像素值的差距变得更小，更加贴近理想像素值。
78.又例如，当形成两个以上的感兴趣区域时，可以采用多个感兴趣区域的累加和进行加减等组合运算，也就是说形成多组感兴趣区域roia与感兴趣区域roib，例如是第一预设长度为5，第二预设长度为2一组；第一预设长度为6，第二预设长度为3一组，每组感兴趣区域之间采用公式pd＝(suma－sumb)
÷
(na－nb)求得一个目标像素值，形成多个目标像素值，再求多个目标像素值的平均值作为最终的目标像素值。具体的效果还是实现以感兴趣区域中的像素点的像素值作为边界像素点的目标像素值的参考值。
79.如图14所示，通过对拼接图像的每个拼接区域进行边界处理，使得最终拼接图像的边界亮度突变(边界线)的问题得到改善，提高图像拼接的质量。由此可见，本发明提供的图像拼接方法，能够改善图像拼接的拼接区域过渡不够平滑以及边界出现边界线的问题。不仅可以在集成电路领域应用，还可以应用于其它需要图像拼接的领域中。
80.本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。
81.以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限
制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。