用于玻片扫描系统的图像拼接方法、装置、设备及介质与流程

1.本发明涉及图像拼接技术领域，具体涉及一种用于玻片扫描系统的图像拼接方法、装置、设备及介质。


背景技术：

2.在生物、医药研究等领域，研究人员需要对大量的组织切片样品进行分析研究。使用显微镜目视观察，或者使用低倍率的镜头一次性拍摄整个切片样品，在工作效率和图片的清晰度上均无法满足要求。
3.因此，现有技术中提出通过玻片扫描系统获得切片样品图像。具体地：使用高倍率的镜头，对载有切片样品的载玻片，移动镜头进行分区域多次拍照，然后将拍摄到的所有图像，组合成一整张高分辨率全视野的数字图像。供研究人员直接在显示器上观察分析，并存档备份。
4.但现有技术中存在以下技术问题：因机械误差等原因的存在，当相邻拍照区域之间存在交错重叠，或者区域与区域之间没有完美接合时，组合成的整张图像上就容易出现明显的区域结合线，或容易出现样品信息的缺失，导致图像不符合使用要求，从而导致图像拼接成功率较低的技术问题。


技术实现要素：

5.有鉴于此，有必要提供一种用于玻片扫描系统的图像拼接方法、装置、设备及介质，用以解决现有技术中存在的图像拼接过程中易出现区域结合线或样品信息缺失等问题，导致图像拼接成功率低的技术问题。
6.一方面，本发明提供了一种用于玻片扫描系统的图像拼接方法，包括：
7.获取切片样品的多张局部样品图像；
8.确定所述多张局部样品图像中的目标局部样品图像和待拼接局部样品图像，所述目标局部样品图像包括与所述待拼接局部样品图像重叠的第一重叠区域，所述待拼接局部样品图像包括与所述目标局部样品图像重叠的第二重叠区域；
9.基于预设的模板匹配算法从所述第二重叠区域中确定出与所述第一重叠区域相关系数最大的匹配图像区域；
10.基于所述匹配图像区域对所述目标局部样品图像和所述待拼接局部样品图像进行拼接，获得拼接图像。
11.在一些可能的实现方式中，所述基于预设的模板匹配算法从所述第二重叠区域中确定出与所述第一重叠区域相关系数最大的匹配图像区域，包括：
12.基于预设的截取参数从所述第一重叠区域中确定模板图像区域；
13.基于所述模板图像区域将所述第二重叠区域划分为多个待匹配区域；
14.基于预设的模板匹配算法确定所述模板图像区域与所述多个待匹配区域中各待匹配区域的相关系数，与所述模板图像区域相关系数最高的所述待匹配区域为所述匹配图
像区域。
15.在一些可能的实现方式中，所述预设的模板匹配算法为：
[0016][0017]
a＝i(x x',y y')
[0018]
式中，r(x,y)为待匹配区域与模板图像区域的相关系数；t(x’,y’)为模板图像区域中像素点(x’,y’)的灰度值；i(x x’,y y’)为待匹配区域中像素点(x x’,y y’)的灰度值；(x,y)为在待匹配区域所在坐标系中，待匹配区域中左上角像素点的像素坐标值；(x’,y’)为在待匹配区域所在坐标系中，模板图像区域中各像素点的像素坐标值；w为模板图像区域的宽度；h为模板图像区域的高度。
[0019]
在一些可能的实现方式中，所述模板图像区域的宽度和高度均大于或等于50个像素点的宽度。
[0020]
在一些可能的实现方式中，所述获取切片样品的多张局部样品图像，包括：
[0021]
获取所述切片样品的样品区域以及所述玻片扫描系统的拍摄视野；
[0022]
基于所述样品区域和所述扫描视野确定所述玻片扫描系统的拍摄位置和拍摄次数；
[0023]
根据所述拍摄位置和所述拍摄次数获取所述多张局部样品图像。
[0024]
在一些可能的实现方式中，所述确定所述多张局部样品图像中的目标局部样品图像和待拼接局部样品图像，包括：
[0025]
基于所述玻片扫描系统获取所述多张局部样品图像的位置关系；
[0026]
基于所述位置关系确定所述多张局部样品图像中的目标局部样品图像和待拼接局部样品图像。
[0027]
在一些可能的实现方式中，所述基于所述匹配图像区域对所述目标局部样品图像和所述待拼接局部样品图像进行拼接，获得拼接图像，包括：
[0028]
基于所述目标局部样品图像和所述待拼接局部样品图像确定拼接区域面积；
[0029]
获取一区域面积与所述拼接区域面积相同的拼接底板；
[0030]
将所述目标局部样品图像和所述待拼接局部样品图像拼接至所述拼接底板上，获得所述拼接图像。
[0031]
另一方面，本发明还提供了一种用于玻片扫描系统的图像拼接装置，包括：
[0032]
样品图像获取单元，用于获取切片样品的多张局部样品图像；
[0033]
样品图像确定单元，用于确定所述多张局部样品图像中的目标局部样品图像和待拼接局部样品图像，所述目标局部样品图像包括与所述待拼接局部样品图像重叠的第一重叠区域，所述待拼接局部样品图像包括与所述目标局部样品图像重叠的第二重叠区域；
[0034]
匹配图像区域确定单元，用于基于预设的模板匹配算法从所述第二重叠区域中确定出与所述第一重叠区域相关系数最大的匹配图像区域；
[0035]
图像拼接单元，用于基于所述匹配图像区域对所述目标局部样品图像和所述待拼
接局部样品图像进行拼接，获得拼接图像。
[0036]
另一方面，本发明还提供了一种电子设备，包括存储器和处理器，其中，
[0037]
所述存储器，用于存储程序；
[0038]
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以实现上述任意一种实现方式中所述的用于玻片扫描系统的图像拼接方法中的步骤。
[0039]
另一方面，本发明还提供了一种计算机可读存储介质，用于存储计算机可读取的程序或指令，所述程序或指令被处理器执行时能够实现上述任意一种实现方式中所述的用于玻片扫描系统的图像拼接方法中的步骤。
[0040]
采用上述实施例的有益效果是：本发明提供的用于玻片扫描系统的图像拼接方法，首先设置目标局部样品图像包括与待拼接局部样品图像重叠的第一重叠区域，待拼接局部样品图像包括与目标局部样品图像重叠的第二重叠区域，可确保无缺失信息，进而确保拼接图像满足使用需求。进一步地，本发明通过基于预设的模板匹配算法从第二重叠区域中确定出与第一重叠区域相关系数最大的匹配图像区域，并基于匹配图像区域进行图像拼接，可消弭图像拼接时的区域结合线，达到无缝拼接的目的，从而可提高图像拼接的成功率。
附图说明
[0041]
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0042]
图1为本发明提供的用于玻片扫描系统的图像拼接方法的一个实施例流程示意图；
[0043]
图2为本发明提供的局部样品图像的一个实施例结构示意图；
[0044]
图3为本发明图1中s103的另一个实施例流程示意图；
[0045]
图4为本发明图1中s101的一个实施例流程示意图；
[0046]
图5为本发明图1中s102的一个实施例流程示意图；
[0047]
图6为本发明图1中s104的一个实施例流程示意图；
[0048]
图7为本发明提供的用于玻片扫描系统的图像拼接装置的一个实施例结构示意图；
[0049]
图8为本发明提供的电子设备的一个实施例结构示意图。
具体实施方式
[0050]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0051]
应当理解，示意性的附图并未按实物比例绘制。本发明中使用的流程图示出了根据本发明的一些实施例实现的操作。应当理解，流程图的操作可以不按顺序实现，没有逻辑
的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本发明内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
[0052]
在本发明实施例的描述中，“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如：a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。
[0053]
附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器系统和/或微控制器系统中实现这些功能实体。
[0054]
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
[0055]
本发明实施例提供了一种用于玻片扫描系统的图像拼接方法、装置、设备及介质，以下分别进行说明。
[0056]
图1为本发明提供的用于玻片扫描系统的图像拼接方法的一个实施例流程示意图，如图1所示，用于玻片扫描系统的图像拼接方法包括：
[0057]
s101、获取切片样品的多张局部样品图像；
[0058]
s102、确定多张局部样品图像中的目标局部样品图像和待拼接局部样品图像，目标局部样品图像包括与待拼接局部样品图像重叠的第一重叠区域，待拼接局部样品图像包括与目标局部样品图像重叠的第二重叠区域；
[0059]
s103、基于预设的模板匹配算法从第二重叠区域中确定出与第一重叠区域相关系数最大的匹配图像区域；
[0060]
s104、基于匹配图像区域对目标局部样品图像和待拼接局部样品图像进行拼接，获得拼接图像。
[0061]
与现有技术相比，本发明实施例提供的用于玻片扫描系统的图像拼接方法，首先设置目标局部样品图像包括与待拼接局部样品图像重叠的第一重叠区域，待拼接局部样品图像包括与目标局部样品图像重叠的第二重叠区域，可确保无缺失信息，进而确保拼接图像满足使用需求。进一步地，本发明实施例通过基于预设的模板匹配算法从第二重叠区域中确定出与第一重叠区域相关系数最大的匹配图像区域，并基于匹配图像区域进行图像拼接，可消弭图像拼接时的区域结合线，达到无缝拼接的目的，从而可提高图像拼接的成功率。
[0062]
具体地，如图2所示，右侧为目标局部样品图像，左侧为待拼接局部样品图像，右侧图中的阴影部分为第一重叠区域，左侧图中的阴影部分为第二重叠区域。
[0063]
应当理解的是：第一重叠区域和第二重叠区域的区域大小可以相同也可以不相同，可根据玻片扫描系统的扫描参数进行调整。
[0064]
在本发明的一些实施例中，为了降低拼接难度，提高拼接的成功率，第一重叠区域和第二重叠区域的区域大小相同。
[0065]
由于当第一重叠区域的区域面积较大时，会导致从第二重叠区域中确定出第一重叠区域的相关系数计算量过大，导致图像拼接效率下降，为了解决这一技术问题，在本发明
的一些实施例中，如图3所示，步骤s103包括：
[0066]
s301、基于预设的截取参数从第一重叠区域中确定模板图像区域；
[0067]
s302、基于模板图像区域将第二重叠区域划分为多个待匹配区域；
[0068]
s303、基于预设的模板匹配算法确定模板图像区域与多个待匹配区域中各待匹配区域的相关系数，与模板图像区域相关系数最高的待匹配区域为匹配图像区域。
[0069]
具体地，如图2所示，右侧图中黑色区域即为模板图像区域。
[0070]
本发明实施例首先通过基于预设的截取参数从第一重叠区域中确定模板图像区域，然后预设的模板匹配算法确定模板图像区域与多个待匹配区域中各打匹配区域的相关系数，由于模板图像区域的区域面积小于第一重叠区域的区域面积，因此，可大幅降低计算模板图像区域与多个待匹配区域中各打匹配区域的相关系数的计算量，从而可提高图像拼接效率。
[0071]
同时，本发明实施例通过将与模板图像区域相关系数最高的待匹配区域作为匹配图像区域，可确保拼接的成功率，消除图像之间的界限。
[0072]
应当理解的是：待匹配区域的区域面积与模板图像区域的区域面积相同。
[0073]
需要说明的是：预设的模板匹配算法可以为平方差匹配算法、归一化平方差匹配算法、相关匹配算法、归一化相关拼配算法、相关系数匹配算法或归一化相关系数匹配算法中的任意一种。
[0074]
在本发明的具体实施例中，预设的模板匹配算法为归一化相关系数匹配算法，具体为：
[0075][0076]
a＝i(x x',y y')
[0077]
式中，r(x,y)为待匹配区域与模板图像区域的相关系数；t(x’,y’)为模板图像区域中像素点(x’,y’)的灰度值；i(x x’,y y’)为待匹配区域中像素点(x x’,y y’)的灰度值；(x,y)为在待匹配区域所在坐标系中，待匹配区域中左上角像素点的像素坐标值；(x’,y’)为在待匹配区域所在坐标系中，模板图像区域中各像素点的像素坐标值；w为模板图像区域的宽度；h为模板图像区域的高度。
[0078]
为了避免当模板图像区域的区域面积过小时，造成相关系数不可靠，进而导致图像拼接的成功率下降，在本发明的一些实施例中，模板图像区域的宽度和高度大于或等于50个像素点的宽度。
[0079]
本发明实施例通过设置模板图像区域的宽度和高度大于或等于50个像素点的宽度，可确保计算出的相关系数的可靠性，进而可进一步提高图像拼接的成功率。
[0080]
在本发明的一些实施例中，如图4所示，步骤s101包括：
[0081]
s401、获取切片样品的样品区域以及玻片扫描系统的拍摄视野；
[0082]
s402、基于样品区域和扫描视野确定玻片扫描系统的拍摄位置和拍摄次数；
[0083]
s403、根据拍摄位置和拍摄次数获取多张局部样品图像。
[0084]
应当理解的是：为了避免出现图像信息的缺失，多张局部样品图像中的各局部样品图像均与其相邻的局部样品图像存在重叠区域。
[0085]
在本发明的具体实施例中，如图5所示，切片样品的样品区域大小为3mm*3mm，玻片扫描系统的拍摄视野为0.64mm*0.64mm，则可将切片样品划分为5*5的矩阵区域，即：共需拍摄25次，以获得25张图像，玻片扫描系统每移动0.6mm拍摄一张局部样品图像，相邻两张局部样品图像中存在宽度为0.04mm的重叠区域。
[0086]
由于在获取多张局部样品图像后，由于图像传输过程中的网络波动等因素，可能会导致多张局部样品图像的位置发生改变，进而造成在拼接前确定目标局部样品图像和待拼接局部样品图像的时间变长，导致图像拼接效率降低。为了解决这一技术问题，在本发明的一些实施例中，如图5所示，步骤s102包括：
[0087]
s501、基于玻片扫描系统获取多张局部样品图像的位置关系；
[0088]
s502、基于位置关系确定多张局部样品图像中的目标局部样品图像和待拼接局部样品图像。
[0089]
由于每张局部样品图像均是通过移动玻片扫描系统中的高精度相机到固定位置获取，因此，通过玻片扫描系统可获取多张局部样品图像的位置关系。本发明实施例通过首先获取多张局部样品图像的位置关系，再基于位置关系确定目标局部样品图像和待拼接局部样品图像，可提高目标局部样品图像和待拼接局部样品图像的确定效率，进而可提高图像拼接效率。
[0090]
在本发明的一些实施例中，如图6所示，步骤s104包括：
[0091]
s601、基于目标局部样品图像和待拼接局部样品图像确定拼接区域面积；
[0092]
s602、获取一区域面积与拼接区域面积相同的拼接底板；
[0093]
s603、将目标局部样品图像和待拼接局部样品图像拼接至拼接底板上，获得拼接图像。
[0094]
本发明实施例通过先基于目标局部样品图像和待拼接局部样品图像确定拼接区域面积；再获取一区域面积与拼接区域面积相同的拼接底板，可避免拼接底板的浪费。
[0095]
需要说明的是：为了避免图像噪声对拼接过程造成影响，导致拼接失败，在本发明的一些实施例中，在步骤s101之后还包括：
[0096]
对多张局部样品图像中的各局部样品图像进行降噪处理。
[0097]
具体地：可对各局部样品图像进行高斯滤波、脉冲滤波、瑞利滤波以及伽马滤波等，以消除高斯噪声、脉冲噪声、瑞利噪声和伽马噪声等。
[0098]
通过对局部样品图像进行降噪处理，可避免由于图像造成对图像拼接带来影响，提高图像拼接的成功率。
[0099]
为了更好实施本发明实施例中的用于玻片扫描系统的图像拼接方法，在基于用于玻片扫描系统的图像拼接方法基础之上，对应的，如图7所示，本发明实施例还提供了一种用于玻片扫描系统的图像拼接装置，用于玻片扫描系统的图像拼接装置700包括：
[0100]
样品图像获取单元701，用于获取切片样品的多张局部样品图像；
[0101]
样品图像确定单元702，用于确定多张局部样品图像中的目标局部样品图像和待拼接局部样品图像，目标局部样品图像包括与待拼接局部样品图像重叠的第一重叠区域，待拼接局部样品图像包括与目标局部样品图像重叠的第二重叠区域；
[0102]
匹配图像区域确定单元703，用于基于预设的模板匹配算法从第二重叠区域中确定出与第一重叠区域相关系数最大的匹配图像区域；
[0103]
图像拼接单元704，用于基于匹配图像区域对目标局部样品图像和待拼接局部样品图像进行拼接，获得拼接图像。
[0104]
上述实施例提供的用于玻片扫描系统的图像拼接装置700可实现上述用于玻片扫描系统的图像拼接方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述用于玻片扫描系统的图像拼接方法实施例中的相应内容，此处不再赘述。
[0105]
如图8所示，本发明还相应提供了一种电子设备800。该电子设备800包括处理器801、存储器802及显示器803。图8仅示出了电子设备800的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
[0106]
处理器801在一些实施例中可以是一中央处理器(central processing unit，cpu)，微处理器或其他数据处理芯片，用于运行存储器802中存储的程序代码或处理数据，例如本发明中的用于玻片扫描系统的图像拼接方法。
[0107]
在一些实施例中，处理器801可以是单个服务器或服务器组。服务器组可为集中式或分布式的。在一些实施例中，处理器801可为本地的或远程的。在一些实施例中，处理器801可实施于云平台。在一实施例中，云平台可包括私有云、公共云、混合云、社区云、分布式云、内部间、多重云等，或以上的任意组合。
[0108]
存储器802在一些实施例中可以是电子设备800的内部存储单元，例如电子设备800的硬盘或内存。存储器802在另一些实施例中也可以是电子设备800的外部存储设备，例如电子设备800上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。
[0109]
进一步地，存储器802还可既包括电子设备800的内部储存单元也包括外部存储设备。存储器802用于存储安装电子设备800的应用软件及各类数据。
[0110]
显示器803在一些实施例中可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organic light-emitting diode，有机发光二极管)触摸器等。显示器803用于显示在电子设备800的信息以及用于显示可视化的用户界面。电子设备800的部件801-803通过系统总线相互通信。
[0111]
在一实施例中，当处理器801执行存储器802中的用于玻片扫描系统的图像拼接程序时，可实现以下步骤：
[0112]
获取切片样品的多张局部样品图像；
[0113]
确定多张局部样品图像中的目标局部样品图像和待拼接局部样品图像，目标局部样品图像包括与待拼接局部样品图像重叠的第一重叠区域，待拼接局部样品图像包括与目标局部样品图像重叠的第二重叠区域；
[0114]
基于预设的模板匹配算法从第二重叠区域中确定出与第一重叠区域相关系数最大的匹配图像区域；
[0115]
基于匹配图像区域对目标局部样品图像和待拼接局部样品图像进行拼接，获得拼接图像。
[0116]
应当理解的是：处理器801在执行存储器802中的用于玻片扫描系统的图像拼接程序时，除了上面的功能之外，还可实现其它功能，具体可参见前面相应方法实施例的描述。
[0117]
进一步地，本发明实施例对提及的电子设备800的类型不做具体限定，电子设备800可以为手机、平板电脑、个人数字助理(personal digitalassistant，pda)、可穿戴设备、膝上型计算机(laptop)等便携式电子设备。便携式电子设备的示例性实施例包括但不限于搭载ios、android、microsoft或者其他操作系统的便携式电子设备。上述便携式电子设备也可以是其他便携式电子设备，诸如具有触敏表面(例如触控面板)的膝上型计算机(laptop)等。还应当理解的是，在本发明其他一些实施例中，电子设备800也可以不是便携式电子设备，而是具有触敏表面(例如触控面板)的台式计算机。
[0118]
相应地，本技术实施例还提供一种计算机可读存储介质，计算机可读存储介质用于存储计算机可读取的程序或指令，程序或指令被处理器执行时，能够实现上述各方法实施例提供的用于玻片扫描系统的图像拼接方法中的步骤或功能。
[0119]
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件(如处理器，控制器等)来完成，计算机程序可存储于计算机可读存储介质中。其中，计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
[0120]
以上对本发明所提供的用于玻片扫描系统的图像拼接方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。