不同染色病理切片图像匹配及显示方法与流程

1.本发明涉及一种不同染色病理切片图像匹配及显示方法。


背景技术：

2.病理学检查是恶性肿瘤诊断的重要标准，主要是由病理医师依据病理组织学方法将一定大小的病变组织制成病理玻片，再通过显微镜或病理扫描设备生成病理数字切片后进行观察。这样使得病理数字切片逐步成为病理诊断的主流阅片方式，各类病理数字切片显示技术也日渐成熟。而在病理切片诊断过程中，病理医师通常需要对同一病变组织连续切片，并利用不同试剂进行染色(如he染色、免疫组化ihc染色等)，从而制作出多张病理玻片。因此，病理医师需要对不同染色的病理玻片对比观察，排除正常组织和坏死组织等，最后确定肿瘤区域位置并做出对应判读。
3.现有的病理数字切片显示系统通常只能对单张切片进行显示，或者，对多张切片进行无关联的显示，这就使得病理医师在对不同染色病理连续切片图像阅片时，需要对切片进行切换。但是，由于不同染色的病理切片情况差异大，难以通过手动方式移动至同一区域，而现有的病理数字切片显示技术又无法实现不同切片图像的自动匹配及显示。因此，如何使不同染色切片在对应屏幕中同步显示成为领域内亟待解决的问题。


技术实现要素：

4.本发明的目的在于提供一种不同染色病理切片图像匹配及显示方法。
5.为实现上述发明目的，本发明提供一种不同染色病理切片图像匹配及显示方法，包括以下步骤：
6.a、将多张病理切片划分为主切片和副切片；
7.b、获取主切片与各副切片之间的仿射变换矩阵；
8.c、使主切片和副切片分别在主屏幕和副屏幕中同步显示。
9.根据本发明的一个方面，在所述步骤(b)中，对各切片进行特征点提取，并进行图像配准获得仿射变换矩阵。
10.根据本发明的一个方面，所述特征点提取包括轮廓特征点提取和纹理特征点提取。
11.根据本发明的一个方面，所述轮廓特征点提取为，对1.25x病理切片图像进行sobel边缘检测并生成二值图像，通过连通域分析消除边缘内部的空洞、杂质和噪声；
12.利用形态学滤波消除切片背景中的边缘条纹，获得切片轮廓信息二值图像；
13.使用orb算子对切片轮廓信息二值图像进行角点运算，获得1.25x关键点；
14.利用异常点检测算法对1.25x关键点进行筛选，得到轮廓特征点。
15.根据本发明的一个方面，所述纹理特征点提取为，通过随机均匀分布方式在轮廓特征点范围内划分8-32个20x的有效图像区域，形成20x病理切片图像；
16.对20x病理切片图像进行灰度处理并计算高斯差分金字塔，再利用病理图像纹理
信息应用sift算子进行关键点检测，获得20x关键点；
17.利用异常点检测算法对20x关键点进行筛选，得到纹理特征点。
18.根据本发明的一个方面，所述图像配准包括以下步骤：
19.对1.25x病理切片图像进行orb边缘匹配，输出反应位置关系的粗仿射矩阵m2，完成粗匹配；
20.对20x病理切片图像进行sift纹理匹配，输出反应位置关系的细仿射矩阵m3，完成细匹配；
21.将粗仿射矩阵m2与细仿射矩阵m3进行融合，得到输入图像对之间的仿射变换矩阵m4。
22.根据本发明的一个方面，所述粗匹配包括以下步骤：
23.对各病理切片中提取的轮廓特征点进行knn匹配，输出两两对应的匹配对r1；
24.通过ransac算法对匹配对r1进行随机抽样一致性计算，过滤掉一致性评分低的匹配对，获得匹配对r2，并对其进行gms匹配，获得匹配对r3；
25.根据匹配对r3计算仿射矩阵m1，并根据仿射矩阵m1对匹配对r3进行位置换算，得到其中的特征点在新坐标域下的位置集c1；
26.采用k-means聚类算法对位置集c1中的各特征点的位置进行聚类，去除其中的异常位置，得到位置集c2，并利用之重新计算得到粗仿射矩阵m2；
27.所述细匹配包括以下步骤：
28.利用粗仿射矩阵m2对各病理切片的20x有效区域图像进行位置映射，根据映射关系对纹理特征点进行筛选和gms匹配，输出两两对应的匹配对r4；
29.通过ransac算法对匹配对r4进行随机抽样一致性计算，过滤掉一致性评分低的匹配对，获得匹配对r5，并利用之计算得到细仿射矩阵m3。
30.根据本发明的一个方面，所述仿射变换矩阵m4为2
×
3矩阵其中，m
00
表示x方向上的尺度缩放量，m
01
表示旋转角的余弦值，m
02
表示在x方向上的偏移t
x
，m
10
表示旋转角的正弦值的负数，m
11
表示y方向上的尺度缩放量，m
12
表示在y方向上的偏移ty；
31.所述图像配准还包括：
32.通过下式计算得到图像的旋转角度angle为：
[0033][0034]
通过旋转角度angle计算得到不同染色病理切片图像经配准后的位置关系为：
[0035][0036][0037][0038]
[0039]
其中，scale
x
和shear
x
分别为在x方向上的缩放及错切；scaley和sheary分别为在y方向上的缩放及错切。
[0040]
根据本发明的一个方面，在所述步骤(b)中，还包括对各切片的位置进行映射，包括：
[0041]
获得主切片pm与副切片pn的仿射变化矩阵m4，则主切片pm中任意一点坐标(x
pm
,y
pm
)对应副切片pn中的坐标(x
pn
,y
pn
)的转换公式为：
[0042]
x
pm
＝m
00
*x
pn
m
01
*y
pn
m
02
；
[0043]
以及
[0044]ypm
＝m
10
*x
pn
m
11
*y
pn
m
12
；
[0045]
获得主切片pm与另一副切片p
n 1
之间的仿射变换矩阵m4，得到主切片pm中任意一点坐标(x
pm
,y
pm
)在副切片p
n 1
中的对应坐标(x
pn 1
,y
pn 1
)，再通过转换公式进行坐标转换，以完成副切片pn与副切片p
n 1
之间的位置转换。
[0046]
根据本发明的一个方面，在所述步骤(c)中，在某张病理切片被移动后，
[0047]
若该切片为主切片m，则直接使其他副切片依据主切片m移动后的坐标(xm,ym)同步完成位置移动；
[0048]
若该切片为副切片p，则先将其在对应副屏幕中变化后的坐标(x
p
,y
p
)与主切片m通过仿射变换矩阵m4进行坐标换算，得到主切片m在主屏幕的变化后的坐标(xm,ym)，再使其他副切片依据坐标(xm,ym)同步完成位置移动；
[0049]
其他副切片同步移动的方式为，主屏幕先将坐标(xm,ym)发送至事件管理中心，由事件管理中心向其他副切片所在的副屏幕进行广播同步，再通过主屏幕与各副屏幕之间的仿射变换矩阵m4使其他副切片依据主屏幕的变化完成位置移动。
[0050]
根据本发明的构思，提出一种对不同染色的病理连续切片的显示方法，针对病理诊断阅片场景，实现不同病理试剂染色工艺下病理切片的精准配准，从而极大地方便了病理医师对连续切片同一区域的观察，以提升阅片体验，帮助病理医师更好的进行分析诊断。
附图说明
[0051]
图1示意性表示本发明一种实施方式的不同染色病理切片图像匹配及显示方法的流程图；
[0052]
图2示意性表示本发明一种实施方式的orb边缘匹配的流程图；
[0053]
图3示意性表示本发明一种实施方式的sift纹理匹配的流程图；
[0054]
图4示意性表示本发明一种实施方式的不同染色病理切片配准结果示意图。
具体实施方式
[0055]
为了更清楚地说明本发明实施方式或现有技术中的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0056]
下面结合附图和具体实施方式对本发明作详细地描述，实施方式不能在此一一赘述，但本发明的实施方式并不因此限定于以下实施方式。
[0057]
本发明的不同染色病理切片图像匹配及显示方法，先将同一组织连续切片利用不同染色试剂染色，并通过病理扫描仪获取对应的数字病理切片，再将这些切片划分为主切片和若干副切片，然后获取主切片与各副切片之间的仿射变换矩阵，最后使主切片和副切片分别在主屏幕和副屏幕中同步显示。其中，主切片可随机选取，一般为第一顺序的切片即可。由于数字病理切片图像尺寸较大，且存在多个不同倍率，因此本发明在获取主切片与各副切片的仿射变换矩阵时，在不同放大倍率下1.25x及20x下分别对各切片图像进行特征点提取并筛选，从而提供病理切片图像在不同尺度下的特征点。其中，特征点提取包括轮廓特征点提取和纹理特征点提取。另外，同一组织的连续切片在利用不同试剂染色的过程中，也会引入误差而导致不同染色的病理切片之间出现平移、旋转、尺度缩放、镜像等各类型位置偏差。因此，本发明在提取特征点以后，还对病理切片在不同倍率下图像分别进行图像配准，从而获得两两切片之间的仿射变换矩阵。
[0058]
参见图1，在图像配准的过程中，先对1.25x病理切片图像进行orb边缘匹配，输出反应位置关系的粗仿射矩阵m2，完成粗匹配。然后对20x病理切片图像进行sift纹理匹配，输出反应位置关系的细仿射矩阵m3，完成细匹配。最终将粗仿射矩阵m2与细仿射矩阵m3进行融合，得到输入图像对之间的仿射变换矩阵m4。
[0059]
参见图2，轮廓特征点提取为，对1.25x病理切片图像进行sobel边缘检测并生成二值图像，通过连通域分析消除边缘内部的空洞、杂质和噪声。其中，杂质和噪声主要是指肿瘤外部的小孤岛。随后，再利用形态学滤波消除切片背景中的边缘条纹，并获得切片准确的轮廓信息二值图像。然后使用orb算子对二值化后的切片轮廓图像(即切片轮廓信息二值图像)进行角点运算，获得大量的1.25x关键点，再利用异常点检测算法对1.25x关键点进行筛选，得到1.25x病理切片图像中的正确的轮廓特征点。
[0060]
然后，即可通过相应的边缘匹配算法利用这些低倍的轮廓特征点进行粗匹配。具体为，对各病理切片中提取的轮廓特征点进行knn匹配，输出两两对应的匹配对r1。通过ransac算法对匹配对r1进行随机抽样一致性计算，过滤掉一致性评分低的匹配对，获得匹配对r2，并对其进行gms匹配，获得匹配对r3。根据匹配对r3计算仿射矩阵m1，并根据仿射矩阵m1对匹配对r3中的结果进行位置换算，得到其中的特征点在新坐标域下的位置集c1。由于在相同坐标域下不同位置点偏移量基本相同，因此本发明采用k-means聚类算法对位置集c1中的各特征点的位置进行聚类，去除其中的异常位置，得到位置集c2，并利用之重新计算得到粗仿射矩阵m2。
[0061]
参见图3，纹理特征点提取为，通过随机均匀分布方式在1.25x的轮廓特征点位置范围内划分8-32个20x的有效图像区域，形成20x病理切片图像。对20x病理切片图像进行灰度处理并计算高斯差分金字塔，再利用病理图像纹理信息应用sift算子进行关键点检测，获得20x关键点。利用异常点检测算法对20x关键点进行筛选，得到20x病理切片图像中正确的纹理特征点。
[0062]
然后，通过相应的纹理匹配算法对这些对高倍纹理特征点进行细匹配。具体为，利用粗仿射矩阵m2对各病理切片的20x有效区域图像进行位置映射，根据映射关系对这些高倍纹理特征点进行初步筛选，并对筛选后的纹理特征点进行gms匹配，输出两两对应的匹配对r4。再通过ransac算法对匹配对r4进行随机抽样一致性计算，过滤掉一致性评分低的匹配对，获得匹配对r5，并利用之计算得到细仿射矩阵m3。
[0063]
随后，即可将orb边缘匹配所得的粗仿射矩阵m2与sift纹理匹配所得的细仿射矩阵m3进行特征融合，得到输入图像对之间准确的(即修正的)仿射变换矩阵m4，从而完成主切片与各副切片之间的位置关系转换。仿射变换矩阵m4为2
×
3矩阵可以表示图像的平移，旋转，缩放和错切。其中，m
00
表示x方向上的尺度缩放量，m
01
表示旋转角的余弦值，m
02
表示在x方向上的偏移t
x
，m
10
表示旋转角的正弦值的负数，m
11
表示y方向上的尺度缩放量，m
12
表示在y方向上的偏移ty。通过下式可近似计算得到图像的旋转角度angle为：
[0064][0065]
通过旋转角度angle即可计算其他分量，从而得到不同染色病理切片图像经配准后的位置关系为：
[0066][0067][0068][0069][0070]
其中，scale
x
和shear
x
分别为在x方向上的缩放及错切；scaley和sheary分别为在y方向上的缩放及错切。
[0071]
在图像配准后，即可对各切片的位置进行映射。具体为，通过上述图像匹配技术得到主切片pm与各副切片pn之间的仿射变换矩阵m4后，主切片pm中任意一点坐标(x
pm
,y
pm
)对应副切片pn中的坐标(x
pn
,y
pn
)的转换公式为：
[0072]
x
pm
＝m
00
*x
pn
m
01
*y
pn
m
02
；
[0073]
以及
[0074]ypm
＝m
10
*x
pn
m
11
*y
pn
m
12
。
[0075]
如此，再根据主切片pm与另一副切片p
n 1
之间的仿射变换矩阵m4，可得主切片pm中任意一点坐标(x
pm
,y
pm
)在副切片p
n 1
中的对应坐标(x
pn 1
,y
pn 1
)，再通过上述x和y两次坐标转换，即可完成副切片pn与副切片p
n 1
之间位置的转换，按此方式可以完成多张(n)切片位置的映射。
[0076]
如图4所示，主切片在主屏显示界面进行显示，各副切片则根据用户需要在副屏显示界面进行显示。在某张病理切片被移动后，该切片的左上角视窗位置会发生变化，从而引起其在相应屏幕中的坐标的改变。若该切片为主切片m，则直接使其他副切片依据主切片m移动后的坐标(xm,ym)同步完成位置移动；若该切片为副切片p，则先记录其在对应副屏幕显示界面视图中当前(即变化后的)切片坐标(x
p
,y
p
)，并将坐标(x
p
,y
p
)与主切片m通过仿射变换矩阵m4进行坐标换算，从而得到主切片m在主屏幕视图的变化后的坐标(xm,ym)，以完成主屏幕与副切片p所在副屏幕的视图同步，然后再使其他副切片依据坐标(xm,ym)同步完成位
置移动。
[0077]
本发明中，其他副切片同步移动的方式为，先将主屏幕显示界面变化后的视图坐标(xm,ym)发送至所用软件的事件管理中心，由事件管理中心向其他副切片所在的副屏幕进行广播同步，再通过主屏幕与各副屏幕之间的仿射变换矩阵m4使其他副切片在各自屏幕显示界面的视图中依据主屏幕的变化完成同步位置移动，从而实现多张病理切片的实时配准联动显示。如此，用户移动主屏幕或任意副屏幕中的病理切片图像，均可根据映射关系使所有屏幕进行同步移动显示。
[0078]
以上所述仅为本发明的一个实施方式而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。