一种质谱成像数据与全视野病理切片的配准方法

1.本发明属于医学图像多模态配准技术领域，具体为一种质谱成像数据与全视野病理切片的配准方法。


背景技术：

2.质谱成像(msi)是一种强大的分子成像技术，可对切片上的不同位点进行非靶向质谱分析并单独可视化，允许同时对多个已知或未知代谢物进行原位分析，并提供空间分辨的化学信息。由于其能够同时检测多种分子物种，它已被用于药物发现和个性化医疗等临床领域。然而，质谱成像(msi)的缺点是分辨率较低，对切片本身形态特征的捕获较少。
3.全视野病理切片(wsi)的特点是高分辨率，可以观察组织中更精细的形态特征和切片中细胞的纹理，但无法捕获分子水平的特征。由于其高分辨率而检查微小的形态细节，因此可以区分样品中的兴趣区域(roi)。但病理学家的判断在很大程度上依赖于他们先前的知识和经验，因此不可避免地是主观的。
4.为了减少病理学家的主观判断，计算机视觉的概念被导入到这个领域，主要应用手段为：通过机器学习算法将质谱成像(msi)和全视野病理切片(wsi)进行组合，常用方法为图像对齐，通过将质谱成像(msi)的分子信息映射到全视野病理切片(wsi)的相应区域，以便将分子信息与形态特征相结合。在之前的研究中，许多研究人员仅将质谱成像(msi)和全视野病理切片(wsi)的相对位置进行图像对齐，此种形式的图像对齐存在以下缺陷：
5.(1)大多数研究直接放大了低分辨率的质谱成像(msi)，并使用放大后的质谱成像(msi)与全视野病理切片(wsi)保持一致。质谱成像(msi)的这种直接放大可能会导致质谱成像(msi)中的相对位置移动，从而导致最终对齐不良；
6.(2)切片时可能会发生一些相对位置偏移，即使使用两个紧密的切片，也无法使两个切片完美匹配；
7.生物样品的不稳定性和分辨率的巨大差异，导致目前尚未有成熟的可实施性高的质谱成像(msi)和全视野病理切片(wsi)的配准方法。


技术实现要素：

8.发明目的：为了解决现有质谱成像(msi)和全视野病理切片(wsi)的配准方法存在的准确度低和精度差等问题，本发明提出了一种质谱成像数据与全视野病理切片的配准方法，通过对质谱成像数据进行深度学习插值和利用仿射变换，减少因为切片原因产生的相对误差，大大提高配准图像的准确度和精度。
9.技术方案：一种质谱成像数据与全视野病理切片的配准方法，包括以下步骤：
10.获取待测组织学样本的切片，制作得到相应的全视野病理切片和基质辅助激光解吸电离质谱成像图像；所述基质辅助激光解吸电离质谱成像图像是通过对相邻切片进行基质辅助激光解吸电离得到；所述相邻切片为与全视野病理切片相邻的切片；
11.利用旋转卡壳算法，得到全视野病理切片和基质辅助激光解吸电离质谱成像图像
的最小外接矩形；基于最小外接矩形，将全视野病理切片和基质辅助激光解吸电离质谱成像图像进行位置校正，得到校正后的全视野病理切片和校正后的基质辅助激光解吸电离质谱成像图像；
12.利用canny边缘算子，对校正后的全视野病理切片的边缘轮廓和校正后的基质辅助激光解吸电离质谱成像图像的边缘轮廓进行提取，得到校正后的全视野病理切片的边缘轮廓和校正后的基质辅助激光解吸电离质谱成像图像的边缘轮廓；
13.将校正后的基质辅助激光解吸电离质谱成像图像输入至超分辨率深度学习神经网络中，输出与校正后的全视野病理切片分辨率相同的质谱成像图像；
14.利用仿射变换，将校正后的全视野病理切片和输出的质谱图像进行初次配准，得到初次配准的图像；
15.利用移动最小二乘法，对初次配准的图像进行二次配准，得到最终的配准图像。
16.进一步的，所述的获取待测组织学样本的切片，制作得到相应的全视野病理切片和基质辅助激光解吸电离质谱成像图像，具体包括：
17.将待测组织学样本进行冷冻切片处理，得到多个组织学切片；
18.从多个组织学切片中选出包括组织学特征的切片，将包括组织学特征的切片进行组织学染色，得到染色后的切片；
19.通过数字切片扫描系统对染色后的切片进行扫描，得到全视野病理切片图像；
20.选取与包括组织学特征的切片相邻的组织学切片，记为相邻切片，对相邻切片进行基质辅助激光解吸电离，得到基质辅助激光解吸电离质谱成像图像。
21.进一步的，所述的基于最小外接矩形，将全视野病理切片和基质辅助激光解吸电离质谱成像图像进行位置校正，得到校正后的全视野病理切片和校正后的基质辅助激光解吸电离质谱成像图像，具体包括：
22.依据最小外接矩阵的四个顶点，得到相应的位置校正角度；
23.依据相应的位置校正角度，对全视野病理切片和基质辅助激光解吸电离质谱成像图像进行旋转，得到校正后的全视野病理切片和基质辅助激光解吸电离质谱成像图像。
24.进一步的，所述的超分辨率深度学习神经网络包括：
25.双三次插值子网络，用于对输入的校正后的基质辅助激光解吸电离质谱成像图像进行双三次插值子，得到插值后的低分辨率图像ilr；
26.特征提取子网络，用于从插值后的低分辨率图像ilr中提取多个图像块，对每个图像块进行卷积操作，得到特征向量，所有特征向量组成特征矩阵；
27.非线性映射子网络，用于通过卷积操作，对特征矩阵进行非线性映射，得到新的特征矩阵；
28.上采样子网络，用于对新的特征矩阵进行上采样操作，得到与校正后的全视野病理切片分辨率相同的质谱成像图像。
29.进一步的，所述的利用仿射变换，将校正后的全视野病理切片和输出的质谱图像进行初次配准，得到初次配准的图像，具体包括：
30.记输出的质谱成像图像的四个顶点坐标为(x
m1
,y
m1
)、(x
m2
,y
m2
)、(x
m3
,y
m3
)、(x
m4
,y
m4
)；记校正后的全视野病理切片的四个顶点坐标为(x
w1
,y
w1
)、(x
w2
,y
w2
)、(x
w3
,y
w3
)、(x
w4
,y
w4
)；
31.通过仿射变换方程x
wn
＝a1x
mn
b1y
mn
c1和y
wn
＝a2x
mn
b2y
mn
c2，将输出的质谱成像图像的四个顶点坐标变换至(x
w1
,y
w1
)、(x
w2
,y
w2
)、(x
w3
,y
w3
)、(x
w4
,y
w4
)；其中，a1、a2、b1、b2、c1、c2分别表示进行不同几何变换时的参数。
32.进一步的，所述的利用移动最小二乘法，对初次配准的图像进行二次配准，具体包括：
33.利用移动最小二乘法为初次配准的图像上的每个像素点v构建相应的变形函数fv(v)，使仿射变换后的质谱成像图像的边缘轮廓向校正后的全视野病理切片的边缘轮廓变形，通过变形函数fv(v)计算得到变形后各像素点的位置：
[0034][0035]
式中：
[0036][0037][0038][0039][0040][0041]
式中，pi表示横坐标轴方向的第i个变形控制点，pj表示纵坐标轴方向的第j个变形控制点，变形控制点与质谱成像图像的边缘轮廓信息对应；qi表示横坐标轴方向的第i个目标控制点，qj表示纵坐标轴方向的第j个目标控制点，该目标控制点与全视野病理切片的边缘轮廓信息对应；wi表示权重；α表示调节变形效果的参数；基于变形后各像素点的位置，对初次配准的图像进行二次配准。
[0042]
本发明还公开了一种计算机存储介质，所述计算机存储介质存储有质谱成像数据与全视野病理切片的配准方法的程序，所述质谱成像数据与全视野病理切片的配准方法的程序被至少一个处理器执行时实现上述公开的一种质谱成像数据与全视野病理切片的配准方法的步骤。
[0043]
有益效果：本发明与现有技术相比，具有以下优点：
[0044]
(1)本发明通过对质谱成像图像进行深度学习插值，并将插值后的质谱成像图像与全视野病理切片进行配准，配准后的图像质量波动小；
[0045]
(2)本发明通过对质谱成像图像和全视野病理切片进行校正，能有效减少实验过程中出现的相对位置偏差，包括：减少在制作截面时在相邻截面中发生的形态结构偏移，或在电离过程中由于实验原因而发生的位移；
[0046]
(3)本发明通过图像校正和仿射变换实现对质谱成像图像和全视野病理切片的初步配准，而后利用移动最小二乘方法将质谱成像图像和全视野病理切片进行边缘对齐，使质谱成像图像边缘向全视野病理切片变形，使质谱成像图像与全视野病理切片完全对齐，尽可能减少两类图像在边缘处产生的偏差，具有减少边缘重叠区域、提高图像对齐精度、边缘清晰高等优点。
附图说明
[0047]
图1是一种质谱成像数据与全视野病理切片的配准方法的流程示意图；
[0048]
图2是一种质谱成像数据与全视野病理切片的配准方法的msi预处理过程；
[0049]
图3是一种质谱成像数据与全视野病理切片的配准方法的wsi预处理过程；
[0050]
图4是图像校正前后的图像配准结果对比示意图；
[0051]
图5是不同配准方法的结果对比示意图；
[0052]
图6是使用仿射变换和移动最小二乘法在不同质谱成像图像和wsi图像下的配准结果对比图。
具体实施方式
[0053]
本发明建立了能够对质谱成像数据(wsi)和全视野病理切片(msi)进行集成和同步分析的工作流程，并显示出良好的效果。基于深度学习的插值方法首次导入到全视野病理切片(msi)相关研究中，为全视野病理切片(msi)数据提供可靠的放大倍率。本发明的图像配准方法能够在一张图像中呈现形态学特征和化学分布，可以更直接地观察wsi的形态特征和msi的分子分布特征。
[0054]
现结合附图和实施例进一步阐述本发明的技术方案。
[0055]
实施例1：
[0056]
本实施例公开了一种质谱成像数据与全视野病理切片的配准方法，包括以下步骤：
[0057]
获取待测组织学样本的切片，制作得到相应的全视野病理切片和基质辅助激光解吸电离质谱成像图像；所述基质辅助激光解吸电离质谱成像图像是通过对相邻切片进行基质辅助激光解吸电离得到；所述相邻切片为与全视野病理切片相邻的切片；
[0058]
利用旋转卡壳算法，得到全视野病理切片和基质辅助激光解吸电离质谱成像图像的最小外接矩形；基于最小外接矩形，将全视野病理切片和基质辅助激光解吸电离质谱成像图像进行位置校正，得到校正后的全视野病理切片和校正后的基质辅助激光解吸电离质谱成像图像；
[0059]
利用canny边缘算子，对校正后的全视野病理切片的边缘轮廓和校正后的基质辅助激光解吸电离质谱成像图像的边缘轮廓进行提取，得到校正后的全视野病理切片的边缘轮廓和校正后的基质辅助激光解吸电离质谱成像图像的边缘轮廓；
[0060]
将校正后的基质辅助激光解吸电离质谱成像图像输入至超分辨率深度学习神经网络中，输出与校正后的全视野病理切片分辨率相同的质谱成像图像；
[0061]
利用仿射变换，将校正后的全视野病理切片和输出的质谱图像进行初次配准，得到初次配准的图像；
[0062]
利用移动最小二乘法，对初次配准的图像进行二次配准，得到最终的配准图像。
[0063]
实施例2：
[0064]
参见图1，本实施例提出了一种基于机器学习的质谱成像数据与全视野病理切片的配准方法，包括如下步骤：
[0065]
步骤1：准备质谱成像图像集和全视野病理切片图像集；本实施例通过以下子步骤制作得到质谱成像图像集和全视野病理切片图像集：
[0066]
s110：将待测组织学样品进行冷冻切片处理，得到多个组织学切片；
[0067]
s120：从多个组织学切片中选出可以显示组织学特征的切片，将可以显示组织学特征的切片进行组织学染色，得到染色后的切片；
[0068]
s130：采用数字切片扫描系统对染色后的切片进行扫描，得到高分辨率的全视野病理切片图像，全视野病理切片通常以多分辨率金字塔结构存储，具有多个原始图像的下采样版本，金字塔的不同层对应于不同的分辨率，而不同的分辨率对应的帧的数量亦不相同；金字塔模型的最底层对应最高分辨率的图像，称为0级，金字塔模型的中间层为最底层图像的缩略图，即其他分辨率图像从下至上分别称为1级至n级，以此构建得到全视野病理切片图像集；s140：选取与可以显示组织学特征的切片相邻的组织学切片，记为相邻切片，对相邻切片进行基质辅助激光解吸电离(madli-msi)，得到多个质谱成像图像；
[0069]
s150：将质谱成像图像通过格式的转化和处理，并保存为imzml文件，以此构建得到质谱成像图像集，用于后续的图像配准；
[0070]
步骤2：步骤1的制备步骤可能会导致切片扫描角度存在偏移，因此需通过图像校正对全视野病理切片图像和质谱成像图像进行预处理，得到校正后的全视野病理切片图像和质谱成像图像。
[0071]
在本实施例中，该预处理包括但不限于以下子步骤：首先对图像进行灰度化，利用高斯模糊除去噪声；再利用腐蚀膨胀去除图像中剩下的噪声，得到二值化图像；最后利用旋转卡壳算法计算二值化图像的最小外接矩阵，依据最小外接矩阵的四个顶点坐标，计算图像校正角度，根据图像校正角度，对图像进行旋转。最后，利用canny边缘算子，对旋转后的图像进行轮廓提取，得到预处理后的图像。
[0072]
此步骤提及的图像指的是全视野病理切片图像和质谱成像图像，这两类图像均需要经过上述预处理。
[0073]
现对利用旋转卡壳算法计算二值化图像的最小外接矩阵，依据最小外接矩阵的四个顶点坐标，计算图像校正角度的计算过程说明如下：
[0074]
每一个二值化图像均为凸多边形结构，对于每一个二值化图像执行以下操作。
[0075]
s210：取多边形的任意一条边做一条与之重合的线l1，在多边形上选取与l1距离最远的一个点做一条平行线l2；在两条平行线中取两个距离最大的一组点，垂直于l1分别做一条平行切线，四条线围成的矩形为外接矩形，并将该矩形的面积作为当前最小值进行保存；
[0076]
s220：顺时针旋转外接矩形，直到其中矩形的一条边与二值化图像的一条边重合，该边记为平行线l3，在多边形上选取与该平行线l3距离最远的一个点做一条平行线l4；在两条平行线中取两个距离最大的一组点，垂直于l3分别做一条平行切线，四条线围成的新的矩形，计算该新的矩形的面积，将新的矩形的面积与当前最小值进行比较，若小于当前最小值，则将新的矩形的面积作为当前最小值进行保存，实现对当前最小值的更新，同步保存当
前最小值对应的矩形信息；若不小于，则不更新；
[0077]
s230：重复s220，直到线顺时针旋转角度大于90度，执行s240；
[0078]
s240：得到二值化图像的最小外接矩阵[w,h]，其中，w表示矩阵宽度，h表示矩阵高度；二值化图像的最小外接矩阵[w,h]的四个顶点坐标为(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)，校正后的四个顶点坐标为(x1,y1)、(x1 w,y1)、(x1，y1 h)、(x1 w,y1 h)；通过w＝(x
2-x1)cosθ-(y
2-y1)sinθ求出最小外接矩阵需要旋转的角度θ。
[0079]
如图2和图3所示，分别对质谱成像图像和全视野病理切片图像进行预处理，得到视野域中只有所需要的切片信息的图像，减少其他噪声对配准结果的影响；
[0080]
步骤3：选取合适分辨率的预处理后的全视野病理切片，具体的：预处理后的全视野病理切片是以多分辨率金字塔结构存储，本实施例选择第四层的图像，其分辨率为7936*4768；
[0081]
步骤4：由于madli设备的原因，得到的质谱成像图像的分辨率为(90,60)；因此在图像配准前，先对质谱成像图像进行插值；但常规的线性插值效果不好，所以本实施例采用超分辨率深度学习神经网络(vdsr)对质谱成像图像进行插值，得到插值后的质谱成像图像。
[0082]
本实施例采用的超分辨率深度学习神经网络包括：
[0083]
双三次插值子网络，用于对输入的校正后的基质辅助激光解吸电离质谱成像图像进行双三次插值子，得到插值后的低分辨率图像ilr(low resolution image after interpolation)；
[0084]
特征提取子网络，用于从插值后的低分辨率图像ilr中提取多个图像块(patch)，对每个图像块(patch)被卷积操作表示为多维向量，所有向量特征组成特征矩阵；
[0085]
非线性映射子网络，用于通过卷积操作，对特征矩阵进行非线性映射，得到新的特征矩阵；
[0086]
上采样子网络，用于对新的特征矩阵进行上采样操作，得到与步骤3选取的全视野病理切片的分辨率相近的质谱成像图像。
[0087]
具体的，本实施例采用的超分辨率深度学习神经网络包括19层卷积层、19层relu激活函数层和残差网络层；每一层卷积层的大小为3
×
3，每个卷积核的通道数为64，在每层卷积层中以0作为边缘填充，使得卷积前后的分辨率保持不变；通过19层relu激活函数层可以产生更加复杂的非线性映射，能够拟合更加复杂的模型；初始学习率0.1，每20轮训练后衰减10倍，所以经过80轮训练后共有四种学习率；残差网络层包括1个3x3的卷积核，通道为1。
[0088]
在使用超分辨率深度学习神经网络对质谱成像图像进行插值前，需采用准备好的低分辨率图像和对应的高分辨率图像对深度学习神经网络进行训练，当超分辨率深度学习神经网络输出的高分辨率图像与原高分辨率图像的均方误差小于预先设定的阈值时，停止迭代，训练完成。
[0089]
将校正后的质谱成像图像输入至训练好的超分辨率深度学习神经网络中，输出与校正后的wsi图像分辨率相近的图像；例如：对校正后的质谱成像图像进行80倍插值，对应输出的图像的分辨率为(7200,4800)。
[0090]
步骤5：将插值后的质谱成像图像进行仿射变换，得到仿射变换后的质谱成像图
像；
[0091]
记插值后的质谱成像图像的四个顶点坐标为(x
m1
,y
m1
)、(x
m2
,y
m2
)、(x
m3
,y
m3
)、(x
m4
,y
m4
)；记wsi图像的四个顶点坐标为(x
w1
,y
w1
)、(x
w2
,y
w2
)、(x
w3
,y
w3
)、(x
w4
,y
w4
)；
[0092]
通过仿射变换方程x
wn
＝a1x
mn
b1y
mn
c1和y
wn
＝a2x
mn
b2y
mn
c2，式中，a1、a2、b1、b2、c1、c2分别表示图像进行不同几何变换时的参数，如旋转，平移，缩放等，将插值后的质谱成像图像的四个顶点坐标变换至(x
w1
,y
w1
)、(x
w2
,y
w2
)、(x
w3
,y
w3
)、(x
w4
,y
w4
)，也就是说将质谱成像图像的四个顶点坐标与wsi图像的四个顶点坐标对应起来。
[0093]
依据校正后的全视野病理切片的边缘轮廓和仿射变换后的质谱成像图像的边缘轮廓，将校正后的全视野病理切片和仿射变换后的质谱成像图像进行初次配准，得到初次配准的图像。
[0094]
步骤6：质谱成像图像对应的切片是wsi图像对应的切片的相邻切片，在经过仿射变换以后，图像之间由于切片制作的原因，在初次配准的图像的边缘轮廓会有一定的误差，如图4所示，a为未进行图像校正的质谱成像图像和wsi图像的配准结果，b和c为先进行图像校正的质谱成像图像和wsi图像的配准结果，可知，a的配准结果内部有较明显的图像位移，配准结果不够准确。
[0095]
本实施例通过移动最小二乘法对这两类图像的边缘轮廓的误差进行减小或消除，使两者配准准确。即利用移动最小二乘法，对初次配准的图像进行二次配准，得到最终的配准图像。
[0096]
利用移动最小二乘法为原图像上的每个像素点v构建相应的变形函数fv(v)，使仿射变换后的质谱成像图像的边缘轮廓向校正后的全视野病理切片的边缘轮廓变形，并通过下式计算得到图像变形后的位置：
[0097][0098]
式中：
[0099][0100][0101][0102][0103]
[0104]
式中，质谱成像的边缘轮廓信息作为变形控制顶点p，全视野病理切片的边缘轮廓信息作为目标控制顶点q，质谱成像图像其他像素的坐标点为v,wi表示权重，即v到控制点p距离的倒数，α为调节变形效果的参数，通常为1。i，j表示图像的中横纵坐标轴方向的所有控制点。
[0105]
基于变形后各像素点的位置，对初次配准的图像进行二次配准。
[0106]
如图5所示，从上到下分别为wsi图像中的细节图、仅使用仿射变换得到的配准结果细节图(at)、使用仿射变换和移动最小二乘法(mls)得到的配准结果细节图(at mls)；图6为使用仿射变换和移动最小二乘法在不同质谱成像图像和wsi图像下的配准结果。由图5和图6可知，本实施例提出的利用深度学习插值并用仿射变换结合移动最小二乘法对质谱成像图像和wsi图像进行图像配准有很好的结果。
[0107]
实施例3：
[0108]
本实施例提出了一种质谱成像数据与全视野病理切片的配准系统(即计算机设备)，该系统包括网络接口、存储器和处理器；其中，网络接口，用于在与其他外部网元之间进行收发信息过程中，信号的接收和发送；存储器，用于存储能够在所述处理器上运行的计算机程序指令；处理器，用于在运行所述计算机程序指令时，执行上述公开的一种质谱成像数据与全视野病理切片的配准方法的步骤。
[0109]
该质谱成像数据与全视野病理切片的配准系统(即计算机设备)包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。
[0110]
实施例4：
[0111]
本实施例提出了一种计算机存储介质，该计算机存储介质存储有质谱成像数据与全视野病理切片的配准方法的程序，质谱成像数据与全视野病理切片的配准方法的程序被至少一个处理器执行时实现上述公开的一种质谱成像数据与全视野病理切片的配准方法的步骤。
[0112]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。
[0113]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0114]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。