一种基于多尺度域对抗网络的病理图像分类方法及系统与流程

1.本发明涉及一种基于多尺度域对抗网络的病理图像分类方法及系统，属于医学图像处理领域。


背景技术：

2.基于人工智能的计算机辅助诊断技术已经广泛应用于医学领域，尤其是在组织病理切片(whole slide image，以下简称“wsi”)诊断方面。利用深度学习的自动识别技术对wsi进行智能分析，能够辅助病理医生高效准确的完成病理分析工作。目前主要是基于弱监督的深度学习实现对数字病理图像的癌症分类任务，例如中国专利cn202010690425.5、中国专利cn202010287157.2和中国专利cn201910120656.x均是以整个wsi的标签作为包的标签，以在最大分辨率下分割出的图块作为包中的实例，从而构建多实例的学习框架，以弱监督学习的方式完成对病理图像的分类任务，但是在它们的整个预测过程中并没有考虑多尺度的特征信息和染色偏差对分类结果造成的影响。
3.造成上述染色偏差的因素有很多，例如不同医院之间、不同设备之间、不同批次的染色剂以及不同的工艺流程等都会造成不同程度的染色偏差。而病理医生需要在不同的染色基础上进行诊断，并在这一过程中不断的调整放大倍数，通过在不同放大倍率下观察病理组织的多种形态特征最终得出诊断结果。


技术实现要素：

4.本发明的目的是：将多尺度和域对抗结合起来共同构建一个深度卷积神经网络框架，以实现病理图像的分类任务。
5.为了达到上述目的，本发明的一个技术方案是提供了一种基于多尺度域对抗网络的病理图像分类方法，其特征在于，具体包括以下步骤：
6.步骤1)对组织病理切片进行多尺度的分割，以获得组织病理切片在不同尺度下的图块集合；
7.步骤2)使用不同尺度下的图块集合训练相应的域对抗网络，以获得在不同尺度下的特征提取器；
8.针对不同尺度的图块集合，训练相应的域对抗网络，从而获得组织病理切片在各个尺度下对应的特征提取器，具体包括以下步骤：
9.步骤2.1)构建域对抗网络，该域对抗网络包括特征提取网络、多头注意力机制和mlp，其中：
10.特征提取器用于将原始数据映射到特定的特征空间上，使得标签预测器能够分辨出来自源域数据的类别，而颜色域判别器无法区分该数据来自哪个颜色域；
11.将特征提取网络作为特征提取器，特征提取网络被定义为；
12.gf(x，θf)
ꢀꢀꢀꢀꢀꢀ
(1)
13.式(1)中，x为单尺度下的图块，θf为需要学习的所有权重参数；
14.从式(1)中，能够获得单尺度下的病理图像的特征表示：
[0015][0016]
式(2)中，n为当前尺度下分割出的图块数量，d为每个图块经过特征提取网络编码后的特征维度；
[0017]
将多头注意力机制作为标签预测器，通过签预测器对来自源域的数据进行分类，尽可能分出正确的类别标签；
[0018]
多头注意力机制作为源域数据的标签分类网络，将特征提取网络获得的病理图像的特征表示fm作为多头注意力机制的输入，从而预测标签类别；
[0019]
多头注意力机制结构定义如下式(3)所示：
[0020]gy
(x，θy)
ꢀꢀꢀꢀꢀ
(3)
[0021]
式(3)中，θy为需要学习的所有参数；
[0022]
多头注意力机制由多个单头注意力机制拼接而成，则多头注意力机制公式定义为：
[0023]
multi-head(q，k，v)＝concat(head1，...，headh)woꢀꢀꢀꢀ
(4)
[0024]
式(4)中，headi＝attention(qw
iq
，vw
iv
)表示第i个单头注意力网络的输出结果；单头注意力机制通过三个独立的权重层w将fm分别映射为q、k和v，如下式(5)所示：
[0025][0026]
式(5)中，dk表示映射后的特征维度，k
t
为k的转置矩阵；
[0027]
多头注意力机制输出的结果依次通过全局平均值池化、若干个全连接层和softmax函数即可获得标签分类网络的分类结果；
[0028]
将mlp作为颜色域判别器，通过颜色域判别器对映射到特征空间上的数据进行分类，尽可能分出该数据来自哪个颜色域；
[0029]
mlp作为颜色域的二元分类网络，公式如下：
[0030]
gd(x，θd)
ꢀꢀꢀꢀꢀ
(6)
[0031]
式(6)中，θd为需要学习的所有参数，将特征提取器获得的病理图像的特征表示fm作为二元分类网络的输入，从而预测颜色域的类别；
[0032]
步骤2.2)构建域对抗网络的损失函数，域对抗网络的总损失由标签预测器损失和颜色域判别器损失构成，具体包括以下步骤：
[0033]
步骤2.2.1)构建标签预测器损失，其目标函数被定义为：
[0034][0035]
式(7)中，表示第i个样本的标签损失，r(w，b)为正则项，λ为人工设置的正则化参数，w、b为特征提取器的权重和偏置，v、c为标签预测器的权重和偏置；
[0036]
步骤2.2.2)构建颜色域判别器损失：
[0037]
将步骤2.2.1)中标签预测器损失的目标函数中的正则项r(w，b)作为颜色域判别器的目标函数，被定义为：
[0038][0039]
式(8)中，表示第i个样本颜色域的二元标签损失，u、z为颜色域判别器的权重和偏置，其中n为总样本数，n和n
′
分别表示原域和目标域样本数；
[0040]
域对抗网络的总目标函数，被定义为：
[0041][0042]
最小化标签预测器损失函数，最大化颜色域判别器损失函数，并引入超参数λ作为权重平衡参数，对于参数w、v、b、c、u、z的优化过程可被定义为：
[0043][0044][0045]
步骤2.2.3)优化式(9)所示的总目标函数：
[0046]
颜色域判别器与标签预测器的输入均来自特征提取器，其中颜色域判别器的优化目标是最大化颜色域判别器损失，标签预测器的优化目标是最小化标签预测器损失，其中，对于特征提取器的参数优化，需要使颜色域判别器的梯度方向与标签预测器的梯度方向相反；
[0047]
步骤2.3)实现域对抗网络的训练，以最大化颜色域判别器损失：
[0048]
颜色域判别器用于区分输入特征属于源域还是目标域，而最大化颜色域分类误差让颜色域判别器无法区分源颜色域和目标颜色域，使得源颜色域和目标颜色域在特征空间上的分布趋近一致，从而抑制不同染色效果对预测结果造成的影响，因此颜色域判别器的损失在反向传播到特征提取器时，其梯度值取反，从而使得颜色域判别器无法区分特征提取器生成的特征是属于源域还是目标域，通过多次迭代训练，最终实现源域和目标域特征的融合；
[0049]
步骤3)对不同尺度下的图块集合使用其对应的特征提取器进行低维度特征编码，以形成整个组织病理切片在不同尺度下的特征表示；
[0050]
步骤4)将组织病理切片在不同尺度下的特征表示进行拼接，形成其多尺度特征表示，基于多尺度特征表示训练注意力网络，其中：
[0051]
训练注意力网络具体包括以下步骤：
[0052]
步骤4.1)使用各尺度对应的域对抗网络中训练得到的特征提取器对各尺度的图块集合进行特征编码；
[0053]
步骤4.2)将编码后的特征进行拼接，从而获得整个组织病理切片的多尺度特征表示；
[0054]
步骤4.3)将多尺度特征表示作为如式(4)所示的多头注意力机制的输入，其中，为需要学习的所有参数；本步骤中的多头注意力机制与步骤2)中的多头注意力机制在网络架构上一致，但是权重参数各自独立并不共享；
[0055]
步骤4.4)最后依次通过全局平均值池化、若干个全连接层和softmax函数即可获得病理图像的最终分类预测结果；
[0056]
步骤5)在测试集上，端到端地评估整个域对抗网络框架，以获得最佳的模型预测结果。
[0057]
优选地，步骤1)中，利用多尺度金字塔和otsu算法对组织病理切片进行多尺度的分割。
[0058]
优选地，步骤1)具体包括以下步骤：
[0059]
步骤1.1)对组织病理切片进行下采样，获得不同分辨率下的wsi缩略图；
[0060]
步骤1.2)将各个尺度下的组织病理切片的缩略图从rgb颜色空间转换到hsv颜色空间；
[0061]
步骤1.3)利用基于otsu算法的阈值分割方法生成不同分辨率下的二进制掩码，并通过形态学操作获得最佳的组织掩码；
[0062]
步骤1.4)利用同一分辨率下的通过步骤1.2)得到的病理图像和通过步骤1.3)得到的组织掩码进行图块分割，从而获得各个尺度下组织区域的图块集合。
[0063]
优选地，步骤5)中，评估整个域对抗网络框架时，使用十折交叉验证，通过精确率、准确率、召回率、f1值和auc进行多指标的综合评估，从而获得最佳预测模型。
[0064]
本发明的另一个技术方案是提供了一种基于多尺度域对抗网络的病理图像分类系统，其特征在于，包括：
[0065]
预处理模块，对组织病理切片进行多尺度的分割，以获得组织病理切片在不同尺度下的图块集合；
[0066]
单尺度特征提取模块，使用不同尺度下的图块集合训练相应的域对抗网络，以获得在不同尺度下的特征提取器；
[0067]
总体特征提取模块，对不同尺度下的图块集合使用其对应的特征提取器进行低维度特征编码，以形成整个组织病理切片在不同尺度下的特征表示；
[0068]
多尺度注意力模块，将组织病理切片在不同尺度下的特征表示进行拼接，形成其多尺度特征表示，并用于训练注意力网络；
[0069]
模型评估模块，在测试集上端到端地评估整个域对抗网络框架，以获得最佳的模型预测结果。
[0070]
如权利要求5所述的一种基于多尺度域对抗网络的病理图像分类系统，其特征在于，所述预处理模块利用多尺度金字塔和otsu算法对组织病理切片进行多尺度的分割。
[0071]
本发明旨在消除染色偏差的同时融合病理图像的多尺度特征信息，提供以一种模仿病理医生实际操作流程的方式辅助其进行病理图像分类的系统。
[0072]
本发明一方面结合wsi多尺度的特征信息，另一方面利用域对抗网络抑制不同染色效果对预测结果造成的影响，减小病理图像因染色带来的波动性，从而提出以一种模仿病理医生实际操作流程的方式辅助其进行病理图像分类的系统。
附图说明
[0073]
图1为本发明基于多尺度域对抗网络的病理图像分类方法及系统的流程图；
[0074]
图2为本发明多尺度的病理图像示意图；
[0075]
图3为本发明同一尺度下的域对抗网络结构示意图；
[0076]
图4为本发明多尺度特征融合的网络结构示意图；
[0077]
图5为本发明多头注意力机制结构示意图；
[0078]
图6为本发明基于多尺度域对抗网络的病理图像分类系统结构示意图。
具体实施方式
[0079]
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本技术所附权利要求书所限定的范围。
[0080]
如图1所示，本实施例公开的一种基于多尺度域对抗网络的病理图像分类方法，具体包括以下步骤：
[0081]
步骤1)利用多尺度金字塔和otsu算法对wsi进行多尺度的分割，以获得wsi在不同尺度下的图块集合。
[0082]
直接处理wsi是一项非常耗时的工作，为快速获得不同尺度下的wsi组织区域中的图块集合，可利用数字图像处理技术中的多分辨率金字塔结构和otsu算法对组织区域进行提取和分割。结合图2，步骤1)具体包括以下步骤：
[0083]
步骤1.1)首先对wsi进行下采样，获得不同分辨率下的wsi缩略图；
[0084]
步骤1.2)由于在hsv颜色空间中分析颜色分布更加方便，因此将各个尺度下的wsi缩略图从rgb颜色空间转换到hsv颜色空间；
[0085]
步骤1.3)利用基于otsu算法的阈值分割方法生成不同分辨率下的二进制掩码，并通过形态学操作获得最佳的组织掩码；
[0086]
步骤1.4)利用同一分辨率下的通过步骤1.2)得到的病理图像和通过步骤1.3)得到的组织掩码进行图块分割，从而获得各个尺度下组织区域的图块集合，图块集合中各图块的大小优选为256
×
256。
[0087]
步骤2)使用不同尺度下的图块集合训练相应的域对抗网络，以获得在不同尺度下的特征提取器。
[0088]
步骤2)中的域对抗网络，其结构示意图如图3所示，针对不同尺度的图块集合，需要训练相应的域对抗网络，从而获得wsi在各个尺度下对应的特征提取器，具体包括以下步骤：
[0089]
步骤2.1)构建域对抗网络，该域对抗网络包括特征提取网络、多头注意力机制和mlp，其中：
[0090]
将特征提取网络作为特征提取器，利用深度卷积神经网络作为各尺度下图块的特征提取网络，本实施例中，深度卷积神经网络包括但不限于resnet50，则特征提取网络被定义为；
[0091]
gf(x，θf)
ꢀꢀꢀꢀꢀꢀ
(1)
[0092]
式(1)中，x为单尺度下的图块，θf为需要学习的所有权重参数；
[0093]
从式(1)中，可以获得单尺度下的病理图像的特征表示：
[0094]
[0095]
式(2)中，n为当前尺度下分割出的图块数量，d为每个图块经过特征提取网络编码后的特征维度，图块数量n和特征维度d作为超参数，根据实际情况人工设定，优选为n＝500，d＝1024；
[0096]
将多头注意力机制作为标签预测器；
[0097]
多头注意力机制作为源域数据的标签分类网络，将特征提取网络获得的病理图像的特征表示fm作为多头注意力机制的输入，从而预测标签类别；
[0098]
多头注意力机制结构定义如下式(3)所示：
[0099]gy
(x，θy)
ꢀꢀꢀꢀꢀꢀꢀ
(3)
[0100]
式(3)中，θy为需要学习的所有参数；
[0101]
多头注意力机制由多个单头注意力机制拼接而成，则多头注意力机制公式定义为：
[0102]
multi-head(q，k，v)＝concat(head1，...，headh)woꢀꢀꢀꢀ
(4)
[0103]
式(4)中，headi＝attention(qw
iq
，vw
iv
)表示第i个单头注意力网络的输出结果；单头注意力机制通过三个独立的权重层w将fm分别映射为q、k和v，如下式(5)所示：
[0104][0105]
式(5)中，dk表示映射后的特征维度，k
t
为k的转置矩阵；
[0106]
多头注意力机制输出的结果依次通过全局平均值池化、若干个全连接层和softmax函数即可获得标签分类网络的分类结果；
[0107]
将mlp作为颜色域判别器；
[0108]
mlp作为颜色域的二元分类网络，公式如下：
[0109]
gd(x，θd)
ꢀꢀꢀꢀ
(6)
[0110]
式(6)中，θd为需要学习的所有参数，将特征提取器获得的病理图像的特征表示fm作为上述二元分类网络的输入，从而预测颜色域的类别。
[0111]
步骤2.1)具体包括以下步骤：
[0112]
步骤2.1.1)构建特征提取器，特征提取器用于将原始数据映射到特定的特征空间上，使得标签预测器能够分辨出来自源域数据的类别，而颜色域判别器无法区分该数据来自哪个颜色域；
[0113]
步骤2.1.2)构建标签预测器，通过签预测器对来自源域的数据进行分类，尽可能分出正确的类别标签；
[0114]
步骤2.1.3)构建颜色域判别器，通过颜色域判别器对映射到特征空间上的数据进行分类，尽可能分出该数据来自哪个颜色域；
[0115]
步骤2.2)构建域对抗网络的损失函数，域对抗网络的总损失由两部分构成：标签预测器损失和颜色域判别器损失，具体包括以下步骤：
[0116]
步骤2.2.1)构建标签预测器损失，其目标函数可被定义为：
[0117][0118]
式(7)中，表示第i个样本的标签损失，r(w，b)为正则项，λ为人工设置的正则化
参数，w、b为特征提取器的权重和偏置，v、c为标签预测器的权重和偏置；
[0119]
步骤2.2.2)构建颜色域判别器损失：
[0120]
将步骤2.2.1)中标签预测器损失的目标函数中的正则项r(w，b)作为颜色域判别器的目标函数，可被定义为：
[0121][0122]
式(8)中，表示第i个样本颜色域的二元标签损失，u、z为颜色域判别器的权重和偏置，其中n为总样本数，n和n
′
分别表示原域和目标域样本数；
[0123]
式(8)所示公式中r(w，b)中的负号表示对梯度的方向取反，将求最小值转为求最大值；
[0124]
因此，域对抗网络的总目标函数，可被定义为：
[0125][0126]
最小化标签预测器损失函数，最大化颜色域判别器损失函数，并引入超参数λ作为权重平衡参数，因此对于参数w、v、b、c、u、z的优化过程可被定义为：
[0127][0128][0129]
步骤2.2.3)优化式(9)所示的总目标函数：
[0130]
颜色域判别器与标签预测器的输入均来自特征提取器，其中颜色域判别器的优化目标是最大化颜色域判别器损失，标签预测器的优化目标是最小化标签预测器损失，其中，对于特征提取器的参数优化，需要使颜色域判别器的梯度方向与标签预测器的梯度方向相反。
[0131]
步骤2.3)实现域对抗网络的训练，以最大化颜色域判别器损失：
[0132]
为实现对抗训练的目的，假定源颜色域的标签为0，目标颜色域的标签为1，颜色域判别器用于区分输入特征属于源域还是目标域，而最大化颜色域分类误差就是让颜色域判别器无法区分源颜色域和目标颜色域，这样就使得源颜色域和目标颜色域在特征空间上的分布趋近一致，从而抑制不同染色效果对预测结果造成的影响，因此颜色域判别器的损失在反向传播到特征提取器时，其梯度值需要取反，从而使得颜色域判别器无法区分特征提取器生成的特征是属于源域还是目标域，通过多次迭代训练，最终实现源域和目标域特征的融合。
[0133]
步骤3)对不同尺度下的图块集合使用其对应的特征提取器进行低维度特征编码，以形成整个wsi在不同尺度下的特征表示。
[0134]
步骤3)中，wsi的多尺度特征编码的结构视示意图如图4所示，对于不同尺度的图块集合，通过步骤2)中域对抗网络进行训练，获得各自尺度下的特征提取器gf。
[0135]
步骤4)将wsi在不同尺度下的特征表示进行拼接，形成其多尺度特征表示，基于多尺度特征表示训练注意力网络。
[0136]
步骤4)中多尺度注意力学习具体包括以下步骤：
[0137]
步骤4.1)使用各尺度对应的域对抗网络中训练得到的特征提取器对各尺度的图块集合进行特征编码；
[0138]
步骤4.2)将编码后的特征进行拼接，从而获得整个wsi的多尺度特征表示；
[0139]
步骤4.3)将多尺度特征表示作为如式(4)所示的多头注意力机制的输入，其中，为需要学习的所有参数；本步骤中的多头注意力机制与步骤2)中的多头注意力机制在网络架构上一致，但是权重参数各自独立并不共享；
[0140]
步骤4.4)最后依次通过全局平均值池化、若干个全连接层和softmax函数即可获得病理图像的最终分类预测结果。
[0141]
步骤5)在测试集上，端到端地评估整个域对抗网络框架，以获得最佳的模型预测结果；
[0142]
评估整个域对抗网络框架时，使用十折交叉验证，通过精确率、准确率、召回率、f1值和auc进行多指标的综合评估，从而获得最佳预测模型。
[0143]
本实施例还公开了一种基于多尺度域对抗网络的病理图像分类系统，其结构如图6所示，包括：
[0144]
预处理模块，利用多尺度金字塔和otsu算法对wsi进行多尺度的分割，以获得wsi在不同尺度下的图块集合。
[0145]
单尺度特征提取模块，使用不同尺度下的图块集合训练相应的域对抗网络，以获得在不同尺度下的特征提取器。
[0146]
总体特征提取模块，对不同尺度下的图块集合使用其对应的特征提取器进行低维度特征编码，以形成整个wsi在不同尺度下的特征表示。
[0147]
多尺度注意力模块，将wsi在不同尺度下的特征表示进行拼接，形成其多尺度特征表示，并用于训练注意力网络。
[0148]
模型评估模块，在测试集上端到端地评估整个域对抗网络框架，以获得最佳的模型预测结果。