一种非小细胞肺癌数字病理图像组织自动分割方法与流程

1.本发明涉及病理图像处理技术领域，具体涉及一种非小细胞肺癌数字病理图像组织自动分割方法。


背景技术：

2.目前的图像分割方法中，还缺少针对非小细胞肺癌数字病理图像处理的相关研究，在其他的病种如结直肠癌组织分割，已有的方法利用深度学习模型对病理图像进行单标签多类别分类，使用滑动窗口法，拼接分类好的patch得到组织分割结果(一张patch中的所有像素都属于同一个类别)。这种分割方法得到的结果不是像素级别的，只达到了patch
‑
level的分割，相对粗糙。现有方法中也有利用图像级标注数据训练生成像素级组织分割的，但是他们方法是应用于健康人的数字病理切片的，对于非小细胞肺癌数字病理图像的适用性并不明确，并且对于弱监督语义分割存在的类激活图的显著性区域过度集中的问题，并没有得到有效解决。


技术实现要素：

3.为了克服现有技术存在的缺陷与不足，本发明提供一种非小细胞肺癌数字病理图像组织自动分割方法，利用图像级标注的非小细胞肺癌数字病理图像数据集，通过弱监督语义分割方法训练一个深度卷积神经网络，实现了对非小细胞肺癌数字病理图像的自动组织分割，使得组织分割的结果更具有客观性，并且可以进一步地量化数字病理图像。
4.本发明的第二目的在于提供一种非小细胞肺癌数字病理图像组织自动分割系统。
5.本发明的第三目的在于提供一种存储介质。
6.本发明的第四目的在于提供一种计算设备。
7.为了达到上述目的，本发明采用以下技术方案：
8.本发明提供一种非小细胞肺癌数字病理图像组织自动分割方法，包括下述步骤：
9.对非小细胞肺癌数字病理图像划分为多个图像块，对每个图像块进行归一化预处理，将像素值进行归一化；
10.采用图像级标注的方式对图像块进行标注，每个图像块标注组织标注向量；
11.以resnet38为网络框架构建多标签分类cnn网络，基于图像级标注的图像块监督训练多标签分类cnn网络生成虚拟掩膜；
12.构建camd模块，所述camd模块在多标签分类cnn网络每次迭代过程中以设定的概率给特征图加attention，或者以设定的概率置零特征图响应值高的区域；
13.将图像块输入训练好的多标签分类cnn网络，生成多组虚拟掩膜；
14.构建全监督分割网络模型，基于多组虚拟掩膜训练全监督分割网络，将图像块输入训练好的全监督分割网络，得到分割结果；
15.采用滑动窗口法进行滑动处理，拼接每一张图像块的分割结果，得到整一张图像的分割结果。
16.作为优选的技术方案，所述组织标注向量设置为四位的组织标注向量，分别对应肿瘤组织，坏死组织，淋巴组织，间质组织，组织标注向量中设置数值0表示图像块中不存在相对应类的组织，数值1表示图像块中存在相对应类的组织。
17.作为优选的技术方案，在多标签分类cnn网络的训练过程中，基于前一次迭代的网络权重，生成下一次迭代的类激活图，把类激活图按像素叠加，得到注意力图，取注意力图中像素值最大的部分区域作为显著性区域；
18.将注意力图输入一个sigmoid函数，把像素值映射至0到1之间，得到important map，将注意力图的显著性区域置0，将非显著性区域置1，得到drop mask；
19.important map与drop mask基于relu函数计算后输出，并与图像输入进行multiplication操作，将得到的特征图继续前向传播。
20.作为优选的技术方案，所述生成类激活图的具体步骤包括：
21.给定一张输入图像表示最后一层卷积层输出的特征图的第k个通道在(x,y)处的激活值；
22.进行通道k进行全局平均池化，得到全局平均池化后的结果为：
[0023][0024]
对于一个给定的类别c，softmax层的输入为：
[0025][0026]
类别c的softmax输出为：
[0027][0028]
定义类别c的类激活图为其中每个空间元素为：
[0029][0030]
其中，为通道k对应的类别c的权重。
[0031]
作为优选的技术方案，所述基于多组虚拟掩膜训练全监督分割网络，分别利用cnn中不同层次的特征图生成多组虚拟掩膜，分别利用cnn的b4_3，b5_2和b7层的特征图；
[0032]
将cnn中不同层次的特征图生成虚拟掩膜分别作为全监督分割网络的多元虚拟掩膜监督，然后分别对比计算分割损失，分别计算得目标损失为loss1，loss2和loss3，由loss1，loss2和loss3加权求和得到总的目标损失。
[0033]
作为优选的技术方案，所述将图像块输入训练好的全监督分割网络，得到分割结果，具体步骤包括：
[0034]
把类激活图m
k
上采样到原图大小，对类激活图m
k
进行标准化，类激活图m
k
中的每个像素的值代表该像素属于组织k的概率；
[0035]
使用密集型连接的条件随机场对类激活图m
k
进行后处理，结合图像本身的特征对
类激活图m
k
进行优化，最后融合类激活图m
k
，每个像素点的分类结果为取得最大概率对应的组织k，当最小概率小于设定阈值t
b
时，则把该像素分类为背景；
[0036]
把图像块转换成灰度图，空白区域的掩膜为：
[0037][0038][0039]
若cam中激活值的最大值仍小于设定阈值θ
other
，不属于肿瘤、坏死、淋巴、纤维化间质以外的其他区域掩膜为：
[0040][0041]
其中，分别为肿瘤区域，坏死区域，淋巴区域，间质区域的掩膜；
[0042]
对于原始图像中(x,y)位置像素点其分类结果为：
[0043][0044]
其中，代表中(x,y)位置处的一共五个激活值，函数argmax()返回的是输入中元素最大值对应的索引。
[0045]
作为优选的技术方案，对类激活图m
k
进行标准化，具体采用max
‑
min法对类激活图m
k
进行标准化，标准化后的激活图表示为：
[0046][0047]
其中，表示标准化后的激活图。
[0048]
为了达到上述第二目的，本发明采用以下技术方案：
[0049]
一种非小细胞肺癌数字病理图像组织自动分割系统，包括：
[0050]
图像划分模块、预处理模块、标注模块、多标签分类cnn网络构建模块、多标签分类cnn网络训练模块、camd构建模块、类激活图生成模块、全监督分割网络模型构建模块、网络训练分割模块和拼接模块；
[0051]
所述图像划分模块用于对非小细胞肺癌数字病理图像划分为多个图像块；
[0052]
所述预处理模块用于对每个图像块进行归一化预处理，将像素值进行归一化；
[0053]
所述标注模块用于采用图像级标注的方式对图像块进行标注，每个图像块标注组织标注向量；
[0054]
所述多标签分类cnn网络构建模块用于以resnet38为网络框架构建多标签分类cnn网络；
[0055]
所述多标签分类cnn网络训练模块用于基于图像级标注的图像块监督训练多标签分类cnn网络生成虚拟掩膜；
[0056]
所述camd构建模块用于构建camd模块，所述camd模块在多标签分类cnn网络每次
迭代过程中以设定的概率给特征图加attention，或者以设定的概率置零特征图响应值高的区域；
[0057]
所述类激活图生成模块用于将图像块输入训练好的多标签分类cnn网络，生成类激活图；
[0058]
所述全监督分割网络模型构建模块用于构建全监督分割网络模型；
[0059]
所述网络训练分割模块用于基于虚拟掩膜训练全监督分割网络，将图像块输入训练好的全监督分割网络，得到分割结果；
[0060]
所述拼接模块用于采用滑动窗口法进行滑动处理，拼接每一张图像块的分割结果，得到整一张图像的分割结果。
[0061]
为了达到上述第三目的，本发明采用以下技术方案：
[0062]
一种存储介质，存储有程序，所述程序被处理器执行时实现上述非小细胞肺癌数字病理图像组织自动分割方法。
[0063]
为了达到上述第四目的，本发明采用以下技术方案：
[0064]
一种计算设备，包括处理器和用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现如上述非小细胞肺癌数字病理图像组织自动分割方法。
[0065]
本发明与现有技术相比，具有如下优点和有益效果：
[0066]
(1)本发明采用弱监督语义分割方法，通过滑动窗口的方法处理大尺寸的切片数字化图像，训练一个深度分类模型对切割出的图像块patch，利用图像块做多标签分类，利用训练好的分类模型生成类激活图，融合各个类的类激活图输出最后的组织分割结果，在非小细胞肺癌数字病理图像的分割处理上具有更高的精确度。
[0067]
(2)本发明利用图像级的数据标注方式，最终生成像素级的组织分割结果，在数据标注上具有便捷性，采用图像级的数据标注方式，相比于像素级的标注方式，任务变得简单很多，同时使得组织分割的结果更具有客观性，并且可以进一步地量化数字病理图像，对于推动计算病理的研究和临床应用也有一定的作用。
[0068]
(3)本发明采用camd(class activation mapping dropout)模块解决弱监督语义分割中的类激活图显著性区域过分集中的问题，而目前的技术实施方案并没有针对该问题提供解决方法，相对于patch
‑
level的分割方法，本发明实现了像素级的分割结果，使得组织分割的结果更精确。
[0069]
(4)本发明采用了多元监督的技术方案，解决了虚拟标签中存在噪声标签的技术问题，达到了降低虚拟标签中的噪声率，获取更加精细的分割结果的技术效果。
附图说明
[0070]
图1本发明非小细胞肺癌数字病理图像组织自动分割方法的流程示意图；
[0071]
图2为本发明图像块标注示意图；
[0072]
图3为本发明的组织分割模型训练流程示意图；
[0073]
图4为本发明camd模块的示意图；
[0074]
图5为本发明多元监督的示意图；
[0075]
图6为本发明滑动窗口法的流程示意图。
具体实施方式
[0076]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0077]
实施例1
[0078]
如图1所示，本实施例提供一种非小细胞肺癌数字病理图像组织自动分割方法，主要包括下述两个步骤：步骤一：利用图像级别标注的病理图像监督训练生成虚拟掩膜，并且提出了一个camd模块，用于解决类激活图显著性区域过分集中的问题；步骤二：利用虚拟掩膜来训练一个全监督分割网络，并提出了一种多元监督训练方法，缓解了虚拟掩膜中的噪声标签问题。
[0079]
步骤一：虚拟掩膜生成：
[0080]
数据介绍：对非小细胞肺癌数字病理图像划分为多个图像块，对每一个图像块进行归一化预处理，将像素值归一化到0到1之间，如图2所示，采用图像级标注的方式进行数据集标注，每一个图像块patch都对应着一个四位的组织标注向量，其中分别对应着肿瘤组织，坏死组织，淋巴组织，间质组织。数值0表示图像块patch中不存在这一类组织，数值1表示图像块patch中存在这一种组织。
[0081]
虚拟掩膜pseudo
‑
mask生成：如图3所示，通过训练组织分类网络模型获取虚拟掩膜pseudo
‑
mask，具体包括下述步骤：
[0082]
以resnet38为网络框架，训练一个多标签分类cnn网络，对图像块patch进行多标签分类，训练时采用的损失函数为交叉熵，当训练损失收敛时停止网络训练；
[0083]
使用训练好的多标签分类cnn网络，为每一张图像块patch生成4个类激活图cam。训练好的多标签分类cnn网络对每个输入patch分别输出4个类的概率p
k
(1≤k≤4)，当p
k
大于设定的阈值t
k
(1≤k≤4)时，则保留对应的类激活图m
k
，不置零；
[0084]
在本实施例中，resnet38最后一层特征图feature map的大小为4096*28*28，把它全局池化得到一个4096*1的特征向量，然后进入一个输入通道数为4096输出通道数为4的全连接层，将全连接层的权重取出，用到最后一层feature map中作相应的加权求和，即可把4096*28*28的feature map压缩至4*28*28，共四个通道，其中每个通道对应着每类组织的类激活图；
[0085]
针对多标签分类网络中存在的显著性区域过于聚焦的问题，本实施例采用camd模块来解决这一问题。具体来说就是在训练网络的每次迭代过程中以一定的概率给特征图feature map加attention(将important map以点乘的方式作用于特征图)，或者是以一定的概率置零特征图feature map的显著性区域(即响应值高的区域)，从而避免网络在做决策是仅仅关注最具显著性的区域。
[0086]
如图4所示，本实施例生成自注意力图self
‑
attention map的方法是：利用前一次迭代的网络权重，生成下一次迭代的类激活图，把类激活图按像素叠加，得到注意力图attention map。取注意力图attention map中像素值最大的前10％的区域作为显著性区域。
[0087]
其中，符号d表示dropout操作，s表示sigmoid函数，r按概率随机选取，m表示multiplication操作；
[0088]
important map的生成方法是：将注意力图attention map输入一个sigmoid函数，把像素值映射至0到1之间，即得到important map。
[0089]
drop mask的生成方法是：将attention map的显著性区域置0，将非显著性区域置1，即可得到drop mask。
[0090]
attention操作：将important map与feature map点乘；
[0091]
dropout操作：将drop mask与feature map点乘，本实施例把drop mask应用于网络的特征图，就是一个dropout操作。
[0092]
当仅仅应用drop mask时，多标签分类cnn网络很大概率甚至是完全观察不到目标对象的判别性区域，因此多标签分类cnn网络的分类性能降低，这会直接损害多标签分类cnn网络的目标定位能力。当仅仅应用important map，多标签分类cnn网络将很大程度上聚焦于目标对象的判别性区域，这对分类任务是有利的，但是对于分割任务来说，这样的模型是过分拟合的。important map和drop mask的结合使用，使cnn在分类性能和对目标对象的定位性能之间取得最优；
[0093]
生成虚拟掩膜的步骤基于类激活图，一个特定类别的cam指示了cnn用来识别该类别对象的具有判别性的图像区域，且cam中的像素值大小反映的是原图中对应位置对分类的重要性。在网络最终的输出层之前，把最后一层特征图采用全局池化运算并输入到全连接层得到所有类别的预测概率。通过这样一个简单的结构可以将全连接层的权重引入到全局平均池化层之前的特征图上并将特征图进行加权累加，从而计算出最后一层特征图中各个位置的像素对分类结果的重要程度。
[0094]
全局平均池化输出的是最后一个卷积层每个特征通道的空间平均值，网络最终的输出就是这些值的加权求和，同样地，计算最后一个卷积层特征图的加权和来获得cam。
[0095]
本实施例具体描述cam的生成过程：给定一张输入图像表示最后一层卷积层输出的特征图的第k个通道在(x,y)处的激活值，然后对通道k进行全局平均池化的结果是：因此，对于一个给定的类别c，softmax层的输入其中为通道k对应的类别c的权重，从本质上说明了对于类别c的重要性。最后，类别c的softmax输出为通过将代入可以得到：
[0096][0097]
定义类别c的类激活图为其中每个空间元素为：
[0098][0099]
因此，可以得出所以直接指明了空间位置(x,y)处的激活值对于将输入图像分类为类别c的重要性。最后，通过简单地将cam上采样到原输入图像的大小，可以识别出与特定类别最相关的图像区域。
[0100]
步骤二(全监督网络训练)：
[0101]
如图5所示，多元监督方法中的多元虚拟掩膜由cnn中不同层次的特征图生成；分别利用cnn的b4_3，b5_2和b7层的特征图生成虚拟掩膜；
[0102]
基于cam的弱监督分割方法本质上是通过分类来进行分割，因此和全监督的分割方法相比，它的分割结果还是比较粗糙的。为此，本实施例使用弱监督分割方法生成的虚拟掩膜来训练一个全监督分割网络，让全监督网络通过训练不仅可以获取更加细致的分割结果，而且可以直接端到端地输出分割结果。鉴于本实施例的虚拟掩膜由弱监督方法生成，其中具有许多标记错误的噪声标签，会对全监督网络的训练造成很大的干扰。因此，本实施例把基于cam生成的多组虚拟掩膜同时应用于全监督分割网络的训练，以减低噪声标签对网络训练的影响，先是根据cnn三层不同的卷积层生成三组虚拟掩膜，然后将这三组虚拟掩膜分别作为全监督分割网络的三组监督，然后分别和三组虚拟掩膜对比计算分割损失，分别计算得目标损失为loss1，loss2和loss3，总的目标损失由loss1，loss2和loss3加权求和得到。
[0103]
由cam到获得分割结果需要进行一系列的后处理操作，把类激活图m
k
上采样到原图大小，并采用max
‑
min法对类激活图m
k
进行标准化，此时类激活图m
k
中的每个像素的值代表该像素属于组织k的概率。然后使用密集型连接的条件随机场对类激活图m
k
进行后处理，结合图像本身的特征对类激活图m
k
进行优化，最后融合类激活图m
k
，每个像素点的分类结果为取得最大概率对应的k，当最小概率小于设定阈值t
b
时，则把该像素分类为背景；
[0104]
使用最大
‑
最小值法来对cam做标准化处理，将cam的激活值都标准化到0到1之间，经标准化后的cam为：
[0105][0106]
在病理图像中，除了含有肿瘤，坏死，淋巴，纤维化这四种组织以外，还会含有空白区域，巨噬细胞，出血区域等背景区域。本实施例简单地把patch转换成灰度图，然后把灰度值大于200的区域看作是空白区域，即空白区域的掩膜为：
[0107][0108][0109]
若cam中激活值的最大值仍小于设定阈值θ
other
，则把这些区域看作是不属于肿瘤，坏死，淋巴，纤维化间质以外的其他区域，即其他区域的掩膜为：
[0110][0111]
分别为肿瘤区域，坏死区域，淋巴区域，间质区域的掩膜。
[0112]
最终确定分割结果的方式为：对于原始图像中(x,y)位置像素点其分类结果为：
[0113]
[0114]
其中代表中(x,y)位置处的一共五个激活值，函数argmax()返回的是输入中元素最大值对应的索引。
[0115]
把生成的虚拟掩膜用于训练一个全监督分割网络，本实施例采用的是deeplab v3 ；
[0116]
把测试数据输入到训练好的全监督分割网络，为每一张patch生成最终的分割结果。
[0117]
如图6所示，使用滑动窗口法进行滑动处理，拼接每一张patch的分割结果，得到整一张切片数字化图像的分割结果。
[0118]
实施例2
[0119]
本实施例提供一种非小细胞肺癌数字病理图像组织自动分割系统，包括：图像划分模块、预处理模块、标注模块、多标签分类cnn网络构建模块、多标签分类cnn网络训练模块、camd构建模块、类激活图生成模块、全监督分割网络模型构建模块、网络训练分割模块和拼接模块；
[0120]
其中，图像划分模块用于对非小细胞肺癌数字病理图像划分为多个图像块；预处理模块用于对每个图像块进行归一化预处理，将像素值进行归一化；标注模块用于采用图像级标注的方式对图像块进行标注，每个图像块标注组织标注向量；多标签分类cnn网络构建模块用于以resnet38为网络框架构建多标签分类cnn网络；多标签分类cnn网络训练模块用于基于图像级标注的图像块监督训练多标签分类cnn网络生成虚拟掩膜；camd构建模块用于构建camd模块，camd模块在多标签分类cnn网络每次迭代过程中以设定的概率给特征图加attention，或者以设定的概率置零特征图响应值高的区域；类激活图生成模块用于将图像块输入训练好的多标签分类cnn网络，生成类激活图；全监督分割网络模型构建模块用于构建全监督分割网络模型；网络训练分割模块用于基于虚拟掩膜训练全监督分割网络，将图像块输入训练好的全监督分割网络，得到分割结果；拼接模块用于采用滑动窗口法进行滑动处理，拼接每一张图像块的分割结果，得到整一张图像的分割结果。
[0121]
实施例3
[0122]
本实施例提供一种存储介质，存储介质可以是rom、ram、磁盘、光盘等各种可以存储程序代码的储存介质，该存储介质存储有一个或多个程序，所述程序被处理器执行时，实现实施例1的非小细胞肺癌数字病理图像组织自动分割方法。
[0123]
实施例4
[0124]
本实施例提供一种计算设备，所述的计算设备可以是台式电脑、笔记本电脑、智能手机、pda手持终端、平板电脑或其他具有显示功能的终端设备，该计算设备包括该计算设备包括处理器和存储器，存储器存储有一个或多个程序，处理器执行存储器存储的程序时，实现实施例1的非小细胞肺癌数字病理图像组织自动分割方法。
[0125]
处理器可实施在一个或一个以上专用集成电路(asic)、数字信号处理器(dsp)、可编程逻辑装置(pld)、现场可编辑逻辑门阵列(fpga)、控制器、微控制器、电子装置、以及其他经设计以执行本发明所描述的功能的电子单元或其组合内。
[0126]
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。