基于弱监督学习和转换器的肺癌组织病理全切片分类方法

1.本发明涉及计算机视觉技术领域，尤其涉及一种基于弱监督学习和转换器的肺癌组织病理全切片分类方法。


背景技术：

2.目前，肺癌的发病率和致死率在我国癌症发病率和致死率中高居首位，病理诊断是肿瘤诊断的“金标准”，所以肺癌的诊断分型需要依靠病理诊断，准确无误的肺癌组织病理全切片阴阳性判断对于医生诊断、病患治疗起到至关重要的作用。
3.在实际诊疗过程中，病理医生需要在显微镜下用肉眼检查数以万计的细胞，但是每位病理医生每天需要处理大量病患的标本，常常会产生阅片疲劳，误诊、漏诊等现象时有发生。因此，需要一种高效且定量的肺癌组织病理全切片阴阳性预测方法，减轻病理医生的阅片负担，同时提高肺癌组织病理全切片阴阳性预测准确率。目前，针对肺癌组织病理全切片阴阳性预测的算法主要以基于深度学习的监督学习分类算法为主。
4.近年来，深度学习模型在计算机视觉各个领域中取得了显著的效果，一些研究人员已经将卷积神经网络应用于肺癌组织病理全切片阴阳性预测任务中，如残差网络(resnet)、密集卷积网络(densenet)，大多提取单个倍率下的图像特征并基于全监督方式训练网络模型，虽然目前取得一些进展，但是值得注意的是由于病理图像复杂的纹理特征和极高的医学知识壁垒，图像标注成本太高，很难获取类似图像块的真实标签这样强有力的监督信息，大部分情况下只有全切片阴阳性类别这样粗犷的标签，因此更加适合使用弱监督的方式训练阴阳性分类网络模型。


技术实现要素：

5.本发明目的就是为了弥补已有技术的缺陷，提供一种基于弱监督学习和转换器的肺癌组织病理全切片分类方法，旨在解决由于病理图像结构复杂、类型多变，特征信息丰富而导致的细节标注困难、真实标签难以获取、肺癌组织病理全切片阴阳性预测困难等问题，通过构建基于双倍率深度特征提取模块和视觉转换器的弱监督分类网络模型，仅通过组织病理全切片阴阳性标签训练网络模型，完成肺癌组织病理全切片阴阳性类别的准确高效预测。
6.本发明是通过以下技术方案实现的：
7.一种基于弱监督学习和转换器的肺癌组织病理全切片分类方法，具体包括如下步骤：
8.(1)、获取具有全切片级别标签的肺癌组织病理全切片图像数据集并在双倍率下采集组织图像数据；
9.(2)、建立能够分别提取双倍率下图像的深度特征的双分支网络模型并提取、聚合(1)中双倍率图像的深度特征；
10.(3)、建立能够预测全切片图像阴阳性的弱监督视觉转换器网络模型并输入步骤
(2)中得到的深度特征进行全切片阴阳性分类；
11.(4)、利用全切片级别标签的肺癌组织病理全切片图像数据集弱监督训练网络模型；
12.(5)、利用训练好的模型对肺癌组织病理全切片图像进行阴阳性分类。
13.步骤(1)所述的获取具有全切片级别标签的肺癌组织病理全切片图像数据集并在双倍率下采集组织图像数据，具体如下：
14.对肺癌组织病理全切片图像按照阴阳性标签整理，记为其中xi表示第i个肺癌组织病理全切片，yi表示第i个肺癌组织病理全切片的阴阳性标签，n表示肺癌组织病理全切片图像总数。将全切片图像去除空白背景区域并进行分块处理，在10x倍率下随机采样得到多个图像块，记为其中，表示第i个全切片在10x倍率下第j个图像块，c表示图像块的通道数，p
×
p表示每个图像块的宽度和高度；并在20x倍率下获取10x倍率下的图像对应的图像块，记为其中表示10x倍率下图像块在20x倍率下的第k个图像块；i＝1,2,
…
,n，j＝1,2,
…
,n，k＝1,2,
…
,4；n表示肺癌组织病理全切片图像总数；n表示10x倍率下图像块的数量。
15.步骤(2)所述的建立能够分别提取双倍率下图像的深度特征的双分支网络模型并提取、聚合(1)中双倍率图像的深度特征，具体如下：
16.所述的双分支网络模型第一分支和第二分支均由预训练的resnet50残差网络构成；
17.步骤2.1、将10x倍率下图像块送入网络第一分支，得到n个d维深度特征表示。
18.步骤2.2、将20x倍率下图像块送入网络第二分支，得到4n个d维深度特征表示。
19.步骤2.3、利用式(1)将每个10x倍率下的深度特征与其对应的4个20x倍率下的深度特征聚合得到4n个d维全局特征表示x
ij
，
[0020][0021]
式(1)中，concat(
·
)表示特征联合处理；x
jk
表示第i个肺癌组织病理全切片的第j个图像块的第k个d维全局特征表示，表示全局特征表示向量维数为d，其中i＝1,2,
…
,n，j＝1,2,
…
,n，k＝1,2,
…
,4，d＝2d。
[0022]
步骤(3)所述的建立能够预测全切片图像阴阳性的弱监督视觉转换器网络模型并输入步骤(2)中得到的深度特征进行全切片阴阳性分类，具体如下：
[0023]
构建由编码器构成的视觉转换器vit，编码器包括：两个归一化层、多头注意力机制层以及多层感知器；
[0024]
步骤3.1、设置一个可学习的分类标记，利用式(2)得到4n个全局特征表示和分类标记x
class
的输入序列z0，作为编码器的输入；
[0025]
z0＝[x
class
；x
11
；x
12
；x
13
；x
14
；
…
；x
n1
；x
n2
；x
n3
；x
n4
]
ꢀꢀꢀꢀ
(2)
[0026]
步骤3.2、利用式(3)得到4n个全局特征表示和分类标记x
class
经过编码器的多头自注意力机制层的输出z'；
[0027]
z'＝msa(ln(z0)) z0ꢀꢀꢀꢀ
(3)
[0028]
式(3)中，msa(
·
)表示多头自注意力机制层的处理；ln(
·
)表示归一化层的处理；
[0029]
步骤3.3、利用式(3)得到编码器的多层感知器的输出z
l
；
[0030]zl
＝mlp(ln(z')) z'
ꢀꢀꢀꢀ
(4)
[0031]
式(4)中，mlp(
·
)表示多层感知器的处理；ln(
·
)表示归一化层的处理；
[0032]
步骤3.4、利用式(5)得到经归一化处理后的输出z
′
l
，并提取出分类标记x
class
对应的d维特征
[0033]z′
l
＝ln(z
l
)
ꢀꢀꢀꢀ
(5)
[0034]
式(5)中，ln(
·
)表示归一化层的处理；
[0035]
步骤3.5、利用式(6)对特征进行线性变换，得到线性分类器的输出结果p
pred
；
[0036][0037]
式(6)中，linear(
·
)代表线性分类函数；c代表阴性/阳性。
[0038]
步骤(4)所述的利用全切片级别标签的肺癌组织病理全切片图像数据集弱监督训练网络模型，具体如下：
[0039]
利用式(7)构建交叉熵损失函数l，并利用梯度下降算法训练由双分支网络和弱监督视觉转换器网络所构成的网络模型，使得交叉熵损失函数l达到收敛，从而得到训练好的能够预测全切片阴阳性的网络模型；
[0040][0041]
式(7)中，y
label
为全切片图像对应的阴阳性标签，n为全切片图像总数。
[0042]
步骤(5)所述的利用训练好的模型对肺癌组织病理全切片图像进行阴阳性分类，具体如下：
[0043]
肺癌组织病理全切片图像阴阳性分类预测。
[0044]
首先在肺癌组织病理全切片图像上随机采集10x倍率下的图像块，并获取每一图像块对应的20x倍率下的图像块，分别送入步骤(2)中所述的双分支深度特征提取网络，得到10x倍率和20x倍率的深度特征，将10x倍率的深度特征拼接上20x倍率的深度特征，融合双倍率特征，送入步骤(3)中所述能够预测全切片图像阴阳性的弱监督视觉转换器网络模型，得到全切片的阴阳性分类结果。
[0045]
本发明的优点是：1.本发明利用双倍率特征提取模块对肺癌组织病理全切片图像进行特征学习，通过双分支卷积神经网络捕捉图像双倍率下的特征并聚合，提高了肺癌组织病理全切片图像的特征表示能力。
[0046]
2.本发明利用基于自注意力机制的视觉转换器弱监督学习图像双倍率下的特征，从而建立了肺癌组织病理全切片不同尺度图像各部分之间的依赖关系，进而提高了肺癌组织病理全切片图像阴阳性类别预测准确率。
[0047]
3.本发明使用弱监督方式训练网络模型，减小图像数据集标注成本，降低应用门槛，并在一定程度上提升了模型的鲁棒性，具有一定临床应用价值。
附图说明
[0048]
图1为本发明中网络的结构图；
[0049]
图2为本发明的总体流程框图。
具体实施方式
[0050]
本实施例中，一种基于弱监督学习和转换器的肺癌组织病理全切片分类方法，综合考虑了肺癌组织病理全切片图像阴阳性分类的难度，于是首先通过双分支深度特征提取网络提取图像双倍率下的特征，而后聚合双倍率下的特征，再将特征集合送入基于自注意力机制的视觉转换器模型，从而完成对于肺癌组织病理全切片图像阴阳性的分类，如图1、2所示，具体步骤如下：
[0051]
步骤(1)、获取具有全切片级别标签的肺癌组织病理全切片图像数据集并在双倍率下采集组织图像数据，具体如下：
[0052]
对肺癌组织病理全切片图像按照阴阳性标签整理，记为其中xi表示第i个肺癌组织病理全切片，yi表示第i个肺癌组织病理全切片的阴阳性标签，n表示肺癌组织病理全切片图像总数。将全切片图像去除空白背景区域并进行分块处理，在10x倍率下随机采样得到多个图像块，记为其中，表示第i个全切片在10x倍率下第j个图像块，c表示图像块的通道数，p
×
p表示每个图像块的宽度和高度；并在20x倍率下获取10x倍率下的图像对应的图像块，记为其中表示10x倍率下图像块在20x倍率下的第k个图像块；i＝1,2,
…
,n，j＝1,2,
…
,n，k＝1,2,
…
,4；n表示肺癌组织病理全切片图像总数；n表示10x倍率下图像块的数量。本实施例中使用的肺癌组织病理全切片状态包含阴性和阳性2个类别；数据集包含100张全切片，因此n＝100，在每张全切片上随机采样500个图像块，因此n＝500，每个图像块尺寸为256
×
256，因此c＝3、p＝256；将数据集中每类的80％用于训练，其余20％用于测试。
[0053]
步骤(2)、建立能够分别提取双倍率下图像的深度特征的双分支网络模型并提取、聚合(1)中双倍率图像的深度特征，具体如下：
[0054]
所述的双分支网络模型第一分支和第二分支均由预训练的resnet50残差网络构成；
[0055]
步骤2.1、将10x倍率下图像块送入网络第一分支，得到n个d维深度特征表示；本实施例中，d为2048维。
[0056]
步骤2.2、将20x倍率下图像块送入网络第二分支，得到4n个d维深度特征表示；本实施例中，d为2048维。
[0057]
步骤2.3、利用式(1)将每个10x倍率下的深度特征与其对应的4个20x倍率下的深度特征聚合得到4n个d维全局特征表示x
jk
，
[0058][0059]
式(1)中，concat(
·
)表示特征联合处理；x
jk
表示第i个肺癌组织病理全切片的第j个图像块的第k个d维全局特征表示，表示全局特征表示向量维数为d，其中i＝1,2,
…
,n，j＝1,2,
…
,n，k＝1,2,
…
,4，d＝2d。本实施例中，d为4096维。
[0060]
步骤(3)、建立能够预测全切片图像阴阳性的弱监督视觉转换器网络模型并输入
步骤(2)中得到的深度特征进行全切片阴阳性分类，具体如下：
[0061]
构建由编码器构成的视觉转换器vit，编码器包括：两个归一化层、多头注意力机制层以及多层感知器；
[0062]
步骤3.1、设置一个可学习的分类标记，利用式(2)得到4n个全局特征表示和分类标记x
class
的输入序列z0，作为编码器的输入；
[0063]
z0＝[x
class
；x
11
；x
12
；x
13
；x
14
；
…
；x
n1
；x
n2
；x
n3
；x
n4
]
ꢀꢀꢀꢀ
(2)
[0064]
步骤3.2、利用式(3)得到4n个全局特征表示和分类标记x
class
经过编码器的多头自注意力机制层的输出z'；
[0065]
z'＝msa(ln(z0)) z0ꢀꢀꢀꢀ
(3)
[0066]
式(3)中，msa(
·
)表示多头自注意力机制层的处理；ln(
·
)表示归一化层的处理；
[0067]
步骤3.3、利用式(4)得到编码器的多层感知器的输出z
l
；
[0068]zl
＝mlp(ln(z')) z'
ꢀꢀꢀꢀ
(4)
[0069]
式(4)中，mlp(
·
)表示多层感知器的处理，本实施例中，多层感知器包含两层网络和一个gelu非线性激活层；ln(
·
)表示归一化层的处理；
[0070]
步骤3.4、利用式(5)得到经归一化处理后的输出z
′
l
，并提取出分类标记x
class
对应的d维特征
[0071]z′
l
＝ln(z
l
)
ꢀꢀꢀꢀ
(5)
[0072]
式(5)中，ln(
·
)表示归一化层的处理。
[0073]
步骤3.5、利用式(6)对特征进行线性变换，得到线性分类器的输出结果p
pred
；
[0074][0075]
式(6)中，linear(
·
)代表线性分类函数；c代表阴性/阳性。
[0076]
步骤(4)、利用全切片级别标签的肺癌组织病理全切片图像数据集弱监督训练网络模型，具体如下：
[0077]
利用式(7)构建交叉熵损失函数l，并利用梯度下降算法训练由双分支网络和弱监督视觉转换器网络所构成的网络模型，使得交叉熵损失函数l达到收敛，从而得到训练好的能够预测全切片阴阳性的网络模型；
[0078][0079]
式(7)中，y
label
为全切片图像对应的阴阳性标签，n为全切片图像总数。
[0080]
步骤(5)、利用训练好的模型对肺癌组织病理全切片图像进行阴阳性分类，具体如下：
[0081]
肺癌组织病理全切片图像阴阳性分类预测。
[0082]
首先在肺癌组织病理全切片图像上随机采集10x倍率下的图像块，并获取每一图像块对应的20x倍率下的图像块，分别送入步骤(2)中所述的双分支深度特征提取网络，得到10x倍率和20x倍率的深度特征，将10x倍率的深度特征拼接上20x倍率的深度特征，融合双倍率特征，送入步骤(3)中所述能够预测全切片图像阴阳性的弱监督视觉转换器网络模型，得到全切片的阴阳性分类结果。