基于半监督和注意力的全视野数字图像分类与检测方法

1.本发明涉及全视野数字图像处理技术领域，特别涉及一种基于半监督学习和注意力的全视野数字图像分类与感兴趣区域检测方法。


背景技术：

2.全视野数字图像是由全自动显微镜扫描仪扫描并通过计算机技术自动处理生成的具有超高分辨率的图像，一般可超过十千兆像素，一张全视野数字图像包含巨量的信息，专业人员在全视野数字图像中寻找感兴趣区域标注时需要耗费大量的时间，且对图像类型的判定和感兴趣区域的检索基于人的主观意见，受到主观性、疲劳和差异认知的限制，即便是样本中表现最好的全视野数字图像也难以得到很好的一致性结果，容易出现错检、漏检等关键问题。
3.近年来人工智能技术逐渐被引入全视野数字图像的分类领域并取得卓越效果，正在受到前所未有的重视。卷积神经网络不依赖人为定义、选择和设计的特征描述算子，可以自动挖掘全视野数字图像的深层信息来提取图像特征并完成分类，具有效率高、稳定性高、泛化性强等优点。
4.发明人发现，目前基于深度学习的全视野数字图像分类方法中，全视野数字图像需经专业人员对感兴趣区域标注，随后提取感兴趣区域送入网络进行训练并完成分类任务。这种分类方法的优势是准确率高，然而需要庞大的对感兴趣区域标注过的全视野数字图像数据集。由于对全视野数字图像进行感兴趣区域标注需要耗费大量的时间和人力资源，此方法很大程度上受制于无法构建大规模全视野数字图像样本数据集。有学者使用未经感兴趣区域标注的数据集进行分类，由于无法有效地提取感兴趣区域的空间、纹理等特征，导致了分类模型的准确率低下。此外，这两种方法只能完成了全视野数字图像的分类任务，并没有对感兴趣区域进行检测，用户在判断图像所属类型时无法迅速锁定感兴趣区域的位置，仍需耗费大量时间。
5.因此，亟需一种无需大规模感兴趣区域标注的数据集却具有较高分类精度的全视野数字图像分类与感兴趣区域检测方法。


技术实现要素：

6.本发明旨在解决现有基于深度学习的全视野数字图像分类方法都受制于缺少大规模感兴趣区域标注的数据集这一技术问题，提出一种仅需少量感兴趣区域标注的数据集却能大幅提升分类准确率的基于半监督学习和注意力的全视野数字图像分类与感兴趣区域检测方法。
7.本发明方法包括以下步骤：
8.步骤s1：收集全视野数字图像及预处理。
9.步骤s2：预训练特征提取网络resnet18,用于提取全视野数字图像的特征，具体步骤如下：
10.步骤s21：选取部分全视野数字图像和标准对照样本，将感兴趣区域用标注框框定，将对标准对照样本的内容部分用标注框框定；
11.步骤s22：利用感兴趣区域的标注框在预处理后的全视野数字图像上生成同感兴趣区域大小和位置相同的掩膜；
12.步骤s23：利用滑动窗口将预处理后的全视野数字图像切分成若干个n
×
n的小图像块，其中n为小图像块的像素宽度和高度；
13.步骤s24：将掩膜与预处理后的全视野数字图像重叠，剔除非重叠处的小图像块，保留重叠处的小图像块；
14.步骤s25：将步骤s24保存的小图像块送入resnet18网络进行训练，保存并输出训练完成后的网络结构及其参数。
15.步骤s3：将所有的全视野数字图像送入上一步骤预训练的resnet18网络提取特征，具体步骤如下:
16.步骤s31：使用opencv对所有全视野数字图像进行自动分割，过滤空白背景和人为形成的空洞，并将其切分为n
×
n的小图像块，保存每个图像块的坐标。
17.步骤s32：将小图像块送入预训练的resnet18网络，并在第四个残差块处转换成512维的特征向量hk，即每个小图像块提取的特征。
18.步骤s4：将步骤s3提取的特征送入深度门控通道注意力模块并综合生成slide级别的特征，通过分类层实现全视野数字图像的分类。具体步骤如下：
19.步骤s41：将特征向量hk送入深度门控通道注意力模块得到每个小图像块对应的注意力分数a
k,n
：
[0020][0021]
其中a
k,n
表示第k个小图像块属于第n类的注意力分数，p
a,n
表示属于第n类的线性层，σ(
•
)表示sigmoid激活函数，tanh(
•
)表示tanh激活函数，v(
•
)、w(
•
)、g(
•
)、j(
•
)、l(
·
)分别表示不同的线性层，n为图像块的总数；
[0022]
步骤s42：由每个小图像块对应的特征向量和注意力分数综合生成slide级别的特征h
slide,n
：
[0023][0024]hslide,n
表示每个全视野数字图像在第n类的特征；
[0025]
步骤s43：将slide级别的特征向量h
slide,n
送入分类层得到分类结果，实现全视野数字图像的分类；
[0026]
步骤s5：提取步骤4生成的所有小图像块在模型预测类对应的注意力分数，使用matplotlib将小图像块对应的注意力分数生成相应颜色的颜色块，以一定的透明度覆盖在原始全视野数字图像上的对应位置，经模糊、平滑操作后，得到感兴趣区域的检测热图。
[0027]
作为优选，所述的预处理为，将收集全视野数字图像按照输入的图像模板进行颜色归一化。
[0028]
作为优选，所述的透明度0.4-0.6。
[0029]
与现有技术相比，本发明的有益成果是：
[0030]
(1)本发明可以推广应用于各类根据全视野数字图像进行的分类和感兴趣区域检测的任务，具有普适性。
[0031]
(2)本发明提出的基于半监督学习和注意力的全视野数字图像分类与感兴趣区域检测方法在训练特征提取模型时仅使用少量感兴趣区域区域标注的全视野数字图像，在训练分类网络时使用无感兴趣区域标注的全视野数字图像，在减少了数据集的准备工作的同时大幅提升分类网络在全视野数字图像分类任务中的准确率，集简便性和高准确性于一体。
[0032]
(3)本发明将特征提取模块与分类层分类模块分开，可以在中间任意添加、替换注意力模块，具有较强的适应性。且在更改后无需训练全部网络，仅需重新训练新增的注意力模块和分类层，大幅减少训练时间。
[0033]
(4)本发明提出的深度门控通道注意力网络可以捕获通道信息，使用更深层级的注意力分支，逐层强化注意力分数的区分度，使得小图像块的注意力分数具有更强的鲁棒性，更加准确，有效地提高了全视野数字图像分类的准确率，且随插随用，易于实现，实用性高。
[0034]
(5)本发明构建了全视野数字图像分类与检测框架，可以直接输出分类结果并直观显示感兴趣的区域，可以辅助用户准确判断所属类型，同时迅速锁定感兴趣区域。
附图说明
[0035]
图1为本发明一种基于半监督学习和注意力的全视野数字图像分类与感兴趣区域检测方法的流程图
[0036]
图2为本发明预训练特征提取网络的流程图
具体实施方式
[0037]
下面结合具体实例和附图对本发明做进一步的详细说明。
[0038]
如图1所示，本实例针对肺腺癌和肺鳞癌的分类与检测，收集数据包括肺腺癌1724张，肺鳞癌1707张，正常组织样本30张。病灶区域标注的全视野数字病理图像仅占总样本的1.75％。特征提取网络使用resnet18。利用所提的基于半监督学习和注意力方法进行肺癌病理图像分类与病灶检测包括以下步骤：
[0039]
步骤s1：收集肺腺癌、肺鳞癌全视野数字病理图像共3431张，正常组织样本30张。读取所有病理图像信息，将所有的病理图像做颜色归一化处理以消除不同染色剂配比、染色及扫描因素造成的病理图像颜色差异。
[0040]
步骤s2：预训练特征提取网络resnet18,用于提取所有肺癌病理图像的特征，如图2所示，具体步骤如下：
[0041]
步骤s21：选取肺腺癌、肺鳞癌和正常组织样本各30张,将癌变组织样本由专业的病理医生对病灶区域用标注框框定，正常组织样本对组织区域用标注框框定。
[0042]
步骤s22：通过医生标注的标定框生成与原始病理尺寸相同大小的掩膜。
[0043]
步骤s23：利用滑动窗口将病理切片切分成若干个256
×
256的小图像块。
[0044]
步骤s24：将掩膜与原始病理图像重叠，剔除非重叠处的小图像块，保存重叠处的
小图像块。
[0045]
步骤s25：将步骤s24保存的小图像块送入resnet18网络进行训练，保存并输出训练完成后的网络结构及其参数。
[0046]
步骤s3：将所有的肺腺癌、肺鳞癌全视野数字病理图像送入上一步骤预训练的resnet18网络提取特征，具体步骤如下：
[0047]
步骤s31：使用opencv对所有癌变样本的病理图像进行自动分割，过滤背景和人为形成的空洞，仅保留病理图像中的组织部分。将组织部分切分为256
×
256的小图像块，保存成堆的图像块及其坐标。
[0048]
步骤s32：将小图像块送入预训练的resnet18网络，并在第四个残差块处转换成512维的特征向量hk，即每个小图像块提取的特征。
[0049]
步骤s4：将步骤s3提取的特征送入深度门控通道注意力模块并综合生成slide级别的特征，通过分类层实现肺癌病理图像的分类。具体步骤如下：
[0050]
步骤s41：将特征向量hk送入深度门控通道注意力模块得到每个小图像块对应的注意力分数a
k,n
：
[0051][0052]
其中a
k,n
表示第k个小图像块属于第n类的注意力分数，p
a,n
表示属于第n类的线性层，σ(
·
)表示sigmoid激活函数，tanh(
·
)表示tanh激活函数，v(
·
)、
[0053]
w(
·
)、g(
·
)、j(
·
)、l(
·
)分别表示不同的线性层，n为图像块的总数。
[0054]
步骤s42：由每个小图像块对应的特征向量和注意力分数综合生成slide级别的特征h
slide,n
：
[0055][0056]
步骤s43：将slide级别的特征向量h
slide,n
送入对应类别的分类层得到分类结果，实现肺癌病理图像的分类。
[0057]
步骤s5：提取步骤4生成的所有小图像块在模型预测类对应的注意力分数，使用matplotlib将小图像块对应的注意力分数生成相应颜色的颜色块，以0.5的透明度覆盖在原始全视野数字图像上的对应位置，经模糊、平滑操作后，得到感兴趣区域的检测热图。
[0058]
上述实施例并非是对于本发明的限制，本发明并非仅限于上述实施例，只要符合本发明要求，均属于本发明的保护范围。
[0059]
本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。