一种基于深度学习的胰腺癌病理图像分类方法及系统与流程

1.本发明涉及人工智能辅助病理图像识别领域，具体涉及一种基于深度学习的胰腺癌病理图像分类方法及系统。


背景技术：

2.胰腺癌是一种具有高恶性程度的消化系统肿瘤，其早期诊断率低，预后极差，是最为恶性的肿瘤之一。近年以来，胰腺癌在国内外发病率均显著上升，最新统计数据显示，胰腺癌在我国发病率于恶性肿瘤中位居第九位，死亡率达到第六位，在西方国家死亡率高居第四位。由于胰腺癌恶性程度较高，患者即使可以手术治疗，其五年生存率仅为6%，因而对胰腺癌患者的早期精确诊疗具有重要临床意义，可以显著提高患者生存率。
3.手术病理检查是胰腺癌诊断的金标准，但胰腺切除术本身具有较高的风险，目前临床对胰腺癌的主要病理学诊断方式为创伤较小的内镜超声引导的细针穿刺活检技术 (endoscopic ultrasound
‑
guided fine
‑
needle aspiration, eus
‑
fna)，该技术通过采样得到胰腺病理切片对胰腺癌进行病理学诊断，其敏感性与特异度为85%
‑
95%与95%
‑
98%。快速现场评估 (rapid on
‑
site evaluation, rose) 是影响eus
‑
fna胰腺癌诊断敏感性的重要因素。rose即由病理学医生对eus
‑
fna采样得到的快速染色切片进行现场评估，实时判断组织切片的有效性及充分性。该技术旨在减少穿刺次数、缩短诊断时间的同时实现实时精确的诊断，降低手术过程中并发症的风险。此外，在rose中也可以判断是否需要额外的穿刺采样以进一步辅助诊断。尽管有许多研究证实了rose技术与eus
‑
fna结合后可以在一定程度上提高胰腺癌诊断的精确性，但是，限制rose技术广泛应用的核心问题是缺乏现场评估的病理学医生。
4.随着深度学习技术的快速发展与服务器计算性能的提高，人工智能技术在医疗辅助诊断领域取得了突破性进展，已有很多研究工作应用人工智能技术分析病理图像，取得与临床医生准确率相当的诊疗结果。利用人工智能技术对胰腺活检样本的病理图像进行自动智能分析，不仅可以解决现场评估病理学医生匮乏的问题，还具有提高胰腺癌诊断敏感性的潜力。
5.申请号为cn201110063144.8的中国发明专利申请提供了一种将数字图像处理和模式分类的方法，应用于胰腺癌内镜超声的计算机辅助诊断。通过提取内镜超声图像的纹理特征和分类器实现，创建各种客观、量化的诊断指标以及正确的描述解释内镜超声图像的方法，提高胰腺癌内镜超声早期诊断的准确性。但其是针对超声图像进行图像处理和模式分类，图像精度有限，准确度欠佳。
6.申请号为cn201911001610.2的中国发明专利申请提供了一种基于多尺度迁移学习的肺结节良恶性分类方法和系统，利用迁移学习网络模型实现良恶性分类；申请号为cn201911415563.6的中国发明专利申请提供了一种基于深度学习的甲状腺乳头状癌病理图像分类方法，利用vgg
‑
f卷积神经网络进行分类；申请号为cn202011142354.1的中国发明专利申请提供了一种基于深度学习的多种染色病理图像分类方法及系统，利用深度卷积神
经网络构建病理图像分类模型，采用自注意力机制融合后的信息进行多种染色病理图像分类。但是，由于临床应用场景及采集到图像的特点并不相同，上述专利采用的网络模型并不适用于对高分辨率且有背景噪声区域干扰的胰腺细胞病理图像进行端到端的分类。
7.而针对eus
‑
fna快速染色的胰腺细胞病理图像，基于深度学习的胰腺癌病理图像分类的研究处于早期起步阶段。其主要难点在于带标注的优质数据匮乏及高分辨率病理图像含有较大噪声区域，从而影响模型的分类性能。


技术实现要素：

8.为了解决上述现有技术存在的不足，本发明提供了一种基于深度学习的胰腺癌病理图像分类方法，用于解决细针穿刺活检诊断胰腺癌时病理学医生的匮乏问题。针对胰腺病理图像数据量少，背景及噪声区域较多的问题，本发明首先使用迁移学习技术，迁移了在其他数据集中预训练好并且表现良好的神经网络参数后在本数据集中训练，以解决数据量较小带来的过拟合问题，提升模型的泛化能力。随后，为胰腺癌分类网络添加注意力机制，使分类网络更关注胰腺细胞区域，以提高模型的分类精度。此外，本发明级联了两个不同的神经网络，剔除背景与噪声区域，保留细胞区域后进行胰腺癌分类，为临床医生提供具有高精确度的快速现场评估系统。
9.本发明提供的一种基于深度学习的胰腺癌病理图像分类方法，其包括如下步骤：一种基于深度学习的胰腺癌病理图像分类方法，包括如下步骤：s1、利用滑动窗口裁剪胰腺病理图像，得到若干切片图像，筛选为背景噪声区域图像与细胞区域图像，作为训练图像；s2、构建轻量级图像筛选网络模型，使用所述背景噪声区域图像与细胞区域图像训练所述图像筛选网络模型；s3、构建基于迁移学习的胰腺癌分类网络模型，并为分类网络模型添加注意力机制，使用所述细胞区域图像中癌与非癌细胞图像训练所述分类网络模型；s4、级联训练完成的所述图像筛选网络模型与所述分类网络模型，构建端到端胰腺癌快速现场评估系统；s5、将未标记的胰腺病理图像传递至所述胰腺癌快速现场评估系统，判断所述胰腺病理图像为胰腺癌细胞图像或正常细胞图像。
10.所述步骤s1中，所述利用滑动窗口裁剪胰腺病图像具体为：设置固定尺寸的窗口(k*k)，沿着高分辨率病理图像的行与列滑动裁剪，窗口从图像的左上角开始，每次沿着行方向移动(k
‑
a)个像素点，共滑动i次，后沿着列方向每次移动(k
‑
b)个像素点，共滑动j次，将原始图像裁剪得到i*j张新图像。
11.所述步骤s2中，所述构建轻量级图像筛选网络模型具体为：选择efficient
‑
net网络，抛弃原始网络的全连接层，在最后一层卷积层末端添加神经元个数为2的全连接层，在全连接层中添加relu激活函数与dropout策略。
12.所述步骤s3中，所述构建基于迁移学习的胰腺癌分类模型具体为：选择在imagenet数据集上预训练的resnet50模型，迁移其除全连接层外的网络结构及预训练参数，添加参数随机初始化的新全连接层，神经元个数为2。
13.所述步骤s3中，所述添加注意力机制具体为：
步骤一，针对卷积网络中间层获得的特征图x，尺寸为h*w*c，h与w代表特征图的长与宽，c代表特征图的通道数，首先应用全局平均池化方法将所述特征图x压缩为1*1*c尺寸的全局特征图y，具体公式为：其中，代表第k个原始特征图i行j列的值，代表全局特征图第k个通道的值；步骤二，计算每个特征通道的权重，对应于每个特征通道的重要程度，权重计算公式为：其中，c1d代表1d卷积，m为卷积核的尺寸，y为经全局池化操作后的全局特征图，σ代表sigmoid激活函数；步骤三，将步骤二获取的特征通道的权重与特征图x的对应通道进行乘法操作，计算公式为：其中，表示基于对应通道的乘法操作，z为得到的基于自注意力机制的新特征图。
14.所述步骤s4中，所述级联训练完成的所述图像筛选网络模型与所述分类网络模型具体为：（1）将胰腺细胞病理图像裁剪得到i*j张切片图像，即获得切片样本集合；（2）将所述切片样本集合传递至步骤s2构建的图像筛选网络；图像筛选网络的数学处理函数为，用于将n中每个样本分类为背景噪声或细胞区域，，其中，，0代表背景噪声区域图像，1代表细胞区域图像，得到切片样本集合中细胞区域的新集合，，其中，；（3）将筛选保留的细胞区域集合n
t
传递至步骤s3构建的胰腺癌分类网络，所述分类网络的数学处理函数为f，，其中，，0代表正常细胞图像，1代表胰腺癌细胞图像，得到细胞区域集合n
t
中每张图像为胰腺癌或非癌的预测结果；（4）记正常细胞图像集合为，胰腺癌细胞图像集合为，则，其中，；，其中，；以投票机制综合原始病理图像的全部细胞切片预测结果，比较正常细胞集合与胰腺癌细胞集合
中元素个数与，若，则预测结果为正常细胞图像，若，则预测结果为胰腺癌细胞图像。
15.所述步骤s4还包括：添加可视化界面，界面接受输入端为胰腺病理图像，输出端显示所述胰腺病理图像的分类结果。
16.一种基于深度学习的胰腺癌病理图像分类系统，应用上述基于深度学习的胰腺癌病理图像分类方法。
17.本发明的有益效果在于：1) 由显微镜采集得到的胰腺病理图像分辨率高，细胞周围存在较大背景区域与红细胞等噪声干扰，且带优质标注的病理图像较为稀缺，为了解决上述问题，本发明将高分辨率病理图像裁剪为多张固定尺寸低分辨率图像切片，该方法既可以极大增加训练样本量，又可以分离出背景噪声区域与细胞区域，使胰腺癌分类网络可以接收到高质量胰腺细胞图像，提高模型的精度。
18.2)本发明级联了图像筛选网络与胰腺癌分类网络，保证了在活检穿刺采集到的胰腺病理图像可以直接进行端到端的分类，轻量级的图像筛选网络缩短了模型筛选时间，深层的胰腺癌分类网络提高了模型的精度，使本发明的胰腺癌分类系统可以实时、精确应用于胰腺穿刺活检的快速现场评估中。
19.3)本发明首先引入迁移学习技术，迁移在imagenet数据集预训练的resnet50模型的网络结构及参数，并改变其全连接层结构以满足二分类任务，以解决胰腺癌病理图像数据匮乏的问题，分类模型具有更好的泛化性能。其次，引入注意力机制，使模型更多关注胰腺细胞区域，为该区域特征赋予更高的权重，抑制红细胞噪声区域的干扰，提高了模型的分类精度。
附图说明
20.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
21.图1为本发明中基于深度学习的胰腺癌病理图像分类模型构建方法的流程图；图2为本发明中模型训练与评估方法的示意图；图3为本发明中构建的胰腺癌病理图像分类系统的示意图。
具体实施方式
22.为了能够更清楚地理解本发明的上述目的、特征和效果，下文中将结合附图和具体实施方式对本发明进行清楚、完整描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
23.在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
24.如图1所示，一种基于深度学习的胰腺癌病理图像分类方法及系统，包括如下步骤：步骤s1、利用显微镜采集胰腺病理图像作为原始数据集。如图2所示，对于原始数据集，随机抽取20%数据作为测试数据，余下图像作为训练数据。
25.对作为训练数据的高分辨率胰腺病理图像进行预处理，将其裁剪为多张低分辨率固定尺寸切片，一方面增加训练样本量，另一方面剔除病理图像的空白背景区域及红细胞等噪声干扰，使胰腺癌分类网络可以更多关注到胰腺细胞的形态，排列方式及异质性等特征，提高模型的可解释性及分类精度。
26.本实例中，奥林巴斯bx53显微镜采集得到的胰腺病理图像分辨率为1390*1038像素。本发明的分类网络应用了迁移学习技术，迁移了在imagenet预训练的resnet50网络，该网络的输入数据为224*224尺寸图像，为了满足迁移学习网络的输入要求，选择224*224像素的窗口对原始图像进行滑动窗口裁剪，沿着原始图像的行与列移动。窗口从图像的左上角开始，每次沿着行方向移动(224
‑
30)个像素点，共滑动7次，后沿着列方向每次移动(224
‑
21)个像素点，共滑动5次，将原始图像裁剪得到5*7张新图像切片。将全部胰腺病理图像裁剪完成后，手动将其筛选分类为背景噪声区域与细胞区域。其中，具有以下特征的切片图像被分类为背景噪声区域图像：1）图像中不存在至少一个完整的胰腺细胞。2）图像的对比度较低，无法区分出细胞间的轮廓信息。3）图像存在染色斑点且对胰腺细胞轮廓存在较大干扰。将具有以上三种情况的切片图像划分位背景噪声区域，将切片图像中存在至少一个完整的胰腺细胞且质量较高，不受对比度及染色剂噪声干扰的图像划分为胰腺细胞区域图像。
27.对裁剪获得切片图像进行归一化、标准化处理与数据扩增。归一化即将图像的像素从0
‑
255变成0
‑
1范围，加快网络训练时的收敛速度，标准化是将图像通过去均值实现中心化的处理，增加模型的泛化能力。此外，由于医学图像的样本量较小，本发明还对训练图像进行了一系列数据扩增以缓解过拟合问题。扩增方法为将所有训练图像选择90度、180度，水平翻转、竖直翻转操作，使训练集增加至原始的五倍。将经过上述处理的背景噪声区域与细胞区域两类图像作为步骤s2中图像筛选网络的输入数据，细胞区域中癌与非癌细胞图像作为步骤s3中胰腺癌分类网络的输入数据。
28.步骤s2、构建轻量级图像筛选网络。
29.本实例中，构建的轻量级图像筛选网络模型基于efficient
‑
net网络。该网络提出混合缩放的思想，通过综合优化网络宽度，网络深度与分辨率，利用结构搜索的方法获得轻量级高精度的最优网络结构，在自然图像领域与医学图像领域均取得了优异表现。efficient
‑
net原始结构全连接层具有1000个神经元，以完成千分类任务，在本发明的网络设计中，抛弃原始网络的全连接层，在最后一层卷积层末端依次添加神经元个数为512、2的全连接层，降低了参数数量提高运算速度同时满足背景噪声区域与细胞区域筛选的二分类任务。在全连接层中添加relu(rectified linear unit)激活函数与dropout策略，其中relu激活函数为分段线性函数，其将所有的负值变为0，而不改变正值。该激活函数的作用在于非负区间梯度为常数，不易产生梯度消失问题，使得模型的收敛速度维持在稳定状态。dropout策略为在每个训练批次中，忽略部分特征检测器，对应神经元的激活值以一定概率p停止工作，从而使模型不会过于依赖训练数据中某些局部特征，提高模型的泛化能力，使
得模型在小样本数据集中获得更优异的表现。在本实例中，dropout率设置为0.2。
30.使用预处理好的图像训练efficient
‑
net图像筛选网络。选择pytorch框架对网络进行训练，训练优化器选择adam优化器，损失函数采用交叉熵损失函数。模型的训练与评估如图2所示，对于作为训练数据的胰腺病理图像，将其等分为五份，轮流将其中四份作为训练集，一份作为验证集，验证集与独立测试集均不应用数据扩增方法。在训练时，初始学习率设置为0.0001，每次全部训练集均输入至网络进行一次训练后，测试验证集的分类准确率，若连续三次验证集准确率均未提升，则将学习率乘以系数0.7，降低学习率继续训练，完成三十轮训练后，保留验证集分类准确率最高轮次时模型权重，得到一次交叉验证中的最终模型，共重复五次，选择验证集准确率最高的模型作为级联网络中的图像筛选网络。
31.步骤s3、构建胰腺癌分类网络。构建的网络基于迁移学习技术，并为模型添加注意力机制，使用预处理后的细胞图像训练分类网络，使该网络具有将胰腺病理图像分类为癌与非癌的功能。
32.在本实例的网络构建中，迁移了在imagenet数据集上预训练的resnet50网络结构及参数。迁移时保留resnet50网络的特征提取层，去掉其全连接层，添加随机初始化参数的新全连接层，神经元数为1024、512、2，从而实现二分类功能。在全连接层中添加relu激活函数与dropout策略，由于分类网络具有更多的参数量，dropout率设置为0.4时效果更优。
33.尽管在步骤s2中已筛除大量背景与噪声区域，在保留的细胞图像中，仍有很大一部分图像中包含红细胞，对模型的分类性能存在一定干扰。为了进一步提升模型分类精度，使网络模型在特征提取时更多关注到细胞区域，本发明为模型添加了注意力机制。
34.注意力机制的本质是网络自主学习得到的权重系数，通过加权的方式强调目标区域的特征并抑制背景噪声区域特征。在本实例中，为构建好的resnet50迁移学习模型添加eca(efficient channel attention)模块，该模块通过一维卷积实现不降维的局部跨信道交互策略，捕获了跨通道交互的信息，具体实现方法如下：步骤一，针对卷积网络中间层获得的特征图x，其尺寸为h*w*c，h与w代表特征图的长与宽，c代表特征图的通道数，首先应用全局平均池化方法将其压缩为1*1*c尺寸的全局特征图y，具体公式为：其中，代表第k个原始特征图i行j列的值，代表全局特征图第k个通道的值，将尺寸为h*w*c的原始特征图压缩为1*1*c的全局特征图，该操作将二维的特征图压缩至一个实数，代表该特征通道层的全局特征。
35.步骤二，计算每个特征通道的权重，对应于每个特征通道的重要程度，权重计算公式为：其中，c1d代表1d卷积，m为卷积核的尺寸，y为经全局池化操作后的全局特征图，σ代表sigmoid激活函数，在本方法中，k取值为3。传统senet注意力模块在获得全局特征向量后应用两个全连接层得到权重参数，该方法每个全连接层具有c*c/r的参数量，r为senet
压缩操作后的特征图尺寸，而本发明添加的eca注意力模块的1d卷积只具有m个参数量，其考虑每个通道的m个临近向量以捕获局部跨通道的交互信息，保证了模型的计算性能与效率，在实践中被证实具有更优异的表现。
36.步骤三，将步骤二获取的特征通道权重与特征图x的对应通道进行乘法操作，使得特征图中不同特征通道具有不同的权重系数，帮助网络关注对分类任务影响更大的特征而抑制冗余特征，提高模型的分类精度，其计算公式为：其中，表示基于对应通道的乘法操作，z为得到的基于自注意力机制的新特征图。
37.随后，使用预处理好的图像训练基于迁移学习与注意力机制的resnet50胰腺癌分类网络。选择pytorch框架对网络进行训练，训练优化器选择adam优化器，损失函数采用交叉熵损失函数。模型的训练数据为细胞区域图像集合中的胰腺癌细胞图像与正常细胞图像，模型的训练与评估方法与步骤s2相同，训练完成后选择验证集分类准确率最高的模型作为级联网络中的胰腺癌分类网络。
38.步骤s4、级联步骤s2中的图像筛选网络与步骤s3中的胰腺癌分类网络，构建端到端的胰腺癌病理图像分类系统。
39.接收高分辨率胰腺细胞病理图像后将其裁剪得到i*j张切片图像，即获得切片样本集合，传递至步骤s2构建的图像筛选网络。图像筛选网络的数学处理函数为，用于将n中每个样本分类为背景噪声或细胞区域，，其中，，0代表背景噪声区域图像，1代表细胞区域图像，得到切片样本集合中细胞区域的新集合，，其中，。随后，将筛选保留的细胞区域集合n
t
传递至步骤s3构建的胰腺癌分类网络，该分类网络的数学处理函数为f，，其中，，0代表正常细胞图像，1代表胰腺癌细胞图像，得到细胞区域集合n
t
中每张图像为胰腺癌或非癌的预测结果。记正常细胞图像集合为，胰腺癌细胞图像集合为，则，其中，；，其中，。以投票机制综合原始病理图像的全部细胞切片预测结果，比较正常细胞集合与胰腺癌细胞集合中元素个数与，若，则预测结果为正常细胞图像，若，则预测结果为癌细胞图像，从而得到输入高分辨率胰腺病理图像的最终分类结果。具体的，在本实例中所构建的胰腺癌病理图像分类系统如图3所示。针对穿刺活检时采集到的1390*1038像素胰腺病理图像，首先利用步骤s1预处理方法将其裁剪得到35张切片图像，将其传递至训练好的第一级图像筛选网络进行分析，
筛选移除背景噪声区域图像，保留胰腺细胞区域图像。随后将保留图像传递至训练好的第二级胰腺癌分类网络，得到每张切片属于胰腺癌或正常胰腺细胞的分析结果。综合单张图像的全部细胞区域分析结果进行投票，具体投票方式为：若该图像中，被分类为正常细胞的切片数量不小于分类为癌细胞的切片数量，则将该图像分类为正常胰腺细胞，反之分类为胰腺癌细胞。模型构建完成后，基于pyqt为模型添加gui可视化界面，界面接受输入端为临床穿刺活检采集到的胰腺病理图像，输出端显示模型对该图像的分类结果。
40.分类系统构建完成后，还需对其性能进行评估。在评估分类系统性能时，除了测试系统的分类准确率外，还在独立测试集上测试系统的灵敏度、特异度、阳性预测率、阴性预测率、auc，以综合评估系统在临床应用时分类性能。
41.步骤s5、获得显微镜采集到的未标记胰腺病理图像，传递至s4中建立的胰腺癌病理图像级联分类系统中，进行辅助分析，输出分类系统对该胰腺病理图像判断为胰腺癌细胞或正常细胞图像的分类结果。
42.以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。