一种利用深度学习技术分割病理图片中肾髓质皮质的方法与流程

1.本发明涉及图像处理技术领域，更具体的说，它涉及一种利用深度学习技术分割病理图片中肾髓质皮质的方法。


背景技术：

2.肾脏是由肾皮质和肾髓质组成，肾皮质是指肾脏外面实质性结构，包括肾小球、肾小管，它来源于人体的中胚层，能够将尿液进行过滤。肾髓质是指肾皮质以内的实质，主要用于吸收原尿中的某些成分重新入血，最后生成尿液。皮质和髓质之间密切的相互作用保证了肾上腺的正常功能。病理诊断中区分肾髓质和皮质是重要的诊断步骤，一些常见的疾病大都发生在肾皮质区域，如原发性肾小球疾病、继发性肾小球疾病、血管性疾病和肾小管间质性疾病等。临床诊断中涉及大量繁重的病理切片判读任务，高度依赖医生的临床经验，而肾皮质髓质区域的准确定位是诊断相关疾病的前提，一种高效精准的肾皮质髓质定位方法是必要的。另外，在病理图片的制作过程中使用苏木精和伊红染色，但是不同批次或制造厂商的试剂造成病理染色的差异，如果不对颜色的差异变化进行处理，可能会降低模型的性能。
3.近年来，随着深度学习在医学图像领域中的广泛应用，在临床诊断中也取得了显著的成效。目前，深度学习技术在病理诊断中也逐渐流行，但是在病理图片诊断中肾髓质皮质的分割作为肾脏病理诊断的首要步骤，却很少有研究涉及。


技术实现要素：

4.本发明克服了现有技术的不足，提供解决目前人工诊断或者传统图像处理时效性差的一种利用深度学习技术分割病理图片中肾髓质皮质的方法。
5.为了实现达到上述效果，本发明的技术方案如下：
6.一种利用深度学习技术分割病理图片中肾髓质皮质的方法，具体包括如下步骤：
7.1)数据预处理步骤：将样本数据集进行脱敏处理，由专业病理图片标注人员进行标注处理，将样本数据集中的病理图片划分成皮质区域、髓质区域和干扰区域；
8.2)模型构建步骤：将显著目标检测网络u2net引入病理图像的分割任务中，网络u2net的网络结构采用两层嵌套的u型结构，从而从不同尺度的特征中捕获上下文信息；网络u2net中通过在跳跃连接阶段加入轻量级卷积注意力模块cbam来预防全局信息的损失；
9.其中，改进的u2net网络结构与基础unet网络保持一致，分别进行4次下采样和4次上采样；
10.3)模型推理步骤：将裁切后的小图批量输入模型的分割模块中，每张输入图片会对应得到一张预测的得分掩码图，再根据图片的裁切位置将分割掩码图进行拼接，然后根据opencv提供的findcontours()函数对分割得到的区域进行轮廓的提取，最终获得一张完整病理图片中所包含的髓质、皮质、干扰区域的轮廓；
11.其中，模型利用非对称卷积模块asymmetric convolution block(acb)，将基础的3×
3卷积模块进行替换，将非对称卷积块和batch normal层一起融合进3
×
3方形卷积中形成新的卷积模块，以实现轻量化模型，并加快模型推理速度。
12.进一步的，步骤1)中具体步骤如下：
13.101)以256像素的步长在病理图片的宽高方向进行稀疏采样，从而获得皮质区域、髓质区域、干扰区域的样本点的位置；
14.102)以获得的样本点为中心，以1024
×
1024像素的裁切窗口在整张病例图片上进行裁切，获得训练的数据集；
15.103)根据标注的髓质、皮质、干扰区域获得与步骤102)中相对应图片的标签。
16.进一步的，所述模型采用深度学习特征与hog手工特征相融合的方式来抗染色带来的干扰；其中，hog通过灰度化图像采用gamma矫正法对输入图像进行颜色空间的标准化，调节图像的对比度、降低图像局部的阴影和光照变化所造成的影响，有效抑制病理染色的干扰。
17.进一步的，新的卷积模块将3
×
3卷积、1
×
3卷积、3
×
1卷积以及batch normalization参数合并在3
×
3卷积模块中。
18.本发明相比现有技术优点在于：
19.本方案通过显著性目标检测模型u2net应用在肾脏皮质髓质的分割任务中，进行了以下克服：
20.1、模型针对训练和处理过程中图片过大，将整张whole slide image(wsi)图片进行切块处理，这样破坏了病理图片的全局空间信息，在跳跃连接阶段加入了轻量级卷积注意力模块convolutional block attention module(cbam)，对空间和通道层面进行注意力机制，在一定程度上可以有效改善图片切块带来的影响。
21.2、针对病理图片制作过程中不同批次或制造厂商造成病理图片染色差异问题，模型采用深度学习特征与手工特征histogram of oriented gradient(hog)相融合的方式进行特征的学习。
22.3、模型利用非对称卷积操作代替3
×
3卷积模块，在训练阶段以强化特征提取，推理阶段将卷积核参数进行融合，减少模型计算量和参数量，加快了模型推理速度。
附图说明
23.图1为本发明的采样效果示意图；
24.图2为本发明的改进的u2net模型结构图；
25.图3为本发明的图2的局部处理过程模型结构图；
26.图4为本发明的hog特征提取过程模型结构图；
27.图5为本发明的皮质和干扰区域分割效果示意图；
28.图6为本发明的髓质区域分割效果示意图。
具体实施方式
29.下面结合附图和具体实施方式对本发明进一步说明。
30.如图1至图6所示，一种利用深度学习技术分割病理图片中肾髓质皮质的方法，具体包括如下步骤：
31.1)数据预处理步骤：将样本数据集进行脱敏处理，由专业病理图片标注人员进行标注处理，将样本数据集中的病理图片划分成皮质区域、髓质区域和干扰区域。样本数据集可由医院进行脱敏处理后的数据集，其分别选取了he染色339张，pas染色356张，pasm染色329张、masson染色316张，共计1340张wsi样本。样本由专业病理图片标注人员标注，将病理图片划分成皮质区域、髓质区域和干扰区域。数据处理过程中将整张wsi图片进行切片处理，具体步骤如下：
32.101)以256像素的步长在病理图片的宽高方向进行稀疏采样，从而获得皮质区域、髓质区域、干扰区域的样本点的位置；具体效果如图1所示，图中a代表原始图像，b代表采样点的位置，其中b(a)区域代表髓质区域的样本点，b(b)区域代表干扰区域的样本点，b(c)区域代表皮质区域的样本点。
33.102)以获得的样本点为中心，以1024
×
1024像素的裁切窗口在整张病例图片上进行裁切，获得训练的数据集；
34.103)根据标注的髓质、皮质、干扰区域获得与步骤102)中相对应图片的标签。
35.2)模型构建步骤：将显著目标检测网络u2net引入病理图像的分割任务中，网络u2net的网络结构采用两层嵌套的u型结构，从而从不同尺度的特征中捕获上下文信息；网络u2net中通过在跳跃连接阶段加入轻量级卷积注意力模块cbam来预防全局信息的损失；
36.其中，改进的u2net网络结构与基础unet网络保持一致，分别进行4次下采样和4次上采样。具体模型结构如图2所示，图中a表示数据采样阶段，b表示分割模型结构，c表示预测结果。
37.根据肾脏病理图片中皮质髓质的特点，由于整张wsi图片较大，需要对图片进行切块处理，这种操作方式会破坏wsi图片的全局信息，通过在跳跃连接阶段加入轻量级卷积注意力模块cbam来预防全局信息的损失。卷积注意力模块cbam是一种简单而有效的前馈卷积神经网络，该模块对模型中间特征图沿着两个独立的维度进行顺序推断，然后将注意力映射与输入特征相乘，得到模型输出。它是一种轻量级的通用模块，可以无缝集成到任何cnn体系结构中，开销可以忽略不计。
38.针对病理图片制作过程中不同批次或制造厂商的染色试剂造成病理染色的差异，模型采用深度学习特征与hog手工特征相融合的方式来抗染色带来的干扰。hog通过灰度化图像采用gamma矫正法对输入图像进行颜色空间的标准化，调节图像的对比度、降低图像局部的阴影和光照变化所造成的影响，这可以有效抑制病理染色的干扰。hog特征提取过程如图3所示。
39.3)模型推理步骤：将裁切后的小图批量输入模型的分割模块中，每张输入图片会对应得到一张预测的得分掩码图，再根据图片的裁切位置将分割掩码图进行拼接，然后根据opencv提供的findcontours()函数对分割得到的区域进行轮廓的提取，最终获得一张完整病理图片中所包含的髓质、皮质、干扰区域的轮廓。
40.其中，模型利用非对称卷积模块asymmetric convolution block(acb)，将基础的3
×
3卷积模块进行替换为，将非对称卷积块和batch normal层一起融合进3
×
3方形卷积中形成新的卷积模块，以实现轻量化模型，并加快模型推理速度。
41.新的卷积模块将3
×
3卷积、1
×
3卷积、3
×
1卷积以及batch normalization参数合并在3
×
3卷积模块中。另外，新的卷积模块不需要再次计算hog特征，直接对模型进行预测，
因此hog特征的引入并不影响模型推理速度。
42.进行对比了不同分割模型在病理图片中的分割效果，并进一步验证，加入hog手工特征和深度学习特征进行融合后的模型效果。如图4所示上部如c处表示干扰区域，其它下部表示皮质区域，a表示原图，b表示原图标签，c表示网络u2net模型分割效果，d表示u2net模型中加入hog特征时的分割效果，e表示本文模型分割效果，f表示本文模型中加入hog时的分割效果。
43.髓质区域分割效果如图5所示，其中下半部的区域为髓质区域，放大的上半部以上为皮质区域，a表示u2net分割效果，b表示u2net中加入hog特征时的分割效果，c表示本文模型分割效果，d表示本文模型中加入hog特征时的分割效果，e表示原始图像，f表示原始图像标签。
44.综合对比后发现本方案提出的模型在病理图片皮质和干扰区域的分割性能要优于u2net模型。由图5对比发现，在髓质区域的分割效果上本文模型也优于u2net模型，另外可以从图中看出，模型加入hog特征后，对分割效果有显著的提升。本文模型在性能上也优于u2net模型，推理阶段将非对称卷积和batch normal层参数进行合并，使得模型计算量和参数量都大幅减少，这有利于加快模型的推理速度。
45.本方案测试了模型对同一张病理图片进行推理时所耗费的时间，输入图片是以1024
×
1024的滑动窗口在病理图片上从左到右依次裁切,然后将裁切的图片缩放为512
×
512的大小输入到网络进行推理，本文模型在推理速度上比u2net模型快了7倍。
46.具体以获取一份的病理图片为例，首先对图片进行数据预处理，处理过程中将大图病理图片，裁切成小图。裁切的具体过程：以256的步长沿着病理图片的长宽方向进行稀疏采样，分别获得皮质、髓质和干扰区域的样本点位置，然后以获得的样本点为中心，以1024
×
1024的裁切窗口在整张wsi图片上进行裁切，获得包含髓质、皮质、干扰区域的图片。
47.然后将裁切后的小图批量输入训练好的分割模型中，每张输入图片会对应得到一张预测的得分掩码图，然后根据图片的裁切位置将分割掩码图进行拼接，然后根据opencv提供的findcontours()函数对分割得到的区域进行轮廓的提取，最终获得一张完整病理图片中所包含的髓质、皮质、干扰区域的轮廓。
48.从开始处理一张具体的图片至得到识别结果所用时间为10ms，对皮质髓质的定位平均召回分别为97.71％、99.81％。基本解决目前人工诊断或者传统图像处理时效性差的问题。
49.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明构思的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明保护范围内。