一种结肠病理图像分割方法

摘要: 本发明涉及数字病理图像的自动化分析,特别涉及一种结肠病理图像分割方法。背景技术:1、结肠病理图像分割主要用于从数字化病理切片中确定病变组织的位置和范围。对于苏木...
一种结肠病理图像分割方法

本发明涉及数字病理图像的自动化分析,特别涉及一种结肠病理图像分割方法。

背景技术:

1、结肠病理图像分割主要用于从数字化病理切片中确定病变组织的位置和范围。对于苏木精-伊红染色的结肠组织切片,可以通过像素级分割将病变组织与正常组织、间质及图像背景区分开来,形成与原始切片相对应的分割掩膜。该掩膜既可以叠加在原始图像上,供病理医师查看和复核,也可以用于统计病变区域的面积、数量及边界形态,为病变区域筛查和定量分析提供参考。

2、相关技术公开了一种用于结肠癌组织病理图像分割的多模块unet++方法,即multi-module unet++ for colon cancer histopathological image segmentation。该方法构建了rpau-net++网络。处理过程中,首先将待分割的病理图像输入resnet-50编码器,通过残差块和逐级下采样提取不同层次的图像特征,其中浅层特征主要保留边缘、纹理等局部信息,深层特征主要用于表示病变组织的语义信息。随后,将不同层次的特征输入联合金字塔融合模块,通过不同尺度的卷积获得具有不同感受野的特征,并利用双线性插值对特征图的尺寸进行调整,再通过逐元素相加或通道拼接完成多尺度特征融合。在解码过程中,利用unet++的密集跳跃连接,将编码阶段获得的浅层特征逐步传递至解码端,以补充上采样过程中所需的空间细节;同时,通过卷积块注意力模块分别计算通道权重和空间权重,对与病变区域相关的特征进行增强,对背景特征进行抑制。经过逐级上采样后,网络恢复特征图的空间分辨率,并输出结肠病变区域的像素级分割掩膜。

3、然而,结肠病理切片中染色深浅、腺体大小和组织纹理往往存在较大差异,部分病变边界较细,且病变组织与间质或炎性组织的纹理较为接近,采用上述分割方法在应对此类高变异度病理图像时,其分割掩膜的连续性和完整性仍存在显著不足,难以满足临床病理诊断对病变区域精准定位与完整表征的应用需求。具体而言,当一张含有细小病变区域及模糊边界的结肠病理图像输入上述网络后,图像依次经历编码器下采样、多尺度特征融合与跳跃连接传递等处理环节,在此过程中,下采样操作导致病变区域的局部细节信息逐步丢失,插值融合进一步平滑了病变边缘轮廓,而跳跃连接同时将浅层背景纹理与染色噪声引入解码端,上述多重因素在逐级传递过程中相互叠加、累积放大,最终导致生成的分割掩膜中病变边界局部断裂、病变区域内部出现孔洞,或者细小病变区域完全缺失。

技术实现思路

1、为了解决上述技术问题,本发明提供一种结肠病理图像分割方法,能够提升分割掩膜的连续性和完整性。

2、本发明提供一种结肠病理图像分割方法,包括以下步骤:

3、获取预处理后的结肠病理切片图像;

4、将预处理后的结肠病理切片图像输入至预训练好的hmaf-unet模型,获得病变区域分割掩膜;其中,hmaf-unet模型基于u-net模型进行改进,包括mafe编码器、maspp模块和maff解码器,mafe编码器包括级联的多个mafe单元,预处理后的结肠病理切片图像输入mafe编码器后,各级mafe单元接收前一级输出的编码特征,依次获得不同分辨率的编码特征;maspp模块包括多个不同空洞率的空洞卷积分支和一个全局上下文分支,每个空洞卷积分支接收最低分辨率编码特征,输出分支增强特征,全局上下文分支对输入特征进行全局平均池化后,输出全局上下文特征,将多个分支增强特征与全局上下文特征进行拼接得到瓶颈融合特征;maff解码器包括多个依次连接的解码单元,其中第一个解码单元接收瓶颈融合特征,其余每个解码单元接受对应的mafe输出的编码特征经门控处理后的跳跃连接特征,经逐级解码后输出病变区域分割掩膜。

5、可选的,每个mafe单元均包括通道调整单元、双分支特征块、双阶段方向注意力机制和残差增强块;双分支特征块包括第一分支和第二分支,双阶段方向注意力机制包括依次连接的第一阶段方向空间注意力单元和第二阶段多尺度双域注意力单元;各级mafe单元接收前一级输出的编码特征,依次获得不同分辨率的编码特征,包括以下步骤:

6、通道调整单元将前一级输出的编码特征的通道数调整为当前mafe单元对应的通道数,形成基础特征;

7、第一分支对进行深度卷积和1×1逐点卷积处理,获得第一分支特征,第二分支对进行1×1卷积处理,获得第二分支特征,将与进行逐元素相加,形成双分支融合特征;

8、第一阶段方向空间注意力单元以方向权重对进行加权,得到第一阶段注意力特征,经处理后得到下采样特征,第二阶段多尺度双域注意力单元将通道权重和空间权重作用于,得到第二阶段注意力特征;

9、残差增强块对处理后形成残差特征,与逐元素相加,得到当前级mafe单元的输出编码特征。

10、可选的,输出分支增强特征包括以下步骤:

11、每个空洞卷积分接收最低分辨率编码特征,按照本分支设定的空洞率进行空洞卷积,得到空洞卷积分支特征;

12、对空洞卷积分支特征分别进行全局平均池化和全局最大池化,将两种池化结果输入共享的两层全连接网络,将两路输出逐元素相加后经sigmoid函数处理,生成通道权重;将通道权重扩展至与空洞卷积分支特征相同的空间尺寸后,与该空洞卷积分支特征逐元素相乘,得到通道加权特征;

13、对通道加权特征沿通道维度分别进行平均池化和最大池化,得到两个空间特征图;将两个空间特征图沿通道维度拼接,经卷积和sigmoid函数处理后生成空间权重;将空间权重与通道加权特征逐元素相乘,得到该空洞卷积分支的分支增强特征。

14、可选的,空洞卷积分支为四个,各自的空洞率分别为1、4、8和12,生成空间权重时对应的卷积为7×7卷积。

15、可选的,输出全局上下文特征包括以下步骤:

16、全局上下文分支接收mafe编码器输出的最低分辨率编码特征,对最低分辨率编码特征进行全局平均池化,再依次经过1×1卷积、批归一化和relu激活,并通过双线性插值恢复至与空洞卷积分支相匹配的空间尺寸,随后采用与空洞卷积分支相同的通道注意力处理方式进行通道注意力加权,得到全局上下文特征。

17、可选的,每个解码单元均包括eaub上采样单元和maff特征融合单元;其中,

18、第一个解码单元中的eaub上采样单元接收瓶颈融合特征,其余解码单元中的eaub上采样单元接收前一级maff特征融合单元输出的解码融合特征,对接收的特征进行上采样和特征重建,得到当前级上采样特征;

19、maff特征融合单元接收当前级上采样特征和跳跃连接特征,对两者进行融合处理后输出当前级解码融合特征。

20、可选的,maff特征融合单元对当前级上采样特征和跳跃连接特征分别进行1×1卷积和批归一化处理以完成通道数对齐,将通道对齐后的两类特征沿通道维度拼接,得到融合输入特征;

21、将融合输入特征分别输入三分支特征块的三个分支进行特征提取,将三个分支的输出进行融合后,依次经双阶段方向注意力机制和残差增强块处理,得到当前级解码融合特征。

22、可选的,mafe编码器与maff解码器之间的跳跃连接上设置有lmag跳跃连接门控模块;

23、lmag跳跃连接门控模块接收当前级解码单元输出的解码特征作为门控信号gi;

24、对门控信号gi施加卷积处理,得到门控变换特征gi;

25、对跳跃连接输入特征xi施加卷积处理,得到编码变换特征xi;

26、将门控变换特征gi与编码变换特征xi进行空间尺寸和通道数对齐后逐元素相加,得到联合特征ji;

27、将联合特征ji依次经激活函数、卷积和归一化处理后,生成注意力系数ai;

28、将注意力系数ai与跳跃连接输入特征xi逐元素相乘,得到门控后的跳跃连接特征。

29、可选的,对门控信号gi施加的卷积处理为3×3组卷积或深度卷积;对跳跃连接输入特征xi施加的卷积处理为3×3组卷积和1×1逐点卷积;将联合特征ji依次经relu激活、1×1卷积、批归一化和sigmoid函数处理后生成注意力系数a。

30、可选的,结肠病理切片图像通过h&e颜色归一化层对其进行预处理,预处理包括以下步骤:

31、对输入的结肠病理rgb图像进行颜色分解,得到苏木精分量、伊红分量和结构亮度分量;

32、将苏木精分量、伊红分量和结构亮度分量按通道维度进行堆叠,得到中间特征张量;

33、根据预先计算的全局均值和全局标准差,对中间特征张量中的各分量进行归一化,并通过可学习偏置参数对归一化后的亮度基线进行校准,得到标准化输入张量,形成预处理后的结肠病理切片图像。

34、本发明实施例提供的技术方案与现有技术相比具有如下优点:

35、本发明实施例提供的一种结肠病理图像分割方法,首先,以级联的mafe单元构成的mafe编码器替代原有编码器,各级mafe单元在逐级提取不同分辨率编码特征的过程中同步进行多尺度注意力加权,使细薄腺体壁和条状早期病变在逐级下采样时仍能保留有效响应,从而减轻细小病变特征的衰减;其次,在瓶颈处设置包含多个不同空洞率空洞卷积分支和全局上下文分支的maspp模块,各分支分别经注意力加权后融合,使不同感受野分支各自关注与其尺度匹配的腺体及间质结构,避免大感受野分支主导融合结果而压低中间尺度细节,从而减少背景区域在瓶颈层的干扰响应;再次,在跳跃连接处对各层编码特征进行门控筛选,使与病变区域相关的特征得以保留、无关背景响应被抑制后再传入解码器;最后,以maff解码器替代原有解码器,各级解码单元在逐级上采样的同时将经门控筛选后的编码特征与上采样特征进行多尺度融合,使空间细节信息在分辨率恢复过程中得到充分利用。从而使最终生成的分割掩膜在病变边界连续性、区域完整性和细小病变检出率方面均得到显著改善。实验数据表明,本方法在结肠病理图像分割任务上达到了77.8%的miou和85.1%的dsc,且模型参数量仅为23.14m、计算量为39.42gflops,在保证高精度分割的同时兼顾了实际病理阅片场景中的部署效率。