基于尺度协同校准与注意力嵌套解码的息肉图像分割方法
本发明属于医学图像处理、计算机视觉和人工智能辅助内镜,涉及一种基于尺度协同校准与注意力嵌套解码的息肉图像分割方法。
背景技术:
1、结直肠息肉是结直肠癌发生发展过程中的重要前驱病变。结肠镜检查能够直接观察肠黏膜,但息肉的尺寸、颜色、纹理和形态差异较大,且常受肠壁褶皱、镜面反光、器械遮挡和成像设备差异影响。依靠人工逐帧识别和勾画存在工作量大、主观差异明显等问题,因此需要利用计算机图像处理技术自动输出息肉区域掩膜。
2、现有编码器-解码器分割网络通常将全部训练样本等概率抽取,并将不同纵横比的图像直接拉伸到固定正方形尺寸。对于前景占比很低的小息肉,等概率采样使其在训练批次中的有效出现频率不足;直接拉伸又会改变病灶几何形态,导致边界定位偏差。
3、固定训练尺度难以同时适配低分辨率域内图像和高分辨率跨域图像。若统一缩小到较低分辨率,高分辨率图像中的小息肉细节容易丢失;若统一采用较大分辨率,则会增加显存占用并造成训练尺度与常规图像不匹配。
4、此外,常用dice损失对假阳性和假阴性采用近似对称处理,不能根据小息肉漏检风险和背景误分割风险分别调节;部署端固定采用0.5阈值,也可能与训练后概率分布不匹配。因而需要将样本分层、尺度处理、网络特征融合、非对称损失、阈值标定和推理策略协同设计。
技术实现思路
1、为了解决现有技术中存在的上述技术问题,本发明提出了一种基于尺度协同校准与注意力嵌套解码的息肉图像分割方法,实现了针对小息肉、低对比度边界和跨数据集域偏移场景的结肠镜息肉图像自适应分割,其具体技术方案如下:
2、一种基于尺度协同校准与注意力嵌套解码的息肉图像分割方法,包括:
3、步骤s1、获取包含结肠镜图像及其对应息肉二值掩膜的样本数据,进行前景分层划分并分配训练集和验证集,以及小息肉加权采样;
4、步骤s2、选定训练时的目标尺寸,按照原图纵横比同步缩放训练图像及其掩膜,后补边至所述目标尺寸并进行空间一致的数据增强;
5、步骤s3、构建基于注意力嵌套解码的分割网络;
6、步骤s4、利用训练集并基于非对称focal-tversky损失和二元交叉熵损失联合训练分割网络,将分割网络的参数更新至最优;
7、步骤s5、在验证集上针对预设的多个候选阈值分别计算dice系数,选取dice系数最大的候选阈值作为目标阈值,并将所述目标阈值与最优的网络参数关联保存;
8、步骤s6、利用训练至最优网络参数的分割网络,输入待分割结肠镜图像,在分别进行原图预测和水平翻转的图预测后融合,再经目标阈值二值化并恢复至原始尺寸后输出息肉区域掩膜。
9、进一步地,所述步骤s1中的进前景分层划分并分配训练集和验证集,具体为:通过掩膜所在像素位置的横纵坐标值获取其前景像素占比,再依据前景像素占比将样本数据划分为小、中、大息肉组,并在各组内按照预定比例分配训练集和验证集。
10、进一步地,所述步骤s1中的小息肉加权采样是在训练阶段,将小息肉样本设置大于其余息肉样本的采样权重,再将各样本采样权重归一化后采用有放回加权采样。
11、进一步地,所述步骤s2具体为:在每一训练轮次开始时,从预设的多个候选训练尺寸中随机选择一目标尺寸,按照原图纵横比同步缩放训练图像及其掩膜,后在上、下、左、右方向居中补边是所述目标尺寸,再对图像和掩膜同步执行随机九十度旋转、水平翻转、平移缩放旋转和弹性变换,以及对图像执行亮度对比度变换及高斯模糊,最后归一化图像。
12、进一步地,所述步骤s3中的分割网络具体包括:输出多层级特征的编码器,对多层级特征执行嵌套密集跳跃融合的解码器以及设置于解码路径的通道-空间联合重标定单元;
13、所述编码器,按阶段逐级产生多层级特征,所述多层级特征包括:浅层纹理特征、局部形态特征、中层语义特征、深层语义特征;
14、所述解码器同时接收多层级特征,经下采样或上采样和卷积操作对相邻层级编码特征完成尺度与通道对齐,再将对齐后的相邻编码特征与上一级解码特征通过局部拼接、双3×3卷积和残差相加得到当前解码特征;
15、所述通道-空间联合重标定单元包括通道分支和空间分支,所述通道分支通过全局平均池化、全连接映射和sigmoid函数获得通道权重;所述空间分支通过卷积和sigmoid函数获得空间权重;输入特征分别与通道权重和空间权重逐元素相乘后融合,得到联合重标定特征。
16、进一步地,所述步骤s4中的非对称focal-tversky损失分别利用第一惩罚系数和第二惩罚系数调节假阳性惩罚与假阴性惩罚,并使第二惩罚系数大于第一惩罚系数,从而加强对小息肉漏检的约束;所述二元交叉熵损失用于约束逐像素分类概率。
17、进一步地,在分割网络训练的前期,冻结分割网络中的编码器,使其解码器优先适应息肉分割任务,之后解除冻结并重建优化器参数组,对编码器采用低学习率、对解码器采用高学习率;且训练采用adamw优化器、余弦退火、自动混合精度、梯度累积和梯度范数裁剪,并在验证dice连续预定轮数未提高时提前停止。
18、进一步地,所述步骤s5 中,预设候选阈值集合,在验证集上获取分割网络的预测概率图,将所述预测概率图按候选阈值集合中的各阈值进行二值化, 并计算验证集dice系数,将dice系数最大值对应的候选阈值标定为验证阈值即目标阈值,并将所述验证阈值与最优网络参数关联保存。
19、进一步地,所述步骤s6中,在输入分割网络前,先根据待分割结肠镜rgb图像的分辨率或来源类别,选择常规推理尺寸或高分辨率推理尺寸,再进行等比缩放和居中补边处理。
20、进一步地,所述的息肉图像分割方法还包括解释步骤:通过前向钩子采集分割网络中解码器由粗到细的阶段解码特征,进行通道均方根聚合,对聚合后的特征进行百分位稳健归一化和高斯平滑,使用sobel算子计算横向和纵向梯度,得到空间梯度幅值,再与平滑特征响应加权融合得到边界解释响应。
21、本发明的有益效果包括:
22、(1按照掩膜前景像素占比分层并提高小息肉样本的抽取概率,使训练和验证过程兼顾不同病灶面积层级;
23、(2)保持纵横比的多尺度训练,减少病灶几何失真并提高了模型对不同成像尺寸的适应能力;
24、(3)u-net++嵌套跳跃连接和scse联合重标定同时利用浅层定位信息、深层语义信息及空间边界信息,提升了息肉的分割精度;
25、(4)非对称focal-tversky与bce联合损失分别控制漏检和误检,提高对小息肉漏检的关注,并对模糊边界难例给予更高优化权重;
26、(5)验证阈值与模型参数关联保存,避免部署端采用与模型概率分布不匹配的固定阈值;
27、(6)分辨率自适应推理和水平翻转一致性融合改善高分辨率、小息肉和跨数据域场景下的输出稳定性;
28、(7)解码输出的多层级渐进特征及边界响应图提供由粗定位到细边界恢复的解释结果。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com