一种基于候选边缘证据语义分配与三状态跳跃校正的医学图像病灶分割方法、装置与电子设备
本发明涉及医学图像处理、深度学习与计算机视觉等,具体涉及一种基于候选边缘证据语义分配与三状态跳跃校正的医学图像病灶分割方法、装置与电子设备,可用于超声、磁共振、计算机断层扫描、皮肤镜等二维或三维医学图像中的病灶区域自动分割,尤其适用于病灶边界模糊、局部对比度低、背景组织纹理复杂或伪边缘较多的场景。
背景技术:
1、编码器-解码器分割网络通常利用跳跃连接将编码器的高分辨率特征直接传递至对应解码层。浅层编码特征保留了较多位置、纹理和局部突变信息,能够补偿下采样造成的空间细节损失;但浅层特征对目标类别的辨别能力相对有限,医学图像中的组织纹理、散斑噪声、成像伪影和非病灶轮廓也可能产生较强边缘响应。若不加区分地传递,解码器会同时接收真实病灶边界和非目标高频信息。
2、现有边界增强方式常将由标签生成的边界直接作为浅层门控分支的监督目标,或者将浅层特征与深层特征拼接后生成单一注意力图,再对编码特征进行整体放大或抑制。上述方式容易把局部位置是否呈现边缘与该边缘是否属于目标病灶合并为同一预测任务,不能清楚区分候选边缘发现和目标语义判别的职责;简单的逐像素乘法还可能因浅层边缘与深层语义边界存在幅值差异或轻微空间错位而错误削弱真实边界。
3、此外,对于深层语义不支持的浅层边缘,直接对原编码特征作减法或缩小处理,会同时削弱该位置的组织结构和潜在弱边界,难以兼顾伪边缘抑制与结构信息保留。
4、因此,需要一种能够先保留浅层候选边缘,再利用深层目标语义对候选证据进行关系判断,并针对非候选、语义支持和语义冲突三种状态采取不同特征处理方式的选择性跳跃连接方案。
技术实现思路
1、为克服相关技术中存在的问题,本发明提出了一种基于候选边缘证据语义分配与三状态跳跃校正的医学图像病灶分割方法、装置与电子设备。具体地,本发明是通过如下技术方案实现的:
2、根据本说明书实施例的第一方面,提供一种基于候选边缘证据语义分配与三状态跳跃校正的医学图像病灶分割方法,所述方法包括获取待分割医学图像并输入至训练后的病灶分割模型,通过所述病灶分割模型输出所述待分割医学图像的病灶分割概率图;所述病灶分割模型采用编码器解码器结构,该模型的编码器网络用于提取多尺度编码特征,该模型的解码器网络用于逐级生成与各跳跃连接层对应的解码语义特征,该模型的至少一跳跃连接层执行下述步骤:
3、步骤s1,根据同层的编码特征生成单通道的候选边缘证据图,以及根据同层的解码语义特征生成单通道的语义支持图;
4、步骤s2,根据所述候选边缘证据图与语义支持图的逐像素共同激活关系、逐像素差异关系和邻域差异关系生成语义支持分配权重和语义冲突分配权重,并将所述候选边缘证据图分配为语义支持证据图和语义冲突证据图;
5、步骤s3,构造所述编码特征的细节增强特征,以及所述解码语义特征的语义重建特征,以非候选位置权重图、所述语义支持证据图和所述语义冲突证据图对所述编码特征、细节增强特征和语义重建特征进行三状态加权,得到校正跳跃特征并输入所述解码器网络,以使所述解码器网络融合所述校正跳跃特征并恢复空间分辨率,输出所述病灶分割概率图;其中,所述非候选位置权重图由所述候选边缘证据图逐像素取补得到。
6、根据本说明书实施例的第二方面,提供一种基于候选边缘证据语义分配与三状态跳跃校正的医学图像病灶分割装置,所述装置包括:
7、图像获取单元,用于获取待分割医学图像并输入至训练后的病灶分割模型;
8、图像分割单元,用于通过所述病灶分割模型输出所述待分割医学图像的病灶分割概率图;所述病灶分割模型采用编码器解码器结构,该模型的编码器网络用于提取多尺度编码特征,该模型的解码器网络用于逐级生成与各跳跃连接层对应的解码语义特征,该模型的至少一跳跃连接层执行如第一方面所述方法。
9、根据本说明书实施例的第三方面,提供一种电子设备,包括:处理器;计算机可读存储介质,在所述计算机可读存储介质中存储有计算机程序指令,所述计算机程序指令在被所述处理器运行时使所述处理器执行如第一方面所述方法。
10、本发明实施例至少具有下述技术效果:
11、(1)本发明将浅层候选边缘发现与深层目标边界语义支持分离,候选边缘证据图不直接接受真实边界监督,能够保留所有值得进一步判断的局部突变;语义支持图承担目标边界语义判别,避免两个分支任务重复。
12、(2)本发明利用候选边缘证据图、语义支持图、共同激活、逐像素差异和邻域差异共同描述跨层关系,再以两通道softmax守恒分配同一候选边缘证据图,能够降低单纯逐像素乘法对响应幅值和轻微空间错位的敏感性。
13、(3)本发明不对语义冲突位置的原编码特征进行简单减法抑制,而是利用深层语义重建浅层表示;同时在语义支持位置调用细节增强特征,从而兼顾伪边缘抑制和真实弱边界细节保留。
14、(4)本发明的非候选位置权重图、语义支持证据图和语义冲突证据图三类权重逐像素非负且和为1,校正过程有明确状态含义和有界混合关系,便于实现、解释和消融验证。
15、(5)本发明可作为可插拔跳跃连接模块部署于u-net及其编码器-解码器变体,不依赖特定主干网络;推理阶段无需标签边界,适用于乳腺超声、皮肤镜及其他边界模糊病灶分割场景。
1.一种基于候选边缘证据语义分配与三状态跳跃校正的医学图像病灶分割方法,其特征在于,所述方法包括获取待分割医学图像并输入至训练后的病灶分割模型,通过所述病灶分割模型输出所述待分割医学图像的病灶分割概率图;所述病灶分割模型采用编码器解码器结构,该模型的编码器网络用于提取多尺度编码特征,该模型的解码器网络用于逐级生成与各跳跃连接层对应的解码语义特征,该模型的至少一跳跃连接层执行下述步骤:
2.根据权利要求1所述的方法,其特征在于,所述步骤s1根据同层的编码特征生成单通道的候选边缘证据图,包括:
3.根据权利要求2所述的方法,其特征在于,所述对所述高频响应、中心近邻差分和跨尺度差分进行响应归一化和可学习融合,包括:
4.根据权利要求2所述的方法,其特征在于,所述对所述内部特征分别提取高频响应、中心近邻差分和跨尺度差分,包括:
5.根据权利要求1所述的方法,其特征在于,所述步骤s1根据同层的解码语义特征生成单通道的语义支持图,包括:
6.根据权利要求1所述的方法,其特征在于:
7.根据权利要求1所述的方法,其特征在于,所述步骤s2中语义支持分配权重和语义冲突分配权重的生成方式包括:
8.根据权利要求1所述的方法,其特征在于:
9.一种基于候选边缘证据语义分配与三状态跳跃校正的医学图像病灶分割装置,其特征在于,所述装置包括:
10.一种电子设备,其特征在于,包括: