一种内窥镜多部位图像分割方法及装置

本技术涉及医学图像处理，尤其涉及一种基于深度学习的内窥镜图像多部位分割技术。

背景技术：

1、随着人工智能技术的发展，基于深度学习的医学图像处理方法已被广泛应用于图像分割、目标检测和辅助诊断等任务。其中，内窥镜图像多部位分割作为辅助诊疗中的基础任务，能够从内窥镜影像中提取解剖结构、组织区域或病灶范围，对于内窥镜下的早期筛查、手术导航和术后评估具有重要意义。

2、与静态放射影像相比，内窥镜图像通常受到光照条件、生理运动、视角变化、高光反射以及背景噪声等因素影响，图像中不同解剖结构之间的边界往往存在低对比度、弱纹理、不连续或相互粘连等情况。尤其在多部位、多类别目标同时分割的场景下，不同组织之间在形态、尺度和纹理特征方面差异较大，使得模型在全局语义建模和局部细节表达之间难以取得良好平衡，从而容易出现边界模糊、轮廓不完整以及类别混淆等问题。

3、现有医学图像分割方法通常采用编码器-解码器结构提取图像的多尺度语义特征，并通过解码器逐步恢复特征图的空间分辨率，以生成对应的分割结果。此类方法能够实现目标区域的整体定位，但在特征下采样和解码恢复过程中，图像中的细粒度边缘信息容易被平滑或削弱，导致复杂组织交界区域和细小解剖结构的分割精度不足。

4、为提高边界区域的分割效果，部分现有方法引入边缘检测模块、边缘分支或后处理策略对分割结果进行优化。然而，上述方法通常依赖浅层边缘特征或独立的后处理流程，难以与分割网络输出的多类别概率信息和高维语义特征进行有效结合，导致边缘信息利用不充分；同时，对整幅图像进行全局特征修复也会增加计算开销，难以针对真正难以分割的边缘像素进行精细化处理。

5、此外，现有大多数医学图像分割模型通常输出单一的类别预测概率分布，缺乏对模型预测可靠性的显式刻画。在组织交界、低对比度、噪声干扰或样本分布稀疏区域，模型往往具有较高的分类不确定性，但传统方法通常未充分利用该不确定性信息来定位难样本像素点，也难以对边缘区域中的不确定像素进行自适应修复。

6、因此，亟需提供一种内窥镜多部位图像分割方法，能够在提取多尺度语义特征的基础上，结合边缘信息和像素级不确定性，对复杂边界区域中的难样本像素进行针对性优化，从而提高内窥镜图像中多部位目标的分割精度和边界细节表达能力。

技术实现思路

1、本技术提供一种内窥镜多部位图像分割方法及装置，用于解决现有内窥镜图像分割方法在多部位、多类别目标同时分割时，容易因组织边界模糊、结构粘连、局部纹理弱以及模型预测不确定性较高，导致边界区域分割不准确、细小结构轮廓不完整以及计算资源利用效率较低的问题。

2、第一方面，本技术实施例提供一种内窥镜多部位图像分割方法，包括：

3、获取待分割的内窥镜图像，并对所述内窥镜图像进行预处理；

4、将预处理后的内窥镜图像输入预先训练的分割网络，通过所述分割网络的编码器提取多尺度语义特征，并通过所述分割网络的解码器基于所述多尺度语义特征生成解码器特征和初步多类别概率分布图；

5、将所述初步多类别概率分布图输入形态学边缘提取模块，对所述初步多类别概率分布图中各类别对应的概率图进行形态学膨胀处理，并将膨胀处理后的概率图与对应的原始概率图进行差分处理，得到各类别对应的边缘映射，对各类别对应的边缘映射进行融合，得到全局粗边缘指示掩码；

6、根据所述初步多类别概率分布图计算像素级不确定性分数，并根据所述像素级不确定性分数和所述全局粗边缘指示掩码，在所述全局粗边缘指示掩码指示的边缘区域内筛选难样本像素点；

7、根据所述难样本像素点在所述解码器特征中对应的空间位置，提取所述难样本像素点对应的点级特征向量，并将所述点级特征向量输入多层感知机，得到所述难样本像素点对应的点级残差补偿；

8、基于所述初步多类别概率分布图确定初步预测结果，将所述点级残差补偿叠加至所述难样本像素点在所述初步预测结果中的对应位置，得到所述内窥镜图像对应的精细化多部位分割结果。

9、在一种可能的实现方式中，所述分割网络通过训练样本集预先训练得到。所述训练样本集可以通过以下方式构建：获取内窥镜图像样本，对所述内窥镜图像样本进行质量筛选，剔除质量不满足预设要求的图像样本；对质量筛选后的内窥镜图像样本进行像素级标注，得到与所述内窥镜图像样本对应的真实标签；根据所述内窥镜图像样本的成像条件和解剖结构类别，对标注后的内窥镜图像样本进行分层划分，得到用于训练所述分割网络的训练集、验证集和测试集。

10、在一种可能的实现方式中，所述分割网络为基于编码器-解码器结构的分割网络。所述编码器包括多个特征提取阶段，每个特征提取阶段用于对输入特征进行下采样并提取对应尺度的语义特征；所述解码器用于对所述编码器输出的多尺度语义特征进行上采样融合，以恢复特征图的空间分辨率，并通过分类头生成所述初步多类别概率分布图。进一步地，所述编码器中的至少一个特征提取阶段可以包括深度可分离卷积单元和倒置瓶颈结构；其中，所述深度可分离卷积单元用于提取所述内窥镜图像的空间特征，所述倒置瓶颈结构用于对所述空间特征进行通道维度的非线性变换，以得到对应尺度的语义特征。

11、在一种可能的实现方式中，所述形态学边缘提取模块可以通过归一化函数将所述分割网络的分类头输出转换为所述初步多类别概率分布图；针对所述初步多类别概率分布图中的每一类别通道，利用最大池化算子对该类别通道对应的概率图进行形态学膨胀处理；将膨胀处理后的概率图与该类别通道对应的原始概率图进行差分处理，得到该类别对应的边缘映射；在通道维度上对各类别对应的边缘映射进行最大响应融合，得到单通道的全局粗边缘指示掩码。

12、在一种可能的实现方式中，所述根据所述初步多类别概率分布图计算像素级不确定性分数，包括：针对所述初步多类别概率分布图中的每一像素位置，确定该像素位置对应的最高类别置信度和次高类别置信度；根据所述最高类别置信度和所述次高类别置信度之间的差值，确定该像素位置对应的像素级不确定性分数；其中，所述差值越小，表示该像素位置的分类不确定性越高。进一步地，可以根据所述全局粗边缘指示掩码确定候选边缘像素区域，在所述候选边缘像素区域内按照像素级不确定性分数由小到大的顺序对候选边缘像素进行排序，并选取排序靠前的k个候选边缘像素作为所述难样本像素点；其中，k为预设数量。

13、在一种可能的实现方式中，可以根据所述难样本像素点在所述初步多类别概率分布图中的像素坐标，确定所述难样本像素点在所述解码器特征中的对应空间位置；从所述解码器特征中提取所述对应空间位置处的特征向量，作为所述点级特征向量；将所述点级特征向量输入多层感知机，通过所述多层感知机输出与所述难样本像素点对应的点级残差补偿；将所述点级残差补偿叠加至所述难样本像素点在初步预测结果中的对应位置，以修正所述难样本像素点的类别预测结果。

14、在一种可能的实现方式中，所述分割网络可以通过联合损失函数进行训练，所述联合损失函数包括分割损失和边界感知损失；其中，所述边界感知损失可以通过以下方式确定：获取训练样本对应的真实标签；对所述真实标签进行形态学膨胀处理和形态学腐蚀处理，并根据膨胀处理结果和腐蚀处理结果之间的差异，生成真实边界掩码；根据所述真实边界掩码，对所述分割网络输出的预测概率图和所述真实标签进行边界区域加权，得到边界区域加权后的预测概率图和真实标签；基于所述边界区域加权后的预测概率图和真实标签计算边界感知损失，以通过所述边界感知损失约束所述分割网络对解剖结构边界区域的学习。

15、第二方面，本技术实施例提供一种内窥镜多部位图像分割装置，包括图像获取模块、初步分割模块、边缘提取模块、难样本筛选模块、残差补偿模块和结果生成模块。

16、所述图像获取模块用于获取待分割的内窥镜图像，并对所述内窥镜图像进行预处理。

17、所述初步分割模块用于将预处理后的内窥镜图像输入预先训练的分割网络，通过所述分割网络的编码器提取多尺度语义特征，并通过所述分割网络的解码器基于所述多尺度语义特征生成解码器特征和初步多类别概率分布图。

18、所述边缘提取模块用于将所述初步多类别概率分布图输入形态学边缘提取模块，对所述初步多类别概率分布图中各类别对应的概率图进行形态学膨胀处理，并将膨胀处理后的概率图与对应的原始概率图进行差分处理，得到各类别对应的边缘映射，对各类别对应的边缘映射进行融合，得到全局粗边缘指示掩码。

19、所述难样本筛选模块用于根据所述初步多类别概率分布图计算像素级不确定性分数，并根据所述像素级不确定性分数和所述全局粗边缘指示掩码，在所述全局粗边缘指示掩码指示的边缘区域内筛选难样本像素点。

20、所述残差补偿模块用于根据所述难样本像素点在所述解码器特征中对应的空间位置，提取所述难样本像素点对应的点级特征向量，并将所述点级特征向量输入多层感知机，得到所述难样本像素点对应的点级残差补偿。

21、所述结果生成模块用于基于所述初步多类别概率分布图确定初步预测结果，将所述点级残差补偿叠加至所述难样本像素点在所述初步预测结果中的对应位置，得到所述内窥镜图像对应的精细化多部位分割结果。

22、本技术实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

23、本技术实施例通过将分割网络输出的初步多类别概率分布图输入形态学边缘提取模块，对各类别概率图进行形态学膨胀和差分处理，并融合得到全局粗边缘指示掩码，能够基于模型当前预测结果提取跨类别边缘区域，为后续边缘区域内难样本像素点的定位提供空间约束，从而提高边界区域处理的针对性。

24、本技术实施例通过根据初步多类别概率分布图计算像素级不确定性分数，并结合全局粗边缘指示掩码在边缘区域内筛选难样本像素点，使分割网络能够重点关注组织交界、低对比度、类别粘连等难以分割的像素区域，避免对整幅图像进行无差别特征修复，从而提高计算资源利用效率。

25、本技术实施例通过提取难样本像素点对应的解码器点级特征向量，并利用多层感知机生成点级残差补偿，将点级残差补偿叠加至初步预测结果中的对应位置，能够对模糊边界和复杂组织交界处的预测结果进行自适应修正，从而提高内窥镜图像多部位分割结果的边界精度和细节表达能力。

26、本技术实施例还可以通过边界感知损失函数对分割网络进行训练，使模型在训练过程中增强对解剖结构边界区域的学习约束，从而进一步改善多部位目标之间的边界粘连、轮廓不完整和细小结构分割不准确的问题，提高内窥镜图像多部位分割的稳定性和准确性。