一种基于物理光照模型的肠道内镜图像深度估计方法

摘要: 本申请涉及医学内镜图像处理、单目深度估计和机器人肠镜空间感知,尤其涉及一种基于物理光照模型的肠道内镜图像深度估计方法。背景技术:1、结直肠癌是全球范围内主要的癌...
一种基于物理光照模型的肠道内镜图像深度估计方法

本申请涉及医学内镜图像处理、单目深度估计和机器人肠镜空间感知,尤其涉及一种基于物理光照模型的肠道内镜图像深度估计方法。

背景技术:

1、结直肠癌是全球范围内主要的癌症相关死亡原因之一,结肠镜检查是早期发现和微创干预的重要手段。随着机器人肠镜的发展,减少人工操作造成的不适和穿孔风险、实现安全导航和精准病灶定位成为重要需求。

2、现有肠镜机器人通常仍依赖医生对二维内镜图像进行人工解释并控制运动,缺乏实时三维空间信息,导致病灶定位、息肉尺寸量化、机器人自主路径规划和复杂解剖结构中的安全导航受到限制。单目深度估计能够从单帧内镜图像恢复场景几何结构,是智能肠镜机器人实现三维重建和自主操作的重要前提。

3、然而,肠道腔内环境具有弱纹理、高结构同质性、非均匀照明和强反光等特点。卷积神经网络受局部感受野限制,在相似纹理区域中难以充分利用全局空间上下文;许多深度估计框架主要使用几何约束训练,容易生成过度平滑的深度图,难以保留肠道褶皱、小息肉等细节。内镜点光源与相机同步运动,湿润黏膜表面的非均匀照明和镜面反射还会削弱传统深度估计方法在真实临床数据上的性能。

4、因此,需要一种能够仅利用单目肠道内镜图像,在弱纹理和复杂光照条件下融合全局特征、几何约束与物理光照先验的深度估计方法。

技术实现思路

1、有鉴于此,本申请的目的在于提出了一种利用肠道内部光照明暗衰减的规律估计内镜图像深度的方法。该方法采用transformer编码器捕获弱纹理区域中的全局空间依赖关系,采用多尺度特征融合解码器逐级恢复稠密深度图,并在训练阶段引入融合几何约束和物理光照先验的复合损失函数,以提高肠道褶皱、息肉和其他局部结构的深度重建质量。

2、基于上述目的,本申请提出了一种基于物理光照模型的肠道内镜图像深度估计方法,包括:

3、步骤s1:获取单目肠道内镜rgb图像,并将所述单目肠道内镜rgb图像输入深度估计网络;

4、步骤s2:通过基于transformer的特征提取编码器,对所述单目肠道内镜rgb图像进行多阶段特征提取,得到不同尺度的特征图;

5、步骤s3:通过基于特征融合的解码器,对所述不同尺度的特征图进行通道重投影、深浅层特征融合和逐级分辨率恢复,得到单通道稠密深度图;

6、步骤s4:在训练阶段,利用由深度损失、肠道褶皱梯度损失和光照损失构成的复合损失函数对所述深度估计网络进行优化,其中所述光照损失基于内镜点光源成像关系和lambert余弦定律构建;

7、步骤s5:在推理阶段,将待估计的单目肠道内镜rgb图像输入训练后的深度估计网络,输出用于表示肠道腔内空间结构的稠密深度图。

8、总的来说,本申请的有益效果在于:利用transformer的长距离依赖建模能力改善弱纹理区域的深度推断;利用多尺度特征融合解码器恢复全局深度结构和局部细节;利用基于lambert余弦定律的物理光照先验,将肠道腔内光照衰减和明暗变化转化为几何形状约束;在公共数据集、仿生结肠模型和真实临床视频中均能提高深度估计精度和细节保留能力,并能够区分血管纹理与真实几何深度变化。

1.一种基于物理光照模型的肠道内镜图像深度估计方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述步骤s2包括:

3.根据权利要求2所述的方法,其特征在于,所述特征图包括:

4.根据权利要求2所述的方法,其特征在于,所述transformer模块包括:

5.根据权利要求2所述的方法,其特征在于,所述ffn模块包括:

6.根据权利要求3所述的方法,其特征在于,所述步骤s3包括:

7.根据权利要求6所述的方法,其特征在于,所述多级特征融合模块包括:

8.根据权利要求6所述的方法,其特征在于,所述深度回归模块包括:

9.根据权利要求1所述的方法,其特征在于,所述复合损失函数包括:

10.根据权利要求9所述的方法,其特征在于,所述预测漫反射光强的计算包括: