一种腔道内镜三维重建与导航方法

摘要: 本发明涉及医疗机器人与计算机视觉,特别涉及一种腔道内镜三维重建与导航方法。背景技术:1、消化道微创内镜手术是胃肠病灶检查与微创治疗的核心手段,采用胃镜、结肠镜等...
一种腔道内镜三维重建与导航方法

本发明涉及医疗机器人与计算机视觉,特别涉及一种腔道内镜三维重建与导航方法。

背景技术:

1、消化道微创内镜手术是胃肠病灶检查与微创治疗的核心手段,采用胃镜、结肠镜等自然腔道内镜进行诊疗手术时,医师需要实时获取腔道的三维结构,同时需要掌握内镜前端在管腔内的精准定位,以支撑病灶标记、进退镜路径规划与术中导航辅助工作。内镜导航系统的定位精度与运行稳定性直接关系手术的操作效率与术中安全,临床对可实时部署、适配真实手术环境的内镜三维重建导航技术具备较高应用需求。

2、现阶段腔道内镜导航技术普遍通过术前ct/mri影像配准或带有真实轨迹标注的仿真数据集进行漂移校正,在三维欧氏空间计算绝对轨迹误差。

3、然而,现有技术高度依赖外部真值数据,在无外部真值数据的情况下,难以在真实患者的腔道内直接落地使用;在三维欧氏空间计算绝对轨迹误差时,无法区分内镜沿腔道中心线移动时产生的纵向偏差及偏离管腔管壁产生的径向偏差,导致临床解释性较差;另外,在无可靠的门控约束下强制修正位姿时还会增大导航误差。

技术实现思路

1、针对现有技术的不足,本发明提供了一种腔道内镜三维重建与导航方法,用于解决现有技术存在的无真值临床场景适配能力不足、导航误差临床可解释性较差、无可靠性门控约束的重定位操作易降低导航精度的问题。

2、本发明采用的技术手段如下:

3、第一方面,本发明提供了一种腔道内镜三维重建与导航方法,包括:

4、获取三维高斯单元的定义参数;

5、基于所述定义参数进行当前帧彩色图像及深度图像渲染,生成渲染图像和渲染深度;

6、基于所述渲染图像和所述渲染深度构建图像-深度联合损失函数,基于所述图像-深度联合损失函数计算世界坐标系至相机坐标系的变换矩阵;

7、基于所述变换矩阵计算当前帧内镜相机的中心坐标,根据所述中心坐标判断当前帧是否满足关键帧触发条件;

8、若满足关键帧触发条件,执行三维高斯单元增删操作,并迭代优化所述三维高斯单元的定义参数,直至满足第一迭代终止条件,基于迭代优化后的三维高斯单元输出三维高斯地图;

9、构建导航可靠性场,判断所述导航可靠性场的数值是否低于预设阈值;

10、若所述导航可靠性场的数值不低于所述预设阈值,构建管腔中心线,将当前相机中心估计坐标投影至所述管腔中心线,并计算归一化弧长和径向偏移,基于所述归一化弧长构建纵向弧长误差,基于所述径向偏移构建径向偏移误差,基于所述纵向弧长误差和径向偏移误差计算管腔中心线靶点配准误差,基于所述管腔中心线靶点配准误差进行导航精度评估;

11、若所述导航可靠性场低于所述预设阈值,迭代更新所述变换矩阵,直至满足第二迭代终止条件,基于迭代更新后的变换矩阵更新内镜相机位姿。

12、进一步地,所述三维高斯单元的定义参数包括三维高斯单元的中心位置坐标、对数不透明度、对数尺度、旋转四元数及颜色特征中的至少一种。

13、进一步地,所述构建导航可靠性场,包括:

14、基于内镜相机的中心坐标和邻域半径,计算地图支撑度得分;

15、基于内镜相机中心轨迹序列计算轨迹曲率风险得分;

16、基于内镜相机的中心坐标、窗口内轨迹漂移量计算运动一致性得分;

17、基于渲染深度构建深度一致性得分;

18、基于所述地图支撑度得分、所述轨迹曲率风险得分、所述运动一致性得分和所述深度一致性得分,构建导航可靠性场。

19、进一步地,所述预设阈值为0.35。

20、进一步地,所述若所述导航可靠性场低于所述预设阈值,迭代更新所述变换矩阵,直至满足第二迭代终止条件,基于迭代更新后的变换矩阵更新内镜相机位姿,包括:

21、基于图像内有效深度区域与内镜轮廓区域,生成有效深度像素掩膜;

22、基于有效深度像素掩膜确定掩膜区域,构建掩膜区域内的平均对齐损失函数;

23、以最小化所述平均对齐损失函数为优化目标,迭代优化所述变换矩阵,直至满足第二迭代终止条件;

24、获取迭代完成后的最优平均对齐损失,计算所述最优平均对齐损失与迭代前的原始平均对齐损失的下降幅度;

25、判断所述下降幅度是否超过预设比例阈值;

26、若所述下降幅度超过预设比例阈值,基于迭代优化后的变换矩阵更新内镜相机位姿;

27、若所述下降幅度未超过预设比例阈值,保留原始内镜相机位姿。

28、进一步地,所述平均对齐损失函数的计算公式为:

29、

30、其中,表示第t帧的平均对齐损失函数;m表示有效像素掩膜集合;表示掩膜内有效像素总数量;表示第t帧下像素坐标u的渲染深度;表示当前帧深度图像。

31、进一步地,所述图像-深度联合损失函数的计算公式为:

32、

33、其中,表示图像损失权重系数;表示渲染图像;表示当前帧彩色图像;表示深度损失权重系数;表示渲染深度;表示当前帧深度图像;表示第t帧有效深度像素掩膜;表示l1范数;表示哈达玛逐像素相乘算子。

34、第二方面,本发明还提供了一种腔道内镜三维重建与导航装置,包括:

35、高斯参数获取模块,用于获取三维高斯单元的定义参数;

36、渲染生成模块,用于基于所述定义参数进行当前帧彩色图像及深度图像渲染,生成渲染图像和渲染深度;

37、变换矩阵求解模块,用于基于所述渲染图像和所述渲染深度构建图像-深度联合损失函数,基于所述图像-深度联合损失函数计算世界坐标系至相机坐标系的变换矩阵;

38、关键帧判定模块,用于基于所述变换矩阵计算当前帧内镜相机的中心坐标,根据所述中心坐标判断当前帧是否满足关键帧触发条件;

39、地图优化模块,用于若满足关键帧触发条件,执行三维高斯单元增删操作,并迭代优化所述三维高斯单元的定义参数,直至满足第一迭代终止条件,基于迭代优化后的三维高斯单元输出三维高斯地图;

40、可靠性场构建模块,用于构建导航可靠性场,判断所述导航可靠性场的数值是否低于预设阈值;

41、导航精度评估模块,用于若所述导航可靠性场的数值不低于所述预设阈值,构建管腔中心线,将当前相机中心估计坐标投影至所述管腔中心线,并计算归一化弧长和径向偏移,基于所述归一化弧长构建纵向弧长误差,基于所述径向偏移构建径向偏移误差,基于所述纵向弧长误差和径向偏移误差计算管腔中心线靶点配准误差,基于所述管腔中心线靶点配准误差进行导航精度评估;

42、位姿校正模块,用于若所述导航可靠性场低于所述预设阈值,迭代更新所述变换矩阵,直至满足第二迭代终止条件,基于迭代更新后的变换矩阵更新内镜相机位姿。

43、第三方面,本发明还提供了一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现第一方面中任一项所述的一种腔道内镜三维重建与导航方法。

44、第四方面,本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现第一方面中任一项所述的一种腔道内镜三维重建与导航方法。

45、较现有技术相比,本发明具有以下优点:

46、本发明利用三维高斯单元完成腔道场景重建,通过图像-深度联合损失函数求解世界坐标系至相机坐标系变换矩阵,并通过关键帧迭代优化三维高斯单元参数以输出精准三维高斯地图;通过导航可靠性场设置判定门限,在数值低于预设阈值时执行重定位迭代更新位姿,同时通过管腔中心线分别计算纵向弧长误差与径向偏移误差实现导航精度评估,无需外部真值即可适配术中临床场景,双维度误差便于临床直观解读,可靠性门限可规避频繁重定位引发的导航精度下降,有效提升腔道内镜导航的临床适配能力与运行稳定性。