一种支气管镜连续视觉导航方法、系统及存储介质

摘要: 本公开涉及医疗器械导航,尤其涉及一种支气管镜连续视觉导航方法、系统及存储介质。背景技术:1、随着支气管镜诊疗向肺部深部气道推进,支气管分支数量增多、管径减小,不...
一种支气管镜连续视觉导航方法、系统及存储介质

本公开涉及医疗器械导航,尤其涉及一种支气管镜连续视觉导航方法、系统及存储介质。

背景技术:

1、随着支气管镜诊疗向肺部深部气道推进,支气管分支数量增多、管径减小,不同分支在内窥镜视野下呈现相似的管腔与分叉结构,仅依靠实时图像和医生经验判断支气管镜位置及前进方向具有较大困难。因此,在视觉导航技术中提高复杂气道中的定位能力至关重要。

2、然而,在相关技术中,现有导航技术已发展出相邻帧运动估计、三维结构重建以及与三维模型配准等多种视觉定位手段,但是当前的技术方案难以在配准结果不可靠时进行有效门控,并在失效后快速恢复且重新建立可靠传播基准,导致支气管镜在深部及复杂分叉区域中的导航稳定性较差。

技术实现思路

1、本公开实施例的主要目的在于提出一种支气管镜连续视觉导航方法、系统及存储介质,能够提高支气管镜在深部及复杂分叉区域中的提高导航稳定性。

2、为实现上述目的,本公开实施例的第一方面提出了一种支气管镜连续视觉导航方法,包括:

3、获取支气管镜图像及对应的深度图,并根据所述深度图和支气管镜相机的内参数构建当前视野对应的局部三维点云;

4、根据相邻帧支气管镜图像之间的相对位姿和前一时刻的导航位姿,计算当前时刻的传播位姿;

5、以所述传播位姿为初始位姿,将所述局部三维点云与术前三维气道模型进行配准,得到候选配准位姿,并根据配准前后的几何误差改善程度以及所述候选配准位姿相对于所述传播位姿的位姿修正幅度,对所述候选配准位姿进行可靠性判断;

6、在所述可靠性判断未通过时,根据预设导航位姿、自所述预设导航位姿之后累计的相邻帧运动量和术前规划路径,在所述术前三维气道模型中确定局部重定位区域,并构造多个候选初始位姿将所述局部三维点云与所述局部重定位区域分别进行配准,从通过所述可靠性判断的候选配准结果中确定恢复位姿;

7、将所述恢复位姿作为当前导航位姿,并根据所述恢复位姿和后续相邻帧支气管镜图像之间的相对位姿,计算后续时刻的传播位姿。

8、在一些实施例中,所述获取支气管镜图像及对应的深度图,并根据所述深度图和支气管镜相机的内参数构建当前视野对应的局部三维点云,包括:

9、获取支气管镜图像及对应的深度图,所述深度图记录所述支气管镜图像中各像素点的深度值;

10、根据支气管镜相机的内参数中的焦距和主点坐标,将所述深度图中具有有效深度值的像素点按照各自对应的深度值反投影至支气管镜相机坐标系,得到与各所述像素点对应的三维点;

11、汇集各所述三维点,构成当前视野对应的局部三维点云。

12、在一些实施例中,所述根据相邻帧支气管镜图像之间的相对位姿和前一时刻的导航位姿,计算当前时刻的传播位姿,包括:

13、获取相邻两帧支气管镜图像之间的相对旋转量和相对平移量,构成相邻帧相对位姿;

14、将前一时刻的导航位姿与所述相邻帧相对位姿进行位姿复合,得到当前时刻的传播位姿;

15、在未触发配准时,将所述传播位姿作为当前导航位姿,并继续根据后续相邻帧支气管镜图像之间的相对位姿进行位姿传播;

16、所述以所述传播位姿为初始位姿,将所述局部三维点云与术前三维气道模型进行配准,得到候选配准位姿,在满足预设校正触发条件时执行,所述预设校正触发条件包括当前时刻距上一次配准时刻的间隔达到预设配准周期。

17、在一些实施例中,所述以所述传播位姿为初始位姿,将所述局部三维点云与术前三维气道模型进行配准,得到候选配准位姿,包括:

18、按照传播位姿将局部三维点云中的三维点变换至术前三维气道模型所在的坐标系,得到源点;

19、在所述术前三维气道模型中为各所述源点建立对应目标点,并获取所述对应目标点处的表面法向量;

20、以所述源点与所述对应目标点之间的点到平面误差最小化为目标,迭代求取旋转校正量和平移校正量,直至满足配准收敛条件;

21、将所述旋转校正量和所述平移校正量作用于所述传播位姿,得到候选配准位姿。

22、在一些实施例中,所述根据配准前后的几何误差改善程度以及所述候选配准位姿相对于所述传播位姿的位姿修正幅度,对所述候选配准位姿进行可靠性判断,包括:

23、分别计算配准前的第一几何误差和配准后的第二几何误差,所述第一几何误差和所述第二几何误差为满足预设对应距离条件的有效对应点之间的欧氏距离的均方根误差,并计算所述第一几何误差与所述第二几何误差的差值占所述第一几何误差的比例,得到误差改善比例;

24、根据候选配准位姿相对于传播位姿的平移修正量和旋转修正量,确定本次配准所需的目标误差改善比例;其中,所述平移修正量为所述候选配准位姿相对于所述传播位姿的三维平移距离,所述旋转修正量为所述候选配准位姿相对于所述传播位姿的相对旋转角,且所述平移修正量和所述旋转修正量越大,所述目标误差改善比例越大;

25、在所述候选配准位姿是否满足预设配准质量要求、且所述误差改善比例是否达到所述目标误差改善比例的判定条件下,对所述候选配准位姿进行可靠性判断。

26、在一些实施例中,所述预设导航位姿为在所述可靠性判断未通过之前、最近一次通过所述可靠性判断得到的导航位姿,或最近一次被确定的恢复位姿;

27、所述根据预设导航位姿、自所述预设导航位姿之后累计的相邻帧运动量和术前规划路径,在所述术前三维气道模型中确定局部重定位区域,包括:

28、确定所述预设导航位姿在术前规划路径上的弧长坐标;

29、将自所述预设导航位姿之后的相邻帧支气管镜图像之间的相对平移距离逐帧累加,得到行进距离,并根据所述弧长坐标与所述行进距离之和确定预计路径位置;

30、根据所述预计路径位置以及所述术前规划路径在所述预计路径位置之后的行进方向,在术前三维气道模型中确定局部气道区域,作为局部重定位区域。

31、在一些实施例中,所述构造多个候选初始位姿将所述局部三维点云与所述局部重定位区域分别进行配准,包括:

32、将传播位姿作为第一候选初始位姿;

33、在术前规划路径上选取多个候选路径位置,并根据各所述候选路径位置在所述术前规划路径上的局部行进方向确定对应的候选姿态,由所述候选路径位置和所述候选姿态构成第二候选初始位姿;

34、分别以所述第一候选初始位姿和各所述第二候选初始位姿为初始位姿,将局部三维点云与局部重定位区域进行配准;

35、其中,候选初始位姿的数量和空间分布根据所述局部重定位区域的气道几何复杂程度和允许的重定位搜索范围设定。

36、在一些实施例中,所述从通过所述可靠性判断的候选配准结果中确定恢复位姿,包括:

37、在通过可靠性判断的候选配准结果为一个的情况下,将该候选配准结果对应的位姿确定为恢复位姿;

38、在通过所述可靠性判断的候选配准结果为多个的情况下,获取各所述候选配准结果对应的配准残差、几何误差改善程度和位姿修正幅度,并按照所述配准残差、所述几何误差改善程度和所述位姿修正幅度对各所述候选配准结果进行综合比较,选中满足预设比较要求的候选配准结果对应的位姿确定为所述恢复位姿;

39、所述方法还包括:

40、输出当前导航位姿,以及所述当前导航位姿与术前规划路径之间的空间关系。

41、为实现上述目的,本公开实施例的第二方面提出了一种支气管镜连续视觉导航系统,包括:

42、点云构建模块,用于获取支气管镜图像及对应的深度图,并根据所述深度图和支气管镜相机的内参数构建当前视野对应的局部三维点云;

43、位姿传播模块,用于根据相邻帧支气管镜图像之间的相对位姿和前一时刻的导航位姿,计算当前时刻的传播位姿;

44、配准校正模块,用于以所述传播位姿为初始位姿,将所述局部三维点云与术前三维气道模型进行配准,得到候选配准位姿,并根据配准前后的几何误差改善程度以及所述候选配准位姿相对于所述传播位姿的位姿修正幅度,对所述候选配准位姿进行可靠性判断;

45、路径约束重定位模块,用于在所述可靠性判断未通过时,根据预设导航位姿、自所述预设导航位姿之后累计的相邻帧运动量和术前规划路径,在所述术前三维气道模型中确定局部重定位区域,并构造多个候选初始位姿将所述局部三维点云与所述局部重定位区域分别进行配准,从通过所述可靠性判断的候选配准结果中确定恢复位姿;

46、导航状态管理模块,用于将所述恢复位姿作为当前导航位姿,并根据所述恢复位姿和后续相邻帧支气管镜图像之间的相对位姿,计算后续时刻的传播位姿。

47、为实现上述目的,本公开实施例的第三方面提出了一种电子设备,所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述第一方面实施例所述的支气管镜连续视觉导航方法。

48、为实现上述目的,本公开实施例的第四方面提出了一种存储介质,所述存储介质为计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面实施例所述的支气管镜连续视觉导航方法。

49、本公开实施例的有益效果包括:

50、通过根据深度图和相机内参数构建当前视野局部三维点云,并利用相邻帧相对位姿与前一时刻导航位姿计算当前传播位姿,使导航在连续帧间保持基准一致;再以该传播位姿为初始位姿与术前三维气道模型配准,并同时根据配准前后几何误差改善程度和候选位姿相对传播位姿的修正幅度进行可靠性判断,相当于把配准是否更贴合模型和修正是否偏离连续运动合理范围同时作为门控条件,避免单次不可靠配准结果被直接采纳为导航位姿;当可靠性判断未通过时,不是继续沿错误位姿传播,而是结合预设导航位姿、自预设位姿后累计的相邻帧运动量和术前规划路径,在三维气道模型中限定局部重定位区域,并构造多个候选初始位姿分别配准,从通过可靠性判断的结果中确定恢复位姿,从而把失效后的搜索范围限制在气道解剖和路径运动共同约束的局部区域内,减少复杂分叉相似结构带来的误配准;最后将恢复位姿重新作为当前导航位姿并继续生成后续传播位姿,使在失效后能够快速回到可靠传播基准,从而能够提高支气管镜在深部及复杂分叉区域中的提高导航稳定性。