基于可微渲染的内镜相机六自由度追踪方法、装置及设备

本技术涉及医疗图像处理与手术导航领域，尤其涉及一种基于可微渲染的内镜相机六自由度追踪方法、装置及设备。

背景技术：

1、微创外科手术中，内镜位姿追踪通常采用基于物理标记的外部导航方式，或者基于术前三维影像与术中二维图像的图像配准方式。

2、然而，基于物理标记的方案需要额外布设参考物，易受遮挡、污染等因素影响而导致追踪中断；无标记图像配准方案通常需在六自由度空间进行复杂搜索，对光照变化、反光及遮挡较为敏感，且依赖显式特征提取与匹配，导致收敛速度和实时性受限。

3、因此，如何在微创手术复杂成像环境下提高内镜位姿追踪的实时性和鲁棒性，成为亟需解决的技术问题。

技术实现思路

1、本技术实施例提供一种基于可微渲染的内镜相机六自由度追踪方法、装置及设备，以解决上述技术问题。该方案面向微创手术场景下内镜位姿追踪易受遮挡、光照变化、反光干扰以及优化搜索效率不足影响的现象，基于目标体内解剖结构的三维表达与术中实时内镜图像之间的一致性约束，对内镜相机当前位姿进行连续优化求解，从而实现对内镜相机六自由度位姿的稳定追踪。

2、第一方面，本技术提供一种基于可微渲染的内镜相机六自由度追踪方法，包括：

3、获取预构建的目标体内解剖结构的三维高斯泼溅模型；

4、获取医用内镜实时采集的目标体内解剖结构的实时二维内镜图像；

5、获取当前帧的初始六自由度位姿参数；

6、根据初始六自由度位姿参数，对三维高斯泼溅模型进行前向可微渲染，生成对应视角的虚拟渲染图像；

7、提取实时二维内镜图像与虚拟渲染图像的结构几何特征，计算对应的结构几何特征差异，得到图像差异损失；

8、根据图像差异损失，通过梯度反向传播迭代更新初始六自由度位姿参数，以输出迭代收敛后的内镜相机六自由度追踪位姿。

9、在一种可能的实施方式中，获取预构建的目标体内解剖结构的三维高斯泼溅模型，包括：

10、获取目标体内解剖结构的术前三维体数据；

11、根据虚拟三维空间中预设定的多个虚拟相机视点，对术前三维体数据进行多角度投影渲染，生成虚拟多视角序列图像；

12、根据术前三维体数据生成初始稀疏点云，以初始稀疏点云中的点位置作为高斯几何中心，生成初始三维高斯泼溅模型；

13、根据虚拟多视角序列图像训练初始三维高斯泼溅模型，得到目标体内解剖结构的三维高斯泼溅模型。

14、在一种可能的实施方式中，在根据虚拟三维空间中预设定的多个虚拟相机视点，对术前三维体数据进行多角度投影渲染，生成虚拟多视角序列图像之前，还包括：

15、以目标体内解剖结构的几何中心为基准原点，在虚拟三维空间内构建包围术前三维体数据的虚拟球体平面；

16、采用球面均匀采样算法，在虚拟球体平面上计算得到多个虚拟相机视点。

17、在一种可能的实施方式中，在根据虚拟三维空间中预设定的多个虚拟相机视点，对术前三维体数据进行多角度投影渲染，生成虚拟多视角序列图像之前，还包括：

18、根据手术内镜的预期进入路径，在虚拟三维空间内确定对应的模拟运动轨迹；

19、在模拟运动轨迹上按照预设步长进行离散采样，得到多个虚拟相机视点。

20、在一种可能的实施方式中，提取实时二维内镜图像与虚拟渲染图像的结构几何特征，计算对应的结构几何特征差异，得到图像差异损失，包括：

21、对实时二维内镜图像进行逐像素亮度检测，确定亮度超过预设亮度阈值的强反光区域，其中，逐像素亮度检测为在实时二维内镜图像的视场边缘区域，降低预设亮度阈值以进行自适应局部高光检测；

22、根据强反光区域，生成反光剔除掩码矩阵；

23、分别提取实时二维内镜图像的第一结构几何本征特征图，以及虚拟渲染图像的第二结构几何本征特征图；

24、根据第一结构几何本征特征图和第二结构几何本征特征图，计算得到初始结构几何特征差异；

25、根据反光剔除掩码矩阵对初始结构几何特征差异进行逐像素加权，得到图像差异损失。

26、在一种可能的实施方式中，分别提取实时二维内镜图像的第一结构几何本征特征图，以及虚拟渲染图像的第二结构几何本征特征图，包括：

27、通过空间微分算子，分别处理实时二维内镜图像与虚拟渲染图像，生成实时二维内镜图像对应的第一空间几何梯度图，以及虚拟渲染图像对应的第二空间几何梯度图；

28、将第一空间几何梯度图作为第一结构几何本征特征图；

29、将第二空间几何梯度图作为第二结构几何本征特征图。

30、在一种可能的实施方式中，分别提取实时二维内镜图像的第一结构几何本征特征图，以及虚拟渲染图像的第二结构几何本征特征图，包括：

31、通过结构相似性算子，分别处理实时二维内镜图像与虚拟渲染图像，解耦实时二维内镜图像与虚拟渲染图像中的绝对亮度信息，生成实时二维内镜图像对应的第一空间拓扑本征特征图以及虚拟渲染图像对应的第二空间拓扑本征特征图；

32、将第一空间拓扑本征特征图作为第一结构几何本征特征图；

33、将第二空间拓扑本征特征图作为第二结构几何本征特征图。

34、在一种可能的实施方式中，根据图像差异损失，通过梯度反向传播迭代更新初始六自由度位姿参数，以输出迭代收敛后的内镜相机六自由度追踪位姿，包括：

35、根据链式法则，计算图像差异损失相对于初始六自由度位姿参数的反向传播梯度；

36、采用自适应矩估计优化器，迭代更新初始六自由度位姿参数，直至满足预设收敛条件，输出迭代收敛后的内镜相机六自由度追踪位姿。

37、第二方面，本技术提供一种基于可微渲染的内镜相机六自由度追踪装置，包括：

38、第一获取模块，用于获取预构建的目标体内解剖结构的三维高斯泼溅模型；

39、第二获取模块，用于获取医用内镜实时采集的目标体内解剖结构的实时二维内镜图像；

40、第三获取模块，用于获取当前帧的初始六自由度位姿参数；

41、渲染模块，用于根据初始六自由度位姿参数，对三维高斯泼溅模型进行前向可微渲染，生成对应视角的虚拟渲染图像；

42、处理模块，用于提取实时二维内镜图像与虚拟渲染图像的结构几何特征，计算对应的结构几何特征差异，得到图像差异损失；

43、迭代更新模块，用于根据图像差异损失，通过梯度反向传播迭代更新初始六自由度位姿参数，以输出迭代收敛后的内镜相机六自由度追踪位姿。

44、在一种可能的实施方式中，第一获取模块还用于：

45、获取目标体内解剖结构的术前三维体数据；

46、根据虚拟三维空间中预设定的多个虚拟相机视点，对术前三维体数据进行多角度投影渲染，生成虚拟多视角序列图像；

47、根据术前三维体数据生成初始稀疏点云，以初始稀疏点云中的点位置作为高斯几何中心，生成初始三维高斯泼溅模型；

48、根据虚拟多视角序列图像训练初始三维高斯泼溅模型，得到目标体内解剖结构的三维高斯泼溅模型。

49、在一种可能的实施方式中，第一获取模块还用于：

50、以目标体内解剖结构的几何中心为基准原点，在虚拟三维空间内构建包围术前三维体数据的虚拟球体平面；

51、采用球面均匀采样算法，在虚拟球体平面上计算得到多个虚拟相机视点。

52、在一种可能的实施方式中，第一获取模块还用于：

53、根据手术内镜的预期进入路径，在虚拟三维空间内确定对应的模拟运动轨迹；

54、在模拟运动轨迹上按照预设步长进行离散采样，得到多个虚拟相机视点。

55、在一种可能的实施方式中，处理模块还用于：

56、对实时二维内镜图像进行逐像素亮度检测，确定亮度超过预设亮度阈值的强反光区域，其中，逐像素亮度检测为在实时二维内镜图像的视场边缘区域，降低预设亮度阈值以进行自适应局部高光检测；

57、根据强反光区域，生成反光剔除掩码矩阵；

58、分别提取实时二维内镜图像的第一结构几何本征特征图，以及虚拟渲染图像的第二结构几何本征特征图；

59、根据第一结构几何本征特征图和第二结构几何本征特征图，计算得到初始结构几何特征差异；

60、根据反光剔除掩码矩阵对初始结构几何特征差异进行逐像素加权，得到图像差异损失。

61、在一种可能的实施方式中，处理模块还用于：

62、通过空间微分算子，分别处理实时二维内镜图像与虚拟渲染图像，生成实时二维内镜图像对应的第一空间几何梯度图，以及虚拟渲染图像对应的第二空间几何梯度图；

63、将第一空间几何梯度图作为第一结构几何本征特征图；

64、将第二空间几何梯度图作为第二结构几何本征特征图。

65、在一种可能的实施方式中，处理模块还用于：

66、通过结构相似性算子，分别处理实时二维内镜图像与虚拟渲染图像，解耦实时二维内镜图像与虚拟渲染图像中的绝对亮度信息，生成实时二维内镜图像对应的第一空间拓扑本征特征图以及虚拟渲染图像对应的第二空间拓扑本征特征图；

67、将第一空间拓扑本征特征图作为第一结构几何本征特征图；

68、将第二空间拓扑本征特征图作为第二结构几何本征特征图。

69、在一种可能的实施方式中，迭代更新模块还用于：

70、根据链式法则，计算图像差异损失相对于初始六自由度位姿参数的反向传播梯度；

71、采用自适应矩估计优化器，迭代更新初始六自由度位姿参数，直至满足预设收敛条件，输出迭代收敛后的内镜相机六自由度追踪位姿。

72、第三方面，本技术提供一种电子设备，包括：存储器，处理器；

73、存储器存储计算机执行指令；

74、处理器执行存储器存储的计算机执行指令，使得处理器执行如上第一方面和/或第一方面各种可能的实施方式。

75、第四方面，本技术提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现如上第一方面和/或第一方面各种可能的实施方式。

76、第五方面，本技术提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上第一方面和/或第一方面各种可能的实施方式。

77、本技术提供的一种基于可微渲染的内镜相机六自由度追踪方法、装置及设备，通过获取预构建的目标体内解剖结构的三维高斯泼溅模型，结合医用内镜实时采集的目标体内解剖结构的实时二维内镜图像与当前帧的初始六自由度位姿参数，对三维高斯泼溅模型进行前向可微渲染生成对应视角的虚拟渲染图像，提取实时二维内镜图像与虚拟渲染图像的结构几何特征并计算特征差异得到图像差异损失，经梯度反向传播迭代更新初始六自由度位姿参数，输出迭代收敛后的内镜相机六自由度追踪位姿。该方案省略传统位姿追踪中特征提取匹配的多步串行流程，依托可微渲染实现端到端位姿优化，提升运算效率以满足术中实时追踪需求；同时基于解剖结构固有几何特征计算损失，摆脱绝对亮度依赖以降低光照波动干扰，提升追踪鲁棒性，从架构层面实现了提高内镜相机位姿追踪的稳定性与鲁棒性的技术效果。