一种手术器械的跟踪展示方法、装置、设备及介质

本发明涉及器械跟踪展示，尤其涉及一种手术器械的跟踪展示方法、装置、设备及介质。

背景技术：

1、手术器械的三维跟踪展示技术在提高手术精度、精准化手术导航、优化手术路径规划、降低手术风险以及医疗培训和手术仿真研究方面具有重大意义。

2、基础外科手术器械（如手术刀、剪、钳、镊夹和针等）具有精密纤细的特点，且运动模式复杂，包括单体刚性运动、局部机械运动和非刚性复合运动，这对手术器械的精准三维跟踪展示提出了巨大挑战。

技术实现思路

1、本发明提供了一种手术器械的跟踪展示方法、装置、设备及介质，以提高对手术器械的跟踪展示的精度和鲁棒性。

2、第一方面，本发明实施例提供了一种手术器械的跟踪展示方法，包括：

3、获取手术器械在至少一个视图下的深度图和rgb图，以及所述手术器械的三维模型和所述三维模型的元数据；

4、对各所述视图的深度图和rgb图进行融合，得到融合点云；

5、根据所述三维模型的元数据，确定所述手术器械的运动模式；

6、若所述运动模式为复合机械运动模式，则识别所述三维模型中的至少一个构件模型，以及各所述构件模型之间的树形父子层级关系；

7、将根构件模型的位姿，以及各子构件模型的相对转动角度确定为第一参数；所述根构件模型为不存在父构件模型的构件模型；所述子构件模型为存在父构件模型的构件模型；所述相对转动角度为子构件模型相对于其父构件模型的转动角度；

8、根据各所述构件模型和所述融合点云，求解与所述融合点云匹配的第一参数，得到目标参数；

9、根据各所述构件模型和所述目标参数，渲染所述手术器械的图像并展示。

10、第二方面，本发明实施例还提供了一种手术器械的跟踪展示装置，包括：

11、获取模块，用于获取手术器械在至少一个视图下的深度图和rgb图，以及所述手术器械的三维模型和所述三维模型的元数据；

12、融合模块，用于对各所述视图的深度图和rgb图进行融合，得到融合点云；

13、模式确定模块，用于根据所述三维模型的元数据，确定所述手术器械的运动模式；

14、识别模块，用于若所述运动模式为复合机械运动模式，则识别所述三维模型中的至少一个构件模型，以及各所述构件模型之间的树形父子层级关系；

15、参数确定模块，用于将根构件模型的位姿，以及各子构件模型的相对转动角度确定为第一参数；所述根构件模型为不存在父构件模型的构件模型；所述子构件模型为存在父构件模型的构件模型；所述相对转动角度为子构件模型相对于其父构件模型的转动角度；

16、求解模块，用于根据各所述构件模型和所述融合点云，求解与所述融合点云匹配的第一参数，得到目标参数；

17、展示模块，用于根据各所述构件模型和所述目标参数，渲染所述手术器械的图像并展示。

18、第三方面，本发明实施例还提供了一种电子设备，包括：

19、至少一个处理器；以及

20、与至少一个处理器通信连接的存储器；其中

21、存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本发明任一实施例所提供的手术器械的跟踪展示方法。

22、第四方面，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使处理器执行时实现本发明任一实施例的手术器械的跟踪展示方法。

23、第五方面，本发明实施例还提供了一种计算机程序产品，其特征在于，计算机程序产品包括计算机程序，计算机程序在被处理器执行时实现本发明任一实施例的手术器械的跟踪展示方法。

24、本发明实施例通过获取多视图的深度图与 rgb 图并融合得到融合点云，结合三维模型的元数据区分不同手术器械的运动模式；针对复合机械运动模式，根据手术器械的树形父子层级关系，以根构件位姿和子构件相对转动角度为参数替代手术器械的整体刚体拟合；贴合手术器械的真实关节运动约束，避免无约束拟合导致的结构错位，同时依托多视图融合数据提升观测维度，最终提高复合机械运动类的手术器械的跟踪展示的精度与结构合理性。

25、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

1.一种手术器械的跟踪展示方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述根据各所述构件模型和所述融合点云，求解与所述融合点云匹配的第一参数，得到目标参数，包括：

3.根据权利要求2所述的方法，其特征在于，所述针对每一构件模型，根据所述融合点云和所述构件模型，确定所述构件模型在每一视图下的投影轮廓匹配程度，包括：

4.根据权利要求3所述的方法，其特征在于，所述根据各所述视图的投影轮廓匹配程度，求解所述构件模型与所述融合点云匹配的第一匹配位姿，并得到所述第一匹配位姿对应的所述构件模型的全局梯度矩阵和全局海森矩阵，包括：

5.根据权利要求4所述的方法，其特征在于，所述针对每一视图，根据所述视图中各所述辅助点对应像素搜索线段上的像素点的前景后验概率，确定各所述视图对应的置信度权重，包括：

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

7.一种手术器械的跟踪展示装置，其特征在于，所述装置包括：

8.一种电子设备，其特征在于，所述电子设备包括：

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-6中任一项所述的手术器械的跟踪展示方法。

10.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序在被处理器执行时实现权利要求1-6中任一项所述的手术器械的跟踪展示方法。