一种基于多模态影像融合的术中实时导航系统及方法与流程

本发明涉及医学影像处理、术中导航和图像配准，特别涉及一种基于多模态影像融合的术中实时导航系统及方法。

背景技术：

1、在神经外科、肝胆外科、骨科、泌尿外科及肿瘤切除等手术过程中，医生通常需要根据术前ct、mri、cta、mra、pet-ct或其他医学影像建立手术区域的三维模型，并在术中结合手术器械位置对病灶、血管、神经、骨性结构或软组织边界进行导航显示。术前影像具有组织结构完整、空间分辨率高和解剖关系清楚的特点，但其采集时间早于手术过程，无法直接反映术中组织牵拉、切除、充气、出血、体位变化或器械接触造成的组织形变。

2、现有术中导航系统多采用术前影像与患者手术空间之间的刚性配准或基于少量标志点的配准方式，将术前模型叠加显示于手术视野或显示终端中。该方式在骨性结构明显且软组织形变较小的场景中能够提供一定导航参考，但在软组织器官、肿瘤边界附近、血管密集区域或手术切除进展较快的区域，术前模型与术中真实组织位置之间容易产生偏差。若仍按照未修正的术前模型显示病灶边界、血管走行或安全边界，可能导致导航图层与真实解剖结构不一致。

3、部分方案引入术中表面点云、内窥镜图像或术中超声影像进行术中修正。术中表面点云能够反映暴露组织表面的几何变化，但其只能描述组织表面形态，难以约束深部病灶、深部血管或软组织内部边界。术中超声切面影像能够显示部分内部解剖结构，但其成像视野有限、图像噪声较高，并且切面位置随探头姿态变化而变化，仅依靠术中超声进行整体模型更新容易受到局部图像质量和特征可匹配性的影响。

4、此外，术中采集数据容易受到器械遮挡、血液覆盖、组织反光、超声探头压迫、表面点云缺失、患者参考位姿漂移等因素影响。若导航系统在配准质量下降时仍持续显示完整导航图层，医生难以及时判断当前导航结果是否可靠。现有技术中对术中融合结果的可信度评价不足，通常缺少对局部配准残差、可匹配特征数量、表面点云完整度、超声图像清晰度、器械遮挡比例、约束一致性和形变补偿幅度的综合判断，也缺少根据可信度对导航显示状态进行正常显示、降级显示、局部隐藏或重新配准触发的控制机制。

5、因此，需要一种能够同时利用术中表面点云和术中超声切面影像，对术前多模态导航基准模型进行局部形变补偿，并根据融合可信度控制导航图层显示状态的术中实时导航系统及方法。

技术实现思路

1、有鉴于此，本发明实施例提供一种基于多模态影像融合的术中实时导航系统及方法，以解决现有技术中存在的技术问题。

2、本发明实施例的技术方案是这样实现的：一种基于多模态影像融合的术中实时导航系统及方法，包括处理器、存储器、术中数据采集接口、器械定位接口和显示终端，处理器调用存储器中的程序形成：

3、术前建模模块，用于对同一手术区域的至少两种术前医学影像进行配准、分割和三维重建，生成带组织形变参数的术前多模态导航基准模型；

4、术中采集模块，用于获取术中表面点云、术中超声切面影像、患者参考位姿和器械末端位姿；

5、初配准模块，用于建立术前影像坐标系与患者手术空间坐标系的初始变换关系；

6、局部窗口模块，用于依据器械末端位姿、超声切面覆盖范围和表面点云有效视野确定局部配准窗口；

7、双约束配准模块，用于在局部配准窗口内将术中表面点云与术前模型对应表面匹配生成表面位移约束，并将术中超声切面中的内部解剖特征与术前模型对应内部结构匹配生成内部解剖特征位移约束；

8、形变补偿模块，用于根据两类位移约束和组织形变参数求解局部形变补偿场并更新对应模型区域；

9、可信度评价模块，根据局部配准残差、可匹配特征数量、表面点云完整度、超声图像清晰度、器械遮挡比例、约束一致性和形变补偿幅度生成融合可信度；

10、显示控制模块，用于按照融合可信度输出正常显示指令、降级显示指令、局部隐藏指令或局部重新配准触发指令。

11、本发明与现有技术相比，具有以下优点：

12、本发明在术前阶段将至少两种术前医学影像统一至同一术前影像坐标系，并对病灶、血管、神经、骨性结构和软组织进行分割建模，使术前多模态导航基准模型同时包含表面结构、内部解剖结构和组织形变参数，为术中局部配准和形变补偿提供数据基础。

13、本发明在术中同步获取表面点云、术中超声切面影像、患者参考位姿和器械末端位姿，并依据器械末端位姿、超声切面覆盖范围和表面点云有效视野确定局部配准窗口，使配准计算集中在当前手术操作相关区域，减少对无关区域整体重配准造成的计算负担。

14、本发明在局部配准窗口内同时生成表面位移约束和内部解剖特征位移约束。表面位移约束用于反映暴露组织表面与术前模型表面之间的偏移，内部解剖特征位移约束用于反映超声切面内深部结构与术前模型内部结构之间的偏移，两类约束共同参与局部形变补偿场求解，使更新后的术前多模态导航基准模型能够兼顾表面形态变化和内部结构变化。

15、本发明对综合局部配准残差、可匹配特征数量、表面点云完整度、超声图像清晰度、器械遮挡比例、约束一致性、局部形变补偿幅度和距上一次有效配准的时间间隔进行综合评价，生成融合可信度，并根据融合可信度控制导航图层的正常显示、降级显示、局部隐藏或局部重新配准，使显示终端输出的导航内容与当前融合结果的可靠程度相对应。

1.一种基于多模态影像融合的术中实时导航系统，其特征在于，包括处理器、存储器、术中数据采集接口、器械定位接口和显示终端，处理器调用存储器中的程序形成：

2.根据权利要求1所述的一种基于多模态影像融合的术中实时导航系统，其特征在于：所述术前建模模块包括：

3.根据权利要求1所述的一种基于多模态影像融合的术中实时导航系统，其特征在于：所述术中采集模块包括：

4.根据权利要求1所述的一种基于多模态影像融合的术中实时导航系统，其特征在于：所述初配准模块通过标定板标定、探针触碰标定、参考架定位标定或手眼标定，获得表面点云采集设备、术中超声探头、器械定位设备和显示终端相对于患者手术空间坐标系的变换矩阵，并根据术前多模态导航基准模型中的表面结构、骨性标志点、血管分叉点或解剖边界，与术中初始采集的表面点云或患者参考位姿进行匹配，得到术前影像坐标系到患者手术空间坐标系的初始变换关系。

5.根据权利要求1所述的一种基于多模态影像融合的术中实时导航系统，其特征在于：所述局部窗口模块以器械末端位置、术中超声切面中心或表面点云有效视野中心作为窗口中心，并结合术前规划路径中的当前操作阶段以及病灶、血管、神经中至少一种关键结构的位置，确定局部配准窗口的空间范围；所述局部配准窗口限定本次表面点云匹配、内部解剖特征匹配、局部形变补偿计算和融合可信度评价的处理区域。

6.根据权利要求1所述的一种基于多模态影像融合的术中实时导航系统，其特征在于：所述双约束配准模块包括：

7.根据权利要求1所述的一种基于多模态影像融合的术中实时导航系统，其特征在于：所述形变补偿模块在局部配准窗口内提取术前多模态导航基准模型的局部模型单元，按照局部模型单元的组织区域类型读取对应组织形变参数，并根据表面位移约束、内部解剖特征位移约束和组织形变参数，通过有限元模型、径向基函数插值模型或网格控制点形变模型求解局部形变补偿场；当表面位移约束与内部解剖特征位移约束的方向差值或幅度差值超过一致性阈值时，降低冲突约束的计算权重，或将冲突结果发送至可信度评价模块。

8.根据权利要求1所述的一种基于多模态影像融合的术中实时导航系统，其特征在于：所述可信度评价模块对综合局部配准残差、可匹配特征数量、表面点云完整度、超声图像清晰度、器械遮挡比例、表面位移约束与内部解剖特征位移约束的一致性、局部形变补偿幅度以及距上一次有效配准的时间间隔进行归一化处理，并根据归一化处理结果生成融合可信度；所述显示控制模块将融合可信度与正常显示阈值和安全阈值进行比较，当融合可信度达到正常显示阈值时输出正常显示指令，当融合可信度低于正常显示阈值且高于安全阈值时输出降级显示指令，当融合可信度低于安全阈值时输出局部隐藏指令和局部重新配准触发指令。

9.一种基于多模态影像融合的术中实时导航方法，其特征在于，包括如下步骤：

10.根据权利要求9所述的基于多模态影像融合的术中实时导航方法，其特征在于，步骤s8中，所述表面点云完整度用于表征术中表面点云的采集质量，所述超声图像清晰度用于表征术中超声切面影像的成像质量；当表面位移约束与内部解剖特征位移约束的方向差值或幅度差值超过一致性阈值时，提高综合局部配准残差的权重或降低融合可信度；步骤s9中，当融合可信度达到正常显示阈值时，将更新后的病灶边界、血管、神经、器械位置或安全边界叠加显示，当融合可信度低于正常显示阈值且高于安全阈值时，对对应导航图层执行半透明显示、虚线边界显示、颜色弱化显示或提示标识显示，当融合可信度低于安全阈值时，隐藏对应局部配准窗口内的导航图层，并触发重新采集术中表面点云、重新采集术中超声切面影像或重新执行局部配准。