一种基于多模态图像融合的内镜实时导航方法及系统

本发明涉及医学影像导航，更具体的说是涉及一种基于多模态图像融合的内镜实时导航方法及系统。

背景技术：

1、目前，多模态影像融合技术已被逐步引入内镜手术导航领域。现有技术中，术前或术中获得的多模态影像数据（如ct、mri、超声等）可通过图像配准与融合，为术者提供超越白光内镜表面观察的解剖结构信息。与此同时，基于深度学习的医学图像分割技术亦取得显著进展，在内镜影像的病灶检测与组织识别方面展现出良好的应用前景。此外，已有研究探索将超声探头与oct探头集成于内镜，以期在术中同步获取深层组织影像。

2、但是，现有的内镜手术导航技术仍存在以下显著不足：第一，现有配准方法主要依赖图像自身的特征点进行匹配，缺乏对内镜镜尖空间位姿信息的利用，当术中出血或湍流导致内镜光学图像质量下降时，配准精度急剧下降；第二，现有融合方法多为独立模块的串行处理，先进行图像融合、再对融合结果进行组织识别，融合任务与识别任务相互独立，融合过程未考虑后续识别任务的需求，导致融合图像中关键解剖结构的特征在融合过程中被削弱，识别精度受限；第三，现有导航系统在融合图像中缺乏对关键解剖结构（如血管、神经）的风险标注与置信度评估机制，术者在视野模糊条件下难以准确判断危险区域的位置。

3、因此，如何提出一种基于多模态图像融合的内镜实时导航方法及系统，在出血或视野模糊条件下为术者提供准确的导航信息，是本领域技术人员亟需解决的问题。

技术实现思路

1、有鉴于此，本发明提供了一种基于多模态图像融合的内镜实时导航方法及系统，通过位姿约束配准、融合分割协同优化与风险标注，实现术中视野模糊下的实时导航。

2、为了实现上述目的，本发明采用如下技术方案：

3、一方面，本发明公开一种基于多模态图像融合的内镜实时导航方法，包括以下步骤：

4、s1.获取同步采集的多模态图像，多模态图像包括内镜光学图像、超声图像和oct图像，并同步获取采集时刻内镜镜尖的空间位姿信息；

5、s2.根据空间位姿信息以及各模态图像的成像几何参数，将各模态图像统一至同一空间坐标系下，建立内镜镜尖与周围解剖结构之间的立体空间对应关系，并确定各模态图像在同一空间坐标系下的空间重叠区域；

6、s3.以空间位姿信息为配准的空间约束，通过空间重叠区域内各模态图像之间的像素级特征匹配求解跨模态空间变换参数，并将跨模态空间变换参数应用于各模态图像的全视场范围，得到配准后的多模态图像；

7、s4.通过多任务深度学习网络对配准后的多模态图像同步执行图像融合任务和组织分割任务，输出融合导航图像以及融合导航图像中预定类型解剖结构的分割结果；

8、s5.根据分割结果在融合导航图像上生成风险标注信息，将携带风险标注信息的融合导航图像与实时内镜画面同步呈现。

9、优选的，s2包括：

10、将超声图像和oct图像分别依据各自的成像几何参数投影至三维空间，重建内镜镜尖周围解剖结构的超声三维体积数据和oct三维体积数据；

11、以空间位姿信息对应的坐标系为基准坐标系，通过刚体变换矩阵将内镜光学图像的成像平面、超声三维体积数据以及oct三维体积数据统一至基准坐标系下，形成内镜镜尖周围解剖结构的统一空间表征；

12、以内镜镜尖的空间位姿信息为基准点，建立内镜镜尖与周围解剖结构在统一空间表征中的空间对应关系，并计算得到空间重叠区域。

13、优选的，s3包括：

14、s31.以空间位姿信息对应的空间变换矩阵作为跨模态空间变换参数的初始值；

15、s32.在空间重叠区域内分别提取各模态图像的跨模态特征，以空间位姿信息作为特征匹配的搜索范围约束，对跨模态特征进行双向一致性特征匹配，得到特征匹配结果；

16、s33.以初始值为优化起点，根据特征匹配结果对跨模态空间变换参数进行迭代优化求解，并通过形变补偿模型对组织形变进行校正，得到最终配准参数；

17、s34.将最终配准参数应用于各模态图像的全视场范围，得到配准后的多模态图像。

18、优选的，s33中，跨模态空间变换参数通过最小化如下代价函数进行迭代优化求解：

19、；

20、式中，为图像特征相似性度量项，用于度量内镜光学图像与经跨模态空间变换参数以及形变场变换后的超声图像及oct图像之间的特征相似度；为当前时刻的空间位姿信息；为过去多个时刻的历史空间位姿信息序列；为位姿约束项，用于度量跨模态空间变换参数与空间位姿信息之间的偏差；为平衡系数；为正则平衡系数；为形变场正则项。

21、优选的，位姿约束项的具体形式为：

22、；

23、式中，为协方差矩阵；表示马氏距离的平方；为历史位姿约束的衰减权重，满足：，其中为过去第k个时刻与当前时刻的时间间隔，为衰减系数；为自适应调节系数。

24、优选的，s4中，多任务深度学习网络包含共享特征编码器、融合解码器和分割解码器；共享特征编码器提取配准后的多模态图像的共享特征，融合解码器根据共享特征重建融合导航图像，分割解码器根据共享特征对融合导航图像中的预定类型解剖结构进行识别与语义分割，输出分割掩膜及对应的识别置信度；

25、分割解码器输出的分割掩膜作为空间注意力权重反馈至融合解码器，融合解码器根据空间注意力权重，在重建融合导航图像时对预定类型解剖结构所在的图像区域赋予高于非预定类型解剖结构所在图像区域的保真度权重。

26、优选的，多任务深度学习网络采用联合损失函数进行训练，联合损失函数的具体形式为：；

27、其中，为融合损失；为分割损失；和分别为融合平衡系数和分割平衡系数；其中，分割损失采用加权交叉熵损失和dice损失的组合：，为平衡系数；加权交叉熵损失中，第c类组织的权重系数为：，为第c类组织在训练集中的像素频率；为高风险组织集合；为风险增强系数；为指示函数，当第c类组织属于高风险组织集合时取值为1，否则取值为0。

28、另一方面，本发明还提出一种基于多模态图像融合的内镜实时导航系统，包括：

29、数据获取模块，用于获取同步采集的多模态图像，多模态图像包括内镜光学图像、超声图像和oct图像，并同步获取采集时刻内镜镜尖的空间位姿信息；

30、空间关系构建模块，用于根据空间位姿信息以及各模态图像的成像几何参数，将各模态图像统一至同一空间坐标系下，建立内镜镜尖与周围解剖结构之间的立体空间对应关系，并确定各模态图像在同一空间坐标系下的空间重叠区域；

31、配准模块，用于以空间位姿信息为配准的空间约束，通过空间重叠区域内各模态图像之间的像素级特征匹配求解跨模态空间变换参数，并将跨模态空间变换参数应用于各模态图像的全视场范围，得到配准后的多模态图像；

32、联合处理模块，用于通过多任务深度学习网络对配准后的多模态图像同步执行图像融合任务和组织分割任务，输出融合导航图像以及融合导航图像中预定类型解剖结构的分割结果；

33、可视化模块，用于根据分割结果在融合导航图像上生成风险标注信息，将携带风险标注信息的融合导航图像与实时内镜画面同步呈现。

34、经由上述的技术方案可知，本发明公开提供了一种基于多模态图像融合的内镜实时导航方法及系统，与现有技术相比，具有以下有益效果：

35、1.本发明在配准代价函数中引入当前位姿约束与历史位姿序列约束，使配准过程从仅依赖图像特征转变为空间位姿与图像特征联合驱动；同时通过自适应调节系数随图像清晰度下降而增大，确保在出血、湍流等视野模糊条件下配准仍能保持稳定。

36、2.图像融合与组织识别协同优化。本发明通过构建共享特征编码器、融合解码器和分割解码器的多任务深度学习网络，使图像融合任务与组织分割任务同步执行并共享特征；通过将分割掩膜作为空间注意力权重反馈至融合解码器，使融合过程主动聚焦于高风险解剖结构，避免了传统串行架构中关键组织信息在融合阶段被削弱的问题。

37、3.本发明通过多任务深度学习网络输出各像素位置的识别置信度，对神经、血管等高风险结构与骨、肌层等低风险结构分别采用不同的置信度阈值进行风险标注，使术者在视野模糊条件下能够准确判断危险区域的位置和识别可靠程度。