一种基于双流几何神经网络的多视角2D到3D空间坐标转换方法

摘要: 本发明属于计算机视觉与医学图像处理,具体涉及一种融合术前医疗c型臂x光影像与术中红外光学追踪数据的2d投影坐标到3d空间坐标的端到端转换方法,特别适用于术前使用...
一种基于双流几何神经网络的多视角2D到3D空间坐标转换方法

本发明属于计算机视觉与医学图像处理,具体涉及一种融合术前医疗c型臂x光影像与术中红外光学追踪数据的2d投影坐标到3d空间坐标的端到端转换方法,特别适用于术前使用医疗c型臂x光机获取双视觉影像(冠状面与矢状面)、术中采用optitrack v120:trio三目式六自由度红外光学追踪相机获取标记点三维坐标的脊柱微创手术导航、骨科植入物定位等临床场景;本发明实现了术前二维影像信息与术中三维追踪信息的跨模态融合,为手术导航提供精确的目标点空间定位。

背景技术:

1、在脊柱外科手术中,医学影像获取通常分为术前和术中两个阶段;在术前阶段,医生使用医疗c型臂x光机和特制标定板获取患者脊柱的冠状面(coronal)和矢状面(medial)两个正交方向上的二维透视图像,从中提取目标解剖结构的2d投影坐标;术中阶段,采用红外光学追踪系统(如optitrack v120:trio三目式六自由度相机)对预先植入在标定板上的被动式红外反光标记点进行实时三维定位追踪,获取反光标记点的3d空间坐标;医生需要将术前二维影像信息与术中三维追踪信息进行配准融合,才能准确判断脊柱解剖结构的三维空间位姿;然而,现有的配准流程存在二维图像缺乏深度信息、双模态数据利用不充分等问题,医生仅能凭借经验在脑中重建三维关系,存在主观性强、精准度低等不足。

2、传统方法利用三角测量法从双平面2d影像恢复3d坐标,基于已知相机内外参数,通过两个视图的2d-2d点对应关系,利用对极几何与三角化重建3d坐标。近年来,基于深度学习的2d到3d空间坐标转换技术取得了显著突破,基于深度学习的回归法将双视角2d坐标直接输入前馈神经网络(如多层感知机mlp),映射到3d坐标,网络自动从数据中学习2d到3d的映射函数,无需人工推导三角测量公式、堆积几何约束等,由于mlp前向传播仅涉及矩阵乘法和激活函数,对于实时手术导航这种低延迟场景非常友好。

3、但是,上述空间转换方法在实际应用中存在诸多局限性:三角测量法高度依赖精确的相机标定与点匹配,且对图像畸变、特征点定位误差极为敏感;基于深度学习的回归法忽略了多视觉之间的几何对应关系,未能显式建模视差与深度之间的物理联系,无法利用多视角之间的信息互补性,特征表达能力有限,泛化能力差。

技术实现思路

1、本发明旨在克服现有技术的上述不足,提供一种基于双流几何神经网络的多视角2d到3d空间坐标转换方法,充分利用术前医疗c型臂x光机获取的双视角2d投影与术中optitrack红外光学追踪获取的标记点3d坐标之间的几何互补关系,结合相机位姿先验信息,端到端地从双平面2d坐标恢复出精确3d空间坐标。

2、为了实现上述目的,本发明采用如下技术方案:

3、一种基于双流几何神经网络的多视角2d到3d坐标转换方法,其特征在于,包括以下步骤:

4、s1、通过医疗c型臂x光机获取多幅含有标定板的x光图像,提取标定板上所有标记球的正侧位测量2d坐标;再通过optitrack红外光学追踪相机获得标定板上所有mark反光标记点的测量3d坐标;

5、s2、对测量2d坐标数据与测量3d坐标数据进行预处理,分别生成2d特征向量与位姿特征向量,并将二者拼接构造输入向量;

6、s3、 将输入向量输入至双流几何神经网络,由双流几何神经网络输出标定板上所有标记球的归一化预测3d坐标;

7、s4、将归一化预测3d坐标进行反归一化处理,恢复到物理空间,得到预测3d坐标。

8、进一步的,步骤s2具体包括以下步骤:

9、s21、获取相机内参矩阵、所有目标标记球的原始设计三维坐标以及所有反光标记点的原始设计3d坐标;

10、s22、获取所有标记球的冠状面测量2d坐标、矢状面测量2d坐标;获取所有mark反光标记点的测量3d坐标,并转换到冠状面与矢状面上,得到冠状面测量3d坐标、矢状面侧3d坐标;

11、s23、对和分别执行相机内参归一化,得到归一化后冠状面、矢状面测量2d坐标和,将二者展平后拼接构成2d特征向量;

12、s24、基于与,采用kabsch算法计算反光标记点从原始设计3d坐标到测量3d坐标的的刚体变换旋转矩阵和平移向量:,利用rodrigues公式转换将刚体变换旋转矩阵转换为旋转向量:,与平移向量拼接得到冠状面位姿特征:;同理,计算得到矢状面位姿特征,与冠状面位姿特征拼接得到位姿特征:;

13、s25、将2d特征向量与位姿特征向量拼接构成输入向量,并对输入向量进行z-score归一化。

14、更进一步的,步骤s23中,针对任一2d坐标点,相机内参归一化的具体过程为:

15、;

16、其中,表示冠状面2d坐标点,表示矢状面2d坐标点,与对应表示归一化结果;为相机内参。

17、进一步的,步骤s3中,双流几何神经网络包括:冠状面视角编码器、矢状面视角编码器、跨视角几何交互模块与位姿感知解码器,所述跨视角几何交互模块包括:双向特征融合模块、视差编码模块与投影归一化模块;

18、将归一化后输入向量按照维度拆分为冠状面2d输入特征、矢状面2d输入特征与位姿输入特征;

19、与分别输入冠状面视角编码器、矢状面视角编码器进行特征映射,对应得到逐点特征矩阵与;

20、将逐点特征矩阵输入至双向特征融合模块,得到冠状面增强特征矩阵与矢状面增强特征矩阵,

21、将归一化后冠状面、矢状面测量2d坐标和输入至视差编码模块,得到深度线索特征;

22、将冠状面增强特征矩阵、矢状面增强特征矩阵与深度线索特征输入至投影归一化模块,得到逐点几何特征;

23、将冠状面增强特征矩阵、矢状面增强特征矩阵与深度线索特征输入至投影归一化模块,得到逐点几何特征;

24、将逐点几何特征进行展平,再与位姿输入特征拼接,形成位姿感知解码器的输入矩阵:,输入位姿感知解码器,得到归一化预测3d坐标向量。

25、更进一步的,冠状面视角编码器与矢状面视角编码器结构相同但参数独立,以冠状面视角编码器为例,视角编码器具体表示为:

26、,

27、,

28、,

29、,

30、其中,表示gelu激活函数,与表示全连接层,与表示线性层,表示维度重构;表示冠状面视角编码器的可学习视角标识向量。

31、更进一步的,双向特征融合模块表示为:

32、,

33、,

34、,

35、其中,表示融合多层感知机。

36、更进一步的,视差编码模块表示为:

37、,

38、,

39、其中,表示gelu激活函数,与表示线性层。

40、更进一步的,投影归一化模块表示为:

41、,

42、=,

43、其中,表示gelu激活函数,表示线性层,表示归一化层。

44、更进一步的,位姿感知解码器表示为:

45、,

46、,

47、其中,表示gelu激活函数,与表示全连接层,与表示线性层,表示归一化层,表示正则化。

48、更进一步的,所述双流几何神经网络经过离线训练,训练过程中,主损失函数包括均方误差(mse)损失和几何约束损失;

49、均方误差损失表示为:,为归一化预测3d坐标向量,为训练目标;

50、几何约束损失表示为:,表示损失函数,为预测2d坐标向量;

51、则总损失函数表示为:,为重投影损失权重。

52、更进一步的,训练目标的计算过程为:

53、从所有个反光标记点选取3个作为1组,共若干个组合;

54、针对每一种组合,采用kabsch算法计算反光标记点从原始设计3d坐标到测量3d坐标的刚体变换旋转矩阵r和平移向量t,将所有标记球的冠状面2d坐标或矢状面2d坐标转换为3d坐标:,;

55、对所有组合转换得到的3d坐标取平均值,作为所有标记球的冠状面3d坐标与矢状面3d坐标;

56、采用kabsch算法计算所有反光标记点从矢状面到冠状面的刚体变换旋转矩阵和平移向量:;

57、将矢状面偏差纠正结果变换到冠状面坐标系:;

58、则训练目标为双视角在统一坐标系下的均值:。

59、基于上述技术方案,本发明的有益效果在于:

60、本发明提供一种基于双流几何神经网络的多视角2d到3d空间坐标转换方法,首先利用双流差异化编码分别学习冠状面、矢状面特征,结合跨视角视差编码实现显式几何建模,并搭配双向残差融合机制保留各视角的独有特征,保证了双视角信息的互补性;同时,将相机位姿、内参归一化融入双流几何神经网络的设计中,赋予模型物理可解释性与位姿自适应能力,提升了特征可靠性;此外,在训练阶段通过多组合偏差纠正策略优化监督信号,从而大幅降低了单点测量噪声干扰。

61、综上,本发明充分利用术前医疗c型臂x光机获取的双视角2d投影与术中optitrack红外光学追踪获取的标记点3d坐标之间的几何互补关系,结合相机位姿先验信息,端到端地从双平面2d坐标恢复出精确3d空间坐标,有效提升空间坐标转换的准确率,实现了术前二维影像信息与术中三维追踪信息的跨模态融合,为手术导航提供精确的目标点空间定位。