术中电极定位方法

摘要: 本发明涉及医学图像处理与计算机视觉领域,特别是涉及一种术中电极定位方法。背景技术:1、在神经外科手术及脑机接口植入过程中,需要将放置在患者脑表面的电极触点准确定...
术中电极定位方法

本发明涉及医学图像处理与计算机视觉领域,特别是涉及一种术中电极定位方法。

背景技术:

1、在神经外科手术及脑机接口植入过程中,需要将放置在患者脑表面的电极触点准确定位到术前医学影像坐标系中,以便将电生理信号与大脑解剖结构建立空间对应关系。目前,获取术中脑表面数据通常采用立体视觉、结构光或深度相机等设备采集包含外观和几何信息的图像,并通过图像识别技术在术中照片中提取电极触点的二维坐标。同时,医学影像配准技术可利用解剖标志、表面点云或血管信息,将术中采集的表面数据配准到术前医学影像建立的三维模型上。

2、但是,现有方案存在以下技术问题:第一,仅基于单张或多张术中照片进行二维图像识别与逐点递推扩展,输出的结果为照片坐标系下的二维位置,未获取脑表面深度或三维几何信息,也未计算成像设备与脑表面之间的三维空间关系,导致同一电极在不同拍摄距离和观察角度下会得到不同的二维坐标,无法确定电极相对于真实脑表面的三维位置,也无法直接转换至术前医学影像坐标系。第二,现有方案通常在电极放置后直接处理包含电极的开颅图像,未在电极放置前采集并融合脑表面数据以建立独立的术中参考脑表面,由于电极放置后会出现电极片、导线遮挡以及脑脊液流失引起的脑面变化,缺乏放置前的参考基准则无法判断放置后观测相对于原始术中状态的变化。第三,对于多组离散采集的术中观测,若仅按拍摄顺序逐张累积配准,中间步骤的误差会向后传播,容易产生累积漂移、双层脑面或纹理重影;且当金属触点反光、透明电极片或脑沟间隙导致深度缺失或出现非零错误深度时,缺乏结合成像射线、形变脑表面与阵列拓扑的多约束恢复手段,难以保证触点三维定位的可靠性。

3、因此,急需一种能够在缺少稳定外部跟踪坐标的条件下,稳健建立术中参考脑表面并将电极触点高精度定位至术前医学影像坐标系的术中电极定位方法。

技术实现思路

1、基于此,有必要针对现有技术存在的无法在术中可靠建立参考脑表面并将电极触点三维坐标转换至术前医学影像坐标系的问题,提供一种术中电极定位方法,以实现从术中二维观测、当前脑表面、放置前参考脑表面到术前医学影像坐标系的完整空间转换。

2、本发明提供的一种术中电极定位方法,包括:

3、基于获取的成像装置的标定参数,确定电极放置前的多组术中表面观测数据之间的观测间空间约束关系,并通过全局约束优化与置信加权融合生成术中参考脑表面;其中,每组所述术中表面观测数据包含外观观测数据与三维几何观测数据;

4、将所述术中参考脑表面与获取的术前医学影像模型进行配准,获取影像空间映射关系;

5、对电极放置后的多组术中表面观测数据分别相对所述术中参考脑表面进行重定位,确定成像装置空间关系、当前脑表面相对所述术中参考脑表面的脑面形变以及电极阵列状态,并对所述成像装置空间关系、所述脑面形变和所述电极阵列状态进行联合估计,获取电极触点的候选三维位置;

6、当目标触点区域的深度数据不满足深度可信条件时,基于目标触点的二维观测与所述标定参数生成成像射线,结合所述成像射线与所述当前脑表面或电极阵列支撑面的空间关系、阵列拓扑约束以及厚度或间隙约束,确定所述目标触点的三维位置;

7、基于所述当前脑表面与所述术中参考脑表面之间的形变对应关系,将各电极触点的三维位置回映射至所述术中参考脑表面,并基于所述影像空间映射关系转换至术前医学影像坐标系,输出各电极触点的三维坐标及其对应的证据来源、置信度或处理状态。

8、在其中一个实施例中,所述通过全局约束优化与置信加权融合生成术中参考脑表面,包括:

9、将所述电极放置前的每组术中表面观测数据或由该观测数据形成的局部表面作为观测节点,在具有可靠重叠关系的观测节点之间建立空间约束边,形成观测约束图;其中,所述空间约束边包括拍摄顺序相邻的观测节点之间的约束边,以及拍摄顺序不相邻但观测到同一脑区的观测节点之间的约束边;

10、基于所述观测约束图,对各观测节点至统一参考坐标系的空间关系进行全局优化;

11、将全局优化后的所述电极放置前的多组术中表面观测数据转换至所述统一参考坐标系,并基于各组观测数据的置信度进行加权融合,生成所述术中参考脑表面。

12、在其中一个实施例中,所述对电极放置后的多组术中表面观测数据分别相对所述术中参考脑表面进行重定位,确定成像装置空间关系、当前脑表面相对所述术中参考脑表面的脑面形变以及电极阵列状态,并进行联合估计,包括:

13、对所述电极放置后的每组术中表面观测数据,分别基于所述术中参考脑表面计算其相对所述术中参考脑表面的空间关系,以确定所述成像装置空间关系;

14、基于所述成像装置空间关系,确定所述当前脑表面相对所述术中参考脑表面的所述脑面形变,以及所述电极阵列状态;其中,所述电极阵列状态包括电极阵列相对所述当前脑表面的整体位姿及局部形态;

15、基于电极触点的观测数据、所述脑面形变、所述电极阵列状态以及触点与形变后的当前脑表面的接触约束,进行联合优化,求解各电极触点在所述当前脑表面上的三维位置,作为所述候选三维位置。

16、在其中一个实施例中,所述当目标触点区域的深度数据不满足深度可信条件时,确定所述目标触点的三维位置,包括:

17、基于所述目标触点的二维中心与所述标定参数,生成由成像中心经过所述目标触点的所述成像射线;

18、基于所述脑面形变,确定所述成像射线与所述当前脑表面或所述电极阵列支撑面的交点或最佳接近位置;

19、基于所述交点或最佳接近位置处的局部脑面法向、电极片厚度以及所述厚度或间隙约束,对所述交点或最佳接近位置进行位置修正;

20、基于所述阵列拓扑约束及触点间距约束,对所述目标触点的三维位置进行联合优化。

21、在其中一个实施例中,所述基于所述观测约束图,对各观测节点至统一参考坐标系的空间关系进行全局优化,包括:

22、基于匹配内点比例、空间覆盖范围和三维配准残差中的至少一种,确定各条所述空间约束边的边可信权重;

23、采用信息矩阵对两组观测之间的平移残差和旋转残差进行归一化处理,构建全局优化目标函数;所述全局优化目标函数的表达式为:

24、,

25、其中,为全局位姿优化的目标函数值;为所述观测约束图中具有可靠重叠关系的观测节点对构成的空间约束边集合,为所述空间约束边的数量;表示遍历所述空间约束边集合中的各观测节点对;为第组与第组观测之间空间约束边的边可信权重;为用于统一平移和旋转误差量纲的信息矩阵;为由两组观测变换关系计算得到的边残差向量;为稳健损失函数;

26、固定一个参考节点以消除整体自由度,迭代更新各观测节点的空间关系直至满足收敛条件;

27、其中,所述边可信权重的计算公式为:

28、,

29、式中,为外观匹配或深度对应的内点比例,为对应点的空间覆盖范围指标,为两组观测之间的三维配准残差,为基于成像装置实测深度噪声确定的尺度参数。

30、在其中一个实施例中,所述脑面形变采用控制节点位移场表示,所述电极阵列状态采用整体仿射分量与非刚性分量表示,所述联合估计的能量函数包括:

31、所述脑面形变的表达式为:

32、,

33、其中,为形变后的当前脑表面上空间点的坐标,为第个基函数,为对应控制节点的三维位移向量,为控制节点总数;

34、脑面形变平滑约束项的表达式为:

35、,

36、其中,为控制节点相邻关系的集合,为第个控制节点的三维位移向量,为正则化权重系数;

37、所述电极阵列状态的形变表达式为:

38、,

39、其中,为触点初始位置经形变后的位置,为电极阵列初始规则形态下触点的三维坐标,为电极阵列相对初始规则形态的整体仿射变化量矩阵,为平移向量,为控制点总数,为非刚性形变系数,为第个控制点的位置,为基函数;

40、联合估计能量函数包括:

41、,

42、其中,为形变后的当前脑面与放置后观测之间的表面配准残差;为脑面形变平滑约束的权重系数;为阵列拓扑间距约束的权重系数;表示阵列中相邻触点的连接关系图;和分别为电极阵列初始规则形态下第个和第个触点的三维坐标,和分别为第个和第个触点经形变后的位置;为已知的相邻触点标称间距;为触点与脑面距离约束的权重系数;为形变后触点到形变后的当前脑表面的最短距离;为触点中心相对于脑表面的厚度或间隙补偿值。

43、在其中一个实施例中,所述确定所述目标触点的三维位置,还包括:

44、当所述目标触点的中心像素深度缺失时,读取预设环形邻域内的有效深度,并以所述有效深度的中位数替代中心深度;

45、当所述预设环形邻域内无法获取有效深度时,计算所述成像射线与形变后的当前脑表面网格的交点,选择沿射线方向距离成像中心最近的有效交点作为初始三维位置;所述成像射线的表达式为:

46、,,

47、其中,为第个触点的空间射线向量,为成像装置光心的三维坐标,为由成像装置内参和触点二维图像中心确定的单位方向向量,为沿射线方向的距离参数;

48、所述位置修正的表达式为:

49、,

50、其中,为经位置修正得到的第个电极触点的三维坐标,为所述成像射线与形变后的当前脑表面网格求交得到的初始三维位置,为比例系数,为电极片厚度,为电极片与所述当前脑表面之间的估计间隙,为交点处当前脑表面法向;

51、所述联合估计的能量函数为:

52、,

53、其中,为联合估计能量函数;为观测约束项的加权系数;为具有深度或二维中心的直接观测证据的触点集合;为第个触点的观测可信度权重;为待优化的第个触点的三维坐标;为第个触点的初始三维位置估计,基于替代后的深度反投影或所述位置修正得到的确定;为阵列间距约束权重;为阵列中相邻触点的连接关系图;为已知的相邻触点标称间距;为局部曲率平滑约束权重;为同一行或同一列中连续排列的三个触点构成的局部邻域三元组索引集合,其中为中心触点,和为邻点;为触点与脑面距离约束的权重系数;为经厚度和间隙修正后的当前脑表面模型;对于被遮挡的触点,将其观测可信度权重设为零,通过相邻触点间距与阵列拓扑约束恢复其三维位置。

54、在其中一个实施例中,所述置信加权融合包括:

55、对像素、深度点、特征对应、表面区域、整组观测或空间约束边中的至少一种计算连续置信度;

56、所述连续置信度基于深度有效性、深度噪声、多帧深度一致性、观察距离、观察角度、局部表面方向、过曝、反光、遮挡、跨观测配准残差中的至少一种确定;

57、当所述连续置信度低于第一阈值时,拒绝相应数据参与融合;当所述连续置信度介于所述第一阈值与第二阈值之间时,降低相应数据的融合权重;当所述连续置信度高于所述第二阈值时,按正常权重参与融合。

58、在其中一个实施例中,所述对所述电极放置后的每组术中表面观测数据,分别基于所述术中参考脑表面计算其相对所述术中参考脑表面的空间关系,包括:

59、基于当前观测数据与所述术中参考脑表面或所述术中参考脑表面中保存的自然地标之间的直接证据,获取或验证当前观测数据的空间关系;

60、所述直接证据包括对应数量、空间覆盖范围、重投影误差、三维点到面残差以及与多路径约束的一致性中的至少一种;

61、当所述直接证据不满足预设条件时,将当前观测数据标记为降级、不可靠、重定位或需人工复核状态;

62、上一组电极放置后的观测数据的定位结果作为当前观测数据空间关系计算的初值。

63、在其中一个实施例中,所述将所述术中参考脑表面与获取的术前医学影像模型进行配准,包括:

64、基于所述术中参考脑表面的三维几何、表面法向、曲率、沟回结构、血管地标以及手术区域先验中的至少一种,将所述术中参考脑表面与所述术前医学影像模型进行配准;

65、所述输出各电极触点的三维坐标及其对应的证据来源、置信度或处理状态,还包括:

66、输出各电极触点的三维坐标的不确定度;所述不确定度基于标定误差、深度噪声、跨观测配准误差、参考脑表面融合误差、术前影像配准误差、脑面形变误差、触点检测误差、阵列尺寸或厚度误差以及遮挡触点推定误差中的至少两种合成;

67、所述证据来源包括直接深度测量、多观测联合恢复或阵列拓扑推定。

68、与现有技术相比,本发明至少具有如下有益效果:

69、上述术中电极定位方法,通过在电极放置前利用多组术中表面观测数据建立观测间空间约束关系,并经全局约束优化与置信加权融合生成术中参考脑表面,使该术中参考脑表面同时作为与术前医学影像模型配准的基准以及电极放置后各组观测数据重定位的共同基准,避免了将放置后因电极片遮挡或脑脊液流失引起的脑面变化写入放置前参考模型,从而在缺少稳定外部跟踪坐标的条件下维持了空间基准的统一性。通过对电极放置后的各组观测数据分别相对术中参考脑表面进行重定位,并对成像装置空间关系、脑面形变和电极阵列状态进行分离表示与联合估计,解耦了相机运动、脑面形变与电极阵列形变之间的相互影响,防止了三者在联合求解过程中的误差混叠。当目标触点区域因金属反光、透明基底或脑沟间隙导致深度数据不满足深度可信条件时,基于二维观测生成成像射线并与形变后的当前脑表面或电极阵列支撑面求交,再结合阵列拓扑约束与厚度或间隙约束进行位置修正与联合优化,利用几何射线、形变表面和阵列先验共同替代失效的深度信息,恢复了触点的三维位置。最终基于形变对应关系将触点回映射至术中参考脑表面并转换至术前医学影像坐标系,同时输出证据来源、置信度或处理状态,形成了从术中二维观测到术前医学影像三维坐标的完整转换链路,降低了按拍摄顺序累积或逐点递推造成的误差传播,提升了复杂术中环境下电极触点定位的可靠性与可核查性。