颅脑靶点定位方法、装置及存储介质

1.本技术涉及医疗技术领域，尤其涉及一种颅脑靶点定位方法、装置及存储介质。


背景技术：

2.获取颅脑靶点在物理空间中的准确位置，是颅脑手术导航、经颅磁刺激、电刺激治疗导航的基础。一般而言，靶点可在影像空间手工选取或通过算法自动规划等方式得到，因此需要通过空间变换得到在物理空间中的真实坐标。
3.求解坐标变换时，常采用多目相机拍摄三维图像，并通过探针指示或其他方式得到被试脑表面数个标志点在相机空间中的坐标，并与这些标志点在影像空间中的坐标配准，实现从影像空间到相机空间的变换；相机同时识别物理空间中一些标志点（已知物理空间坐标），从而得到相机空间到物理空间的变换。应用两个变换可将影像空间中的靶点映射到物理空间。
4.但现有技术中对于标志点的选取，如选取面部关键点，由于皮肤的变形会导致标志点的位置不固定，进而影响空间变换的准确性，降低了靶点定位精度；若选取骨钉标志点会损伤颅骨。而且现有的固定相机拍摄方案中为了获取大的视场角，相机的分辨率会下降，从而靶点定位的精度也下降。


技术实现要素：

5.本技术实施例提供一种颅脑靶点定位方法、装置及存储介质，用以解决现有技术中颅脑靶点定位精度低的技术问题。
6.第一方面，本技术实施例提供一种颅脑靶点定位方法，包括：基于被试对象头部的结构光点云图像确定棋盘格标志点，并将所述被试对象头部的影像点云图像配准至所述结构光点云图像上，获得第一变换；所述结构光点云图像是利用结构光相机拍摄得到的；所述第一变换用于表征点云从影像空间到相机空间的变换；基于所述棋盘格标志点在相机空间中的坐标和所述棋盘格标志点在物理空间中的坐标确定第二变换；所述第二变换用于表征点云从相机空间到物理空间的变换；基于所述第一变换和所述第二变换确定物理空间下的颅脑靶点坐标。
7.在一些实施例中，所述方法还包括：利用结构光相机从多个位姿拍摄被试对象的头部，得到多幅初始点云图像；所述结构光相机是由机械臂牵引的；将多幅初始点云图像配准至同一图像，得到结构光点云图像。
8.在一些实施例中，所述基于所述棋盘格标志点在相机空间中的坐标和所述棋盘格标志点在物理空间中的坐标确定第二变换之前，还包括：利用激光测距传感器确定所述棋盘格标志点在物理空间中的坐标。
9.在一些实施例中，所述基于被试对象头部的结构光点云图像确定棋盘格标志点，包括：
从所述结构光点云图像中提取目标黑方格；所述目标黑方格是通过对所述结构光点云图像进行预处理得到的；确定每两个目标黑方格之间的最近距离；在所述最近距离小于预设阈值的情况下，将所述最近距离对应的两个目标黑方格之间连线的中点作为棋盘格标志点。
10.在一些实施例中，所述基于所述第一变换和所述第二变换确定物理空间下的颅脑靶点坐标，包括：基于所述被试对象头部的三维影像确定影像空间下的颅脑靶点坐标；基于所述第一变换和第二变换将所述影像空间下的颅脑靶点坐标转换为物理空间下的颅脑靶点坐标。
11.在一些实施例中，所述方法还包括：利用结构光相机以同一位姿在不同时间点拍摄被试对象的面部，得到面部点云图像，并将在手术或治疗操作之前拍摄的面部点云图像中的点云作为基准点云；基于所述面部点云图像中的面部点云与所述基准点云进行点云配准，得到第三变换；所述第三变换用于表征从所述基准点云所在的空间到所述面部点云所在的空间的变换；基于所述第三变换和所述基准点云计算所述面部点云的平均位移；基于所述面部点云的平均位移对所述颅脑靶点进行位移校正。
12.在一些实施例中，在所述面部点云的平均位移大于或等于预设门限的情况下，所述基于所述面部点云的平均位移对所述颅脑靶点进行位移校正，包括：基于所述第三变换更新所述第二变换；基于所述第一变换和更新后的第二变换更新物理空间下的颅脑靶点坐标，并根据当前时间点的面部点云更新基准点云；基于更新后的基准点云对更新坐标后的颅脑靶点进行位移校正。
13.第二方面，本技术实施例提供一种颅脑靶点定位装置，包括：第一确定模块，用于基于被试对象头部的结构光点云图像确定棋盘格标志点，并将所述被试对象头部的影像点云图像配准至所述结构光点云图像上，获得第一变换；所述结构光点云图像是利用结构光相机拍摄得到的；所述第一变换用于表征点云从影像空间到相机空间的变换；第二确定模块，用于基于所述棋盘格标志点在相机空间中的坐标和所述棋盘格标志点在物理空间中的坐标确定第二变换；所述第二变换用于表征点云从相机空间到物理空间的变换；第三确定模块，用于基于所述第一变换和所述第二变换确定物理空间下的颅脑靶点坐标。
14.第三方面，本技术实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一方面所述的颅脑靶点定位方法。
15.第四方面，本技术实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面所述的颅脑靶点定位方法。
16.第五方面，本技术实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的颅脑靶点定位方法。
17.本技术实施例提供的颅脑靶点定位方法、装置及存储介质，将被试对象头部的影像点云图像配准至所述结构光点云图像上，获得第一变换，基于所述棋盘格标志点在相机空间中的坐标和所述棋盘格标志点在物理空间中的坐标确定第二变换，基于所述第一变换和所述第二变换完成影像空间到相机空间、再到物理空间的两步变换，实现颅脑靶点在物理空间中的无创及精准定位。
附图说明
18.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
19.图1是本技术实施例提供的颅脑靶点定位方法的流程示意图；图2是本技术实施例提供的颅脑靶点定位方法的示例场景的设备安装方式示意图；图3是本技术实施例提供的颅脑靶点定位方法的示例场景的靶点位置监测及校正流程示意图；图4是本技术实施例提供的一种颅脑靶点定位装置的结构示意图；图5是本技术实施例提供的电子设备的结构示意图；附图标记：1：机械臂；2：结构光相机；3：工作平台；4：激光测距传感器；5：计算机；6：立体定位头架；7：棋盘格标志物。
具体实施方式
20.颅脑靶点定位的关键是标志点的选取，为了达到更高精度的颅脑靶点定位，所选取的标志点要求既能在影像上高精度定位，也能在相机空间中定位，包括自动识别或利用探针手动指示等方式，且标志点与颅骨相对位置固定。
21.现有的靶点定位技术中，若利用面部关键点（如鼻尖、嘴角、眼角等）自动识别，由于皮肤在不同状态下容易变形，面部关键点可能在影像和相机拍摄时处于不同位置，从而影响影像空间至相机空间变换的准确性。此外，由于面部关键点检测技术基本上是基于人脸数据开发的，导致这种方式在实验动物（如猕猴）上的应用受限，实验难度大。
22.若将颅骨上固定骨钉并将其作为标志点，其中骨钉需在影像上可显影，同时顶端暴露在皮肤外。这种方式可以保证标志点相对颅骨不发生移动，从而达到较高精度的颅脑靶点定位，但会对被试颅骨造成一定创伤。
23.此外，现有的固定相机拍摄方案需要保证较大的拍摄视场角，视场角中需要包括颅脑标志点和物理空间标志点。但在同等硬件条件下，视场角越大，相机的分辨率越低，因此这类方案的定位精度会受到相机相对较低分辨率的限制。
24.基于上述技术问题，本技术实施例提出一种颅脑靶点定位方法，采用结构光相机
拍摄头部点云，提升了影像空间到相机空间的点云配准精度；并基于棋盘格标志点来进行相机空间到物理空间的变换，实现了影像空间到相机空间，再到物理空间的准确两步变换，保障了颅脑靶点在物理空间中定位的准确性，从而提升手术导航的安全性和准确性。
25.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
26.图1是本技术实施例提供的颅脑靶点定位方法的流程示意图，如图1所示，本技术实施例提供一种颅脑靶点定位方法。该方法包括：步骤101、基于被试对象头部的结构光点云图像确定棋盘格标志点，并将所述被试对象头部的影像点云图像配准至所述结构光点云图像上，获得第一变换；所述结构光点云图像是利用结构光相机拍摄得到的；所述第一变换用于表征点云从影像空间到相机空间的变换。
27.具体地，在本技术实施例中，靶点可指代所有脑内和脑表面目标点，包括但不限于植入手术的入颅点、颅内大脑皮层目标点和颅内深部核团目标点等。
28.在本技术实施例中，所述被试对象可以是人和实验动物（如猕猴），人的位姿可以是仰卧，实验动物的位姿可以是俯卧（sphinx）。
29.所述结构光点云图像是利用结构光相机从多角度拍摄得到的，包含多个头部点云。与常用的面部标志点相比，头部点云携带的信息量更大，受局部皮肤移动的影响小，配准精度较高；与骨钉标志点相比，基于头部点云可以做到无创定位，具有安全、便捷、易操作的优势。
30.可选地，所述被试对象头部的影像点云图像可以通过以下步骤获得：先获取被试对象头部的三维影像，例如电子计算机断层扫描（computed tomography，ct）影像或磁共振成像（magnetic resonance imaging，mri）等；通过对所述三维影像进行阈值二值化、孔洞填充等操作，获取被试对象脑部的三维影像掩膜；然后通过提取所述三维影像掩膜的边界体素的坐标，得到被试对象头部的皮肤表面点云，从而得到影像点云图像。
31.在获取被试对象头部的结构光点云图像和影像点云图像后，基于所述结构光点云图像确定出棋盘格标志点，并通过将所述影像点云图像配准至所述结构光点云图像上，获得第一变换；所述第一变换用于表征点云从影像空间到相机空间的变换。其中，点云配准的方法包括基于特征匹配的随机采样一致性（random sample consensus，ransac）全局配准和/或迭代最近点（iterative closed point，icp）局部配准等方法。
32.例如，获取被试对象头部的ct影像，对该ct影像进行阈值二值化、孔洞填充等处理，得到该ct影像的掩膜，然后提取该掩膜边界体素的坐标生成被试对象头部的皮肤表面点云，得到影像点云图像。利用结构光相机拍摄被试对象头部，得到结构光点云图像。然后，采用基于特征匹配的ransac全局配准将影像点云图像与结构光点云图像进行点云的粗配准，接着采用icp局部配准将影像点云图像与结构光点云图像进行点云的精配准，得到影像空间到相机空间变换，即第一变换；并从结构光点云图像中识别棋盘格标志点。
33.再例如，获取被试对象头部的mri影像，对该mri影像进行阈值二值化、孔洞填充等处理，得到该mri影像的掩膜，然后提取该掩膜边界体素的坐标生成被试对象头部的皮肤表
面点云，得到影像点云图像。利用结构光相机拍摄被试对象头部，得到结构光点云图像。然后，采用基于特征匹配的ransac全局配准以及icp局部配准将影像点云图像与结构光点云图像进行点云配准，得到影像空间到相机空间变换，即第一变换；并从结构光点云图像中识别棋盘格标志点。
34.步骤102、基于所述棋盘格标志点在相机空间中的坐标和所述棋盘格标志点在物理空间中的坐标确定第二变换；所述第二变换用于表征点云从相机空间到物理空间的变换。
35.具体地，在获得棋盘格标志点后，获取棋盘格标志点在相机空间以及物理空间的坐标，基于棋盘格标志点在相机空间中的坐标和棋盘格标志点在物理空间中的坐标确定第二变换，所述第二变换用于表征点云从相机空间到物理空间的变换。
36.例如，获得棋盘格标志点后，将棋盘格标志点映射在所述结构光点云图像上，获得棋盘格标志点在相机空间中的坐标；并利用激光测距传感器确定棋盘格标志点在物理空间中的坐标。基于棋盘格标志点在相机空间中的坐标和棋盘格标志点在物理空间中的坐标，利用标志点配准（landmark registration）法确定相机空间到物理空间变换，即第二变换。
37.再例如，获得棋盘格标志点后，将棋盘格标志点映射在所述结构光点云图像上，获得棋盘格标志点在相机空间中的坐标；并确定棋盘格标志点在物理空间中的坐标。基于棋盘格标志点在相机空间中的坐标和棋盘格标志点在物理空间中的坐标，利用icp局部配准确定相机空间到物理空间变换，即第二变换。
38.步骤103、基于所述第一变换和所述第二变换确定物理空间下的颅脑靶点坐标。
39.具体地，在本技术实施例中，颅脑靶点定位即获取颅脑靶点在物理空间下的坐标。基于确定的第一变换和第二变换实现颅脑靶点从影像空间到物理空间的变换，得到物理空间下的颅脑靶点坐标。
40.例如，基于被试对象头部的三维影像得到颅脑靶点在影像空间下的坐标，根据颅脑靶点在影像空间下的坐标和第一变换，得到颅脑靶点在相机空间下的坐标，根据颅脑靶点在相机空间下的坐标和第二变换，得到物理空间下的颅脑靶点坐标。
41.再例如，基于被试对象头部的三维影像得到颅脑靶点在影像空间下的坐标，记为；基于第一变换和第二变换将影像空间下的颅脑靶点坐标转化为物理空间下的颅脑靶点坐标，具体可利用以下公式实现：
42.其中，，表示物理空间下的颅脑靶点坐标；表示第二变换；表示第一变换；，表示影像空间下的颅脑靶点坐标。
43.本技术实施例提供的颅脑靶点定位方法，采用结构光相机拍摄头部点云，提升了影像空间到相机空间的点云配准精度，避免对颅脑的损伤；并基于棋盘格标志点来进行相机空间到物理空间的变换，实现了影像空间到相机空间，再到物理空间的准确两步变换，保障了颅脑靶点在物理空间中定位的准确性。
44.在一些实施例中，所述方法还包括：
利用结构光相机从多个位姿拍摄被试对象的头部，得到多幅初始点云图像；所述结构光相机是由机械臂牵引进行拍摄的；将多幅初始点云图像配准至同一图像，得到结构光点云图像。
45.具体地，利用结构光相机获得结构光点云图像；所述结构光相机是由机械臂牵引进行拍摄的。
46.使用机械臂连接结构光相机，从多个位姿（位置和姿态）拍摄被试对象的头部，得到多幅初始点云图像。其中，对得到多个位姿的方法不做限制，但每幅初始点云图像需要与其他某一幅初始点云图像有一定的重叠区域，以确保多幅初始点云图像配准的可行性；并能够拍摄到无遮挡的完整棋盘格。
47.然后，采用点云配准方法，例如基于特征匹配的ransac全局配准和/或icp局部配准等，将多幅初始点云图像逐幅配准到一幅上，得到结构光点云图像，结构光点云图像所处的坐标系称为相机坐标系或相机空间。
48.可选的，在多幅初始点云图像配准前，可利用已知的机械臂基坐标系-末端坐标系变换和机械臂末端坐标系-原始相机坐标系变换，将每一幅初始点云图像中的点云从原始相机坐标系变换到共同的机械臂基坐标系，以达到减少点云配准计算时间、减轻配准失败风险的目的。
49.例如，图2是本技术实施例提供的颅脑靶点定位方法的示例场景的设备安装方式示意图，如图2所示，颅脑靶点定位使用的设备包括一个机械臂1、一个高精度的结构光相机2、一个可指定轴移动量的工作平台3、一个有可见光指示的激光测距传感器4、一台计算机用于集成控制5、一个立体定位头架用于固定被试对象6，以及一个棋盘格标志物7（至少有3个交点且交点不对称）。将结构光相机连接在机械臂末端并固定机械臂基座，由机械臂牵引结构光相机从多个位姿拍摄被试对象的头部，得到多幅初始点云图像。利用已知的机械臂基坐标系-末端坐标系变换和机械臂末端坐标系-原始相机坐标系变换，将每一幅初始点云图像中的点云从原始相机坐标系变换到共同的机械臂基坐标系，利用基于特征匹配的ransac全局配准和icp局部配准将机械臂基坐标系下的多幅初始点云图像配准至同一图像，得到结构光点云图像。
50.本技术实施例提供的颅脑靶点定位方法，由机械臂牵引的结构光相机相比于固定拍摄的大视场角相机能达到更高的空间分辨率，因此能取得更低的相机空间棋盘格标志点定位误差，从多个位姿拍摄被试对象的头部获得的头部点云能携带更多的信息量，提高了配准精度，提升了颅脑靶点定位精度。
51.在一些实施例中，所述基于被试对象头部的结构光点云图像确定棋盘格标志点，包括：从所述结构光点云图像中提取目标黑方格；所述目标黑方格是通过对所述结构光点云图像进行预处理得到的；确定每两个目标黑方格之间的最近距离；在所述最近距离小于预设阈值的情况下，将所述最近距离对应的两个目标黑方格之间连线的中点作为棋盘格标志点。
52.具体地，在得到结构光点云图像后，从所述结构光点云图像中识别棋盘格标志点，也可称棋盘格交点。首先，对所述结构光点云图像进行一系列预处理，例如，图像分割、灰度
处理、阈值二值化、中值滤波去噪、图像腐蚀和/或多边形检测等，从而提取出目标黑方格。
53.例如，对所述结构光点云图像进行分割，得到目标棋盘格平面；对所述目标棋盘格平面的二维灰度图像进行阈值二值化、中值滤波去噪、图像腐蚀、多边形检测等处理，得到所述目标棋盘格平面上的目标黑方格。
54.然后，基于目标黑方格之间的距离确定棋盘格标志点：先确定每两个目标黑方格之间的最近距离，然后判断所述最近距离是否小于预设阈值，若小于预设阈值，则将所述最近距离对应的两个目标黑方格之间连线的中点作为棋盘格标志点。
55.例如，计算每两个目标黑方格之间的多个距离，从而获知每两个目标黑方格之间的最近距离，如基于四个目标黑方格可得到六个最近距离，分别为d1、d2、d3、d4、d5和d6。然后判断最近距离是否小于预设阈值d0，若小于d0，则将该距离对应的两个目标黑方格间的连线中点作为棋盘格标志点，假设得到的六个最近距离中，d2、d4和d5的值小于d0，则将d2对应的两个目标黑方格间的连线中点、d4对应的两个目标黑方格间的连线中点和d5对应的两个目标黑方格间的连线中点作为棋盘格标志点。
56.本技术实施例提供的颅脑靶点定位方法，通过对结构光点云图像进行分割、灰度处理等获得目标黑方格，并基于目标黑方格间的距离确定棋盘格标志点，并通过计算目标黑方格之间的最近距离，以预设阈值作为判断依据，将符合条件的最近距离对应的目标黑方格之间连线的中点作为棋盘格标志点，保证了棋盘格标志点的有效性和可用性。
57.在一些实施例中，所述基于所述棋盘格标志点在相机空间中的坐标和所述棋盘格标志点在物理空间中的坐标确定第二变换之前，还包括：利用激光测距传感器确定所述棋盘格标志点在物理空间中的坐标。
58.具体地，在获得棋盘格标志点后，将所述棋盘格标志点映射在所述结构光点云图像上，获得所述棋盘格标志点在相机空间中的坐标，并利用激光测距传感器确定所述棋盘格标志点在物理空间中的坐标。然后再基于所述棋盘格标志点在相机空间中的坐标和所述棋盘格标志点在物理空间中的坐标确定第二变换。
59.其中，激光测距传感器固定于棋盘格上方，且激光测距传感器相对工作平台可上下移动，并保证激光发射方向垂直向下。
60.例如，如图2所示，棋盘格固定在立体定位头架上靠近头部的位置，激光测距传感器固定于棋盘格上方，相对工作平台可上下移动。通过计算机小心操纵工作平台移动，目视使激光对准各个棋盘格标志点，计算机在对准后记录下工作平台轴移动量以及激光测距传感器移动的距离。基于工作平台轴移动量以及激光测距传感器移动距离，计算棋盘格标志点在物理空间下的坐标。
61.本技术实施例提供的颅脑靶点定位方法，采用激光辅助的方式手动定位物理空间中的棋盘格标志点，减小了棋盘格标志点的定位误差，从而进一步提高颅脑靶点定位精度。
62.在一些实施例中，所述基于所述第一变换和所述第二变换确定物理空间下的颅脑靶点坐标，包括：基于所述被试对象头部的三维影像确定影像空间下的颅脑靶点坐标；基于所述第一变换和所述第二变换将所述影像空间下的颅脑靶点坐标转换为物理空间下的颅脑靶点坐标。
63.具体地，在获得第一变换和第二变换之后，基于所述被试对象头部的三维影像确
定影像空间下的颅脑靶点坐标，基于所述第一变换和第二变换将所述影像空间下的颅脑靶点坐标转换为物理空间下的颅脑靶点坐标。
64.例如，基于被试对象头部的三维影像得到颅脑靶点在影像空间下的坐标，记为；基于第一变换和第二变换将影像空间下的颅脑靶点坐标转化为物理空间下的颅脑靶点坐标，具体可利用以下公式实现：
65.其中，，表示物理空间下的颅脑靶点坐标；表示第二变换；表示第一变换；，表示影像空间下的颅脑靶点坐标。
66.本技术实施例提供的颅脑靶点定位方法，采用影像空间到相机空间，再到物理空间两步变换的方式，实现了颅脑靶点在物理空间中的无创及精准定位。
67.在一些实施例中，所述方法还包括：利用结构光相机以同一位姿在不同时间点拍摄被试对象的面部，得到面部点云图像，并将在手术或治疗操作之前拍摄的面部点云图像中的点云作为基准点云；基于所述面部点云图像中的面部点云与所述基准点云进行点云配准，得到第三变换；所述第三变换用于表征从所述基准点云所在的空间到所述面部点云所在的空间的变换；基于所述第三变换和所述基准点云计算所述面部点云的平均位移；基于所述面部点云的平均位移对所述颅脑靶点进行位移校正。
68.具体地，利用结构光相机拍摄被试对象的面部需要以同一位姿拍摄。在使用结构光相机多角度拍摄结束后，或在手术或治疗操作之前，再拍摄一幅被试对象的面部点云作为基准点云。在手术或治疗操作过程中每隔一段时间便以同一位姿拍摄被试对象的面部，得到多个面部点云图像。
69.将所述面部点云图像中的面部点云与所述基准点云进行点云配准，得到第三变换。基于第三变换和所述基准点云计算所述面部点云的平均位移，并根据该平均位移对所述颅脑靶点进行位移校正。
70.例如，图3是本技术实施例提供的颅脑靶点定位方法的示例场景的靶点位置监测及校正流程示意图，如图3所示，使用结构光相机多角度拍摄结束后，再拍摄一幅被试面部的点云作为基准点云，此时相机位姿记为v。在手术或治疗操作中每间隔一段时间以相机位姿v拍摄一幅被试面部点云，将与配准（包括但不限于icp配准），得到所在空间（原相机空间）到所在空间的变换。计算面部点云的平均位移为：
71.其中，表示面部点云的平均位移；n表示基准点云中的点数量；，
表示中第i个点；表示所在空间到所在空间的变换。然后，基于对所述颅脑靶点进行位移校正。
72.本技术实施例提供的颅脑靶点定位方法，利用结构光相机拍摄被试对象的面部对靶点位置进行及时监测和校准，进一步保障了颅脑靶点定位的准确性。
73.在一些实施例中，所述在所述面部点云的平均位移大于或等于预设门限的情况下，所述基于所述面部点云的平均位移对所述颅脑靶点进行位移校正，包括：基于所述第三变换更新所述第二变换；基于所述第一变换和更新后的第二变换更新物理空间下的颅脑靶点坐标，并根据当前时间点的面部点云更新基准点云；基于更新后的基准点云对更新坐标后的颅脑靶点进行位移校正。
74.具体地，利用预设门限对面部点云的平均位移进行判断，若所述面部点云的平均位移小于预设门限，则继续利用结构光相机以同一位姿每隔一段时间拍摄被试对象的面部，得到面部点云图像，并基于基准点云和新得到的面部点云图像重复计算面部点云的平均位移的操作。
75.若所述面部点云的平均位移大于或等于预设门限，则进行颅脑靶点位移校正。基于所述第三变换更新所述第二变换，基于所述第一变换和更新后的第二变换更新物理空间下的颅脑靶点坐标。然后更新基准点云为当前时间点的面部点云，重复位移校正操作，即重新拍摄以同一位姿每隔一段时间拍摄被试对象的面部得到面部点云图像，并基于基准点云和新得到的面部点云图像重复计算面部点云的平均位移，然后基于预设门限执行靶点位移校正。
76.例如，如图3所示，得到面部点云的平均位移后，如果小于预设门限，则重新获取面部点云图像，否则发出位移提示并进行靶点位移校正。首先，更新第二变换（相机-物理空间变换）：
77.其中，表示第二变换；表示基准点云所在空间到面部点云所在空间的变换。
78.靶点在物理空间下的新坐标为：
79.更新被试面部基准点云为此时的面部点云，重复位移校正操作直到操作完成。
80.本技术实施例提供的颅脑靶点定位方法，采用结构光相机拍摄头部点云，提升了影像空间到相机空间的点云配准精度；并基于棋盘格标志点来进行相机空间到物理空间的变换，实现了影像空间到相机空间，再到物理空间的准确两步变换，保障了颅脑靶点在物理空间中定位的准确性，从而提升手术导航的安全性和准确性。
81.图4是本技术实施例提供的一种颅脑靶点定位装置的结构示意图，如图4所示，本
申请实施例提供一种颅脑靶点定位装置，包括第一确定模块401、第二确定模块402和第三确定模块403。
82.所述第一确定模块401用于基于被试对象头部的结构光点云图像确定棋盘格标志点，并将所述被试对象头部的影像点云图像配准至所述结构光点云图像上，获得第一变换；所述结构光点云图像是利用结构光相机拍摄得到的；所述第一变换用于表征点云从影像空间到相机空间的变换。
83.所述第二确定模块402用于基于所述棋盘格标志点在相机空间中的坐标和所述棋盘格标志点在物理空间中的坐标确定第二变换；所述第二变换用于表征点云从相机空间到物理空间的变换。
84.所述第三确定模块403用于基于所述第一变换和所述第二变换确定物理空间下的颅脑靶点坐标。
85.在一些实施例中，还包括：第一获取模块，用于利用结构光相机从多个位姿拍摄被试对象的头部，得到多幅初始点云图像；所述结构光相机是由机械臂牵引进行拍摄的；第二获取模块，用于将多幅初始点云图像配准至同一图像，得到结构光点云图像。在一些实施例中，还包括：第四确定模块，用于利用激光测距传感器确定所述棋盘格标志点在物理空间中的坐标。
86.在一些实施例中，所述第一确定模块包括：提取单元，用于从所述结构光点云图像中提取目标黑方格；所述目标黑方格是通过对所述结构光点云图像进行预处理得到的；第一确定单元，用于确定每两个目标黑方格之间的最近距离；第二确定单元，用于在所述最近距离小于预设阈值的情况下，将所述最近距离对应的两个目标黑方格之间连线的中点作为棋盘格标志点。
87.在一些实施例中，所述第三确定模块包括：第三确定单元，用于基于所述被试对象头部的三维影像确定影像空间下的颅脑靶点坐标；转换单元，用于基于所述第一变换和第二变换将所述影像空间下的颅脑靶点坐标转换为物理空间下的颅脑靶点坐标。
88.在一些实施例中，还包括：第三获取模块，用于利用结构光相机以同一位姿在不同时间点拍摄被试对象的面部，得到面部点云图像，并将在手术或治疗操作之前拍摄的面部点云图像中的点云作为基准点云；第四获取模块，用于基于所述面部点云图像中的面部点云与所述基准点云进行点云配准，得到第三变换；所述第三变换用于表征从所述基准点云所在的空间到所述面部点云所在的空间的变换；计算模块，用于基于所述第三变换和所述基准点云计算所述面部点云的平均位移；校正模块，用于基于所述面部点云的平均位移对所述颅脑靶点进行位移校正。
89.在一些实施例中，在所述面部点云的平均位移大于或等于预设门限的情况下，所述校正模块包括：第一更新单元，用于基于所述第三变换更新所述第二变换；第二更新单元，用于基于所述第一变换和更新后的第二变换更新物理空间下的颅脑靶点坐标，并根据当前时间点的面部点云更新基准点云；校正单元，用于基于更新后的基准点云对更新坐标后的颅脑靶点进行位移校正。
90.具体地，本技术实施例提供的上述颅脑靶点定位装置，能够实现上述颅脑靶点定位方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
91.需要说明的是，本技术上述各实施例中对单元/模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
92.图5是本技术实施例提供的一种电子设备的结构示意图，如图5所示，所述电子设备可以包括：处理器（processor）501、通信接口（communications interface）502、存储器（memory）503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信。处理器501可以调用存储器503中的逻辑指令，以执行颅脑靶点定位方法，该方法包括：基于被试对象头部的结构光点云图像确定棋盘格标志点，并将所述被试对象头部的影像点云图像配准至所述结构光点云图像上，获得第一变换；所述结构光点云图像是利用结构光相机拍摄得到的；所述第一变换用于表征点云从影像空间到相机空间的变换；基于所述棋盘格标志点在相机空间中的坐标和所述棋盘格标志点在物理空间中的坐标确定第二变换；所述第二变换用于表征点云从相机空间到物理空间的变换；基于所述第一变换和所述第二变换确定物理空间下的颅脑靶点坐标。
93.具体地，处理器501可以是中央处理器（central processing unit，cpu）、专用集成电路（application specific integrated circuit，asic）、现场可编程门阵列（field programmable gate array，fpga）或复杂可编程逻辑器件（complex programmable logic device，cpld），处理器也可以采用多核架构。
94.存储器503中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（read-only memory ，rom）、随机存取存储器（random access memory，ram）、磁碟或者光盘等各种可以存储程序代码的介质。
95.在一些实施例中，还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行
时，计算机能够执行上述各方法实施例提供的颅脑靶点定位方法，该方法包括：基于被试对象头部的结构光点云图像确定棋盘格标志点，并将所述被试对象头部的影像点云图像配准至所述结构光点云图像上，获得第一变换；所述结构光点云图像是利用结构光相机拍摄得到的；所述第一变换用于表征点云从影像空间到相机空间的变换；基于所述棋盘格标志点在相机空间中的坐标和所述棋盘格标志点在物理空间中的坐标确定第二变换；所述第二变换用于表征点云从相机空间到物理空间的变换；基于所述第一变换和所述第二变换确定物理空间下的颅脑靶点坐标。
96.具体地，本技术实施例提供的上述计算机程序产品，能够实现上述各方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
97.在一些实施例中，还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于使计算机执行上述各方法实施例提供的颅脑靶点定位方法，该方法包括：基于被试对象头部的结构光点云图像确定棋盘格标志点，并将所述被试对象头部的影像点云图像配准至所述结构光点云图像上，获得第一变换；所述结构光点云图像是利用结构光相机拍摄得到的；所述第一变换用于表征点云从影像空间到相机空间的变换；基于所述棋盘格标志点在相机空间中的坐标和所述棋盘格标志点在物理空间中的坐标确定第二变换；所述第二变换用于表征点云从相机空间到物理空间的变换；基于所述第一变换和所述第二变换确定物理空间下的颅脑靶点坐标。
98.具体地，本技术实施例提供的上述计算机可读存储介质，能够实现上述各方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
99.需要说明的是：所述计算机可读存储介质可以是处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器（例如软盘、硬盘、磁带、磁光盘（mo）等）、光学存储器（例如cd、dvd、bd、hvd等）、以及半导体存储器（例如rom、eprom、eeprom、非易失性存储器（nand flash）、固态硬盘（ssd））等。
100.另外需要说明的是：本技术实施例中术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”所区别的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。
101.本技术实施例中术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
102.本技术实施例中术语“多个”是指两个或两个以上，其它量词与之类似。
103.本技术中的“基于a确定b”表示确定b时要考虑a这个因素。并不限于“只基于a就可以确定出b”，还应包括：“基于a和c确定b”、“基于a、c和e确定b”、基于“a确定c，基于c进一步确定b”等。另外还可以包括将a作为确定b的条件，例如，“当a满足第一条件时，使用第一方法确定b”；再例如，“当a满足第二条件时，确定b”等；再例如，“当a满足第三条件时，基于第
一参数确定b”等。当然也可以是将a作为确定b的因素的条件，例如，“当a满足第一条件时，使用第一方法确定c，并进一步基于c确定b”等。
104.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器和光学存储器等）上实施的计算机程序产品的形式。
105.本技术是参照根据本技术实施例的方法、设备（系统）、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机可执行指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机可执行指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
106.这些处理器可执行指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的处理器可读存储器中，使得存储在该处理器可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
107.这些处理器可执行指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
108.显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。