基于深度相机的放射治疗体位监测系统的制作方法

1.本发明涉及放射治疗中体位监测技术领域，尤其涉及基于深度相机的放射治疗体位监测系统。


背景技术：

2.放射治疗是肿瘤临床治疗的三大主要手段之一，大部分恶性肿瘤患者在接受治疗的过程中或多或少都需要接受放疗。放疗的目的是最大限度的杀灭肿瘤细胞，而使周围正常组织和器官免受或少受射线照射。有研究表明，放射治疗过程中病人体位不准确会使得病人的复发率大大提高。锥形束ct(cbct)是目前最常用的图像引导放疗技术，在治疗前进行ct影像重建后获得三维影像模型，与治疗计划的患者模型进行比较，计算出治疗床需要调节的参数，但cbct具有辐射的缺点。
3.但放疗次数多、周期长，影响患者体位精确性的因素众多。放疗前的摆位依据患者体表的标记线进行，但标记线易模糊，且对于肥胖患者或者皮肤松弛的患者，依据体表标记线摆位误差较大，因此需要提出新的方法辅助技术人员进行摆位。
4.放疗中影响患者体位变化的因素主要有以下几个：(1)呼吸运动和其他组织的自主运动引起肿瘤组织不规则的移动问题，这个问题主要集中在胸腹部。患者可能采取胸式呼吸也可能采取腹式呼吸，也可能在放疗过程中出现吸气、呼气过度的情况，从而引起靶区的移动。(2)对于乳腺等非刚性器官，活动度大，在分次治疗间容易出现摆位误差，因此在放疗过程中时，必须保持胸壁、手臂等在相对一致的位置，不能随意改变肢体位置，而现有的cbct技术无法确认治疗过程中患者肢体是否保持位置不变。(3)对于盆腔部位的患者，膀胱的充盈程度对肿瘤的位置、危及器官的位置(oar)及患者体表定位线的位置都有很大的影响。(4)对于儿童、老年或者无意识的患者很可能会在治疗的过程中出现不自主的移动，常用的放疗引导技术难以监测到这种体位的变化。因此需要提出新的方法对放疗过程中患者的体位进行实时监测，实时与技术人员反映患者的体位变化。
5.专利号201610464508.6提出的一种用于放疗的位置监测方法，将靶点标记放在患者体表，参考标记放在固有坐标系，用监测模块接收靶点标记块和参考标记块的信号完成位置监测。但标记易脱落和位移，对患者体位跟踪产生很大影响，其次个别标记点位移不足以代替整个靶区的位移，且靶区外患者的肢体摆放也对靶区的位移有较大影响，尤其对于乳腺和宫颈患者。
6.专利号201811579081.x提出一种红外光和可见光三维重建的放疗辅助系统。患者的定位ct数据导入治疗计划系统中进行计划设计，包括靶区勾画、剂量计算等过程，因此治疗时患者的体位应该以定位ct体位为准。上述发明对于重建的体表并未与定位ct进行配准，计算实际摆位体位与定位体位之间的误差，其次，可见光和红外光重建效果受环境影响较大，监测有一定难度。


技术实现要素：

7.本发明要解决的技术问题是：提供一种基于深度相机的放射治疗体位监测系统，可以以具体误差数值引导患者体位的调整，还可以在放疗中对体位实时监测。
8.本发明解决其技术问题所采用的技术方案是：
9.一种基于深度相机的放射治疗体位监测系统，
10.包括坐标系转换系统、体位监测模块；
11.所述坐标系转换系统，用于确定世界坐标系与定位ct坐标系的转换关系
12.体位监测模块：通过深度相机获取患者体位点云，并分割出目标点云p；将患者通过定位ct系统获取的定位ct数据导入点云处理软件分割出患者的定位ct点云，再通过世界坐标系与定位ct坐标系之间的转换关系转换到世界坐标系中形成定位点云p
ct-sim
，将目标点云p与定位点云p
ct-sim
进行实时点云精配准计算六维误差，并输出结果；
13.深度相机所在坐标系为世界坐标系，定位ct系统所在坐标系为定位ct坐标系。
14.进一步地，所述坐标系转换系统中确定世界坐标系与定位ct坐标系的转换关系的方法为：
15.将校准模体固定于加速器等中心进行cbct扫描，对得到的cbct数据进行重建并分割出cbct点云q
phantom
；
16.采用固定于治疗床上方的深度相机来获取校准模体的表面点云，分割出校准模体点云p
phantom
；
17.将校准模体点云p
phantom
与cbct点云q
phantom
配准，确定世界坐标系和cbct坐标系之间的转换关系
18.通过tps治疗计划系统获取cbct坐标系与定位ct坐标系之间的移床关系从而确定世界坐标系与定位ct坐标系之间的转换关系
[0019][0020]
进一步地，所述体位监测模块包括放疗摆位验证模块和/或放疗实时监测模块；
[0021]
所述放疗摆位验证模块，用于在放疗前对患者体位进行摆位验证；
[0022]
所述放疗实时监测模块，用于患者放疗中体位实时监测。
[0023]
进一步地，所述放疗摆位验证模块：通过深度相机进行放疗前患者体位摆位的点云采集，并从采集的点云信息中手动分割出患者的摆位点云信息p
patient
；将患者通过定位ct系统获取的定位ct数据导入点云处理软件分割出患者的定位ct点云，再通过世界坐标系与定位ct坐标系之间的转换关系转换到世界坐标系中形成定位点云p
ct-sim
；将分割出的患者的摆位点云信息p
patient
与定位点云p
ct-sim
进行点云精配准计算六维误差，并输出结果。
[0024]
进一步地，所述放疗实时监测模块：通过深度相机实时获取患者放疗中体位点云，并实时自动分割出实时目标点云p
realtime-patient
；将患者通过定位ct系统获取的定位ct数据导入点云处理软件分割出患者的定位ct点云，再通过世界坐标系与定位ct坐标系之间的转换关系转换到世界坐标系中形成定位点云p
ct-sim
，将实时目标点云p
realtime-patient
与定
位点云p
ct-sim
进行实时点云精配准计算六维误差，并输出结果。
[0025]
进一步地，所述点云精配准准则为：
[0026]
采用最小化点云中的点到目标点云对应点所在的平面距离作为配准准则：
[0027][0028]
其中，t表示变换矩阵，pi、qi分别表示源点云与目标点云中的对应点，ni表示qi对应点的法向量。
[0029]
进一步地，所述的基于深度相机的放射治疗体位监测系统还包括
[0030]
混合现实引导放疗摆位模块，用于引导患者放疗摆位；
[0031]
混合现实引导放疗摆位模块：利用定位ct系统对患者进行定位ct扫描获取定位ct数据重建患者的三维虚拟模型，在加速器等中心处渲染生成混合现实模型；
[0032]
操作人员采用hololens混合现实眼镜以混合现实模型为标准引导放疗摆位。
[0033]
本发明的有益效果是：
[0034]
(1)通过对患者实际位置的上表面点云与定位ct上表面点云配准，计算六维误差，以具体误差数值引导患者体位的调整。
[0035]
(2)为解决放疗中体位变化的问题，本发明引入放疗中体位实时监测模块，以毫秒级/帧的速度完成患者体表点云的自动提取并与定位ct点云自动配准计算误差，若大于设定误差，发出警报，实现实时体位监测。
[0036]
(3)本发明采用固定的深度相机来获取患者体表点云，以深度相机所在坐标系为真实的物理空间即世界坐标系，通过校准模体确定世界坐标系与定位ct坐标系之间的转换关系，这种转换关系可以用于所有的患者，因此坐标系转换关系仅需进行一次校准确认即可，无需定期校准。
[0037]
(4)为解决放疗前操作人员依据患者体表标记线摆位引起的误差，本发明引入混合现实引导放疗模块。混合现实引导放疗模块可以将患者的定位ct体位以可视化的形式呈现在加速器等中心处，实现混合现实三维可视化，技术人员可以通过hololens眼镜直观地看到加速器等中心处的定位ct体位，并以此对患者进行摆位，具有更好的直观性，有效引导患者放疗的摆位。
附图说明
[0038]
下面结合附图和实施方式对本发明进一步说明。
[0039]
图1为采用本发明的基于深度相机的放射治疗体位监测系统进行点云实时体位监测的流程图；
[0040]
图2为本发明中定位ct坐标系与世界坐标系的关系转换示意图；
[0041]
图3为采用本发明来引导患者摆位的混合现实模型效果图；
[0042]
图4是本发明中的校准模体的结构示意图；
具体实施方式
[0043]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
[0044]
如图1-图4，一种基于深度相机的放射治疗体位监测系统，包括坐标系转换系统、体位监测模块；
[0045]
所述坐标系转换系统，用于确定世界坐标系与定位ct坐标系的转换关系
[0046]
体位监测模块：通过深度相机获取患者体位点云，并分割出目标点云p；将患者通过定位ct系统获取的定位ct数据导入点云处理软件分割出患者的定位ct点云，再通过世界坐标系与定位ct坐标系之间的转换关系转换到世界坐标系中形成定位点云p
ct-sim
，将目标点云p与定位点云p
ct-sim
进行实时点云精配准计算六维误差，并输出结果；
[0047]
深度相机所在坐标系为世界坐标系，定位ct系统所在坐标系为定位ct坐标系。
[0048]
所述坐标系转换系统中确定世界坐标系与定位ct坐标系的转换关系的方法为：
[0049]
将校准模体固定于加速器等中心进行cbct扫描，对得到的cbct数据进行重建并分割出cbct点云q
phantom
；
[0050]
采用固定于治疗床上方的深度相机来获取校准模体的表面点云，分割出校准模体点云p
phantom
；
[0051]
将校准模体点云p
phantom
与cbct点云q
phantom
配准，确定世界坐标系和cbct坐标系之间的转换关系
[0052]
通过tps治疗计划系统获取cbct坐标系与定位ct坐标系之间的移床关系从而确定世界坐标系与定位ct坐标系之间的转换关系
[0053][0054]
优选的，所述体位监测模块包括放疗摆位验证模块和/或放疗实时监测模块；
[0055]
所述放疗摆位验证模块，用于在放疗前对患者体位进行摆位验证；
[0056]
所述放疗实时监测模块，用于患者放疗中体位实时监测。
[0057]
所述放疗摆位验证模块：通过深度相机进行放疗前患者体位摆位的点云采集，并从采集的点云信息中手动分割出患者的摆位点云信息p
patient
；将患者通过定位ct系统获取的定位ct数据导入点云处理软件分割出患者的定位ct点云，再通过世界坐标系与定位ct坐标系之间的转换关系转换到世界坐标系中形成定位点云p
ct-sim
；将分割出的患者的摆位点云信息p
patient
与定位点云p
ct-sim
进行点云精配准计算六维误差，并输出结果。
[0058]
所述放疗实时监测模块：通过深度相机实时获取患者放疗中体位点云，并实时自动分割出实时目标点云p
realtime-patient
；将患者通过定位ct系统获取的定位ct数据导入点云处理软件分割出患者的定位ct点云，再通过世界坐标系与定位ct坐标系之间的转换关系转换到世界坐标系中形成定位点云p
ct-sim
，将实时目标点云p
realtime-patient
与定位点云p
ct-sim
进行实时点云精配准计算六维误差，并输出结果。
[0059]
优选的，所述点云精配准准则为：
[0060]
采用最小化点云中的点到目标点云对应点所在的平面距离作为配准准则：
[0061]
[0062]
其中，t表示变换矩阵，pi、qi分别表示源点云与目标点云中的对应点，ni表示qi对应点的法向量。
[0063]
优选的，所述的基于深度相机的放射治疗体位监测系统，还包括
[0064]
混合现实引导放疗摆位模块，用于引导患者放疗摆位；
[0065]
混合现实引导放疗摆位模块：利用定位ct系统对患者进行定位ct扫描获取定位ct数据重建患者的三维虚拟模型，在加速器等中心处渲染生成混合现实模型；
[0066]
操作人员采用hololens混合现实眼镜以混合现实模型为标准引导放疗摆位。
[0067]
参照图1，采用上述基于深度相机的放射治疗体位监测系统进行混合现实引导摆位及点云实时体位监测的方法，包括以下步骤：
[0068]
步骤s1、确定世界坐标系与定位ct坐标系的转换关系：
[0069]
坐标转换关系示意图如图2所示。采用校准模体确定世界坐标系与cbct坐标系的转换关系。将校准模体的表面标记线与激光灯对齐，确保校准模体位于加速器等中心获取cbct数据，再采用固定于治疗床上方的深度相机获取加速器等中心处校准模体表面点云，并手动分割出校准模体点云p
phantom
。将cbct数据进行重建并分割出cbct点云q
phantom
。以深度相机所在坐标系为世界坐标系，定位ct系统所在坐标系为定位ct坐标系。
[0070]
将校准模体点云p
phantom
与cbct点云q
phantom
配准，确定世界坐标系和cbct坐标系之间的转换关系
[0071]
通过tps治疗计划系统获取cbct坐标系与定位ct坐标系之间的移床关系从而确定世界坐标系与定位ct坐标系之间的转换关系而确定世界坐标系与定位ct坐标系之间的转换关系
[0072]
tps治疗计划系统(放射治疗计划系统)是一种医疗设备,通过对放射源和患者建模,来模拟计划实施的放射治疗。
[0073]
本发明采用的点云配准方法主要为主成分分析(pca)点云粗配准以及icp精配准。配准均方根误差在0.5mm-1.5mm之间满足坐标系转换精度要求。
[0074]
进一步地，基于pca的配准方法，主要利用点云数据的主轴方向进行配准。首先计算两组点云的协方差矩阵，根据协方差矩阵计算主要的特征分量，即点云数据的主轴方向，然后通过主轴方向求出旋转矩阵，计算两组点云中心坐标的偏移得到平移向量。
[0075]
进一步地，本发明采用点到平面的icp精配准。采用最小化点云中的点到目标点云对应点所在的平面距离作为配准准则：
[0076][0077]
其中，t表示变换矩阵，pi、qi分别表示源点云与目标点云中的对应点，ni表示qi对应点的法向量。相比于传统的icp算法，点到面的icp更能体现点云的空间结构，能更好地抵抗错误对应点对，迭代速度更快。
[0078]
步骤s2、混合现实引导放疗摆位：
[0079]
将定位ct数据导入tps治疗计划系统进行治疗计划设计，并将导出的dicom-rt数据进行三维重建形成三维虚拟模型，主要重建患者轮廓、ptv、ctv、oar等。将图像标识固定于加速器等中心处，hololens眼镜捕获标识将重建的三维虚拟模型固定于加速器等中心，标为金标准引导放疗患者摆位。
[0080]
进一步地，本发明采用的hololens眼镜通过即时定位与地图构建技术(slam)进行自身定位。slam中包括环境感知摄像头、深度摄像头以及惯性测量单元(imu)等传感器。其中imu等传感器感知hololens的方向，环境感知摄像头感应hololens相对位置的偏移，深度摄像头感知hololens周围环境。
[0081]
步骤s3、基于点云的放疗前体位摆位验证：
[0082]
采用intel realsense d435i深度相机进行点云采集。利用intel realsense viewer软件获取场景点云，并利用meshlab软件分割出患者的摆位点云信息p
patient
，将患者进行定位ct系统扫描获取定位ct点云，定位ct点云通过世界坐标系和ct坐标系之间的转换关系转换到世界坐标系中形成定位点云p
ct-sim
；将分割出的患者的摆位点云信息p
patient
与定位点云p
ct-sim
进行点云icp精配准计算六维误差。
[0083]
六维误差的计算如下：得到两片点云的旋转矩阵r和平移向量t,最后根据旋转矩阵r和欧拉角的关系计算出旋转误差α、β、υ，根据平移向量t计算出平移误差，并对患者体位进行进一步调整。
[0084]
进一步地，本发明采用的精配准方法为点到面的精配准迭代最近法(icp)。
[0085]
进一步地，本发明在点云配准前采用曲率下采样方法对点云进行滤波。即在点云曲率越大的地方，采样的点数就越多。该采样方法有计算效率高、稳定性高、抗噪性强、采样点局部分布均匀等特点。
[0086]
进一步地，本发明在点云配准前采用半径式离群点移除方法去除点云噪声。其原理是如果一个点的一定范围内没有达到足够多的邻域，则这个点将被视为噪声去除。
[0087]
进一步地，旋转矩阵r和欧拉角的关系为：
[0088][0089][0090][0091]
其中α为x轴偏转角度，β为y轴偏转角度，υ为z轴偏转方向。
[0092]
若icp变换后求得矩阵为：
[0093][0094]
则所求六维误差为：
[0095][0096]
步骤s4、基于点云的放疗中体位实时监测：
[0097]
本发明采用intel realsense d435i作为深度相机获取实时的点云信息。深度相机获取rgb-d图像，其中，rgb图片提供了像素坐标系下的x,y坐标，而深度图直接提供了相机坐标系下的z坐标，也就是相机与点的距离。根据rgb-d图像的信息和相机的内参，可以计算出任何一个像素点在相机坐标系下的坐标。再根据相机的外参，即可计算出任何一个像素点在世界坐标系下的坐标。
[0098]
(1)采用深度相机获取实时点云：首先深度相机获取rgb-d图像，进一步转化为三维点云坐标信息，完成点云的实时获取。
[0099]
具体过程如下：首先深度相机获取rgb-d图像；其次通过realsnese2库函数计算points；接下来通过points相关性质得到点和点对应的像素坐标；最后实现点云的可视化，将三维点数据进行渲染实现可视化，完成点云的实时获取。
[0100]
(2)点云处理区域选取：在深度相机获取的实时点云中存在大量噪声、非目标点云等干扰信息，通过区域选取，框定需要处理的点云的范围，一般选取治疗床以内区域，去除了大量非目标信息，有助于监测的实时运行。
[0101]
(3)目标点云实时分割：对选取的点云处理区域进行实时点云处理，分割出患者的上表面的实时目标点云信息，主要包括平面分割和点云法向量分割。
[0102]
具体为：通过点云平面分割提取治疗床板部分，去除治疗床板即为患者点云部分。然后对患者点云部分进行点云法向量分割，根据法向量方向选取患者的上表面点云，完成患者目标点云提取，形成实时目标点云p
realtime-patient
。
[0103]
(4)实时计算患者摆位与定位之间的误差：将患者定位ct数据导入点云处理软件分割出患者上表面定位点云，并通过世界坐标系和定位ct坐标系之间的转换关系转换到世界坐标系中形成定位点云p
ct-sim
，此时实时目标点云p
realtime-patient
、定位点云p
ct-sim
的位置关系即为患者此时实时体位与定位时体位之间的关系，将实时目标点云p
realtime-patient
与定位点云p
ct-sim
进行点云精配准计算六维误差。
[0104]
(5)判断误差与设定阈值之间的关系：将所求的六维误差与所设定阈值进行比较，若误差在阈值范围内则继续进行放疗，若超出阈值，发出警告，对患者进行重新摆位。
[0105]
六维误差的计算如前：得到两片点云的旋转矩阵r和平移向量t,最后根据旋转矩阵r和欧拉角的关系计算出旋转误差α、β、υ，根据平移向量t计算出平移误差，并对患者体位进行进一步调整。
[0106]
完成平移和旋转误差的实时计算之后，需要与所设定的阈值进行比较。本发明设定对于头颈部的患者各轴的平移误差不能大于3mm，对于胸腹部患者各轴的平移误差不能大于5mm，对于所有病人旋转误差不能大于3
°
。若平移误差和旋转误差都能小于所设定的阈值，则继续进行放疗，若一旦超出阈值，则发出警告，对患者进行重新摆位。
[0107]
本发明采用固定的深度相机来获取患者体表点云，以深度相机所在坐标系为真实的物理空间即世界坐标系，通过校准模体确定世界坐标系与定位ct坐标系之间的转换关系，这种转换关系可以用于所有的患者，因此坐标系转换关系仅需进行一次校准确认即可，无需定期校准。
[0108]
为解决放疗前技术员依据患者体表标记线摆位引起的误差，本发明引入混合现实引导放疗技术和放疗前体位验证技术。混合现实引导放疗技术可以将患者的定位ct体位以可视化的形式呈现在加速器等中心处，实现混合现实三维可视化，技术人员可以通过hololens眼镜直观地看到加速器等中心处的定位ct体位，并以此对患者进行摆位，具有更好的直观性。放疗前体位验证技术可以通过对患者实际位置的上表面点云与定位ct上表面点云配准，计算六维误差，以具体误差数值引导患者体位的调整。
[0109]
为解决放疗中体位变化的问题，本发明引入放疗中体位实时监测技术，以毫秒级/帧的速度完成患者体表点云的自动提取并与定位ct点云自动配准计算误差，若大于设定误差，发出警报。
[0110]
本发明采用深度相机获取患者表面大范围点云，并以可视化的ptv所在区域划分为roi1区，ptv以外区域划分为roi2区。可以对靶区内和靶区外体位同时监测，增加监测的精确度。
[0111]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。