一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种显示点云配准结果的方法、装置及存储介质与流程

2022-07-10 03:15:19 来源:中国专利 TAG:


1.本发明涉及点云配准领域,具体而言,涉及一种显示点云配准结果的方法、装置及存储介质。


背景技术:

2.伴随着科技的发展,医生进行诊疗时可结合病灶的二维图像和三维立体模型进行综合分析。其中,三维立体模型可以通过三维扫描不同角度的点云数据进行配准得到。
3.但是,由于点云数据不具备边界信息和领域信息,配准后的点云图难以直接判断出是否配准成功。相关技术可以通过将点云图进行mesh化进行配准结果的判断,但是mesh的显示效果中病灶表面纹理粗糙,沟壑纵深,显示效果不佳。


技术实现要素:

4.本发明提供的一种显示点云配准结果的方法、装置及存储介质,可以在临床中快速对配准结果进行判断,为快速、准确制定放射治疗计划提供支持。
5.第一方面,本发明实施例提供了一种显示点云配准结果的方法,所述方法包括:
6.获取目标对象的第一点云数据和第二点云数据;
7.将所述第一点云数据和所述第二点云数据进行点云配准,得到配准后的第一点云数据和第二点云数据;
8.分别将所述配准后的第一点云数据和第二点云数据转换为第一深度图像和第二深度图像;
9.将所述第一深度图像和所述第二深度图像进行图像通道转换,得到三通道的深度图像,所述三通道的深度图像用于显示所述目标对象的点云配准结果。
10.在其中一个实施例中,所述第一点云数据是所述点云配准过程中的基准图像,为根据所述目标对象的计划图像外轮廓生成的点云数据,或,摆位完成后存储的所述目标对象的点云数据。
11.在其中一个实施例中,所述第一深度图像和所述第二深度图像均为单通道的深度图像;所述将所述第一深度图像和所述第二深度图像进行图像通道转换,得到三通道的深度图像,包括:
12.将所述第一深度图像和所述第二深度分别进行图像通道转换,得到第一三通道的深度图像和第二三通道的深度图像;
13.其中,所述第一三通道的深度图像的图像颜色与所述第二三通道的深度图像的图像颜色形成互补色。
14.在其中一个实施例中,所述方法还包括:
15.若所述三通道的深度图像存在偏色,确定所述第一点云数据和所述第一点云数据配准未对齐;
16.若所述三通道的深度图像不存在所述偏色,确定所述第一点云数据和所述第一点
云数据配准已对齐。
17.在其中一个实施例中,所述方法还包括:
18.响应对所述第一点云数据和所述第二点云数据其中任一点云数据的任一位姿的调整操作,生成调整后位姿对应的三通道的深度图像。
19.在其中一个实施例中,所述方法还包括:
20.显示所述调整后位姿对应的三通道的深度图像。
21.在其中一个实施例中,若显示界面包括第一区域和第二区域;所述方法还包括:
22.将所述配准后的第一点云数据和第二点云数据显示于所述第一区域,将所述三通道的深度图像显示于所述第二区域。
23.在其中一个实施例中,将所述第一点云数据和第二点云数据进行点云配准,还得到所述第一点云数据和所述第二点云数据的相对偏移量;所述方法包括:
24.将所述第一点云数据和所述第二点云数据的相对偏移量发送给放射治疗控制设备,以控制放疗设备治疗头中止出束或治疗床位置进行调整。
25.第二方面,本发明实施例还提供一种显示点云配准结果装置,包括:处理器以及存储器,所述存储器存储有所述处理器可执行的计算机程序,所述处理器执行所述计算机程序,以执行如第一方面任一所述的显示点云配准结果方法。
26.第三方面,本发明实施例还提供一种计算机可读存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如第一方面任一所述的显示点云配准结果方法。
27.本发明提供的一种显示点云配准结果的方法、装置及存储介质,通过对目标对象配准后的两幅点云数据进行深度图转换,并将转换后的深度图再次进行图像通道转换,最终使用三通道的深度图像来显示目标对象的点云配准结果,使得点云配准的结果更为清晰明了的同时,更贴近放疗临床中医师熟悉的显示方式,便于医师在临床中快速对配准结果进行判断。并且,由于三通道的深度图像画面平整均匀,与临床上惯用的二维切片显示效果类似,相较于粗糙且颗粒感重的传统点云显示或mesh显示,可以提升用户的感官体验。
附图说明
28.为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
29.图1为本发明提供的一种放射治疗系统的结构示意图;
30.图2为本发明提供的一种显示点云配准结果方法的流程示意图;
31.图3为本发明提供的另一种显示点云配准结果方法的流程示意图;
32.图4为本发明提供的一种显示界面的结构示意图;
33.图5为本发明提供的一种显示点云配准结果的虚拟装置的示意图;
34.图6为本发明提供的一种显示点云配准结果装置的示意图。
35.图标:1,放射治疗设备;11,治疗床;12,放疗装置;2,点云相机;3,显示点云配准结果装置;31,显示设备;4,放射治疗控制设备;30,处理器;40,存储器;1000,获取模块;2000,
配准模块;3000,第一转换模块;4000,第二转换模块。
具体实施方式
36.为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
37.因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
38.应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
39.在对本发明进行详细地解释之前,先对本发明的可能应用的一种场景予以介绍。
40.在对目标对象例如患者颅内的病灶进行放射治疗过程中,通常使用高能量的射线杀死肿瘤细胞,因此,病灶是否准确定位到放射治疗位置关系到患者的放射治疗效果。
41.为了进行目标对象的准确定位,通常需要对实时获取的点云数据和参考点云数据进行配准,最终得到配准后目标对象的点云数据。但是,由于点云数据是在三维坐标系下是一组离散的点,点与点之间不具有拓扑信息和领域信息,并且对于整组点云数据来说,也不具备边界信息。在理想情况下,配准后的两组点云数据应该互相重合。但是由于点云的特性,无法展现出点与点之间的位置关系,会出现即使配准后未对齐的点云数据在显示效果上依旧互相重合,这也就导致很难直接通过配准后的点云数据观察判断出配准是否已对齐。
42.在相关技术中,可以对点云数据进行mesh(无线网格网络)化,从而使得点云所重建的三维物体中,点与点之间具有拓扑信息和领域信息,且在进行配准是否已对齐的判断过程中,可以直观判断出结果。但是,mesh化的点云数据在显示效果上颗粒感严重,虽然可以判断出配准结果,但是并不适用于临床上的诊疗过程中。尤其是在对患者的头部点云数据mesh化后,由于呈现出来为头部的逼真的三维立体画面,而且该三维立体头部上具有密密麻麻的、凹凸不平的颗粒效果,显示效果不佳。同时,这种三维显示效果也与传统临床上医师惯用的显示方式不同,增加了临床认知难度,用户体验欠佳。
43.因此,本技术实施例提供一种显示点云配准结果的方法、装置及存储介质,使得点云配准结果清晰明了,可以快速判断出点云配准结果,同时更贴近放疗临床中医师熟悉的显示方式,提升用户的感官体验。
44.如下将结合附图通过多个实施例对本技术提供的显示点云配准结果方法进行解释说明。执行显示点云配准结果方法的显示点云配准结果装置可以为具有处理功能的计算机设备,其可以为笔记本电脑、台式电脑、服务器等计算机设备。
45.为了清楚的说明使用本技术提供的显示点云配准结果方法的实际场景,本发明实施例提供一种放射治疗体表光学定位系统的可能实现方式。图1为本发明提供的一种放射治疗体表光学定位系统的结构示意图,如图1所示,该放射治疗体表光学定位系统包括:放
射治疗设备1、点云相机2、显示点云配准结果装置3和放射治疗控制设备4,其中,放射治疗设备1包括用于承载并定位患者的治疗床11、具有放射治疗空间的放疗装置12;点云相机2和显示点云配准结果装置3连接,点云相机2可以获取位于治疗床11上的目标对象(如患者的头部或体部)的第一点云数据,显示点云配准结果装置3可以获取目标对象的第一点云数据和第二点云数据并进行配准,然后将配准结果发送给放射治疗控制设备4;放射治疗控制设备4根据配准结果控制治疗床11移动,以使目标对象的病灶移动到放疗装置12在放射治疗空间内的目标放射治疗位置处,例如放疗装置12的等中心;放射治疗控制设备4还可以根据配准结果控制放疗装置12中治疗头中的放射源关闭,以使目标对象的病灶在放射治疗中偏移放疗装置12的等中心时控制治疗头中止出束。
46.这里,第一点云数据可以是目标对象的实时点云数据;第二点云数据可以是基准图像,为根据目标对象的计划图像例如ct图像和/或mri图像外轮廓生成的点云数据,或者是摆位完成后存储的目标对象的点云数据。
47.在对目标对象进行放射治疗之前,需要对目标对象进行摆位,在摆位之前,先将患者固定在治疗床11上,可以利用点云相机2对目标对象的体表进行成像,得到目标对象的实时点云数据。可选地,可以使用无创方式例如放疗定位膜将目标对象固定在治疗床11上,放疗定位膜可以是头膜、体模或者头颈肩膜等。
48.需要说明的是,目标对象可以为患者病灶所在的部位,例如患者的头部、患者体部等部位。若目标对象为患者的头部,则点云相机2拍摄的目标对象可以包括患者的整个或部分头部,例如患者的眼睛鼻子所在区域,同理,若目标对象为患者的体部,则点云相机2拍摄的目标对象可以包括患者病灶所在的整个或部分体部,例如患者病灶所在的胸部、腹部或其他部位。
49.点云相机2可以设置在治疗床11的两侧,也可以设置在治疗室的天花板上或者其他位置,可对目标对象进行拍摄即可。当点云相机2的拍摄范围足够广的情况下,点云相机2可以是一个,当然,点云相机2也可以是两个以上,用以于多方位拍摄点云数据。
50.当拍摄了目标对象的第一点云数据之后,点云相机2可以将拍摄的第一点云数据通信传输至显示点云配准结果装置3。这里,通信传输包括无线传输或者有线传输方式,无线传输可以包括:wifi、蓝牙、nfc等传输方式,有线传输可以包括:线缆传输等。
51.显示点云配准结果装置3还可以执行下述任一种显示点云配准结果的方法,相应的,显示点云配准结果装置3包括显示设备31,用以显示点云配准结果,例如执行显示点云配准结果的方法得到的三通道的深度图像。显示点云配准结果装置3可以为只具有显示功能的显示屏,也可以为同时具有触屏功能和显示功能的显示屏,本技术对此不做限制。
52.放射治疗控制设备4可以为具有处理功能的计算机设备,其可以为笔记本电脑、台式电脑、服务器、plc电路等。
53.在上述图1提供的一种放射治疗体表光学定位系统的基础上,为了清楚的介绍显示点云配准结果的过程,本发明还通过了一种显示点云配准结果的可能实现方式。图2为本发明提供的一种显示点云配准结果方法的流程示意图。如图2所示,该显示点云配准结果的方法,包括:
54.s110,获取目标对象的第一点云数据和第二点云数据。
55.其中,目标对象可以为患者的头部、体部等部位,也可是头部或体部上的部分部
位,也可以为预设模体对象,如头模、体模等模体。示例性地,若对颅内病灶进行治疗,则目标对象为患者的头部;若对胸内病灶进行治疗,则目标对象为患者的胸部。
56.需要说明的是,对于第一点云数据和第二点云数据来说,在对目标对象摆位过程中,第一点云数据可以为通过点云相机2实时获取的目标对象的点云数据,第二点云数据可以为根据ct图像和/或mri图像等计划图像生成的点云数据;在对目标对象放射治疗过程中,第一点云数据可以为通过点云相机2实时获取的目标对象的点云数据,第二点云数据可以为根据ct图像和/或mri图像等计划图像生成的点云数据,也可以为此前在对目标对象摆位完成后通过点云相机2获取的目标对象的点云数据。
57.可选地,对于通过点云相机2实时获取的目标对象的第一点云数据来说,获取时可在一个角度拍摄点云数据,也可以在多个角度拍摄点云数据。可以是一部点云相机2在一个角度拍摄,也可以是一部点云相机2在多个角度拍摄;同时,也可以是多部点云相机2在各自固定的角度拍摄,也可以是多部点云相机2在多个角度拍摄,本实施例对放射治疗体表光学定位系统中点云相机2的数量、设置位置不做具体限制。
58.可选地,若针对目标对象得到了一部或多部点云相机2拍摄的多个点云数据,需要对拍摄的点云数据进行拼接、融合,进而得到实时获取的目标对象的第一点云数据。
59.可选地,由于ct图像和mri图像等计划图像都具有外轮廓,可以根据ct图像或mri图像等计划图像的外轮廓得到目标对象的第二点云数据。
60.在一种可能的实现方式中,以ct图像为例,若目标对象为患者的头部,患者佩戴面膜扫描ct图像,由于面膜材质的hu值(hounsfield unit,亨氏单位,是计算机断层扫描(ct)中普遍使用的无量纲单位,用于表达ct数值)与人脸皮肤或空气的hu值不同,因此,可以选择合适的hu阈值对原始ct图像进行二值化分割,并对分割后的二值化图像进行边缘检测轮廓提取,如使用canny算子进行外轮廓的提取,即可得到患者皮肤的外轮廓信息。该外轮廓信息由一个个三维坐标构成,即可得到目标对象的第二点云数据。对于根据mri图像的外轮廓得到目标对象的第二点云数据,也具有相同的方法,不再赘述。
61.可选地,在对ct图像或mri图像等计划图像进行外轮廓提取之前,可以对图像进行预处理,如通过图像滤波降低图像中的噪声。
62.在另一种可能的实现方式中,可以直接将得到的ct图像或mri图像等计划图像导入进mimics(医学图像数据处理)软件中,使用segmentation(分割)工具将针对目标对象感兴趣的区域进行分割,再使用calculate 3d(三维图形计算器)工具进行目标对象的三维重建,得到目标对象的三维重建模型,再将其转换保存为点云格式模型,就可得到目标对象的第二点云数据。
63.可选地,若对目标对象不仅进行了ct拍摄,还进行了mri拍摄,可以先将ct图像和mri图像进行图像融合,根据融合后的图像的外轮廓生成目标对象的第二点云数据。
64.s120,将第一点云数据和第二点云数据进行点云配准,得到配准后的第一点云数据和第二点云数据。
65.为了判断出当前目标对象是否摆位完成,或判断放射治疗过程中目标对象是否发生移动等,需要将第一点云数据和第二点云数据进行点云配准,得到配准后的第一点云数据和第二点云数据。
66.需要说明的是,点云数据是指在一个三维坐标系中的一组向量集合,这组向量集
合采用(x,y,z)三维坐标形式来表示。点云配准就是将两幅点云数据,根据点与点之间的对应关系,以其中一幅点云数据为基准图像,另一幅图像为浮动图像,根据两幅点云数据坐标之间的旋转矩阵,将浮动图像中所有点云的坐标经过旋转矩阵变换,变换至基准图像的坐标系位置上。在本实施例中,将点云相机2实时获取的目标对象的点云数据,即第一点云数据作为浮动图像;将根据ct图像和/或mri图像等计划图像生成的点云数据,或在对目标对象摆位完成后通过点云相机2获取的目标对象的点云数据,即第二点云数据作为基准图像。通过浮动图像和基准图像的配准,判断当前目标对象是否摆位完成,或判断放射治疗过程中目标对象是否发生移动等。
67.在一种可能的实现方式中,为了得到旋转矩阵,可以使用预设的点云配准算法,如迭代最近点算法、基于特征匹配的配准算法等进行计算。在一种可能的实现方式中,也可以使用开源程序平台编译的点云配准算法进行两幅图像的自动化配准,只需输入两幅点云数据信息即可自动得到配准后的图像。
68.在另一种可能的实现方式中,当得到目标对象的第一点云数据和第二点云数据之后,可以根据预设体表模板对作为基准图像的点云数据进行裁剪,得到基准图像中感兴趣的区域。然后再使用整幅浮动图像与基准图像中感兴趣的区域进行配准,最终得到配准后的第一点云数据和第二点云数据。
69.在另一种可能的实现方式中,由于一般获取到的三维点云数据量巨大且伴随着很多噪声,如果输入原始的三维点云数据会导致点云配准算法耗时增加,并且噪声的存在会影响配准的准确率。因此,当得到目标对象的第一点云数据和第二点云数据之后,为了降低三维点云数据的数量级的同时减少数据中的噪点,可以先采用预设滤波算法,如体素网格滤波法对第一点云数据和第二点云数据分别进行滤波处理,使用滤波后的第一点云数据和滤波后的第二点云数据进行配准工作。
70.s130,分别将配准后的第一点云数据和第二点云数据转换为第一深度图像和第二深度图像。
71.由于深度图像可以利用每个像素的不同的灰度值来体现某一点距离相机的远近,从而弥补点云数据无法体现点与点之间前后关系的问题。因此,可以分别将配准后的第一点云数据和第二点云数据转换为第一深度图像和第二深度图像。由于深度图像为二维图像,任一像素仅能表示二维方向例如(x,y)方向的信息,也就是说,仅能在一幅深度图像中显示一个观察视角,即一个位姿的图像。因此,可以根据预设位姿,将配准后的第一点云数据和第二点云数据转换为对应位姿下的第一深度图像和第二深度图像。
72.可选地,在转换过程中,可以计算每一个三维点云与投影平面之间的投影距离,使用该距离作为点云对应像素的灰度值,进而将整幅点云数据转换为深度图像。可选地,在进行计算过程中,为了避免有部分三维点云距离投影平面过远造成在转为深度图时出现噪点,可以设置预设距离,当三维点云距离投影平面大于该距离时,舍弃该点云,不参与深度图转换。
73.在一种可能的实现方式中,可以直接使用开源的转换算法对点云数据进行深度图的转换。通过输入配准后的第一点云数据和第二点云数据,还有预设的位姿,就可以生成第一深度图像和第二深度图像。
74.s140,将第一深度图像和第二深度图像进行图像通道转换,得到三通道的深度图
像,三通道的深度图像用于显示目标对象的点云配准结果。
75.为了便于观察点云配准的结果,还需要对第一深度图像和第二深度图像进行图像通道转换,从而得到三通道的深度图像。其中,三通道的深度图像表示该图像为rgb色彩模式下的图像,图像中每个像素点都具有r(red,红色)、g(green,绿色)、b(blue,蓝色)三个颜色通道。
76.可选地,在进行图像通道转换过程中,可以分别将第一深度图像和第二深度图像复制在r、g、b三个通道上,并根据颜色需求对两幅图像进行着色,示例性的,可以输入需求颜色的rgb值从而得到由两幅三通道的深度图像构成的三通道的深度图像,其中,两幅三通道的深度图像的颜色不同。
77.由于深度图像可以展现出像素之间的位置距离投影面的前后关系,且着色后的两幅三通道的深度图像可以具有颜色差异,因此,通过观察两幅三通道的深度图像,即可判断出目标对象的点云配准结果。若三通道的深度图像画面中仅能显示单一颜色,则说明配准已对齐;若三通道的深度图像画面中超过一种颜色,则说明配准未对齐。基于此,便实现了对点云配准结果的快速判断。同时,最终显示的三通道的深度图像为二维图像,更加符合放疗临床上熟悉的显示方式,即更为贴近临床上惯用的二维切片显示方式,使得对于医师来说减少适应过程,提升感官体验。
78.本实施例通过对目标对象配准后的两幅点云数据进行深度图转换,并将转换后的深度图再次进行图像通道转换,最终使用三通道的深度图像来显示目标对象的点云配准结果,使得点云配准的结果更为清晰明了的同时,更贴近放疗临床中医师熟悉的显示方式,便于医师在临床中快速对配准结果进行判断。并且,由于三通道的深度图像画面平整均匀,与临床上惯用的二维切片显示效果类似,相较于粗糙且颗粒感重的传统点云显示或mesh显示,可以提升用户的感官体验。
79.可选地,在上述实施例的基础中,第一点云数据是目标对象的实时点云数据,第二点云数据是点云配准过程中的基准图像,为根据目标对象的计划图像外轮廓生成的点云数据,或,摆位完成后存储的目标对象的点云数据。
80.在本实施中,限定第一点云数据为目标对象的实时点云数据,即限定第一点云数据是点云配准过程中的浮动图像,第二点云数据为点云配准过程中的基准图像。在进行配准的过程中,将第一点云数据的所有点云的坐标经过旋转矩阵变换,变换至第二点云数据的坐标系位置上。
81.对于作为浮动图像的第一点云数据来说,可以为对目标对象摆位过程中,通过点云相机2实时获取的目标对象的点云数据,或,为在放射治疗过程中,通过点云相机2实时获取的目标对象的点云数据。
82.需要说明的是,计划图像为针对目标对象拍摄的ct图像、mri图像,可以根据计划图像的外轮廓得到目标对象的第二点云数据。或,当目标对象在治疗床11上被固定,在对目标对象进行摆位完成后,即目标对象的病灶的靶点/靶区中心点对齐放疗装置12的等中心后,此时点云相机2针对目标对象拍摄的点云数据即为配准过程中作为基准图像的点云数据,即,得到目标对象的第二点云数据。
83.在本实施例中,通过使用实时获取的点云数据作为浮动图像,使用计划图像外轮廓生成的点云数据或摆位完成后存储的目标对象作为基准图像,使得作为基准图像的点云
数据包含了放疗过程中需要使用的目标对象的全部点云数据,便于从第一点云图像和第二点云图像的配准结果中判断出当前目标对象是否摆位完成,或判断放射治疗过程中目标对象是否发生移动。
84.在上述图2提供的一种显示点云配准结果方法的基础上,为了详细说明图像通道转换的过程,本发明还提供了一种图像通道转换的可能实现方式。在本实施例中,第一深度图像和第二深度图像均为单通道的深度图像;上述s140中将第一深度图像和第二深度图像进行图像通道转换,得到三通道的深度图像,包括:
85.s142,将第一深度图像和第二深度分别进行图像通道转换,得到第一三通道的深度图像和第二三通道的深度图像。
86.其中,第一三通道的深度图像的图像颜色与第二三通道的深度图像的图像颜色形成互补色。
87.单通道的深度图像为灰色,由于人眼对彩色变化远比对灰度变化敏感,为了便于快速观察目标对象的点云配准结果,可以在分别进行第一深度图像和第二深度进行图像通道转换的过程中,将得到的第一三通道的深度图像的图像颜色和第二三通道的深度图像的图像颜色设置为互补色。当两幅图像形成互补色之后,对于观察图像边缘一些原始灰度变化很小的细节,有很好的效果。
88.在一种可能的实现方式中,当单通道的深度图像经过图像通道转换后,得到了两幅三通道的深度图像,在对这两幅三通道的深度图像进行着色时,需要使输入的rgb1和rgb2要形成互补色。例如,当rgb1=(255,255,0)时,可输入rgb2=(0,0,255)使得两幅三通道的深度图像的图像颜色形成互补色。其中rgb1代表第一三通道的深度图像的rgb值,rgb2代表第二三通道的深度图像的rgb值。
89.在本实施例中,通过使两幅单通道的深度图像转换为两幅形成互补色的三通道的深度图像,使得在观察两幅三通道的深度图像叠加构成的三通道的深度图像时,可以更为快速地捕捉到图像边缘处的细节,有利于快速观察目标对象的点云配准结果。
90.在上述图2提供的一种显示点云配准结果方法的基础上,为了详细说明判断目标对象的点云配准结果的过程,本发明还提供了一种判断点云配准结果的可能实现方式。图3为本发明提供的一种判断点云配准结果方法的流程示意图。如图3所示,方法包括:
91.s210,若三通道的深度图像存在偏色,确定第一点云数据和第一点云数据配准未对齐。
92.s220,若三通道的深度图像不存在偏色,确定第一点云数据和第一点云数据配准已对齐。
93.因为对于两个形成互补色的像素来说,若两个像素进行重叠对齐,则显示灰色;若两个像素没有重叠对齐,则会显示偏色,即画面中会显示彩色。为了快速从三通道的深度图像中判断出点云配准的结果,利用灰色和彩色之间巨大的视觉差异,将配准后的第一点云数据和第二点云数据经单通道的深度图像转换为三通道的深度图像之后,会显示出两幅为互补色的三通道的深度图像的叠加显示效果,即对于最终显示图像来说,若当前的图像中存在偏色,出现彩色,说明转换前的配准后的第一点云数据和第二点云数据在配准后未对齐;若当前的图像中不存在偏色,整体为灰色,说明转换前的配准后的第一点云数据和第二点云数据在配准后已对齐。
94.则,对于最终显示的三通道的深度图像来说,可以利用互补色像素叠加对齐呈灰色,互补色像素叠加未对齐呈偏色的原理快速从最终得到三通道的深度图像中判断出目标对象的点云配准结果是否已对齐,节省配准判断时间的同时,纯灰色的图像也更加符合临床上医师熟悉的显示方式,提升用户的感官体验。
95.在上述图2提供的一种显示点云配准结果方法的基础上,本发明还提供另一种显示点云配准结果的可能实现方式。在本实施例中,上述方法还包括:
96.s310,响应对第一点云数据和第二点云数据其中任一点云数据的任一位姿的调整操作,生成调整后位姿对应的三通道的深度图像。
97.需要说明的是,由于第一点云数据和第二点云数据都为三维数据,而深度图像为二维图像。在生成深度图像的过程中,需要选择人眼观察点云数据的视角,即选择观察点云数据的位姿,就可以生成对应位姿下的深度图像。
98.在本实施例中,可以在点云配准结束后,用鼠标通过交互调整人眼观察点云数据的位姿,对第一点云数据和第二点云数据中任一点云数据进行位姿的调整操作,则显示点云配准结果装置3就可响应对第一点云数据和第二点云数据其中任一点云数据的任一位姿的调整操作,生成对应位姿下的深度图像,进而转换生成调整后位姿对应的三通道的深度图像。
99.在一种可能的实现方式中,该显示设备31具有触屏功能,则可以直接使用手指触屏对第一点云数据和第二点云数据其中任一点云数据进行任一位姿的调整操作,然后由显示点云配准结果装置3响应操作,生成调整后位姿对应的三通道的深度图像。
100.由于两幅点云数据已经过配准,拥有相同的坐标系统,因此无论调整哪一幅点云数据的位姿,在生成深度图像时,另一幅点云数据也会生成对应位姿下的深度图像,从而根据两幅调整后位姿对应的三通道的深度图像,构成可以直接判断配准结果的三通道的深度图像。
101.在本实施例中,通过响应点云数据任意位姿的调整操作就可得到对应位姿的三通道的深度图像,使得对于在进行制定放射治疗计划时便于多角度地进行观察目标对象,避免了单一角度深度图像造成的信息误差,便于医师在临床中快速对配准结果进行判断。
102.在上述方法的基础上,本实施例还包括:
103.s312,显示调整后位姿对应的三通道的深度图像。
104.对于显示点云配准结果装置3来说,具备显示设备31,可以直接在显示设备31上显示调整后位姿对应的三通道的深度图像。即,只需要用鼠标或触屏调整第一点云数据和第二点云数据其中任一点云数据的任一位姿,就可以即刻显示调整后位姿对应的三通道的深度图像,提升临床上医师的感官体验。
105.在上述图2提供的一种显示点云配准结果方法的基础上,本发明还提供另一种显示点云配准结果的可能实现方式。图4为本发明提供的一种显示界面的结构示意图。如图4所示,若显示界面包括第一区域和第二区域,上述方法还包括:
106.s410,将配准后的第一点云数据和第二点云数据显示于第一区域,将三通道的深度图像显示于第二区域。
107.若显示点云配准结果装置3中显示设备上显示界面包括第一区域和第二区域,其中第一区域和第二区域的形状、大小本技术不做限制。
108.可选地,可以将配准后的第一点云数据和第二点云数据显示于第一区域,将三通道的深度图像显示于第二区域。在一种可能的实现方式中,可以在第一区域中用鼠标或触屏调整配准后的第一点云数据和第二点云数据中任一点云数据的进行任一位姿的调整,则显示点云配准结果装置3响应调整操作后,即可在第二区域显示调整后位姿对应的三通道的深度图像。
109.通过这样的显示方式,可以在临床诊疗过程中更为全面地即时显示出点云配准的各个位姿下所包含的信息,贴近临床上医师惯用的显示方式,节省医师对于配准结果判断的时间。
110.在上述图2提供的一种显示点云配准结果方法的基础上,本发明还提供一种控制放疗计划的可能实现方式。上述方法中,将第一点云数据和第二点云数据进行点云配准,还得到第一点云数据和第二点云数据的相对偏移量,上述方法还包括:
111.s510,将第一点云数据和第二点云数据的相对偏移量发送给放射治疗控制设备,以控制放疗设备治疗头中止出束或治疗床位置进行调整。
112.由于在点云配准过程中,是根据点与点之间的对应关系,利用两幅点云数据之间的旋转矩阵,将浮动图像的中所有点云的坐标经过旋转矩阵变换至基准图像的坐标系位置上,从而消除两个点云数据之间的相对偏移量,完成配准。在配准完全已对齐的理想状态下,两个点云数据之间的相对偏移量为0。但是在实际操作中,允许配准完成后的两个点云数据之间具有预设相对偏移量阈值范围(例如0.1毫米)内的相对偏移量。
113.可选地,在进行第一点云数据和第二点云数据的点云配准后,还可以得到第一点云数据和第二点云数据的点云坐标位置之间的相对偏移量。将第一点云数据和第二点云数据的点云坐标位置之间的相对偏移量发送给放射治疗控制设备,使得放射治疗控制设备4按照预设相对偏移量阈值对得到的相对偏移量进行判断。若第一点云数据和第二点云数据的相对偏移量在预设相对偏移量阈值范围内,则放射治疗控制设备4无需动作;若第一点云数据和第二点云数据的相对偏移量不在预设相对偏移量阈值范围内,若第一点云数据为在放射治疗过程中,通过点云相机2实时获取的目标对象的点云数据,则放射治疗控制设备4会控制放疗装置12中治疗头中止出束;若第一点云数据为在对目标对象摆位过程中,通过点云相机2实时获取的目标对象的点云数据,则放射治疗控制设备4会控制治疗床11位置进行调整,以使目标对象的病灶移动到放疗装置12的等中心处。
114.在一种可能的实现方式中,放射治疗控制设备4可以具有报警装置,设置有三色指示灯,当需要指示放疗设备治疗头中止出束时,放射治疗控制设备15显示为红灯;当需要控制治疗床位置进行调整时,放射治疗控制设备15显示为黄灯;当无需进行任何调整时,放射治疗控制设备15显示为绿灯。同时,在放射治疗控制设备15显示为红灯或黄灯时,可以同时发出预设分贝大小的语音警报以提醒工作人员。可选地,放射治疗控制设备4也可以包含显示设备,例如显示屏,便于对工作人员进行提示,若需要放射治疗控制设备4进行控制,可以直接在显示屏幕上显示文案“中止治疗”或“调整治疗床”,本实施例不作限制。
115.在本实施例中,通过将点云配准的结果及时发送至放射治疗控制设备,使得放射治疗控制设备可以及时指示工作人员对放射治疗计划进行调整,保障了放射治疗计划的可靠性和安全性。
116.图5为本发明提供的一种显示点云配准结果的虚拟装置的示意图,如图5所示,该
显示点云配准结果的虚拟装置,包括:
117.获取模块1000,用于获取目标对象的第一点云数据和第二点云数据。
118.配准模块2000,用于将第一点云数据和第二点云数据进行点云配准,得到配准后的第一点云数据和第二点云数据。
119.第一转换模块3000,用于分别将配准后的第一点云数据和第二点云数据转换为第一深度图像和第二深度图像;
120.第二转换模块4000,用于将第一深度图像和第二深度图像进行图像通道转换,得到三通道的深度图像,三通道的深度图像用于显示目标对象的点云配准结果。
121.在其中一个实施例中,第一点云数据是目标对象的实时点云数据,第二点云数据是点云配准过程中的基准图像,为根据目标对象的计划图像外轮廓生成的点云数据,或,摆位完成后存储的目标对象的点云数据。
122.在其中一个实施例中,第二转换模块4000,具体还用于将第一深度图像和第二深度分别进行图像通道转换,得到第一三通道的深度图像和第二三通道的深度图像;其中,第一三通道的深度图像的图像颜色与第二三通道的深度图像的图像颜色形成互补色。
123.在其中一个实施例中,该显示点云配准结果的虚拟装置还包括确定模块,用于若三通道的深度图像存在偏色,确定第一点云数据和第一点云数据配准未对齐;若三通道的深度图像不存在偏色,确定第一点云数据和第一点云数据配准已对齐。
124.在其中一个实施例中,该显示点云配准结果的虚拟装置还包括调整模块,用于响应对第一点云数据和第二点云数据其中任一点云数据的任一位姿的调整操作,生成调整后位姿对应的三通道的深度图像。
125.在其中一个实施例中,该显示点云配准结果的虚拟装置还包括显示模块,用于显示调整后位姿对应的三通道的深度图像。
126.在其中一个实施例中,显示模块,具体还用于若显示界面包括第一区域和第二区域;将配准后的第一点云数据和第二点云数据显示于第一区域,将三通道的深度图像显示于第二区域。
127.在其中一个实施例中,配准模块2000,具体还用于将第一点云数据和第二点云数据进行点云配准,得到第一点云数据和第二点云数据的相对偏移量。
128.在其中一个实施例中,该显示点云配准结果的虚拟装置还包括控制模块,用于将第一点云数据和第二点云数据的相对偏移量发送给放射治疗控制设备,以控制放疗设备治疗头中止出束或治疗床位置进行调整。
129.以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(application specific integrated circuit,简称asic),或,一个或多个数字信号处理器(digital singnal processor,简称dsp),或,一个或者多个现场可编程门阵列(field programmable gate array,简称fpga)等。再如,当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(central processing unit,简称cpu)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上系统(system-on-a-chip,简称soc)的形式实现。
130.图6为本发明提供的一种显示点云配准结果装置的示意图,该装置可以是具备计算处理功能的计算设备或服务器。
131.该显示点云配准结果装置3包括:处理器30以及存储器40,存储器40存储有处理器30可执行的计算机程序,处理器30执行计算机程序,以执行上述方法实施例。具体实现方式和技术效果类似,这里不再赘述。
132.本技术实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述实施例中显示点云配准结果的方法。
133.在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
134.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
135.另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
136.上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(英文:processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(英文:read-only memory,简称:rom)、随机存取存储器(英文:random access memory,简称:ram)、磁碟或者光盘等各种可以存储程序代码的介质。
137.以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献