一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种三维扫描系统、方法和装置与流程

2022-08-10 16:59:32 来源:中国专利 TAG:


1.本公开涉及三维扫描技术领域,尤其涉及一种三维扫描系统、方法和装置。


背景技术:

2.目前,三维扫描仪已在多个行业中广泛应用。三维扫描仪通过配置的三维扫描设备采集物体的图像数据,再通过有线连接的方式将采集到的图像数据传递到电脑上进行三维重建计算,得到扫描物体的第一三维模型。
3.但是,三维扫描仪需要和电脑有线连接,不便于携带,操作范围局限性较大,无法适应复杂的场景,另外,三维扫描仪扫描得到的图像数据的数据量比较大,要传输到电脑端进行处理时对传输带宽的要求比较高,导致成本也比较高。


技术实现要素:

4.为了解决上述技术问题,本公开提供了一种三维扫描系统,在扫描物体的过程中生成物体对应的至少部分第一三维模型,还能够实时显示第一三维模型,便于后续根据显示的第一三维模型对扫描情况进行调整,操作比较灵活。
5.第一方面,本公开实施例提供了一种三维扫描系统,三维扫描系统包括三维扫描仪、计算模组和显示模组;三维扫描仪基于安装的多个图像传感器生成图像数据,并基于图像数据进行三维重建计算确定目标三维数据;计算模组与三维扫描仪通信连接,以获取三维扫描仪生成的目标三维数据,并根据三维数据进行三维重建计算生成第一三维模型;显示模组与计算模组通信连接,以获取计算模组生成的第一三维模型,并实时显示第一三维模型。
6.第二方面,本公开实施例提供了一种三维扫描方法,应用于三维扫描仪,三维扫描仪包括多个图像传感器,方法包括:
7.获取图像传感器基于待扫描物体生成的图像数据;
8.根据所述图像数据进行三维重建计算确定目标三维数据,所述目标三维数据用于生成所述待扫描物体对应的第一三维模型,其中,所述目标三维数据包括所述三维扫描仪输出的激光线和所述待扫描物体上至少一个标志点对应的三维数据。
9.第三方面,本公开实施例提供了一种三维扫描方法,应用于终端,方法包括:
10.获取三维扫描仪生成的待扫描物体的三维数据;
11.根据所述待扫描物体对应的第一三维模型的生成情况确定目标融合模式,并在所述目标融合模式下,根据所述三维数据进行三维重建计算生成第一三维模型,其中,所述目标融合模式为全局融合模式或实时融合模式。
12.第四方面,本公开实施例提供了一种三维扫描装置,应用于三维扫描仪,三维扫描仪包括多个图像传感器,装置包括:
13.获取单元,用于获取图像传感器基于待扫描物体生成的图像数据;
14.确定单元,用于根据图像数据进行三维重建计算确定目标三维数据,所述目标三
维数据用于生成所述待扫描物体对应的第一三维模型,其中,所述目标三维数据包括所述三维扫描仪输出的激光线和所述待扫描物体上至少一个标志点对应的三维数据。
15.第五方面,本公开实施例提供了一种三维扫描装置,应用于终端,装置包括:
16.获取单元,用于获取三维扫描仪生成的待扫描物体的三维数据;
17.生成单元,用于根据所述待扫描物体对应的第一三维模型的生成情况确定目标融合模式,并在所述目标融合模式下,根据所述三维数据进行三维重建计算生成第一三维模型,其中,所述目标融合模式为全局融合模式和/或实时融合模式。
18.第六方面,本公开实施例提供了本公开实施例提供了一种电子设备,包括:
19.存储器;
20.处理器;以及
21.计算机程序;
22.其中,计算机程序存储在存储器中,并被配置为由处理器执行以实现如上述的三维扫描方法。
23.第七方面,本公开实施例提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行以实现上述实施例的三维扫描方法。
24.本公开实施例提供了一种三维扫描系统,三维扫描系统包括三维扫描仪、计算模组和显示模组,三维扫描仪基于安装的多个图像传感器生成图像数据,并基于图像数据进行三维重建计算确定目标三维数据,计算模组与三维扫描仪通信连接,以获取三维扫描仪生成的目标三维数据,并根据目标三维数据进行三维重建计算生成第一三维模型,显示模组与计算模组通信连接,以获取计算模组生成的第一三维模型,并实时显示第一三维模型。本公开提供的三维扫描系统可以在扫描物体的过程中生成物体对应的至少部分第一三维模型,也就是扫描物体和三维重建计算可以同时进行,还能够实时显示第一三维模型,便于后续根据显示的第一三维模型对扫描情况进行调整,操作比较灵活,可以适用于比较复杂的应用场景。
附图说明
25.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
26.为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
27.图1为本公开实施例提供的一种三维扫描系统的结构示意图;
28.图2为本公开实施例提供的另一种三维扫描系统的结构示意图;
29.图3为本公开实施例提供的一种三维数据生成方法的流程示意图;
30.图4为本公开实施例提供的一种第一三维模型生成方法的流程示意图;
31.图5为本公开实施例提供的一种三维扫描方法的流程示意图;
32.图6为本公开实施例提供的一种三维扫描方法的流程示意图;
33.图7为本公开实施例提供的一种三维扫描装置的结构示意图;
34.图8为本公开实施例提供的一种三维扫描装置的结构示意图;
35.图9为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
36.为了能够更清楚地理解本公开的上述目的、特征和优点,下面将对本公开的方案进行进一步描述。需要说明的是,在不冲突的情况下,本公开的实施例及实施例中的特征可以相互组合。
37.在下面的描述中阐述了很多具体细节以便于充分理解本公开,但本公开还可以采用其他不同于在此描述的方式来实施;显然,说明书中的实施例只是本公开的一部分实施例,而不是全部的实施例。
38.针对上述技术问题,本公开实施例提供了一种三维扫描系统,可以在扫描物体的过程中生成物体对应的至少部分第一三维模型,也就是扫描物体和三维重建计算可以同时进行,还能够实时显示第一三维模型,便于后续根据显示的第一三维模型对扫描情况进行调整,操作比较灵活,可以适用于比较复杂的应用场景,通过下述一个或多个实施例进行详细说明。
39.图1为本公开实施例提供的一种三维扫描系统的结构示意图,具体包括如图1所示的结构,图1包括三维扫描仪110、计算模组120和显示模组130,三维扫描仪110基于安装的多个图像传感器111生成图像数据,并基于图像数据确定目标三维数据;计算模组120与三维扫描仪130通信连接,以获取三维扫描仪110生成的目标三维数据,并根据目标三维数据进行三维重建生成第一三维模型;显示模组130与计算模组120通信连接,以获取计算模组130生成的第一三维模型,并实时显示第一三维模型。
40.可理解的,计算模组120和显示模组130可以配置在同一个便携式设备中,便携式设备可以理解为便携式的个人计算机(personal computer,pc),例如笔记本电脑、平板电脑或智能终端等。下面以便携式设备为平板电脑为例对三维扫描系统进行说明。三维扫描系统包括三维扫描仪110和便携式设备,三维扫描仪110与便携式设备可以是集成式配置,也可以是分离式配置,即三维扫描仪110为独立模块,便携式设备为独立模块,便携式设备可搭配不同的三维扫描仪110进行扫描,在本公开实施例中,以分离式配置进行说明,便携式设备和三维扫描仪110进行无线通讯连接。便携式设备包括计算模组120、显示模组130和通信模组,其中,计算模组中包括m1芯片或以上型号的芯片,具有图形处理技术,能够实时根据三维数据进行三维重建计算生成第一三维模型,通信模组可以是蜂窝通信模组,蜂窝通信是采用蜂窝无线组网方式,在终端和网络设备之间通过无线通道连接起来,也就是将三维扫描仪110和便携式设备通过无线通道连接起来,便于便携式设备和三维扫描仪110通讯连接,进行无线传输,具体的,计算模组120中配置三维扫描软件,三维扫描软件为便携式设备提供算法服务、超文本传输协议(hyper text transfer protocol,http)服务、渲染服务和数据传输服务,也就是便携式设备通过三维扫描软件和三维扫描仪110进行交互以及生成第一三维模型;显示模组130为便携式设备的显示屏幕,用以实时显示计算模组120构建的第一三维模型。
41.示例性的,参见图2,图2为本公开实施例提供的另一种三维扫描系统的结构示意图,图2中包括三维扫描仪210和便携式设备220,三维扫描仪210包括三维扫描集成组件211、中央处理器212、通信组件213和电源组件214,便携式设备220包括计算模组221、显示
模组222和通信模组223。三维扫描仪210是激光扫描仪时,三维扫描集成组件211包括图像传感器和投射设备,图像传感器可设置一个或多个,投射设备可以包括激光设备,激光设备用于向待扫描物体发射激光线,图像传感器用于拍摄待扫描物体表面的图像生成图像数据,激光设备可以是激光投射器,激光三维扫描仪扫描物体时,激光三维扫描仪的激光投射器向物体投射激光线而三维扫描仪的图像传感器同步捕捉物体表面覆盖有激光线的图像,图像数据则包括激光线特征,投射设备可以包括led闪烁灯,led闪烁灯照亮时,图像传感器捕捉物体表面粘贴的标志点,图像数据包括标志点特征,投射设备还可以包括散斑投射器,散斑投射器可以是dlp投影机,三维扫描仪可以以散斑模式扫描物体,三维扫描仪的散斑投射器向物体表面投射散斑图案而三维扫描仪的图像传感器同步捕捉物体表面覆盖有散斑图案的图像,此时图像数据则包括散斑特征,需要说明的是,投射设备还可以投射其他结构光图案,当然,三维扫描仪可以仅包括其中一种投射设备也可以包括多种投射设备,三维扫描仪可以仅具有一种扫描模式也可以包括多种扫描模式,此外,三维扫描集成组件与中央处理器可以集成设置,也可以分离设置;通信组件213用于和便携式设备220进行通信连接,具体可以是无线通信,例如热点和wifi等,电源组件214用于为三维扫描仪210供电,以提供三维扫描仪210上运行的各组件所需的电源,在通信组件包括无线通信组件时,电源组件包括锂电池。便携式设备220中计算模组221利用m1芯片提供算力,完成第一三维模型的实时构建,显示模组220用于实时显示第一三维模型,通信组件223用于和三维扫描仪210基于通信组件213进行通信,完成数据传输,通信组件223还提供http服务,便于将生成的工程文件导入和导出。
42.可选的,三维扫描仪210基于安装的多个图像传感器生成图像数据,并基于图像数据确定目标三维数据,具体包括:三维扫描仪210基于安装的多个图像传感器获取待扫描物体生成多个图像数据,并根据多个图像数据进行三维重建计算确定三维扫描仪210输出的目标三维数据,所述目标三维数据包括激光线和待扫描物体上至少一个标志点对应的三维数据。
43.可选的,三维扫描系统包括激光扫描模式,在激光扫描模式下,图像数据包括激光线特征和标志点特征,基于图像数据中的激光线特征进行三维重建计算生成点云三维数据,基于图像数据中的标志点特征进行三维重建计算生成标志点三维数据,目标三维数据包括点云三维数据和标志点三维数据。
44.可理解的,在使用三维扫描仪进行扫描之前,在待扫描物体上粘贴至少一个标志点,标志点可以是醒目、便于检测识别的点。标志点设置完成后,三维扫描仪210对标记后的物体进行扫描,三维扫描仪基于投射器投射结构光图案至待扫描物体表面,基于led闪烁灯闪烁照亮标志点,并基于图像传感器拍摄待扫描物体表面生成图像数据,图像数据包括结构光图案信息和标志点信息,基于图像数据提取结构光图案信息及标志点信息,基于结构光图案信息进行三维重建获得点云三维数据,基于标志点信息进行三维重建获得标志点三维数据,即目标三维数据包括点云三维数据和标志点三维数据。投射器还可以是dlp,也可以是激光投射器,以激光三维扫描仪为例,激光设备发出激光线在物体表面,安装的多个图像传感器拍摄包括至少一个标志点以及多个激光线的图像,生成多个图像数据,激光设备同一时刻可以发出多条激光线,例如7条激光线、14条激光线或48条激光线,激光设备发出的每条激光线都是由多个激光点组成的,例如三维扫描仪210左右两边各包括两个图像传
感器,两个图像传感器同时拍摄物体,生成两个图像数据,两个图像数据可以理解为采集的一帧图像对应的两个数据,下述由两个图像数据得到的三维数据可以记为一帧图像对应的三维数据,每个图像数据中都包括多条激光线和至少一个标志点,两个图像数据中均包括至少一个相同的标志点,也会包括多个相同的激光线;随后三维扫描仪210中的中央处理器212根据生成的两个图像数据中激光线特征和标志点特征,基于双目匹配原理三维重建计算,确定激光线和标志点各自对应的三维数据,也就是进行激光线三维重建和标志点三维重建,该三维数据包括激光线上的多个激光点的三维坐标、激光点数量以及标志点的三维坐标、标志点数量,多个激光点的三维坐标和标志点的三维坐标是同一个坐标系下的,具体的,三维扫描仪基于图形处理器(graphics processing unit,gpu)对图像数据进行三维重建计算确定目标三维数据。
45.可选的,显示模组222还包括编辑组件,编辑组件用于对显示模组222显示的第一三维模型进行编辑。
46.可理解的,计算模组221接收到三维扫描仪210发送的三维数据后,根据三维数据进行三维重建计算生成第一三维模型,第一三维模型是待扫描物体的至少部分第一三维模型,三维扫描仪210会向计算模组221传输每帧图像对应的目标三维数据,计算模组221将接收到的多帧目标三维数据拼接融合,计算模组221会将每帧图像对应的目标三维数据中的增量数据进行渲染并生成第一三维模型,然后通过显示模组显示,例如显示模组222可以随着扫描仪扫描的过程显示1/3物体对应的第一三维模型或者1/2物体对应的第一三维模型,也就是实时显示第一三维模型,在t时刻,显示模组显示的第一三维模型只包括模型a,在t 1时刻,对增量数据进行渲染得到的模型b,利用模型a和模型b生成t 1时刻待显示的第一三维模型,随后显示模组同时显示模型a和模型b,通过实现显示第一三维模型的方式便于用户确定扫描的数据是否准确,若是第一三维模型和物体存在差异,也就是扫描的数据可能不准确,就可以在扫描现场及时调整扫描方式。显示模组222还包括编辑组件,编辑组件用于在显示模组222实时显示第一三维模型时,对显示的第一三维模型进行编辑,例如将第一三维模型进行调整,进行删除或修改等操作,得到有效的第一三维模型。
47.可选的,计算模组221生成第一三维模型后,根据设定的配置文件、目标三维数据和第一三维模型生成并存储工程文件,工程文件用于在其他终端生成第二三维模型,第二三维模型为第一三维模型或者为根据目标三维数据及第二预设融合参数进行三维重建计算生成的三维模型。
48.可理解的,计算模组221生成第一三维模型后,计算模组221根据工程配置文件、保存的每帧图像对应的目标三维数据以及确定的有效的第一三维模型生成工程文件。随后可以将工程文件导出存储并发送至其他终端设备进行精确计算,其他终端设备可以是算力比较高的电脑,其他终端根据工程文件生成第二三维模型,其中,第二三维模型可能是第一三维模型,还可能是其他终端根据目标三维数据以及第二预设融合参数进行的三维重建计算得到的更加精确的三维模型,第二预设融合参数包括第二点距,第二点距要小于第一预设融合参数中的第一点距,下述实施例以电脑接收工程文件为例进行说明。
49.可选的,若第一三维模型的精度需要进一步提高,可在终端接收到工程文件后,执行如下操作:根据第二预设融合参数和工程文件中的目标三维数据,生成全局点云三维数据;将全局点云三维数据进行渲染,生成第二三维模型。
50.可理解的,便携式设备220建立http服务,在电脑端输入http服务对应的ip地址和端口号,选择需要导出的工程文件,将工程文件下载到电脑端,电脑端下载工程文件后,若工程文件中的第一三维模型不满足精度要求,则根据工程文件中每帧图像对应的三维数据和第二预设融合参数重新构建精度更高的第二三维模型,可理解的是,不同点距优化的点云三维数据对应的三维模型的精度不同,例如便携式设备中计算模组可以选择根据大点距优化的全局点云三维数据得到第一三维模型,大点距是指第一预设融合参数中的第一点距,以减少计算模组的计算量和内存占用量,达到实时显示第一三维模型的目的,也能够扫描比较大的物体,但是通过大点距优化得到的全局点云三维数据构建的第一三维模型精度比较低,后续可以根据用户需求通过电脑根据工程文件中每帧图像对应的三维数据采用小点距进行优化和融合,重新构建精度更高的第二三维模型,小点距是指第二预设融合参数中的第二点距,其中大点距(第一点距)是指点云距离在0.3毫米(mm)及以上,小点距(第二点距)是指点云距离在0.3毫米(mm)以下。可理解的是,电脑将三维数据全局点云三维数据通过渲染模块渲染之后,在电脑显示屏上显示渲染后生成的第二三维模型,可以通过编辑按钮,对第二三维模型进行调整,得到更加精确的第二三维模型。
51.可选的,三维扫描仪与便携式设备分离式设置,三维扫描仪配置有处理模组、投射器及图像传感器,处理模组分别与投射器、图像传感器及便携式设备通信连接;便携式设备包括外壳,便携式设备的各组件设置于外壳。
52.可选的,三维扫描仪与便携式设备集成式设置,三维扫描仪配置有投射器及图像传感器,便携式设备分别与投射器、图像传感器通信连接。
53.本公开提供的实施例还包括如下内容:
54.三维扫描系统包括三维扫描仪和便携式电脑,三维扫描仪包括扫描模组和第一计算模组,便携式电脑包括第二计算模组和显示模组,三维扫描仪与便携式电脑通信连接。
55.扫描模组包括投射器和图像传感器,投射器朝被测物体投射光,图像传感器获取被测物体表面图像生成图像数据,图像数据由图像传感器传输至第一计算模组,第一计算模组对图像数据进行三维重建计算生成目标三维数据。
56.投射器包括激光投射器,扫描模组包括激光扫描模式,例如,投射器投射激光线至被测物体表面,图像传感器获取被测物体表面图像生成图像数据,图像数据包括激光线特征;投射器包括led闪烁灯,在被测物体表面粘贴标志点,led闪烁照亮标志点,图像传感器获取被测物体表面图像生成图像数据,图像数据包括标志点特征;投射器可包括激光投射器和led闪烁灯,且激光投射器和led闪烁灯可同步工作,这样图像传感器获取的图像数据包括激光线特征和标志点特征;当然,投射器还可以包括dlp投影机等其他形式的投射器,dlp投影机可投射散斑图案,则扫描模组包括散斑扫描模式,dlp投影机可投射条纹图案,则扫描模组包括条纹扫描模式。多种形式的投射器可单独配置也可组合配置,扫描模组可仅包括单一扫描模式,也可包括多种扫描模式,扫描模组包括多种扫描模式时,可切换扫描模式进行扫描。需要说明的是,led闪烁灯通常与激光投射器组合配置。
57.图像传感器可以仅设置一个,也可以设置多个,图像传感器设置一个时,扫描模组为单目扫描模组,图像传感器设置多个时,扫描模组可包括单目扫描单元或多目扫描单元,也可包括多个扫描单元,例如包括单目扫描单元和双目扫描单元。在扫描模组基于单目扫描模组或单目扫描单元获取图像数据时,第一计算模组基于单目重建原理三维重建目标三
维数据,在扫描模组基于双目扫描模组/双目扫描单元获取图像数据时,第一计算模组基于双目重建原理三维重建目标三维数据。
58.扫描模组与第一计算模组可集成配置,设置于单一三维扫描仪外壳内,扫描模组与第一计算模组也可分离式配置,扫描模组配置独立外壳,第一计算机模组配置独立外壳。
59.第一计算模组优选为gpu计算模组,对图像数据进行并行计算。
60.三维扫描仪包括电源模组,用于为三维扫描仪内各组件供电。电源模组包括电池,优选为锂电池,使得三维扫描仪摆脱电源线的束缚。
61.三维扫描仪包括第一通信模组,三维扫描仪通过第一通信模组与便携式电脑通信连接。第一通信模组包括有线通信单元和/或无线通信单元。三维扫描仪在锂电池及无线通信单元的支撑下可摆脱线缆的束缚,扫描更自由。
62.便携式电脑包括第二通信模组,第二通信模组与第一通信模组通信连接。第二通信模组包括有线通信单元和/或无线通信单元。在本公开实施例中,无线通信单元优选蜂窝通信模组。
63.便携式电脑配置有实时融合模式,在实时融合模式下,第二计算模组通过实时计算单元进行实时融合,显示屏通过实时渲染单元增量渲染显示。
64.实时计算单元获取三维扫描仪生成的当前帧目标三维数据及之前帧目标三维数据,基于当前帧目标三维数据与之前帧目标三维数据的共有特征确定当前帧目标三维数据与基准坐标系的第一旋转平移关系,根据第一旋转平移关系及第一预设融合参数将当前帧目标三维数据融合到前一第一三维模型中,生成当前第一三维模型,基准坐标系为第一三维模型所处坐标系。
65.实时计算单元将增量第一三维模型传输给实时显示单元,实时显示单元对增量第一三维模型进行渲染显示。
66.便携式电脑配置有全局融合模式,在全局融合模式下,第二计算模组通过全局计算单元进行全局融合,显示屏通过全局渲染单元渲染显示。
67.全局计算单元,获取三维扫描仪生成的所有帧目标三维数据,基于所有帧目标三维数据的共有特征确定所有帧目标三维数据与基准坐标系的第二旋转平移关系,根据第二旋转平移关系和第一预设融合参数将所有帧目标三维数据进行融合,生成第一三维模型,基准坐标系为第一三维模型所处坐标系。
68.全局计算单元将第一三维模型传输给显示器,显示器对第一三维模型进行渲染显示。
69.在本公开实施例中,在三维扫描仪实时扫描过程中,第二计算模组同步运行实时融合模式,在三维扫描仪完成扫描后,第二计算模组运行全局融合模式。计算模组获取三维扫描仪完成扫描的信号,基于所述信号进入全局融合模式。第二计算模组优选为cpu计算模组。
70.便携式电脑包括存储模组,三维扫描仪生成的目标三维数据传输至便携式电脑并存储至存储模组,第二计算模组从存储模组中获取目标三维数据进行融合。
71.以下结合激光扫描模式作进一步具体说明:
72.扫描模组的激光投射器朝粘贴有标志点的被测物体表面投射激光线且led闪烁灯同步工作,扫描模组的两个图像传感器同步获取被测物体表面的图像生成图像数据,图像
数据包括激光线特征及标志点特征,扫描模组将图像数据传输至第一计算模组,第一计算模组提取图像数据中的激光线特征及标志点特征,第一计算模组对两个图像传感器中的激光线特征及标志点特征进行匹配,基于匹配的激光线特征进行双目立体视觉重建,生成点云三维数据,基于匹配的标志点特征进行双目立体视觉重建,生成标志点三维数据,目标三维数据包括点云三维数据和标志点三维数据,扫描模组每生成一帧图像数据(多目扫描模组同步获取的图像数据计为一帧图像数据),第一计算模组基于一帧图像数据生成一帧目标三维数据,一帧目标三维数据包括一帧点云三维数据和一帧标志点三维数据。
73.第一计算模组将目标三维数据传输至便携式电脑,便携式电脑每获取一帧目标三维数据并将其存储至存储模组。
74.便携式电脑的实时计算单元获取当前帧目标三维数据及之前帧目标三维数据,通过当前帧标志点三维数据与之前帧标志点三维数据的共有标志点特征进行跟踪拼接,确定当前帧标志点三维数据与基准坐标系的第一旋转平移关系,根据第一旋转平移关系及第一预设融合参数将当前帧点云三维数据拼接融合到前一第一三维模型中,生成当前第一三维模型。之前帧目标三维数据指在当前帧三维数据获取以前三维扫描仪获取到的一帧或多帧三维数据,前一第一三维模型指前一帧目标三维数据经实时计算单元实时拼接融合得到的第一三维模型。
75.实时计算单元将增量第一三维模型传输给实时显示单元,实时显示单元对增量第一三维模型进行渲染显示。
76.在扫描仪完成扫描后,便携式电脑的全局计算单元获取三维扫描仪生成的所有帧目标三维数据,基于所有帧标志点三维数据的共有标志点特征确定所有帧标志点三维数据与基准坐标系的第二旋转平移关系,根据第二旋转平移关系和第一预设融合参数将所有帧点云三维数据进行拼接融合,生成第一三维模型。当然,实时计算单元获取的第一三维模型如果满足要求,也可不经过全局计算单元进行全局优化计算。
77.本公开实施例提供了一种三维扫描系统,三维扫描系统包括三维扫描仪、计算模组和显示模组,三维扫描仪基于安装的多个图像传感器生成图像数据,并基于图像数据进行三维重建计算确定三维数据,计算模组与三维扫描仪通信连接,以获取三维扫描仪生成的三维数据,并根据三维数据进行三维重建计算生成第一三维模型,显示模组与计算模组通信连接,以获取计算模组生成的第一三维模型,并实时显示第一三维模型。本公开提供的三维扫描系统可以在扫描物体的过程中生成物体对应的至少部分第一三维模型,也就是扫描物体和三维重建计算可以同时进行,还能够实时显示第一三维模型,便于后续根据显示的第一三维模型对扫描情况进行调整,操作比较灵活,可以适用于比较复杂的应用场景。
78.图3为本公开实施例提供的一种三维数据生成方法的流程示意图,说明了三维扫描系统中三维扫描仪根据扫描得到的图像数据进行三维重建计算生成目标三维数据的流程,具体包括如图3所示的如下步骤s310至s330:
79.s310、根据多个图像数据中待扫描物体上同一个标志点对应的数据确定目标坐标系以及标志点在目标坐标系下的三维坐标。
80.可理解的,三维扫描仪的三维扫描集成组件中图像传感器生成图像数据后,以两个图像传感器各自生成两个图像数据为例,根据两个图像数据中同一个标志点对应的数据确定目标坐标系,例如待扫描物体包括3个标志点,两个图像数据中均包括第一个标志点对
应的数据,根据在不同角度拍摄到的图像数据中第一标志点的相关数据,确定目标坐标系,也就是将标志点作为标准参照点,随后,确定第一标志点在目标坐标系中的三维坐标。
81.s320、根据多个图像数据中三维扫描仪输出的激光线对应的数据,确定激光线上的多个激光点在目标坐标系下的三维坐标。
82.可理解的,在上述s310的基础上,三维扫描仪输出的每条激光线都是由多个激光点组成的,根据多个图像数据中相同激光点对应的数据,确定每个激光点在目标坐标系下的三维坐标,将所有激光点整合到同一个坐标系下,也就是根据图像成像位置的差异确定两个图像数据中包括的相同激光点在目标坐标系下的三维坐标,便于后续构建第一三维模型,若是一个图像数据中包括某一激光点,另一个图像数据中不包括该某一激光点,则无法精准的确定该某一激光点的准确坐标。
83.s330、根据由多个激光点的数量和多个激光点在目标坐标系下的三维坐标组成的点云三维数据以及由标志点的数量和标志点在目标坐标系下的三维坐标组成的标志点三维数据,得到目标三维数据。
84.可理解的,在上述s320的基础上,获取上述确定三维坐标的激光点以及标志点各自的数量,将多个激光点在目标坐标系下的三维坐标整合为一个激光点集合,将标志点在目标坐标系下的三维坐标整合为一个标志点集合,根据由多个激光点的数量和多个激光点在目标坐标系下的三维坐标组成的点云三维数据以及由标志点的数量和标志点在目标坐标系下的三维坐标组成的标志点三维数据生成三维数据,该三维数据是指多个图像传感器在同一时刻采集的一帧图像对应的数据。
85.本公开实施例提供了一种三维数据生成方法,是由三维扫描仪根据图像数据进行三维重建计算生成三维数据的方法,具体包括:三维扫描仪上安装的多个图像传感器扫描物体得到多个图像数据,并根据多个图像数据中至少一个相同的标志点对应的数据确定目标坐标系,并确定相同的标志点在目标坐标系下的三维坐标,确定目标坐标系后,根据多个图像数据中三维扫描仪输出的激光线对应的数据确定激光线上的多个激光点在目标坐标系下的三维坐标,也就是将多个激光点统一到同一个坐标系下,最后根据多个激光点的数量、多个激光点在目标坐标系下的三维坐标、标志点的数量和标志点在目标坐标系下的三维坐标,得到目标三维数据,也就是得到统一坐标后的三维数据,便于在计算模组中融合成点云三维数据,同时传输的三维数据的数据量也比较小,有效减少了传输带宽,进一步加快了第一三维模型构建的速度。
86.图4为本公开实施例提供的一种第一三维模型生成方法的流程示意图,可选的,获取三维扫描仪生成的目标三维数据,并根据目标三维数据进行三维重建计算生成第一三维模型,也就是计算模组接收到三维扫描仪传输的目标三维数据后,计算模组根据目标三维数据生成第一三维模型的流程,具体包括如图4所示的如下步骤s410至s440:
87.可理解的,计算模组接收到目标三维数据后,需要根据当前第一三维模型的生成情况确定基于三维数据进行融合的目标融合模式,目标融合模式为全局融合模式和/或实时融合模式。
88.可选的,获取三维扫描仪生成的目标三维数据,并将目标三维数据存储到预先构建的数据库中,数据库中包括至少一个三维数据;判断三维扫描仪是否将待扫描物体扫描完成,若是,则确定目标融合模式为全局融合模式;若否,则确定目标融合模式为实时融合
模式。
89.可选的,判断三维扫描仪是否将待扫描物体扫描完成,包括:若计算模组检测到针对第一标识的触发操作,则确定三维扫描仪将待扫描物体扫描完成。
90.可理解的,可理解的,计算模组获取三维扫描仪生成的目标三维数据,并将目标三维数据存储到预先构建的数据库中,数据库用于存储三维扫描仪扫描在待扫描物体的过程中所生成的全部三维数据。三维扫描仪是实时扫描物体的,每次扫描完一帧图像后都会生成对应的目标三维数据,随着扫描的进行,物体对应的第一三维模型也越加完善,同时用户可以在显示模组上观看到整个第一三维模型,此时可以通过观看显示模组中显示的第一三维模型来确定三维扫描仪是否将待扫描物体扫描完成,若用户确定将待扫描物体扫描完成,可以触发显示模组中的第一标识(确定标识),或者按压显示模组上配置的确定按钮得到确定信号,计算模组若检测或接收到确定信号,则确定三维扫描仪将待扫描物体扫描完成,确定目标融合模式为全局融合模式,反之,则确定三维扫描仪未将待扫描物体扫描完成,确定目标融合模式为实时融合模式。
91.可理解的,计算模组存在两种可生成第一三维模型的模式:第一种获取到单帧图像对应的目标三维数据后就直接进行三维重建计算生成至少部分第一三维模型,也就是实时融合模式,第二种是获取到所有三维数据后再同一进行三维重建计算生成完整的第一三维模型,也就是全局融合模式。可理解的,第一种情况具体包括如下步骤s410至s430:
92.s410、在实时融合模式下,获取三维扫描仪生成的当前帧目标三维数据,获取存储的之前帧目标三维数据。
93.s420、基于当前帧目标三维数据与之前帧目标三维数据的共有特征确定当前帧目标三维数据与基准坐标系的第一旋转平移关系。
94.s430、根据第一旋转平移关系及第一预设融合参数将当前帧目标三维数据增量融合到存储的前一个第一三维模型中,生成当前第一三维模型,基准坐标系为第一三维模型所处坐标系。
95.可选的,在全局融合模式下,获取三维扫描仪生成的所有帧目标三维数据;基于所有帧目标三维数据的共有特征确定所有帧目标三维数据与基准坐标系的第二旋转平移关系;根据第二旋转平移关系和第一预设融合参数将存储的所有帧目标三维数据进行融合,生成第一三维模型,基准坐标系为第一三维模型所处坐标系,其中,第一预设融合参数包括第一点距。
96.可理解的,计算模组在实时融合模式下,获取根据三维扫描仪生成的当前帧目标三维数据和存储的之前帧目标三维数据,并根据三维扫描仪生成的当前帧目标三维数据和存储的之前帧目标三维数据中包括的相同标志点(共有特征)对应的数据和基准坐标系计算第一旋转平移关系,直至扫描完成,例如三维扫描仪完成扫描后生成10个三维数据,10个三维数据在生成后会依次发送给计算模组,计算模组每接收到一个三维数据就根据接收的当前帧目标三维数据相较于之前帧目标三维数据的增量数据构建第一三维模型,直至根据10个三维数据生成待扫描物体对应的整个第一三维模型,该种情况下,可以确定扫描完成。第二种情况可以理解为,确定三维扫描仪将待扫描物体扫描完成后,计算模组根据存储的所有三维数据的共有特征(标志点)和基准坐标系,通过位姿差异计算出相邻的每两帧图像对应的三维数据之间的旋转量和平移量,基准坐标系为第一三维模型所处坐标系,随后根
据旋转量和平移量得到第二旋转平移关系,旋转平移关系可以理解为旋转旋转平移关系,相邻的每两帧图像对应的三维数据中包括至少一个相同的标志点,例如三维扫描仪完成扫描后一共生成10个三维数据,分别计算第二个三维数据同第一个三维数据以及第三个三维数据之间的旋转平移关系,以此类推,直至10个三维数据遍历完。计算模组根据10个三维数据根据标志点整体计算第二旋转平移关系,便于后续将所有激光线对应的数据进行融合,得到优化后的点云三维数据,使得到的点云三维数据中激光点的位置更加准确,得到的第一三维模型精度和效果更好。
97.可理解的,确定物体扫描完成后,在全局融合模式下,根据计算得到的第二旋转平移关系和第一预设融合参数直接将数据库中的所有三维数据中的激光线对应的数据进行融合,得到优化后的第一全局点云三维数据,也就是进行大点距全量点云融合优化,第一预设融合参数中的第一点距可以是0.3mm及以上大小。或者,若物体没有扫描完成,也就是在实时融合模式下,根据相邻的、具有相同标志点的两个三维数据确定的第一旋转平移关系进行融合,例如已经将5个三维数据进行融合并生成第二全局点云三维数据后,随即获取到第6个三维数据,根据第6个三维数据和第5个三维数据计算第一旋转平移关系,通过第一旋转平移关系和第一预设融合参数将第6个三维数据融合到上述全局点云三维数据(第二全局点云三维数据)中,可理解的是每次融合的都是三维数据中激光线对应的数据,此时第二全局点云三维数据中就包括6个融合后的三维数据,也就是进行单帧大点距增量融合优化。可理解的是,全局融合模式下和实时融合模式下涉及到的第一预设融合参数中的第一点距可以是相同的,都是采用0.3mm及以上的大点距进行融合。
98.可选的,获取当前第一三维模型的增量数据,对增量数据进行渲染,并将渲染后的增量数据所对应的第一三维模型发送至显示模组。
99.可理解的,若是将整个三维数据整体进行融合生成第一全局点云三维数据后,将第一全局点云三维数据通过计算模组中渲染模块进行渲染,直接生成待扫描物体对应的完整的第一三维模型,渲染模块可以是具有渲染功能的算法组成的。或者,若是将单帧图像对应的三维数据融合到第二全局点云三维数据中,则将第二全局点云三维数据中的增量数据进行渲染,融合前的第二全局点云三维数据已经渲染完并生成对应的第一三维模型了,因此只需要对融合后的第二全局点云三维数据中的增量数据进行渲染即可,随后显示融合后的第二全局点云三维数据对应的第一三维模型,以实现实时显示第一三维模型的功能,便于用户了解扫描过程,例如,在t时刻,显示模组显示的第一三维模型只包括模型a,在t 1时刻,将增量数据进行渲染得到模型b,将模型b融合到模型a中得到该时刻待显示的第一三维模型,显示模组直接显示该时刻融合后的第一三维模型。
100.本公开实施例提供了一种第一三维模型生成方法,通过显示模组显示的第一三维模型可以自行确定三维扫描仪是否将待扫描物体扫描完成,若扫描完成,也就是在全局融合模式下,计算组件根据获取的所有三维数据计算第二旋转平移关系,并根据第二旋转平移关系和第一预设融合参数阵将数据库中所有三维数据进行融合生成第一全局点云三维数据,随后将第一全局点云三维数据进行渲染得到整体的第一三维模型。若是扫描未完成,也就是在实时融合模式下,根据历史帧目标三维数据和当前帧目标三维数据计算第一旋转平移关系,并根据第一旋转平移关系和第一预设融合参数将目标三维数据融合到之前生成的第二全局点云三维数据中,也就是更新第二全局点云三维数据,随后将更新后的第二全
局点云三维数据中的增量数据进行渲染,生成第一三维模型,此时的第一三维模型可能不是完整的第一三维模型。本公开提供的方法能够在扫描的过程中,在显示模组中实时显示物体对应的至少部分第一三维模型,便于后续调整过扫描方式,避免出现扫描错误的情况。
101.图5为本公开实施例提供的一种三维扫描方法的流程示意图,应用于三维扫描仪,也就是三维扫描仪端扫描图像生成三维数据的流程,具体包括如图5所示的如下步骤s510至s520:
102.s510、获取图像传感器基于待扫描物体生成的图像数据。
103.可理解的,在使用三维扫描仪进行扫描之前,在待扫描物体上粘贴至少一个标志点,标志点可以是醒目、便于检测识别的点,例如黑色圆点。标志点设置完成后,以三维扫描仪是激光扫描仪为例,三维扫描集成组件包括多个图像传感器和多个激光设备,图像传感器用于基于待扫描物体生成图像数据,激光设备用于向待扫描物体发射激光线,激光设备可以是激光投射器,激光三维扫描仪扫描物体时,激光三维扫描仪的激光投射器向物体投射激光线而三维扫描仪的摄像装置(图像传感器)同步捕捉物体表面覆盖有激光线的图像,图像数据则包括激光线特征和标志点特征。例如三维扫描仪左右两边各包括两个摄像装置,两个摄像装置同时拍摄物体,生成两个图像数据,两个图像数据可以理解为采集的一帧图像对应的两个数据,由两个图像数据得到的三维数据可以记为一帧图像对应的三维数据,每个图像数据中都包括多条激光线和至少一个标志点,两个图像数据中均包括至少一个相同的标志点,也会包括多个相同的激光线。
104.s520、根据图像数据进行三维重建计算确定目标三维数据,目标三维数据用于生成待扫描物体对应的第一三维模型,其中,目标三维数据包括三维扫描仪输出的激光线对应的点云三维数据和待扫描物体上至少一个标志点对应的标志点三维数据。
105.可理解的,在上述s510的基础上,三维扫描仪中的中央处理器根据生成的两个图像数据中激光线对应的数据和标志点对应的数据,确定目标三维数据,目标三维数据包括激光线对应的点云三维数据和标志点对应的标志点三维数据,也就是进行激光线提取和标志点重建,该目标三维数据包括激光线上的多个激光点的三维坐标、激光点数量以及标志点的三维坐标、标志点数量,多个激光点的三维坐标和标志点的三维坐标是同一个坐标系下的。
106.可选的,根据图像数据进行三维重建计算确定目标三维数据,目标三维数据用于生成待扫描物体对应的第一三维模型,具体包括:根据多个图像数据中待扫描物体上同一个标志点对应的数据确定目标坐标系以及标志点在目标坐标系下的三维坐标;根据多个图像数据中三维扫描仪输出的激光线对应的数据,确定激光线上的多个激光点在目标坐标系下的三维坐标;根据多个激光点的数量、多个激光点在目标坐标系下的三维坐标、标志点的数量和标志点在目标坐标系下的三维坐标,得到目标三维数据。
107.可选的,三维扫描仪生成目标三维数据后,将目标三维数据发送至便携式设备,便携式设备包括计算模组和显示模组,计算模组用于获取三维扫描仪生成的目标三维数据,并根据目标三维数据进行三维重建计算生成第一三维模型;显示模组用于显示计算模组生成的第一三维模型。
108.可理解的,个人计算机中计算模组根据目标三维数据进行三维重建计算生成第一三维模型的过程如上,在此不作赘述。
109.本公开实施例提供的一种三维扫描方法,应用于三维扫描仪,三维扫描仪上安装的多个图像传感器同时基于待扫描物体生成的多个图像数据,随后三维扫描仪中的中央处理器根据图像数据确定目标三维数据,目标三维数据包括三维扫描仪输出的激光线对应的点云三维数据和待扫描物体上至少一个标志点对应的标志点三维数据,三维扫描仪能够自行将扫描得到的图像数据转换成三维数据,以减少数据的传输带宽,增加传输速度,便于后续便携式设备根据三维数据构建第一三维模型。
110.在上述实施例的基础上,图6为本公开实施例提供的一种三维扫描方法,应用于终端,方法具体包括如图6所示的如下步骤s610至s620:
111.s610、获取三维扫描仪生成的待扫描物体的三维数据。
112.s620、根据待扫描物体对应的第一三维模型的生成情况确定目标融合模式,并在目标融合模式下,根据三维数据进行三维重建计算生成第一三维模型,其中,目标融合模式为全局融合模式和/或实时融合模式。
113.可理解的,终端包括计算模组和显示模组,终端为图2中便携式设备220,例如ipad等具有计算能力的个人移动终端,该计算模组执行上述s610至s620的步骤,具体执行方式参见上述三维扫描系统中计算模组120相关的执行方式以及执行步骤,在此不作叙述;计算模组生成第一三维模型后,将第一三维模型发送至显示模组,显示模组实时显示第一三维模型。
114.本公开提供的一种三维扫描方法,能够根据实时接收到的三维数据构建第一三维模型,同时基于显示模组将三维实时显示在终端的屏幕上,通过显示的第一三维模型能够了解扫描的情况,其次终端便于写携带,能够应用在比较复杂的场景下,还能进一步提高扫描精度。
115.图7为本公开实施例提供的三维扫描装置的结构示意图。本公开实施例提供的三维扫描装置可以执行三维扫描方法实施例提供的处理流程,如图7所示,三维扫描装置700包括:
116.获取单元710,用于获取图像传感器基于待扫描物体生成的图像数据;
117.确定单元720,用于根据图像数据进行三维重建计算确定目标三维数据,目标三维数据用于生成待扫描物体对应的第一三维模型,其中,目标三维数据包括三维扫描仪输出的激光线对应的点云三维数据和待扫描物体上至少一个标志点对应的标志点三维数据。
118.可选的,确定单元720中根据图像数据进行三维重建计算确定目标三维数据,目标三维数据包括三维扫描仪输出的激光线对应的点云三维数据和待扫描物体上至少一个标志点对应的标志点三维数据,具体用于:
119.根据多个图像数据中待扫描物体上同一个标志点对应的数据确定目标坐标系以及标志点在目标坐标系下的三维坐标;
120.根据多个图像数据中三维扫描仪输出的激光线对应的数据,确定激光线上的多个激光点在目标坐标系下的三维坐标;
121.根据由多个激光点的数量和多个激光点在目标坐标系下的三维坐标组成的点云三维数据以及由标志点的数量和标志点在目标坐标系下的三维坐标组成的标志点三维坐标,得到目标三维数据。
122.可选的,装置700中还包括发送单元,发送单元用于三维扫描仪生成三维数据后,
将三维扫描数据发送至便携式设备,便携式设备包括计算模组和显示模组,计算模组用于获取三维扫描仪生成的三维数据,并根据三维数据进行三维重建计算生成第一三维模型;显示模组用于显示计算模组生成的第一三维模型。
123.图7所示实施例的三维扫描装置可用于执行上述方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
124.图8为本公开实施例提供的三维扫描装置的结构示意图。本公开实施例提供的三维扫描装置可以执行三维扫描方法实施例提供的处理流程,如图8所示,三维扫描装置800包括:
125.获取单元810,用于获取三维扫描仪生成的待扫描物体的三维数据;
126.生成单元820,用于根据待扫描物体对应的第一三维模型的生成情况确定目标融合模式,并在目标融合模式下,根据三维数据进行三维重建计算生成第一三维模型,其中,目标融合模式包括全局融合模式和/或实时融合模式。
127.图8所示实施例的三维扫描装置可用于执行上述方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
128.图9为本公开实施例提供的电子设备的结构示意图。本公开实施例提供的电子设备可以执行上述实施例提供的处理流程,如图9所示,电子设备900包括:处理器910、通讯接口920和存储器930;其中,计算机程序存储在存储器930中,并被配置为由处理器910执行如上述的三维扫描方法。
129.另外,本公开实施例还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行以实现上述实施例所述的三维扫描方法。
130.此外,本公开实施例还提供了一种计算机程序产品,该计算机程序产品包括计算机程序或指令,该计算机程序或指令被处理器执行时实现如上所述的三维扫描方法。
131.需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
132.以上所述仅是本公开的具体实施方式,使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下,在其它实施例中实现。因此,本公开将不会被限制于本文所述的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献