一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

三维重建方法及装置、系统与流程

2022-11-16 12:37:08 来源:中国专利 TAG:


1.本技术涉及三维重建领域,具体而言,涉及一种三维重建方法及装置、系统。


背景技术:

2.结构光三维重建技术是一种向被测物体表面投射光学编码图案,并通过采集到的变形图案恢复物体表面三维数据的三维重构技术。其具有高效率、抗干扰等特性,被广泛应用于各类三维重建场景。结构光三维重建技术中核心问题是同名像素点的匹配。不同的匹配策略,依赖于不同的编码方法。根据投射图案的编码方式不同,结构光技术可分为时间编码和空间编码。时间编码需要向测量场景中时序投射多帧图案,通常要求被测物体与投射器相对静止,因此无法实现高帧率扫描,适用场景受到一定的限制,多用于静态扫描场景。空间编码通常只需要向被测场景中投射一幅图案即可完成三维重建,目前,相关技术中,通过圆形码元的编码方式,利用邻域码元的相对位移关系来解码,另一种方式是通过图像块间的匹配来获取三维数据,前一种方式,码元的编码容量较小,只能重建稀疏的码元点,单帧数据少,扫描效率低;后一种方式,利用图像块进行匹配,精度较低。
3.针对上述问题,目前尚未提出有效的解决方案。


技术实现要素:

4.本技术实施例提供了一种三维重建方法及装置、系统,以至少解决由于码元编码容量小导致的扫描效率低的技术问题。
5.根据本技术实施例的一个方面,提供了一种三维重建方法,包括:将第一图像投射到被测物体表面得到第二图像,第一图像中包含多个码元按照预设方向随机分布,码元为线段条纹;在第一图像中确定第二图像中的任一码元对应的多个候选码元,并从多个候选码元中确定任一码元对应的目标码元,完成第一图像中的码元与第二图像中码元的匹配,其中,目标码元的特征点与候选码元的特征点处于同一极线上;基于第一图像与第二图像中的码元匹配关系和预先确定的第一图像中的码元的三维坐标确定第二图像中码元的三维坐标,并基于第一图像和第二图像中码元的三维坐标确定被测物体的三维坐标完成被测物体的三维重建。
6.可选地,在第一图像中确定第二图像中的任一码元对应的多个候选码元,包括:确定第二图像中任一码元的第一邻域码元集合和多个候选码元的多个第二邻域码元集合;确定多个第二邻域码元集合中的邻域码元与第一邻域码元集合中的邻域码元匹配的个数,将多个第二邻域码元集合中匹配的个数最多的第二邻域码元集合确定为目标第二邻域码元集合;将目标第二邻域码元集合对应的候选码元确定为目标码元。
7.可选地,确定第二图像中任一码元的第一邻域码元集合,包括:确定目标码元的多个特征点;将多个特征点所在极线左右两侧距离最近的码元确定为目标码元的邻域码元,并将目标码元的邻域码元组成第一邻域码元集合。
8.可选地,确定第一邻域码元集合中的邻域码元与多个第二邻域码元集合中的邻域
码元匹配的个数,包括:按照码元特征点的像素坐标对第一图像和第二图像中的所有码元进行编号;将第一邻域码元集合中的邻域码元依次与多个第二邻域码元集合中对应区域的邻域码元进行对比,在码元编号相同的情况下,确定邻域码元与对应区域的邻域码元匹配;确定多个第二邻域码元集合中每个第二邻域码元集合与第一邻域码元集合中的邻域码元匹配的个数。
9.可选地,在第一图像中确定第二图像中的目标码元对应的多个候选码元之前,方法还包括:将第一图像和第二图像调整到同一方向的平面上。
10.可选地,第一图像中包含多个码元按照预设方向随机分布,码元为线段条纹,包括:从预设码元集合中选择至少一种码元,预设码元集合中的码元至少包括一条预设长度的线段和该线段对应的两个端点;将多个至少一种码元按照预设方向且间隔预设距离随机分布组成第一图像。
11.可选地,在确定第二图像中的每个码元对应的目标码元集合之后,方法还包括:确定第一图像和第二图像中码元的中心线;按照第二图像中所有码元对应的目标码元间的映射关系确定第一图像和第二图像中码元的中心线的映射关系。
12.根据本技术实施例的另一方面,还提供了一种三维重建装置,包括:获取模块,用于将第一图像投射到被测物体表面得到第二图像,第一图像中的包含多个码元按照预设方向随机分布,码元为线段条纹;匹配模块,用于在第一图像中确定第二图像中的任一码元对应的多个候选码元,并从多个候选码元中确定任一码元对应的目标码元,完成第一图像中的码元与第二图像中码元的匹配,其中,目标码元的特征点与候选码元的特征点处于同一极线上;重建模块,用于基于所述第一图像与第二图像中的码元匹配关系和预先确定的所述第一图像中的码元的三维坐标确定所述第二图像中码元的三维坐标,并基于所述第一图像和所述第二图像中码元的三维坐标确定所述被测物体的三维坐标完成所述被测物体的三维重建。
13.根据本技术实施例的再一方面,还提供了一种三维重建系统,应用于三维重建方法,其特征在于,包括:图像采集设备、投影设备和第一处理器;投影设备用于将第一图像投射到被测物体表面,第一图像中包含多个码元按照预设方向随机分布,码元为线段条纹;图像采集设备用于获取将将第一图像投射到被测物体表面后得到的第二图像;第一处理器用于将第一图像和第二图像中的码元进行匹配,并基于所述第一图像与第二图像中的码元匹配关系和预先确定的所述第一图像中的码元的三维坐标确定所述第二图像中码元的三维坐标,并基于所述第一图像和所述第二图像中码元的三维坐标确定所述被测物体的三维坐标完成所述被测物体的三维重建。
14.根据本技术实施例的再一方面,还提供了另一种三维重建系统,包括:图像采集设备、投影设备和第二处理器;投影设备用于将第一图像投射到被测物体表面,第一图像中包含多个码元按照预设方向随机分布,码元为线段条纹;图像采集设备用于获取将第一图像投射到被测物体表面后得到的第二图像;第二处理器用于基于第一图像和第二图像对被测物体进行三维重建。
15.根据本技术实施例的再一方面,还提供了一种非易失性存储介质,非易失性存储介质包括存储的程序,其中,在程序运行时控制非易失性存储介质所在设备执行上述三维重建方法。
16.根据本技术实施例的再一方面,还提供了一种电子设备,包括:存储器和处理器;处理器用于运行程序,其中,程序运行时执行上述的三维重建方法。
17.在本技术实施例中,采用将第一图像投射到被测物体表面得到第二图像,第一图像中包含多个码元按照预设方向随机分布,码元为线段条纹;在第一图像中确定第二图像中的任一码元对应的多个候选码元,并从多个候选码元中确定任一码元对应的目标码元,完成第一图像中的码元与第二图像中码元的匹配,其中,目标码元的特征点与候选码元的特征点处于同一极线上;基于第一图像与第二图像中的码元匹配关系和预先确定的第一图像中的码元的三维坐标确定第二图像中码元的三维坐标,并基于第一图像和第二图像中码元的三维坐标确定被测物体的三维坐标完成被测物体的三维重建的方式,通过线段条纹的编码方式,达到了增加码元编码容量的目的,从而实现了提高扫描效率的技术效果,进而解决了由于码元编码容量小导致的扫描效率低技术问题。
附图说明
18.此处所说明的附图用来提供对本技术的进一步理解,构成本技术的一部分,本技术的示意性实施例及其说明用于解释本技术,并不构成对本技术的不当限定。在附图中:
19.图1是根据本技术实施例的一种用于三维重建方法的计算机终端(或移动设备)的硬件结构框图;
20.图2是根据本技术的一种三维重建方法的示意图;
21.图3根据本技术实施例的一种可选的邻域码元分布示意图;
22.图4是根据本技术实施例的五种可选的码元形状示意图;
23.图5是根据本技术实施例的一种可选的编码图案示意图;
24.图6是根据本技术实施例的一种可选的三维重建系统;
25.图7是根据本技术实施例的另一种可选的三维重建系统;
26.图8是根据本技术实施例的一种可选的三维重建装置;
27.其中,上述附图包括以下附图标记:
28.601、被测物体;602、第一处理器;603、图像采集设备;604、投影设备。
具体实施方式
29.为了使本技术领域的人员更好地理解本技术方案,下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分的实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本技术保护的范围。
30.需要说明的是,本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品
或设备固有的其它步骤或单元。
31.根据本技术实施例,还提供了一种模型训练方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
32.本技术实施例所提供的方法实施例可以在移动终端、计算机终端、云端服务器或者类似的运算装置中执行。图1示出了一种用于实现三维重建方法的计算机终端(或移动设备)的硬件结构框图。如图1所示,计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b,
……
,102n来示出)处理器102(处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块106。除此以外,还可以包括:显示器、输入/输出接口(i/o接口)、通用串行总线(usb)端口(可以作为i/o接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,计算机终端10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
33.应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外,数据处理电路可为单个独立的处理模块,或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本技术实施例中所涉及到的,该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
34.存储器104可用于存储应用软件的软件程序以及模块,如本技术实施例中的三维重建方法对应的程序指令/数据存储装置,处理器102通过运行存储在存储器104内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的应用程序的三维重建方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
35.传输模块106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中,传输模块106包括一个网络适配器(network interface controller,nic),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输模块106可以为射频(radio frequency,rf)模块,其用于通过无线方式与互联网进行通讯。
36.显示器可以例如触摸屏式的液晶显示器(lcd),该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。
37.根据本技术实施例,提供了一种三维重建方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
38.图2是根据本技术实施例的三维重建方法的流程图,如图2所示,该方法包括如下
步骤:
39.步骤s202,将第一图像投射到被测物体表面得到第二图像,第一图像中的包含多个码元按照预设方向随机分布,码元为线段条纹;
40.步骤s204,在第一图像中确定第二图像中的任一码元对应的多个候选码元,并从多个候选码元中确定任一码元对应的目标码元,完成第一图像中的码元与第二图像中码元的匹配,其中,目标码元的特征点与候选码元的特征点处于同一极线上;
41.步骤s206,基于第一图像与第二图像中的码元匹配关系和预先确定的第一图像中的码元的三维坐标确定第二图像中码元的三维坐标,并基于第一图像和第二图像中码元的三维坐标确定被测物体的三维坐标完成被测物体的三维重建。
42.通过上述步骤,可以实现通过线段条纹的编码方式,达到了增加码元编码容量的目的,从而实现了提高扫描效率的技术效果,进而解决了由于码元编码容量小导致的扫描效率低技术问题。
43.需要进行说明的是,三维重建是指对三维物体建立适合计算机表示和处理的数学模型,是在计算机环境下对其进行处理、操作和分析其性质的基础,也是在计算机中建立表达客观事件的虚拟现实技术。三维重建技术中通常会用到结构光时间编码和空间编码技术,其中,空间编码结构光难点在于利用像素空间灰度信息,对每个像素点进行稳定可靠的编解码,相关技术中的一类方法是通过一定的码元信息对特定像素点进行编码,通过大小圆形码元的编码方式,利用极线约束条件和邻域码元与图像中码元的相对位移关系对每个码元进行编解码,从而实现每个码元点的重建。这类方法的缺点在于码元编码容量有限,只能重建稀疏的码元点,单帧数据少,扫描效率低;受物体表面纹理影响较大。另外一类方法是通过随机散斑的形式,通过像素块间的相关性进行同名点匹配,例如:将伪随机散斑图像通过投影设备投射到被测物体表面,采用改进的sgm(semi-global matching,立体匹配)算法进行图像块间的匹配,从而得到被测物体表面的三维数据。该类方法的缺点是匹配适用的图像块空间大,重建数据精度和细节较差,难以实现复杂物体的重建。
44.本技术提出的方法中,利用线段条纹码元的编码方式,线段条纹中的多个特征点,且码元间随机分布,增加了编码容量,提高了单帧图像的数据量,进而提高了扫描效率。同时由于本技术提出的方法是线段条纹分布,码元的分布密度高,提高了获取到的重建数据的精确度。
45.在步骤s202中,第一图像为投影设备投射的原始图像,第二图像为第一图像投射到被测物体表面发生变形后,由图像采集设备采集到的图像,第一图像中的多个码元朝向相同,码元间的间距随机确定,例如:1号码元的与2号码元之间的间距为100μm,2号码元与3号码元之间的间距为80μm。码元按照图像水平方向(相机极线方向)随机上下波动分布,码元的特征包含至少两个可提取的灰度特征点图案,且特征点之间呈预设间距上下分布。
46.需要进行说明的是,第一图像是由投影设备获取的预设确定好的编码图像,例如由计算机预先确定的编码图像传输至投影设备中。
47.在步骤s204中,在第一图像中确定第二图像中所有码元的候选码元,一个码元对应多个候选码元,在第一图像中的第一码元的所有特征点与第二图像中的第二码元的特征点在同一条极线上的情况下,确定第一图像中的第一码元为候选码元。
48.在步骤s206中,第一图像中的目标码元与第二图像中的码元一一对应,第一图像
为预设的,即第一图像中码元的投影参数为预设,根据目标码元与第二图像中的码元一一对应的关系,结合三角测量方法,确定第二图像中码元的三维坐标。
49.下面通过具体的实施例来详细说明上述步骤s202至步骤s206。
50.在步骤s204中确定第二图像中的码元在第一图像中的目标码元,可以通过邻域码元匹配的方式来确定,具体的,首先,确定第二图像中任一码元的第一邻域码元集合和多个候选码元的多个第二邻域码元集合;确定多个第二邻域码元集合中的邻域码元与第一邻域码元集合中的邻域码元匹配的个数,将多个第二邻域码元集合中匹配的个数最多的第二邻域码元集合确定为目标第二邻域码元集合;将目标第二邻域码元集合对应的候选码元确定为目标码元。
51.需要进行说明的是,第一邻域码元集合为第二图像中一个码元的邻域码元集合,例如:以第二图像中的码元p为一个设定长度的线段和线段对应的两个端点为例,码元p的邻域码元集合为{p1,p2,p3,p4};第二邻域码元集合为第二图像中任一个码元的候选码元的邻域码元集合,例如:码元p的候选码元为码元q,码元q的邻域码元集合为{q1,q2,q3,q4},在码元p的候选码元存在三个情况下,例如:qi,i=1,2,3,就存在三个第二邻域码元集合在码元p存在多个的情况,与上述情况类似,在此不再赘述。
52.需要进一步说明的是,以码元p为例,对于码元p的每一个候选码元qi,i为正整数,首先确认码元p1是否与候选码元q1的第一个邻域码元匹配,然后依次检索码元p的所有候选码元,确定所有候选码元的邻域码元与码元p1是否匹配,与码元p1匹配的候选码元,匹配个数据加1,例如:码元与码元p1匹配,则候选码元q1的匹配个数为1,如果码元与码元p2匹配则候选码元q1的匹配个数加1为2。将匹配个数最大的候选码元确定为目标码元,以码元p为例,在候选码元q1与码元p的匹配个数最多,则候选码元q1确定为目标码元与码元p匹配。
53.在一种可选的方式中,确定任一码元的邻域码元可以先确定目标码元的多个特征点;然后将多个特征点所在极线左右两侧距离最近的码元确定为目标码元的邻域码元,并将目标码元的邻域码元组成第一邻域码元集合。
54.具体地,对于任意一个码元,其邻域码元分布在极线上唯一。如图3所示,对于任一码元0,其四邻域码元分布为码元1、2、3、4,邻域码元1为码元0的第一个特征点水平极线上左侧最近的码元,码元3为码元0的第二个特征点水平极线上左侧最近的码元,同理,码元2、4为右侧邻域码元。则每一个码元可由5个码元编号表示,即自身所在的码元编号和4个邻域码元编号。
55.码元编号可以通过多种方式确定,一种可选的方式是按照码元特征点的像素坐标对第一图像和第二图像中的所有码元进行编号;然后将第一邻域码元集合中的邻域码元依次与多个第二邻域码元集合中对应区域的邻域码元进行对比,在码元编号相同的情况下,确定邻域码元与对应区域的邻域码元匹配;确定多个第二邻域码元集合中每个第二邻域码元集合与第一邻域码元集合中的邻域码元匹配的个数。
56.具体地,码元编号需要保证每一个码元的编号是唯一的,在实际的应用场景中,可以通过多种方法确定码元编号,一种可选的方式中,可以利用码元的特征点在图像中的像
素坐标确定,例如:某一个码元包含一条线段和两个线段对应的端点(上端点和下端点),上端点和下端点分别对应码元的两个特征点。取其中一个特征点,以上端点为例,上端点的像素坐标为(x,y)图像的宽度为imagewidth,图像的高度为imageheight,则码元编号为x y*imagewidth。上述计算方式为多种计算方式中的一种,不限于其他利用码元特征点在图像中的位置坐标确定码元编号的方式,只需保证图像中的每一个码元编号是唯一的即可,即码元和码元编号一一对应,码元编号不可重复。
57.另一种可选的方式中,也可以通过码元存储在数据库中的位置确定码元编号,也可以根据码元从数据库中提取的先后顺序确定每一个码元的码元编号。
58.需要进行说明的是,在本技术实施例中,第一图像和第二图像采用相同的编号方式。
59.在本技术的一些实施例中,在第一图像中确定第二图像中的目标码元对应的多个候选码元之前,方法还包括:将第一图像和第二图像调整到同一平面上。
60.需要说明的是,在立体视觉领域,投影图像(第一图像)与采集图像(第二图像)之间存在极线约束关系,即在投影图像中处于同一极线上的特征点,对应的采集图像中的特征点也处于同一极线上。利用极线校正原理,可将投影图像与成像图像对应的极线校正至同一水平方向。利用已标定的系统标定参数,将投影设备中的第一图像校正至极线水平方向。同时,由于投影图像不随时间空间变化,因此,第一图像校正只需进行一次。将第二图像进行极线校正,校正后的第二图像其对应的特征点与校正后的第一图像处于同一个方向的平面上。
61.校正完成后,对第二图像进行滤波平滑处理,包括但不限于高斯滤波,然后对第二图像进行特征点提取。同时对码元中的条纹进行中心线提取。以线段编码图案为例,提取线段的上下两个端点特征点及线段中心线。
62.在本技术的一些实施例中第一图像中包含多个码元按照预设方向随机分布,码元为线段条纹,可以从预设码元集合中选择至少一种预设码元,预设码元集合中的码元至少包括一条预设长度的线段和该线段对应的两个端点;将多个至少一种预设码元按照预设方向且间隔预设距离随机分布组成第一图像。如图4所示,示出了满足本技术实施例的5种形式的线段条纹,第一种为一条线段和线段对应的两个圆形端点,第二种为一条第一预设长度线段和第一预设长度线段对应的两个第二预设长度线段的端点,第一预设长度大于第二预设长度,第三种为一条第一预设长度线段和第一预设长度线段对应的两个第二预设长度线段的端点和第二预设长度的线段与第一预设长度线段相交,第四种为一条线段,第五种为一条线段和对应的两个端点,第一个端点为圆形端点,第二个端点为方形端点,端点与线段不接触。
63.需要进行说明的是,本技术中的第一图像是由码元按照图像水平方向(图像采集设备的极线方向)随机上下波动分布,码元特征点包含至少两个可提取的灰度特征点图案,且特征点之间呈一定的上下距离分布,同时至少包含一个线段条纹与特征点共同组成一个码元。图5示出了一种线段码元所生成的一种编码图案,可提取的灰度特征可以为:线段两个端点、图形角点、交点、中心点等具有特征点;码元内特征点之间的距离可以固定,也可以随机。如:线段的长度可以是固定长度,也可以是随机长度;至少包含一条线段。
64.在确定第二图像中的每个码元对应的目标码元集合之后,方法还包括:确定第一
图像和第二图像中码元的中心线;按照第二图像中所有码元对应的目标码元间的映射关系确定第一图像和第二图像中码元的中心线的映射关系。
65.具体地,每个码元的匹配结果直接传递给该码元所在的中心线,利用该匹配结果可直接完成对中心线每个像素的匹配。
66.第二图像是由投影设备投射到被测物体表面生成的,可以理解的是,第一图像是由投影设备投射的预先确定的码元图像,显而易见的是,根据预设的标定结果可以确定每个码元的三维坐标。将第一图像进行投射,第一图像中的每一个码元的中心线和特征点处于同一个投射平面上,该投射平面方程也可以预先确定。
67.根据第二图像中每个完成匹配的码元,结合第一图像中对应目标码元的三维坐标,利用三角测量原理,即可对第二图像中的特征点和中心点进行深度的计算,获取第二图像中特征点和中心点的三维坐标。
68.基于上述方法,本技术可实现被测物体表面三维数据的快速、精确的重建。本技术中条纹中心线重建方法可实现精确的三维数据获取;随机条纹的方式,增加了编码点的数量(条纹中心任一像素点均为编码点),提升了数据冗余度,进而提高了扫描效率。
69.本技术实施例还提供了一种三维重建系统,如图6所示,包括:图像采集设备603、投影设备604和第一处理器602。图像采集设备603的镜头与投影设备604的镜头间的夹角小于预设角度。投影设备604用于将第一图像投射到被测物体601表面,第一图像中包含多个码元按照预设方向随机分布,码元为线段条纹;图像采集设备603用于获取将将第一图像投射到被测物体601表面后得到的第二图像;第一处理器602用于将第一图像和第二图像中的码元进行匹配,并基于第一图像与第二图像中的码元匹配关系和预先确定的第一图像中的码元的三维坐标确定第二图像中码元的三维坐标,并基于第一图像和第二图像中码元的三维坐标确定被测物体601的三维坐标完成被测物体601的三维重建。
70.其中,图像采集设备603包括但不限于灰度相机和彩色相机,投影设备604的投影方式包括但不限于dlp(digtal light processing,数字光处理)、mask(掩码投影)、doe(衍射投影)等投影方式,能够投射结构光图案。一种可选的方式中,图像采集设备603也可以是多个,例如:如图7所示,图像采集设备603为两个的情况下,由两个图像采集设备603对投影设备604投射到被测物体601表面的图像进行采集,分别得到第三图像和第四图像,第三图像与第四图像中码元的匹配流程与第一图像和第二图像类似,再此不再赘述。
71.还需要进行说明的是,在三维重建系统中的图像采集设备603只有一个的情况下,对第一图像(投影图像)和第二图像(采集图像)进行极线校正。在图像采集设备603为多个情况下,可以获得多个第二图像(采集图像),一种可选的方式是多个第二图像(采集图像)两两组合进行极线校正,另一种可选的方式是第一图像和多个第二图像两两组合进行极线校正,例如:图像采集设备603为两个的情况下,获取到的多个第二图像为第三图像和第四图像,将第一图像、第三图像和第四图像两两组合进行极线校正。
72.本技术实施例还提供了一种模型训练装置,如图8所示,包括:获取模块70,用于将第一图像投射到被测物体表面得到第二图像,第一图像中包含多个码元按照预设方向随机分布,码元为线段条纹;匹配模块72,用于在所述第一图像中确定所述第二图像中的任一码元对应的多个候选码元,并从所述多个候选码元中确定所述任一码元对应的目标码元,完成所述第一图像中的码元与所述第二图像中码元的匹配,其中,所述目标码元的特征点与
候选码元的特征点处于同一极线上;重建模块74,用于基于所述第一图像与第二图像中的码元匹配关系和预先确定的所述第一图像中的码元的三维坐标确定所述第二图像中码元的三维坐标,并基于所述第一图像和所述第二图像中码元的三维坐标确定所述被测物体的三维坐标完成所述被测物体的三维重建。。
73.匹配模块72包括:第一确定子模块,第一确定子模块用于确定第二图像中任一码元的第一邻域码元集合和多个候选码元的多个第二邻域码元集合;确定多个第二邻域码元集合中的邻域码元与第一邻域码元集合中的邻域码元匹配的个数,将多个第二邻域码元集合中匹配的个数最多的第二邻域码元集合确定为目标第二邻域码元集合;将目标第二邻域码元集合对应的候选码元确定为目标码元。
74.第一确定子模块包括:第一确定单元和第二确定单元;第一确定单元用于确定目标码元的多个特征点;将多个特征点所在极线左右两侧距离最近的码元确定为目标码元的邻域码元,并将目标码元的邻域码元组成第一邻域码元集合;第二确定单元用于按照码元特征点的像素坐标对第一图像和第二图像中的所有码元进行编号;将第一邻域码元集合中的邻域码元依次与多个第二邻域码元集合中对应区域的邻域码元进行对比,在码元编号相同的情况下,确定邻域码元与对应区域的邻域码元匹配;确定多个第二邻域码元集合中每个第二邻域码元集合与第一邻域码元集合中的邻域码元匹配的个数。
75.匹配模块72还包括调整子模块,用于将第一图像和第二图像调整到同一方向的平面上。
76.获取模块70包括:生成子模块,生成子模块用于从预设码元集合中选择至少一种预设码元,预设码元集合中的码元至少包括一条预设长度的线段和该线段对应的两个端点;将多个至少一种预设码元按照预设方向且间隔预设距离随机分布组成第一图像。
77.匹配模块72还包括映射子模块,映射子模块用于确定第一图像和第二图像中码元的中心线;按照第二图像中所有码元对应的目标码元间的映射关系确定第一图像和第二图像中码元的中心线的映射关系。
78.根据本技术实施例的另一方面,还提供了一种非易失性存储介质,包括存储的程序,其中,在程序运行时控制非易失性存储介质所在设备执行上述三维重建方法。
79.根据本技术实施例的另一方面,还提供了一种处理器,处理器用于运行程序,其中,程序运行时执行上述三维重建方法。
80.上述处理器用于运行执行以下功能的程序:将第一图像投射到被测物体表面得到第二图像,第一图像中包含多个码元按照预设方向随机分布,码元为线段条纹;在第一图像中确定第二图像中的任一码元对应的多个候选码元,并从多个候选码元中确定任一码元对应的目标码元,完成第一图像中的码元与第二图像中码元的匹配,其中,目标码元的特征点与候选码元的特征点处于同一极线上;基于第一图像与第二图像中的码元匹配关系和预先确定的第一图像中的码元的三维坐标确定第二图像中码元的三维坐标,并基于第一图像和第二图像中码元的三维坐标确定被测物体的三维坐标完成被测物体的三维重建。
81.上述处理器执行上述三维重建方法,利用线段条纹码元的编码方式,线段条纹中的多个特征点,且码元间随机分布,增加了编码容量,提高了单帧图像的数据量,进而提高了扫描效率。同时由于本技术提出的方法是线段条纹分布,码元的分布密度高,提高了获取到的重建数据的精确度。
82.在本技术的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
83.在本技术所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
84.作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
85.另外,在本技术各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
86.集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本技术各个实施例方法的全部或部分步骤。而前述的存储介质包括:u盘、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
87.以上仅是本技术的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本技术原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本技术的保护范围。
再多了解一些

本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献