三维重建方法及装置、系统与流程

1.本技术涉及三维重建领域，具体而言，涉及一种三维重建方法及装置、系统。


背景技术：

2.结构光三维重建技术是一种向被测物体表面投射光学编码图案，并通过采集到的变形图案恢复物体表面三维数据的三维重构技术。其具有高效率、抗干扰等特性，被广泛应用于各类三维重建场景。结构光三维重建技术中核心问题是同名像素点的匹配。不同的匹配策略，依赖于不同的编码方法。根据投射图案的编码方式不同，结构光技术可分为时间编码和空间编码。时间编码需要向测量场景中时序投射多帧图案，通常要求被测物体与投射器相对静止，因此无法实现高帧率扫描，适用场景受到一定的限制，多用于静态扫描场景。空间编码通常只需要向被测场景中投射一幅图案即可完成三维重建，目前，相关技术中，通过圆形码元的编码方式，利用邻域码元的相对位移关系来解码，另一种方式是通过图像块间的匹配来获取三维数据，前一种方式，码元的编码容量较小，只能重建稀疏的码元点，单帧数据少，扫描效率低；后一种方式，利用图像块进行匹配，精度较低。
3.针对上述问题，目前尚未提出有效的解决方案。


技术实现要素：

4.本技术实施例提供了一种三维重建方法及装置、系统，以至少解决由于码元匹配的过程中匹配不完全造成三维重建结果准确性低的技术问题。
5.根据本技术实施例的一个方面，提供了一种三维重建方法，包括：获取第一图像和第二图像，第一图像和第二图像分别由不同的图像采集设备采集被投射到被测物体表面的码元图像得到的，码元图像中包含多个目标码元按照预设方向随机分布，目标码元为线段条纹；获取第一图像中每个码元的第一目标像素点，并在第二图像中逐一确定与第一目标像素点匹配的第二目标像素点，以完成匹配；在第一图像中的存在第一目标像素点未完成匹配的情况下，对未完成匹配的第一目标像素点进行二次匹配；至少依据预先确定的所述第一目标像素点在所述第一图像中的像素坐标和所述第二目标像素点在所述第二图像中的像素坐标确定所述第一目标像素点的三维坐标，以完成三维重建
6.可选地，对未完成匹配的第一目标像素点进行二次匹配，包括：确定未完成匹配的第一目标像素点的第一周边预设面积区域内已完成匹配的第一目标像素点；确定已完成匹配的第一目标像素点的第二周边预设面积区域内所有码元第一目标像素点对应的光平面为第一光平面序列，其中，第一目标像素点包括：线段条纹的中点和线段条纹的特征点；确定未完成匹配的第一目标像素点在第一光平面序列中所有光平面中的三维坐标为候选三维坐标；确定所有候选三维坐标在第二图像中对应的像素点为候选像素点，并从候选像素点中确定未完成匹配的第一目标像素点匹配的第二目标像素点。
7.可选地，从候选像素点中确定未完成匹配的第一目标像素点匹配的第二目标像素点，包括：确定每个候选像素点在第二图像中距离最近的第二目标像素点，并确定每个候选
像素点与距离最近的第二目标像素点的距离为第一距离；将第一距离最小的候选像素点确定为第三目标像素点，并将与第三目标像素点距离最近的第二目标像素点确定为与未完成匹配的第二目标像素点匹配的第二目标像素点。
8.可选地，方法还包括：确定已完成匹配的第一目标像素点的三维坐标；将已完成匹配的第一目标像素点的三维坐标代入到第一图像中所有码元对应的光平面方程中，得到残差参数；将残差参数最小的光平面方程对应的光平面确定为已完成匹配的第一目标像素点对应的光平面。
9.可选地，第一图像中目标码元的长度通过以下方式确定，包括：在多个目标码元按照码元图像横轴方向随机分布的情况下，确定第一放大倍率和第二放大倍率；将第二放大倍率与第一放大倍率的比值乘以目标码元的长度最小值确定为第一图像中目标码元的长度最小值；将第一图像的宽度的预设比例值确定第一图像中目标码元的长度最大值。
10.可选地，预先确定的码元图像中包含多个目标码元按照预设方向随机分布，目标码元为线段条纹，包括：基于目标码元的长度、目标码元的宽度、目标码元之间的间距和目标码元中心像素点的像素坐标确定目标码元所在的目标区域，其中，目标码元中心像素点的像素坐标在码元图像所在区域内随机生成的；遍历目标区域内的所有像素点，在目标区域中不存在目标码元的情况下，在目标区域生成目标码元，其中目标码元至少包括一条预设长度的线段和预设长度的线段对应的两个端点；在码元图像区域内的所有目标区域生成目标码元。
11.可选地，方法还包括：确定第一图像中任一码元的第一邻域码元集合和第二图像中多个候选码元的多个第二邻域码元集合；确定多个第二邻域码元集合中的邻域码元与第一邻域码元集合中的邻域码元匹配的个数，将多个第二邻域码元集合中匹配的个数最多的第二邻域码元集合确定为目标第二邻域码元集合；将目标第二邻域码元集合对应的候选码元确定为与任一码元匹配的码元。
12.可选地，方法还包括：依据目标码元的中心像素点坐标、目标码元的长度和目标码元的宽度确定目标码元所处的目标区域，目标区域中只存在一个目标码元。
13.根据本技术实施例的另一方面，还提供了一种三维重建装置，包括：获取模块，用于获取第一图像和第二图像，第一图像和第二图像分别由不同的图像采集设备采集被投射到被测物体表面的码元图像得到的，码元图像中包含多个目标码元按照预设方向随机分布，目标码元为线段条纹；匹配模块，用于获取第一图像中每个码元的第一目标像素点，并在第二图像中逐一确定与第一目标像素点匹配的第二目标像素点，以完成匹配；在第一图像中的存在第一目标像素点未完成匹配的情况下，对未完成匹配的第一目标像素点进行二次匹配；重建模块，用于至少依据预先确定的所述第一目标像素点在所述第一图像中的像素坐标和所述第二目标像素点在所述第二图像中的像素坐标确定所述第一目标像素点的三维坐标，以完成三维重建。
14.根据本技术实施例的再一方面，还提供了一种三维重建系统，应用于三维重建方法，其特征在于，包括：至少两个图像采集设备、投影设备和第一处理器；投影设备用于将预先确定的码元图像投射到被测物体表面；至少两个图像采集模块用于从被测物体表面采集预先确定的码元图像得到第一图像和第二图像；第一处理器用于获取第一图像中每个码元的第一目标像素点，并在第二图像中逐一确定与第一目标像素点匹配的第二目标像素点，
以完成匹配；在第一图像中的存在第一目标像素点未完成匹配的情况下，对未完成匹配的第一目标像素点进行二次匹配；还用于至少依据预先确定的所述第一目标像素点在所述第一图像中的像素坐标和所述第二目标像素点在所述第二图像中的像素坐标确定所述第一目标像素点的三维坐标，以完成三维重建。。
15.根据本技术实施例的再一方面，还提供了一种非易失性存储介质，非易失性存储介质包括存储的程序，其中，在程序运行时控制非易失性存储介质所在设备执行上述三维重建方法。
16.根据本技术实施例的再一方面，还提供了一种电子设备，包括：存储器和处理器；处理器用于运行程序，其中，程序运行时执行上述的三维重建方法。
17.在本技术实施例中，采用获取第一图像和第二图像，第一图像和第二图像分别由不同的图像采集设备采集被投射到被测物体表面的码元图像得到的，码元图像中包含多个目标码元按照预设方向随机分布，目标码元为线段条纹；获取第一图像中每个码元的第一目标像素点，并在第二图像中逐一确定与第一目标像素点匹配的第二目标像素点，以完成匹配；在第一图像中的存在第一目标像素点未完成匹配的情况下，对未完成匹配的第一目标像素点进行二次匹配；至少依据预先确定的所述第一目标像素点在所述第一图像中的像素坐标和所述第二目标像素点在所述第二图像中的像素坐标确定所述第一目标像素点的三维坐标，以完成三维重建的方式，通过对未完成匹配的第一目标像素点进行二次匹配的方式，达到了将所有的第一目标像素点匹配完成的目的，从而实现了第一图像中的第一目标像素点完全匹配的技术效果，进而解决了由于码元匹配的过程中匹配不完全造成三维重建结果准确性低技术问题。
附图说明
18.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
19.图1是根据本技术实施例的一种用于三维重建方法的计算机终端(或移动设备)的硬件结构框图；
20.图2是根据本技术的一种三维重建方法的示意图；
21.图3a根据本技术实施例的一种可选的码元图像示意图；
22.图3b根据本技术实施例的另一种可选的码元图像示意图；
23.图4是根据本技术实施例的五种可选的码元形状示意图；
24.图5是根据本技术实施例的一种可选的线段条纹示意图；
25.图6是根据本技术实施例的一种可选的三维重建系统；
26.图7是根据本技术实施例的一种可选的三维重建装置；
27.其中，上述附图包括以下附图标记：
28.601、被测物体；602、第一处理器；603、图像采集设备；604、投影设备；201、第一线段条纹。
具体实施方式
29.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的
附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
30.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
31.根据本技术实施例，还提供了一种三维重建方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
32.本技术实施例所提供的方法实施例可以在移动终端、计算机终端、云端服务器或者类似的运算装置中执行。图1示出了一种用于实现三维重建方法的计算机终端(或移动设备)的硬件结构框图。如图1所示，计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b，
……
，102n来示出)处理器102(处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块106。除此以外，还可以包括：显示器、输入/输出接口(i/o接口)、通用串行总线(usb)端口(可以作为i/o接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
33.应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本技术实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
34.存储器104可用于存储应用软件的软件程序以及模块，如本技术实施例中的三维重建方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的应用程序的三维重建方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
35.传输模块106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输模块106包括一个网络适
配器(network interface controller，nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输模块106可以为射频(radio frequency，rf)模块，其用于通过无线方式与互联网进行通讯。
36.显示器可以例如触摸屏式的液晶显示器(lcd)，该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。
37.根据本技术实施例，提供了一种三维重建方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
38.图2是根据本技术实施例的三维重建方法的流程图，如图2所示，该方法包括如下步骤：
39.步骤s202，获取第一图像和第二图像，第一图像和第二图像分别由不同的图像采集设备采集被投射到被测物体表面的码元图像得到的，码元图像中包含多个目标码元按照预设方向随机分布，目标码元为线段条纹；
40.步骤s204，获取第一图像中每个码元的第一目标像素点，并在第二图像中逐一确定与第一目标像素点匹配的第二目标像素点，以完成匹配；在第一图像中的存在第一目标像素点未完成匹配的情况下，对未完成匹配的第一目标像素点进行二次匹配；
41.步骤s206，至少依据预先确定的所述第一目标像素点在所述第一图像中的像素坐标和所述第二目标像素点在所述第二图像中的像素坐标确定所述第一目标像素点的三维坐标，以完成三维重建。
42.通过上述步骤，可以实现通过对未完成匹配的第一目标像素点进行二次匹配的方式，达到了将所有的第一目标像素点匹配完成的目的，从而实现了第一图像中的第一目标像素点完全匹配的技术效果，进而解决了由于码元匹配的过程中匹配不完全造成三维重建结果准确性低技术问题。
43.需要进行说明的是，三维重建是指对三维物体建立适合计算机表示和处理的数学模型，是在计算机环境下对其进行处理、操作和分析其性质的基础，也是在计算机中建立表达客观事件的虚拟现实技术。三维重建技术中通常会用到结构光时间编码和空间编码技术，其中，空间编码结构光难点在于利用像素空间灰度信息，对每个像素点进行稳定可靠的编解码，相关技术中的一类方法是通过一定的码元信息对特定像素点进行编码，通过大小圆形码元的编码方式，利用极线约束条件和邻域码元与图像中码元的相对位移关系对每个码元进行编解码，从而实现每个码元点的重建。这类方法的缺点在于码元编码容量有限，只能重建稀疏的码元点，单帧数据少，扫描效率低；受物体表面纹理影响较大。另外一类方法是通过随机散斑的形式，通过像素块间的相关性进行同名点匹配，例如：将伪随机散斑图像通过投影设备投射到被测物体表面，采用改进的sgm(semi-global matching，立体匹配)算法进行图像块间的匹配，从而得到被测物体表面的三维数据。该类方法的缺点是匹配适用的图像块空间大，重建数据精度和细节较差，难以实现复杂物体的重建。相关技术中，在码元匹配的过程中，由于图像噪声、匹配图像块大小和对于被测物体表面存在深度不连续的地方，往往相邻点的深度差较大，条纹图案调制较为严重等原因，会导致第一图像中部分码元的第一目标像素点无法正确找到匹配点，从而造成局部数据缺失。由于物体表面小区域
内深度呈现一定的连续性，因此可根据深度连续性原则进行匹配点补全。
44.同时，本技术提出的方法中，利用线段条纹码元的编码方式，线段条纹中的多个特征点，且码元间随机分布，增加了编码容量，提高了单帧图像的数据量，进而提高了扫描效率。同时由于本技术提出的方法是线段条纹分布，码元的分布密度高，提高了获取到的重建数据的精确度。
45.在步骤s202中，第一图像为第一图像采集设备采集的图像，第二图像为第二图像采集设备采集的图像；第一图像中的多个目标码元朝向相同，码元间的间距随机确定，例如：1号码元的与2号码元之间的间距为100μm，2号码元与3号码元之间的间距为80μm。码元按照图像高度方向随机上下波动分布，码元的特征包含至少两个可提取的灰度特征点图案，且特征点之间呈预设间距上下分布，条纹的位置可以在图像宽度和图像高度两个方向随机分布，也可以只在其中任一方向随机分布。图3a示出了一种随机按照图像宽度和图像高度两个方向随机分布的码元图像，图3a中条纹长度固定，图3b示出了一种按照图像高度方向条纹位置随机分布的码元图像，图3b中条纹长度随机设定。
46.在步骤s204中，获取第一图像中每个码元的第一目标像素点，并在第二图像中逐一确定与第一目标像素点匹配的第二目标像素点，以完成匹配，可以理解的是，第一图像与第二图像为不同的图像采集设备采集被投射到被测物体表面的投影图像得到的，所以第一图像中的码元结构和第二图像中的码元结构相同。由此可知，以第一目标像素点为第一图像中线段条纹的中点为例，第二图像中的匹配像素点为第二图像中线段条纹的中点。造成码元未匹配的原因有很多，例如：图像噪声、图像不清晰等。而且本技术实施例中提供的三维重建方法适用于码元特征点匹配方法中对未匹配的码元特征点进行二次匹配，也适用于目标像素点匹配方法中对未匹配目标像素点进行二次匹配。
47.在步骤s206中，第一图像中的目标码元与第二图像中的码元一一对应，第一图像为预设的，即第一图像中码元的投影参数为预设，根据目标码元与第二图像中的码元一一对应的关系，结合三角测量方法，确定第二图像中码元的三维坐标。
48.下面通过具体的实施例来详细说明上述步骤s202至步骤s206。
49.在步骤s204中对未完成匹配的第一目标像素点进行二次匹配，可以利用物体表面在小范围区域内深度呈现一定的连续性来进行补全，具体的，对第一图像中未找到正确匹配点的第一目标像素点p，利用其邻域内已经重建出来的第一目标像素点的深度{di}插值出第一目标像素点p的预估深度ds＝f(di)，f(di)为代入di的差值函数。然后根据预估深度ds可进一步计算得到p在第二图像中的预估匹配点的像素位置q，最后在第二图像的q点邻域像素内查找距离q点最近的第一目标像素点q
～
，将点q
～
确定为p点的匹配像素点。也可以利用光平面顺序的一致性原则进行二次匹配，具体的，确定未完成匹配的第一目标像素点的第一周边预设面积区域内已完成匹配的第一目标像素点；确定已完成匹配的第一目标像素点的第二周边预设面积区域内所有码元第一目标像素点对应的光平面为第一光平面序列，其中，第一目标像素点包括：线段条纹的中点和线段条纹的特征点；确定未完成匹配的第一目标像素点在第一光平面序列中所有光平面中的三维坐标为候选三维坐标；确定所有候选三维坐标在第二图像中对应的像素点为候选像素点，并从候选像素点中确定未完成匹配的第一目标像素点匹配的第二目标像素点。
50.具体的，对第一图像中任一个未匹配的第一目标像素点u，搜索其邻域(第一周边
预设面积区域)已经成功匹配的第一目标像素点，获取其邻域(第二周边预设面积区域)的光平面序列{nk}
k∈v
，然后根据标定的光平面序列信息，补全当前的邻域光平面序列，获得第一目标像素点u的候选光平面序列{nk}
k∈v
(第一光平面序列)m是v经过补全后的序列范围。
51.接着，在三角测量原理中，由相机参数、条纹中心坐标以及光平面方程，即可计算该中心点的三维坐标。遍历候选光平面，计算u点在每一个光平面中的三维坐标值{(x，y，z)
tk
}
k∈m
。根据每一个三维坐标，确定u点对应的多个在第二图像中的候选像素点，并从多个候选像素点中确定与u点匹配的第二目标像素点。
52.需要进行说明的是，条纹结构光图案通过投射模块投影到被测物体表面的过程，可以看成是图案中每一个条纹在空间产生一个光平面，每个光平面与物体表面相交，在物体表面形成变形的条纹图案。由于光平面信息可以预先标定获取，每一个条纹可由一个光平面序号和光平面参数表示。同时，图案中每个条纹自身光平面序号与其邻域条纹的光平面序号可组成一个已知的序列{ni}
i∈v
，v表示邻域条纹的光平面，ni表示光平面序号。对于一个已经获得三维坐标的第一目标像素点，将其坐标代入到任一光平面方程中f(x，y，z)＝ax by cz d，可计算得到一个残差参数该残差参数表示点到光平面的距离，残差越小，该点属于光光平面的可能性越高，可以理解的是，将所有的第一目标像素点的三维坐标代入到目标光平面方程中，残差参数最小的第一目标像素点确定属于目标光平面。
53.在一种可选的方式中，在确定第一光平面序列之前，确定已完成匹配的第一目标像素点的三维坐标；将已完成匹配的第一目标像素点的三维坐标代入到第一图像中所有码元对应的光平面方程中，得到残差参数；将残差参数最小的光平面方程对应的光平面确定为已完成匹配的第一目标像素点对应的光平面。具体的，遍历所有光平面，找到残差最小的光平面，该光平面即为当前第一目标像素点对应的光平面，并记录光平面的序号。依次对所有已经重建出来的条纹中心点进行光平面序号的标记。
54.在本技术的一些实施例中，提出了一种从候选像素点中确定未完成匹配的第一目标像素点匹配的第二目标像素点的方法，包括：确定每个候选像素点在第二图像中距离最近的第二目标像素点，并确定每个候选像素点与距离最近的第二目标像素点的距离为第一距离；将第一距离最小的候选像素点确定为第三目标像素点，并将与第三目标像素点距离最近的第二目标像素点确定为与未完成匹配的第二目标像素点匹配的第二目标像素点。
55.具体的，从第二图像中搜索每个候选像素点最近的第二目标像素点，以第二目标像素点为第二图像中的线段条纹中点为例，在第二图像中搜索每个候选像素点距离最近的线段条纹中点，并计算每个候选像素点与距离其最近的线段条纹中点的第一距离，将第一距离最小的第二目标像素点确定为未匹配的第一目标像素点的匹配像素点。
56.在确定完第一目标像素点的匹配像素点第二目标像素点之后，还可以第一目标像素点为特征点，确定所述第一图像中任一码元的第一邻域码元集合和所述所述第二图像中多个候选码元的多个第二邻域码元集合；确定所述多个第二邻域码元集合中的邻域码元与所述第一邻域码元集合中的邻域码元匹配的个数，将所述多个第二邻域码元集合中匹配的个数最多的第二邻域码元集合确定为目标第二邻域码元集合；将所述目标第二邻域码元集合对应的所述候选码元确定为所述目标码元。
57.具体的，第一邻域码元集合为第二图像中一个码元的邻域码元集合，例如：以第二
图像中的码元p为一个设定长度的线段和线段对应的两个端点为例，码元p的邻域码元集合为{p1,p2,p3,p4}；第二邻域码元集合为第二图像中任一个码元的候选码元的邻域码元集合，例如：码元p的候选码元为码元q，码元q的邻域码元集合为{q1,q2,q3,q4}，在码元p的候选码元存在三个情况下，例如：qi，i＝1,2,3，就存在三个第二邻域码元集合在码元p存在多个的情况，与上述情况类似，在此不再赘述。
58.需要进一步说明的是，以码元p为例，对于码元p的每一个候选码元qi,i为正整数，首先确认码元p1是否与候选码元q1的第一个邻域码元匹配，然后依次检索码元p的所有候选码元，确定所有候选码元的邻域码元与码元p1是否匹配，与码元p1匹配的候选码元，匹配个数据加1，例如：码元与码元p1匹配，则候选码元q1的匹配个数为1，如果码元与码元p2匹配则候选码元q1的匹配个数加1为2。将匹配个数最大的候选码元确定为目标码元，以码元p为例，在候选码元q1与码元p的匹配个数最多，则候选码元q1确定为目标码元与码元p匹配。
59.在本技术的一些实施例中，第一图像中的目标码元对应的线段条纹的长度通过以下方式确定，在多个目标码元按照码元图像横轴方向随机分布的情况下，确定第一放大倍率和第二放大倍率；将第二放大倍率与第一放大倍率的比值乘以目标码元的长度最小值确定为第一图像中目标码元的长度最小值；将第一图像的宽度的预设比例值确定第一图像中目标码元的长度最大值。
60.具体的，当重建系统的投影模块及图像采集模块确定之后，投影设备的放大倍率和图像采集模块的放大倍率为系统固有参数。码元图像的单元像素长度l
p
与第一图像的单元像素长度lc之间存在关系：由于投影设备能够投射的码元图像的单元像素的最小长度确定为l
min
，根据该公式，可确定第一图像中条纹的最小长度l
min
。为保证宽度w,高度h的投射图案的随机性，图案中的条纹最大长度l
max
不超过h/2，则每一个条纹长度li∈[l
min
，l
max
]。
[0061]
特别的，投射图案中条纹长度l可以是固定长度值,也可以是随机长度值。若为随机长度值时，每一个条纹的长度可由一个伪随机序列{li}确定，伪随机序列的取值范围为li∈[l
min
，l
max
]。
[0062]
在本技术的一些实施例中，码元图像的确定可以基于目标码元的长度、目标码元的宽度、目标码元之间的间距和目标码元中心像素点的像素坐标确定目标码元所在的目标区域，其中，目标码元中心像素点的像素坐标在码元图像所在区域内随机生成的；遍历目标区域内的所有像素点，在目标区域中不存在目标码元的情况下，在目标区域生成目标码元，其中目标码元至少包括一条预设长度的线段和预设长度的线段对应的两个端点；在码元图像区域内的所有目标区域生成目标码元。，如图4所示，示出了五种目标码元，标号1的码元由一条线段和线段对应的两个圆形端点组成，标号2由一条第一预设长度的线段和两条第二预设长度的线段为端点组成，第一预设长度大于第二预设长度，标号3的码元由一条第一预设长度的线段和三条第二预设长度的线段为端点组成，标号4由一条线段和线段本身的两个端点组成，标号5的码元由一条线段和另一条线段相交。
[0063]
在生成码元图像的过程中，依据目标码元的中心像素点坐标、目标码元的长度和目标码元的宽度确定目标码元所处的目标区域，目标区域中只存在一个目标码元。如图5所示，一个图像色斑中第一线段条纹201的分布示意图，条纹长度为l、条纹宽度为s、条纹间距为g/2，则第一线段条纹201在图像中占据的区域大小为(s g)
×
(l g)。在一个图像色斑的区域内只能包含一个条纹，或者不包含条纹。在w
×
h的待填充条纹的图像中，随机生成一个坐标位置(u，v)作为一个候选图像色斑中心位置，然后遍历该色斑对应的待填充图像中的每一个像素，检索候选图像色斑内是否已经包含有条纹，若不包含条纹，则在中候选色斑位置处产生一个条纹，否则不产生条纹。接着，进行下一个随机坐标的生成、色斑的检索、条纹的生成。重复上述过程，直到整个待填充图像中无法再产生条纹为止。
[0064]
基于上述方法，本技术可实现被测物体表面三维数据的快速、精确的重建。本技术中条纹中心线重建方法可实现精确的三维数据获取；随机条纹的方式，增加了编码点的数量(条纹中心任一像素点均为编码点)，提升了数据冗余度，进而提高了扫描效率。
[0065]
本技术实施例还提供了一种三维重建系统，如图6所示，包括：至少两个图像采集设备603、投影设备604和第一处理器602；投影设备604用于将预先确定的码元图像投射到被测物体601表面；至少两个图像采集模块603用于从被测物体601表面采集预先确定的码元图像得到第一图像和第二图像；第一处理器602用于获取第一图像中每个码元的第一目标像素点，并在第二图像中逐一确定与第一目标像素点匹配的第二目标像素点，以完成匹配；在第一图像中的存在第一目标像素点未完成匹配的情况下，对未完成匹配的第一目标像素点进行二次匹配；还用于依据预先确定的第一图像和第二图像的图像参数确定第一目标像素点的三维坐标，以完成三维重建。
[0066]
其中，图像采集设备603包括但不限于灰度相机和彩色相机，投影设备604的投影方式包括但不限于dlp(digtal light processing，数字光处理)、mask(掩码投影)、doe(衍射投影)等投影方式，能够投射结构光图案。一种可选的方式中，图像采集设备也可以是多个。
[0067]
本技术实施例还提供了一种模型训练装置，如图7所示，包括：获取模块70，用于获取第一图像和第二图像，第一图像和第二图像分别由不同的图像采集设备采集被投射到被测物体表面的码元图像得到的，码元图像中包含多个目标码元按照预设方向随机分布，目标码元为线段条纹；匹配模块72，用于获取第一图像中每个码元的第一目标像素点，并在第二图像中逐一确定与第一目标像素点匹配的第二目标像素点，以完成匹配；在第一图像中的存在第一目标像素点未完成匹配的情况下，对未完成匹配的第一目标像素点进行二次匹配；74重建模块，用于依据预先确定的第一图像和第二图像的图像参数确定第一目标像素点的三维坐标，以完成三维重建。
[0068]
匹配模块72包括：第一确定子模块，第一确定子模块用于确定未完成匹配的第一目标像素点的第一周边预设面积区域内已完成匹配的第一目标像素点；确定已完成匹配的第一目标像素点的第二周边预设面积区域内所有码元第一目标像素点对应的光平面为第一光平面序列，其中，第一目标像素点包括：线段条纹的中点和线段条纹的特征点；确定未完成匹配的第一目标像素点在第一光平面序列中所有光平面中的三维坐标为候选三维坐标；确定所有候选三维坐标在第二图像中对应的像素点为候选像素点，并从候选像素点中确定未完成匹配的第一目标像素点匹配的第二目标像素点。
[0069]
第一确定子模块包括：第一确定单元和第二确定单元；第一确定单元用于确定每个候选像素点在第二图像中距离最近的第二目标像素点，并确定每个候选像素点与距离最近的第二目标像素点的距离为第一距离；将第一距离最小的候选像素点确定为第三目标像素点，并将与第三目标像素点距离最近的第二目标像素点确定为与未完成匹配的第二目标像素点匹配的第二目标像素点；第二确定单元用于确定已完成匹配的第一目标像素点的三维坐标；将已完成匹配的第一目标像素点的三维坐标代入到第一图像中所有码元对应的光平面方程中，得到残差参数；将残差参数最小的光平面方程对应的光平面确定为已完成匹配的第一目标像素点对应的光平面。
[0070]
获取模块70包括：第二确定子模块，第二确定子模块用于在多个目标码元按照码元图像横轴方向随机分布的情况下，确定第一放大倍率和第二放大倍率；将第二放大倍率与第一放大倍率的比值乘以目标码元的长度最小值确定为第一图像中目标码元的长度最小值；将第一图像的宽度的预设比例值确定第一图像中目标码元的长度最大值。
[0071]
第二确定子模块包括：第三确定单元，第三确定单元用于依据目标码元的中心像素点坐标、目标码元的长度和目标码元的宽度确定目标码元所处的目标区域，目标区域中只存在一个目标码元。
[0072]
根据本技术实施例的另一方面，还提供了一种非易失性存储介质，包括存储的程序，其中，在程序运行时控制非易失性存储介质所在设备执行上述三维重建方法。
[0073]
根据本技术实施例的另一方面，还提供了一种处理器，处理器用于运行程序，其中，程序运行时执行上述三维重建方法。
[0074]
上述处理器用于运行执行以下功能的程序：获取第一图像和第二图像，第一图像和第二图像分别由不同的图像采集设备采集被投射到被测物体表面的码元图像得到的，码元图像中包含多个目标码元按照预设方向随机分布，目标码元为线段条纹；获取第一图像中每个码元的第一目标像素点，并在第二图像中逐一确定与第一目标像素点匹配的第二目标像素点，以完成匹配；在第一图像中的存在第一目标像素点未完成匹配的情况下，对未完成匹配的第一目标像素点进行二次匹配；依据预先确定的第一图像和第二图像的图像参数确定第一目标像素点的三维坐标，以完成三维重建。
[0075]
上述处理器执行上述三维重建方法，通过对未完成匹配的第一目标像素点进行二次匹配的方式，达到了将所有的第一目标像素点匹配完成的目的，从而实现了第一图像中的第一目标像素点完全匹配的技术效果，进而解决了由于码元匹配的过程中匹配不完全造成三维重建结果准确性低技术问题。
[0076]
在本技术的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0077]
在本技术所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
[0078]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的
部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0079]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0080]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本技术各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0081]
以上仅是本技术的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本技术的保护范围。