车辆图像获取装置及方法、车辆尺寸测量装置及方法、车辆尺寸测量系统与流程

1.本技术涉及图像处理技术领域，特别是涉及一种车辆图像获取装置及方法、车辆尺寸测量装置及方法、车辆尺寸测量系统。


背景技术：

2.近些年来货运车辆事故频发，主要原因在于车辆司机改装以及超载，因此国家实施的《道路车辆外廓尺寸、轴荷及质量限值》以及《营运车辆综合性能要求和检测方法》都对车辆的检测有了明确的规定，要求对货运车辆的尺寸参数进行检验，车辆结构不得任意改造等。
3.目前国内较大多数车管所依然采用的是人工测量方法，拉尺及人工拍照的方式记录车辆数据，这种方法对从业人员的业务能力要求高，否则极易出现误差，与此同时人工劳动强度大，效率低下。当然还有另外一种通过激光雷达扫描进行车辆测量的方式。利用雷达的方案，虽然对环境比较鲁棒，但多数雷达存在视角较小，价格昂贵，点云稀疏的问题，同时纯几何结构也增大后续处理难度。因此该行业迫切需要一套便捷高效的智能测量系统。
4.因此，如何自动且高效地实现车辆轮廓尺寸的测量就成为本领域技术人员亟待解决的问题之一。


技术实现要素：

5.鉴于以上所述现有技术的缺点，本技术的目的在于提供一种车辆图像获取装置及方法、车辆尺寸测量装置及方法、车辆尺寸测量系统，用于解决现有技术中车辆轮廓尺寸测量成本高、精度低的问题。
6.为实现上述目的及其他相关目的，本技术的第一方面，提供一种车辆图像获取装置，所述车辆图像获取装置包括：经过融合标定的多个结构光模组，所述结构光模组用于获取目标车辆的多组图像数据，每组图像数据分别包括多帧的二维数字图像和三维点云图像；相邻两个结构光模组之间的视场角具有第一重叠区域，每组图像中相邻两帧图像之间具有第二重叠区域。
7.在本技术第一方面的某些实施方式中，所述第一重叠区域占单个结构光模组获取的单幅图像的三分之一以上；所述第二重叠区域占单帧图像的二分之一以上。
8.本技术的第二方面，提供一种车辆图像获取方法，所述车辆图像获取方法包括：
9.对多个结构光模组进行融合标定；
10.通过所述多个结构光模组获取所述目标车辆的多组图像数据，每组图像数据分别包括多帧的二维数字图像和三维点云图像，且同一时间戳内的相邻两组图像包括第一重叠区域，以及同组图像中相邻两帧图像之间具有第二重叠区域。
11.在本技术第二方面的某些实施方式中，所述第一重叠区域占单个结构光模组获取的单幅图像的三分之一以上；所述第二重叠区域占单帧图像的二分之一以上。
12.在本技术第二方面的某些实施方式中，所述对多个结构光模组进行融合标定的步骤包括：
13.分别通过所述多个结构光模组获取标定物体的图像数据，所述图像数据包括二维数字图像和三维点云图像；
14.根据所述图像数据中的二维数字图像获取标定物体的角点信息；
15.当所述角点信息满足预设条件时，根据所述角点信息获取图像数据的外参矩阵，以对所述多个结构光模组进行融合标定。
16.在本技术第二方面的某些实施方式中，当所述角点信息不满足预设条件时，根据所述图像数据中的三维点云图像获取标定物体的三维点云数据；根据所述三维点云数据获取所述结构光模组的对应关系，以完成融合标定。
17.在本技术第二方面的某些实施方式中，所述对多个结构光模组进行融合标定的步骤包括：
18.分别通过所述多个结构光模组获取标定物体的图像数据，所述图像数据包括二维数字图像和三维点云图像；
19.根据所述图像数据中的三维点云图像获取标定物体的三维点云数据；
20.根据所述三维点云数据获取所述结构光模组的对应关系，以完成融合标定。
21.在本技术第二方面的某些实施方式中，在分别通过所述多个结构光模组获取标定物体的图像数据之前，分别对所述多个结构光模组进行内参标定。
22.本技术的第三方面，提供一种车辆尺寸测量方法，所述车辆尺寸测量方法包括：
23.获取目标车辆的多组图像数据，每组图像数据分别包括多帧的二维数字图像和三维点云图像，且同一时间戳内的相邻两组图像包括第一重叠区域，以及同组图像中相邻两帧图像之间具有第二重叠区域；
24.根据所述多组图像数据中的二维数字图像获取目标车辆的完整图像，并根据所述二维数字图像和三维点云图像获取目标车辆的完整图像和完整点云；
25.根据目标车辆的完整图像获取目标车辆的基准信息；
26.根据所述基准信息从所述完整点云中获取目标车辆的尺寸信息。
27.在本技术第三方面的某些实施方式中，根据所述多组图像数据中的二维数字图像获取目标车辆的完整图像的步骤包括：对同一时间戳内的每组图像数据中的二维数字图像进行拼接以获取目标车辆的完整图像。
28.在本技术第三方面的某些实施方式中，对同一时间戳内的每组图像数据中的二维数字图像进行拼接之后，利用icp算法进行配准以获取目标车辆的完整图像。
29.在本技术第三方面的某些实施方式中，根据所述二维数字图像和三维点云图像获取目标车辆的完整点云的步骤包括：基于光流法获取各组内多帧二维数字图像的点云变换关系；基于所述点云变换关系对所述三维点云图像进行拼接以获取目标车辆的完整点云。
30.在本技术第三方面的某些实施方式中，所述根据目标车辆的完整图像获取目标车辆的基准信息的步骤包括：利用神经网络算法对所述完整图像进行组件分割；基于所述分割结果获取目标车辆的基准信息，并根据分割结果对点云进行类别标记。
31.在本技术第三方面的某些实施方式中，利用神经网络算法对所述完整图像进行组件分割的步骤包括：利用神经网络算法对所述完整图像进行实时地、离线地、或者实时加离
线相结合的方式进行组件分割。
32.在本技术第三方面的某些实施方式中，根据所述基准信息从所述完整点云中获取目标车辆的尺寸信息的步骤包括：基于所述基准信息对所述完整点云进行连通域判断和滤波以获取各个组件点云数据；基于所获取的各个组件的点云数据获取轴对齐点云包围盒，并根据所述包围盒获取目标车辆的尺寸信息。
33.在本技术第三方面的某些实施方式中，所述方法还包括：获取目标车辆所在的环境点云；在获取到目标车辆的完整点云之后，根据所述环境点云对完整点云进行滤波。
34.本技术的第四方面，提供一种车辆尺寸测量装置，所述车辆尺寸测量装置包括：
35.图像数据获取模块，用于获取目标车辆的多组图像数据，每组图像数据分别包括多帧的二维数字图像和三维点云图像，且同一时间戳内的相邻两组图像包括第一重叠区域，以及同组图像中相邻两帧图像之间具有第二重叠区域；
36.完整图像获取模块，用于根据所述多组图像数据中的二维数字图像获取目标车辆的完整图像；
37.完整点云获取模块，用于根据所述二维数字图像和三维点云图像获取目标车辆的完整点云；
38.基准信息获取模块，用于根据目标车辆的完整图像获取目标车辆的基准信息；
39.尺寸信息获取模块，用于根据所述基准信息从所述完整点云中获取目标车辆的尺寸信息。
40.在本技术第四方面的某些实施方式中，所述完整图像获取模块包括图像拼接单元，所述图像拼接单元用于对同一时间戳内的每组图像数据中的二维数字图像进行拼接以获取目标车辆的完整图像。
41.在本技术第四方面的某些实施方式中，所述完整图像获取模块还包括配准单元，所述配准单元用于在图像拼接单元完成二维数字图像的拼接之后，利用icp算法进行配准以获取目标车辆的完整图像。
42.在本技术第四方面的某些实施方式中，所述完整点云获取模块包括：变换关系获取单元和点云拼接单元，所述变换关系获取单元用于基于光流法获取各组内多帧二维数字图像的点云变换关系，所述点云拼接单元用于基于所述点云变换关系对所述三维点云图像进行拼接以获取目标车辆的完整点云。
43.在本技术第四方面的某些实施方式中，基准信息获取模块包括组件分割单元和类别标记单元，所述组件分割单元用于利用神经网络算法对所述完整图像进行组件分割，并基于所述分割结果获取目标车辆的基准信息，所述类别标记单元用于根据分割结果对点云进行类别标记。
44.在本技术第四方面的某些实施方式中，尺寸信息获取模块包括组件滤波单元和尺寸信息获取单元，所述组件滤波单元用于基于所述基准信息对所述完整点云进行连通域判断和滤波以获取各个组件点云数据；所述尺寸信息获取单元用于基于所获取的各个组件的点云数据获取轴对齐点云包围盒，并根据所述包围盒获取目标车辆的尺寸信息。
45.在本技术第四方面的某些实施方式中，所述装置还包括：环境点云获取模块和点云滤波模块：所述环境点云获取模块用于获取目标车辆所在的环境点云；所述点云滤波模块用于在获取到目标车辆的完整点云之后，根据所述环境点云对完整点云进行滤波。
46.本技术的第五方面，提供一种车辆尺寸测量系统，所述车辆尺寸测量系统包括：车辆图像获取装置、如前述任一项所述的车辆尺寸测量装置，所述车辆图像获取装置包括：经过融合标定的多个结构光模组，所述结构光模组用于获取目标车辆的多组图像数据，每组图像数据分别包括多帧的二维数字图像和三维点云图像；相邻两个结构光模组之间的视场角具有第一重叠区域，每组图像中相邻两帧图像之间具有第二重叠区域；所述车辆尺寸测量装置用于根据所述车辆图像获取装置获取到的图像数据完成车辆尺寸的测量。
47.如上所述，本技术的车辆图像获取装置及方法、车辆尺寸测量装置及方法、车辆尺寸测量系统，具有以下有益效果：
48.本技术中的车辆图像获取装置及方法通过多个结构光模组可以实现自动、快速及准确的目标车辆的图像获取，不仅降低了图像的获取成本，同时提高了图像获取的效率。另一方面，由于相邻两个结构光模组之间的视场角具有第一重叠区域，因此，可以完整准确的获得目标车辆的图像数据，为后续图像数据提高了精度。
49.进一步地，本技术的车辆尺寸测量装置、方法及车辆尺寸测量系统对于结构光模组获取的图像数据进行拼接、滤波及组件分割等处理，不仅有效的提高了图像处理效率，而且可以高精度的获得目标车辆的尺寸信息，大大降低了测量成本。
附图说明
50.图1显示为本技术车辆图像获取装置实施例一的结构示意图。
51.图2显示为本技术车辆图像获取方法实施例一的流程示意图。
52.图3显示为多个结构光模组融合标定的实施例一的流程示意图。
53.图4显示为多个结构光模组融合标定的实施例二的流程示意图。
54.图5显示为本技术车辆尺寸测量方法的实施例一的流程示意图。
55.图6显示为本技术车辆尺寸测量装置的实施例一的结构示意图。
56.图7显示为本技术车辆尺寸测量系统的实施例一的结构示意图。
具体实施方式
57.以下由特定的具体实施例说明本技术的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本技术的其他优点及功效。
58.在下述描述中，参考附图，附图描述了本技术的若干实施例。应当理解，还可使用其他实施例，并且可以在不背离本公开的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的，并且本技术的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例，而并非旨在限制本技术。空间相关的术语，例如“上”、“下”、“左”、“右”、“下面”、“下方”、“下部”、“上方”、“上部”等，可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。
59.虽然在一些实例中术语第一、第二等在本文中用来描述各种元件，但是这些元件不应当被这些术语限制。这些术语仅用来将一个元件与另一个元件进行区分。
60.再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特
征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“a、b或c”或者“a、b和/或c”意味着“以下任一个：a；b；c；a和b；a和c；b和c；a、b和c”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
61.目前通过人工测量的方式记录车辆数据，不仅导致人工劳动强度大、效率低下，还容易导致数据出错，测量精度不够。基于此，我们提出了一种用于工业环境下的物体三维扫描系统。利用多传感器融合，捕捉场景的三维点云图像和二维数字图像，基于计算机图形学的知识，对三维点云图像和二维数字图像进行形态学、几何学的分析，快速恢复物体以及其各个部件的三维模型，同时还原其真实尺寸，极大程度上提高检验效率，以及丰富检验数据。
62.请参阅图1，图1显示为本技术车辆图像获取装置实施例一的结构示意图，如图所示，所述车辆图像获取装置包括：经过融合标定的多个结构光模组100，所述结构光模组用于获取目标车辆的多组图像数据，每组图像数据包括多帧的二维数字图像和三维点云图像；相邻两个结构光模组之间的视场角具有第一重叠区域，每组图像中相邻两帧图像之间具有第二重叠区域。
63.具体地，在本实施例中，所述车辆图像获取装置包括五个结构光模组，所述各个结构光模组分别设置于龙门架300上，按照车辆行驶方向来定义，各结构光模组分别设置于目标车辆200的右侧方、正前方、正后方、以及右前方及右后方，该五个结构光模组的相邻两个模组的视场角度均具有第一重叠区域。在本技术中，所述第一重叠区域与单个结构光模组获取的单幅图像的比例范围为大于三分之一。当然，所述第一重叠区域的范围仅为举例说明，其并不能限制本技术的保护范围，也就是说在实际应用中，可以根据具体需求对所述第一重叠区域的范围做适应性调整，本技术对此不做限制。由于相邻两个结构光模组之间的视场角具有第一重叠区域，因此通过所述多个结构光模组获取到的图像数据之间也存在第一重叠区域。
64.在具体应用中，由于车辆查验环境通常都比较广阔，采用单个通用型结构光相机无法做到全方位的数据获取，从而导致数据获取不全面，进而影响后续尺寸测量的准确度。因此，本技术中设置多个具有第一重叠视场角的结构光模组以获取全面、准确的图像数据，从而提高后续车辆尺寸测量的精度。需要说明的是，所述结构光模组的数量并不以前述5个的数量为限，可根据实际需求设置不同数量的结构光模组以实现尺寸测量的目的，本技术对此不做限制。每个结构光模组可分别获取多帧图像(二维数字图像和三维点云图像)，从而形成一组图像数据，也就是说获取到的图像数据的组数与设置的结构光模组的数量一致。并且，每相邻两帧图像之间具有第二重叠区域，在本实施例中，第二重叠区域的范围占单帧图像的二分之一以上，在具体应用中第二重叠区域可以占单帧图像的三分之二，当然也可以设置对第二重叠区域做其他设置，本技术对此不做限制。
65.另外，所述结构光模组可以包括单目结构光相机、双目结构光相机中的任意一种或其结合。在本实施例中，所述结构光模组采用双目结构光相机来实现，当然在实际应用中，可以根据实际需求选取不同类型的结构光模组。
66.在本实施例中，所述多个结构光模组在获取车辆图像数据前经过融合标定的。下
面对多个结构光模组的融合标定过程做详细说明。
67.首先需要说明的是，由于检测环境的不同，环境光对于融合标定起到很大的影响。在暗光环境和亮光环境下可以采用不同的融合标定方式，以有效的提高融合标定结果的准确度。
68.在亮光环境下对多个结构光模组进行融合标定时，可采用棋盘格标定法，首先进行标定准备，选定标定板或者高对比度的物体作为标定物体，在本实施例中将黑色标定板(如棋盘格)作为标定物体，这样可以更加准确的选取出清晰可靠的角点信息；然后启动结构光模组对标定物体进行扫描以获取标定物体的图像数据，所述图像数据包括二维数字图像和三维点云图像；接着根据获取到的图像数据中的二维数字图像得到标定物体的角点信息；最后根据所述角点信息获取图像数据的外参矩阵，以对所述多个结构光模组进行融合标定。
69.在暗光环境下对多个结构光模组进行融合标定的步骤包括：分别通过所述多个结构光模组获取标定物体的图像数据，所述图像数据包括二维数字图像和三维点云图像；根据所述图像数据中的三维点云图像获取标定物体的三维点云数据；根据所述三维点云数据获取所述结构光模组的对应关系，以完成融合标定。
70.在实际应用中，还可以采用以上两种方法相结合的方式进行融合标定，例如：先启动结构光模组对标定物体进行扫描以获取标定物体的图像数据，所述图像数据包括二维数字图像和三维点云图像；接着根据获取到图像数据中的二维数字图像得到标定物体的角点信息；然后判断所述角点信息是否满足预设条件，若所述角点信息满足预设条件时，根据所述角点信息获取图像数据的外参矩阵，以对所述多个结构光模组进行融合标定。在本实施例中，若在暗光环境下所获取到的图像数据不够清晰，无法有效检测标定物体的角点信息时，判定为所述角点信息不满足预设条件；反之，若根据图像数据可以清晰的得到所述角点信息，则判定为所述角点信息满足预设条件。也就是说，只有当环境光线充足，能够清晰有效的图像数据及角点信息时，才会根据角点信息获取图像数据的外参矩阵，从而进行各个结构光模组的融合标定。相应地，当所述角点信息不满足预设条件时，所述融合标定过程为：根据所述标定物体的图像数据中的三维点云图像获取标定物体的三维点云数据；根据所述三维点云数据获取所述结构光模组的对应关系，以完成融合标定。也就是说，针对暗光环境下无法有效检测标定物体(棋盘格)角点信息时，还可以利用结构光相机获取到的三维点云数据，利用点云数据之间的对应点进优化求解，从而得到各个结构光模组之间的变换关系。
71.进一步地，为保证融合标定精度，在分别通过所述多个结构光模组获取标定物体的图像数据之前，先对多个结构光模组(相机)进行内参标定。内参标定的过程包括：首先准备黑白棋盘格的标定板；然后采用图像采集模块(相机)拍摄多角度、多位置的多张照片，为保证内参标定的精度，可以尽可能多的获取照片数量，本技术对此不做限制；最后可以利用matlab工具完成标定。当然，也可以通过其他方式完成相机的内参标定，本技术对此不做限制。
72.图2显示为本技术车辆图像获取方法实施例一的流程示意图。如图所示，所述车辆图像获取方法包括：
73.步骤s10，对多个结构光模组进行融合标定；
74.步骤s20，通过所述多个结构光模组获取所述目标车辆的多组图像数据，每组图像数据分别包括多帧的二维数字图像和三维点云图像，且同一时间戳内的相邻两组图像包括第一重叠区域，以及同组图像中相邻两帧图像之间具有第二重叠区域。
75.在本实施例中，所述第一重叠区域占单个结构光模组获取的单幅图像的三分之一以上；所述第二重叠区域占单帧图像的二分之一以上。在具体应用中，所述多个结构光模组可以采用双目结构光相机来实现，当然还可以根据实际需要采用单目结构光相机或者其他类型的结构光相机来实现，本技术对此不做限制。以获取车辆的图像数据为例，可以将多个结构光模组设置于龙门架上，具体地可参考图1所示的方式进行设置以便清晰完整地获取到目标车辆的完整图像和完整点云。
76.由于检测环境的不同，环境光对于融合标定起到很大的影响。在暗光环境和亮光环境下可以采用不同的融合标定方式，以有效的提高融合标定结果的准确度。在亮光环境下，可采用棋盘格方法进行标定，而针对暗光环境下，无法有效获取棋盘角度信息的情况下，可采用点云数据之间的对应点进行优化求解，从而得到各结构光模组的变换关系，进而根据所述变换关系完成融合标定。
77.图3显示为多个结构光模组融合标定的实施例一的流程示意图。本实施例针对的是在暗光环境下对结构光模组的融合标定的实现方法，如图所示，所述对多个结构光模组进行融合标定的步骤包括：
78.步骤s17，分别通过所述多个结构光模组获取标定物体的图像数据，所述图像数据包括二维数字图像和三维点云图像；
79.步骤s18，根据所述图像数据中的三维点云图像获取标定物体的三维点云数据；
80.步骤s19，根据所述三维点云数据获取所述结构光模组的对应关系，以完成融合标定。
81.而在亮光环境下对多个结构光模组进行融合标定时，可采用棋盘格标定法，首先进行标定准备，选定标定板或者高对比度的物体作为标定物体，在本实施例中将黑色标定板(如棋盘格)作为标定物体，这样可以更加准确的选取出清晰可靠的角点信息；然后启动结构光模组对标定物体进行扫描以获取标定物体的图像数据，所述图像数据包括二维数字图像和三维点云图像；接着根据获取到的图像数据中的二维数字图像得到标定物体的角点信息；最后根据所述角点信息获取图像数据的外参矩阵，以对所述多个结构光模组进行融合标定。
82.在实际应用中，还可以采用以上两种方法相结合的方式进行融合标定。图4显示为多个结构光模组融合标定的实施例二的流程示意图，如图所示，所述对多个结构光模组进行融合标定的步骤包括：
83.步骤s11，分别通过所述多个结构光模组获取标定物体的图像数据，所述图像数据包括二维数字图像和三维点云图像；
84.步骤s12，根据所述图像数据中二维数字图像获取标定物体的角点信息；
85.步骤s13，判断所述角点信息是否满足预设条件；
86.当所述角点信息满足预设条件时，执行步骤s14，根据所述角点信息获取图像数据的外参矩阵，以对所述多个结构光模组进行融合标定。
87.当所述角点信息不满足预设条件时，执行步骤s15，根据所述图像数据中的三维点
云图像获取标定物体的三维点云数据；然后执行步骤s16，根据所述三维点云数据获取所述结构光模组的对应关系，以完成融合标定。
88.在本实施例中，先启动结构光模组对标定物体进行扫描以获取标定物体的图像数据，所述图像数据包括二维数字图像和三维点云图像；接着根据获取到的图像数据中的二维数字图像得到标定物体的角点信息；然后判断所述角点信息是否满足预设条件，若所述角点信息满足预设条件时，根据所述角点信息获取图像数据的外参矩阵，以对所述多个结构光模组进行融合标定。在本实施例中，若在暗光环境下所获取到的图像数据不够清晰，无法有效检测标定物体的角点信息时，判定为所述角点信息不满足预设条件；反之，若根据图像数据可以清晰的得到所述角点信息，则判定为所述角点信息满足预设条件。也就是说，只有当环境光线充足，能够清晰有效的图像数据及角点信息时，才会根据角点信息获取图像数据的外参矩阵，从而进行各个结构光模组的融合标定。相应地，当所述角点信息不满足预设条件时，所述融合标定过程为：根据所述图像数据中的三维点云图像获取标定物体的三维点云数据；根据所述三维点云数据获取所述结构光模组的对应关系，以完成融合标定。也就是说，针对暗光环境下无法有效检测标定物体(棋盘格)角点信息时，还可以利用结构光相机获取三维点云数据，利用点云数据之间的对应点进优化求解，从而得到各个结构光模组之间的变换关系。
89.需要说明的是，在分别通过所述多个结构光模组获取标定物体的图像数据之前，分别对所述多个结构光模组进行内参标定。所述内参标定的过程可以包括：首先准备黑白棋盘格的标定板；然后采用图像采集模块(相机)拍摄多角度、多位置的多张照片，为保证内参标定的精度，可以尽可能多的获取照片数量，本技术对此不做限制；最后可以利用matlab工具完成标定。当然，也可以通过其他方式完成相机的内参标定，本技术对此不做限制。
90.图5显示为本技术车辆尺寸测量方法的实施例一的流程示意图。如图所示，所述车辆尺寸测量方法包括：
91.首先执行步骤s100，获取目标车辆的多组图像数据，每组图像数据分别包括多帧的二维数字图像和三维点云图像，且同一时间戳内的相邻两组图像包括第一重叠区域，以及同组图像中相邻两帧图像之间具有第二重叠区域；
92.所述第一重叠区域占单个结构光模组获取的单幅图像的三分之一以上；所述第二重叠区域占单帧图像的二分之一以上。本实施例中，所述目标车辆的多组图像数据可通过前述的车辆图像获取装置来获得，具体的获取方法及过程参考前述详细说明，在此不再赘述。在本实施例中，多个结构光模组可以同时启动和采集数据，每一个结构光模组均可采集多帧图像以组成一组图像数据。
93.接着执行步骤s200，根据所述多组图像数据中的二维数字图像获取目标车辆的完整图像，并根据所述二维数字图像和三维点云图像获取目标车辆的完整点云。
94.在本实施例中，根据所述多组图像数据中的二维数字图像获取目标车辆的完整图像的步骤包括：对同一时间戳内的每组图像数据中的二维数字图像进行拼接以获取目标车辆的完整图像。进一步地，在对同一时间戳内的二维数字图像数据进行拼接之后，还可以利用icp算法(iterative closest point，迭代最近点算法)进行配准以获取目标车辆的完整图像。
95.需要说明的是，为提高效率，本实施例中仅需对每组中第一帧图像进行优化以得
到的各结构光模组之间的变换矩阵，在后续计算过程中使用该变换矩阵即可，无需对每帧图像均进行优化计算，从而有效地提高处理速度。
96.在本实施例中，根据所述二信数字图像和三维点云图像获取目标车辆的完整点云的步骤包括：基于光流法获取各组内多帧二维数字图像的点云变换关系；基于所述点云变换关系对所述三维点云图像进行拼接以获取目标车辆的完整点云。
97.光流(optical flow)是目标、场景或摄像机在连续两帧图像间运动时造成的目标的运动。它是图像在平移过程中的二维矢量场，是通过二维图像来表示物体点三维运动的速度场，反映了微小时间间隔内由于运动形成的图像变化，以确定图像点上的运动方向和运动速率。
98.以目标车辆为例，在采集过程中车辆缓慢行驶，通过结构光模组采集到的二维数字图像在两帧之间利用光流法可以有效计算点云之间的变换关系，这样在车辆行驶通过龙门架之后，可以根据所变换关系对结构光模组获取到的三维点云图像进行拼接，从而得到车辆的完整点云。
99.继续参考图5，然后执行步骤s300，根据目标车辆的完整图像获取目标车辆的基准信息。
100.需要说明的是，在本实施例中，所述基准信息可以包括整体轮廓基准信息、部件基准信息中的一种或其组合；整体轮廓基准信息指的是基于目标物体的整体轮廓所获得的基准信息；部件基准信息指的是基于目标物体的部件所获取的基准信息，以目标物体为卡车为例，所述整体轮廓基准信息指的是卡车的外部轮廓所对应的基准信息；而部件基准信息可以为卡车上的轴距、栏板等部件所对应的基准信息；当然也可以根据目标物体的不同，获取其他的部件基准信息，例如，如果目标物体为混凝土搅拌车、油罐车等工程车辆，所述部件基准信息还可以为搅拌筒或油罐筒所对应的体积基准信息等等，本技术对此不做限制。
101.在本实施例中，可以利用神经网络算法对所述完整图像进行组件分割；基于所述分割结果获取目标车辆的基准信息，并根据分割结果对点云进行类别标记。
102.具体地，可以利用神经网络算法对所述完整图像进行实时地、离线地、或者实时加离线相结合的方式进行组件分割。换句话说，针对不同服务器，由于其处理速度不同，可以通过合理设置采样间隔的方式进行实时地、离线地或者实时与离线相结合的方式进行数据处理。需要注意的是采样间隔越小，处理性能要求越高，但采样间隔不能过大，要保证帧间数据可以有效利用光流法，同时可以选择性的对数据实时处理或离线处理。
103.在利用神经网络算法进行实例分割时，通过图像与点云之间的投影关系，可以得到点云中每个点的类别，如车轮、栏板等，从而实现对点云的类别标记。
104.最后执行步骤s400，根据所述基准信息从所述完整点云中获取目标车辆的尺寸信息。
105.在本实施例中，可以先基于所述基准信息对所述完整点云进行连通域判断和滤波以获取各个组件点云数据；然后基于所获取的各个组件的点云数据获取轴对齐点云包围盒，并根据所述包围盒获取目标车辆的尺寸信息。具体地，可以通过aabb(axis-aligned bounding box)算法获取目标车辆的外接矩形框或者目标车辆中各组件的外接矩形框，从而准确测量目标物体的长度、宽度高度等尺寸信息。当然，也可以通过obb(oriented bounding box)算法来获取目标车辆的尺寸信息，本技术对此不做限制。
106.需要说明的中，在本实施例中，所述方法还可以获取目标车辆所在的环境点云，然后在获取到目标车辆的完整点云之后，根据所述环境点云对完整点云进行滤波。
107.在具体应用中，针对每个不同的环境，在进行目标车辆的尺寸测量前，可以先通过结构光模组对环境进行预先扫描，以获得环境点云(或者地面点云)，然后再对目标车辆进行扫描，以获取目标车辆的完整点云，通过环境点云对目标车辆的完整点云进行滤波。通过这样的方式，极大的减化了后续处理的数量量，从而提高了数据处理效率。
108.当然，也可以在获取目标车辆的完整点云数据之后，对获取到的所述完整点云数据进行滤波处理的步骤。也就是说，为进一步提高数据处理的效率及精度，可以先对获取到的完整点云数据进行滤波处理。原始获取得的完整点云数据中存在许多不必要的噪点，在本实施例中，对完整点云图做改进腐蚀运算。具体地，可以根据预设阈值对周围像素点数超过目标像素的预设阈值的数量做统计，当超过预设阈值的像素点数大于预设数量时舍弃该点的像素值，所述像素值代表实际深度值。举例来说，假设预设阈值是5cm，以该预设阈值为标准，统计周围(5*5的正方形kernel)像素点的像素值是否超过该预设阈值，当像素值大于预设阈值的像素点数量大于预设数量时，舍弃该像素点的像素值。当然，在具体应用中可以根据实际需求对预设阈值，以及周围像素点的范围做具体设置，本技术对此不做限制。
109.通过对点云图的滤波处理，大大提高了图像的精度，从而也提高了后续图像处理的效率及精度。
110.图6显示为本技术车辆尺寸测量装置的实施例一的结构示意图。如图所示，所述车辆尺寸测量装置包括：图像数据获取模块10、完整图像获取模块20、完整点云获取模块30、基准信息获取模块40和尺寸信息获取模块50。
111.所述图像数据获取模块10用于获取目标车辆的多组图像数据，每组图像数据分别包括多帧的二维数字图像和三维点云图像，且同一时间戳内的相邻两组图像包括第一重叠区域，以及同组图像中相邻两帧图像之间具有第二重叠区域。在本实施例中，所述第一重叠区域占单个结构光模组获取的单幅图像的三分之一以上；所述第二重叠区域占单帧图像的二分之一以上。
112.本实施例中，所述目标车辆的多组图像数据可以由前述的车辆图像获取装置获得，所述车辆图像获取装置的结构及工作过程可参考前述详细说明，在此不再赘述。所述图像数据获取模块10用于接收由所述车辆图像获取装置获得的目标车辆的多组图像数据(包括二维数字图像和三维点云图像)。所述图像数据获取模块10可以包括存储器，用于将接收到的图像数据进行存储。所述存储器可以采用现有的存储器，如flash存储器、ram存储器等，本技术对此不做限制。
113.所述完整图像获取模块20用于根据所述多组图像数据中的二维数字图像获取目标车辆的完整图像。在本实施例中，所述完整图像获取模块20可以包括图像拼接单元(图中未示出)，所述图像拼接单元用于对同一时间戳内的每组图像数据中的二维数字图像进行拼接以获取目标车辆的完整图像。另外，所述完整图像获取模块20还可以包括配准单元(图中未示出)，所述配准单元用于在图像拼接单元完成同一时间戳内的二维数字图像的拼接之后，利用icp算法进行配准以获取目标车辆的完整图像。
114.需要说明的是，为提高效率，本实施例中仅需对每组中第一帧图像进行优化以得到的各结构光模组之间的变换矩阵，在后续计算过程中使用该变换矩阵即可，无需对每帧
图像均进行优化计算，从而有效地提高处理速度。
115.所述完整点云获取模块30用于根据所述多组图像数据中二维数字图像和三维点云图像获取目标车辆的完整点云。在本实施例中，所述完整点云获取模块30可以包括变换关系获取单元和点云拼接单元(图中未示出)，所述变换关系获取单元基于光流法获取各组内多帧二维数字图像的点云变换关系；然后由所述点云拼接单元基于所述点云变换关系对三维点云图像进行拼接从而获取目标车辆的完整点云。以目标车辆为例，在采集过程中车辆缓慢行驶，通过结构光模组采集到的数字图像在两帧之间利用光流法可以有效计算点云之间的变换关系，这样在车辆行驶通过龙门架之后，就可以得到车辆的完整点云。
116.所述基准信息获取模块40用于根据目标车辆的完整图像获取目标车辆的基准信息。所述基准信息可以包括整体轮廓基准信息、部件基准信息中的一种或其组合；整体轮廓基准信息指的是基于目标物体的整体轮廓所获得的基准信息；部件基准信息指的是基于目标物体的部件所获取的基准信息，以目标物体为卡车为例，所述整体轮廓基准信息指的是卡车的外部轮廓所对应的基准信息；而部件基准信息可以为卡车上的轴距、栏板等部件所对应的基准信息；当然也可以根据目标物体的不同，获取其他的部件基准信息，例如，如果目标物体为混凝土搅拌车、油罐车等工程车辆，所述部件基准信息还可以为搅拌筒或油罐筒所对应的体积基准信息等等，本技术对此不做限制。
117.所述基准信息获取模块可以包括组件分割单元和类别标记单元(图中未示出)，所述组件分割单元用于利用神经网络算法对所述完整图像进行组件分割，并基于所述分割结果获取目标车辆的基准信息，所述类别标记单元用于根据分割结果对点云进行类别标记。
118.具体地，所述组件分割单元可以利用神经网络算法对所述完整图像进行实时地、离线地、或者实时加离线相结合的方式进行组件分割。换句话说，针对不同服务器，由于其处理速度不同，可以通过合理设置采样间隔的方式进行实时地、离线地或者实时与离线相结合的方式进行数据处理。需要注意的是采样间隔越小，处理性能要求越高，但采样间隔不能过大，要保证帧间数据可以有效利用光流法，同时可以选择性的对数据实时处理或离线处理。
119.所述类别标记单元在所述组件分割单元利用神经网络算法进行实例分割时，通过图像与点云之间的投影关系，得到点云中每个点的类别，如车轮、栏板等，从而实现对点云的类别标记。通过这样的类别标记可以有效提高后续数据处理的精度和效率。
120.继续参考图6，所述尺寸信息获取模块50用于根据所述基准信息从所述完整点云中获取目标车辆的尺寸信息。
121.本实施例中，所述尺寸信息获取模块可以包括组件滤波单元和尺寸信息获取单元(图中未示出)，所述组件滤波单元用于基于所述基准信息对所述完整点云进行连通域判断和滤波以获取各个组件点云数据；所述尺寸信息获取单元用于基于所获取的各个组件的点云数据获取轴对齐点云包围盒，并根据所述包围盒获取目标车辆的尺寸信息。具体地，可以通过aabb(axis-aligned bounding box)算法获取目标车辆的外接矩形框或者目标车辆中各组件的外接矩形框，从而准确测量目标物体的长度、宽度高度等尺寸信息。当然，也可以通过obb(oriented bounding box)算法来获取目标车辆的尺寸信息，本技术对此不做限制。
122.需要说明的是，所述车辆尺寸测量装置还可以包括环境点云获取模块和点云滤波
模块：所述环境点云获取模块用于获取目标车辆所在的环境点云(地面点云)；所述点云滤波模块用于在获取到目标车辆的完整点云之后，根据所述环境点云对完整点云进行滤波。在具体应用中，针对每个不同的环境，在进行目标车辆的尺寸测量前，可以先通过结构光模组对环境进行预先扫描，以获得环境点云数据(地面点云)，然后再对目标车辆进行扫描，以获取目标车辆的完整点云数据，通过环境点云数据对目标车辆的完整点云数据进行滤波。通过这样的方式，极大的减化了后续处理的数量量，从而提高了数据处理效率。
123.当然，也可以在获取目标车辆的完整点云数据之后，对获取到的所述完整点云数据进行滤波处理的步骤。也就是说，为进一步提高数据处理的效率及精度，可以先对获取到的完整点云数据进行滤波处理。原始获取得的完整点云数据中存在许多不必要的噪点，在本实施例中，对完整点云图做改进腐蚀运算。具体地，可以根据预设阈值对周围像素点数超过目标像素的预设阈值的数量做统计，当超过预设阈值的像素点数大于预设数量时舍弃该点的像素值，所述像素值代表实际深度值。举例来说，假设预设阈值是5cm，以该预设阈值为标准，统计周围(5*5的正方形kernel)像素点的像素值是否超过该预设阈值，当像素值大于预设阈值的像素点数量大于预设数量时，舍弃该像素点的像素值。当然，在具体应用中可以根据实际需求对预设阈值，以及周围像素点的范围做具体设置，本技术对此不做限制。通过对点云图的滤波处理，大大提高了图像的精度，从而也提高了后续图像处理的效率及精度。
124.图7显示为本技术车辆尺寸测量系统的实施例一的结构示意图。如图所示，所述车辆尺寸测量系统包括：车辆图像获取装置101和车辆尺寸测量装置102。所述车辆图像获取装置包括：经过融合标定的多个结构光模组(图中未示出)，所述结构光模组用于获取目标车辆的多组图像数据，每组图像数据分别包括多帧的二维数字图像和三维点云图像；相邻两个结构光模组之间的视场角具有第一重叠区域，每组图像中相邻两帧图像之间具有第二重叠区域；所述车辆尺寸测量装置用于根据所述车辆图像获取装置获取到的图像数据完成车辆尺寸的测量。
125.本实施例中，所述车辆图像获取装置101可参考前述及附图1的相关描述，对于多个结构光模组的数量、类型及设置方式本技术不做限制。
126.所述车辆尺寸测量装置可以包括：图像数据获取模块、完整图像获取模块、完整点云获取模块、基准信息获取模块和尺寸信息获取模块。当然，所述车辆尺寸测量装置还可以包括环境点云获取模块和点云滤波模块：所述环境点云获取模块用于获取目标车辆所在的环境点云；所述点云滤波模块用于在获取到目标车辆的完整点云之后，根据所述环境点云对完整点云进行滤波。所述车辆尺寸测量装置中各个模块的结构及工作过程均可参考前述关于图6的相关描述，在此不再赘述。
127.本实施例中的车辆尺寸测量系统，首先对车辆图像获取装置中的各个结构光模组进行融合标定，从而确定各个结构光模组之间的变换关系；随后利用各个结构光模组获取目标车辆的图像(二维数字图像和三维点云图像)以获取目标车辆的完整点云和完整图像，对同一时间戳的单帧数据，可以利用上述变换关系进行实时配准，而对于帧间数据，通过对采集到的二维数字图像进行光流追踪，实时结算车辆当前帧到上一帧数据的变换关系，将当前帧数据配准到已采集数据，同时利用网络对图形进行实时分割，检测出物体以及其各个组件，对每个点云进行分类标记；最后针对完整点云，基于分割结果，在待扫描物体点云上分割出各个组件的三维点云，从而可以根据实际需求，获得目标车辆、目标车辆各组件的
精确测量。
128.综上所述，本技术的车辆图像获取装置及方法、车辆尺寸测量装置及方法、车辆尺寸测量系统分别通过结构光模组获取目标车辆的图像数据，进而获得完整的图像数据及完整的点云数据，不仅降低了车辆图像的获取成本，提高了图像获取的效率，而且还可以基于图像数据获取到目标车辆的基准信息，并根据所述基准信息精确的获取目标物体的尺寸信息，这样既提高了图像处理的效率，又提高了处理结果的精准度。
129.上述实施例仅例示性说明本技术的原理及其功效，而非用于限制本技术。任何熟悉此技术的人士皆可在不违背本技术的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本技术所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本技术的权利要求所涵盖。