车辆三维扫描成像方法及系统与流程

1.本发明属于图像识别技术领域，尤其涉及一种车辆三维扫描成像方法及系统。


背景技术：

2.随着城市现代化发展进程，自动洗车服务已被社会广泛需求。
3.在自动洗车领域，需要对车辆的外形进行识别成像以形成后续的路径规划，目前的三维成像方法，大多都存在成像数据质量差、成本高等问题。例如：对射管成像：仅有二维数据，且分辨率受限于对射管的原理不可能太高，成本高；固定机位成像：单个或多个测距或成像传感器(测距传感器，普通摄像头、三维摄像头、激光雷达)，传感器入射角和射程均不理想，成本极高，测距传感器和普通摄像头的数据精度差、分辨率低；空间漫游成像：slam式成像，精度低，数据一致性差，入射角度和射程不良。而入射角不佳和射程不良则容易导致成像精度差、成像质量不好。
4.此外，通过成像传感器获取的车辆外形数据往往会出现缺失，异常等问题，也会导致成像效果不良，尤其是在深色镜面、车玻璃和天线等辅助零件部分，成像质量则容易存在缺陷。
5.因此，如何设计出一种成像精度高、成像质量好且成本低的车辆三维扫描成像方法及系统是目前需要解决的技术问题。


技术实现要素：

6.本发明的目的是，提供一种车辆三维扫描成像方法，以解决原有的车辆三维成像识别精度不高、成像质量差且成本高的问题。
7.为此，本发明的第一方面，提供了一种车辆三维扫描成像方法，该方法包括：
8.根据车辆所处的作业环境建立统一的三维坐标系；
9.通过成像设备对停靠在停车区域内的车辆进行运动扫描，得到不同时刻的车辆的外形图像数据并统一呈现于所述统一的三维坐标系内；
10.将呈现于所述三维坐标系内的外形图像数据进行聚合，形成车辆的完整的三维图像数据。
11.进一步地，所述方法还包括：对扫描的所述外形图像数据的点云质量进行判断并对存在质量缺陷的进行优化处理，其中，所述的优化处理包括：
12.对车辆外形图像数据的连续性进行判断，对出现空白的图像区域进行模糊填充处理；和/或，
13.根据车辆的对称性特点，在检测到车辆单侧扫描得到的图像数据不良时，对另一侧扫描得到的合格的图像数据做镜像处理，最终合成得到车辆的完整的三维图像数据。
14.进一步地，当扫描的车辆的外形图像数据经过所述优化处理仍然不良时，进行如下处理过程：
15.基于建立的包含大量不同车型的车辆完整外形的模型数据库，根据检测的当前车
辆的型号从所述模型数据库中查询出同型号的车辆模型数据进行替换；或者，
16.查询当前车辆是否有历史扫描数据，如有，则从历史扫描数据选择对应的车辆模型数据进行替换。
17.进一步地，所述的优化处理还包括：动态实时扫描车辆的外形图像，获取大量的扫描数据，建立人工智能模型，学习和理解成像过程中成像设备存在的缺陷并对所述成像设备的工作参数进行完善。
18.进一步地，根据作业环境建立统一的所述三维坐标系包括：根据车辆所在的作业环境的结构布局，确定该结构布局内的某一点为坐标原点，同时确定坐标系类型及方向；对该环境结构内的构筑物以及停车区域内的车辆位置进行测量和位置标定，确定它们相对坐标原点的坐标点。
19.进一步地，还对实际扫描的图像数据与测量标定的位置数据进行修正，所述修正包括：
20.以测量标定出的构筑物及车辆相对原点的位置坐标点为基准，与成像设备实际扫描获得的图像数据相对原点的坐标点进行对比，标定成像精度误差，如存在误差，则将误差范围预设于成像数据中并进行修正。
21.进一步地，所述的运动扫描包括移动扫描、旋转扫描或者二者的组合，所述的移动扫描包括水平方向或竖直方向的移动式扫描。
22.进一步地，对车辆不同位置进行扫描时，控制并调整成像设备的空间位置及姿态，使得入射源贴近汽车表面的法线方向，其中，对车辆的扫描基于全局扫描和局部扫描两种方式的配合。
23.进一步地，所述成像设备包括激光雷达、视觉传感器、图像传感器、距离传感器、毫米波传感器、超声波传感器、热成像传感器中的一种或多种，对不同种类的成像设备采集的图像数据进行融合处理。
24.本发明的另一方面，还提供了一种车辆三维扫描成像系统，包括：
25.坐标系建立模块，根据作业环境内的结构布局构建统一的三维坐标系；
26.图像采集模块，用于获取车辆的外形图像数据，其中，所述外形图像数据通过设置的多种成像设备沿停靠在停车区域内的车辆外侧运动扫描得到；
27.图像生成模块，用于对不同时刻获取的车辆的外形图像数据统一呈现于所述三维坐标系内并进行数据聚合，以形成车辆的完整的三维图像数据。
28.进一步地，所述系统还包括数据优化模块，用于对扫描的所述外形图像数据的质量进行判断并对存在质量缺陷的进行优化处理，其中，所述的数据优化模块包括：
29.图像填充单元，对扫描的车辆外形图像数据中出现的空白图像区域进行模糊填充处理；
30.镜像处理单元，根据车辆的对称性特点，在检测到单侧扫描得到的图像数据不良时，对另一侧扫描得到的合格的图像数据做镜像处理进行替换；
31.车辆模型替换单元，包括存储有不同车辆模型的完整外形特征的模型数据库以及存储车辆的历史扫描数据，并在当前车辆的扫描成像数据经图像填充单元或镜像处理单元处理后仍不良时，以所述该模型数据库的同型号车辆的模型数据进行替换，或从该车辆历史扫描数据中选取对应的合格的模型数据进行替换；
32.智能模型建立单元，对动态实时扫描获取的车辆的外形图像数据进行积累，建立包含车辆外形特征的人工智能模型。
33.与现有技术相比，本发明所提供的一种车辆三维扫描成像方法及系统，具有如下技术效果：
34.1、通过多类型传感器的运动式扫描，提升了成像数据的分辨率、三维测量精度和成像质量。
35.2、通过调整传感器的信号源发射角度，使其能够接近或重合于车辆外形的法线方向，采集得到的图像数据更清晰，弱化深色镜面问题。
36.3、成本低，达到或超越类似高线束激光雷达成像精度和成像质量且成本远低该方式。
37.4、通过不同数据优化方式的相互配合，根据不同的情形进行不同类型的优化，形成最佳的扫描成像效果。
附图说明
38.图1是本发明实施例的车辆三维扫描成像方法的流程示意图。
39.图2是本发明实施例的车辆三维扫描成像系统的架构图。
40.图3是本发明实施例的成像设备的布置示意图。
具体实施方式
41.以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。如在说明书及权利要求当中使用了某些词汇来指称特定部件。本领域技术人员应可理解，硬件或软件制造商可能会用不同名词来称呼同一个部件。本说明书及权利要求并不以名称的差异来作为区分部件的方式，而是以部件在功能上的差异来作为区分的准则。说明书后续描述为实施本发明的较佳实施方式，然所述描述乃以说明本发明的一般原则为目的，并非用以限定本发明的范围。本发明的保护范围当视所附权利要求所界定者为准。
42.下面结合附图和具体实施例对本发明做进一步详细说明。
43.本发明实施例提供了一种车辆三维扫描成像方法，用于汽车自助洗车时的车辆外形特征获取，其中，自助洗车可以在室内外的洗车房内进行，或者其他特定的环境场景下，在车辆清洗的停靠区域外围安装固定有轨道，轨道可以是环绕车辆一周的椭圆形轨道，或者是沿车辆长度或其他方向平行或非平行设置的一条或更多条直线型轨道，轨道上设置有可沿轨道滑行的运动终端，运动终端可以是机器人也可以是仅含有成像等简单功能的模块，运动终端自带多个且不同类型的传感器，以对车辆的外形特征进行全方位运动式扫描。
44.参照图1所示，该成像方法包括如下步骤：
45.步骤s11、根据车辆所处的当前环境结构建立统一的三维坐标系；
46.其中，建立三维坐标系包括：
47.根据车辆所在的作业环境的结构布局，确定该结构布局内的某一点为坐标原点，同时确定坐标系类型及方向；以洗车房为例，根据洗车房的大小、空间结构布局、停车区域等因素，选定空间内的某一个点为坐标原点，然后再确定坐标轴方向和坐标类型，建立一个
三维坐标系，比如选用三维笛卡尔坐标系。建立统一的坐标系后，后续所有扫描得到的图像点的位置数据将在该坐标系中进行计算和判断。
48.对该环境结构内的构筑物以及停车区域内的车辆位置进行测量和位置标定，确定它们相对坐标原点所处的坐标点。当选定坐标系之后，当前环境结构内的所有静态的构筑物以及后续进入该洗车房内的车辆均具有对应的位置坐标点。其中，选取的构筑物可以包括地面上的轨道、墙壁上的照明灯、墙面线、停车线等等。
49.当对洗车房内的构筑物与停车位置等标定后，后续还会获取成像设备实际扫描成像的图像点位置数据，以人工测量并标定的构筑物及车辆相对原点的坐标点为基准，与成像设备实际扫描获得的某图像点位置数据相对原点的坐标点进行对比，当二者存在误差时，则将误差范围预设于成像数据中，进行修正，比如通过调整成像设备的旋转轴进而调整成像的坐标点，如此不断修正，使得二者的坐标点尽量保持一致，进而提高图像识别的精度。
50.步骤s12、通过成像设备在不同时刻对停靠在停车区域内的车辆进行运动扫描，得到车辆的外形图像数据并统一呈现于所述统一坐标系内；
51.其中，运动扫描包括移动扫描、旋转扫描或者二者的组合，移动扫描包括水平方向的扫描，比如沿车辆长度方向进行直线滑移时的扫描或者绕车身周围进行的圆周式或弧形扫描，以及竖直方向上的扫描，比如在车辆高度方向上进行直线滑移时的扫描，还可以是斜向的扫描，成像设备的运动轨迹路径由本地计算机或后台服务器计算后确定，其运动路线是固定且精确的，在移动扫描过程中还可以同时进行成像角度的旋转，移动过程中形成的图像数据实质为点云数据。本实施例中，成像设备是在运动过程中实时扫描成像，一方面，成像设备在运动，其位置在坐标系内会变化，获得的成像数据也是基于成像设备的实时位置关系而确定的。成像设备的运动位移与时间的关系，以及某一时刻下成像设备相对于车辆的位置关系，是相互对应的，由于成像设备的位移是相对确定且明确的，所以，获取的车辆成像数据也是相对明确的。成像设备在任意时刻均可以从不同角度获取车辆的不同部位的点云数据，将点云数据进行积累叠加，明显提升了成像聚合数据的分辨率，也提升了成像质量，成像分辨率从原有高档激光雷达的10cm左右减少到不到1cm，成像精度从原有高档激光雷达的2cm减少到1cm以内。
52.对车辆外形特征的获取通过多个不同类型的成像设备配合来进行，本实施例中的成像设备包括雷达(如激光雷达、超声波雷达、毫米波雷达等)、图像传感器(如高清摄像头、双目或多目摄像头、tof摄像头、热成像摄像头等)、距离传感器中的一种或多种，优选采用不同类型的成像设备同时独立进行采集，每个传感器都有自己独特的优势，对不同种类的传感器分别采集的图像数据进行融合处理后，会形成数据冗余，可以从中选取较好的图像特征点，减少单类型传感器存在的成像数据容易发生缺失或某对车辆的某特定部位成像质量差的缺陷，从而更能完整的捕获车辆的完整特征，也能克服车辆深色镜面表面成像质量差的问题。
53.机器可以是一台、两台或两台以上，成像传感器与车身具有一段间隔，成像传感器的安装高度高于车身最高点为佳，避免漏掉车顶成像数据，且对其他车辆位置成像时获得更好的成像角度。现有技术中，成像传感器的入射源在车辆的俯视与侧视方向，属于垂直入射，在车辆的车头与车尾等垂直部分会有无法捕捉成像数据的显现，本发明在车体不同位
置进行扫描时，控制传感器调整不同的空间姿态。例如跟随汽车外形的扫描，保证入射源尽可能多的贴近汽车法线，通过控制传感器的运行轨迹，可完成跟随车辆外形的扫描。具体来说，控制成像传感器在持续移动和/或旋转过程中，至少在某一时刻，某一或某多个成像传感器产生的辐射信号的入射角与车辆表面的法线重合或接近法线。以雷达、距离传感器和tof摄像头等主动发射信号的传感器为例，从法线方向进行入射，其反射信号沿法线返回，因接近垂直入射至物体表面，所以信号的反射表现最强，有最大的可能性获得高质量成像数据并保证数据的高准确性和高置信度，具体表现为显著提升的可用分辨率、三维测量精度、深色镜面问题显著改善；便于后续的清洗轨迹及风干轨迹的精准规划，此外，成像传感器是旋转与移动形式的，即使某一时刻的信号源没有接近车辆外形法线，会在下一时刻或其它时刻接近车辆外形的法线或与车辆外形法线重合。上述方式，克服了成像传感器入射角受限的核心问题，配合计算机算法，显著弱化了深色镜面问题，显著提升车身的成像覆盖率和成像质量，显著提升了三维测量精度。
54.本实施例中，对成像设备进行的图像采集采用全局扫描和局部扫描相配合的方式。具体来说，根据工作性质的分工，可分为主传感器与局部传感器，主传感器负责车辆数据的整体扫描，局部传感器负责主传感器无法精确获得数据的区域进行扫描成像。主传感器与局部传感器同时进行扫描成像，总体数据以主传感器的扫描数据为准，主传感器要保证尽可能大的扫描覆盖面积，局部传感器负责车后视镜、保险杠等特殊位置的扫描数据。在布置时，主传感器在机器上的安装高度通常相对较高，比如位于移动的机器顶部，以获得相对较好的扫描面积，局部传感器的布置位置则主要根据所要扫描的部位进行个性化布置，比如可以布置于车后视镜等位置，局部传感器同样可进行运动控制(包括移动、旋转等)。
55.此外，在获得车辆的外形图像数据后，采用滤波算法(如卡尔曼滤波算法)去除成像数据噪声，保留高质量的数据。
56.步骤s13、将呈现于三维坐标系内的外形图像数据进行聚合，形成车辆的完整的三维图像数据。
57.由于成像设备是在运动过程中实时成像，故需要将传感器从不同时刻不同角度获取的车辆外形图像数据在一个三维坐标系内进行聚合，最终形成一个完整的车辆三维图像数据，包含车辆外形以及各图像点的位置坐标。根据形成的车辆三维图像数据，本地计算机或后台服务器则进一步计算出对车辆的清洗路径及风干路径。
58.在图像采集时，通过成像设备获取的车辆外形数据往往会出现缺失或其它异常的问题，导致成像效果不良，尤其是在深色镜面(尤其是黑色镜面)与车玻璃部分。为解决此问题，需要对获取的数据进行进一步的优化处理，以达到良好的成像效果。
59.本实施例中，对获取的外形图像数据进行优化处理包括如下方式：
60.方式一、对车辆外形图像数据的连续性进行判断，对出现空白的图像区域进行模糊填充处理。
61.车辆外形是具有明显的连续性特征的，以车辆外形图像数据的连续性作为成像数据是否完整的判别依据，其中，对车辆的连续性判断可以采用离群点检测算法、区域生长以或车辆特征区域先验知识算法来判断。离群点检验就是找出其行为不同于预期对象的过程，包括：基于统计学方法的离群点检测、基于距离的离群点检验和、基于密度的离群点检验等，以基于距离的离群点检测方法为例，其考虑对象给定半径的邻域，如果它的邻域没有
足够多的其他点，则认为它为离群点，通过离群点检验去掉明显不符合规律的数据。区域生长算法就是将具有相似性质的像素点合并到一起，将不具有相同特征的联通区域分割出来，并能提供很好的边界信息和分割结果。示例性的，扫描的点云数据，将相邻的点进行连线，形成网格，计算网格的法线方向，具有方向相同的法线点云网格大概率属于同一物体。车辆特征区域先验知识是首先通过特征模型分离出车辆的不同表面区域性质，如其中一块区域是前发动机盖，则判断该区域不可能出现大型空洞，需要修补。在判断出车辆存在部分外形图像数据不连续的情况，如出现镂空或空白区域时，则进行模糊填充处理，模糊填充可基于插值填充算法，对空白区域自动生成图像。
62.方式二、根据车辆的对称性特点，在检测到单侧扫描得到的图像数据不良时，对另一侧扫描得到的合格的图像数据做镜像处理，最终合成得到车辆的完整的三维图像数据。
63.目前市场上的车辆几乎都是对称设计的，比如汽车外部后视镜大概率不会孤立存在。基于上述特点，在单侧扫描不良时，利用对称的另一侧的扫描结果进行镜像替换。具体来说，通过传感器运动扫描，判断数据是否缺失，如果某部分数据缺失比较严重，但根据车辆的中轴线，寻找该缺失部分对应的另外一侧的扫描结果，在实际操作中，轮毂数据的成像理论上是最好的，这样就很方便的以两侧的轮廓数据及坐标作为参考，在坐标系内，建立对称面，进行左右图像数据的镜像替换，最终生成一个完整的三维图像数据。
64.方式三、建立包含不同车型的车辆完整外形的模型数据库，构建当前环境结构内的构筑物与机器设备的场景数据模型，对车辆进行扫描时，定位车辆在所述当前环境结构内的相对位置，当车辆扫描成像经过所述优化处理仍然不良时，在待清洗的车辆所在的当前位置，以所述模型数据库中的同类型的车辆模型进行替换。此外，还可以存储车辆的历史扫描数据，存储的历史扫描数据至少是体现车辆完整外形特征的数据，优选从车辆最近一次的扫描形成的完整外形特征的数据，当车辆存在多次扫描时，可以仅保留其中一次合格的扫描数据，并使用最优的扫描数据替换之前的扫描数据。
65.以实际车辆的外形为准，当发生成像质量实在无法优化，或者优化后也达不到相应的标准时，则直接以系统数据库中相同型号的车辆的外形数据模型直接替换为当前扫描的数据，或者从该车辆以前被扫描过的历史扫描数据中查询找到相应的数据模型，这样，后台服务器直接以模型数据库中的同类型车辆模型数据或者历史扫描数据中的模型数据为准，基于查询出的车辆的模型数据进行清洗路径和风干路径的规划。
66.上述三种方式从不同方向实现了对车辆扫描数据的优化，其中，上述三种方式可以分开独立进行，也即根据不同的情况直接选用不同的优化方式，或者相互配合。举例来说，当完成成像扫描后，优先进行方式一的优化，也即对车辆外形图像特征的连续性进行判断，如存在部分部位不连续，则直接进行模糊填充处理，经过方式一的处理，基本上能够处理大多数的扫描结果；但是，当存在的不连续部位较大，或者部分区域扫描质量太差、断层较多、无法进行模糊填充时，则可以采用方式二中的对称优化方式，当然，在方式二中也可以同时进行方式一的处理，比如先对扫描结果相对好的车辆一侧进行某部位的模糊填充之后，再基于该侧进行镜像得到另一侧的图像数据；假如在方式一和方式二的处理后，仍然无法获得较好的成像数据，则再考虑方式三中从数据库或历史扫描数据中选出同类的车辆模型进行等同替换。
67.作为本发明一个优选的实施方式，还通过大数据构建人工智能模型，持续学习不
同成像设备或成像数据的优缺点。动态实时扫描车辆的外形图像，获取大量的扫描数据，建立人工智能模型，学习和理解机器成像过程中存在的数据缺陷并进行完善和精准预测。
68.在扫描成像过程中，或多或少会出现部分成像效果不佳的情况，这些情况可能和所处的环境有关系，比如光线、温湿度等，或者跟扫描设备自身有关系，比如精度、角度、设备参数等，或者与算法本身有关系，比如滤波器参数或者滤波器模型，通过不断扫描获取车辆的外形图像数据，如此能够获得大量的扫描数据，基于这些扫描数据和结果，建立人工智能模型，通过对模型不断的学习与理解，能够挖掘出成像设备或者成像数据存在的缺陷，根据结果统计出识别率较为准确的一组参数值，通过大数据的积累，进而对参数不断调整、不断改善，最终能预测出更精确的扫描结果。
69.本发明实施例所公开的一种车辆三维扫描成像方法，在同一个坐标系内，通过多传感器运动扫描的方式，明显提升了成像精度和成像质量，同时结合多种方式的优化处理，更进一步提升成像质量，尤其是在深色镜面与车玻璃部分，成像效果更佳。
70.参照图2所示，与上述实施例相对应地，本发明的另一实施例提供了一种车辆三维扫描成像系统，该系统包括：坐标系建立模块、图像采集模块、图像生成模块。
71.坐标系建立模块，根据车辆所处的作业环境的结构布局构建统一的三维坐标系；
72.图像采集模块，用于获取车辆的外形图像数据，其中，图像采集模块通过设置的多种不同类型的成像设备沿停靠在停车区域内的车辆的外侧运动扫描得到；图3是本发明实施例中成像设备的一个布置示意图，示例性的，该成像设备随两侧滑轨上的机器a和机器b沿水平方向移动扫描。
73.图像生成模块，用于对不同时刻获取的车辆的外形图像数据统一呈现于所述三维坐标系内并进行数据聚合，以形成车辆的完整的三维图像数据。
74.为了提升成像质量，本发明还设置有数据优化模块，以判断存在质量缺陷的车辆外形图像数据进行进一步优化，其中，数据优化模块包括：图像填充单元、镜像处理单元和车辆模型替换单元。
75.图像填充单元，对扫描的车辆外形图像数据中出现的空白图像区域进行模糊填充处理。
76.镜像处理单元，根据车辆的对称性特点，在检测到单侧扫描得到的图像数据不良时，对另一侧扫描得到的合格的图像数据做镜像处理进行替换；其中，镜像处理单元可以配合图形填充单元同时使用。
77.车辆模型替换单元，包括存储有不同车辆模型的完整外形特征的模型数据库以及存储车辆的历史扫描数据，并在当前车辆的扫描成像数据经图像填充单元或镜像处理单元处理后仍不良时，以该模型数据库的同型号车辆的模型数据进行替换，或从该车辆历史扫描数据中选取合格的模型数据进行替换。
78.当然，本领域技术人员应当能够理解的是，上述数据优化模块中的各功能单元可以相互独立进行或者相互配合进行，但考虑到即使是同一款车型可能存在微小的改装或变化，故优先使用图像填充单元处理，其次镜像处理单元，最后车辆模型替换单元。
79.由于持续的扫描成像，形成了大数据积累，本发明的系统还设置有模型建立单元，对机器设备动态实时扫描获取的车辆的外形图像数据进行积累，建立包含车辆完整外形特征的人工智能模型，通过持续学习不同成像装置的优缺点，改进成像装置的参数或者调整
滤波器参数，进而提高图像扫描的精度和扫描效率。
80.本发明实施例中的车辆三维扫描成像系统具有与前一实施例中所述的车辆三维扫描成像方法相同的技术效果，故在此不再赘述。
81.值得注意的是，以上所述仅为本发明的较佳实施例，并非因此限定本发明的专利保护范围，本发明还可以对上述各种零部件的构造进行材料和结构的改进，或者是采用技术等同物进行替换。故凡运用本发明的说明书及图示内容所作的等效结构变化，或直接或间接运用于其他相关技术领域均同理皆包含于本发明所涵盖的范围内。