一种距离测量装置与相机融合系统的标定方法及装置与流程

1.本技术属于距离测量技术领域，尤其涉及一种距离测量装置与相机融合系统的标定方法及装置。


背景技术：

2.对于目前成熟的智能感知方案，特别是l4以上自动驾驶系统，对感知能力的需求多样化，需要利用距离测量装置与相机等多传感器融合来实现对车辆、环境，精确实时、全面可靠的感知。其中，所述距离测量装置包括基于飞行时间原理的深度相机或者激光雷达(lidar，light detection and ranging)，用于获取目标的三维数据。在距离测量装置与相机融合系统中，相机可以提供丰富的视觉纹理信息，弥补由于距离测量装置的低分辨率导致在识别、认知上的短板；同时距离测量装置直接的3d几何测量也可以弥补相机在深度估计方面的不足，提供更为精确的深度信息。
3.在距离测量装置与相机融合系统中，多传感器融合需要首要解决的问题是，如何将不同的传感器的数据标定到同一个坐标系里，距离测量装置与相机融合系统的高精度标定是数据融合处理的基础和前提。目前最常用的标定方法是，通过大尺寸棋盘格或其他特定的几何标定物，从距离测量装置的3d测量数据中拟合标定物的3d几何特征，从相机采集的二维图像中提取对应的2d特征，基于标定物的几何约束，建立起3d与2d间的关系，完成多传感器之间的外参标定(传感器坐标系间的相对位置关系，在3d空间通过旋转矩阵与平移向量来描述)。但是，这种方法需要借助于特殊的标记物或标定场景，来拟合标定物的3d几何特征，方法适应性差、不够灵活，距离测量装置的分辨率稀疏性也会导致标定精度受限；并且，距离测量装置的内参标定难度大、精度低，也会影响到3d测量结果的准确性，从而影响多传感器之间的外参标定精度。


技术实现要素：

4.本技术实施例提供了一种距离测量装置与相机融合系统的标定方法及装置，可以解决上述问题。
5.第一方面，本技术实施例提供了一种距离测量装置与相机融合系统的标定方法，包括：
6.控制所述距离测量装置向标定物投射斑点光束并采集所述斑点光束得到第一目标图像，并且同步控制所述相机采集所述标定物得到第二目标图像；
7.根据所述第一目标图像获取所述斑点光束对应的光斑在世界坐标系下的三维坐标信息；
8.根据所述第二目标图像获取所述斑点光束对应的光斑在像素坐标系下的二维坐标信息；
9.根据多个所述光斑对应的所述三维坐标信息和所述二维坐标信息确定多对目标点对；
10.根据所述目标点对计算所述距离测量装置与所述相机之间的外参。
11.进一步地，所述根据所述第一目标图像获取所述斑点光束对应的光斑的三维坐标信息，包括：
12.根据所述第一目标图像获取所述斑点光束对应的光斑在像素坐标系下的第一坐标；
13.获取所述斑点光束对应的光斑的目标深度值；
14.根据所述距离测量装置的内参、所述第一坐标和所述目标深度值，计算得到所述斑点光束对应的光斑在世界坐标系下的三维坐标信息。
15.进一步地，所述根据多个所述光斑对应的所述三维坐标信息和所述二维坐标信息确定多对目标点对，包括：
16.根据预设投影规则和所述标定物的平面特征信息将所述三维坐标信息与所述二维坐标信息进行匹配，得到多对目标点对。
17.进一步地，所述根据所述目标点对计算所述距离测量装置与所述相机之间的外参，包括：
18.构建重投影误差函数模型；
19.根据所述目标点对和所述重投影误差函数模型进行迭代计算，得到最小重投影误差和所述距离测量装置与所述相机之间的外参。
20.进一步地，在所述根据所述目标点对和所述重投影误差函数模型进行迭代计算，得到最小重投影误差和所述距离测量装置与所述相机之间的外参之后，还包括：
21.对所述距离测量装置的第一内参初值和所述相机的第二内参初值进行优化，得到所述距离测量装置的优化后的第一目标内参和所述相机的优化后的第二目标内参。
22.进一步地，所述标定物为漫反射平面标定板或者台阶状的目标物。
23.第二方面，本技术实施例提供了一种距离测量装置与相机融合系统的标定装置，包括：
24.控制单元，用于控制所述距离测量装置向标定物投射斑点光束并采集所述斑点光束得到第一目标图像，并且同步控制所述相机采集所述标定物得到第二目标图像；
25.第一获取单元，用于根据所述第一目标图像获取所述斑点光束对应的光斑在世界坐标系下的三维坐标信息；
26.第二获取单元，用于根据所述第二目标图像获取所述斑点光束对应的光斑在像素坐标系下的二维坐标信息；
27.确定单元，用于根据多个所述光斑对应的所述三维坐标信息和所述二维坐标信息确定多对目标点对；
28.计算单元，用于根据所述目标点对计算所述距离测量装置与所述相机之间的外参。
29.进一步地，所述第一获取单元，具体用于：
30.根据所述第一目标图像获取所述斑点光束对应的光斑在像素坐标系下的第一坐标；
31.获取所述斑点光束对应的光斑的目标深度值；
32.根据所述距离测量装置的内参、所述第一坐标和所述目标深度值，计算得到所述
斑点光束对应的光斑在世界坐标系下的三维坐标信息。
33.所述确定单元，具体用于：
34.根据预设投影规则和所述标定物的平面特征信息将所述三维坐标信息与所述二维坐标信息进行匹配，得到多对目标点对。
35.进一步地，所述计算单元，具体用于：
36.构建重投影误差函数模型；
37.根据所述目标点对和所述重投影误差函数模型进行迭代计算，得到最小重投影误差和所述距离测量装置与所述相机之间的外参。
38.进一步地，所述距离测量装置与相机融合系统的标定装置，还包括：
39.处理单元，用于对所述距离测量装置的深度相机的第一内参初值和所述相机融合系统中的相机的第二内参初值进行优化，得到所述距离测量装置的优化后的第一目标内参和所述相机的优化后的第二目标内参。
40.进一步地，所述标定物为漫反射平面标定板或者台阶状的目标物。
41.第三方面，本技术实施例提供了一种距离测量装置与相机融合系统的标定装置设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的距离测量装置与相机融合系统的标定方法。
42.第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的距离测量装置与相机融合系统的标定方法。
43.本技术实施例中，控制距离测量装置向标定物投射斑点光束并采集斑点光束得到第一目标图像，并且同步控制相机采集标定物得到第二目标图像；根据第一目标图像获取斑点光束对应的光斑在世界坐标系下的三维坐标信息；根据第二目标图像获取斑点光束对应的光斑在像素坐标系下的二维坐标信息；根据多个光斑对应的三维坐标信息和二维坐标信息确定多对目标点对；根据目标点对计算距离测量装置与所述相机之间的外参。上述方法，可以实现距离测量装置与相机融合系统的离线标定，通过具有红外感光能力的相机对距离测量装置投射的光斑进行成像，即控制相机在保证时间同步的条件下，对发射光斑进行成像，可以准确的实现3d
‑
2d的匹配，从而实现高精度的离线标定校准，并且突破距离测量装置的分辨率对标定精度的限制，可以在工业生产中实现大批量、高精度的外参标定。
附图说明
44.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
45.图1是本技术第一实施例提供的一种距离测量装置与相机融合系统的标定方法的示意流程图；
46.图2是本技术第一实施例提供的一种距离测量装置与相机融合系统的标定方法中一种空间编码规则的示意图；
47.图3是本技术第一实施例提供的一种距离测量装置与相机融合系统的标定方法中另一种空间编码规则的示意图；
48.图4是本技术第一实施例提供的一种距离测量装置与相机融合系统的标定方法中台阶状的目标物的示意图；
49.图5是本技术第二实施例提供的距离测量装置与相机融合系统的标定设备的示意图；
50.图6是本技术第三实施例提供的距离测量装置与相机融合系统的标定设备的示意图。
具体实施方式
51.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本技术的描述。
52.应当理解，当在本技术说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
53.还应当理解，在本技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
54.如在本技术说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
[0055]
另外，在本技术说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0056]
在本技术说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本技术的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
[0057]
请参见图1，图1是本技术第一实施例提供的一种距离测量装置与相机融合系统的标定方法的示意流程图。本实施例中一种距离测量装置与相机融合系统的标定方法的执行主体为具有距离测量装置与相机融合系统的标定功能的设备。
[0058]
在对距离测量装置与相机融合系统的标定方法进行详细的说明前，先说明一下距离测量装置与相机融合系统。
[0059]
在一些实施例中，距离测量装置为采用固定阵列发射模式的lidar或深度相机，可以是面阵发射式或机械扫描式的lidar，或者也可以是基于飞行时间原理(包括dtof、itof等)的深度相机，距离测量装置的发射器包括至少一个光源，用于投射斑点光束。
[0060]
具体的，距离测量装置包括发射器、采集器、控制和处理电路。
[0061]
发射器包括光源、发射光学元件等。在一些实施例中，还包括分束元件。对于光源，光源可以是单个光源或者是由多个光源组成的光源阵列，其中，光源阵列可以被配置分组发光，分成多个子光源阵列，每个子光源阵列包括一行或一列光源，也可以是其他任意的形式。当控制发射器发射斑点光束时可以一次仅开启一个子光源阵列或者仅开启每个子光源阵列中的一个光源，以产生固定的点阵列形式投影在目标表面。一种典型的实例，光源配置为vcsel(vertical
‑
cavity surface
‑
emitting laser，垂直腔面发射激光器)阵列光源，通过列寻址或二位寻址进行阵列发射，并经过单个或多个透镜构成的发射光学元件调制后以固定的点阵列形式投影在目标表面。又一种典型的实例，光源可以使用eel(edge
‑
emitting laser，边发射激光器)或vcsel发射斑点光束，发射光学元件包括准直透镜以及分束元件，经过发射光学元件后进行光学准直并由分束元件进行分束，同样产生固定的点阵列形式投影在物体表面，分束元件可以是衍射光源元件(difractive optical element，doe)、微透镜阵列等。
[0062]
采集器，包括由至少一个像素组成的像素单元、过滤单元和接收光学元件，接收光学元件将目标反射的斑点光束成像到像素阵列上，过滤单元用于滤除背景光和杂散光，所述像素可以是apd、sipm、spad、ccd、cmos等光电探测器中的一种。在一些实施例中，像素单元是一种专门用于光飞行时间测量的图像传感器，像素单元也可以集成到一种专门用于光飞行时间测量的感光芯片中。在一个典型实施例中，像素单元包括由多个spad组成，spad可以对入射的单个光子进行响应并输出指示所接收光子在每个spad处相应到达时间的光子信号。一般地，采集器还包括有与像素单元连接的信号放大器、时数转换器(tdc)、数模转换器(adc)等器件中的一种或多种组成的读出电路(这些电路即可以与像素整合在一起，作为采集器的一部分，也可以作为控制和处理电路的一部分。
[0063]
控制和处理电路可以是独立的专用电路，比如深度相机自身具有计算能力的独立电路；也可以包含通用处理电路，比如当该深度相机被集成到如手机、电视、电脑等智能终端中去，终端中的处理器可以执行控制和处理电路的功能。控制和处理电路同时控制发射器和采集器，并根据发射光束与反射光束之间的时间差或相位差计算目标的深度。在本发明中，为便于表述，将控制与处理电路作为具有距离测量装置与相机融合系统的标定功能的设备的一部分。
[0064]
其中，对于控制和处理电路执行深度计算的测量原理，典型的是通过直接(dtof)飞行时间方法，计算脉冲发射时刻与接收时刻间的差值来计算飞行时间t，进一步根据公式d＝ct/2计算物体距离。另外，也可以通过间接(itof)飞行时间方法，通过求解发射波形的相位信息来求解飞行时间，或者是通过发射调制编码的连续波信号，接收端通过相关匹配等信号处理方法间接求解飞行时间，例如：amcw调幅连续波，fmcw调频连续波，编码脉冲发射等，上述不同的测距方案均不会影响本方案的实现。
[0065]
在另一些实施例中，距离测量装置为机械扫描式lidar，具体的，距离测量装置还包括机械扫描单元，机械扫描元件可以是振镜、反射镜、mems、楔形镜、旋转电机等。在一个典型的实施例中，光源被配置为点光源或列光源，并且像素单元被配置为单个像素或者像素列，扫描单元包括旋转电机等，用于同步控制发射器和采集器绕垂直地面的旋转轴线进行360度扫描，此时光源同样产生固定的点阵列形式出射，随着整个收发系统的旋转对周边
环境进行扫描成像。在另一个典型的实施例中，光源被配置为点光源或列光源，同样产生固定的点阵列形式出射，光源发射的点阵光束经过机械扫描元件投射到物体表面，随着机械扫描元件的旋转对物体进行扫描成像。其中，扫描单元包括mems反射镜、振镜等，用于接收光源发出的斑点光束并进行偏转投射到物体表面上形成固定的点阵列形式。
[0066]
本技术所述融合系统中的相机为高分辨率成像相机，高分辨率成像相机需要与距离测量装置保证严格的时间同步，在标定过程中，需要保证在近红外波段下对发射器投射出的逐点或阵列光斑进行清晰成像。在实际产品使用过程中，可以根据实际使用场景选择对可见光或近红外光进行视觉感知，实现相机与距离测量装置的融合感知效果。
[0067]
如图1所示的距离测量装置与相机融合系统的标定方法可以包括：
[0068]
s101：控制所述距离测量装置向标定物投射斑点光束并采集所述斑点光束得到第一目标图像，并且同步控制所述相机采集所述标定物得到第二目标图像。
[0069]
设备控制距离测量装置中的发射器向标定物投射斑点光束并通过采集器采集斑点光束得到第一目标图像。
[0070]
在本实施例中，设置标定物，设备控制距离测量装置中的发射器向标定物投射斑点光束。其中，针对不同的lidar\深度相机，标定物为漫反射平面标定板或者台阶状的目标物。
[0071]
针对固定阵列发射的距离测量装置，包括lidar或深度相机，其中，光源可以是单个光源或者是由多个光源组成的光源阵列，光源阵列可以被配置分组发光，用于投射斑点光束。这里，漫反射平面标定板可以选择平整度较好的平面，例如，白色墙面。发射器发射激光朝向漫反射平面标定板投影斑点光束，在进行投影时，可以按照预设投影规则进行投影，通过预设投影规则，可以提升光斑位置匹配的准确度，避免相邻光斑造成的误匹配。预设投影规则可以包括空间编码规则和时间编码规则。预设投影规则可以包括空间编码规则和时间编码规则。
[0072]
时间编码规则是指在标定过程中，按照时间编码序列，发射控制发射器在漫反射平面标定板表面投影斑点光束，便于后续进行光斑点对的准确匹配。时间编码规则是指在标定过程中，控制光源开启的顺序。优选的，控制发射器一次仅投射一个斑点光束，发射顺序可以是按照一定顺序设置的也可以是随机设置的。
[0073]
空间编码规则是指在标定过程中，光源阵列可以被配置为包括多个子光源阵列，子光源阵列可以是一行或一列光源，也可以是其他任意的形式，一次仅开启一个子光源阵列或者仅开启每个子光源阵列中的一个光源。举例来说，一种实施方式中，通过控制光源进行一维逐行\列的发射，如图2所示，从左至右按列依次发射光斑，同一时刻保证只有一列光斑投射并被相机成像。另一种实施方式中，按照空间分块实现编码发射，如图3左上角为一典型子块，按照箭头指示方向编码扫描发射，其他子块发射与该子块一致，同一时刻保每个子块只有一个光斑投射并被成像。其中，分块的尺寸设计及箭头指示仅作为理解，并非方案固定要求，在相关的方案中均可以进行一定的调整。采用空间编码规则时，可以提高光斑匹配的鲁棒性，有效的控制不同光斑之间的空间位置，实现干扰避免，降低或消除误匹配的概率，从而提高标定的精度。
[0074]
为了提高光斑匹配的鲁棒性，上述方案中提到的时间编码与空间编码规则，在具体的产品及方案中，可通过不同的形式结合使用，均应该属于本专利的保护范围。
[0075]
针对机械扫描成像的lidar，这里，漫反射平面标定板可以选择特殊的标定物来更好的提取特征点用于配对，一种典型的标定物如图4所示，台阶状的目标物。可以理解的是，对于机械扫描式lidar，由于lidar发射光束时扫描速率较快，而相机曝光时间过长无法对逐个点进行成像，实际成像结果为连续的光斑扫描轨迹，对这种情况下的联合标定，需要设计特殊的标定物来更好的提取3d特征点，一种典型的标定物为台阶状的目标物。
[0076]
在控制距离测量装置向标定物投射斑点光束并采集斑点光束得到第一目标图像的同时，设备同步控制相机融合系统中的相机采集标定物得到第二目标图像。为了保证标定的精度，在采集第二目标图像时，需要严格的保证与采集斑点光束得到第一目标图像的时间同步。
[0077]
s102：根据所述第一目标图像获取所述斑点光束对应的光斑在世界坐标系下的三维坐标信息。
[0078]
设备根据第一目标图像获取斑点光束对应的光斑在世界坐标系下的三维坐标信息。其中，第一目标图像是由采集器采集的，可以从第一目标图像中获取光斑在像素坐标系下的坐标，并获取每个光斑对应的深度值后，就可以根据距离测量装置的内参来计算得到光斑在世界坐标系下的三维坐标信息。
[0079]
具体来说，设备根据第一目标图像获取斑点光束对应的光斑在像素坐标系下的第一坐标；发射器中第i个光源投射到标定板上形成第i个光斑，以光源阵列左上角为原心建立的原点坐标系下，第i个光源的坐标为(x，y)，由于距离测量装置中发射器和采集器的光学共轭，则可以认为第i个斑点光束对应的光斑在像素坐标系下的第一坐标为(x
i
，y
i
)。其中，控制光源开启的顺序即可知道投射到标定物上光斑的编号i。
[0080]
另一种方式中，采集器也可作为一种相机，光斑成像到采集器上，也可以根据光斑的成像位置确定光斑在像素坐标系下的坐标。
[0081]
然后，设备获取斑点光束对应的光斑的目标深度值，根据距离测量装置的内参、第一坐标和目标深度值，计算得到斑点光束对应的光斑的三维坐标信息。设备中预先存储距离测量装置的内参k
d
，包括焦距、畸变参数、像素偏移等变量，则可以计算出第i个斑点光束对应的光斑在世界坐标系下的三维坐标信息。
[0082]
以一个光斑为例，具体来说，第i个斑点光束对应的光斑在像素坐标系下的第一坐标为(x
i
，y
i
)，则得到第i个斑点光束对应的光斑在世界坐标系下的理想坐标p'
wi
(x
′
wi
,y
w
′
i
,z
′
wi
)，利用畸变参数θ
d
进行加畸变操作，得到光斑在世界坐标系下的空间坐标p
wi
(x
wi
,y
wi
,z
wi
)，即斑点光束对应的光斑的三维坐标信息。其中，f
d
为距离测量装置的焦距，d为第i个光斑对应的目标深度值，i为光斑标号，i＝1，2，
…
，n。
[0083]
s103：根据所述第二目标图像获取所述斑点光束对应的光斑在像素坐标系下的二维坐标信息。
[0084]
设备根据第二目标图像获取斑点光束对应的光斑在像素坐标系下的二维坐标信息，即设备可以根据第二目标图像中斑点光束对应的光斑的成像的位置直接确定二维坐标
信息。设备可以将第i个光斑在像素坐标系下的坐标标记为p
i
(u
i
,v
i
)。
[0085]
s104：根据多个所述光斑对应的所述三维坐标信息和所述二维坐标信息确定多对目标点对。
[0086]
设备获取到了多个光斑对应的三维坐标信息和二维坐标信息，设备可以将三维坐标信息和二维坐标信息进行配对，将同一光斑对应的三维坐标信息和二维坐标信息标记为一个目标点对。在配对时，本实施例中并不限制配对的方式，例如，一种实施方式中，设备可以在获取三维坐标信息和二维坐标信息时，对三维坐标信息和二维坐标信息进行标记，然后将相同标记的三维坐标信息和二维坐标信息标记为一个目标点对。
[0087]
另一种实施方式中，设备可以根据预设投影规则和标定物的平面特征信息将三维坐标信息与二维坐标信息进行匹配，得到多对目标点对。预设投影规则在s101中已经进行过详细的说明，此处不再赘述。设备根据预设投影规则和标定物的平面特征信息将三维坐标信息与二维坐标信息进行匹配，例如，当预设投影规则为时间编码规则时，比如一种实施方式中，设备控制发射器一次仅投射一个斑点光束，设备可以将同一时刻对应的三维坐标信息与二维坐标信息进行匹配，得到一个初始点对即完成了对三维坐标信息和二维坐标信息的配对。
[0088]
在另一中实现方式中，当预设投影规则为空间编码方式时，则结合第一目标图像和第二目标图像中光斑的成像位置及排列方式进行匹配，实现三维坐标信息与二维坐标信息的配对。其中，当选择空间编码方式时，还需要对于第一目标图像中的光斑进行视差修正，利用修正后的第一目标图像与第二目标图像进行匹配，实现三维坐标信息与二维坐标信息的配对。
[0089]
可以理解的是，在实际应用中，通常时间编码规则与空间编码规则以任意的形式结合在一起调制发射器投影到目标物体中的斑点光束，不管如果结合都可以在目标物体上形成一定模式的光斑图案，则根据第一目标图像和第二目标图像中光斑的排列形式及位置即可实现匹配。
[0090]
在又一中实现方式中，针对机械扫描成像的lidar，所述标定物为台阶状的目标物，则对于第一目标图像和第二图像中需要提取特殊位置处的点用于确定目标点对，例如分别在两幅图像中提取相同折点位置处像素对应的三维坐标信息与二维坐标信息进行匹配得到一个初始点对。
[0091]
s105：根据所述目标点对计算所述距离测量装置与所述相机之间的外参。
[0092]
设备根据所有的目标点对计算距离测量装置与所述相机之间的外参，其中，每组目标点对中的三维坐标信息和二维坐标信息都遵循相同的几何规律。设备可以构建三维坐标信息和二维坐标信息之间的对应关系，该对应关系中包含了距离测量装置与相机之间的外参。具体的对应关系如下：
[0093]
[u
i
，v
i
，1]
t
＝k
c
[r,t][x
wi
,y
wi
,z
wi
,1]
t
[0094]
其中，k
c
相机的内参，[r,t]为距离测量装置与相机之间的外参。
[0095]
在明确获取到了多对符合对应关系的目标点对后，通过迭代计算，是可以准确的计算出距离测量装置与相机之间的外参，完成外参的标定。
[0096]
在计算时，可以采用pnp算法，pnp相机位姿估计算法就是通过几个已知坐标的特征点，结合他们在相机输出图像中的成像，求解出旋转矩阵r和平移矩阵t，即求解出外参。
[0097]
具体来说，在进行迭代计算时，可以通过构建代价函数来判断什么时候结束迭代计算得到最终的结果，当代价函数最小时，对应的外参即为最优的外参。在本实施中，代价函数可以为重投影误差函数模型，设备构建重投影误差函数模型，初始的重投影误差函数模型可以为：
[0098][0099]
进一步地，在计算外参的同时，设备可以对距离测量装置的第一内参初值进行优化。同样的，也可以同步对相机融合系统中的相机的第二内参初值进行优化，得到距离测量装置的优化后的第一目标内参和相机的优化后的第二目标内参，此时，初始的重投影误差函数模型可以为：
[0100][0101]
若当距离测量装置内参固定，仅标定相机外参时，则构建重投影误差函数模型可以为：
[0102][0103]
其中，第i个光斑在像素坐标系下的坐标标记为p
i
(u
i
,v
i
)，旋转矩阵r和平移矩阵t为外参。
[0104]
根据目标点对和重投影误差函数模型进行迭代计算，每次计算都会得到一个新的外参，通过新的外参来计算重投影误差，从所有的重投影误差中筛选出最小的值，作为最小重投影误差，将最小重投影误差对应的外参作为最后求得的最优的距离测量装置与相机之间的外参。
[0105]
此外，设备可以将计算得到的最小重投影误差作为用于作为标定精度的定量评估标准。
[0106]
本技术实施例中，控制距离测量装置向标定物投射斑点光束并采集斑点光束得到第一目标图像，并且同步控制融合系统中的相机采集标定物得到第二目标图像；根据第一目标图像获取斑点光束对应的光斑在世界坐标系下的三维坐标信息；根据第二目标图像获取斑点光束对应的光斑在像素坐标系下的二维坐标信息；根据多个光斑对应的三维坐标信息和二维坐标信息确定多对目标点对；根据目标点对计算距离测量装置与相机之间的外参。上述方法，可以实现距离测量装置与相机融合系统的离线标定，通过具有红外感光能力的相机对距离测量装置投射的光斑进行成像，即控制相机在保证时间同步的条件下，对发射光斑进行成像，可以准确的实现3d
‑
2d的匹配，从而实现实时、高精度的标定校准，并且突破距离测量装置的分辨率对标定精度的限制。
[0107]
其中，本实施例中的距离测量装置，可选用单点\多点扫描、点阵列收发并基于飞行时间测量原理的距离测量方案。具体的，距离测量装置可以是各种应用于自动驾驶或智
能机器人场景的lidar方案，比如基于阵列收发方案(逐行列发射接收或面阵收发接收)、基于转镜或mems扫描成像的方案、基于多点收发机械旋转扫描方案。或者也可以是固定点阵收发模式或通过衍射光学元件实现固定点阵列收发模式的深度相机，包括基于itof或dtof原理的深度(距离)测量方案，用于在手机及类似消费电子设备中，应用于室内重建、人体扫描、人脸识别等场景。对于本技术技术方案来讲，换用上述相关的底层硬件方案均不影响整体的融合及高精度标定方案，所有类似的方案均应该在该专利的保护范围以内。
[0108]
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
[0109]
请参见图5，图5是本技术第二实施例提供的距离测量装置与相机融合系统的标定设备的示意图。包括的各单元用于执行图5对应的实施例中的各步骤。具体请参阅图5对应的实施例中的相关描述。为了便于说明，仅示出了与本实施例相关的部分。参见图5，距离测量装置与相机融合系统的标定设备6包括：
[0110]
控制单元510，用于控制所述距离测量装置向标定物投射斑点光束并采集所述斑点光束得到第一目标图像，并且同步控制所述相机采集所述标定物得到第二目标图像；
[0111]
第一获取单元520，用于根据所述第一目标图像获取所述斑点光束对应的光斑在世界坐标系下的三维坐标信息；
[0112]
第二获取单元530，用于根据所述第二目标图像获取所述斑点光束对应的光斑在像素坐标系下的二维坐标信息；
[0113]
确定单元540，用于根据多个所述光斑对应的所述三维坐标信息和所述二维坐标信息确定多对目标点对；
[0114]
计算单元550，用于根据所述目标点对计算所述距离测量装置与所述相机之间的外参。
[0115]
进一步地，所述第一获取单元520，具体用于：
[0116]
根据所述第一目标图像获取所述斑点光束对应的光斑在像素坐标系下的第一坐标；
[0117]
获取所述斑点光束对应的光斑的目标深度值；
[0118]
根据所述距离测量装置的内参、所述第一坐标和所述目标深度值，计算得到所述斑点光束对应的光斑在世界坐标系下的三维坐标信息。
[0119]
所述确定单元540，具体用于：
[0120]
根据预设投影规则和所述标定物的平面特征信息将所述三维坐标信息与所述二维坐标信息进行匹配，得到多对目标点对。
[0121]
进一步地，所述计算单元550，具体用于：
[0122]
构建重投影误差函数模型；
[0123]
根据所述目标点对和所述重投影误差函数模型进行迭代计算，得到最小重投影误差和所述距离测量装置与所述相机之间的外参。
[0124]
进一步地，所述距离测量装置与相机融合系统的标定装置5，还包括：
[0125]
处理单元，用于对所述距离测量装置的第一内参初值和所述相机的第二内参初值进行优化，得到所述距离测量装置的优化后的第一目标内参和所述相机的优化后的第二目
标内参。
[0126]
进一步地，所述标定物为漫反射平面标定板或者台阶状的目标物。
[0127]
图6是本技术第三实施例提供的距离测量装置与相机融合系统的标定设备的示意图。如图6所示，该实施例的距离测量装置与相机融合系统的标定设备6包括：处理器60、存储器61以及存储在所述存储器61中并可在所述处理器60上运行的计算机程序62，例如距离测量装置与相机融合系统的标定程序。所述处理器60执行所述计算机程序62时实现上述各个距离测量装置与相机融合系统的标定方法实施例中的步骤，例如图1所示的步骤101至105。或者，所述处理器60执行所述计算机程序62时实现上述各装置实施例中各模块/单元的功能，例如图5所示模块510至550的功能。
[0128]
示例性的，所述计算机程序62可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器61中，并由所述处理器60执行，以完成本技术。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序62在所述距离测量装置与相机融合系统的标定设备6中的执行过程。例如，所述计算机程序62可以被分割成控制单元、第一获取单元、第二获取单元、确定单元、计算单元，各单元具体功能如下：
[0129]
控制单元，用于控制所述距离测量装置向标定物投射斑点光束并采集所述斑点光束得到第一目标图像，并且同步控制所述相机采集所述标定物得到第二目标图像；
[0130]
第一获取单元，用于根据所述第一目标图像获取所述斑点光束对应的光斑在世界坐标系下的三维坐标信息；
[0131]
第二获取单元，用于根据所述第二目标图像获取所述斑点光束对应的光斑在像素坐标系下的二维坐标信息；
[0132]
确定单元，用于根据多个所述光斑对应的所述三维坐标信息和所述二维坐标信息确定多对目标点对；
[0133]
计算单元，用于根据所述目标点对计算所述距离测量装置与所述相机之间的外参。
[0134]
所述距离测量装置与相机融合系统的标定设备可包括，但不仅限于，处理器60、存储器61。本领域技术人员可以理解，图6仅仅是距离测量装置与相机融合系统的标定设备6的示例，并不构成对距离测量装置与相机融合系统的标定设备6的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述距离测量装置与相机融合系统的标定设备还可以包括输入输出设备、网络接入设备、总线等。
[0135]
所称处理器60可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field
‑
programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0136]
所述存储器61可以是所述距离测量装置与相机融合系统的标定设备6的内部存储单元，例如距离测量装置与相机融合系统的标定设备6的硬盘或内存。所述存储器61也可以是所述距离测量装置与相机融合系统的标定设备6的外部存储设备，例如所述距离测量装
置与相机融合系统的标定设备6上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。进一步地，所述距离测量装置与相机融合系统的标定设备6还可以既包括所述距离测量装置与相机融合系统的标定设备6的内部存储单元也包括外部存储设备。所述存储器61用于存储所述计算机程序以及所述距离测量装置与相机融合系统的标定设备所需的其他程序和数据。所述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。
[0137]
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本技术方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
[0138]
本技术实施例还提供了一种网络设备，该网络设备包括：至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。
[0139]
本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
[0140]
本技术实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述各个方法实施例中的步骤。
[0141]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质。例如u盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
[0142]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0143]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0144]
在本技术所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另
一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
[0145]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0146]
以上所述实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。