相机与激光雷达的配准方法、系统及存储介质与流程

1.本公开涉及图像数据处理技术领域，尤其涉及一种相机与激光雷达的配准方法、系统及存储介质。


背景技术：

2.配准是同一区域内以不同成像手段所获得的不同图像图形的地理坐标的匹配，完成配准一般需要找到一个旋转关系和平移关系使得两种图像中的地理坐标一一匹配，即找到两种不同成像手段得到的图像图形间的位姿关系。
3.现有技术中，对于激光雷达与相机的配准一般采用的是激光雷达获取激光点云数据，相机获取图像数据，通过提取激光点云和图像数据之间的特征，通过不断迭代尝试旋转矩阵和平移矩阵使得激光点云中的特征与图像数据中的同一特征一一对应，从而完成激光雷达和相机的配准。
4.但是现有技术需要先获取全局的点云图像以提取用于匹配的特征，但是点云图像往往存在特征不显著的问题，难以选取有效的用于匹配的特征，因此现有技术存在技术工作量大，精度低的问题。


技术实现要素：

5.为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种相机与激光雷达的配准方法及系统，可以更效率和更精确的完成相机与激光雷达的配准。
6.第一方面，本公开提供了一种相机与激光雷达的配准方法，所述配准方法包括：保持相机与激光雷达的相对位姿不变；通过激光雷达获取标志场至少三个方位的标志点的雷达数据；通过相机获取所述至少三个方位的包含所述标志点的标志场图像数据；获取世界坐标系下标志场中标志点的坐标；根据所述标志场图像数据与所述世界坐标系下标志点的坐标获取得到相机的位姿信息；根据所述至少三个方位的雷达数据和对应方位的相机的位姿信息通过预设的位姿关系方程获取得到图像数据与雷达数据的位姿关系。
7.可选的，所述配准方法还包括：根据激光雷达与所述相机的安装位置，结合相机的位姿信息对所述激光雷达位姿信息进行初始估计以得到各个方位的激光雷达的位姿信息估计值；根据所述各个方位的激光雷达的位姿信息估计值，通过预设的范围估计方程计算得到各个方位的激光雷达所扫描的标志点范围，将各个方位的雷达数据与对应方位的激光雷达所扫描的标志点范围进行比对，筛选得到各个方位的第一雷达数据，根据至少三个方位的第一雷达数据和对应方位的相机的位姿信息通过预设的位姿关系方程获取得到图像数据与雷达数据的位姿关系。
8.可选的，所述相机的位姿信息通过张正友棋盘格标定算法根据所述标志场图像数据与世界坐标系下标志点的坐标获得。
9.可选的，所述预设位姿关系方程为：其中，为激光雷达坐标系下的激光雷达第j次测量时第i个标志点的坐标，为第i个标志点在世界坐标系下的标志点坐标的四元数表示，为相机在第j次测量时相机的旋转四元数，为相机在第j次测量时相机的平移四元数，q为图像数据转换至雷达数据的旋转四元数，t为图像数据转换至雷达数据的平移四元数，所述和为相机的位姿信息，联立至少三个方位的激光雷达获取到的雷达数据以及对应方位的相机的位姿信息的和得到图像数据转换至雷达数据的旋转四元数q以及平移四元数t。
10.可选的，所述旋转四元数，所述平移四元数，得到所述雷达数据相对于图像数据的旋转矩阵：所述雷达数据相对于图像数据的平移矩阵为：。
11.可选的，所述相机与激光雷达在水平方向由下往上扫描以获取第一个方位的图像数据和雷达数据，所述相机与激光雷达由水平方向往左旋转第一预设角度由下往上扫描以获取第二个方位的图像数据和雷达数据，所述相机与激光雷达由水平方向往右旋转第二预设角度由下往上扫描以获取第三个方位的图像数据和雷达数据。
12.第二方面，本公开提供了数据采集模块，所述数据采集模块包括相机和激光雷达，所述相机和激光雷达相互固定；标志场，包括多个标志点，所述标志点在世界坐标系下的坐标已知；驱动模块，所述驱动模块与所述数据采集模块连接以使所述数据采集模块运动；配准模块，包括计算机可读存储介质和处理器，所述存储介质存储有第一方面任一所述的相机与激光雷达的配准方法，所述处理器用于控制驱动模块和数据采集模块执行所述存储介质中存储的相机与激光雷达的配准方法。
13.可选的，所述标志场包括第一标志杆集和第二标志杆集，所述第一标志杆集和第二标志杆集相互拼合以形成夹角结构，所述第一标志杆集和第二标志杆集包括多支标志杆，每支标志杆上设置有预设范围内的标志点。
14.可选的，所述第一标志杆集由多支标志杆分第一预设数量的排数构成，所述第二标志杆集由多支标志杆分第二预设数量的排数构成，所述第一预设数量不等于第二预设数量。
15.第三方面，本公开提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述相机与激光雷达的配准方法的步骤。
16.本公开实施例提供的技术方案与现有技术相比具有如下优点：本公开提出的一种相机与激光雷达的配准方法，通过利用激光雷达和相机相互固定的技术特征，只需要通过三个方位的相机位姿和对应方位激光雷达获取的标志点数据即可完成相机与激光雷达的配准。本公开不需要提取激光点云和图像数据中特征点进行匹配，因此可以更效率和更精确的完成相机与激光雷达的配准。
附图说明
17.图1为本公开实施例所述相机与激光雷达的配准方法的使用场景图；图2为本公开实施例所述相机与激光雷达的配准方法的流程图；图3为本公开实施例所述相机与激光雷达的配准方法的另一流程图；图4为本公开实施例所述相机与激光雷达的配准方法的配准过程的示意图之一；图5为本公开实施例所述相机与激光雷达的配准方法的配准过程的示意图之二；图6为本公开实施例所述相机与激光雷达的配准方法的配准过程的示意图之三；图7为本公开实施例所述相机与激光雷达的配准系统的结构框图；图8为本公开实施例所述相机与激光雷达的配准系统的标志场的结构示意图。
18.其中，1、数据采集模块；11、激光雷达；12相机；121、第一相机；122、第二相机；2、标志场；21、第一标志杆集；22、第二标志杆集；23、标志杆；24、标志点；3、驱动模块；4、配准模块；41、计算机可读存储介质；42、处理器。
具体实施方式
19.为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
20.在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
21.图1为本公开实施例所述相机与激光雷达的配准方法的使用场景图。如图1所示，所述使用场景中包括数据采集模块1和标志场2，所述数据采集模块1包括激光雷达11和相机12，所述相机12为双目相机，所述双目相机包括第一相机121和第二相机122，激光雷达11固定在第一相机121和第二相机122之间。数据采集模块1对准标志场2以使得的数据采集模
块1可以获取标志场2的图像数据和雷达数据。在其他实施例中，所述数据采集模块1中的相机12可以是单目相机或是多目相机。
22.图2为本公开实施例所述相机与激光雷达的配准方法的流程图。如图2所示，所述相机与激光雷达的配准方法包括以下步骤：s101保持相机与激光雷达的相对位姿不变。
23.在本实施例中，所述第一相机、第二相机和激光雷达固定安装在一体化的平台上，图中未示出，该一体化平台作为驱动模块通过调整自身整体的旋转和平移，以实现保持双目相机和激光雷达相对位姿不变的同时改变双目相机与激光雷达的方位。在其他实施例中，所述第一相机、第二相机和激光雷达也可以固定在刚性的连杆上以保持相对位姿不变。
24.图4为本公开实施例所述相机与激光雷达的配准方法的配准过程的示意图之一；图5为本公开实施例所述相机与激光雷达的配准方法的配准过程的示意图之二；图6为本公开实施例所述相机与激光雷达的配准方法的配准过程的示意图之三。
25.s102通过激光雷达获取标志场至少三个方位的标志点的雷达数据。
26.s103通过相机获取所述至少三个方位的包含所述标志点的标志场图像数据。
27.结合图4所示，保持水平方向控制安装了双目相机和激光雷达的一体化平台由下往上扫描，使得激光雷达得以获取第一个方位的标志点的雷达数据。
28.具体的，所述激光雷达向标志场发出多根激光线束，标志场具有多个标志点，激光线束在遇到所述标志点后反射信号会加强，激光雷达会收到强反射信号。当由下往上的逐渐扫描的过程中，当有任一线束出现了两个或以上的强反射信号后，根据两点确定一线的原理可得到激光雷达坐标系下该强反射信号出现时该标志点的俯仰角和方向角，结合激光雷达探测得到的深度信息，得到了该方向和位置的激光雷达坐标系下的标志点的坐标，即得到了第一个方位的标志点的雷达数据。
29.然后通过相机拍摄标志场的图像获取所述第一个方位的包含该激光雷达所记录的标志点的标志场图像数据。
30.在水平方向上，控制安装了双目相机和激光雷达的一体化平台由下往上扫描过程中，在完成一次方位的记录后，可以继续往上扫描以获取第一个方向上其他位置的标志点的雷达数据和包含该标志点的标志场图像数据以作为第一方位的备用雷达数据和备用图像数据。
31.结合图5所示，所述相机与激光雷达由水平方向往左旋转第一预设角度由下往上扫描获取第二个方位的图像数据和雷达数据。具体的，所述第一预设角度为30度。同样的，当激光雷达发出的任一激光线束出现了两个或以上的强反射信号后，记录第二个方位的标志点的雷达数据和包含该激光雷达所记录的标志点的标志场的图像数据。
32.在向左旋转的第一预设角度的方向上，控制安装了双目相机和激光雷达的一体化平台由下往上扫描过程中，在完成一次方位的记录后，可以继续往上扫描以获取第二个方向上其他位置的标志点的雷达数据和包含该标志点的标志场图像数据以作为第二方位的备用雷达数据和备用图像数据。
33.结合图6所示，所述相机与激光雷达由水平方向往右旋转第二预设角度由下往上扫描以获取第三个方位的图像数据和雷达数据。具体的，所述第二预设角度为30度。同样的，当激光雷达发出的任一激光线束出现了两个或以上的强反射信号后，记录第三个方位
的标志点的雷达数据和包含该激光雷达所记录的标志点的标志场的图像数据。
34.在向右旋转的第二预设角度的方向上，控制安装了双目相机和激光雷达的一体化平台由下往上扫描过程中，在完成一次方位的记录后，可以继续往上扫描以获取第三个方向上其他位置的标志点的雷达数据和包含所述其他位置的标志点的标志场图像数据以作为第三方位的备用雷达数据和备用图像数据。
35.在其他实施例中，可以通过上述方法来改变不同的旋转角度以获取更多方位的雷达数据和图像数据，以在后续获得更多的联立方程进行联立，达到减少运算误差的效果。
36.s104获取世界坐标系下标志点的坐标。
37.具体的，建立世界坐标系，并通过全站仪精确测量标志场中所有的标志点，因此各个标志点在世界坐标系下的坐标已知。
38.s105根据所述图像数据与世界坐标系下标志点的坐标获取得到相机的位姿信息。
39.根据相机的小孔成像原理，第一相机和第二相机满足以下相机方程根据相机的小孔成像原理，第一相机和第二相机满足以下相机方程根据相机的小孔成像原理，第一相机和第二相机满足以下相机方程表示第一相机第j次测量时图像中第i个标志点的像素坐标，表示第二相机第j次测量时图像中第i个标志点的像素坐标，表示第一相机的内参矩阵，表示第二相机的内参矩阵，为第i个标志点在世界坐标系下的齐次坐标，和为第一相机第j次测量时的旋转和平移矩阵，和为第二相机第j次测量时的旋转和平移矩阵，表示第一相机的外参矩阵，表示第二相机的外参矩阵。
40.在本实施例中，组成标志场的标志杆上会任意设置有6-13个标志点，而在一幅第一相机或第二相机拍摄的图像中同样会囊括6支以上的标志杆，因而对于第一相机或第二相机而言，其拍摄的图像通常会囊括大于6个以上的标志点。通过张正友棋盘格标定算法联立六组以上已知的和即可获得第j次测量时第一相机的内参和外参矩阵，即得到了第一相机的位姿信息。同样的，通过张正友棋盘格标定算法也可以得到第二相机的位姿信息。
41.将第一相机和第二相机的相机方程转换为四元数来表示，将第一相机和第二相机的相机方程转换为四元数来表示，
其中其中其中其中其中其中其中所述为第一相机第j次测量时的平移四元数，为第二相机第j次测量时的平移四元数，为第一相机第j次测量时的旋转四元数，为第二相机第j次测量时的旋转四元数，为第一相机第j次测量时的旋转四元数的转置，为第二相机第j次测量时的旋转四元数的转置。其中，、、、、、、、、、、、、、为构成四元数的变量，用于指代不同的数据以构成四元数的常规表示方法。
42.s106根据所述至少三个方位的雷达数据和对应方位相机的位姿信息获取得到图像数据与雷达数据的位姿关系。
43.建立雷达数据与图像数据间的位姿关系方程其中，为激光雷达坐标系下的激光雷达第j次测量时第i个标志点的坐标，为第i个标志点在世界坐标系下的齐次坐标的四元数表示，为第j次测量时相机的旋转四元数，为第j次测量时相机的平移四元数，q为图像数据转换至雷达数据的旋转四元数，t为图像数据转换至雷达数据的平移四元数，所述和为相机的位姿信息，联立至少三个方位的激光雷达获取到的雷达数据以及对应方位的相机的位姿信息的和
得到图像数据转换至雷达数据的旋转四元数q以及平移四元数t。
44.具体的，对于第一相机而言，所述雷达数据与第一相机获取到的图像数据间的位姿关系方程为：将第一个方位的标志点的雷达数据记为，并根据步骤s105得到第一个方位的第一相机的位姿信息和，代入激光雷达与第一相机的位姿关系方程得到第一位姿关系方程：。
45.同样的，将第二个方位的标志点的雷达数据记为，并根据步骤s105得到第二个方位的第一相机的位姿信息和，代入激光雷达与第一相机的位姿关系方程得到第二位姿关系方程：。
46.同样的，将第三个方位的标志点的雷达数据记为，并根据步骤s105得到第三个方位的第一相机的位姿信息和，代入激光雷达与第一相机的位姿关系方程得到第三位姿关系方程：。
47.联立上述第一位姿关系方程、第二位姿关系方程和第三位姿关系方程即可得到第一相机的图像数据转换至雷达数据的旋转四元数q以及平移四元数t。
48.在其他实施例中，所述联立的方程组可以大于三组以上，以减少计算误差。应当知道的是，对于不同的位姿关系方程组而言，其各自描述的标志点可以不是同一个，但在同一位姿关系方程中和需描述同一标志点。
49.最后可以将第一相机的图像数据转换至雷达数据的旋转四元数q以及平移四元数t转换回常规的旋转矩阵以及平移矩阵表示，以方便转化应用在其他的外部程序中。
50.所述第一相机的图像数据转换至雷达数据的旋转矩阵为：所述第一相机的图像数据转换至雷达数据的平移矩阵为：
。
51.对于第二相机而言，可以通过重复上述步骤获得第二相机的图像数据转换至雷达数据的位姿关系，也可以通过张正友棋盘格标定算法完成第二相机与第一相机间的标定，然后通过第一相机的图像数据与雷达数据的关系，完成第二相机与激光雷达的标定。
52.在另一个实施例中，如图3所示，提供了相机与激光雷达的配准方法的另一流程。
53.其中s201~s205与上一实施例所述的s101~s105的流程相同。
54.s206根据激光雷达与所述相机的相对安装位置得到激光雷达的位姿信息估计值；由于激光雷达与相机的相对安装位置保持不变，因此对于激光雷达而言其自身的旋转四元数可以估计为相机的旋转四元数。
55.则雷达的旋转四元数估计值可以估计为具体的，对于本实施例中第一相机与激光雷达刚性固定的配合组合而言，所述激光雷达的旋转四元数估计值可以估计为s207根据所述激光雷达的位姿信息估计值，筛选出符合范围的雷达数据得到第一雷达数据。
56.在s202~s203的流程中，对于雷达坐标系而言其采用（距离，俯仰角，方位角）的表示方法来表示标志点，对于世界坐标系和像素坐标系而言其采用的空间坐标系（x,y,z）的表示方法来表示标志点。而在标志场中有许多标志点，由于此时激光雷达与标志点之间的相对关系并未精确确定，因此存在不能完全确定雷达坐标系和像素坐标系下描述的标志点是否是同一标志点。
57.而对于雷达数据与图像数据间的位姿关系方程而言，需要满足和应当描述的是标志场中的同一标志点。
58.本实施例根据所述激光雷达的位姿信息估计值估算出激光雷达所应扫描的标志点范围，并根据所述标志点范围验算筛选出s202~s203中的不同的标志点表述是否代表同一标志点。
59.具体的，建立范围估计方程其中为激光雷达搜索角的四元数表示，所述，所述搜索角为光线波动的范围角度，的取值范围由人为进行设置，的取值越大代表标志点应当出现的区域就越大。
60.将s202获取到的每个方位的标志点的激光雷达坐标系下的坐标与其对应方位的标志点范围进行比较，若该方位的标志点的雷达数据符合该方位的标志点范围则将符合的
标志点的雷达数据记为第一雷达数据。
61.s208根据至少三个方向第一雷达数据和对应方位相机的位姿信息得到雷达数据与图像数据的位姿关系。
62.所述s208的具体步骤与上述实施例中s106一致，但其使用的雷达数据经过了s207的步骤进行了验算筛选，可以减小不同的标志点表述不是代表同一标志点的概率，使得配准速度更加快捷。
63.在一个实施例中，如图7所示，提供了一种激光雷达与相机的配准系统，包括：数据采集模块1，所述数据采集模块1包括相机12和激光雷达11，所述相机12和激光雷达11相互固定；标志场2，包括多个标志点，所述标志点在世界坐标系下的坐标已知；驱动模块3，所述驱动模块3与所述数据采集模块1连接以使所述数据采集模块1运动；配准模块4，包括计算机可读存储介质41和处理器42，所述存储介质存储有上述各实施例所述相机与激光雷达的配准方法，所述处理器42用于控制驱动模块3和数据采集模块1执行所述存储介质中存储的相机与激光雷达的配准方法。
64.具体的，所述相机12为双目相机，包括第一相机121和第二相机122，所述驱动模块3为一体化平台，所述激光雷达11与双目相机固定安装在一体化平台上。配准模块4的处理器42连接至该一体化平台，通过控制旋转与平移整个一体化平台使得数据采集模块1发生运动以完成任一上述实施例所述的配准方法。
65.如图8所示，在本实施例中，所述标志场2包括第一标志杆集21和第二标志杆集22，所述第一标志杆集21和第二标志杆集22相互拼合以形成一个l型的夹角结构。一侧薄，另一侧厚的标志场2可以提供更多距离深度不一的标志点情况，可以增加测量时的效率。
66.在其他实施例中，所述标志场2可以是v型的夹角结构。
67.多支标志杆23分第一预设数量的排数成排构成第一标志杆集21，多支标志杆23分第二预设数量的排数成排构成第二标志杆集22，所述第一预设数量不等于第二预设数量。在优选的实施例中所述第一预设数量为5支，所述第二预设数量为7支。每个标志杆23上设置有预设范围内的标志点24，在优选的实施例中所述预设范围为6-13个。在其他实施例中，所述第一预设数量和第二预设数量可以根据场地大小进行自由设置，所述标志点24的数量也可以根据标志杆23的长短自由设置。
68.在另一实施例中，还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的相机与激光雷达的配准方法。
69.需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
70.以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。