4D毫米波雷达与热感相机的内外参自动标定技术的制作方法

4d毫米波雷达与热感相机的内外参自动标定技术
【技术领域】
1.本发明涉及传感器标定技术领域，尤其涉及4d毫米波雷达与热感相机的内外参自动标定技术。


背景技术：

2.随着智能时代的到来，特别是移动机器人的发展，机器人在恶劣环境下的感知能力正在得到越来越多的重视。这主要得益于毫米波雷达与热感相机在雨、雪、烟、雾等环境下的检测鲁棒性，但是这两者的标定依然具有较大的挑战。4d毫米波雷达上市不久，相关算法尚有待开发，虽然可以检测到较远的距离，但其三维点云非常稀疏，且缺少纹理信息。热感相机对光照不敏感，可在不同光照条件下鲁棒工作，但是其分辨率较低，获取图像数据缺少三维信息。上述两种传感器虽都具有特殊环境下的鲁棒性，但两者之间难以找到共同的特征点。
3.为了充分地利用毫米波雷达与热感相机的互补信息，精确的外参标定是不可或缺的。然而，当前的做法往往是通过引入其他传感器来实现标定，且需要手动选取特征点。其标定过程繁琐，需要使用到多种不同的标定板。由于使用了多种标定板，随着误差的传递，标定误差也较大。此外，现有的标定方法对用户不友好，需要用户具备相关的专业知识，而这会限制传感器套件的使用场景。
4.因此，有必要提供一种4d毫米波雷达与热感相机的内外参自动标定技术，能同时在毫米波雷达与热感相机下检测到公共特征点，改善毫米波雷达与热感相机标定过程繁琐、标定误差较大、用户不友好的问题，进而扩展该传感器套件的适用场景、增强已有场景下检测的可靠性


技术实现要素：

5.本发明公开了4d毫米波雷达与热感相机的内外参自动标定技术，其可以有效解决背景技术中涉及的技术问题。
6.为实现上述目的，本发明的技术方案为：
7.4d毫米波雷达与热感相机的内外参自动标定技术，包括如下步骤：
8.s1、制备标定物，所述标定物为带缺口的球体，缺口为1/8球体大小，缺口处包括3个两两垂直的感应面，3个所述感应面形成角反射器；
9.s2、加热或者降温所述标定物，并将角反射器朝向传感器套件，所述传感器套件包括4d毫米波雷达与热感相机；
10.s3、采集数据，将传感器套件移动到不同的位置及高度，存储对应的三维点云和热感图像；
11.s4、计算热感相机内参，根据检测到的圆心，通过单应性矩阵计算初始内参，再通过非线性优化方法计算精确的内参；
12.s5、雷达点云下检测所述标定物中心点，利用点云分割，确定所述标定物中心点在
雷达点云中的空间区间，基于所述标定物中心点回波强度最高的特点，得到中心点的3d坐标；
13.s6、热感图像中检测所述标定物中心点，先对热感图像进行二值化处理，再提取所述标定物外轮廓，计算外轮廓的最小外接矩形，提取中心点2d坐标；
14.s7、计算毫米波雷达与热感相机的外参，根据雷达点云检测到的所述标定物中心点的3d坐标和热感图像中检测到的所述标定物中心点的2d坐标，通过非线性优化求解外参，最小化特征匹配误差。
15.作为本发明的一种优选改进：所述感应面处设有锡纸。
16.作为本发明的一种优选改进：所述标定物的球体半径为10cm。
17.本发明的有益效果如下：
18.1、设计了一种新的标定物，并提出了基于此标定物的方便、鲁棒、精确的自动外参标定技术，实现了毫米波雷达与热感相机的外参标定；
19.2、标定物易于制作，成本低，使用复杂度低，只需一种标定物，就可以同时提取毫米波雷达与热感相机中的公共特征点，实现外参标定；
20.3、精度高，通过不同距离下的标定，不断优化标定参数；
21.4、用户友好，不需要过多的专业知识，普通用户只需拿着该传感器套件采集标定物数据即可，算法会自动选取可靠的数据，并完成标定。
【附图说明】
22.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：
23.图1为本发明4d毫米波雷达与热感相机的内外参自动标定技术的流程图；
24.图2为本发明标定物结构示意图。
25.图中：1
‑
标定物，11
‑
感应面。
【具体实施方式】
26.下面将结合本发明实施例对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
27.需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后
……
)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
28.另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
29.在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
30.另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
31.请参阅图1所示，本发明提供4d毫米波雷达与热感相机的内外参自动标定技术，包括如下步骤：
32.s1、制备标定物1，所述标定物1为带缺口的球体，缺口为1/8球体大小，缺口处包括3个两两垂直的感应面11，3个所述感应面11形成角反射器。具体的，提出了一个新的标定物，使得两个传感器(4d毫米波雷达与热感相机)都能检测到公共特征，把球心作为公共特征，以便标定。因为trihedral(角反射器)对毫米波雷达的反射强度很高，因此容易从毫米波雷达的点云中找到这个标定物，即球心。把角反射器和球结合到一起带来的好处是，球(球心)对于热感相机是视角不变的；同时，毫米波雷达对于角反射器响应高；因此，把二者结合起来，制备这样一个新的球
‑
角反射器，就解决了这两个异构传感器标定的一大难点
‑
公共特征提取。两个传感器都能检测到球心，球心是一种点特征，为标定的精度提供了保障。此外，都检测球心，就是直接的提取了同一个特征，比现有的间接的提取公共特征，标定的精度更高。
33.s2、加热或者降温所述标定物1，并将角反射器朝向传感器套件，所述传感器套件包括4d毫米波雷达与热感相机。具体的，对所述标定物1进行温度处理，方便热感相机的感应，随后调整所述标定物1的位置，使角反射器朝向传感器套件。
34.s3、采集数据，将传感器套件移动到不同的位置及高度，存储对应的三维点云和热感图像。
35.s4、计算热感相机内参，根据检测到的圆心，通过单应性矩阵计算初始内参，再通过非线性优化方法计算精确的内参，采用的是4
×
11圆孔标定板。
36.s5、雷达点云下检测所述标定物1中心点，利用点云分割，确定所述标定物1中心点在雷达点云中的空间区间，基于所述标定物1中心点回波强度最高的特点，得到中心点的3d坐标。
37.s6、热感图像中检测所述标定物1中心点，先对热感图像进行二值化处理，再提取所述标定物1外轮廓，计算外轮廓的最小外接矩形，提取中心点2d坐标。
38.s7、计算毫米波雷达与热感相机的外参，根据雷达点云检测到的所述标定物1中心点的3d坐标和热感图像中检测到的所述标定物1中心点的2d坐标，通过非线性优化求解外参，最小化特征匹配误差。
39.在本实施例中，所述感应面11处设有锡纸，毫米波雷达对表面金属的反射率高，响应更强，所述标定物1的球体半径为10cm。
40.工作原理：安放好所述标定物1，并使得角反射器朝向4d毫米波雷达与热感相机。移动4d毫米波雷达与热感相机，进行数据的采集。结果计算，并完成标定。
41.尽管本发明的实施方案已公开如上，但并不仅仅限于说明书和实施方案中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里所示出与描述的图例。