一种双目相机数据与雷达数据融合方法及系统与流程

1.本发明涉及路口智能车辆管理领域，特别涉及一种双目相机数据与雷达数据融合方法及系统。


背景技术：

2.随着城市汽车数量的不断增加，路况也越发复杂，尤其是在各种路口区域，车辆、非机动车、行人等汇聚在一起，因此通常通过雷达结合相机的方式对多个路口的车辆目标进行跟踪与检测。为了能够更好地将雷达采集的目标点的数据与相机采集到的目标点的数据相结合。
3.目前在进行多传感器数据融合时，在动态交通中的融合方案中，通常采用激光雷达与视频数据进行融合，但是激光雷达造价昂贵，无法应用于对成本要求较高的全息路口场景中；在静态交通中传统全息路口传感器融合方案有多相机纯视觉方案、单目相机与毫米波雷达融合方案等，然而多相机纯视觉方案受光照影响强烈，不具备全天时全天候的特点；而单目相机与毫米波雷达融合过程中，单目相机需要对图片进行透视变换获得物体的位置深度信息，此过程误差较大，此外，毫米波雷达的角分辨能力较差，从而导致单目相机和与毫米波雷达数据融合效果不佳。


技术实现要素：

4.为解决上述技术问题，本发明提供一种双目相机数据与雷达数据融合方法及系统，可以解决现有获取的雷达安装角的误差较大的问题。
5.为实现上述目的，一方面，本发明提供一种双目相机数据与雷达数据融合方法，所述方法包括：
6.对双目相机数据与雷达数据进行联合标定，得到相同时空坐标系下的双目相机数据与雷达数据；
7.从所述相同时空坐标系中选择与所述双目相机数据和雷达数据对应的感兴趣区域；
8.将所述感兴趣区域中的双目相机数据与雷达数据转换到极坐标系下，并在极坐标系中分别对所述感兴趣区域中的双目相机数据与雷达数据进行距离域滤波和角度域滤波；
9.在所述极坐标系下对距离域滤波和角度域滤波后的双目相机数据与雷达数据进行数据关联融合。
10.进一步地，所述从所述相同时空坐标系中选择与所述双目相机数据和雷达数据对应的感兴趣区域的步骤包括：
11.根据所述雷达的检测距离和所述双目相机的基线长度选择与所述双目相机数据和雷达数据对应的感兴趣区域。
12.进一步地，所述在极坐标系中分别对所述感兴趣区域中的双目相机数据与雷达数据进行距离域滤波的步骤包括：
13.根据双目相机和雷达监控的目标在极坐标系中上一帧的距离、运动参数信息、相邻帧的时间差、以及高斯噪声的标准差，在极坐标系中分别对所述感兴趣区域中的双目相机数据与雷达数据进行距离域滤波。
14.进一步地，所述根在极坐标系中分别对所述感兴趣区域中的双目相机数据与雷达数据进行角度域滤波的步骤包括：
15.根据双目相机和雷达监控的目标在极坐标系中上一帧的角度、运动参数信息、相邻帧的时间差、以及高斯噪声的标准差，在极坐标系中分别对所述感兴趣区域中的双目相机数据与雷达数据进行角度域滤波。
16.进一步地，所述在所述极坐标系下对距离域滤波和角度域滤波后的双目相机数据与雷达数据进行数据关联融合的步骤包括：
17.根据雷达的测量误差级别、相机的测量误差级别、以及双目相机与雷达在极坐标系下的距离差值和角度差值，在所述极坐标系下对距离域滤波和角度域滤波后的双目相机数据与雷达数据进行数据关联融合。
18.另一方面，本发明提供一种双目相机数据与雷达数据融合系统，所述系统包括：
19.标定单元，用于对双目相机数据与雷达数据进行联合标定，得到相同时空坐标系下的双目相机数据与雷达数据；
20.选择单元，用于从所述相同时空坐标系中选择与所述双目相机数据和雷达数据对应的感兴趣区域；
21.滤波单元，用于将所述感兴趣区域中的双目相机数据与雷达数据转换到极坐标系下，并在极坐标系中分别对所述感兴趣区域中的双目相机数据与雷达数据进行距离域滤波和角度域滤波；
22.融合单元，用于在所述极坐标系下对距离域滤波和角度域滤波后的双目相机数据与雷达数据进行数据关联融合。
23.进一步地，所述选择单元，具体用于根据所述雷达的检测距离和所述双目相机的基线长度选择与所述双目相机数据和雷达数据对应的感兴趣区域。
24.进一步地，所述滤波单元，具体用于根据双目相机和雷达监控的目标在极坐标系中上一帧的距离、运动参数信息、相邻帧的时间差、以及高斯噪声的标准差，在极坐标系中分别对所述感兴趣区域中的双目相机数据与雷达数据进行距离域滤波。
25.进一步地，所述滤波单元，具体还用于根据双目相机和雷达监控的目标在极坐标系中上一帧的角度、运动参数信息、相邻帧的时间差、以及高斯噪声的标准差，在极坐标系中分别对所述感兴趣区域中的双目相机数据与雷达数据进行角度域滤波。
26.进一步地，所述融合单元，具体用于根据雷达的测量误差级别、相机的测量误差级别、以及双目相机与雷达在极坐标系下的距离差值和角度差值，在所述极坐标系下对距离域滤波和角度域滤波后的双目相机数据与雷达数据进行数据关联融合。
27.本发明提供的一种双目相机数据与雷达数据融合方法及系统，在数据关联前，将所述感兴趣区域中的双目相机数据与雷达数据转换到极坐标系下，并在极坐标系中分别对所述感兴趣区域中的双目相机数据与雷达数据进行距离域滤波和角度域滤波，并考虑雷达传感器和双目相机在角度向和距离向的误差大小，在所述极坐标系下对距离域滤波和角度域滤波后的双目相机数据与雷达数据进行数据关联融合，同时关联算法针对不同传感器设
置了不同权重，从而提升了相机与雷达传感器的数据融合效果，同时在设备方位向具有较高的分辨能力。
附图说明
28.图1是本发明提供的一种双目相机数据与雷达数据融合方法的流程图；
29.图2是本发明提供的一种双目相机数据与雷达数据融合系统的结构示意图；
30.图3为本发明提供的路口数据雷视数据采集示意图；
31.图4为本发明提供的毫米波雷达和双目相机数据关联示意图。
具体实施方式
32.下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
33.如图1所示，本发明实施例提供的一种双目相机数据与雷达数据融合方法，包括如下步骤：
34.101、对双目相机数据与雷达数据进行联合标定，得到相同时空坐标系下的双目相机数据与雷达数据。
35.其中，本发明实施例的数据采集示意图可以如图3所示，雷视机可以安装在路口两侧高度约5米的灯杆处，雷视机可以由毫米波雷达和双目相机组成。具体地，获取毫米波雷达和双目相机的数据后，首先对其数据进行标定，标定的过程包含传感器的单独标定和联合标定。对于雷达，其具有安装误差包括(e
x
,ey,e
θ
)。依据初步的检测结果，选取某直线运动的车辆，将雷达检测结果投影到含有车道线信息的图例中，观察其不同帧的运动情况。记录其运动轨迹及倾斜角度。对雷达数据进行校准后的目标，最终和图片流中目标的运动轨迹相一致。对于双目相机，通过双目立体匹配算法得到双目视差图，对双目视差图进行置信度，去除双目视差图中置信度低的点，得到置信度处理后的双目视差图。对两传感器的比较ntp授时服务器时间戳进行对齐，通常情况下，二者的帧率是不同的，为了减小匹配误差，对较高帧率的数据进行降采样处理或者对较低帧率的数据进行降采样处理。对于两传感器统一到一个支教坐标系上，进行空间上的对齐，用于后续关联和数据管理等。
36.102、从所述相同时空坐标系中选择与所述双目相机数据和雷达数据对应的感兴趣区域。
37.对于本发明实施例，步骤102具体可以包括：根据所述雷达的检测距离和所述双目相机的基线长度选择与所述双目相机数据和雷达数据对应的感兴趣区域。具体地，例如，雷达数据和双目相机的都具有一定的适用范围，超出一定区域后，雷达和双目相机的检测结果具有较大误差。因此根据获取雷视数据后，需要选择roi感兴趣区域，剔除异常值。雷达采用77g的毫米波雷达，作用距离在200m左右。双目相机的作用距离与其基线长度有关，调整其基线长度，使其作用范围为100m左右。因此取二者中较小的数值，因此可以选取 100m左右的雷视数据进行融合处理。
38.103、将所述感兴趣区域中的双目相机数据与雷达数据转换到极坐标系下，并在极坐标系中分别对所述感兴趣区域中的双目相机数据与雷达数据进行距离域滤波和角度域滤波。
39.对于本发明实施例，步骤103具体可以包括：根据双目相机和雷达监控的目标在极
坐标系中上一帧的距离、运动参数信息、相邻帧的时间差、以及高斯噪声的标准差，在极坐标系中分别对所述感兴趣区域中的双目相机数据与雷达数据进行距离域滤波；根据双目相机和雷达监控的目标在极坐标系中上一帧的角度、运动参数信息、相邻帧的时间差、以及高斯噪声的标准差，在极坐标系中分别对所述感兴趣区域中的双目相机数据与雷达数据进行角度域滤波。
40.具体地，例如，如图4所示，由于获取的雷达数据与相机数据在角度域和距离域的分辨率不同，考虑此特点获取两个数据的交点可以得到精确的位置信息。对获取的雷达数据与相机数据，根据公式和在距离域和角度域对其进行滤波。
41.其中，r和θ分别为传感器检测的目标在极坐标系下表示的距离和角度，ur、ar和u
l
、a
l
是目标的径向和切向的速度分量与加速度分量；ω目标当前帧的角速度，t为前后两帧数据的时间差；和分别为径向和切向数据中高斯噪声的标准差。
42.104、在所述极坐标系下对距离域滤波和角度域滤波后的双目相机数据与雷达数据进行数据关联融合。
43.对于本发明实施例，步骤104具体可以包括：根据雷达的测量误差级别、相机的测量误差级别、以及双目相机与雷达在极坐标系下的距离差值和角度差值，在所述极坐标系下对距离域滤波和角度域滤波后的双目相机数据与雷达数据进行数据关联融合。
44.具体地，例如，将双目相机的数据和雷达数据投影到鸟瞰图中，采取改进权重的gnn算法进行关联。对于两个传感器的数据，计算其置信度，在极坐标系下有，g(vi,rj)＝ρ1|δθ| ρ2|δr|，其中，g(vi,rj)为gnn算法的邻接图矩阵元素，对应于双目相机传感器vi和雷达传感器rj的检测的目标位置；ρ1和ρ2为权重系数，取决于雷达和相机的测量误差级别，δθ和δr 为两传感器在极坐标下的差值。经过滤波处理和关联之后，雷达和视频的定位点精度会显著提高。
45.进一步地，采用卡尔曼滤波算法对融合后的数据进行滤波处理。具体地，当完成目标匹配后，匹配的结果还不足以验证目标的运动状态，需进一步的滤波确定目标运动状态的连续性，本文选用扩展卡尔曼滤波算法跟踪目标。测量更新阶段有：
预测更新阶段有：其中，x是目标的位置状态向量，“^”表示当前帧的预测值，“～”表示当前帧的最优估计值。z是观测位置向量。 a为状态转移矩阵，b为输入控制矩阵，p为预测误差矩阵，q为过程噪声矩阵，k为卡尔曼增益，r为测量误差矩阵，h为观测矩阵，i为单位矩阵。经滤波和改进权重关联之后，较原结果有了明显的提升。
46.进一步地，对卡尔曼滤波后的数据还可以进行航迹管理。具体地，初始化航迹数目。比较关联结果，若连续三次跟踪关联上同一目标物体，或者在已经连续两次关联上后，并且在之后的三次跟踪中至少关联上一次，则对此目标建立初始航迹。未关联上的目标物体采用上一时刻的速度按照匀加速运动推算当前时刻的位置，若之后的三次关联都未关联上，则放弃建立航迹。
47.本发明提供的一种双目相机数据与雷达数据融合方法，在数据关联前，将所述感兴趣区域中的双目相机数据与雷达数据转换到极坐标系下，并在极坐标系中分别对所述感兴趣区域中的双目相机数据与雷达数据进行距离域滤波和角度域滤波，并考虑雷达传感器和双目相机在角度向和距离向的误差大小，在所述极坐标系下对距离域滤波和角度域滤波后的双目相机数据与雷达数据进行数据关联融合，同时关联算法针对不同传感器设置了不同权重，从而提升了相机与雷达传感器的数据融合效果，同时在设备方位向具有较高的分辨能力。
48.为实现本发明实施例提供的方法，本发明实施例提供一种双目相机数据与雷达数据融合系统，如图2所示，该系统包括：标定单元21、选择单元22、滤波单元23、融合单元24；
49.标定单元21，用于对双目相机数据与雷达数据进行联合标定，得到相同时空坐标系下的双目相机数据与雷达数据。
50.其中，本发明实施例的数据采集示意图可以如图3所示，雷视机可以安装在路口两侧高度约5米的灯杆处，雷视机可以由毫米波雷达和双目相机组成。具体地，获取毫米波雷达和双目相机的数据后，首先对其数据进行标定，标定的过程包含传感器的单独标定和联合标定。对于雷达，其具有安装误差包括(e
x
,ey,e
θ
)。依据初步的检测结果，选取某直线运动的车辆，将雷达检测结果投影到含有车道线信息的图例中，观察其不同帧的运动情况。记录其运动轨迹及倾斜角度。对雷达数据进行校准后的目标，最终和图片流中目标的运动轨迹相一致。对于双目相机，通过双目立体匹配算法得到双目视差图，对双目视差图进行置信度，去除双目视差图中置信度低的点，得到置信度处理后的双目视差图。对两传感器的比较ntp授时服务器时间戳进行对齐，通常情况下，二者的帧率是不同的，为了减小匹配误差，对较高帧率的数据进行降采样处理或者对较低帧率的数据进行降采样处理。对于两传感器统一到一个直角坐标系上，进行空间上的对齐，用于后续关联和数据管理等。
51.选择单元22，用于从所述相同时空坐标系中选择与所述双目相机数据和雷达数据对应的感兴趣区域。
52.滤波单元23，用于将所述感兴趣区域中的双目相机数据与雷达数据转换到极坐标系下，并在极坐标系中分别对所述感兴趣区域中的双目相机数据与雷达数据进行距离域滤
波和角度域滤波。
53.融合单元24，用于在所述极坐标系下对距离域滤波和角度域滤波后的双目相机数据与雷达数据进行数据关联融合。
54.进一步地，所述选择单元22，具体用于根据所述雷达的检测距离和所述双目相机的基线长度选择与所述双目相机数据和雷达数据对应的感兴趣区域。
55.其中，雷达数据和双目相机的都具有一定的适用范围，超出一定区域后，雷达和双目相机的检测结果具有较大误差。因此根据获取雷视数据后，需要选择roi感兴趣区域，剔除异常值。雷达采用77g的毫米波雷达，作用距离在200m左右。双目相机的作用距离与其基线长度有关，调整其基线长度，使其作用范围为100m左右。因此取二者中较小的数值，因此可以选取100m左右的雷视数据进行融合处理。
56.进一步地，所述滤波单元23，具体用于根据双目相机和雷达监控的目标在极坐标系中上一帧的距离、运动参数信息、相邻帧的时间差、以及高斯噪声的标准差，在极坐标系中分别对所述感兴趣区域中的双目相机数据与雷达数据进行距离域滤波。
57.进一步地，所述滤波单元23，具体还用于根据双目相机和雷达监控的目标在极坐标系中上一帧的角度、运动参数信息、相邻帧的时间差、以及高斯噪声的标准差，在极坐标系中分别对所述感兴趣区域中的双目相机数据与雷达数据进行角度域滤波。
58.进一步地，所述融合单元24，具体用于根据雷达的测量误差级别、相机的测量误差级别、以及双目相机与雷达在极坐标系下的距离差值和角度差值，在所述极坐标系下对距离域滤波和角度域滤波后的双目相机数据与雷达数据进行数据关联融合。
59.本发明实施例提供的一种双目相机数据与雷达数据融合系统，在数据关联前，将所述感兴趣区域中的双目相机数据与雷达数据转换到极坐标系下，并在极坐标系中分别对所述感兴趣区域中的双目相机数据与雷达数据进行距离域滤波和角度域滤波，并考虑雷达传感器和双目相机在角度向和距离向的误差大小，在在所述极坐标系下对距离域滤波和角度域滤波后的双目相机数据与雷达数据进行数据关联融合，同时关联算法针对不同传感器设置了不同权重，从而提升了相机与雷达传感器的数据融合效果，同时在设备方位向具有较高的分辨能力。
60.应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。
61.在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要比清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。
62.为使本领域内的任何技术人员能够实现或者使用本发明，上面对所公开实施例进行了描述。对于本领域技术人员来说；这些实施例的各种修改方式都是显而易见的，并且本文定义的一般原理也可以在不脱离本公开的精神和保护范围的基础上适用于其它实施例。因此，本公开并不限于本文给出的实施例，而是与本技术公开的原理和新颖性特征的最广
范围相一致。
63.上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。
64.本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块 (illustrative logical block)，单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性 (interchangeability)，上述的各种说明性部件(illustrativecomponents)，单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。
65.本发明实施例中所描述的各种说明性的逻辑块，或单元都可以通过通用处理器，数字信号处理器，专用集成电路(asic)，现场可编程门阵列或其它可编程逻辑系统，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算系统的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。
66.本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于ram存储器、闪存、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、可移动磁盘、cd-rom或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于asic中，asic可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。
67.在一个或多个示例性的设计中，本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现，这些功能可以存储与电脑可读的媒介上，或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如，这样的电脑可读媒体可以包括但不限于ram、rom、eeprom、cd-rom或其它光盘存储、磁盘存储或其它磁性存储系统，或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外，任何连接都可以被适当地定义为电脑可读媒介，例如，如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(dsl)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的
电脑可读媒介中。所述的碟片(disk)和磁盘(disc) 包括压缩磁盘、镭射盘、光盘、dvd、软盘和蓝光光盘，磁盘通常以磁性复制数据，而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。
68.以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。