一种基于多传感器信息融合的道路环境综合认知方法与流程

1.本发明属于毫米波雷达信号处理的技术领域，具体涉及一种基于多传感器信息融合的道路环境综合认知方法。


背景技术：

2.道路交通事故作为危害人身安全的重要因素之一，每年造成巨大经济损失，长期以来受到社会各界和各部门的重视。
3.目前对道路环境的测量和认知主要由交通流量、天气气象信息、交通事件、交通管制信息、施工信息、拥堵情况几种信息构成。对于每种信息，均有不同的传感器进行测量和监控，如摄像头、能见度仪、气象传感器等。传感器的增加在获得更加丰富和精确的道路环境数据的同时，也带来了传感器功能重叠、设备安装分散、各类标准繁多、数据传输不同步、传感器数据利用不充分等问题，在覆盖交通道路和智能化道路发展过程中，存在“重建设、轻运营维护和统筹管理”的问题。目前已使用单一某个传感器无法实现对各种实际情况中的道路环境信息的准确认知，以及大规模大范围部署。


技术实现要素：

4.本发明的目的在于针对现有技术中的上述不足，提供一种基于多传感器信息融合的道路环境综合认知方法，以解决或改善上述的问题。
5.为达到上述目的，本发明采取的技术方案是：
6.一种基于多传感器信息融合的道路环境综合认知方法，其包括以下步骤：
7.s1、配置毫米波雷达参数，根据回波数据完成测距和测角，采用帧差法显示动目标，初步分离出道路上的各个运动车辆后，采用恒虚警检测进行杂波抑制，确定车辆所在位置，并获取各探测帧内的车流量信息；对于多帧内的多目标进行航迹关联，获取车辆的行进轨迹；
8.s2、基于s1中获取的各个车辆所在的距离门位置，在原始雷达回波中通过在距离维和多普勒维的傅里叶变换获取到车辆的实时行进速度信息，并将速度与每个位置上的车辆一一对应；
9.s3、标定毫米波雷达测量数据与能见度之间的函数关系；
10.s4、配置数字摄像头并结合数字图像处理算法，对监控数据进行车辆识别、计数和态势显示，实时判断道路是否发生拥堵、事故或道路结冰状况；当能见度低于阈值时；
11.s5、配置能见度传感器，实时将能见度数据传输至上位机，并实时显示能见度异常数据；
12.s6、配置气象6要素传感器，实时上传风速、温度、湿度、气压、雨量、和光照6要素气象数据；
13.s7、根据s1至s6中的多传感器数据构建数据集，并结合卷积神经网络进行多传感器数据融合，以实现对道路环境的综合认知判断。
14.进一步地，步骤s1中配置毫米波雷达参数，根据回波数据完成测距和测角，采用帧差法显示动目标，初步分离出道路上的各个运动车辆后，采用恒虚警检测进行杂波抑制，确定车辆所在位置，并获取各探测帧内的车流量信息；对于多帧内的多目标进行航迹关联，获取车辆的行进轨迹，具体包括：
15.配置毫米波雷达参数：
[0016][0017]
其中，r
res
为距离分辨率，c为真空中的光速3
×
108m/s，b为雷达带宽；
[0018]
经过低通滤波器后得到回波信号与发射信号的差频信号s
b
，在其距离向快时间做傅里叶变换进行去调频处理得到差频f
if
，根据频率与距离的换算计算目标所在距离：
[0019][0020]
其中，d为目标所在距离，k为调频斜率；
[0021]
采用capon算法计算测角：
[0022][0023]
其中，w为权矢量，r为雷达天线接收信号的协方差矩阵，p(w)＝w
h
rw，为输出的平均功率；上式的约束条件为w
h
a(θ)＝1，a(θ)为来自波达方向θ的发射信源方向矢量；
[0024]
capon算法使噪声以及来自非θ方向的任何干扰所贡献的功率最小，并保持在观测方向θ上的信号功率不变。最优权矢量w
cap
采用lagrange乘子法求解：
[0025][0026]
其中，a
h
(θ)为a(θ)的共轭转置，结合约束条件，得到包含各个目标的空间谱p
cap
：
[0027]
对每帧数据都进行空间谱计算后，采用帧差法进行动目标显示，初步分离出道路上的各个运动车辆后，采用单元平均恒虚警检测器进行杂波抑制，确定车辆所在位置，获取各探测帧内的车流量信息；
[0028]
采用ca
‑
cfar对空间谱中的各个点进行检测，固定虚警概率为在检测单元周围取l点作为参照单元记为c(l)，则门限因子α为：
[0029][0030]
得到检测阈值th为：
[0031][0032]
通过阈值划分得到多帧内的多目标位置，并根据扩展卡尔曼滤波进行航迹关联，获取车辆的行进轨迹。
[0033]
进一步地，步骤s2中基于s1中获取的各个车辆所在的距离门位置，在原始雷达回
波中通过在距离维和多普勒维的傅里叶变换获取到车辆的实时行进速度信息，并将速度与每个位置上的车辆一一对应，具体包括：
[0034]
在原始雷达回波中通过在距离维和多普勒维的傅里叶变换，确定各个距离上多普勒维最大值所在的频率，即各个车辆的多普勒频率f
d
，获取到车辆的实时行进速度v＝2f
d
/λ，并将速度与每个位置上的车辆一一对应。
[0035]
进一步地，步骤s3中标定毫米波雷达测量数据与能见度之间的函数关系，具体包括：
[0036][0037]
其中，k
i
为散射消光系数，r
i
为粒子半径，n
i
为半径为r
i
的粒子数量；
[0038]
雷达反射率因子z与r
i
，n
i
的关系为：
[0039]
z＝∑
i
n
i
(2r
i
)6。
[0040]
进一步地，步骤s4中图像处理算法包括：
[0041]
采用opencv库通过features2d和homography查找已知对象，识别出视频图像中的动目标，再对视频中的车辆与行人目标进行分类，完成对监控数据的车辆识别、计数和态势显示，并实时判断道路是否发生拥堵、事故、道路结冰状况。
[0042]
进一步地，步骤s7中根据s1至s6中的多传感器数据构建数据集，并结合卷积神经网络进行多传感器数据融合，以实现对道路环境的综合认知判断，具体包括：
[0043]
将数据集输入卷积神经网络进行多传感器信息融合；
[0044]
卷积神经网络包括2个卷积层，2个池化层，采用relu激活函数；
[0045]
训练标签包括交通事件、气象信息，结合直接获取的道路环境数据，完成对道路环境的综合认知判断。
[0046]
进一步地，卷积神经网输入数据包括毫米波雷达探测到的车流量、车速、全天时能见度、道路积水、积雪、结冰情况，视频传感器探测到的视频图像，能见度传感器获取的能见度数据，以及气象6要素传感器获取的风速、温度、湿度、气压、雨量、光照6要素实时气象数据；
[0047]
输出数据包括交通事件、气象信息，结合直接获取的道路环境数据，完成对道路环境的综合认知判断。
[0048]
本发明提供的基于多传感器信息融合的道路环境综合认知方法，具有以下有益效果：
[0049]
本发明综合利用多种传感器设计一种在多变外界环境中，基于多种传感器信息融合，综合利用各种环境信息，可全天时、全天候工作，低成本、高准确度的道路环境综合认知。
附图说明
[0050]
图1为基于多传感器信息融合的道路环境综合认知方法的原理框图。
具体实施方式
[0051]
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发
明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
[0052]
参考图1，本方案的基于多传感器信息融合的道路环境综合认知方法，包括以下步骤：
[0053]
步骤s1、配置毫米波雷达参数，根据回波数据完成测距和测角，采用帧差法显示动目标，初步分离出道路上的各个运动车辆后，采用恒虚警检测进行杂波抑制，确定车辆所在位置，并获取各探测帧内的车流量信息；对于多帧内的多目标进行航迹关联，获取车辆的行进轨迹，其具体包括：
[0054]
确定雷达配置参数，雷达带宽b、单脉冲重复周期内的采样点个数n按照下式计算：
[0055][0056]
其中，r
res
为距离分辨率，c为真空中的光速3
×
108m/s；
[0057]
经过低通滤波器后得到回波信号与发射信号的差频信号s
b
，在其距离向快时间做傅里叶变换(fft)实现去调频处理(de
‑
chirp)得到差频f
if
，经过频率与距离的换算完成高精度测距：
[0058][0059]
其中，d为目标所在距离，k为调频斜率；
[0060]
再配合capon算法完成高精度测角，capon算法求解的优化问题可以表述为：
[0061][0062]
其中，w为权矢量，r为雷达天线接收信号的协方差矩阵；
[0063]
约束条件为w
h
a(θ)＝1，a(θ)为来自波达方向θ的发射信源方向矢量。
[0064]
最优加权向量可以用lagrange乘子法求解：
[0065][0066]
将该式代入约束条件可以得到空间谱：
[0067][0068]
进而得到包含各个目标的空间谱。
[0069]
对每帧数据都进行该操作后，使用帧差法实现动目标显示，初步分离出道路上的各个运动车辆后，使用单元平均恒虚警检测器(ca
‑
cfar)实现杂波抑制，确定车辆所在位置，获取各探测帧内的车流量信息。
[0070]
采用ca
‑
cfar对空间谱中的各个点进行检测，固定虚警概率为在检测单元周围取l点作为参照单元记为c(l)，则门限因子为：
[0071]
[0072]
可以得到检测阈值为：
[0073][0074]
通过阈值划分可以得到多帧内的多目标位置，再通过扩展卡尔曼滤波进行航迹关联，获取车辆的行进轨迹。
[0075]
步骤s2、基于s1中获取的各个车辆所在的距离门位置，在原始雷达回波中通过在距离维和多普勒维的傅里叶变换获取到车辆的实时行进速度信息，并将速度与每个位置上的车辆一一对应，其具体包括：
[0076]
在原始雷达回波中通过在距离维和多普勒维的傅里叶变换，找到各个距离上多普勒维最大值所在的频率，即各个车辆的多普勒频率f
d
，从而获取到车辆的实时行进速度v＝2f
d
/λ，实现高精准实时测速，并将速度与每个位置上的车辆一一对应。
[0077]
步骤s3、标定毫米波雷达测量数据与能见度之间的函数关系，其具体包括：
[0078]
为了获得能见度参数，首先标定毫米波雷达测量数据与能见度之间的关系。能见度由消光系数σ唯一确定，其值与空气中粒子总量即各粒子大小有关，表示为：
[0079][0080]
其中，k
i
表示散射消光系数，r
i
表示粒子半径，n
i
表示半径为r
i
的粒子数量；雷达反射率因子z与r
i
，n
i
的关系表示为：
[0081]
z＝∑
i
n
i
(2r
i
)6[0082]
因此，可以将雷达反射率因子作为表征能见度的依据，雷达反射率因子与能见度的关系在人工模拟实验室室内或室外进行标定，毫米波雷达放置在固定位置，角度反射镜放置在与雷达固定距离远处，发射雷达波经模拟空气环境照射到角反射器，反射后的回波经过模拟空气环境后由雷达接收，记录模拟空气环境下雷达反射率因子的相关数据，并可以由路面对回波的反射情况判断道路积水、积雪、结冰情况。
[0083]
步骤s4、配置数字摄像头并结合数字图像处理算法，对监控数据进行车辆识别、计数和态势显示，实时判断道路是否发生拥堵、事故或道路结冰状况；当能见度低于阈值时，其具体包括：
[0084]
安装数字摄像头，调整角度，连接与配置好计算机的端口后进行监控数据传输，实现本地收发数据和远程收发数据，在上位机实时显示监控视频信息
[0085]
结合数字图像处理算法，使用opencv库通过features2d和homography查找已知对象，识别出视频图像中的动目标，再对视频中的车辆与行人目标进行分类，完成对监控数据的车辆识别、计数和态势显示，实时判断道路是否发生拥堵、事故、道路结冰状况。
[0086]
在能见度状况极差和光照严重不足时，以步骤s1～s3中的毫米波雷达数据为主。
[0087]
步骤s5、安装配置好能见度传感器，连接与配置好计算机端口，实现本地收发数据和远程收发数据，实时传输至上位机软件提供准确的能见度数据，并在能见度异常时及时显示。
[0088]
步骤s6、安装配置好气象6要素传感器，连接和配置好计算机端口，实现本地收发数据和远程收发数据，实时传输至上位机，提供风速、温度、湿度、气压、雨量、光照6要素实时气象数据。
[0089]
步骤s7、通过步骤s1～s6获得的多传感器数据，构建数据集。
[0090]
数据集中的参数包括毫米波雷达探测到的车流量、车速、全天时能见度、道路积水、积雪、结冰情况，视频传感器探测到的视频图像，能见度仪获取的能见度数据，以及气象6要素传感器获取的风速、温度、湿度、气压、雨量、光照6要素实时气象数据输入卷积神经网络实现多传感器信息融合。
[0091]
卷积神经网络包括2个卷积层，2个池化层，使用relu激活函数。
[0092]
训练标签包括交通事件、气象信息，结合直接获取的道路环境数据，完成对道路环境的综合认知判断。
[0093]
卷积神经网输入数据包括毫米波雷达探测到的车流量、车速、全天时能见度、道路积水、积雪、结冰情况，视频传感器探测到的视频图像，能见度传感器获取的能见度数据，以及气象6要素传感器获取的风速、温度、湿度、气压、雨量、光照6要素实时气象数据。
[0094]
输出数据包括交通事件、气象信息，结合直接获取的道路环境数据，完成对道路环境的综合认知判断。
[0095]
人工神经网络的跨层连接与数据融合模型非常相似，是一种完全并行的结构。它是一种能够实现多输入信号融合的超大规模并行信息融合处理系统。经过训练后，模型可以通过其他测量过程中获得的多传感器数据快速计算出相应的能见度数据。
[0096]
本发明基于能见度传感器、气象6要素传感器、毫米波雷达和视频传感器，构建道路环境综合认知的神经网络模型，以实现对对道路环境的综合认知判断。
[0097]
其中，毫米波雷达具有良好的环境普适性，覆盖范围广，且分辨率高，穿透性强，可以实现全天时、全天候工作，非常适用于道路环境认知，提供远距离高精度的车流量、行车速度、地面积水结冰，并且可以提供能见度信息。
[0098]
视频传感器以数字图像和视频流为主，虽然受光照和天气条件影响较大，但更加贴近人眼所见，识别精度和准确率一般高于毫米波雷达传感器，可以直观提供车流量、天气情况和道路积水结冰情况，与毫米波雷达传感器配合使用，完成对当前道路环境的综合检测。
[0099]
同时，配合能见度仪和气象6要素传感器测量精确的气象信息，提高检测和最终的识别准确率和认知效果。
[0100]
本发明最终通过上述传感器数据融合方法，完成对道路环境的综合认知判断，并向交通管理部门提供限速、环境风险、交通事件、交通时间可能发生原因等信息，实现道路自动化、智能化、高准确性管理。
[0101]
虽然结合附图对发明的具体实施方式进行了详细地描述，但不应理解为对本专利的保护范围的限定。在权利要求书所描述的范围内，本领域技术人员不经创造性劳动即可做出的各种修改和变形仍属本专利的保护范围。