一种多传感器的感知信息融合方法与流程

1.本发明涉及自动驾驶技术领域，具体是一种多传感器的感知信息融合方法。


背景技术：

2.智能驾驶作为“智能制造”和“互联网 ”时代的产物，引起了汽车产业生态及商业模式的全面升级与重塑，对于促进国家科技进步、经济发展与社会和谐以及提升综合国力等方面均有着重大的意义。
3.环境感知是智能驾驶技术的基础。通过在车辆上安装传感装置感知周围环境，实现智能化的辅助驾驶。现有的自动驾驶技术中涉及到的传感器大都是视觉传感器，但是，视觉传感器是存在死角的，而且在运动物上对其它运动物进行监测是非常困难的，即使能够完成，所需要的视觉传感器成本也会非常的高。因此，如何以一种低成本的方式解决视觉传感器的弊端是本发明技术方案想要解决的技术问题。


技术实现要素：

4.本发明的目的在于提供一种多传感器的感知信息融合方法，以解决上述背景技术中提出的问题。
5.为实现上述目的，本发明提供如下技术方案：
6.一种多传感器的感知信息融合方法，所述方法包括：
7.获取环境数据，根据所述环境数据确定各检测端的工作模式；所述检测端至少包括图像获取端和雷达端；
8.向所述图像获取端发送含有检测方向的图像获取指令，获取含有拍摄时间的路况图像，得到路况图像库，根据所述路况图像库生成环境模型；
9.向所述雷达端发送含有波段范围的运动检测指令，获取含有运动参数的运动物体，根据所述运动物体更新所述环境模型；
10.根据所述环境模型调节运动指令。
11.作为本发明进一步的方案：所述获取环境数据，根据所述环境数据确定各检测端的工作模式的步骤包括：
12.定时接收天气预测信息，基于所述天气预测信息获取靶信息；
13.将所述靶信息与参考信息进行比对，根据比对结果计算偏差率；
14.根据所述偏差率修正所述天气预测信息；其中，靶信息为天气预测信息中的特征参数；
15.根据修正后的天气预测信息确定各检测端的工作模式。
16.作为本发明进一步的方案：所述向所述图像获取端发送含有检测方向的图像获取指令，获取含有拍摄时间的路况图像，得到路况图像库，根据所述路况图像库生成环境模型的步骤包括：
17.实时获取位置数据，当所述位置数据达到预设的检测点时，向所述图像获取端发
送含有检测方向的图像获取指令；
18.根据所述检测方向获取路况图像，对所述路况图像进行轮廓识别，定位在检测方向上距离待检图像中心线最远的轮廓，并获取其轮廓中心线，作为标识线；
19.生成旋转指令，当所述标识线与拍摄中心线重合时，获取下一路况图像，得到路况图像库；
20.根据所述路况图像库生成环境模型。
21.作为本发明进一步的方案：所述根据所述路况图像库生成环境模型的步骤包括：
22.根据预设的转换公式依次将所述路况图像库中的路况图像转换为特征图像；
23.计算特征图像的特征值，生成与所述路况图像库为映射关系的特征数组；
24.将所述特征数组输入训练好的统计模型，标记众数图像；
25.根据所述众数图像生成环境模型。
26.作为本发明进一步的方案：所述将所述特征数组输入训练好的统计模型，标记众数图像的步骤包括：
27.计算所述特征数组的平均值，根据所述平均值确定分类范围；
28.根据所述分类范围对所述特征数组中的元素进行分类，并计算不同分类范围内的元素总数；
29.根据所述元素总数确定众数范围，并根据众数范围在特征数组中标记众数元素；
30.在所述路况图像库中获取与所述众数元素对应的路况图像，标记为众数图像。
31.作为本发明进一步的方案：所述根据所述众数图像生成环境模型的步骤包括：
32.获取所述众数图像的拍摄角度，将所述拍摄角度插入所述众数图像的索引项；
33.根据预设的卷积核表对所述众数图像进行卷积运算，识别所述众数图像中的标识物；
34.根据标识物的实际尺寸和图像尺寸确定实际距离；
35.根据所述实际距离和所述拍摄角度在环境模型中插入标识物模型。
36.作为本发明进一步的方案：所述根据预设的卷积核表对所述众数图像进行卷积运算，识别所述众数图像中的标识物的步骤包括：
37.在预设的卷积核表中读取卷积核，根据所述卷积核和预设的步长对所述众数图像进行卷积运算，得到特征图；
38.根据预设的非线性激活函数对所述特征图进行特征分类，得到激活图；
39.根据预设的池化尺寸对所述激活图像进行池化操作，得到与所述激活图像对应的压缩图；
40.根据所述压缩图像确定所述众数图像中的标识物。
41.作为本发明进一步的方案：所述向所述雷达端发送含有波段范围的运动检测指令，获取含有运动参数的运动物体，根据所述运动物体更新所述环境模型的步骤包括：
42.随机在预设的波段范围内确定检测波长，所述检测波长至少两种；
43.根据所述检测波长对检测区域内所有的静止目标物体和移动目标物体进行扫描，并获取每个目标物体的运动参数；其中，所述运动参数包括实时的运动速度、方向、距离、目标夹角、轨迹和行驶时间，所述目标夹角由目标高度确定；
44.根据所述运动参数在所述环境模型中生成与目标物体对应的动态点。
45.作为本发明进一步的方案：所述获取每个目标物体的运动参数的步骤包括：
46.距离的测量步骤包括：测量发射脉冲与回波脉冲之间的时间差，基于所述时间差计算距离；
47.速度的测量步骤包括：当目标物体与干扰杂波同时存在于雷达的同一空间分辨单元内时，基于多普勒效应原理计算雷达与目标物体之间的距离变化率。
48.作为本发明进一步的方案：所述方法还包括：
49.根据所述运动参数输送到预先设定好的报警判定规则模型和报警类型判定规则模型中进行校验，筛选出符合条件的数据对应的目标物体进行标定、输出警报信息；其中，标定是指在所述环境模型中将目标物体标为不同颜色。
50.与现有技术相比，本发明的有益效果是：本发明通过路况图像生成环境模型，通过雷达获取运动物的运动参数，生成动态点，更新所述环境模型，成本较低，数据获取全面，便于推广。
附图说明
51.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。
52.图1示出了多传感器的感知信息融合方法的流程框图。
53.图2示出了多传感器的感知信息融合方法的第一子流程框图。
54.图3示出了多传感器的感知信息融合方法的第二子流程框图。
55.图4示出了多传感器的感知信息融合方法的第三子流程框图。
56.图5示出了多传感器的感知信息融合方法的第四子流程框图。
57.图6示出了多传感器的感知信息融合方法的第五子流程框图。
58.图7示出了多传感器的感知信息融合方法的第六子流程框图。
具体实施方式
59.为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
60.实施例1
61.图1示出了多传感器的感知信息融合方法的流程框图，本发明实施例中，一种多传感器的感知信息融合方法，所述方法包括步骤s100至步骤s400：
62.步骤s100：获取环境数据，根据所述环境数据确定各检测端的工作模式；所述检测端至少包括图像获取端和雷达端；
63.本发明技术方案一般应用于自动驾驶领域，其硬件架构一般是无人车，所述环境自然是相对于无人车来说，所述环境数据是天气或空气数据。
64.步骤s200：向所述图像获取端发送含有检测方向的图像获取指令，获取含有拍摄时间的路况图像，得到路况图像库，根据所述路况图像库生成环境模型；
65.图像获取端获取路况图像，根据这些路况图像可以搭建出一个环境模型，因为所
述路况图像是二维的，所以多个不同方向上的路况图像搭建的环境模型是三维的；值得一提的是，所述图像获取端在获取路况图像时，图像获取端得是固定的，不平稳的图像获取端获取到的路况图像是模糊的，无法用于后续的处理。
66.步骤s300：向所述雷达端发送含有波段范围的运动检测指令，获取含有运动参数的运动物体，根据所述运动物体更新所述环境模型；
67.由于图像获取的前提是图像获取端需要尽量的平稳，这就意味着路况图像并不能是实时的数据，在移动的物体上，实时获取路况图像并没有太大意义；但是，实时检测路段上的运动物体又是必需的功能，步骤s300就是对于运动物体的检测，借助的硬件设备是雷达，检测到的运动物体也需要插入环境模型中。
68.步骤s400：根据所述环境模型调节运动指令。
69.在确定了环境模型的前提下，根据环境模型调节运动指令是容易完成的。
70.图2示出了多传感器的感知信息融合方法的第一子流程框图，所述获取环境数据，根据所述环境数据确定各检测端的工作模式的步骤包括步骤s101至步骤s104：
71.步骤s101：定时接收天气预测信息，基于所述天气预测信息获取靶信息；
72.步骤s102：将所述靶信息与参考信息进行比对，根据比对结果计算偏差率；
73.步骤s103：根据所述偏差率修正所述天气预测信息；其中，靶信息为天气预测信息中的特征参数；
74.步骤s104：根据修正后的天气预测信息确定各检测端的工作模式。
75.天气预测信息一般是属于现有数据，这么说的原因是，现有的技术背景下，很容易借助一些免费app来获取到天气预测信息，但是天气预测信息与实际信息之间存在一定的偏差，因此，根据天气预测信息确定靶信息，然后根据所述靶信息修正所述天气预测信息；对于靶信息，举例说明，如果现有天气预测信息是雾天，那么靶信息就是空气湿度，靶信息就是最能代表天气状况的数据。
76.图3示出了多传感器的感知信息融合方法的第二子流程框图，所述向所述图像获取端发送含有检测方向的图像获取指令，获取含有拍摄时间的路况图像，得到路况图像库，根据所述路况图像库生成环境模型的步骤包括步骤s201至步骤s204：
77.步骤s201：实时获取位置数据，当所述位置数据达到预设的检测点时，向所述图像获取端发送含有检测方向的图像获取指令；
78.步骤s202：根据所述检测方向获取路况图像，对所述路况图像进行轮廓识别，定位在检测方向上距离待检图像中心线最远的轮廓，并获取其轮廓中心线，作为标识线；
79.步骤s203：生成旋转指令，当所述标识线与拍摄中心线重合时，获取下一路况图像，得到路况图像库；
80.步骤s204：根据所述路况图像库生成环境模型。
81.当装置运动到检测点时，首先生成停止指令，然后根据预设的转向获取待检图像，预设的转向可以是顺时针，也可以是逆时针，两者本质上是相同的。
82.步骤s201至步骤s204通俗地冰，就是在一张待检图像上，识别各个轮廓，找到最边角处的轮廓，然后作为下一张待检图像的焦点。
83.图4示出了多传感器的感知信息融合方法的第三子流程框图，所述根据所述路况图像库生成环境模型的步骤包括步骤s2041至步骤s2044：
84.步骤s2041：根据预设的转换公式依次将所述路况图像库中的路况图像转换为特征图像；
85.步骤s2042：计算特征图像的特征值，生成与所述路况图像库为映射关系的特征数组；
86.步骤s2043：将所述特征数组输入训练好的统计模型，标记众数图像；
87.步骤s2044：根据所述众数图像生成环境模型。
88.预设的转换公式可以是灰度转换公式，当所述转换公式为灰度转换公式时，其效果是将所述路况图像转换为灰度图像，然后，计算所述灰度图像的灰度平均值，最后将这些灰度平均值按照路况信息的时间顺序进行排列，可以得到一个特征数组。
89.对所述特征数组进行统计学分析，确定最能够反映实际情况的路况图像，作为生成环境模型的依旧。通俗地说，在一个角度上获取到的图像，其内容大部分是重复的，这些重复的图像就是环境模型的参考依据。
90.此外，对于上述重复的说明，需要举一个实例，比如，在一段公路上行驶的无人车，它在获取侧面图像时，往往就是连绵的山林，无人车的行走距离对图像中山林的位置影响几乎没有，这就是重复的一种情况。
91.图5示出了多传感器的感知信息融合方法的第四子流程框图，所述将所述特征数组输入训练好的统计模型，标记众数图像的步骤包括步骤s20431至步骤s20434：
92.步骤s20431：计算所述特征数组的平均值，根据所述平均值确定分类范围；
93.步骤s20432：根据所述分类范围对所述特征数组中的元素进行分类，并计算不同分类范围内的元素总数；
94.步骤s20433：根据所述元素总数确定众数范围，并根据众数范围在特征数组中标记众数元素；
95.步骤s20434：在所述路况图像库中获取与所述众数元素对应的路况图像，标记为众数图像。
96.上述内容提供了一种具体的众数图像获取方法，图像的一点点不同都会导致特征值不同，但是实际上，这些有着微小不同的图像从人的角度来说是“相同的”，因此，所述众数指的一种范围，特征值在同一范围内的图像，看上去上“相同的”。
97.图6示出了多传感器的感知信息融合方法的第五子流程框图，所述根据所述众数图像生成环境模型的步骤包括步骤s20441至步骤s20444：
98.步骤s20441：获取所述众数图像的拍摄角度，将所述拍摄角度插入所述众数图像的索引项；
99.步骤s20442：根据预设的卷积核表对所述众数图像进行卷积运算，识别所述众数图像中的标识物；
100.步骤s20443：根据标识物的实际尺寸和图像尺寸确定实际距离；
101.步骤s20444：根据所述实际距离和所述拍摄角度在环境模型中插入标识物模型。
102.其中，卷积表核表是预先通过采样图像确定的，通俗地说，不同采样图像中的特征由某个卷积核表示，在使用某个卷积核对众数图像进行卷积运算时，可以得到卷积核与该图像的匹配度，当所述匹配度达于一定阈值时，就说明该卷积核的特征在众数图像中有出现，这也就确定了标识物。
103.具体的，所述根据预设的卷积核表对所述众数图像进行卷积运算，识别所述众数图像中的标识物的步骤包括：
104.在预设的卷积核表中读取卷积核，根据所述卷积核和预设的步长对所述众数图像进行卷积运算，得到特征图；
105.根据预设的非线性激活函数对所述特征图进行特征分类，得到激活图；
106.根据预设的池化尺寸对所述激活图像进行池化操作，得到与所述激活图像对应的压缩图；
107.根据所述压缩图像确定所述众数图像中的标识物。
108.卷积核代表着某些小的特征区域，一般是3x3或者5x5的大小，步长就是在进行卷积运算时，所述特征区域的移动步长，一般情况下都是1，代表着每次检测就往右平移一个像素；经过卷积运算后，得到卷积层，也就是上述特征图；
109.卷积层对原图运算多个卷积产生一组线性激活响应，而非线性激活层是对之前的结果进行一个非线性的激活响应。最多的非线性激活函数是relu函数，它的公式定义为：f(x)＝max(0,x)，即，保留大于等于0的值，其余所有小于0的数值直接改写为0；这一过程并不困难。
110.经过非线性激活之后，尽管数据量比原图少了很多，但还是过于庞大(比较深度学习动不动就几十万张训练图片)，因此接下来的池化操作就可以发挥作用了，它最大的目标就是减少数据量。池化分为两种，max pooling最大池化、average pooling平均池化。顾名思义，最大池化就是取最大值，平均池化就是取平均值。一般情况下，采用的是最大池化，因为最大池化保留了每一个小块内的最大值，所以它相当于保留了这一块最佳匹配结果(因为值越接近1表示匹配越好)。这也就意味着它不会具体关注窗口内到底是哪一个地方匹配了，而只关注是不是有某个地方匹配上了。
111.图7示出了多传感器的感知信息融合方法的第六子流程框图，所述向所述雷达端发送含有波段范围的运动检测指令，获取含有运动参数的运动物体，根据所述运动物体更新所述环境模型的步骤包括步骤s301至步骤s303：
112.步骤s301：随机在预设的波段范围内确定检测波长，所述检测波长至少两种；
113.步骤s302：根据所述检测波长对检测区域内所有的静止目标物体和移动目标物体进行扫描，并获取每个目标物体的运动参数；其中，所述运动参数包括实时的运动速度、方向、距离、目标夹角、轨迹和行驶时间，所述目标夹角由目标高度确定；
114.步骤s303：根据所述运动参数在所述环境模型中生成与目标物体对应的动态点。
115.步骤s301至步骤s303的功能是通过雷达对运动物体进行检测，其中，步骤s302需要借助雷达端完成；值得一提的是，不同的检测波长可以使得检测更加准确，虽然测量原理相同，但是不同的环境下，不同检测波长的波被吸收的程度是不同的，因此，会影响检测效果。
116.实施例2
117.在本发明实施例中，对雷达端的工作过程进行了进一步的限定，所述获取每个目标物体的运动参数的步骤包括：
118.距离的测量步骤包括：测量发射脉冲与回波脉冲之间的时间差，基于所述时间差计算距离；
119.速度的测量步骤包括：当目标物体与干扰杂波同时存在于雷达的同一空间分辨单元内时，基于多普勒效应原理计算雷达与目标物体之间的距离变化率。
120.测量速度，是雷达根据自身和目标物体之间有相对运动产生的频率多普勒效应原理，雷达接收到的目标物体回波频率与雷达发射频率不同，两者的差值称为多普勒频率，从多普勒频率中提取的主要信息之一是雷达与目标之间的距离变化率，当目标物体与干扰杂波同时存在于雷达的同一空间分辨单元内时，雷达利用它们之间多普勒频率的不同能从干扰杂波中检测和跟踪目标。
121.进一步的，所述方法还包括：
122.根据所述运动参数输送到预先设定好的报警判定规则模型和报警类型判定规则模型中进行校验，筛选出符合条件的数据对应的目标物体进行标定、输出警报信息；其中，标定是指在所述环境模型中将目标物体标为不同颜色。
123.需要说明的是，所述不同颜色是显示过程中的描述，如果没有显示过程，那么不同颜色就是不同的标记符号。
124.所述多传感器的感知信息融合方法所能实现的功能均由计算机设备完成，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述程序代码由所述一个或多个处理器加载并执行以实现所述多传感器的感知信息融合方法的功能。
125.处理器从存储器中逐条取出指令、分析指令，然后根据指令要求完成相应操作，产生一系列控制命令，使计算机各部分自动、连续并协调动作，成为一个有机的整体，实现程序的输入、数据的输入以及运算并输出结果，这一过程中产生的算术运算或逻辑运算均由运算器完成；所述存储器包括只读存储器(read-only memory，rom)，所述只读存储器用于存储计算机程序，所述存储器外部设有保护装置。
126.示例性的，计算机程序可以被分割成一个或多个模块，一个或者多个模块被存储在存储器中，并由处理器执行，以完成本发明。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在终端设备中的执行过程。
127.本领域技术人员可以理解，上述服务设备的描述仅仅是示例，并不构成对终端设备的限定，可以包括比上述描述更多或更少的部件，或者组合某些部件，或者不同的部件，例如可以包括输入输出设备、网络接入设备、总线等。
128.所称处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，上述处理器是上述终端设备的控制中心，利用各种接口和线路连接整个用户终端的各个部分。
129.上述存储器可用于存储计算机程序和/或模块，上述处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现上述终端设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如信息采集模板展示功能、产品信息发布功能等)等；
存储数据区可存储根据泊位状态显示系统的使用所创建的数据(比如不同产品种类对应的产品信息采集模板、不同产品提供方需要发布的产品信息等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
130.终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例系统中的全部或部分模块/单元，也可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个系统实施例的功能。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。
131.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
132.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。