一种车路协同感知和数据融合方法、介质及自动驾驶系统与流程

1.本发明属于自动驾驶技术领域，尤其是涉及一种车路协同感知和数据融合方法、介质及自动驾驶系统。


背景技术：

2.现有自动驾驶往往是由车端、路端或者车路两端对周围环境信息进行探测，进而提供自动驾驶所需的数据。感知设备通常使用视觉感知技术(相机)、激光雷达感知技术或者毫米波雷达感知技术中的一种或者多种，因此车路两端多个传感器得到的信息需要融合处理，之后才能交由计算机系统进行决策使用。
3.现有技术对于车路两端协同感知和数据融合的应用效果难以达到工业化水平，路端和车端的通讯延时问题以及两端数据融合算法不够成熟。自动驾驶车辆在道路上行驶时，周围环境动态变化很快，对于环境信息的准确度和及时性要求很高，如果车路两端数据处理速度不够快，将会影响到自动驾驶系统的决策，增大自动驾驶的风险。
4.目前，现有车路协同感知融合技术很难满足工业化应用的需求，有必要进行进一步的研发。


技术实现要素：

5.本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种鲁棒性好、快速实时的车路协同感知和数据融合方法、介质及自动驾驶系统。
6.本发明的目的可以通过以下技术方案来实现：
7.一种车路协同感知和数据融合方法，该方法应用于车载处理器中，包括以下步骤：
8.获取多种传感器数据，通过神经网络算法进行数据融合，得到第一汇总数据；
9.获取路侧单元采集的实时信息；
10.将所述第一汇总数据与所述实时信息进行融合，获得第二汇总数据。
11.进一步地，所述传感器包括车端毫米波雷达、车端激光雷达和车端相机。
12.进一步地，所述神经网络算法为基于深度学习模型构建的融合算法。
13.进一步地，所述深度学习模型为resnet34模型。
14.进一步地，所述实时信息包括位置、速度和航向角。
15.进一步地，通过基于卡尔曼滤波的神经网络算法将所述第一汇总数据与所述实时信息进行融合。
16.进一步地，所述车载处理器通过车载单元接收所述路侧单元采集的实时信息，所述车载单元与路侧单元通过5g无线通信连接。
17.本发明还提供一种计算机可读存储介质，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行如上所述车路协同感知和数据融合方法的指令。
18.本发明还提供一种自动驾驶系统，包括依次连接的路侧单元、车载单元和车载处
理器，所述车载处理器连接有多种传感器，其内存储有计算机程序，该计算机程序被调用时执行如下操作：
19.获取多种传感器数据，通过神经网络算法进行数据融合，得到第一汇总数据；
20.获取路侧单元采集的实时信息；
21.将所述第一汇总数据与所述实时信息进行融合，获得第二汇总数据；
22.基于所述第二汇总数据生成自动驾驶策略。
23.进一步地，所述车载单元与路侧单元通过5g无线通信连接。
24.与现有技术相比，本发明具有以下有益效果：
25.1、本发明能同时感知路口道路交通图像和毫米波雷达点云数据，使得车路两端实时协同快速感知周围环境信息，提高采集数据的可靠性，提高后续应用的识别效果。
26.2、本发明通过两步数据融合处理，将传感器计算前置，能快速融合车路两端的数据，得到可供系统决策的准确的环境数据。
27.3、本发明通过5g将感知数据在车辆和路端间传输，传感速度快，通讯延时小。
28.4、本发明采用多个传感器进行数据采集，鲁棒性好，在恶劣环境下应用效果稳定，能够抵抗不良天气和道路情况。
附图说明
29.图1为本发明的流程示意图。
具体实施方式
30.下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
31.实施例1
32.本实施例提供一种车路协同感知和数据融合方法，该方法应用于车载处理器中，包括以下步骤：
33.1)获取多种传感器数据，通过神经网络算法进行数据融合，得到第一汇总数据，作为车端汇总数据，其中，传感器包括车端毫米波雷达、车端激光雷达和车端相机，神经网络算法为基于深度学习模型构建的融合算法；
34.2)获取路侧单元rsu采集的实时信息，包括位置、速度和航向角等；
35.3)通过基于卡尔曼滤波的神经网络算法将第一汇总数据与实时信息进行融合，获得第二汇总数据，该第二汇总数据可以作为自动驾驶系统决策执行的基础数据。
36.在具体实施方式中，深度学习模型可采用resnet34模型。
37.在步骤1)中，车载处理器通过车载单元接收路侧单元采集的实时信息，车载单元与路侧单元通过5g无线通信连接，以减小通讯时延。
38.上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个
人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
39.实施例2
40.本实施例提供一种自动驾驶系统，包括依次连接的路侧单元、车载单元和车载处理器，车载单元与路侧单元通过5g无线通信连接，车载处理器连接有多种传感器，其内存储有计算机程序，该计算机程序被调用时执行如下操作：
41.获取多种传感器数据，通过神经网络算法进行数据融合，得到第一汇总数据，其中，传感器包括车端毫米波雷达、车端激光雷达和车端相机；
42.获取路侧单元采集的实时信息，包括位置、速度和航向角等；
43.将第一汇总数据与实时信息进行融合，获得第二汇总数据；
44.基于第二汇总数据生成自动驾驶策略。
45.以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。


技术特征：
1.一种车路协同感知和数据融合方法，其特征在于，该方法应用于车载处理器中，包括以下步骤：获取多种传感器数据，通过神经网络算法进行数据融合，得到第一汇总数据；获取路侧单元采集的实时信息；将所述第一汇总数据与所述实时信息进行融合，获得第二汇总数据。2.根据权利要求1所述的车路协同感知和数据融合方法，其特征在于，所述传感器包括车端毫米波雷达、车端激光雷达和车端相机。3.根据权利要求1所述的车路协同感知和数据融合方法，其特征在于，所述神经网络算法为基于深度学习模型构建的融合算法。4.根据权利要求3所述的车路协同感知和数据融合方法，其特征在于，所述深度学习模型为resnet34模型。5.根据权利要求1所述的车路协同感知和数据融合方法，其特征在于，所述实时信息包括位置、速度和航向角。6.根据权利要求1所述的车路协同感知和数据融合方法，其特征在于，通过基于卡尔曼滤波的神经网络算法将所述第一汇总数据与所述实时信息进行融合。7.根据权利要求1所述的车路协同感知和数据融合方法，其特征在于，所述车载处理器通过车载单元接收所述路侧单元采集的实时信息，所述车载单元与路侧单元通过5g无线通信连接。8.一种计算机可读存储介质，其特征在于，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行如权利要求1-7任一所述车路协同感知和数据融合方法的指令。9.一种自动驾驶系统，其特征在于，包括依次连接的路侧单元、车载单元和车载处理器，所述车载处理器连接有多种传感器，其内存储有计算机程序，该计算机程序被调用时执行如下操作：获取多种传感器数据，通过神经网络算法进行数据融合，得到第一汇总数据；获取路侧单元采集的实时信息；将所述第一汇总数据与所述实时信息进行融合，获得第二汇总数据；基于所述第二汇总数据生成自动驾驶策略。10.根据权利要求9所述的自动驾驶系统，其特征在于，所述车载单元与路侧单元通过5g无线通信连接。

技术总结
本发明涉及一种车路协同感知和数据融合方法、介质及自动驾驶系统，所述方法应用于车载处理器中，包括以下步骤：获取多种传感器数据，通过神经网络算法进行数据融合，得到第一汇总数据；获取路侧单元采集的实时信息；将所述第一汇总数据与所述实时信息进行融合，获得第二汇总数据。与现有技术相比，本发明能同时感知路口道路交通图像和毫米波雷达点云数据，使得车路两端实时协同快速感知周围环境信息，具有提高采集数据的可靠性，提高后续应用的识别效果，能够抵抗不良天气和道路情况等优点。能够抵抗不良天气和道路情况等优点。能够抵抗不良天气和道路情况等优点。


技术研发人员：张宇超 秦超 林新雨 王凤军
受保护的技术使用者：上海智能网联汽车技术中心有限公司
技术研发日：2021.12.31
技术公布日：2022/4/29