基于图神经网络的车载异构传感器协同感知方法

本发明属于智能驾驶与多传感器信息融合，尤其涉及一种基于图神经网络的车载异构传感器协同感知方法。具体而言，本发明涉及车载异构传感器环境下的多源感知数据采集与统一组织、传感器节点特征提取、异构传感器关系图构建、图神经网络信息传播与特征聚合、动态融合权重计算、协同感知融合、融合可信度评估以及图神经网络参数闭环更新技术，旨在解决智能车辆在复杂驾驶环境下异构传感器协同感知中传感器关联关系动态建模不足、融合权重自适应能力缺失以及感知模型缺乏在线进化能力的问题，保障智能驾驶感知系统的准确性、可靠性与环境适应能力。

背景技术：

1、随着智能驾驶技术的快速发展，现代智能车辆已集成多种物理原理各异的异构传感器，包括摄像头、激光雷达、毫米波雷达、全球导航卫星系统（gnss）接收器及惯性测量单元（imu）等，通过多传感器数据融合实现对周围环境的全面感知与精确建模。不同传感器具有各自独特的感知优势：摄像头提供丰富的纹理与语义信息，激光雷达提供高精度的三维空间结构信息，毫米波雷达具备全天候测距测速能力，gnss提供全局定位信息，imu提供高频运动状态信息。如何有效融合这些异构传感器的互补信息，实现超越单一传感器能力的协同感知，是智能驾驶环境感知的核心技术挑战。

2、现有的车载多传感器融合技术主要存在以下不足：

3、（1）传感器关联关系静态建模的局限性：现有方法多采用固定的融合权重或预定义的融合规则对各传感器数据进行组合，未能根据驾驶场景的实时变化动态建模传感器之间的关联关系。在实际驾驶中，不同传感器在不同环境条件下的可靠性存在显著差异（如雨天摄像头性能下降、雾天激光雷达性能退化），静态融合策略无法适应这种动态变化，导致感知性能不稳定。

4、（2）异构传感器间交互信息利用不充分：现有融合方法多将各传感器数据独立处理后简单叠加或拼接，缺乏对传感器之间深层交互关系的建模能力。不同传感器对同一目标对象的观测之间存在丰富的互补与约束信息，简单融合方式无法充分挖掘这些信息，限制了感知精度的提升空间。

5、（3）融合权重缺乏自适应调整能力：现有方案多采用等权融合或基于先验经验的固定权重融合，无法根据各传感器在当前场景下的实际观测质量动态调整融合权重。当某一传感器因环境干扰或自身故障导致观测质量下降时，固定权重融合无法及时降低其贡献，导致融合结果被低质量观测污染。

6、（4）感知模型缺乏闭环评估与在线更新机制：现有方案多止步于融合结果的生成阶段，缺乏对融合结果质量的系统性评估机制，更缺乏基于评估反馈对感知模型参数进行在线修正的闭环能力。面对不断变化的驾驶环境与传感器状态，静态模型参数将导致感知性能逐渐退化，无法保障长期运行的可靠性。

7、因此，本发明提出基于图神经网络的车载异构传感器协同感知方法，借助图神经网络在关系建模与信息传播方面的优势，将异构传感器建模为图结构中的节点，通过动态构建传感器关系图并进行节点间信息传播与特征聚合，实现传感器关联关系的自适应建模与感知信息的深度融合，并通过融合可信度评估驱动的闭环参数更新机制持续提升感知模型的适应性与准确性。

技术实现思路

1、本发明的目的在于克服现有车载多传感器融合技术中传感器关联关系静态建模、异构交互信息利用不充分、融合权重缺乏自适应调整能力以及感知模型缺乏闭环评估与在线更新机制的问题，提出一种基于图神经网络的车载异构传感器协同感知方法。

2、为实现上述目的，本发明提供一种基于图神经网络的车载异构传感器协同感知方法，包括以下步骤：

3、步骤1）获取车载异构传感器产生的原始感知数据，按照传感器类别、采样时刻及目标对象进行统一组织，形成异构传感器感知数据集；

4、具体方法为：

5、采集车载摄像头、激光雷达、毫米波雷达、全球导航卫星系统传感器及惯性测量单元产生的目标位置、运动状态、类别属性及环境状态数据，并按照传感器类别、采样时刻及目标对象进行统一组织，形成异构传感器感知数据集：

6、

7、其中，d表示异构传感器感知数据集，表示第类传感器在第个采样时刻针对第个目标对象产生的原始感知数据，表示传感器类别编号，表示采样时刻编号，表示目标对象编号，表示异构传感器类别总数，表示第类传感器对应的采样数据数量，表示第个采样时刻对应的目标对象数量。

8、步骤2）利用步骤1）形成的异构传感器感知数据集，提取不同传感器对应的空间位置特征、目标状态特征及观测质量特征，形成传感器节点特征集；

9、具体方法为：

10、利用步骤1）形成的异构传感器感知数据集，分别提取各传感器感知数据对应的空间位置特征、目标状态特征及观测质量特征，并对所述特征进行归一化和拼接处理，形成传感器节点特征集：

11、

12、其中，表示传感器节点特征集，表示第类传感器在第个采样时刻针对第个目标对象形成的传感器节点特征，表示空间位置特征，表示目标状态特征，表示观测质量特征，表示特征归一化函数，表示特征拼接运算。

13、步骤3）利用步骤2）形成的传感器节点特征集，结合不同传感器之间的空间邻接关系、观测相关关系及物理约束关系，构建异构传感器关系图；

14、具体方法为：

15、利用步骤2）形成的传感器节点特征集，将各传感器节点特征作为图节点，根据不同传感器之间的空间邻接关系、观测相关关系及物理约束关系计算节点间的边权值，构建异构传感器关系图：

16、

17、

18、

19、其中，表示异构传感器关系图，表示传感器节点集合，表示传感器节点间的边集合，表示第类传感器在第个采样时刻针对第个目标对象形成的图节点，表示第类传感器节点与第类传感器节点之间的边权值，表示关联传感器类别编号，表示空间邻接关系值，表示观测相关关系值，表示物理约束关系值，表示空间邻接关系权重，表示观测相关关系权重，表示物理约束关系权重。

20、步骤4）利用步骤3）构建的异构传感器关系图，通过图神经网络在相邻传感器节点之间进行信息传播与特征聚合，形成传感器节点聚合特征集；

21、利用步骤3）构建的异构传感器关系图，通过图神经网络对各传感器节点的自身特征及其相邻节点特征进行信息传播与加权聚合，形成传感器节点聚合特征集：

22、

23、其中，表示传感器节点聚合特征集，表示第类传感器在第个采样时刻针对第个目标对象形成的节点聚合特征，表示非线性激活函数

，表示节点自身特征转换矩阵，表示相邻节点特征转换矩阵，表示异构传感器关系图中节点的相邻节点集合，表示相邻传感器类别编号。

24、步骤5）利用步骤4）形成的传感器节点聚合特征集，计算各传感器节点对协同感知任务的贡献程度，形成传感器动态融合权重集；

25、具体方法为：

26、利用步骤4）形成的传感器节点聚合特征集，计算各传感器节点聚合特征对协同感知任务的贡献程度，并对同一采样时刻针对同一目标对象的贡献程度进行归一化，形成传感器动态融合权重集：

27、

28、其中，表示传感器动态融合权重集，表示第类传感器在第个采样时刻针对第个目标对象对应的动态融合权重，表示传感器节点贡献程度评价向量，表示参与动态融合权重归一化计算的传感器类别编号。

29、步骤6）利用步骤5）形成的传感器动态融合权重集，对步骤1）形成的异构传感器感知数据集进行加权融合，形成协同感知融合结果；

30、具体方法为：

31、利用步骤5）形成的传感器动态融合权重集，对步骤1）形成的异构传感器感知数据集进行特征空间映射和加权融合，形成协同感知融合结果：

32、

33、其中，表示协同感知融合结果，表示第个采样时刻针对第个目标对象形成的协同感知融合数据，表示第类传感器对应的特征空间映射矩阵。

34、步骤7）利用步骤6）形成的协同感知融合结果，与车辆运动状态及传感器观测结果进行一致性比较，形成融合可信度评估结果；

35、具体方法为：

36、利用步骤6）形成的协同感知融合结果，将协同感知融合数据与车辆运动状态及各传感器观测数据进行一致性比较，计算协同感知融合数据的可信度，形成融合可信度评估结果：

37、

38、

39、其中，表示融合可信度评估结果，表示第个采样时刻针对第个目标对象的融合可信度评估值，表示车辆运动状态对应的目标观测结果，表示车辆运动状态偏差调节参数，表示传感器观测偏差调节参数，表示车辆运动状态一致性权重，表示传感器观测一致性权重。

40、步骤8）利用步骤7）形成的融合可信度评估结果，修正图神经网络的节点聚合参数、边关系参数及融合权重参数，生成更新后的协同感知模型；

41、具体方法为：

42、利用步骤7）形成的融合可信度评估结果，对图神经网络的节点聚合参数、边关系参数及融合权重参数进行修正，生成更新后的协同感知模型：

43、

44、

45、

46、

47、

48、

49、

50、其中，表示更新后的协同感知模型，表示更新后的节点自身特征转换矩阵，表示更新后的相邻节点特征转换矩阵，表示更新后的空间邻接关系权重，表示更新后的观测相关关系权重，表示更新后的物理约束关系权重，表示更新后的传感器节点贡献程度评价向量，表示节点聚合参数学习率，表示边关系参数学习率，表示融合权重参数学习率，表示第个采样时刻针对第个目标对象的感知损失函数，表示以融合可信度评估值构建的可信度衰减因子，表示融合可信度评估结果中元素的总数；

51、将更新后的协同感知模型用于下一轮传感器节点信息传播、特征聚合、动态融合权重计算及协同感知融合，实现车载异构传感器协同感知模型的持续优化与迭代更新

52、与现有技术相比，本发明具有以下有益效果：

53、（1）传感器关联关系动态建模：通过融合空间邻接关系、观测相关关系及物理约束关系三类互补的传感器间关系，动态构建异构传感器关系图，能够实时反映不同驾驶场景下传感器之间的关联强度变化，克服了传统静态融合策略无法适应环境动态变化的局限；

54、（2）图神经网络深度交互建模：利用图神经网络在传感器节点之间进行信息传播与特征聚合，充分挖掘异构传感器之间的深层交互信息，使每个传感器节点的特征表示不仅包含自身观测信息，还融合了相邻传感器的互补信息，显著提升了感知特征的表达能力；

55、（3）自适应动态融合权重：通过基于注意力机制的贡献程度评价与softmax归一化，根据各传感器在当前场景下的聚合特征质量动态分配融合权重，当某一传感器观测质量下降时自动降低其融合权重，保障融合结果的鲁棒性；

56、（4）多维融合可信度评估：从车辆运动状态一致性与传感器观测一致性两个维度对融合结果进行可信度评估，能够及时发现融合异常，为模型参数修正提供可靠的反馈信号；

57、（5）闭环参数自适应进化：构建基于融合可信度驱动的闭环参数更新机制，对图神经网络的节点聚合参数、边关系参数及融合权重参数进行协同修正，使感知模型能够持续适应驾驶环境变化与传感器状态波动，保障长期感知性能的稳定性与持续优化。

58、综上所述，本发明提供的基于图神经网络的车载异构传感器协同感知方法，通过构建从多源感知数据采集、节点特征提取、关系图构建、图神经网络信息传播、动态融合权重计算、协同感知融合、可信度评估到模型闭环迭代的完整协同感知体系，实现了车载异构传感器在复杂驾驶环境下的动态关联建模与自适应协同感知，为智能驾驶感知系统的准确可靠运行提供了坚实的技术保障。