多模态融合感知方法、装置、设备和存储介质与流程

摘要: 本说明书涉及人工智能,尤其涉及多模态融合感知方法、装置、设备和存储介质。背景技术:1、随着智能驾驶技术的发展,车辆需要对周边道路环境进行准确感知,以实现目标检测...
多模态融合感知方法、装置、设备和存储介质与流程

本说明书涉及人工智能,尤其涉及多模态融合感知方法、装置、设备和存储介质。

背景技术:

1、随着智能驾驶技术的发展,车辆需要对周边道路环境进行准确感知,以实现目标检测、目标跟踪、车道识别、障碍物识别及路径规划等功能。为提高环境感知能力,车辆通常配备摄像头、激光雷达、毫米波雷达等多种传感器,并对各异构传感器采集的多模态数据进行特征提取和融合,从而获得车辆周边环境的综合感知结果。

2、现有技术中,通常将不同模态传感器对应的特征转换至bev(bird's eye view,鸟瞰图)空间后,通过特征拼接、逐元素相加、固定权重加权或注意力加权等方式进行融合。

3、一方面,由于不同传感器具有不同的感知能力和适用条件。当某一传感器采集的数据可靠性较低时,若采用现有的融合机制,其对应特征仍可能以较高权重参与融合,进而将不可靠信息引入融合结果,影响融合bev特征的准确性,降低车辆在复杂道路环境下的环境感知性能。

4、另一方面,在实际道路环境中,由于模型的训练数据难以覆盖所有驾驶场景,当模型在面对不确定的未知场景时,现有的融合机制无法识别并量化这种因模型“认知不足”带来的不确定性,导致这类特征仍可能赋予高置信度,进而将不可靠信息引入融合结果。

技术实现思路

1、为克服相关技术中存在的问题,本说明书提供了多模态融合感知方法、装置、设备和存储介质。

2、根据本说明书实施例的第一方面,提供一种多模态融合感知方法,所述方法包括:

3、获取多种车载传感器采集到的多模态传感器数据,并基于各模态传感器数据生成对应模态的bev特征。

4、针对各模态的bev特征,通过偶然不确定性估计网络对该bev特征中每一位置的特征值进行方差估计,以得到偶然不确定性信息;所述偶然不确定性信息中记录有bev特征中每一位置的方差值,所述方差值用于反映对应位置的传感器数据的可靠性;以及,

5、通过认知不确定性估计网络对该bev特征进行多组随机前向推理,得到多组输出结果,并基于多组输出结果对应位置之间的差异程度生成认知不确定性信息,所述认知不确定性信息用于表征所述认知不确定性估计网络对该bev特征所表示场景的认知不确定性。

6、至少基于所述偶然不确定性信息和所述认知不确定性信息中的一个,确定对应模态bev特征的融合权重,并基于所述融合权重对各模态的bev特征进行融合处理以得到当前帧的融合bev特征。

7、基于当前帧的融合bev特征输出当前的感知结果。

8、根据本说明书实施例的第二方面,提供一种多模态融合感知装置,所述装置包括:

9、bev特征生成模块,用于获取多种车载传感器采集到的多模态传感器数据,并基于各模态传感器数据生成对应模态的bev特征。

10、不确定性信息生成模块,用于针对各模态的bev特征,通过偶然不确定性估计网络对该bev特征中每一位置的特征值进行方差估计,以得到偶然不确定性信息;所述偶然不确定性信息中记录有bev特征中每一位置的方差值,所述方差值用于反映对应位置的传感器数据的可靠性;以及,通过认知不确定性估计网络对该bev特征进行多组随机前向推理,得到多组输出结果,并基于多组输出结果对应位置之间的差异程度生成认知不确定性信息,所述认知不确定性信息用于表征所述认知不确定性估计网络对该bev特征所表示场景的认知不确定性。

11、bev特征融合模块,用于至少基于所述偶然不确定性信息和所述认知不确定性信息中的一个,确定对应模态bev特征的融合权重,并基于所述融合权重对各模态的bev特征进行融合处理以得到当前帧的融合bev特征。

12、感知结果输出模块,用于基于当前帧的融合bev特征输出当前的感知结果。

13、根据本说明书实施例的第三方面,提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如第一方面所述方法的步骤。

14、根据本说明书实施例的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如第一方面所述方法的步骤。

15、本说明书的实施例提供的技术方案可以包括以下有益效果:

16、本说明书实施例中,一方面,通过偶然不确定性估计网络对各模态bev特征中每一位置的特征值进行方差估计,得到记录各位置方差值的偶然不确定性信息,能够表征相应传感器数据在不同bev位置处的可靠性,在基于偶然不确定性信息确定各模态bev特征的融合权重时,可使基于可靠性较高的传感器数据生成的bev特征获得较高的融合权重,并降低可靠性较低的传感器数据对融合结果的影响。因此,可减少由传感器自身采集误差带来的不可靠信息被引入融合bev特征的情况。

17、另一方面,通过认知不确定性估计网络对bev特征进行多组随机前向推理,得到多组输出结果,并基于多组输出结果对应位置之间的差异程度生成认知不确定性信息,在基于认知不确定性信息确定各模态bev特征的融合权重时,可使得模型感到不确定性的场景的bev特征的融合权重降低。因此,可以避免模型认知局限引入的误判风险。

18、综上,通过基于偶然不确定性信息和/或认知不确定性信息自适应调整融合权重,从而提高当前帧融合bev特征对车辆周边环境的表征准确性,进而提高基于融合bev特征输出的感知结果的准确性。

19、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本说明书。

1.一种多模态融合感知方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述偶然不确定性估计网络的模型架构依次包括若干层卷积处理层和一层softplus激活层;其中,所述若干层卷积处理层用于估计bev特征中每一位置的方差值,所述softplus激活层用于将估计的方差值映射为非负数。

3.根据权利要求1所述的方法,其特征在于,所述认知不确定性估计网络的模型架构依次包括若干层卷积处理层、一层dropout层和一层方差计算层;其中,所述若干层卷积处理层用于进行特征变换,所述dropout层用于保证每一组前向推理的随机性,所述差异程度通过方差表示,所述方差计算层用于计算多组输出结果对应位置之间的方差。

4.根据权利要求1所述的方法,其特征在于,所述至少基于所述偶然不确定性信息和所述认知不确定性信息中的一个,确定对应模态bev特征的融合权重,包括:

5.根据权利要求1所述的方法,其特征在于,所述动态门控网络的模型架构依次包括若干层卷积层和一层sigmoid层。

6.根据权利要求1所述的方法,其特征在于,所述基于当前帧的融合bev特征输出当前的感知结果,包括:

7.根据权利要求6所述的方法,其特征在于,所述方法还包括:

8.根据权利要求1所述的方法,其特征在于,记忆库包括短期记忆存储模块和长期记忆存储模块,所述短期记忆存储模块和所述长期记忆存储模块均用于存储当前时刻之前的连续若干帧的历史融合bev特征,且所述长期记忆存储模块存储的历史融合bev特征的数量多于短期记忆存储模块;

9.根据权利要求8所述的方法,其特征在于,将历史融合bev特征存储至长期记忆存储模块,包括:

10.根据权利要求8所述的方法,其特征在于,所述短期记忆存储模块的结构为fifo队列。

11.一种多模态融合感知装置,其特征在于,所述装置包括:

12.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-10中任一项所述方法的步骤。

13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-10中任一项所述方法的步骤。