自动驾驶多模态融合阶段的异构冗余自适应加权融合方法与流程
本技术涉及自动驾驶感知,具体涉及一种自动驾驶多模态融合阶段的异构冗余自适应加权融合方法,尤其涉及一种在自动驾驶感知模型的多模态融合阶段,利用不同模态传感器之间的异构冗余信息动态生成融合权重,以提高极端环境和模态退化条件下感知鲁棒性的方法及装置。
背景技术:
1、随着自动驾驶系统由结构化高速和城市快速路向更加复杂的开放道路环境扩展,感知模型对多模态传感器信息的依赖不断增强。典型的自动驾驶感知模型通常包括摄像头图像编码器、激光雷达点云编码器、毫米波雷达点迹或轨迹编码器、车辆状态编码器,以及用于将各模态特征对齐到鸟瞰图(bev)空间、体素空间、栅格空间或对象查询空间的多模态融合模块。融合模块之后再连接目标检测、占据预测、车道线/道路边界识别、可行驶区域识别等任务头。
2、在实际道路中,极端环境往往导致不同模态呈现差异化退化。例如,强逆光和雨雾会降低摄像头图像质量,雨雪和扬尘会降低激光雷达有效点云密度,毫米波雷达在多径环境下可能产生虚警,全球导航卫星系统(gnss)在隧道、城市峡谷或干扰环境下可能出现漂移。然而,这些退化并非总是表现为某一模态完全失效,而更多表现为某一模态在某些空间区域、某些任务或某些时间窗口内的可信度下降。
3、相关多模态融合模型主要存在以下几类技术方案及其缺陷:
4、第一类方案采用固定结构的多模态特征融合方式。该类方案一般先通过图像主干网络提取视觉特征,通过点云编码器提取激光雷达特征,通过雷达编码器提取毫米波雷达特征,再将各模态特征投影到bev空间或其他统一表示空间,之后采用拼接、相加、卷积融合、transformer交互或注意力融合等方式生成统一融合特征,最后输入目标检测、车道识别或占据预测任务头。该类方案的融合结构、融合层数、输入模态和主干连接关系通常在模型设计阶段固定。即使使用注意力机制,其注意力权重也主要由训练数据中的特征相关性隐式学习得到,系统通常不会显式建模某一模态在当前极端环境中的退化程度,也不会显式利用不同模态在同一任务上的冗余支撑关系。该类技术强调多模态信息聚合和整体检测精度提升,但在极端环境下存在明显不足。首先,固定融合结构容易假设各模态长期稳定可用,难以适应雨、雪、雾、强逆光、遮挡污染等导致的模态质量突变。其次,融合权重通常由特征相似性或注意力响应隐式决定,缺乏对模态健康度、物理测量可靠性和跨模态冗余关系的可解释建模。再次,传统融合往往将某一模态的特征整体输入融合网络,而没有区分该模态在不同任务、不同区域或不同对象上的可用性。例如,摄像头在强逆光下可能对远距离目标检测不可靠,但对近距离语义信息仍有一定价值;毫米波雷达可能在目标速度估计上可靠,但在目标几何轮廓上不足。若仅采用统一固定融合策略,会造成有效信息浪费或错误信息污染。同时,固定的融合结构导致车载计算平台无法根据环境动态调配算力,在极端环境下系统缺乏一套灵活的特征过滤与评估机制。
5、第二类方案采用基于注意力或门控网络的自适应融合方式。该类方案在多模态特征输入后,通过通道注意力、空间注意力、跨模态transformer、门控单元或专家混合结构,自动学习不同模态或不同特征通道的重要性。其典型做法是将各模态特征输入一个权重预测分支,由该分支生成融合权重,再对各模态特征进行加权求和或交互融合。部分方案也会引入环境标签或传感器质量分数作为附加输入,使网络在雨天、夜间或雾天等场景下调整融合权重。该类技术虽然实现了一定程度的自适应融合,但其权重生成过程通常仍是黑盒特征驱动,未充分利用多模态传感器之间的异构冗余关系,造成多余的算力消耗。其学习目标一般由检测损失、分割损失或占据预测损失间接约束,缺乏对“某一模态权重为何升高或降低”的显式安全逻辑。这种方式在面对车联网或复杂路况下多模态时空特征发生明显冲突时,缺乏一套专门的、可解释的硬件/逻辑裁决单元来执行安全隔离,导致算力资源的浪费和安全隐患。更重要的是,普通门控或注意力权重通常关注单模态特征强弱,而不是关注不同模态之间是否形成相互印证。例如,视觉检测到前方目标时,如果激光雷达几何支撑、毫米波速度支撑和时序跟踪均一致,则该目标应获得更高融合可信度;如果视觉检测结果与其他模态长期冲突,则应被抑制。门控网络往往没有显式计算这种冗余共识和冲突惩罚。
6、第三类方案主要采用环境感知或传感器故障检测驱动的融合权重调整方式。该类方案通常先判断当前是否处于雨、雾、夜间、强逆光或传感器故障状态,再按照预设规则或轻量模型调整各传感器权重。例如,在视觉质量较差时降低摄像头权重,在激光雷达点云稀疏时降低点云权重,在毫米波目标稳定时提高雷达贡献。该类方案更接近工程部署,具有一定的可解释性,能够处理部分显性传感器退化问题。但该类技术通常将环境类别直接映射到模态权重,容易形成“雾天提高雷达权重、夜间提高激光权重、强逆光降低视觉权重”的粗粒度策略。该策略虽然直观,但难以处理真实场景中更加复杂的局部退化、对象差异和任务差异。例如,同样处于雾天,高速远距目标检测更依赖毫米波速度和激光几何冗余,而近距语义识别仍可能需要视觉信息;同样处于雪地,视觉车道线可能失效,但视觉对交通灯和车辆类别仍可能有效。若仅按环境标签对整模态赋权,无法充分利用模态的剩余任务价值。
7、第四类方案主要面向自动驾驶系统的运行时安全保护和功能降级。该类方案在感知置信度低、定位失效或控制风险较高时,通过状态机、规则库或安全监控模块触发限速、禁止变道、请求接管或最小风险状态。该类方案通常位于感知输出之后和规划控制模块之前,属于后置安全管理或运行时监控机制。该类技术能够在系统风险已经显现时提供兜底保护,但并未从感知模型的多模态融合阶段提升鲁棒性。换言之,其通常依赖融合模型已经输出的置信度或故障标志,而没有参与融合权重的生成,也没有利用跨模态异构冗余信息来主动抑制错误特征。
8、综上,相关技术在多模态融合阶段仍缺乏一种能够利用摄像头、激光雷达、毫米波雷达以及车辆状态信息之间的异构冗余关系,为每个模态在不同任务、不同区域或不同对象上动态赋予融合权重,从而在极端环境和模态退化条件下获得更鲁棒、更可信的融合特征和感知输出的技术方案。
技术实现思路
1、本技术针对相关技术的上述缺陷,提出了一种用于自动驾驶多模态融合阶段的异构冗余自适应加权融合方法,其核心思想是在多模态感知神经网络的融合阶段引入异构冗余权重生成器,通过显式计算各模态的健康度、跨模态一致性和模态间冲突度,动态生成自适应融合权重,从而实现融合阶段从固定权重向异构冗余自适应权重的升级。
2、为实现上述目的,本技术采用了如下技术方案。
3、第一方面,本技术实施例提供了一种自动驾驶多模态融合阶段的异构冗余自适应加权融合方法,包括:
4、s1、获取至少两种模态的传感器数据,分别通过各自对应的模态编码器进行特征提取,得到各模态的编码特征;
5、s2、将各模态的编码特征对齐至统一的表征空间中,得到各模态的对齐特征;
6、s3、至少根据各模态编码特征或传感器原始数据中的至少一种,计算各模态在当前任务下的模态健康度;
7、s4、根据各模态的对齐特征在所述统一的表征空间中的分布、响应或预测输出,计算任意两个模态之间的跨模态一致性;
8、s5、根据所述模态健康度和所述跨模态一致性,构建各模态与其他模态之间的异构冗余关系强度;
9、s6、至少根据所述异构冗余关系强度,生成各模态在当前任务下的自适应融合权重;
10、s7、根据所述自适应融合权重,对各模态的对齐特征进行加权融合,生成融合特征;
11、s8、将所述融合特征输入感知任务头,得到自动驾驶感知结果。
12、进一步地,所述步骤s6中,还根据各模态之间的冲突度对所述自适应融合权重进行修正;
13、所述冲突度根据任意两个模态在同一空间位置、同一目标对象或同一任务输出上的不一致程度计算得到。
14、进一步地,所述步骤s4中的跨模态一致性至少包括以下一种或多种:目标存在一致性、几何轮廓一致性、运动速度一致性、占据状态一致性、语义类别一致性以及时序变化一致性;
15、所述跨模态一致性由各模态的中间特征响应或由各模态经轻量预测头产生的中间预测结果计算得到。
16、进一步地,该方法被配置为以可插拔模块的形式嵌入已有的自动驾驶感知模型中,所述已有的自动驾驶感知模型包括:基于bev空间的多模态融合检测模型、基于transformer的多模态端到端感知模型、基于占据栅格的语义占据预测模型或基于多任务学习的联合感知模型;
17、步骤s1至s8嵌入在所述已有的自动驾驶感知模型的模态编码器之后、感知任务头之前的融合阶段。
18、进一步地,所述自适应融合权重包括以下粒度级别中的至少一种:全局帧级权重、感知任务级权重、空间区域级权重、目标对象级权重或特征token级权重;
19、不同粒度级别的权重通过层级化权重生成策略联合确定。
20、进一步地,所述模态健康度还根据当前环境场景标签和/或道路场景标签进行调制;
21、所述环境场景标签包括雨、雪、雾、强逆光、夜间弱光或隧道明暗突变中的一种或多种;
22、所述道路场景标签包括高速公路、城市道路、乡间道路或停车场中的一种或多种。
23、进一步地,该方法在训练阶段使用的损失函数至少包括以下类型中的一种:主任务监督损失、跨模态一致性对比损失、冲突模态抑制损失、退化场景权重正则化损失以及融合可信度校准损失;
24、所述训练阶段采用退化数据增强策略,生成包含各模态独立退化或联合退化的训练样本。
25、进一步地,所述步骤s7中的加权融合包括以下融合方式中的至少一种:逐空间位置加权求和、逐特征通道加权、基于注意力机制的加权交互、基于门控残差连接的自适应融合或基于鲁棒核函数的加权平均;
26、所述融合特征输出时还同步输出各空间位置或各目标对象的融合可信度分值。
27、第二方面,本技术实施例提供了一种能够实现前述任一项所述的异构冗余自适应加权融合方法的异构冗余自适应加权融合内生安全装置,包括:
28、多模态数据输入接口,被配置为接收至少两种模态的传感器数据;
29、特征提取与空间对齐单元,被配置为对各模态的传感器数据分别进行特征编码并对齐至统一表征空间;
30、异构冗余权重生成单元,被配置为至少根据各模态的健康度、跨模态一致性以及模态间的冲突度,生成各模态的自适应融合权重;
31、加权融合单元,被配置为根据所述自适应融合权重对各模态的对齐特征进行融合,输出融合特征和融合可信度;
32、感知任务输出接口,被配置为将所述融合特征输入感知任务头得到感知结果,并将所述感知结果和所述融合可信度一同输出至下游的决策规划模块;
33、其中,所述异构冗余权重生成单元包括:健康度评估子单元、一致性计算子单元、冲突度评估子单元和权重生成子单元;所述健康度评估子单元的输出和所述一致性计算子单元的输出均输入至所述冲突度评估子单元;所述健康度评估子单元、一致性计算子单元和冲突度评估子单元的输出共同输入至所述权重生成子单元。
34、第三方面,本技术实施例提供了一种电子设备,包括:一个或多个处理器;
35、存储器,用于存储一个或多个程序;当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器能够实现前述任一项所述的异构冗余自适应加权融合方法中的步骤。
36、第四方面,本技术实施例提供了一种计算机可读介质,所述计算机可读介质上存储有计算机程序,所述计算机程序被处理器执行时能够实现前述任一项所述的异构冗余自适应加权融合方法中的步骤。
37、本技术公开了一种自动驾驶多模态融合阶段的异构冗余自适应加权融合方法,该方法获取至少两种模态的传感器数据并分别提取编码特征,将各模态编码特征对齐至统一表征空间后,计算各模态的模态健康度和任意两模态间的跨模态一致性,据此构建各模态与其他模态之间的异构冗余关系强度,并生成各模态的自适应融合权重,最后根据该权重对各模态对齐特征进行加权融合后输入感知任务头得到感知结果。本技术通过在感知模型融合阶段引入基于异构冗余信息的动态权重生成机制,使系统能够根据模态质量和跨模态冗余关系自适应调整融合策略,从而有效抑制了极端环境下退化模态对融合结果的污染,提高了自动驾驶多模态感知的鲁棒性和可信度。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com