一种低能见度条件下的自动驾驶感知异常检测方法及系统
本发明属于自动驾驶,尤其涉及一种低能见度条件下的自动驾驶感知异常检测方法及系统。
背景技术:
1、自动驾驶感知系统通常同时执行当前帧感知任务和未来预测任务。当前帧感知任务包括目标检测、语义分割、bev占据栅格生成、可行驶区域分割等;未来预测任务包括目标轨迹预测、未来占据栅格预测、碰撞风险场预测等。为降低计算量,现有系统通常采用共享编码器加多个解码器的结构。
2、训练时,多个任务的损失函数通常按固定权重相加:
3、
4、式中,和为人工设定或预设的固定权重。
5、这种固定权重方案在低能见度或恶劣天气下存在明显问题。雨天、夜间、雾天、强光、隧道出入口等场景中,相机图像质量下降,激光雷达点云受雨雾干扰,毫米波雷达噪声增大,当前帧感知结果本身变得不稳定。此时,模型本应更加重视当前帧重构、当前感知结果和多传感器一致性校验。然而,由于未来预测任务在复杂场景下不确定性急剧上升,预测损失可能显著增大,固定权重会使预测任务主导梯度更新,导致当前帧重构任务被压制。结果是:模型对当前感知退化的反应变弱,异常检测分数不能及时反映真实风险,车辆无法及时降级或请求接管。
6、目前国内外与本发明相关的现有技术主要包括以下几类,现分别说明其技术方案,并指出与本发明之间的本质差异。
7、(1)基于多任务不确定性的失败检测方法;文献see yourself in others:attending multiple tasks for own failure detection(ieee icra 2022)提出一种基于注意力机制的失败检测方法,利用多个视觉感知任务(如语义分割、深度估计、法线估计)之间的相关性,通过评估图像不同区域的多个任务的个体预测来推断任务失败。其评估公式基于注意力网络,该网络由多任务不确定性估计及其对应的预测误差监督。该方案的缺陷在于:其关注的是图像内多个视觉任务之间的相关性,权重由注意力网络学习得到,不涉及环境参数输入;仅输出任务失败检测结果,不涉及车辆控制闭环。导致该缺陷的原因在于:失败检测仅面向单帧图像内部的任务一致性,无法利用连续环境-车辆状态参数提前感知低能见度对感知系统的威胁,也无法将检测结果转化为车辆控制策略。本方案不采用该路线,而是由环境编码器根据连续环境-车辆状态参数生成任务权重,并将异常分数接入车辆控制接口。
8、(2)基于场景标签的损失权重方法;现有专利cn122574559a公开了一种自动驾驶模型的训练及其决策方法、装置、车辆及介质,该专利获取训练数据,包括环境感知数据、车辆状态数据、对应的场景类型标签以及驾驶决策数据;将场景类型标签输入至权重解析网络模型,动态生成包含多个权重值的损失权重矩阵;基于损失权重矩阵对多个损失项进行加权融合计算总损失值,并对权重解析网络模型和自动驾驶模型进行联合训练。该方案的缺陷在于:使用离散场景类型标签生成权重,权重切换是离散的;权重仅用于训练阶段的损失加权,推理阶段不生成权重。导致该缺陷的原因在于:离散标签无法反映能见度、雨刷状态、光照强度、传感器健康度等连续环境量的渐变过程,在隧道出入口、雨势逐渐增大等过渡场景中容易发生权重跳变;同时,训练与推理割裂,训练阶段学到的权重无法用于推理阶段的异常判断。本方案将离散场景标签替换为连续环境-车辆状态参数,并使同一组同时用于训练联合损失和推理异常分数融合。
9、通过上述分析,现有技术存在的问题及缺陷为:
10、(1)固定损失权重导致当前帧重构任务被预测任务压制。在雨天、夜间、雾天、强光、隧道出入口等场景中,相机图像质量下降、激光雷达点云受雨雾干扰、毫米波雷达噪声增大,当前帧感知结果本身变得不稳定。此时模型本应更加重视当前帧重构、当前感知结果和多传感器一致性校验。然而,未来预测任务在复杂场景下不确定性急剧上升,预测损失显著增大,固定权重会使预测任务主导梯度更新,导致当前帧重构任务被压制,模型对当前感知退化的反应变弱。
11、(2)环境变化时模型无法自动调整重构任务与预测任务的重要性。现有方法通常采用人工设定或预设的固定权重,无法根据连续环境-车辆状态参数动态调整多任务损失权重。
12、(3)训练阶段的任务权重无法复用于推理阶段的异常判断。现有基于多任务损失权重的方法通常在训练阶段调整权重,但不将权重用于推理阶段的异常分数融合,导致训练与推理割裂。
13、(4)感知异常分数无法及时触发车辆降级、限速或接管策略。现有异常检测方法大多只输出告警,没有与车辆控制接口形成闭环,无法根据异常等级执行具体的车辆控制操作。
14、(5)异常检测需要额外训练独立模型,增加计算开销和标注成本。现有基于额外异常检测模型的方法需要单独训练异常检测网络,模型数量多、计算开销大,且无法复用主感知模型内部的特征和不确定性。
15、(6)单一任务不确定性无法全面反映当前帧感知可靠性和未来场景推演可靠性。现有基于单任务不确定性的方法只估计某一个感知任务的不确定性,例如目标检测不确定性或轨迹预测不确定性,无法全面反映当前帧理解与未来场景推演两个方面的综合可靠性。
16、本发明能够解决上述问题,提供一种在低能见度条件下,由环境编码器根据连续环境-车辆状态参数实时生成重构任务权重与预测任务权重,并将同一组权重同时用于训练阶段的多任务联合损失和推理阶段的异常分数融合,进而触发车辆控制策略的方法及系统。
技术实现思路
1、为克服相关技术中存在的问题,本发明公开实施例提供了一种低能见度条件下的自动驾驶感知异常检测方法及系统,所述技术方案如下:
2、为实现上述目的,本发明采用如下技术方案:一种低能见度条件下的自动驾驶感知异常检测方法,包括以下步骤:
3、s1、获取自动驾驶多传感器数据、车辆状态信息和连续环境-车辆状态参数;
4、s2、对所述多传感器数据进行时间同步和空间标定,对所述连续环境-车辆状态参数进行归一化处理,并对时间序列数据进行分割,得到时序输入片段;对所述多传感器数据和所述连续环境-车辆状态参数进行预处理,得到时序输入片段;
5、s3、通过环境编码器根据归一化后的连续环境-车辆状态参数生成重构任务权重和预测任务权重,且;
6、s4、通过共享编码器从预处理后的多传感器数据中提取共享bev特征,将所述共享bev特征分别输入重构解码器和预测解码器,所述重构解码器输出当前帧感知结果并得到重构损失,所述预测解码器输出未来预测结果并得到预测损失;
7、s5、训练阶段,基于所述重构损失、所述预测损失、所述重构任务权重和所述预测任务权重构建联合损失,并基于所述联合损失更新所述环境编码器、所述共享编码器和双解码器的参数;
8、s6、推理阶段,复用训练阶段同一环境编码器和同一权重生成机制,根据当前连续环境-车辆状态参数实时生成重构任务权重和预测任务权重;不确定性由重构任务权重和预测任务权重计算而来,计算重构不确定性、预测不确定性和多传感器一致性不确定性;
9、s7、融合所述重构不确定性、所述预测不确定性和所述多传感器一致性不确定性,得到异常分数,并对所述异常分数进行归一化和时间平滑;
10、s8、根据平滑后的异常分数触发车辆控制策略。
11、本发明的另一目的在于提供一种低能见度条件下的自动驾驶感知异常检测系统,该系统用于实现所述的低能见度条件下的自动驾驶感知异常检测方法,该系统包括:
12、数据采集模块,用于获取自动驾驶多传感器数据、车辆状态信息和连续环境-车辆状态参数;
13、数据预处理模块,用于对所述多传感器数据进行时间同步和空间标定,对所述连续环境-车辆状态参数进行归一化处理,并对时间序列数据进行分割,得到时序输入片段;
14、环境编码器,用于根据归一化后的连续环境-车辆状态参数生成重构任务权重和预测任务权重,且;
15、共享编码器,用于从所述多传感器数据中提取共享bev特征;
16、重构解码器,用于根据所述共享bev特征输出当前帧感知结果并得到重构损失;
17、预测解码器,用于根据所述共享bev特征输出未来预测结果并得到预测损失;
18、训练模块,用于基于所述重构损失、所述预测损失、所述重构任务权重和所述预测任务权重构建联合损失,并基于所述联合损失更新所述环境编码器、所述共享编码器和双解码器的参数;
19、推理模块,用于在推理阶段复用训练阶段同一环境编码器和同一权重生成机制,根据当前连续环境-车辆状态参数实时生成重构任务权重和预测任务权重,并计算重构不确定性、预测不确定性和多传感器一致性不确定性;
20、异常分数融合模块,用于融合所述重构不确定性、所述预测不确定性和所述多传感器一致性不确定性,得到异常分数,并对所述异常分数进行归一化和时间平滑;
21、控制接口模块,用于根据平滑后的异常分数触发车辆控制策略。
22、结合上述的所有技术方案,本发明所具备的有益效果为:
23、1.在低能见度或恶劣天气下,自动提高当前帧重构任务权重,避免预测任务压制重构任务。通过环境编码器根据连续环境-车辆状态参数动态生成,使模型在感知退化时更加重视当前帧重构和多传感器一致性校验。在kitti、cityscapes和woodscape三个自动驾驶数据集上进行对比实验,证明动态调整任务权重能够显著改善多任务网络的训练效果,避免某一任务因损失尺度差异而主导优化过程。
24、2.训练阶段和推理阶段复用同一组环境自适应权重,避免训练与推理割裂。现有方法通常只在训练阶段调整权重,而本发明将同一组权重用于推理阶段的异常分数融合,使异常判断与环境自适应机制保持一致。采用证据预测头输出置信度和不确定性,训练阶段通过软温度加权和sigma感知梯度冲突解决器实现稳定联合优化。然而,该框架的权重同样仅用于训练阶段的损失聚合,推理阶段不用于异常检测。
25、3.异常分数同时反映当前感知退化和未来预测不确定性。通过融合和,异常分数能够全面反映当前帧理解与未来场景推演两个方面的综合可靠性。实验数据显示,cam-lidar融合模型平均性能优于纯cam模型27.0%,白天、夜间和雨天条件下的差异分别为27.0%、32.3%和26.9%。纯cam模型在夜间检测人行横道的平均性能仅为7.6%,不足以支撑自动驾驶安全需求。
26、4.可直接接入车辆控制接口,实现告警、降级、限速和接管。本发明给出了异常分数与车辆控制策略的具体映射关系,形成感知与控制的闭环,提高了自动驾驶安全性。提出的一种自适应驾驶行为预测框架,其roc曲线auc达到0.923,灵敏度91.2%,特异度85.7%,f1分数89.2%,整体准确率88.3%。控制决策激活率为:路线变更23.7%,最大加速度31.3%,自适应模式35.7%。该框架证明了基于感知信息的控制决策框架具有高可靠性和实时性。
27、5.不依赖额外异常检测模型,复用双解码器输出和环境编码器权重。减少了模型数量和计算开销,降低了标注成本。
28、6.使用连续环境-车辆状态参数而非离散场景标签,能够更精细地反映环境退化程度。相比“晴天/雨天/雾天”等离散标签,连续参数可以平滑地调整任务权重。实验数据显示,感知系统在白天、夜间和雨天条件下的性能差异分别为27.0%、32.3%和26.9%,表明环境条件的连续变化(光照强度、能见度、降雨量等)对感知性能有显著且连续的影响。
29、7.通过权重平滑约束和多传感器一致性不确定性,提高异常检测的鲁棒性和可解释性。时间平滑和滞回处理避免了控制策略频繁切换。
30、8.与现有基于多任务不确定性的失败检测方法相比,本发明关注的是时间维度上当前帧重构与未来场景推演两个认知维度的可靠性区分,权重由环境编码器根据连续低能见度环境参数实时生成。see yourself in others方法关注的是图像内多个视觉任务之间的相关性,仅输出任务失败检测结果,不涉及环境参数输入。gradnorm方法在ct/mri图像插值任务上的ssim从第1个epoch的0.1113快速上升至第4个epoch的0.8972,第8个epoch达到0.9449,表明梯度范数驱动的权重调整能够加速早期收敛,但其权重来源是任务梯度范数而非环境参数。本发明的环境编码器直接以连续环境-车辆状态参数为输入,能够在环境恶化早期即调整任务权重,而非等待梯度冲突出现后被动修正。
31、9.与现有基于场景标签的损失权重方法相比,本发明使用连续环境-车辆状态参数(能见度值、雨刷状态、光照强度、传感器健康度等),权重随环境参数连续平滑变化,且同一组权重同时用于训练阶段损失加权和推理阶段异常分数融合。实验数据表明,在浓雾条件下(能见度50米),自适应权重融合方案的检测平均精度(ap)保持在82%以上,而最先进的rgb-lidar融合方法性能退化至58.4% ap,自适应加权带来23.7%的ap提升。该数据证明基于连续环境-车辆状态参数的自适应权重能够在感知退化条件下显著维持检测性能,验证了本发明使用连续环境-车辆状态参数而非离散标签的技术优越性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com