基于双时序探针的实时视频目标检测软错误监控方法
本发明属于深度神经网络安全与实时感知系统可靠性保护,具体涉及基于双时序探针的实时视频目标检测软错误监控方法。本发明方法面向自动驾驶、无人机、移动机器人、智能交通和工业视觉检测等实时视频感知场景,能够在不重复执行完整目标检测网络的情况下,对硬件软错误导致的异常检测结果进行识别、报警和隔离。
背景技术:
1、随着深度神经网络在计算机视觉领域的快速发展,实时视频目标检测已广泛应用于自动驾驶、无人机巡检、机器人导航、工业缺陷检测和智慧交通等安全关键场景。与普通离线图像识别任务不同,实时视频目标检测是一种连续流式任务。系统需要对摄像头采集的每一帧图像进行目标识别与定位,并在固定时间周期内将检测结果传递给下游规划、控制或报警模块。若某一帧检测结果输出过晚,即使其数值上是正确的,也可能由于场景状态已经发生变化而失去实际安全意义。
2、在实际部署中,实时目标检测器通常运行于嵌入式gpu、车载计算平台、asic、npu或其他边缘智能计算设备上。这类硬件平台在复杂工作环境中可能受到高能粒子辐射、电压波动、温度变化、电磁干扰或瞬时噪声的影响,从而在模型推理过程中引入硬件软错误。软错误通常表现为位级扰动,例如中间激活值、临时寄存器、片上缓存、检测头特征或模型参数中的随机位翻转。该类故障往往不会导致程序崩溃或系统显式报错,而是可能静默传播至最终检测结果,形成静默数据损坏。
3、在目标检测任务中,静默数据损坏可能表现为漏检、误检、类别错误或边界框定位偏移。例如,在自动驾驶场景中,若前方行人或车辆被漏检,可能导致制动模块无法及时响应;若系统误检出不存在的障碍物,也可能造成不必要的急刹车;若车辆、行人、交通标志等目标类别被错误识别,或者边界框位置发生明显偏移,也可能影响后续轨迹预测与行为决策。因此,实时视频目标检测系统中的软错误防护具有重要意义。
4、现有软错误防护方法主要包括完全冗余推理方法和轻量级一致性检测方法。完全冗余推理方法如双模冗余和三模冗余,通过重复执行完整目标检测网络并对多次检测结果进行比较或投票,能够提高故障覆盖率。但是,现代目标检测网络计算量较大,重复执行完整网络会显著增加平均延迟和尾部延迟,容易导致系统违反帧级截止期限,难以满足实时视频检测任务的需求。
5、轻量级一致性检测方法通常利用相邻帧之间的检测结果差异进行异常判断,例如比较目标边界框位置变化、交并比变化或类别变化。这类方法计算开销较低,但主要适合检测单帧突发异常。对于持续参数故障引发的低幅度慢速漂移,其相邻帧之间的变化可能很小,容易低于普通一致性阈值,进而逃逸检测。此外,如果监控器无条件地将当前帧检测结果写入历史状态,则受损结果可能污染历史基线,导致后续帧的异常判断逐渐失效。
6、因此,需要一种新的实时视频目标检测软错误防护方法,使其能够在不重复执行完整目标检测器的情况下,兼顾实时性、检测有效性和状态维护安全性;既能够检测突发空间跳跃异常,又能够检测低幅度持续漂移异常,并能够在发现异常时及时阻止受损检测结果进入下游模块和历史状态。
技术实现思路
1、为了弥补现有技术的不足,本发明旨在提供一种基于双时序探针的实时视频目标检测软错误监控方法。本发明采用离线硬化与在线监控相结合的方式:离线阶段,通过故障引导知识蒸馏降低目标检测器对位级扰动的敏感性;在线阶段,每帧仅执行一次硬化后的目标检测器,并复用检测器前向传播过程中产生的特征,通过时间一致性异常检测器识别残留软错误;当检测到异常时,触发故障静默报警,扣留当前帧检测结果,并禁止将其写入历史状态。
2、为实现上述目的,本发明可采用以下具体技术方案:
3、所述的基于双时序探针的实时视频目标检测软错误监控方法,包括以下步骤:
4、步骤1、利用故障引导知识蒸馏离线硬化目标检测器;
5、步骤2、部署硬化后的目标检测器,并于在线阶段复用共享特征构建目标级表示;
6、步骤3、利用可学习运动探针检测突发空间跳跃异常;
7、步骤4、利用冻结重构时间探针检测低幅度持续漂移异常;
8、步骤5、融合异常分数并进行故障静默仲裁。
9、进一步地,所述步骤1的内容如下:
10、步骤1.1、读取待部署的实时视频目标检测器m;
11、步骤1.2、构建无故障教师分支和故障扰动学生分支,教师分支用于产生正常检测输出和正常中间特征;学生分支在训练过程中注入位级扰动,用于模拟硬件软错误条件下的检测器推理过程;
12、步骤1.3、对学生分支进行训练,使训练后的学生分支存在位级扰动时仍能接近教师分支的正常输出;训练目标包括原始检测损失、输出对齐损失和特征统计对齐损失,总损失函数可表示为:,其中, 表示目标检测器原有检测损失,用于保持正常检测能力;表示输出对齐损失,用于约束学生分支的类别、置信度和边界框输出接近教师分支;表示特征统计对齐损失,用于约束学生分支中间特征的均值和方差接近教师分支; 和 为权重系数;
13、步骤1.4、在学生分支中引入平滑参数空间约束,对于模型中第层的原始权重,通过连续可导函数得到参与扰动前向传播的有效权重,用于限制异常大权重对软错误扰动的放大作用;完成故障引导知识蒸馏训练后,将训练收敛后的学生分支参数作为最终部署参数,并将该训练后的学生分支确定为硬化后的目标检测器。
14、进一步地,所述步骤2的内容如下:
15、步骤2.1、将硬化后的目标检测器 部署至实时视频感知平台,对于输入视频流中的当前帧 ,仅执行一次检测器前向传播,得到当前帧检测结果 和共享特征 ;
16、步骤2.2、对当前帧检测结果进行置信度过滤和非极大值抑制,去除低置信度目标和重复检测框;
17、步骤2.3、将当前帧检测结果与历史目标状态进行关联,得到当前帧的活跃目标集合;
18、步骤2.4、当候选目标数量超过时,按照目标置信度、目标类别优先级、目标最近出现时间或其组合规则进行筛选;
19、步骤2.5、为每个活跃目标维护固定长度的边界框历史和嵌入历史,边界框历史用于描述目标的运动变化,嵌入历史用于描述目标的特征变化。
20、进一步地,所述步骤3的内容如下:
21、步骤3.1、对于当前帧中的活跃目标 ,提取其低维运动状态 ;
22、步骤3.2、将活跃目标 的历史边界框序列输入可学习运动探针lmp,可学习运动探针lmp根据活跃目标 过去一段时间内的正常运动轨迹,预测当前帧目标应当出现的正常边界框;
23、步骤3.3、将可学习运动探针lmp预测得到的正常边界框 与当前观测边界框 进行比较,计算运动异常分数;
24、步骤3.4、对于新出现的未匹配目标或突然消失的目标,根据其置信度、类别风险和历史连续性生成相应异常证据,并参与后续分数融合。
25、进一步地,所述步骤4的内容如下:
26、步骤4.1、离线阶段,使用干净视频序列训练重构时间探针,使其能够根据目标过去的正常嵌入历史预测当前帧的正常目标嵌入,训练完成后固定该重构时间探针参数,得到冻结重构时间探针rtp;
27、步骤4.2、对于当前帧中的活跃目标 ,读取其过去已提交的嵌入历史序列,并输入冻结重构时间探针rtp,预测当前帧正常嵌入;
28、步骤4.3、将冻结重构时间探针rtp预测得到的正常嵌入 与当前观测嵌入 进行比较,计算特征异常分数;
29、步骤4.4、为每个活跃目标i维护累积残差统计量,根据归一化后的特征异常分数、上一时刻累积残差状态和正常残差基线更新所述累积残差统计量,并结合所述累积残差统计量得到漂移异常分数。
30、进一步地,所述步骤5的内容如下:
31、步骤5.1、对步骤3中可学习运动探针得到的运动异常分数和步骤4中冻结重构时间探针得到的漂移异常分数进行归一化处理;
32、步骤5.2、将归一化后的运动异常分数和归一化后的漂移异常分数加权融合,得到目标级异常分数 ;
33、步骤5.3、对当前帧中所有被监控活跃目标的目标级异常分数进行聚合,得到当前帧的帧级异常分数 ;
34、步骤5.4、在部署前,使用干净校准视频统计正常情况下的帧级异常分数分布,并根据预设误报预算确定报警阈值 τ;
35、步骤5.5、在线运行时,将当前帧异常分数 与阈值 τ 进行比较,若,则触发故障静默报警;若 ,则认为当前帧通过监控。
36、进一步地,当触发故障静默报警时,当前帧检测结果不释放给下游规划、控制或报警模块,并且当前帧检测框、目标嵌入和关联状态均不写入历史缓冲区;当未触发故障静默报警时,当前帧检测结果被释放给下游模块,并将当前帧的目标边界框、目标嵌入和关联状态提交至历史缓冲区,用于后续帧监控。
37、与现有技术相比,本发明有以下优点:
38、本方法无需重复执行完整目标检测器,从而避免双模和三模冗余带来的巨大计算开销,更适合实时视频目标检测任务;通过设置活跃目标数量上限 和固定长度历史窗口,使在线监控的计算量和存储量有明确上界,能够满足边缘平台的实时性要求;同时利用运动一致性和特征时间一致性,既能检测单帧突发跳跃,又能发现连续低幅度漂移,覆盖软错误表现形式更全面;采用故障静默仲裁机制,在发现异常时扣留当前帧检测结果并禁止写入历史状态,有效避免受损数据污染时间基线;报警阈值可根据干净校准视频和误报预算进行设置,实现可靠性与误报率的灵活权衡;此外,本发明不依赖特定目标检测网络结构,可适用于多种实时目标检测模型和安全关键视频感知平台,具有较强的适用性和扩展性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com