一种基于巡检机器人的多模态缺失自适应异常行为检测系统、方法及机器人

本发明涉及智能巡检与安全监测，尤其涉及一种基于巡检机器人的多模态缺失自适应异常行为检测系统、方法及巡检机器人。

背景技术：

1、随着人工智能技术、移动机器人技术及智能感知技术的不断发展，巡检机器人已广泛应用于电力巡检、工业园区、轨道交通、仓储物流及公共安全等复杂场景，用于替代人工完成环境巡检、设备监测及异常行为识别等任务。相比传统人工巡检方式，巡检机器人具有全天候运行、自主导航、实时监测及危险区域适应能力强等优点，能够有效提高巡检效率与安全性。

2、在实际巡检过程中，巡检机器人通常需要利用视觉摄像头、音频传感器及机器人状态传感器等多种感知设备，对巡检区域中的人员行为、设备运行状态及环境信息进行实时采集与分析。其中，异常行为检测作为智能巡检系统的重要组成部分，对于公共安全预警、设备风险识别及异常事件处置具有重要意义。

3、现有多模态异常行为检测系统普遍缺乏针对不同模态缺失场景的差异化补偿能力。当局部视觉信息缺失、辅助模态异常或主视觉模态失效时，系统通常无法动态切换检测策略，也无法利用多视角视觉信息及辅助模态进行协同补偿，导致异常行为检测鲁棒性较差。

技术实现思路

1、本发明提供了一种基于巡检机器人的多模态缺失自适应异常行为检测系统、方法及巡检机器人，解决了现有多模态异常行为检测系统导致异常行为检测鲁棒性较差的技术问题。

2、本发明第一方面提供的一种基于巡检机器人的多模态缺失自适应异常行为检测系统，所述系统包括依次通信连接的多模态数据采集模块、数据处理模块、模态状态检测模块、缺失模态自适应处理模块和多模态异常行为检测模块；

3、所述多模态数据采集模块，用于采集多模态数据；

4、所述数据处理模块，用于对所述多模态数据进行预处理，得到预处理后的多模态特征；

5、所述模态状态检测模块，用于对所述预处理后的多模态特征开展多模态数据质量评估，生成模态状态信息；

6、所述缺失模态自适应处理模块，用于根据所述模态状态信息判定当前模态缺失类型，并基于所述当前模态缺失类型对所述预处理后的多模态特征选择性完成特征补偿或无效模态剔除，得到适配当前感知状态的多模态特征；

7、所述多模态异常行为检测模块，用于依据所述模态状态信息动态配置多模态特征融合权重，并结合所述适配当前感知状态的多模态特征计算行为置信分值，将所述行为置信分值与预置异常判定阈值比对后，输出异常行为检测结果。

8、可选地，所述多模态数据包括视觉数据、音频数据和机器人状态数据；所述多模态数据采集模块包括视觉采集单元、音频采集单元和机器人状态采集单元；

9、所述视觉采集单元、音频采集单元、机器人状态采集单元均与所述数据处理模块连接；

10、所述视觉采集单元用于采集所述视觉数据并传输至所述数据处理模块；

11、所述音频采集单元用于采集音频数据并传输至所述数据处理模块；

12、所述机器人状态采集单元用于采集所述机器人状态数据并传输至所述数据处理模块。

13、可选地，所述数据处理模块，具体用于：

14、对所述多模态数据进行数据清洗，得到数据清洗后的多模态数据；

15、对所述数据清洗后的多模态数据进行时间对齐，得到时间对齐后的多模态数据；

16、对所述时间对齐后的多模态数据进行空间对齐，得到空间对齐后的多模态数据；

17、对所述空间对齐后的多模态数据进行特征提取，得到预处理后的多模态特征。

18、可选地，所述预处理后的多模态特征包括视觉特征、音频特征和人体姿态特征；所述当前模态缺失类型包括局部视觉模态缺失、音频辅助模态缺失、人体姿态辅助模态缺失以及模态正常；所述缺失模态自适应处理模块，具体用于：

19、读取所述模态状态信息中的模态质量评分，所述模态质量评分包括视觉模态质量评分、音频模态质量评分与人体姿态模态质量评分；所述视觉模态质量评分包括视觉整体质量评分与视觉分区域质量评分；

20、将所述视觉整体质量评分与预置主模态失效阈值进行比对，若所述视觉整体质量评分大于或等于所述预置主模态失效阈值，则将所述视觉分区域质量评分与预置局部缺失阈值逐一比对；若存在至少一个视觉分区域质量评分小于所述预置局部缺失阈值，则判定为局部视觉模态缺失，利用所述预处理后的多模态特征中的多视角视觉特征，对该多模态特征内对应缺失区域的视觉特征进行互补，并融合音频特征进行辅助补偿，得到适配当前感知状态的多模态特征；

21、若所述视觉分区域质量评分均大于或等于所述预置局部缺失阈值，则将所述音频模态质量评分与预置辅助模态有效阈值进行比对；若所述音频模态质量评分小于所述预置辅助模态有效阈值，则判定为音频辅助模态缺失，对所述预处理后的多模态特征剔除音频特征，保留视觉特征与人体姿态特征，得到适配当前感知状态的多模态特征；

22、若所述音频模态质量评分大于或等于所述预置辅助模态有效阈值，则继续将所述人体姿态模态质量评分与预置姿态有效阈值进行比对；若所述人体姿态模态质量评分小于所述预置姿态有效阈值，则判定为人体姿态辅助模态缺失，对所述预处理后的多模态特征剔除人体姿态特征，保留视觉特征与音频特征，得到适配当前感知状态的多模态特征；

23、若所述人体姿态模态质量评分大于或等于所述预置姿态有效阈值，则判定为模态正常，将所述预处理后的多模态特征作为适配当前感知状态的多模态特征。

24、可选地，所述当前模态缺失类型还包括主视觉完全缺失；所述缺失模态自适应处理模块，还用于：

25、若所述视觉整体质量评分小于所述预置主模态失效阈值，则判定为主视觉完全缺失，停止异常行为检测并输出设备异常告警信息。

26、可选地，所述系统还包括巡检路径规划与动态调整模块；

27、所述巡检路径规划与动态调整模块分别与所述模态状态检测模块和所述缺失模态自适应处理模块通信连接；

28、所述巡检路径规划与动态调整模块，用于当接收到设备异常告警信息时，基于所述模态状态信息中的模态质量评分计算模态质量代价，并结合预置巡检环境地图中存储的路径距离参数、环境通行复杂度参数，代入预置改进a*算法的代价函数完成路径寻优，生成优化后的巡检路径与补充采集控制指令，将所述补充采集控制指令下发至巡检机器人的运动执行端，驱动所述巡检机器人执行补充数据采集。

29、本发明第二方面提供的一种基于巡检机器人的多模态缺失自适应异常行为检测方法，包括：

30、采集多模态数据，并对所述多模态数据进行预处理，得到预处理后的多模态特征；

31、基于所述预处理后的多模态特征开展各模态质量评估，生成模态状态信息；

32、根据所述模态状态信息判定当前模态缺失类型，并基于所述当前模态缺失类型对所述预处理后的多模态特征选择性执行特征补偿或无效模态剔除，得到适配当前感知状态的多模态特征；

33、依据所述模态状态信息动态配置多模态特征融合权重，并结合所述适配当前感知状态的多模态特征计算行为置信分值，将所述行为置信分值与预置异常判定阈值比对后，输出异常行为检测结果。

34、本发明第三方面提供的一种巡检机器人，包括依次连接的移动底盘、机身主体、机器人头部；

35、所述机器人头部搭载视觉采集单元、麦克风阵列和声光报警器，所述视觉采集单元包括rgb摄像头、红外摄像头与深度摄像头；

36、所述移动底盘的底部设置有全向轮，所述移动底盘内置有激光雷达与电机状态检测组件；

37、所述机身主体的侧面设置有通信模块，所述机身主体内置有控制计算单元；

38、所述控制计算单元分别与所述视觉采集单元、所述麦克风阵列、所述声光报警器和所述移动底盘电性连接；

39、所述控制计算单元用于接收多模态数据并进行预处理，将预处理后的多模态特征通过所述通信模块上传至外设的边缘智能处理与决策中心；

40、外设的边缘智能处理与决策中心部署有如上述所述的基于巡检机器人的多模态缺失自适应异常行为检测系统。

41、本发明第四方面提供的一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述所述的基于巡检机器人的多模态缺失自适应异常行为检测方法的步骤。

42、本发明第五方面提供的一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现如上述所述的基于巡检机器人的多模态缺失自适应异常行为检测方法。

43、从以上技术方案可以看出，本发明具有以下优点：

44、本发明的上述技术方案第一方面提供了一种基于巡检机器人的多模态缺失自适应异常行为检测系统，系统包括依次通信连接的多模态数据采集模块、数据处理模块、模态状态检测模块、缺失模态自适应处理模块和多模态异常行为检测模块；多模态数据采集模块，用于采集多模态数据；数据处理模块，用于对多模态数据进行预处理，得到预处理后的多模态特征；模态状态检测模块，用于对预处理后的多模态特征开展多模态数据质量评估，生成模态状态信息；缺失模态自适应处理模块，用于根据模态状态信息判定当前模态缺失类型，并基于当前模态缺失类型对预处理后的多模态特征选择性完成特征补偿或无效模态剔除，得到适配当前感知状态的多模态特征；多模态异常行为检测模块，用于依据模态状态信息动态配置多模态特征融合权重，并结合适配当前感知状态的多模态特征计算行为置信分值，将行为置信分值与预置异常判定阈值比对后，输出异常行为检测结果；基于上述方案，通过模态状态检测模块实时感知各模态的数据质量状态，再由缺失模态自适应处理模块针对局部视觉缺失、辅助模态失效等不同场景执行差异化的特征补偿或无效模态剔除，配合动态权重适配的多模态融合检测机制，能够在遮挡、噪声干扰、传感器异常等导致模态质量波动或部分缺失的复杂场景下，持续输出稳定可靠的异常行为检测结果，显著提升了异常行为检测鲁棒性。

45、本发明的上述技术方案第二方面提供了一种基于巡检机器人的多模态缺失自适应异常行为检测方法，采集多模态数据，并对多模态数据进行预处理，得到预处理后的多模态特征；基于预处理后的多模态特征开展各模态质量评估，生成模态状态信息；根据模态状态信息判定当前模态缺失类型，并基于当前模态缺失类型对预处理后的多模态特征选择性执行特征补偿或无效模态剔除，得到适配当前感知状态的多模态特征；依据模态状态信息动态配置多模态特征融合权重，并结合适配当前感知状态的多模态特征计算行为置信分值，将行为置信分值与预置异常判定阈值比对后，输出异常行为检测结果；基于上述方案，通过在检测流程中嵌入模态质量评估与自适应补偿环节，能够根据实时感知状态动态调整特征组合与融合策略，无需依赖固定完整的多模态输入即可完成异常行为检测，从而提升了异常行为检测鲁棒性。

46、本发明的上述技术方案第三方面提供了一种巡检机器人，包括依次连接的移动底盘、机身主体、机器人头部；机器人头部搭载视觉采集单元、麦克风阵列和声光报警器，视觉采集单元包括rgb摄像头、红外摄像头与深度摄像头；移动底盘的底部设置有全向轮，移动底盘内置有激光雷达与电机状态检测组件；机身主体的侧面设置有通信模块，机身主体内置有控制计算单元；控制计算单元分别与视觉采集单元、麦克风阵列、声光报警器和移动底盘电性连接；控制计算单元搭载有多模态缺失自适应异常行为检测系统；基于上述方案，巡检机器人通过多类感知硬件完成多模态数据采集，依托控制计算单元搭载的多模态缺失自适应异常行为检测系统，在自主巡检过程中实时评估各模态数据质量并自适应调整检测策略，能够在光照变化、局部遮挡、信号干扰等复杂巡检环境下稳定完成异常行为检测，从而提升了异常行为检测鲁棒性。