具身智能多模态融合的自主防火巡检方法及系统

摘要: 本发明属于智能巡检,具体为具身智能多模态融合的自主防火巡检方法及系统。背景技术:1、本部分的陈述仅仅提到了与本发明相关的背景技术,并不必然构成现有技术。2、在工...
具身智能多模态融合的自主防火巡检方法及系统

本发明属于智能巡检,具体为具身智能多模态融合的自主防火巡检方法及系统。

背景技术:

1、本部分的陈述仅仅提到了与本发明相关的背景技术,并不必然构成现有技术。

2、在工业设施、数据中心及大型商业综合体的防火巡检领域,基于移动机器人的自主巡检系统已逐步应用。现有系统通常集成红外热成像、气体传感器及视觉模块等感知设备,由机器人沿规划路径对各监测点位进行周期性数据采集,并将采集的多维特征数据上传至服务器,通过与预设固定阈值比对或单维度时序分析来判断是否存在火灾隐患。

3、然而,现有技术的隐患识别机制通常将多模态感知数据不加区分地混同处理。在实际工业场景中,不同模态的物理特征具有截然不同的时间尺度与统计属性,设备表面温度、环境温湿度及气体背景浓度属于连续缓变特征,其自然波动范围随负载周期、昼夜更替及季节变化而动态漂移;而局部放电超声波脉冲、绝缘材料热解释放的特征气体峰值则属于离散突变事件,其出现本身即构成明确的异常标识,与背景值的缓慢变化无关。

4、现有方法或采用单一阈值对所有特征做统一判定,或将所有特征向量直接拼接后输入深度学习模型进行端到端训练,均未在数学建模层面对这两类物理属性不同的特征进行区分处理。这种混同处理导致连续特征的自然波动容易被误判为异常(如换季温升被误报为过载),而离散突变事件的特征因被淹没在连续特征的统计分布中而难以被及时捕获(如微量热解气味被背景噪声平均化)。

技术实现思路

1、本发明提供具身智能多模态融合的自主防火巡检方法及系统,解决现有技术因将连续缓变特征与离散突变事件混同处理而导致的误报率高、早期隐患难以被及时捕获的技术问题,实现多模态感知数据在数学建模层面的分层解耦与差异化判定,从而提升火灾隐患识别的准确性与时效性。

2、为了实现上述目的,本发明采用如下技术方案:

3、本发明的第一个方面公开了具身智能多模态融合的自主防火巡检方法,包括以下步骤:

4、获取多模态感知数据,多模态感知数据至少包括设备表面温度、环境温湿度、气体背景浓度、超声波信号及特征气体浓度;

5、将多模态感知数据解耦为连续缓变特征集与离散突变事件集;其中,连续缓变特征集包含设备表面温度、环境温湿度及气体背景浓度中的至少一种,离散突变事件集包含局部放电超声波脉冲、绝缘材料热解特征气体浓度峰值中的至少一种;

6、基于时序重构模型,计算连续缓变特征集中的向量x与理论分布(,)之间的马氏距离,并根据马氏距离与预设统计学阈值的大小关系,确定设备正常运行中的自然波动与渐进式量变异常;

7、当离散突变事件集中同时检测到局部放电超声波与绝缘材料热解气味时,触发“一票否决机制”,无视“自然波动”与“渐进式量变异常”的判定结果,输出极早期绝缘失效隐患预警;

8、若离散突变事件集中未检测到局部放电超声波与绝缘材料热解气味,并且马氏距离的平方大于预设统计学阈值时,将“渐进式量变异常”升级为“物理过载隐患”并输出;

9、若离散突变事件集中未检测到局部放电超声波,并且马氏距离的平方小于或等于预设统计学阈值,但检测到绝缘材料热解气味突变事件时,判定为外部环境烟气干扰,为“自然波动”添加“环境干扰”标识,并下发环绕复查或重新采样指令。

10、进一步的,一票否决机制中,同时检测到的判定时序定义为:以完成一次完整采样周期并输出有效气味指纹图谱的时刻为基准时刻,若在基准时刻之前的预设时间窗内,检测到至少一次局部放电超声波脉冲事件,则判定为同时检测到局部放电超声波与绝缘材料热解气味。

11、进一步的,根据马氏距离与预设统计学阈值的大小关系,确定设备正常运行中的自然波动与渐进式量变异常,具体为:

12、当马氏距离的平方大于预设统计学阈值时,判定连续缓变特征集对应的被测设备存在渐进式量变异常;

13、当马氏距离的平方小于或等于预设统计学阈值时,判定连续缓变特征集对应的被测设备处于自然波动范围;

14、其中,预设统计学阈值为基于特征维度自由度确定的卡方分布临界值。

15、进一步的,将离散突变事件集中的各特征分别与预设物理阈值进行独立比对,输出有无突变事件触发的开关量判定结果,具体为:

16、当局部放电超声波脉冲的幅值超过预设超声波幅值阈值时,输出超声波突变事件触发信号;

17、当绝缘材料热解特征气体浓度峰值超过预设气体浓度阈值时,输出气味突变事件触发信号;预设气体浓度阈值基于环境温湿度采集值及预设的温湿度补偿系数进行修正。

18、进一步的,将多模态感知数据解耦为连续缓变特征集与离散突变事件集,具体为:

19、对多传感数据流进行分路预处理;

20、针对采样频率低于预设低频阈值且呈连续渐变属性的数据,采用滑动平均滤波算法提取趋势项,归入连续缓变特征集并以固定周期向服务器发送;

21、针对采样频率高于预设高频阈值的数据,采用边缘或峰值检测算法实时提取波峰,当信号的一阶导数变化率或瞬时幅值达到预设触发条件时,将其作为具有瞬间触发特性的开关量信号归入离散突变事件集,并发出事件中断信号。

22、进一步的,超声波信号的采集通道设置持续时间去抖滤波器,将超声突变事件的有效触发条件设定为:在采样周期内检测到的超阈值脉冲累积计数达到预设频次阈值。

23、进一步的,时序重构模型的处理过程,具体为:

24、将巡检机器人的采样绝对时间戳归一化映射至[0,1]区间,经正余弦时间编码得到高维位置向量,并将高维位置向量与连续缓变特征向量拼接后输入双输出头transformer模型;

25、双输出头transformer模型通过均值输出头预测理论正常特征均值向量μ,并通过方差输出头预测协方差矩阵σ;

26、transformer注意力机制在计算任意两个采样点之间的注意力依赖权重时,以该两个采样点对应的真实物理时间跨度δt为依据,真实物理时间跨度越大则注意力依赖权重越低,真实物理时间跨度越小则注意力依赖权重越高,从而在因开门失败、节点跳过或避障绕行导致的非均匀离散采样序列上直接进行时序重构,无需对采样空洞进行线性插值填补。

27、进一步的,还包括模型自我更新,具体为:

28、利用滑动窗口机制,将经判定为正常状态且在成功开门工况下采集的新数据加入历史特征队列,同时移除历史特征队列中采集时间最早的数据,以更新历史特征队列;

29、在算力空闲期,基于更新后的历史特征队列触发时序重构模型的增量训练,以自适应设备老化或季节更替引起的基线漂移。

30、本发明的第二个方面公开了具身智能多模态融合的自主防火巡检系统,包括:

31、至少一个四足机器人单元,用于在目标区域内执行巡检任务;

32、四足机器人单元搭载多自由度作业机械臂和多模态感知云台,多自由度作业机械臂用于辅助开启设备柜门以消除外部壳体对感知信号的物理屏蔽;四足机器人单元设有边缘计算单元,用于将采集的多模态感知数据在边缘侧解耦为连续缓变特征集与离散突变事件集;

33、中央决策服务器,与四足机器人单元进行数据通信,用于接收解耦后的数据并输出多级防火巡检判别结果。

34、进一步的,四足机器人单元到达目标节点后,控制多自由度作业机械臂辅助开启被测设备的柜门和建筑内外的门,通过视觉定位模块识别被测设备上的视觉基准标签,驱动多模态感知云台对准被测设备内部,获取无屏蔽状态下的多模态感知数据。

35、与现有技术相比,上述一个或多个技术方案存在以下有益效果:

36、1、本方案在数学建模层面将两类物理属性不同的特征解耦,连续缓变特征利用统计学方法计算马氏距离以区分自然波动与渐进式量变异常,离散突变特征绕过统计模型直接以物理阈值判定以保证突变事件出现瞬间即被捕获。在此基础上,按证据的物理确定性分配判决权限,超声与气味同时出现时触发一票否决机制,无视连续缓变特征的判定结果(自然波动与渐进式量变异常)直接输出极早期绝缘失效隐患预警;离散突变未触发时,才由马氏距离判定生效,将渐进式量变异常升级为物理过载隐患;仅有气味突变而马氏距离正常时,为自然波动添加环境干扰标识并驱动机器人复查。由此,将被测设备内部的极早期绝缘失效隐患与外部环境干扰区分开,实现异构数据的精准分流与差异化判定,减少误报与漏报,提升火灾隐患识别的准确性与时效性。

37、2. 考虑到局部放电超声波为毫秒级瞬态脉冲,而绝缘热解气体释放扩散为分钟级渐进过程,两类数据的时间尺度存在数量级方面的差异,若直接以同一时刻采样值判断“同时检测到”,则超声脉冲可能早已消失而气味尚未扩散到传感器,或气味已被检出而超声事件发生在更早时刻,导致一票否决机制漏触发。因此,本方案不以同一时刻为判据,而是以相对更慢的气味采样完成时刻为基准,通过向前追溯预设时间窗,在窗内出现过超声脉冲事件再判定为同时检测到,从而在逻辑判定层面实现异构时间尺度信号的时序关联,保证一票否决机制判定的可靠性。

38、3. 不同模态的信号同样在时间尺度方面存在差异,若将全部数据统一上传至服务器端做离线处理,高频突变极值在降采样或平均滤波过程中极易被抹除,微量绝缘热解气味与放电超声脉冲会在传输与预处理环节丢失,导致离散突变路径失效。因此,本方案在边缘端,即机器人端完成分路预处理,对连续渐变数据提取趋势项后以固定周期发送,对高频瞬态数据实时提取波峰并以事件中断方式即时上报,使突变信息在出现瞬间即被捕获,避免其被连续特征的常规处理流程所平滑削弱。

39、4. 由于柜门闭锁、机械臂开门失败及避障绕行等客观原因,会造成采样序列空洞。而传统时序预测模型依赖线性插值填补空洞,线性插值违背工业设备热阻、热容及环境对流的非线性物理传热规律,会在空洞两端做简单直线刚性拉伸,引入虚假数据并污染基线。因此,本方案不以等间隔位置序号编码,而以采样绝对时间戳经正余弦编码映射为高维位置向量,使transformer注意力机制以真实物理时间跨度为依据分配依赖权重,时间跨度越大权重越低,时间跨度越小权重越高,从而在空洞区间内无需人为填补任何虚假采样点即可直接重构出契合设备内在物理规律的理论正常特征走势,避免虚假数据污染,提升非均匀采样下的模型稳定性。