数据中心机房多模态信息融合智能巡检与故障定位方法与流程

本发明属于图像分析，具体涉及一种数据中心机房多模态信息融合智能巡检与故障定位方法。

背景技术：

1、数据中心机房设备密集、长期连续运行，计划外停机往往源于指示灯颜色跳变、锁扣松动、线缆位移、设备表面形变等细微变化。这类变化的早期征兆十分微弱，人工巡检难以察觉，而一旦发展为显性故障，往往已造成不可逆的业务中断。

2、现有巡检方式对上述细微变化的检测存在两方面不足：其一，异常检测结果通常停留在二维图像差异或单模态阈值告警层面，无法将变化事件与具体设备实例及其空间位置精确对应，运维人员只能获知某个区域可能有异常，仍需现场逐台排查；其二，对指示灯颜色跳变、锁扣位移、线缆位移等细微变化缺乏有效的时空对齐和差异比对手段，难以在微征兆阶段可靠检出，更无法自动生成带精准空间坐标的检修工单。

3、因此，如何在机房巡检中实现设备实例级、带精准空间坐标的细微变化检测与故障定位，是本领域亟待解决的技术问题。

技术实现思路

1、鉴于现有技术中的上述缺陷或不足，提供一种数据中心机房多模态信息融合智能巡检与故障定位方法，应用于移动式巡检机器人，包括：

2、构建所述数据中心机房的三维语义地图，所述三维语义地图通过融合激光雷达slam数据、视觉惯性里程计数据和深度相机数据构建，并包含设备实例、所述设备实例的三维坐标及语义标签；

3、在巡检过程中采集多模态巡检数据，所述多模态巡检数据包括可见光图像、红外图像、超声数据和气体浓度数据中的至少两种；根据所述移动式巡检机器人的位姿，将所述多模态巡检数据投影至所述三维语义地图，并与所述三维语义地图中的对应设备实例绑定；

4、针对所述三维语义地图中的同一设备实例，根据该设备实例在所述三维语义地图中的三维坐标以及历史巡检和当前巡检时的观测位姿，将历史巡检图像和当前巡检图像对齐至该设备实例的同一观测区域，并对对齐后的图像进行像素级差异比对，以检测该设备实例的细微变化事件，所述细微变化事件包括指示灯颜色变化、锁扣位移、线缆位移和设备表面形变中的至少一种；

5、将所述细微变化事件与所述设备实例在所述三维语义地图中的三维坐标绑定，生成带三维坐标的故障定位结果，并根据所述细微变化事件调用设备知识图谱推断故障原因，生成带三维坐标和故障原因的检修工单。

6、根据本技术提供的技术方案，所述对对齐后的图像进行像素级差异比对，以检测该设备实例的细微变化事件，包括：

7、对对齐后的图像进行像素级差异比对，得到所述设备实例对应的二维变化区域；

8、获取当前巡检时所述移动式巡检机器人采集的深度数据，根据采集所述当前巡检图像时的相机参数和所述移动式巡检机器人的观测位姿，将所述二维变化区域反投影至所述三维语义地图的坐标系下，得到所述二维变化区域对应的三维空间位置；

9、根据所述三维语义地图中所述设备实例的三维坐标和预设尺寸，确定所述设备实例对应的空间容忍范围；

10、判断所述三维空间位置是否落在所述设备实例对应的空间容忍范围内，若落在，则判定所述二维变化区域为有效变化区域，并根据所述有效变化区域确定所述设备实例的细微变化事件；若未落在，则判定所述二维变化区域为无效变化区域并予以剔除。

11、根据本技术提供的技术方案，所述多模态巡检数据包括可见光图像，以及红外图像、超声数据和气体浓度数据中的至少一种；所述方法还包括：

12、根据所述设备实例的语义标签，确定所述设备实例的多模态信号关联权重，所述多模态信号关联权重表示所述设备实例的可见光变化事件与其余模态信号之间的物理关联程度；

13、在检测到所述细微变化事件之后，根据所述细微变化事件的事件类型和所述设备实例的语义标签，查询对应的多模态信号关联权重；

14、获取当前巡检中所述其余模态信号的特征数据，并根据所述多模态信号关联权重和所述其余模态信号的特征数据，计算所述细微变化事件的关联置信度；

15、根据所述关联置信度确定所述细微变化事件的告警等级并生成对应优先级的检修工单。

16、根据本技术提供的技术方案，所述细微变化事件为一个或多个；所述将所述细微变化事件与所述设备实例在所述三维语义地图中的三维坐标绑定之后，还包括：

17、当所述设备实例上检测到多个细微变化事件时，根据各细微变化事件绑定的三维坐标，计算各细微变化事件之间的三维空间距离；

18、判断是否存在至少两个细微变化事件之间的三维空间距离小于预设聚集阈值，所述预设聚集阈值根据所述设备实例的语义标签所对应的设备尺寸设定；

19、若存在，则将所述至少两个细微变化事件确定为空间聚集性变化事件组，并根据所述空间聚集性变化事件组生成高优先级检修工单；

20、若不存在，则将所述多个细微变化事件确定为空间分散性变化事件，并根据所述空间分散性变化事件生成常规优先级检修工单。

21、根据本技术提供的技术方案，所述历史巡检图像包括所述设备实例对应的局部基准图像；所述将所述细微变化事件与所述设备实例在所述三维语义地图中的三维坐标绑定之后，还包括：

22、记录所述细微变化事件在连续多个巡检周期中的出现次数；

23、当同一设备实例的三维坐标处绑定的同一类型的细微变化事件在连续巡检周期中的出现次数达到预设持久性阈值时，判定该设备实例的局部基准图像已过时；

24、根据所述当前巡检图像更新该设备实例对应的局部基准图像，并将更新后的局部基准图像作为下一巡检周期的历史巡检图像；

25、其中，在判定该设备实例的局部基准图像已过时之前，将同一设备实例同一类型的细微变化事件在连续巡检周期中的重复出现标记为持续变化事件，并合并为同一检修工单。

26、根据本技术提供的技术方案，所述三维语义地图中还包含所述设备实例的语义标签与变化类型集合之间的第一映射关系，所述变化类型集合包括所述语义标签所对应的设备结构上可能发生的至少一种变化类型；

27、所述对对齐后的图像进行像素级差异比对，包括：

28、根据所述设备实例的语义标签查询所述第一映射关系，确定所述设备实例对应的变化类型集合；

29、根据所述变化类型集合中各变化类型的物理特征，分别确定各变化类型对应的差异比对参数，所述差异比对参数包括颜色通道权重、边缘检测算子和纹理差异度量中的至少一种；

30、根据各变化类型对应的差异比对参数，分别对对齐后的图像进行像素级差异比对，得到与各变化类型分别对应的差异响应图；

31、根据各差异响应图确定所述设备实例的细微变化事件及其变化类型。

32、根据本技术提供的技术方案，所述根据各差异响应图确定所述设备实例的细微变化事件及其变化类型之后，还包括：

33、获取各差异响应图在连续多个巡检周期中的响应质量指标，所述响应质量指标包括信噪比和变化事件可重复性中的至少一种；

34、当某一变化类型对应的差异响应图的响应质量指标低于预设质量阈值时，按预设调整步长调整该变化类型对应的差异比对参数，直至该变化类型对应的差异响应图的响应质量指标不低于所述预设质量阈值，或调整次数达到预设最大调整次数；

35、将调整后的差异比对参数更新至所述第一映射关系中。

36、根据本技术提供的技术方案，所述三维语义地图中还包含所述设备实例的语义标签与光照敏感区域之间的第二映射关系；

37、所述对对齐后的图像进行像素级差异比对，包括：

38、当所述历史巡检图像与所述当前巡检图像之间的光照条件差异超出预设光照容忍范围时，根据所述设备实例的语义标签查询所述第二映射关系，将所述设备实例的图像区域划分为光照敏感区域和光照不敏感区域；

39、对所述光照不敏感区域直接进行像素级差异比对，对所述光照敏感区域进行光照校正后进行像素级差异比对；

40、当所述光照条件差异未超出所述预设光照容忍范围时，直接对对齐后的图像进行像素级差异比对。

41、根据本技术提供的技术方案，所述光照敏感区域通过以下方式确定：

42、获取所述设备实例在历史巡检中所述语义标签对应的图像区域在不同光照条件参数下的像素值变化统计量；

43、根据所述像素值变化统计量，确定所述语义标签对应的图像区域的光照敏感度；

44、当所述光照敏感度高于预设敏感度阈值时，将所述语义标签对应的图像区域确定为光照敏感区域，否则确定为光照不敏感区域；

45、将所述语义标签与所确定的光照敏感区域或光照不敏感区域的对应关系存入所述第二映射关系中。

46、根据本技术提供的技术方案，所述对所述光照敏感区域进行光照校正，包括：

47、获取所述光照敏感区域在历史巡检中的光照响应特征；

48、根据所述历史巡检图像对应的光照条件参数和所述当前巡检图像对应的光照条件参数，确定光照条件参数变化量；

49、根据所述光照响应特征和所述光照条件参数变化量，对所述当前巡检图像中的光照敏感区域的像素值进行校正。

50、与现有技术相比，本技术的有益效果在于：

51、一、通过构建包含设备实例、三维坐标及语义标签的三维语义地图，并将多模态巡检数据投影至三维语义地图与对应设备实例绑定，实现了多模态巡检数据与设备实例的精确空间关联，为细微变化检测和故障定位提供了统一的语义空间基准。

52、二、通过将历史巡检图像和当前巡检图像对齐至同一设备实例的同一观测区域进行像素级差异比对，能够检测指示灯颜色变化、锁扣位移、线缆位移和设备表面形变等人工难以察觉的细微变化事件，赋予巡检机器人超越人眼的环境细微变化感知能力。

53、三、通过将细微变化事件与设备实例在三维语义地图中的三维坐标绑定，生成带三维坐标的故障定位结果，实现了设备实例级、带精准空间坐标的立体化故障定位，使告警直接对应到具体设备的具体空间位置。

54、四、通过根据细微变化事件调用设备知识图谱推断故障原因，生成带三维坐标和故障原因的检修工单，使运维人员无需现场排查即可获知故障位置和可能原因，将数据中心的计划外停机隐患消除在微征兆阶段。