一种基于多模态特征融合的充电站异常检测方法与流程

本发明涉及充电设施运行监测，尤其涉及一种基于多模态特征融合的充电站异常检测方法。

背景技术：

1、随着新能源汽车保有量和公共充电基础设施数量的持续增长，充电站运行安全与设备异常监测受到广泛关注。现有充电站安全监控系统通常在场站内部署多路高清摄像机和边缘计算设备，通过深度学习模型对实时视频数据进行分析，识别火焰、烟雾、人员异常、充电枪未归位及环境卫生事件，并将告警信息和关键视频片段上传至中控平台；针对充电设备自身运行状态，现有技术还通过电压、电流、功率和温度等参数的固定阈值判断设备异常。但是，现有智能视频监控系统主要针对场站环境和可见安全事件进行检测，对于充电设备内部及局部部件的过热、接触异常、机械松动和线缆损伤等异常，仍存在以下问题：

2、充电设备异常通常同时表现为外观变化、局部温升、电气波动及声音振动变化，单一数据来源难以完整反映异常状态，容易造成早期过热、部件松动和接触异常漏检；可见光图像、红外热图像与设备运行数据的采样频率和空间位置不同，现有方法难以将不同模态信息准确对应至同一设备部件，容易产生特征错配；传统视觉特征提取方法在车辆遮挡、环境反光、光照变化或数据缺失时稳定性较差，异常特征容易被背景干扰掩盖；现有patch异常检测方法多依据单个时刻的局部特征与正常样本进行静态匹配，未充分考虑异常随时间连续发展的变化过程，难以区分瞬时运行波动与持续性设备异常；此外，单一检测结果缺少多模态一致性验证，容易将短时遮挡、环境噪声及正常负载变化识别为异常，影响报警结果的准确性和可靠性。

3、因此，如何提供一种基于多模态特征融合的充电站异常检测方法是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的在于提出一种基于多模态特征融合的充电站异常检测方法，本发明采用改进dinov2网络与patchcore算法相结合的方法，通过对可见光图像、红外热图像、电气运行数据及声音振动数据进行时空对齐，构建标准化多模态视觉样本；在改进dinov2网络中引入部件对齐机制和跨模态遮蔽重建，将不同模态特征准确对应至同一充电设备部件，并利用其余模态信息补全缺失或受干扰的patch特征；进一步通过时序patch轨迹匹配联合正常特征记忆库识别异常的连续变化，并采用多模态一致性验证剔除伪异常响应，实现充电设备异常的精准检测、定位和报警，具有检测准确率高、误报率低、抗干扰能力强及适用于在线监测的优点。

2、根据本发明实施例的一种基于多模态特征融合的充电站异常检测方法，包括如下步骤：

3、s1、采集充电站运行过程中的视觉感知数据和设备运行数据，生成充电站多模态原始数据集；

4、s2、对充电站多模态原始数据集进行数据预处理和时空对齐，确定充电设备对应的视觉感兴趣区域，生成多模态对齐数据；

5、s3、将多模态对齐数据中的设备运行数据转换为运行状态特征图，并将运行状态特征图与视觉感知数据进行关联，生成标准化多模态视觉样本集；

6、s4、将标准化多模态视觉样本集输入改进dinov2网络，改进dinov2网络中设置部件对齐机制和跨模态遮蔽重建；基于部件对齐机制对不同模态的patch特征进行部件对应排列，并通过跨模态遮蔽重建恢复被遮蔽的patch特征，生成多模态视觉特征；

7、s5、根据充电设备部件之间的对应关系对多模态视觉特征进行融合，生成充电设备多模态融合视觉特征；

8、s6、将充电设备多模态融合视觉特征输入patchcore算法，关联连续时刻中对应patch位置的patch特征，基于时序patch轨迹匹配获得轨迹匹配偏差，并将patch特征与正常特征记忆库进行特征匹配，生成候选异常检测结果；

9、s7、对候选异常检测结果进行多模态一致性验证，生成充电站最终异常检测结果和异常报警信息。

10、可选的，所述s1具体为：

11、获取充电站内各充电设备的充电设备标识，并建立采集位置与充电设备标识之间的对应关系；

12、采集充电站运行过程中的可见光图像数据和红外热图像数据，添加采集时刻、采集位置及充电设备标识，生成视觉感知数据；

13、采集充电站运行过程中的电气运行数据和声音振动数据，添加采集时刻、采集位置及充电设备标识，生成设备运行数据；

14、根据采集时刻和充电设备标识对视觉感知数据与设备运行数据进行关联，并按照充电设备标识和采集时刻建立数据索引，生成充电站多模态原始数据集。

15、可选的，所述s2具体为：

16、读取充电站多模态原始数据集中的视觉感知数据和设备运行数据，提取视觉感知数据和设备运行数据对应的采集时刻、采集位置及充电设备标识；

17、对视觉感知数据进行图像去噪、尺寸统一和畸变校正，对设备运行数据进行缺失值处理、异常值剔除和采样频率统一；

18、根据采集时刻对视觉感知数据和设备运行数据进行时间偏差修正及重采样，形成时间对应的数据序列；

19、根据采集位置和充电设备标识，将视觉感知数据和设备运行数据映射至对应的充电设备；

20、从视觉感知数据中提取可见光图像数据和红外热图像数据，提取可见光图像数据中的充电设备轮廓及红外热图像数据中的温度区域边界，并根据充电设备轮廓与温度区域边界进行空间配准；

21、根据充电设备轮廓和充电设备的部件位置划分视觉感兴趣区域，将完成时间对应、设备映射和空间配准的视觉感知数据与设备运行数据进行关联，生成多模态对齐数据。

22、可选的，所述s3具体为：

23、从多模态对齐数据中的设备运行数据中分别提取电气运行数据和声音振动数据，并按照预设时间窗口进行连续分段；

24、提取各时间窗口内电气运行数据的数值变化序列，对数值变化序列进行归一化处理，并按照采集时刻排列为二维矩阵，生成电气时序特征图；

25、对各时间窗口内的声音振动数据进行短时傅里叶变换，将获得的频谱幅值按照时间和频率排列，生成声音振动时频图；

26、将电气时序特征图和声音振动时频图进行尺寸统一，并按照采集时刻及充电设备标识进行通道组合，生成运行状态特征图；

27、根据采集时刻和充电设备标识将运行状态特征图与视觉感知数据进行关联，按照视觉感兴趣区域进行样本划分和标准化处理，生成标准化多模态视觉样本集。

28、可选的，所述改进dinov2网络包括多模态嵌入模块、部件对齐模块、遮蔽重建模块、特征编码模块和特征输出模块，所述部件对齐模块中嵌入部件对齐机制，所述遮蔽重建模块中设置跨模态遮蔽重建；

29、所述多模态嵌入模块将标准化多模态视觉样本集中的视觉感知数据和运行状态特征图分别划分为多个patch，将各patch转换为patch向量，通过线性投影层将不同模态的patch向量映射至相同特征维度，并叠加patch位置、采集时刻、充电设备标识和模态类别对应的编码，生成多模态patch特征；

30、所述部件对齐模块根据视觉感兴趣区域确定多模态patch特征对应的充电设备部件，将对应同一充电设备部件和采集时刻的多模态patch特征划分为部件特征组，并基于部件对齐机制对各部件特征组中的多模态patch特征进行排列，生成部件对齐patch序列；

31、所述遮蔽重建模块从部件对齐patch序列中选取目标patch特征，将目标patch特征替换为遮蔽标记，生成遮蔽patch序列；

32、所述特征编码模块将遮蔽patch序列输入多个依次连接的transformer编码层进行多层特征编码，生成遮蔽patch编码特征；

33、所述遮蔽重建模块基于跨模态遮蔽重建，提取遮蔽patch编码特征中与目标patch特征属于同一部件特征组的其余模态编码特征，将其余模态编码特征映射至目标patch特征所属的模态特征空间，生成目标patch重建特征，并以目标patch重建特征替换对应的遮蔽标记，生成多层patch编码特征；

34、所述特征输出模块按照视觉感兴趣区域和模态类别对多层patch编码特征进行恢复排列，保留多层patch编码特征与充电设备标识及采集时刻之间的对应关系，生成多模态视觉特征。

35、可选的，所述部件对齐机制具体为：

36、在部件对齐模块中，读取各多模态patch特征对应的patch位置、采集时刻、充电设备标识和模态类别，并获取视觉感兴趣区域的区域边界；

37、根据patch位置确定各多模态patch特征对应的空间覆盖范围，计算空间覆盖范围与各视觉感兴趣区域之间的交叠面积占空间覆盖范围面积的比例，生成区域重叠比例；

38、将区域重叠比例最大且达到预设区域匹配值的视觉感兴趣区域确定为多模态patch特征所属的视觉感兴趣区域，并将最大区域重叠比例未达到预设区域匹配值的多模态patch特征标记为背景patch特征；

39、按照充电设备标识、采集时刻和所属的视觉感兴趣区域对背景patch特征以外的多模态patch特征进行分组，将具有相同充电设备标识、处于同一采集时刻且属于同一视觉感兴趣区域的多模态patch特征划分为同一部件特征组；

40、按照模态类别建立模态排列顺序，并按照patch位置在视觉感兴趣区域中的空间顺序排列同一模态类别的多模态patch特征；当部件特征组中缺少对应模态类别的多模态patch特征时，在对应排列位置写入空缺标记；

41、将完成排列的部件特征组与充电设备标识、采集时刻及视觉感兴趣区域进行绑定，生成部件对齐索引，并按照部件对齐索引连接各多模态patch特征和空缺标记，生成部件对齐patch序列。

42、可选的，所述s5具体为：

43、读取多模态视觉特征及其对应的充电设备标识、采集时刻、视觉感兴趣区域和模态类别；

44、按照充电设备标识、采集时刻和视觉感兴趣区域，将属于同一充电设备部件的多模态视觉特征划分为部件视觉特征组；

45、对各部件视觉特征组中的多模态视觉特征进行特征维度统一，并按照模态类别和patch位置进行对应排列，生成部件多模态特征序列；

46、提取部件多模态特征序列中相同patch位置对应的有效模态特征，对所述有效模态特征进行逐维平均，生成共有特征，并将各有效模态特征与共有特征进行逐维作差，生成差异特征；

47、将共有特征与各差异特征进行拼接和线性映射，生成部件融合特征；

48、根据各视觉感兴趣区域在充电设备中的空间位置确定充电设备部件之间的对应关系，按照所述对应关系排列各部件融合特征，并对排列后的部件融合特征进行拼接，生成充电设备多模态融合视觉特征。

49、可选的，所述s6具体为：

50、获取正常充电过程对应的充电设备多模态融合视觉特征，按照充电设备标识、视觉感兴趣区域和patch位置划分正常patch特征集合，对各正常patch特征集合进行核心集采样，获得代表patch特征，并根据代表patch特征构建正常特征记忆库；

51、根据采集时刻将各正常patch特征集合中具有相同视觉感兴趣区域和patch位置的正常patch特征进行关联，计算相邻正常patch特征之间的特征变化量，并将正常patch特征与对应的特征变化量进行组合，生成正常时序patch轨迹集合；

52、读取待检测的充电设备多模态融合视觉特征，按照patch位置提取待检测patch特征，根据采集时刻将连续时刻中具有相同视觉感兴趣区域和patch位置的待检测patch特征进行关联，计算相邻待检测patch特征之间的特征变化量，并将待检测patch特征与对应的特征变化量进行组合，生成时序patch轨迹；

53、基于时序patch轨迹匹配，将时序patch轨迹与正常时序patch轨迹集合进行匹配，生成轨迹匹配偏差；

54、将各待检测patch特征与正常特征记忆库中的代表patch特征进行最近邻匹配，根据最小特征距离生成局部匹配偏差；

55、将轨迹匹配偏差和局部匹配偏差进行归一化并相加，确定各patch位置的异常响应值，按照patch位置对异常响应值进行恢复排列，生成像素级异常响应图；

56、对像素级异常响应图进行异常区域提取，根据异常区域所属的视觉感兴趣区域确定异常部件，并对异常区域覆盖的待检测patch特征进行特征聚合，生成异常区域特征；

57、获取根据已标注异常样本的异常区域特征建立的异常类型特征库，将异常区域特征与异常类型特征库进行特征匹配，将最小特征距离对应的异常类别确定为异常类型；

58、根据异常区域内异常响应值所在的预设区间确定异常等级，并将异常区域内的最大异常响应值归一化为识别置信度，将异常区域对应的充电设备标识、采集时刻、视觉感兴趣区域、异常部件、异常类型、异常等级和识别置信度进行组合，生成候选异常检测结果。

59、可选的，所述基于时序patch轨迹匹配具体为：

60、将时序patch轨迹中的各待检测patch特征与对应的特征变化量按照采集时刻组合为轨迹节点，并按照采集时刻的先后顺序连接各轨迹节点；

61、根据充电设备标识、视觉感兴趣区域和patch位置，从正常时序patch轨迹集合中筛选对应的正常时序patch轨迹，生成候选正常时序patch轨迹集合；

62、分别对时序patch轨迹与各候选正常时序patch轨迹进行时间边界统一，并按照采集时刻对缺失的轨迹节点进行插值补齐，得到各候选正常时序patch轨迹对应的时间对齐轨迹；

63、依次计算时序patch轨迹中各轨迹节点与各时间对齐轨迹中轨迹节点之间的patch特征差异和特征变化量差异，将patch特征差异和特征变化量差异归一化后逐项相加，生成轨迹匹配矩阵；

64、按照采集时刻递增方向在轨迹匹配矩阵中建立单调匹配路径，累计各单调匹配路径经过位置对应的差异值，将累计差异值最小的单调匹配路径确定为目标匹配路径；

65、提取目标匹配路径中各对应轨迹节点的差异值，计算相邻对应轨迹节点之间的差异值绝对变化量，分别计算差异值均值和差异值绝对变化量均值，将差异值均值与差异值绝对变化量均值相加，生成单条轨迹匹配结果；

66、分别获得时序patch轨迹与候选正常时序patch轨迹集合中各正常时序patch轨迹对应的单条轨迹匹配结果，将数值最小的单条轨迹匹配结果确定为轨迹匹配偏差。

67、可选的，所述s7具体为：

68、读取候选异常检测结果，并根据充电设备标识、采集时刻和视觉感兴趣区域，从多模态对齐数据中提取异常区域对应的视觉感知数据和设备运行数据；

69、从视觉感知数据中提取可见光图像数据和红外热图像数据，分别计算异常区域在连续采集时刻的图像变化量和温度变化量；从设备运行数据中提取电气运行数据和声音振动数据，分别计算对应采集时刻的电气变化量和声音振动变化量；

70、获取历史正常充电过程对应的视觉感知数据和设备运行数据，根据具有相同充电设备标识和视觉感兴趣区域的数据中图像变化量、温度变化量、电气变化量和声音振动变化量的分布，分别确定对应的正常变化区间；

71、获取预设异常验证表，所述预设异常验证表记录不同异常类型与目标数据类别及支持数量阈值之间的对应关系；根据候选异常检测结果中的异常类型查询预设异常验证表，确定参与多模态一致性验证的目标数据类别和支持数量阈值；

72、将目标数据类别对应的变化量与对应的正常变化区间进行比较，当变化量超出对应的正常变化区间时，将对应的异常支持标记设置为一，当变化量处于对应的正常变化区间内时，将对应的异常支持标记设置为零；

73、统计目标数据类别中数值为一的异常支持标记数量，当异常支持标记数量达到支持数量阈值时，保留候选异常检测结果；当异常支持标记数量未达到支持数量阈值时，将候选异常检测结果标记为伪异常；

74、按照异常部件和采集时刻对保留的候选异常检测结果进行合并，生成充电站最终异常检测结果，并根据异常部件、异常类型、异常等级和识别置信度生成异常报警信息。

75、本发明的有益效果是：

76、本发明通过改进dinov2网络与patchcore算法的串联集成，针对充电站异常检测中多源数据采样频率不同、空间位置不一致及单一模态信息不完整的问题，采用统一时基校准、设备标识映射和视觉感兴趣区域划分，实现可见光图像、红外热图像、电气运行数据与声音振动数据的时空对齐，并将设备运行数据转换为运行状态特征图，构建标准化多模态视觉样本，在特征提取环节引入部件对齐机制，根据patch空间覆盖范围与视觉感兴趣区域的区域重叠比例，将不同模态特征准确对应至同一充电设备部件，减少跨模态位置错配和背景区域干扰，同时通过跨模态遮蔽重建利用同一部件的其余模态编码特征恢复缺失或受干扰的目标patch特征，提高复杂光照、局部遮挡及数据缺失条件下的特征完整性，在异常检测环节构建正常特征记忆库，并引入时序patch轨迹匹配，联合轨迹匹配偏差与局部匹配偏差生成异常响应图，识别异常随时间连续发展的变化过程，最后根据异常类型选择对应数据类别进行多模态一致性验证，剔除瞬时负载波动、环境反光和噪声干扰产生的伪异常，实现充电设备异常部件、异常类型、异常等级及识别置信度的精准输出。