基于视听交互引导提示的多源融合小目标故障检测方法及系统

本发明涉及目标故障检测领域，尤其涉及一种基于视听交互引导提示的多源融合小目标故障检测方法及系统。

背景技术：

1、随着现代工业智能化的飞速发展，国家关键基础设施的安全运行显得至关重要；在航空航天、能源电力、轨道交通等领域，对设施或设备（本发明统称为研究目标）早期微小故障目标的检测需求日益增长，故障检测能力直接关系生产安全与经济效益。然而，常规的单一模态故障检测方法已难以应对复杂环境下小目标故障检测的挑战，目前小目标故障检测方法主要存在以下三种方案：（1）基于单一视觉模态的小目标故障检测方法；利用图像感知与深度特征学习架构，提取研究目标（设施或设备）运行状态的视觉特征信息并编码为向量形式，通常采用多尺度特征金字塔或注意力机制提升对微小故障目标的捕捉灵敏度；该方法在低光照、强反光、重遮挡或粉尘干扰等环境下，视觉特征极易丢失或被背景淹没，导致漏检率显著上升；且仅能检测表面可见故障，无法感知设备内部视觉不可见的故障，故障感知维度受限；此外，过度依赖视觉纹理特征，对亚像素级裂纹等特征响应较弱，目标故障定位精度不足。（2）基于单一声纹模态的小目标故障检测方法；利用声学传感与信号处理技术，将研究目标运行声音转化为频域特征，并依托异常检测算法判定潜在故障。该方法在强噪声干扰环境中，微弱的故障声纹特征容易被环境噪声掩盖，导致误报率升高；声纹信号缺乏视觉空间表征能力，无法对故障源进行精准可视化定位；同时，由于缺乏视觉空间结构的有效提示，难以区分多声源混叠的情况，严重影响对隐蔽性早期故障的判别准确性。（3）基于异构多模态被动融合的小目标故障检测方法；利用深度学习架构分别提取视觉图像特征与其他物理模态特征，并通过特征级拼接或静态权重分配等手段进行融合。然而，现有融合策略多属于对称式被动对齐，未能在感知前端建立因果引导链路而导致视觉感知系统在极端遮挡或重度背景噪声下无法主动聚焦高风险故障区域，微小目标特征极易被淹没或漏检；且忽略了视觉模态独具的空间结构化分布特征，未能为声纹分析提供由形至音的结构化提示，在密集声源干扰下难以实现精准的物理对位；同时，模态间交互处于离散状态，无法根据实时工况的感知置信度波动进行跨模态参数的闭环调整，在单一模态失效时整体鲁棒性大幅下降，难以满足工业场景对微小故障检测的极致精度要求。

2、综上所述，如何利用声纹特征的早期感知与方位灵敏度构建跨模态自适应引导机制，驱动视觉系统精准锁定潜在风险区域；如何利用视觉模态的空间结构感知优势为声学分析提供结构化物理边界约束，实现强噪声下声学热点与物理位置的精准对焦；以及如何构建兼顾深度交互与闭环反馈的轻量化协同架构，动态调节跨模态融合权重，实现视觉与声纹定位的深度耦合与误差校正，是当前小目标故障检测领域亟待解决的技术问题。

技术实现思路

1、本发明的目的在于提供一种基于视听交互引导提示的多源融合小目标故障检测方法，声纹引导特征提取模块基于声纹引导视觉感知的特征提取与跨模态数据增强机制驱动视觉感知系统在亚像素级别对高风险区域进行自适应聚焦，视觉提示前景聚焦与密度感知模块识别视觉异常特征并定位感兴趣区域并通过核密度估计算法生成视觉密度感知图，提升了故障检测识别的灵敏度与定位精度。

2、本发明的目的通过下述技术方案实现：

3、一种基于视听交互引导提示的多源融合小目标故障检测方法，方法包括：

4、s1、构建包含声纹引导特征提取模块、视觉提示前景聚焦与密度感知模块、协同对焦融合模块在内的目标故障检测模型，利用声纹采集设备与视觉图像采集设备分别获取研究目标的声纹图谱数据、视觉图像数据输入目标故障检测模型进行时空对齐处理，所述声纹引导特征提取模块利用声纹图谱数据识别声纹异常特征并引导视觉图像采集设备自适应聚焦声纹异常特征所对应的位置区域；

5、s2、视觉提示前景聚焦与密度感知模块利用视觉图像数据识别视觉异常特征并给声纹采集设备视觉提示聚焦视觉异常特征所对应的位置区域；

6、s3、协同对焦融合模块获得声纹引导下的视觉图像数据并利用注意力机制对声纹引导特征与视觉图像数据对应的视觉特征进行融合处理并获得融合特征a；协同对焦融合模块获得视觉提示下的声纹图谱数据并利用注意力机制对视觉特征与声纹图谱数据对应的声纹特征进行融合处理并获得融合特征b；

7、s4、目标故障检测模型内部存储有多模态声纹视觉样本数据集以及对应的故障标签数据，目标故障检测模型利用多模态声纹视觉样本数据集提取特征并进行多模态联合故障识别学习训练，训练后的目标故障检测模型利用融合特征a、b得到研究目标对应的故障检测结果。

8、为了更好地实现本发明，在方法s2中，所述声纹引导特征提取模块包括声纹特征分析与异常感知模块和自适应聚焦引导模块，所述声纹特征分析与异常感知模块内部包括自监督深度学习网络模型，自监督深度学习网络模型内部存储有声纹样本数据集或声纹视觉样本数据集以及对应的故障标签数据，自监督深度学习网络模型利用声纹样本数据集或声纹视觉样本数据集进行故障识别学习训练，训练后的自监督深度学习网络模型利用声纹图谱数据识别声纹异常特征并定位声源位置；所述自适应聚焦引导模块利用声纹异常特征所对应的声源位置引导视觉图像采集设备自适应聚焦进行视觉图像数据采集获取得到声纹引导下的视觉图像数据。

9、优选地，所述自适应聚焦引导模块内部具有跨模态坐标映射算子和跨模态交互算子，跨模态坐标映射算子利用声纹异常特征所对应的声源位置构建声学异常空间热点并精准映射对齐至视觉图像数据的视觉成像平面内；引导视觉图像采集设备对声学异常空间热点区域进行自适应聚焦获取声纹引导下的视觉图像数据，所述跨模态交互算子利用声学异常空间热点在视觉成像平面内生成动态注意权重，动态注意权重作为视觉图像采集设备在视觉成像平面内动态的引导空间注意力，视觉图像采集设备利用动态的引导空间注意力进行研究目标的自适应聚焦。

10、优选地，所述声纹采集设备的采集单元采用螺旋形麦克风阵列，所述视觉图像采集设备为高精密工业摄像设备，视觉图像采集设备与声纹采集设备采用同轴匹配部署，所述目标故障检测模型构建有视觉图像采集设备与声纹采集设备的关联映射坐标系，所述目标故障检测模型利用关联映射坐标系进行声纹图谱数据、视觉图像数据的空间对齐处理，声纹图谱数据与视觉图像数据按照时间序列排列并进行时间对齐处理。

11、优选地，所述视觉图像采集设备自适应聚焦声纹异常特征所对应位置区域并获取声纹引导下的视觉图像数据，所述目标故障检测模型利用跨模态交互算子以声纹引导下视觉图像数据所对应的视觉特征为查询向量、同步对齐的声学异常特征为键向量、值向量获得跨模态注意力权重并得到融合特征a。

12、优选地，所述视觉提示前景聚焦与密度感知模块包括自适应形变卷积特征提取模型，自适应形变卷积特征提取模型内部构建存储有视觉样本数据集或声纹视觉样本数据集以及对应的故障标签数据，自适应形变卷积特征提取模型利用视觉样本数据集或声纹视觉样本数据集进行故障识别学习训练，训练后的自适应形变卷积特征提取模型利用视觉图像数据识别包含裂纹、孔洞、异常变形在内的视觉异常特征并定位研究目标中所处的位置作为感兴趣位置区域，得到视觉密度感知图；所述视觉提示前景聚焦与密度感知模块利用视觉密度感知图对声纹采集设备视觉提示并自适应聚焦获得视觉提示下的声纹图谱数据。

13、优选地，所述自适应形变卷积特征提取模型包括视觉特征提取骨干网络和多尺度特征金字塔网络，视觉特征提取骨干网络对视觉图像数据进行不同方向的纹理及语义特征提取，多尺度特征金字塔网络对特征利用不同方向的纹理及语义特征进行深度级联与融合处理，自适应形变卷积特征提取模型识别并定位出视觉异常位置作为感兴趣位置区域，利用密度感知算法对研究目标空间分布进行建模并通过核密度估计生成视觉异常位置所对应的视觉空间拓扑，通过双线性插值算法平滑处理得到视觉密度感知图。

14、优选地，所述协同对焦融合模块构建如下视听联合置信度表达式如下：，其中为最终聚合的视听联合置信度，、分别为视觉特征、声纹特征的故障置信度，、分别表示视觉与声学的实时自适应权重因子，；实时自适应权重因子、利用包含两层隐含层的多层感知机mlp获得；所述故障检测结果包括研究目标的故障位置点以及故障位置点的视听联合置信度，故障位置点的视听联合置信度通过视听联合置信度表达式在故障位置点计算获得。

15、优选地，所述目标故障检测模型内部还包括故障时序预测网络lstm，目标故障检测模型获得故障位置点对应的故障检测结果时序数据输入故障时序预测网络lstm，故障时序预测网络lstm输出未来一段时间的故障检测结果预测时序数据；故障时序预测网络lstm内部构建有故障检测评估体系，风险预测评估结果利用故障检测结果预测时序数据基于故障检测评估体系得到风险预测评估结果并输出。

16、一种基于视听交互引导提示的多源融合小目标故障检测系统，包括目标故障检测模型、声纹采集设备和视觉图像采集设备，视觉图像采集设备与声纹采集设备采用同轴匹配部署，目标故障检测模型包括声纹引导特征提取模块、视觉提示前景聚焦与密度感知模块、协同对焦融合模块，利用声纹采集设备与视觉图像采集设备分别获取研究目标的声纹图谱数据、视觉图像数据输入目标故障检测模型进行时空对齐处理，声纹引导特征提取模块利用声纹图谱数据识别声纹异常特征并引导视觉图像采集设备自适应聚焦声纹异常特征所对应的位置区域；所述视觉提示前景聚焦与密度感知模块利用视觉图像数据识别视觉异常特征并给声纹采集设备视觉提示聚焦视觉异常特征所对应的位置区域；协同对焦融合模块获得声纹引导下的视觉图像数据并利用注意力机制对声纹引导特征与视觉图像数据对应的视觉特征进行融合处理并获得融合特征a；协同对焦融合模块获得视觉提示下的声纹图谱数据并利用注意力机制对视觉特征与声纹图谱数据对应的声纹特征进行融合处理并获得融合特征b；目标故障检测模型内部存储有多模态声纹视觉样本数据集以及对应的故障标签数据，目标故障检测模型利用多模态声纹视觉样本数据集提取特征并进行多模态联合故障识别学习训练，训练后的目标故障检测模型利用融合特征a、b得到研究目标对应的故障检测结果。

17、本发明较现有技术相比，具有以下优点及有益效果：

18、（1）本发明目标故障检测模型包括声纹引导特征提取模块、视觉提示前景聚焦与密度感知模块、协同对焦融合模块，声纹引导特征提取模块基于声纹引导视觉感知的特征提取与跨模态数据增强机制并通过声纹特征分析与异常感知模块提取声纹异常特征并生成空间引导向量，利用跨模态坐标映射算子将声学异常空间热点精准映射至视觉成像平面并生成动态注意权重图，驱动视觉感知系统在亚像素级别对高风险区域进行自适应聚焦，充分发挥了声纹特征在非视域环境下的灵敏度与穿透性优势，实现了从非视域预警到视域内精细捕获的跨模态特征传递，有效克服了视觉模态在恶劣光照、遮挡或背景干扰下小目标特征微弱、易漏检的问题；视觉提示前景聚焦与密度感知模块构建有视觉密度感知与结构化提示的声纹定位增强策略，利用自适应形变卷积特征提取模型和多尺度特征金字塔网络识别视觉异常特征并定位感兴趣区域并通过核密度估计算法生成视觉密度感知图，实现了隐蔽性早期故障精准识别，提升了故障检测识别的灵敏度与定位精度。

19、（2）本发明视觉提示前景聚焦与密度感知模块通过核密度估计算法生成视觉密度感知图并将其作为结构化先验注入声学处理分支，借助视觉密度提示的物理空间锚点，对螺旋形麦克风阵列的波束赋形进行定向重构与物理边界约束，将波束主瓣宽度精准限制在4°～6°范围内，空间指向定位精度控制在1°以内，实现了模糊声学响应与视觉物理位置的高度契合，显著提升了微小故障源的定位置信度和识别准确性；本发明采用莱洛三角形防风罩与132路多臂螺旋嵌套阵元设计的高频声纹采集阵列并配合同轴部署的高精密工业摄像设备，以及跨模态坐标映射算子实现了声学事件与视觉空间的高精度时空对齐与亚像素级映射，有效抑制高频混叠效应并保证极低旁瓣水平，能够对微小故障位置进行稳定、高分辨率的联合感知。

20、（3）本发明协同对焦融合模块通过视听联合置信度表达式以及基于多层感知机mlp的动态自适应权重因子实现视觉特征与声纹特征的实时深度融合，能够自动感知模态置信度波动并在线调整视听融合权重，实现跨模态闭环反馈与误差校正；同时，结合多层次语义蒸馏与结构化模型剪枝的轻量化映射机制将高维异构特征压缩至统一空间，跨模态推理延迟稳定低于50ms，能够有效满足检测精度、实时性与稳健性等综合需求。

21、（4）本发明目标故障检测模型引入故障时序预测网络lstm输出未来一段时间的故障预测时序并基于故障检测评估体系生成风险预测评估结果，通过实测状态特征与历史预测值的残差校验及动态安全阈值比对，实现了从即时检测到预测性维护的全面升级，为设备全生命周期的智能运维提供了可靠决策依据。