基于空间与语义增强视觉-语言学习的高铁异常检测方法

本发明涉及高铁异常检测，具体涉及一种基于空间与语义增强视觉-语言学习的高铁异常检测方法。

背景技术：

1、列车长期处于高速运转状态，加之车底及走行部面临着极其复杂的内部工况与外部自然环境，其关键零部件极易在多重因素的耦合作用下发生损耗甚至故障。在高速运行的严苛条件下，任何微小的部件异常都可能演变为重大的行车安全事故，对乘客的生命财产安全造成巨大威胁。因此，实现对高铁关键部位异常的及时、精准检测，对于筑牢铁路安全防线、保障旅客平安出行具有至关重要的现实意义。

2、高铁运行中常见的异常主要包括漏油、异物侵入及腻子破损等。这类缺陷检测任务极具挑战性：一方面，异常样本稀缺且类内差异显著，目标形态不规则、尺度跨度大；另一方面，复杂背景与异常区域之间存在严重的分布不均衡，进一步增加了识别难度。早期检测主要依赖人工目视排查，该模式存在固有局限：不仅人力成本高昂、作业效率低下，且检测人员易受主观疲劳与客观视野限制的影响，难以对高分辨率图像进行持续、全覆盖的精细判读，导致漏检与误检风险较高。近年来，深度学习技术的突破为这一难题提供了全新范式。基于数据驱动的自动化识别算法能够高效、精准地从复杂图像中提取异常特征，在大幅降低人力与经济成本的同时，显著提升了检测的效率与可靠性，已成为保障高铁运维安全的核心技术手段。

3、当前，针对高铁异常检测的研究仍处于起步阶段，现有文献多局限于数据增强策略或单一视觉模态的检测范式。然而，高铁异常样本固有的稀缺性严重制约了单模态方法的特征表达能力，上下文特征交互不足无法捕捉更具代表性特征，导致其在检测精度较低。因此，亟需探索一种更为高效、鲁棒的新型检测框架，以突破现有性能瓶颈，为高铁的安全平稳运行提供坚实的技术保障。

技术实现思路

1、本发明的目的在于提供一种基于空间与语义增强视觉-语言学习的高铁异常检测方法，通过数据收集、图像标注和文本设计、图像预处理、构建空间与语义增强视觉-语言学习网络模型，进行训练和优化参数，得到最优的模型，推理时调用该模型输出异常分布的分割图像，以解决现有单一视觉模态提取特征受限和上下文特征交互不足等问题。

2、本发明解决上述技术问题的技术方案如下：提供一种基于空间与语义增强视觉-语言学习的高铁异常检测方法，包括以下步骤：

3、s1、收集数据：收集高铁内部各元器件的数据，数据包含不同环境下的图像；

4、s2、图像标注与文本设计：对数据进行分类标注，对图像上的每个像素点进行标注，形成标注图像，并对数据集中的图像进行文本描述；

5、s3、数据预处理：对图像进行预处理，并缩放到相同尺寸；预处理包括数据增强和归一化处理；

6、s4、构建空间与语义增强视觉-语言学习网络：将预处理图像和文本描述输入空间与语义增强视觉-语言学习网络模型，提取多层次视觉特征和语言特征，采用空间语义强化器强化高层次视觉特征，采用多尺度低层次视觉特征增强器增强低层次视觉特征，采用查询驱动的视觉-语言跨模态融合模块对视觉模态和语言模态进行弥合，对模型进行训练并优化参数；

7、s5、输出异常分割图：将测试图像输入优化后的空间与语义增强视觉-语言学习网络模型，输出异常分割图像。

8、进一步，步骤s1中，数据包括正常数据和异常数据；

9、异常数据中包括油迹、异物和腻子破损。

10、进一步，步骤s2中，基于labelme软件对每张异常图像上的像素点进行标注，生成异常对应的标注图像；

11、标注图像中的像素值表示类别，0表示背景，1表示油迹，2表示异物，3表示腻子破损。

12、进一步，步骤s3中，数据增强包括随机水平翻转、图像亮度和饱和度调整；

13、归一化处理包括利用imagenet数据集上的均值和标准差对图像进行归一化。

14、进一步，文本编码器提取语言特征，训练时的权重被冻结，不参与权重调整。

15、进一步，步骤s4中，空间与语义增强视觉-语言学习网络模型包括空间语义强化器、多尺度低层次特征增强器和查询驱动的视觉-语言跨模态融合模块。

16、进一步，步骤s4中，提取多层次视觉特征和语言特征，包括以下分步骤：

17、s401、利用视觉编码器提取多层次视觉特征，；利用文本编码器提取语言特征；

18、s402、基于cc模块对多层次视觉特征进行降维和去除冗余特征，得优化后的多层次特征，。

19、进一步，步骤s4中，采用空间语义强化器对包含丰富语义信息的高层次视觉特征进行强化，其依次与其他层次特征进行跨层次交互得到空间注意力图，将其与高层次视觉特征相乘突出显著性特征，最后再将增强后的特征与原始高层次视觉特征相加，具体包括以下分步骤：

20、s403、输入多层次特征，；为高层次视觉特征，与其他层次特征进行交互；

21、s404、将和进行交互，通过自适应均值池化将缩放至与相同的尺度，利用卷积操作将的通道数与对齐得到，对执行变形和通道变换操作得到；

22、s405、和通过矩阵乘法进行交互，在交互结果的最后一个维度取最大值，然后将其变形为与相同的维度，并基于sigmoid函数获得空间注意力图；

23、s406、和、和的交互过程与和交互过程相似，同理得到和；并与相乘后再与得强化后高层次视觉特征。

24、进一步，步骤s4中，采用多尺度低层次特征增强器对包含空间细节信息的低层次视觉特征进行增强，以低层次视觉特征为主体，采用级联交互方式，与多个尺度的特征依次进行融合，具体包括以下分步骤：

25、s407、输入多层次特征，；以及强化后高层次视觉特征，是低层次视觉特征；

26、s408、低层次视觉特征和强化后高层次视觉特征进行拼接，将拼接后的向量变形后输入到swin transformer块中进行长距离上下文依赖建模，得精炼后的特征；

27、s409、将多尺度池化注意力模块应用于得到池化注意力图，与进行相乘后再相加得到；

28、s410、在和之间采用上述交互得到，和交互得强化后的低层次视觉特征。

29、进一步，多尺度池化注意力模块由三个并行的全局自适应均值池化组成，分别将输入特征图压缩至、和，然后再上采样后相加通过一个卷积操作和sigmoid函数。

30、进一步，步骤s4中，采用查询驱动的视觉-语言跨模态融合模块对视觉模态和语言模态进行弥合，引入可学习查询嵌入作为语义桥梁，实现多层次信息交换和细粒度语义对齐，推动视觉和语义深度融合并统一到共享的特征空间中，具体包括以下分步骤：

31、s411、输入强化后的低层次视觉特征、强化后高层次视觉特征、可学习的查询嵌入和以及语言特征，对变形和变换通道使其符合跨模态交互的尺度，其与基于cross transformer进行交互得到更新的查询表示，两个独立的多层感知机应用于，一个产生的特征与相乘得到候选分割掩码，另一个产生的向量与相乘得到候选类别向量；

32、s412、、和之间的交互采用s411中的方法得到候选分割掩码和候选类别向量；

33、s413、将候选分割掩码和候选分割掩码拼接后通过swin transformer块进行融合得到全面的分割掩码表示，将候选类别向量和候选类别向量拼接后通过transformer块进行融合得到全面的类别向量表示。

34、进一步，步骤s4中，基于交叉熵损失和dice损失计算模型预测值与标注图像之间的损失，利用adamw对模型参数进行优化，重复抽取样本进行迭代训练获得最优参数模型；

35、训练模型时，需要进行损失计算，具体包括以下分步骤：

36、s414、训练时将候选分割掩码和候选类别向量分别与标注样本进行匹配计算损失并优化模型参数。

37、进一步，步骤s5中，将融合后的分割掩码和类别向量进行相乘得最终的分割结果。

38、本发明通过数据收集、图像标注和文本设计、图像预处理、构建空间与语义增强视觉-语言学习网络模型，进行训练和优化参数，得到最优的模型，推理时调用该模型输出异常分布的分割图像。空间与语义增强视觉-语言学习包括空间语义强化器、多尺度低层次特征增强器以及查询驱动的视觉-语言跨模态融合模块。对于高层次视觉特征，提出空间语义增强器进行强化，将高层次视觉特征与其他层特征进行跨层次交互获得空间注意力，使其在保持丰富语义的同时恢复空间细节信息；对于低层次视觉特征，提出多尺度低层次特征增强器进行增强，将低层次视觉特征与其他层次特征整合捕捉上下文依赖关系，缓和其语义缺乏的问题；提出查询驱动的视觉-语言跨模态融合模块利用可学习的查询向量促进视觉模态和语言模态的交互，弥合两者间的模态鸿沟。本方法适用于高铁异常的自动化检测，而且具有强大的泛化性和鲁棒性，显著提升了检测的性能。本发明突破了传统单一视觉模态的局限，在处理小区域异常、多尺度不规则异常以及多样化的环境变化等情况下表现出更优异的性能和泛化性，为高铁异常检测提供了一种兼具精度与强泛化能力的高鲁棒性检测算法。

39、本发明具有以下有益效果：

40、1、本发明提供一种视觉-语言双向交互式异常检测框架，该框架突破了传统单模态或简单多模态拼接的局限，通过构建跨模态语义对齐与动态交互机制，实现了视觉特征与语言知识的深度耦合与互补增强，提升高铁异常检测的性能。

41、2、本发明采用空间语义强化器强化高层次视觉特征，弥补其全局语义丰富而空间细节缺乏的问题；采用多尺度低层次特征增强器增强低层次视觉特征，弥补其局部细节丰富而全局语义匮乏的问题。将增强后的高低层次视觉特征全面融合，帮助模型更好的感知异常，提升模型的检测能力，使其更具泛化性和鲁棒性。