一种基于时序Transformer的工业轮廓序列重建与滤波方法及系统

摘要: 本发明属于工业自动化、时序数据处理与深度学习,具体涉及一种基于时序transformer的工业轮廓序列重建与滤波方法。适用于自动铺丝(afp)、激光轮廓测量、表...
一种基于时序Transformer的工业轮廓序列重建与滤波方法及系统

本发明属于工业自动化、时序数据处理与深度学习,具体涉及一种基于时序 transformer 的工业轮廓序列重建与滤波方法。适用于自动铺丝(afp)、激光轮廓测量、表面缺陷检测以及连续时序信号重建等场景。

背景技术:

1、在自动铺丝(afp)、激光轮廓扫描以及复杂曲面检测等工业场景中,线激光轮廓传感器(lps)会连续输出大量高频时序轮廓数据。由于工业环境复杂、工件表面反射率变化、遮挡以及传感器噪声等因素影响,采集到的轮廓序列通常存在以下问题:1.局部数据缺失;2.无效点较多;3.序列噪声严重;4.长时序依赖难以建模。

2、传统卷积方法难以同时保持局部细节与全局关联。传统循环神经网络(rnn)与长短时记忆网络(lstm)虽然能够处理时序问题,但其串行结构导致长序列计算效率较低,同时存在长期依赖信息衰减问题。transformer 网络虽然具有较强的全局建模能力,但传统transformer 主要面向自然语言处理任务,其标准结构并不适用于工业连续轮廓序列。特别是在工业轮廓数据中,大量无效值会严重影响注意力计算稳定性。

3、因此,需要提出一种适用于工业轮廓序列的新型 transformer 结构,以实现高精度、高鲁棒性的时序重建与滤波。transformer模型自2017年由vaswani等人在论文《attention is all you need》中提出,因其完全基于注意力机制(attention mechanism)的并行计算能力、优秀的长距离依赖建模效果,已成为自然语言处理(nlp)、计算机视觉以及多模态任务中的主流架构。然而,现有的transformer模型主要针对离散符号序列(如文本词元)设计,在处理高维连续数值向量时间序列时存在诸多技术缺陷,难以直接适用于工程实际数据。具体而言,现有技术主要存在以下几个方面的不足:

4、1.对无效标记值(sentinel value)的处理能力不足:在工业测量、科学实验、物理仿真等领域,采集或生成的数据常以二进制文件形式存储,由于传感器故障、测量中断、数据截断等原因,数据中普遍存在大量无效标记值(如 -1000000000 等极端数值)。传统transformer中的layernorm、注意力计算以及损失函数均假设输入数据全部有效,当遇到此类无效值时,容易导致统计量偏差、梯度爆炸或模型训练不稳定。现有技术中虽有简单掩码处理,但多为nlp中的padding mask,难以适应高维向量中部分特征维度有效、部分维度无效的复杂情况。

5、2.高维长序列处理效率低下:工程领域的时间序列往往具有极高的特征维度(单时间步可达数百至数千维)和极长的序列长度(数千至数万个时间步)。直接输入标准transformer会导致显存占用爆炸、计算效率低下。现有分块(chunking)或分片方法多为简单切分,未能有效保持序列内部的时间连续性和特征完整性,也未针对向量数据设计专用的分块加载机制,导致模型难以在实际硬件条件下训练大规模数据集。

6、3.注意力机制缺乏时序衰减控制:时间序列数据具有明显的时序特性,距离当前时刻越远的历史信息通常重要性越低。而标准自注意力机制对序列中所有位置一视同仁,容易引入过多噪声,影响模型对近期关键特征的关注。现有改进方案(如相对位置编码、局部注意力等)虽有一定效果,但大多仍针对离散token设计,难以直接应用于连续高维向量场景,且未能提供可灵活配置的衰减强度控制机制。

7、4.嵌入与归一化方式不适配连续向量:传统transformer依赖词嵌入(embedding)层将离散token映射到低维稠密向量,而高维向量序列本身已携带丰富特征信息,强行使用embedding反而可能丢失原始信息。同时,标准layernorm在存在大量无效值时会引入显著误差,导致模型收敛困难。

8、5.损失函数与训练策略不匹配:现有序列模型多采用交叉熵损失等针对分类任务的设计,而向量序列重建任务本质上是连续值回归问题。直接套用会导致模型对峰值、突变等关键工程特征不敏感,且无法有效屏蔽无效值对损失计算的干扰。目前,虽然已有一些针对时间序列的transformer变体(如informer、autoformer、fedformer等),但这些工作主要聚焦于低维或中等维度的时间序列预测,且较少考虑实际工程数据中大量存在的无效值问题和高维向量特性。尚未出现一种系统性地解决高维向量序列 + 无效值掩码 + 注意力衰减 + 内存高效加载的完整技术方案。

9、因此,针对上述现有技术的缺陷,开发一种专为高维工程向量时间序列设计的、具备无效数据鲁棒性、支持长序列高效处理、并引入时序注意力衰减机制的transformer系统,具有重要的理论意义和广阔的工程应用价值。

技术实现思路

1、本发明解决的技术问题:提供一种基于时序 transformer 的工业轮廓序列重建与滤波方法与系统,通过构建带有数据掩码机制的数据编码方式、改进的层归一化结构以及适用于工业连续序列的编码器—解码器结构,实现对工业轮廓时序数据的高精度重建与滤波。

2、技术方案:为了解决上述技术问题,本发明采用的技术方案如下:

3、一种基于时序transformer的工业轮廓序列重建与滤波方法,该方法首先对工业轮廓数据进行下采样与分块处理,随后构建数据有效性掩码,并采用位置编码生成序列位置信息。进一步地,通过改进的 transformer编码器与解码器结构实现工业轮廓序列的全局特征提取与序列重建。同时提出一种基于数据掩码的层归一化方法,以避免无效值对统计量计算的影响。该方法能够有效提升工业轮廓序列重建精度与模型稳定性,适用于自动铺丝、激光轮廓检测以及复杂曲面检测等工业场景。

4、具体包括以下步骤:(1)加载高维二进制序列数据,进行降采样和分块处理,并生成有效性掩码;(2)将分块后的序列输入包含掩码感知嵌入和层归一化的transformer模型,结合注意力修正机制进行特征编码和解码;(3)采用仅对有效位置计算误差的掩码损失函数进行模型训练;(4)采用非自回归方式对输入序列进行一次性重建,得到与输入维度一致的高维向量序列。在计算多头注意力分数时,引入线性时序距离偏置以实现注意力衰减。

5、有益效果:与现有技术相比,本发明具有以下优点:

6、1、本发明的方法旨在高效处理高维、长序列、含无效标记值的结构化向量数据。

7、2、本发明通过引入掩码感知机制、自定义层归一化、注意力衰减修正以及内存高效的数据加载方式,解决了传统transformer模型在处理上述高维工程向量序列时面临的无效值干扰、内存爆炸、时序依赖衰减控制困难等技术问题,属于一种专为工程实际数据设计的向量序列到序列(sequence-to-sequence vector)重建与预测技术。

8、3、本发明提出的基于数据掩码的层归一化方法、注意力计算方法,能够有效抑制无效值对模型训练的影响。相比传统卷积网络具有更强的全局建模能力;该模型适用于复杂工业环境中的激光传感器等传感器的轮廓重建与滤波。

9、4、本发明适用于但不限于以下应用场景:工业检测中的二维/三维剖面重建(如激光扫描、超声检测、x射线成像等);还包括医疗影像或生物信号(如eeg、ecg)的序列分析。