一种基于信号图像化转换与大模型推理的模式识别方法与流程

本发明涉及一种基于信号图像化转换与大模型推理的模式识别方法，属于模式识别。

背景技术：

1、利用深度神经网络处理一维时间序列信号，已经成为模式识别领域常用的技术路线，现有方法通常将一维序列转换为二维拓扑特征图像，以提取不同时间尺度之间的非线性全局关联，通过这种转换，一维时序信号中的非线性变化关系表现为空间纹理，同时保留信号在不同频段之间的拓扑相关性，随着监测系统对早期微弱瞬态异常的捕获要求不断提高，信号采集过程需要保持较高的采样率，由此会产生大量反映低频稳态过程的冗余数据，对于高频采样形成的长周期拓扑图像，现有系统受计算能力和存储空间限制，通常采用统一尺度的图像分块聚合或均匀降维处理，然而，稳态运行数据在长周期信号中占比较大，其形成的平缓背景纹理会分散模型的注意力，在统一池化或降维过程中，局部突变工况产生的高频瞬态纹理还容易被平缓背景削弱甚至覆盖，导致占比较小的异常特征丢失，为减少背景数据，一些方法采用前端幅值阈值直接截除部分信号，但该处理破坏原始信号的时序连续性及完整的时空拓扑关系，另一些方法通过扩大基础推理模型的注意力窗口，使其能够接收全分辨率图像，但交叉注意力的计算量会随输入规模快速增加，难以满足实际应用对计算成本的要求。

2、除了在数据采样与前端滤波等硬件物理处理层面存在上述局限外，在后续的软件控制算法与特征提取机制层面，现有技术同样未能解决背景冗余与局部突变特征自适应匹配的难题，例如，授权公告号为cn118731689b的中国发明专利公开了一种基于多参数校验的电机设备预防性维护诊断方法，该方案虽然将一维信号映射为格拉姆角场二维图像，但其采用预设的固定gabor函数与几何函数对图像开展全局滑窗卷积，这种静态特征提取机制忽略了图像不同区域间像素梯度的动态差异，无法自适应压缩平缓背景冗余，且导致高频瞬态冲击纹理在全局特征平铺过程中被背景信息稀释；此外，该方案仅凭固化的规则映射输出单一分类结果，缺乏跨模态工况信息的深度结合与因果逻辑推演，难以满足复杂工况对识别精度和推演透明度的双重要求。

3、因此，如何根据底层信号形成的拓扑纹理差异，对不同区域采用不同分辨率的特征处理方式，在压缩冗余背景数据的同时保留高频瞬态细节，并使有限的计算资源集中于关键异常区域，成为本发明所要解决的技术问题。

技术实现思路

1、为解决背景技术中的问题，本发明的技术方案如下：一种基于信号图像化转换与大模型推理的模式识别方法，包括以下步骤：

2、步骤s1，获取目标对象的原始一维时间序列信号并截取信号片段，计算信号片段在极坐标系下的相角向量，利用格拉姆角场变换机制映射为二维拓扑特征图像；

3、步骤s2，将二维拓扑特征图像输入视觉编码器提取多尺度空间特征图，利用线性投影层切分为无重叠的图像分块；

4、步骤s3，计算各图像分块的局部二维梯度方差与全局像素方差，依据全局像素方差确定动态遮蔽阈值，对局部二维梯度方差小于动态遮蔽阈值的图像分块进行平均池化降采样映射为背景视觉词元，对局部二维梯度方差不小于动态遮蔽阈值的图像分块按原始特征分辨率映射为高频突变视觉词元；

5、步骤s4，获取目标对象的当前工况约束文本并转化为文本词元序列，按序列维度拼接背景视觉词元与高频突变视觉词元，形成具有非均匀分辨率分布特征的连续视觉特征词元序列，将文本词元序列与连续视觉特征词元序列拼接生成多模态上下文输入序列，输入大规模基础推理模型，利用自注意力机制计算高频突变视觉词元、背景视觉词元与文本词元之间的交叉注意力权重，推演二维拓扑特征图像的时空模式演变规律，输出包含模式分类结果与因果逻辑推演链的结构化判定文本。

6、优选的，在步骤s3中计算各图像分块的局部二维梯度方差与全局像素方差，依据全局像素方差确定动态遮蔽阈值包含以下子步骤：步骤s31，计算各图像分块内每个像素点在水平方向与垂直方向上的空间一阶差分，获得各像素点的局部二维空间像素梯度；步骤s32，基于各像素点的局部二维空间像素梯度，计算对应图像分块内部所有像素梯度值的离散方差，作为该图像分块的局部二维梯度方差；步骤s33，汇总多尺度空间特征图全图像素点的梯度数值，计算全图空间像素梯度的均值与总体方差，将总体方差与预设调制系数的乘积确定为动态遮蔽阈值；步骤s34，将各图像分块的局部二维梯度方差与动态遮蔽阈值实时比对，当局部二维梯度方差低于动态遮蔽阈值时，确定对应图像分块属于低频稳态背景，当局部二维梯度方差不小于动态遮蔽阈值时，确定对应图像分块属于高频瞬态冲击区域。

7、优选的，对局部二维梯度方差小于动态遮蔽阈值的图像分块进行平均池化降采样映射为背景视觉词元，以及对局部二维梯度方差不小于动态遮蔽阈值的图像分块按原始特征分辨率映射为高频突变视觉词元包含以下子步骤：步骤s35，针对确定属于低频稳态背景的图像分块，采用二维空间平均池化核对该图像分块的特征矩阵降采样，将多维像素特征压缩为单一低分辨率特征向量，经线性变换生成单个背景视觉词元；步骤s36，针对确定属于高频瞬态冲击区域的图像分块，保持该图像分块的原生像素特征分辨率，经线性投影层全量映射生成多个高分辨率高频突变视觉词元；步骤s37，按原图像分块的空间拓扑阵列次序，将背景视觉词元与各高频突变视觉词元交织排列拼接，构成呈空间非均匀分辨率分布的连续视觉特征词元序列。

8、优选的，在步骤s4中获取目标对象的当前工况约束文本并转化为文本词元序列，以及与连续视觉特征词元序列拼接包含以下子步骤：步骤s41，基于预设的结构化提示词模板，获取目标对象的设备运行台账、安全服役周期阶段、历史故障模式库以及当前运行工况参数，组合构建当前工况约束文本；步骤s42，通过预设的分词器对当前工况约束文本切分与语义编码，映射生成文本词元序列；步骤s43，将文本词元序列作为前置引导标识，与连续视觉特征词元序列按自回归序列顺序拼接，生成包含领域专家先验约束与图像拓扑细节的多模态上下文输入序列。

9、优选的，利用自注意力机制计算高频突变视觉词元、背景视觉词元与文本词元之间的交叉注意力权重包含：在大规模基础推理模型的自注意力计算层中，屏蔽背景视觉词元之间的自注意力计算权重分配，将自注意力计算资源集中分配于文本词元与高频突变视觉词元之间的交叉注意力相关性计算；基于交叉注意力相关性计算结果，建立当前工况约束文本中表征特定故障演化趋势的语义向量与高频突变视觉词元中表征相角剧烈震荡纹理的特征向量之间的同构映射关联。

10、优选的，在步骤s1中获取目标对象的原始一维时间序列信号之前，还包括：依据奈奎斯特采样定理将离散化采样率设定为10khz；对截取到的信号片段进行幅值归一化，将幅值线性映射至-1至1区间；截取信号片段的时域滑动窗口切片长度设定为1024个采样点；线性投影层切分多尺度空间特征图时，切分得到的各图像分块尺寸设定为16×16像素。

11、优选的，输出包含模式分类结果与因果逻辑推演链的结构化判定文本包含：输出表征目标对象当前运行状态的诊断分类标签；输出对应的因果逻辑推演链，因果逻辑推演链包含二维拓扑特征图像中高频纹理畸变位置的定位描述、结合当前工况约束文本计算获得的异常置信度以及判定当前运行状态的技术因果解释文本。

12、优选的，对截取到的信号片段进行幅值归一化之后，还包括：实时监测原始一维时间序列信号的信号方差波动率；当信号方差波动率超过预设波动阈值时，自动将截取信号片段的时域滑动窗口重叠率由预设初始重叠率提升至目标重叠率，以增加瞬态冲击区域在邻近时域滑动窗口片段内的映射频次。

13、优选的，在输出包含模式分类结果与因果逻辑推演链的结构化判定文本之后，还包括：当模式分类结果指示目标对象处于异常故障状态时，基于结构化判定文本中输出的异常置信度与技术因果解释文本，生成控制保护指令；将控制保护指令传输至目标对象的控制终端，驱动控制终端调整目标对象的运行功率，并在异常置信度达到预设告警阈值时触发停机响应。

14、相比于现有技术，本发明的有益效果是：

15、1、在信号图像化转换与大模型推理的模式识别中，将一维时间序列信号转换为二维拓扑特征图像，并根据图像分块的局部二维梯度方差与动态遮蔽阈值区分低频稳态背景和高频瞬态冲击区域，由此能够将平稳运行形成的背景纹理与相角剧烈变化形成的异常纹理分开，避免微弱的局部异常特征在长时间采样数据中被背景信号掩盖，提高复杂工况下信号特征的可分辨性。

16、2、本发明对低频稳态背景对应的图像分块进行平均池化降采样，同时保留高频瞬态冲击区域的原始特征分辨率，这样既能压缩大量重复的背景数据，又能完整保留关键区域的瞬态细节，减少输入大规模基础推理模型的视觉词元数量，使有限的计算资源更多地用于分析异常纹理，降低背景信息造成的注意力分散。

17、3、本发明将当前工况约束文本与连续视觉特征词元序列共同输入大规模基础推理模型，使设备运行信息和图像中的高频突变特征能够在推理过程中相互对应，借助工况信息的引导，模型不再仅依靠数值特征进行孤立分类，而是能够结合实际运行条件分析异常纹理，除输出模式分类结果外，还能够给出相应的因果逻辑推演链，提高异常状态判定过程的透明度和可解释性。