一种工业大数据分析与挖掘系统及方法与流程

摘要: 本发明涉及大数据分析与挖掘,具体为一种工业大数据分析与挖掘系统及方法。背景技术:1、随着工业互联网与人工智能技术的深度融合,工业大数据分析与挖掘已成为设备预测性...
一种工业大数据分析与挖掘系统及方法与流程

本发明涉及大数据分析与挖掘,具体为一种工业大数据分析与挖掘系统及方法。

背景技术:

1、随着工业互联网与人工智能技术的深度融合,工业大数据分析与挖掘已成为设备预测性维护、智能质检等场景的重要技术手段,工业现场产生的数据具有多模态特征,高频传感器数据以时间序列形式持续产生,设备故障图片、维修记录、专家诊断文本等则以非结构化形式存在,为支撑智能诊断与决策,业界通常引入大语言模型结合检索增强生成技术,通过检索历史知识库中的相似案例为模型生成提供上下文支撑。

2、与本发明最接近的现有技术方案通常采用多库并行、事后拼接的架构:高频传感器时序数据存储于专用时序数据库中并按时间戳建立索引,非结构化数据经编码后存储于独立的向量数据库中并按语义相似度建立索引,联合查询时需在应用层通过时间戳字段对两类查询结果进行人工或规则化的对齐拼接,该过程涉及跨库网络传输与冗余计算,导致查询延迟增加,同时,现有技术中图索引结构与统计度量校正通常相互割裂:图索引一经构建即保持静态,度量方式的动态调整仅在应用层单独实现且不与索引结构产生联动反馈,形成“索引静态、度量解耦”的固有技术路径依赖。本申请突破该固有路径依赖,将随基线滚动更新的仿射变换矩阵与图索引遍历过程实时耦合,并使物理机理校验结果反向反馈至候选集合形成闭环剔除机制,使索引结构本身具备工况自适应能力,取得检索精度与实时性同步提升的技术效果,该有机耦合方式并非现有图索引技术与统计白化方法的简单叠加,亟需一种能够在底层数据结构层面统一组织多模态数据并具备工况自适应能力的解决方案。

技术实现思路

1、本发明要解决的技术问题是:如何在底层数据结构层面打破工业现场时序传感数据与非结构化数据之间的物理存储隔离,实现跨模态数据的一次查询联合命中,同时,如何使检索系统能够感知并补偿工业设备因老化、环境变化引起的概念漂移,从而保证检索得到的历史知识与设备当前实际物理工况相符,并在满足实时性要求的前提下完成跨模态联合检索与自适应校验挖掘。

2、为解决上述技术问题,本发明提供一种工业大数据分析与挖掘方法,包括:分别接收工业现场传感器采集的时序数据流和非结构化数据,对所述非结构化数据进行语义编码,得到语义特征向量,对所述时序数据流按滑动窗口切片后进行时序编码,得到时间波形特征向量;

3、将所述语义特征向量与对应的时间戳区间及数据类别标签封装为语义向量节点,将所述时间波形特征向量与对应的起止时间戳及设备编号封装为时间波形特征节点,并将所述语义向量节点和所述时间波形特征节点组织于同一图结构中,得到图时序倒排混合索引树,其中语义相似度超过预设相似度阈值的两个节点之间建立语义邻接边,对应时间戳区间间隔小于预设时间窗口的两个节点之间建立时间邻接边;

4、持续采集设备正常运行时段的时间波形特征向量,按滑动方式更新得到基线均值向量和基线协方差矩阵,并基于所述基线协方差矩阵生成仿射变换矩阵;

5、接收到检索请求时,将当前查询特征向量与所述图时序倒排混合索引树中的候选特征向量分别减去所述基线均值向量后,左乘所述仿射变换矩阵,得到校正后的查询表示和校正后的候选表示,计算两者之间的距离并据此对候选节点进行排序,得到候选诊断经验集合。

6、在上述方案的基础上,本发明进一步提供一种流式预取与双向校验机制:持续监测传感器数据的分布,当当前时间窗口内的数据分布相对于近期基线分布的偏离程度超过预设偏离阈值时,触发向所述图时序倒排混合索引树发起异步预取请求,并将该预取过程与后续特征解码计算过程并行执行;

7、调用预置的设备物理机理模型对所述候选诊断经验集合中的候选诊断经验逐一进行物理合理性校验,将违背物理规律的候选诊断经验剔除,得到校验后的候选诊断经验,并将其与对应的时间对齐传感器波形汇总,生成结构化的工业大数据挖掘报告。

8、本发明还提供与上述方法对应的一种工业大数据分析与挖掘系统,包括多模态编码层、联合索引存储层、自适应检索重校准层以及流式预取与校验层,各层依次执行前述编码、索引构建、动态度量校正与流式校验步骤。

9、采用上述技术方案,与现有技术相比,本发明的有益效果在于:

10、其一,通过将语义向量节点与时间波形特征节点组织于同一图时序倒排混合索引树中,并以语义邻接边与时间邻接边连接两类节点,使一次图遍历即可同时命中语义相关的历史案例节点与时间对齐的传感器波形节点,消除了跨库拼接带来的网络传输与结果集匹配延迟;

11、其二,通过对设备运行基线进行滑动统计并据此生成随时间变化的仿射变换矩阵,对查询向量与候选向量进行动态距离度量而非固定距离度量,使检索结果能够自动扣除设备自然老化或环境变化带来的基线偏移,保证检索到的历史知识与设备当前实际工况相符,从而降低大语言模型基于该检索结果生成诊断建议时出现工业幻觉的可能性;

12、其三,通过异常检测触发后的索引预取与后续计算重叠并行执行,并结合物理机理模型对候选诊断经验进行反向合理性校验,在保证检索结果置信度的前提下满足工业现场对实时分析预警的时效性要求。

1.一种工业大数据分析与挖掘方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述时间邻接边的权重按照如下公式确定:

3.根据权利要求1所述的方法,其特征在于,将所述语义向量节点和所述时间波形特征节点组织于同一图结构中,还包括:将由所述语义邻接边和所述时间邻接边构成的候选边集合按照近似最近邻图分层算法进行裁剪,保留每个节点在各分层中度数最高的边,得到由粗粒度导航层和细粒度检索层构成的多层图结构,接收到检索请求时,自所述粗粒度导航层向所述细粒度检索层逐层收缩搜索范围,以确定所述候选特征向量。

4.根据权利要求1所述的方法,其特征在于:

5.根据权利要求1所述的方法,其特征在于,还包括:

6.根据权利要求1所述的方法,其特征在于,对所述时序数据流按滑动窗口切片后进行时序编码,包括:采用基于滑窗对比学习训练得到的时序编码模型,对每个滑动窗口切片进行编码,得到固定维度的时间波形特征向量。

7.一种工业大数据分析与挖掘系统,其特征在于,包括:

8.根据权利要求7所述的系统,其特征在于,还包括流式预取与校验层,所述流式预取与校验层用于:

9.根据权利要求7所述的系统,其特征在于,所述联合索引存储层还用于将由所述语义邻接边和所述时间邻接边构成的候选边集合按照近似最近邻图分层算法进行裁剪,保留每个节点在各分层中度数最高的边,得到由粗粒度导航层和细粒度检索层构成的多层图结构。

10.根据权利要求7所述的系统,其特征在于,所述时间邻接边的权重按照如下公式确定: