基于数据画像的海上装置工艺数据组织方法、系统和存储介质与流程

本申请涉及海洋，尤其涉及一种基于数据画像的海上装置工艺数据组织方法、系统和存储介质。

背景技术：

1、中国发明专利 cn121008519a（公开日 2025.11.25，申请人 杭州吉网通信技术有限公司）公开一种基于扩展式接入的智慧工厂设备数据采集系统。该系统包括适配器、数据采集模块、数据处理模块和通信传输网络。适配器连接工厂设备以适配不同接口与协议；数据采集模块采集运行数据并获取生产班次数据；数据处理模块对运行数据进行选择传输与时序同步处理；通信传输网络包含传输链路与中继节点，中继节点内置供电单元、网络接入单元、频率预测单元及路径优化单元，可实现供电监测、传输方式选择、负载等级确定、高风险节点分流及备用路径生成。该方法旨在解决智慧工厂中设备数据采集的覆盖范围、传输可靠性与效率问题。

2、尽管上述技术通过适配器实现异构设备接入，通过中继节点的动态负载调节与路径优化提升传输稳定性，但仍存在以下不足：

3、1、数据资产完整性易受损：该系统仅关注数据的采集、传输与存储，后续的评价信息与原始数据处于物理或逻辑分离状态，导致后续数据迁移、归档时评价信息易丢失，数据资产完整性受损。

4、2、检索维度受限：该系统仅支持基于时间戳、设备id或网络节点状态的有限检索，无法实现基于数据内容特征的检索（例如“找出所有峭度大于5.5的数据段”或“查找所有被评价为‘早期磨损’的波形”）。用户无法直接通过统计特征或诊断标签反向定位异常数据。

5、3、缺乏智能诊断所需的特征索引：该系统未将采集数据的统计特征或诊断评价结果转化为可高效检索的索引项。在智能诊断场景下，仍需先查询告警记录获得时间点或数据标识，再逐段读取原始数据，i/o开销大，实时性差。

6、4、存储结构单一：压缩后的数据包与评价元数据分离，数据资产缺乏语义完整性，不利于后续的数据治理和智能分析。

7、综上所述，该方法仍属于传统的“采集-传输-存储”流水线模式，未实现评价信息与数据体的深度融合，也未提供基于特征的反向检索能力。

技术实现思路

1、有鉴于此，本申请要解决的技术问题是提供一种基于数据画像的海上装置工艺数据组织方法、系统和存储介质,以解决现有技术存在的数据资产完整性易受损、检索维度受限、检索开销大、不利于后续的数据治理和智能分析的等问题。

2、为解决上述问题，本申请的一个方面提出一种基于数据画像的海上装置工艺数据组织系统，包括数据缓存单元、数据镜像单元、缓冲与数据池单元、数据清洗单元、特征提取单元、特征索引生成单元和叠加存储与压缩单元；其中：

3、数据缓存单元用于接收来自数据源的高速输入的原始数据流和进行临时高速缓冲以平滑流量峰值；数据镜像单元用于将原始数据流使用批次id对每一批原始数据进行唯一标识并无损耗的复制为两路数据流，第一路数据流作为原始数据备份流并送入缓冲与数据池单元，第二路数据流作为处理评估流并送入数据清洗单元；缓冲与数据池单元，包括第一级缓冲和第二级缓冲，第一级缓冲用于暂存第一路数据流；数据清洗单元用于对第二路数据流同步执行数据清洗，生成经清洗的数据；特征提取单元用于同步或异步对经清洗的数据进行数据特征的计算、统计、并根据各项数据特征预设的评价标准生成诊断评价结果、以及对诊断评价结果添加对应的标签并送入第二级缓冲进行暂存；特征索引生成单元用于将统计和诊断评价结果以及标签转化为特征索引项，然后输出包含时间窗口边界、统计特征、诊断评价标签的结构化元数据对象；叠加存储与压缩单元用于从缓冲与数据池单元获取原始备份流，从特征索引生成单元获取结构化元数据对象，将原始备份流和结构化元数据对象捆绑压缩写入存储介质，形成原始数据体与结构化元数据对象不可分割的数据存储记录。

4、本申请的另一个方面提出一种基于数据画像的海上装置工艺数据组织方法，应用于以上系统，包括以下步骤：

5、s1.数据缓存单元接收来自数据源的高速输入的原始数据流和进行临时高速缓冲以平滑流量峰值；

6、s2.数据镜像单元将原始数据流使用批次id对每一批原始数据进行唯一标识并无损耗的复制为两路数据流，第一路数据流作为原始数据备份流并送入缓冲与数据池单元的第一级缓冲进行暂存，第二路数据流作为处理评估流并送入数据清洗单元；

7、s3.数据清洗单元对第二路数据流同步执行数据清洗，生成经清洗的数据；

8、s4.特征提取单元同步或异步对经清洗的数据进行数据特征的计算、统计、并根据各项数据特征预设的评价标准生成诊断评价结果、以及对诊断评价结果添加对应的标签并送入缓冲与数据池单元的第二级缓冲进行暂存；

9、s5.特征索引生成单元将统计和诊断评价结果以及标签转化为特征索引项，然后输出包含时间窗口边界、统计特征、诊断评价标签的结构化元数据对象；

10、s6.叠加存储与压缩单元从缓冲与数据池单元获取原始备份流，从特征索引生成单元获取结构化元数据对象，将原始备份流和结构化元数据对象捆绑压缩写入存储介质，形成原始数据体与结构化元数据对象不可分割的数据存储记录。

11、本申请的再一个方面提出一种计算机可读的存储介质，存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行以实现以上实施例的基于数据画像的海上装置工艺数据组织方法的步骤。

12、本申请的基于数据画像的海上装置工艺数据组织方法、系统和存储介质，集成数据清洗、状态评估、特征提取与增强存储功能，并可将整个处理流程中的各个单元封装为独立的微服务模块，对外提供标准化的工艺数据写入接口与基于特征索引的查询接口。本发明特别适用于海上装置智能诊断、设备健康管理、工业物联网及大数据分析等场景，能够实现对异常工艺数据的快速定位与精准分析。

1.窗口边界、统计特征、诊断评价标签的结构化元数据对象；

2.根据权利要求1所述的系统，其特征在于：所述原始数据流包括来自物联网设备、中控系统、主机系统、海上电力管理系统、温度传感器、压力传感器、液位传感器、振动传感器、mqtt消息队列的一个或多个的实时或批量数据流。

3.根据权利要求1所述的系统，其特征在于：所述数据清洗包括对数据进行格式标准化、缺失值处理、去噪、重采样或滑动窗口切分、异常值替换、去除直流分量、标记的一项或多项操作。

4.根据权利要求1所述的系统，其特征在于：所述数据特征包括均值、中位数、方差、标准差、偏度、峭度、信息熵、样本熵、有效值/rms、波峰因子的一项或多项；所述诊断评价的结果包括数据质量评分、异常置信度、模式标签、可扩展的业务标签的一项或多项。

5.根据权利要求1所述的系统，其特征在于：所述将统计和诊断评价结果、以及签转化为特征索引项包括：对连续数值形式的统计特征保留范围查询所需的编码或保留原始值；对离散标签数据保留字符串或枚举映射；以及构建倒排索引或轻量级哈希表，以加速查询匹配。

6.根据权利要求1所述的系统，其特征在于：数据缓存单元采用先进先出、最近最少使用的策略以防止数据积压。

7.根据权利要求1所述的系统，其特征在于：所述捆绑操作包括将结构化元数据对象的数据块id或原始数据备份流的时间窗口id关联并保持对齐，将压缩后的二进制数据体与特征索引项、评价信息作为一条不可分割的记录进行组装；所述压缩操作包括对数据体执行无损压缩算法。

8.一种基于数据画像的海上装置工艺数据组织方法，应用于权利要求1的系统，包括以下步骤：

9.根据权利要求8所述的方法，其特征在于还包括步骤s7：以统计特征阈值或诊断评价标签为查询条件执行检索请求，在存储介质内部直接对索引元数据进行匹配扫描，返回对应的原始数据体。

10.一种计算机可读的存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行以实现权利要求8或9所述的基于数据画像的海上装置工艺数据组织方法的步骤。