基于元数据湖的跨域数据标准统一与质量评估处理方法与流程

本发明涉及风电数据质量管理，特别是指基于元数据湖的跨域数据标准统一与质量评估处理方法。

背景技术：

1、风力发电场的典型数据管理配置中，一台机组同时部署多种异构传感器：塔筒顶部的测风塔风速仪、齿轮箱振动传感器、塔筒倾斜仪等，这些设备具有各不相同的采样频率，数据通过各自独立的数据采集通道汇聚至风电场数据平台。

2、以某海上风电场的一次齿轮箱故障回溯分析为例，运维人员在故障发生后调取齿轮箱振动数据、塔筒倾斜数据以及同期风速数据，试图还原故障发生时刻的机组状态，齿轮箱振动传感器记录的冲击事件时间戳与塔筒倾斜仪在同一物理时刻记录的时间戳之间存在的时钟偏差，在采样频率较高的倾斜仪上，该偏差已导致多个数据点的错位，运维人员难以确知振动冲击时刻对应的塔筒实际倾斜状态，故障根因分析受阻。

3、该案例反映出现有技术在跨域数据质量管理中的以下技术缺陷：多源异构传感器之间缺乏统一的时序对齐基准，现有方案主要依赖各设备自身的ntp时钟同步或gps授时信号进行时间戳标记，在海上风电场等通信链路不稳定的条件下，ntp同步存在间歇性失效的风险，部分传感器内置时钟存在累积漂移现象，当不同传感器的时钟各自独立漂移时，各设备数据本身完整，时序层面的错位也导致多源数据的联合分析难以开展。

技术实现思路

1、本发明提供了基于元数据湖的跨域数据标准统一与质量评估处理方法，提升了跨域传感器数据时序对齐与质量评估。

2、为解决上述技术问题，本发明的技术方案如下：

3、第一方面，基于元数据湖的跨域数据标准统一与质量评估处理方法，所述方法包括：

4、获取连续风速信号，沿时间方向对塔筒测风塔风速信号逐段累加，得到风能累积量序列；根据风能累积量序列，计算切入至额定风速区间各时间窗口的累积量变化率，得到变化率序列；

5、根据变化率序列，将大于相邻窗口均值的变化率对应时间窗口划分为湍流段，得到湍流段集合；根据湍流段集合及风能累积量序列，计算湍流段内相邻窗口的风能累积量差值，得到风能波动序列；

6、根据风能波动序列，将连续预设数量数据点映射为二维平面坐标点，连接相邻二维平面坐标点构建局部折线段，计算相邻折线段间的偏转角，得到偏转角序列；

7、根据偏转角序列，提取大于预设角度阈值偏转角对应的坐标点，得到冲击特征点集合；根据冲击特征点集合，将坐标点映射至元数据湖中齿轮箱与塔筒倾斜仪间时间戳，得到时间戳对齐基准；

8、根据时间戳对齐基准，对元数据湖中多源异构设备时序元数据进行时间戳重采样，得到标准元数据；根据标准元数据，计算各数据条目中物理量质量评估指标，得到数据质量指标序列；

9、根据数据质量指标序列，判断是否存在位于传感器时钟漂移区间内数据丢包，得到跨域数据质量评估结果。

10、第二方面，基于元数据湖的跨域数据标准统一与质量评估处理系统，包括：

11、获取模块，用于获取连续风速信号，沿时间方向对塔筒测风塔风速信号逐段累加，得到风能累积量序列；根据风能累积量序列，计算切入至额定风速区间各时间窗口的累积量变化率，得到变化率序列；

12、划分模块，用于根据变化率序列，将大于相邻窗口均值的变化率对应时间窗口划分为湍流段，得到湍流段集合；根据湍流段集合及风能累积量序列，计算湍流段内相邻窗口的风能累积量差值，得到风能波动序列；

13、映射模块，用于根据风能波动序列，将连续预设数量数据点映射为二维平面坐标点，连接相邻二维平面坐标点构建局部折线段，计算相邻折线段间的偏转角，得到偏转角序列；

14、提取模块，用于根据偏转角序列，提取大于预设角度阈值偏转角对应的坐标点，得到冲击特征点集合；根据冲击特征点集合，将坐标点映射至元数据湖中齿轮箱与塔筒倾斜仪间时间戳，得到时间戳对齐基准；

15、计算模块，用于根据时间戳对齐基准，对元数据湖中多源异构设备时序元数据进行时间戳重采样，得到标准元数据；根据标准元数据，计算各数据条目中物理量质量评估指标，得到数据质量指标序列；

16、判断模块，用于根据数据质量指标序列，判断是否存在位于传感器时钟漂移区间内数据丢包，得到跨域数据质量评估结果。

17、本发明的上述方案至少包括以下有益效果：

18、基于连续风速信号提取风能累积量序列和变化率序列，通过变化率序列识别湍流段，实现无需外部标定设备的环境特征自动检测；将风能波动序列映射为二维坐标点并计算偏转角，提取冲击特征点作为齿轮箱与塔筒倾斜仪之间的时间戳对齐基准，利用机组自身物理运行特征实现跨域时序对齐；基于元数据湖架构对多源异构设备时序元数据进行统一时间戳重采样，结合物理量质量评估指标和传感器时钟漂移区间检测，实现跨域数据质量的自动量化评估。

1.基于元数据湖的跨域数据标准统一与质量评估处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的基于元数据湖的跨域数据标准统一与质量评估处理方法，其特征在于，获取连续风速信号，沿时间方向对塔筒测风塔风速信号逐段累加，得到风能累积量序列；根据风能累积量序列，计算切入至额定风速区间各时间窗口的累积量变化率，得到变化率序列，包括：

3.根据权利要求2所述的基于元数据湖的跨域数据标准统一与质量评估处理方法，其特征在于，根据变化率序列，将大于相邻窗口均值的变化率对应时间窗口划分为湍流段，得到湍流段集合，包括：

4.根据权利要求3所述的基于元数据湖的跨域数据标准统一与质量评估处理方法，其特征在于，根据湍流段集合及风能累积量序列，计算湍流段内相邻窗口的风能累积量差值，得到风能波动序列，包括：

5.根据权利要求4所述的基于元数据湖的跨域数据标准统一与质量评估处理方法，其特征在于，根据风能波动序列，将连续预设数量数据点映射为二维平面坐标点，连接相邻二维平面坐标点构建局部折线段，计算相邻折线段间的偏转角，得到偏转角序列，包括：

6.根据权利要求5所述的基于元数据湖的跨域数据标准统一与质量评估处理方法，其特征在于，根据偏转角序列，提取大于预设角度阈值偏转角对应的坐标点，得到冲击特征点集合，包括：

7.根据权利要求6所述的基于元数据湖的跨域数据标准统一与质量评估处理方法，其特征在于，根据冲击特征点集合，将坐标点映射至元数据湖中齿轮箱与塔筒倾斜仪间时间戳，得到时间戳对齐基准，包括：

8.根据权利要求7所述的基于元数据湖的跨域数据标准统一与质量评估处理方法，其特征在于，根据时间戳对齐基准，对元数据湖中多源异构设备时序元数据进行时间戳重采样，得到标准元数据；根据标准元数据，计算各数据条目中物理量质量评估指标，得到数据质量指标序列，包括：

9.根据权利要求8所述的基于元数据湖的跨域数据标准统一与质量评估处理方法，其特征在于，根据数据质量指标序列，判断是否存在位于传感器时钟漂移区间内数据丢包，得到跨域数据质量评估结果，包括：

10.基于元数据湖的跨域数据标准统一与质量评估处理系统，该系统实现如权利要求1至9中任一项所述的方法，其特征在于，包括：