基于机器学习的海量异构湖仓数据智能清洗方法与流程

摘要: 本发明属于数据库领域,涉及机器学习技术,具体是基于机器学习的海量异构湖仓数据智能清洗方法。背景技术:1、现有湖仓数据智能清洗方法在进行数据清洗时,存在以下缺陷:...
基于机器学习的海量异构湖仓数据智能清洗方法与流程

本发明属于数据库领域,涉及机器学习技术,具体是基于机器学习的海量异构湖仓数据智能清洗方法。

背景技术:

1、现有湖仓数据智能清洗方法在进行数据清洗时,存在以下缺陷:

2、1、常规湖仓智能清洗策略大多依托预设固定模板完成字段过滤,较少结合同类历史契合记录的共性字段特征动态调整清洗口径,从而导致部分符合实际存储需求的字段被误剔除,或是大量无效冗余字段被错误保留,既拉低了后续数据挖掘、分析工作的效率,也容易影响基于湖仓数据产出的决策结论准确性;

3、2、现有湖仓数据智能清洗方法在进行数据清洗时,通常单独针对单条记录本身开展异常值、缺失值校验,未能联动时序匹配结果协同执行字段筛选,清洗过程缺少时序工况层面的约束条件,从而使得不同时段采集的异构数据无法按照存储分析的需求完成分层清洗,容易将时序错位的异常字段混入有效数据集,进一步干扰后续湖仓数据的应用分析结果。

4、为此,我们提出基于机器学习的海量异构湖仓数据智能清洗方法。

技术实现思路

1、针对现有技术存在的不足,本发明目的是提供基于机器学习的海量异构湖仓数据智能清洗方法,本发明旨在提高海量异构湖仓数据智能清洗效率。

2、为了实现上述目的,本发明采用了如下技术方案:基于机器学习的海量异构湖仓数据智能清洗方法,包括以下步骤:

3、步骤s1:对产生业务数据的源头实体进行获取,得到预选数据主体,针对预选数据主体创建存储调度时间片轮,基于存储调度时间片轮对预选数据主体进行调度存储数据量分析,根据分析结果获取各预选数据主体所对应的待调度存储总量以及调度存储总量合计值,得到片轮存储采集数据;

4、步骤s2:根据片轮存储采集数据对选数据主体进行周期性存储数据采集与初步筛分,得到片轮存储初筛数据;

5、步骤s3:将片轮存储初筛数据解构为多条数据存储记录,对各条数据存储记录分别开展历史合理数据集筛分,得到存储记录筛选数据;

6、步骤s4:根据存储记录筛选数据对数据存储记录进行数据清洗。

7、进一步地,所述步骤s1中,具体步骤如下:

8、步骤s11:对产生业务数据的源头实体进行获取,得到多个预选数据主体;

9、步骤s12:针对预选数据主体创建存储调度时间片轮,对存储调度时间片轮单次轮转周期所对应的周期时长进行采集,得到调度片轮单转时长;

10、步骤s13:在所获取的预选数据主体任意选取一个样本数据主体,对样本数据主体在当前时刻所积压的待存储数据进行数据量统计,得到当前存储数据积压量;

11、步骤s14:以当前时刻作为周期开始时间点创建时间长度为调度片轮单转时长的实时数据产生预测周期,对样本数据主体进行存储数据历史产生量分析,根据分析结果对样本数据主体进行轮转周期数据产生速率预测;

12、步骤s15:获取每一个预选数据主体所对应的待调度存储总量,对所得的多个待调度存储总量进行求和,得到调度存储总量合计值;

13、步骤s16:将每一个预选数据主体所对应的待调度存储总量以及调度存储总量合计值设置为片轮存储采集数据。

14、进一步地,所述步骤s14中,具体步骤如下:

15、对样本数据主体所对应的历史工作时段分解为多个历史匹配周期,对样本数据主体在每一个历史匹配周期所执行的并行任务进行数量统计,得到多个历史并行任务数;

16、对样本数据主体在每一个历史匹配周期所对应的存储数据产生量进行采集,得到多个同期存储数据产生量;

17、将历史并行任务数与同期存储数据产生量进行线性拟合,得到数据产生量预测模型;

18、对样本数据主体在实时数据产生预测周期内的并行任务进行数量统计,得到实时并行任务量,将实时并行任务量作为自变量代入数据产生量预测模型,得到轮转周期数据产生速率;

19、计算轮转周期数据产生速率与调度片轮单转时长的乘积,得到轮转周期新增数据量,计算轮转周期新增数据量与当前存储数据积压量之和,得到样本数据主体所对应的待调度存储总量。

20、进一步地,所述步骤s2中,具体步骤如下:

21、根据片轮存储采集数据获取各预选数据主体所对应的待调度存储总量以及调度存储总量合计值;

22、计算每一个待调度存储总量与调度存储总量合计值的比值,得到每一个预选数据主体所对应的时间轮转占比;

23、将最大时间轮转占比所对应的预选数据主体标记为实时数据主体,计算调度片轮单转时长与时间轮转占比的乘积,得到轮转窗口时长,创建周期时长为轮转窗口时长的数据采集周期;

24、对处于数据采集周期的实时数据主体进行工作数据采集,对所采集的工作数据解构为若干个工作记录,若工作记录均为乱码,则将对应工作记录预判为无效存储数据,并直接对其进行剔除,若工作记录存在正常编码,则将对应工作记录预判为有效存储数据;

25、待实时数据主体所对应的数据采集周期结束,则对除实时数据主体之外的预设数据主体继续进行时间轮转占比数值比对,将最大时间轮转占比所对应的预设数据主体对实时数据主体进行替换,以此类推,直至实现最小时间轮转占比所对应的预设数据主体对实时数据主体进行替换,得到片轮存储初筛数据。

26、进一步地,所述步骤s3中,具体如下:

27、步骤s31:根据片轮存储初筛数据获取各预选数据主体所对应的有效存储数据,将有效存储数据解构为若干条数据存储记录;

28、步骤s32:在所采集数据存储记录中任意选取一个样本存储记录,采集历史存储记录,将样本存储记录与历史存储记录进行记录契合性匹配,根据匹配结果得到历史合理数据集;

29、步骤s33:获取各数据存储记录所对应的历史合理数据集,得到存储记录筛选数据。

30、进一步地,所述步骤s32中,具体步骤如下:

31、步骤s321:对样本存储记录在湖仓数据库中所属的数据存储模板进行采集,得到样本存储模板,基于样本存储模板对样本存储记录进行解构,得到样本记录解构数据;

32、步骤s322:对与样本记录解构数据字段格式完全相同的历史存储记录进行采集,得到多条历史存储记录,并选取特征存储记录;

33、步骤s323:若样本记录解构数据中的字段均为固定字段时,则将样本记录解构数据与特征存储记录进行固定字段类型一致性比对,若字段类型完全一致,则将特征存储记录标记为样本存储记录所对应的存储契合记录,若字段类型不完全一致,则将特征存储记录标记为样本存储记录所对应的非存储契合记录。

34、进一步地,所述步骤s32中,具体步骤如下:

35、步骤s324:若样本记录解构数据中的字段存在固定字段,则先将样本记录解构数据与特征存储记录进行固定字段类型一致性比对,若不完全一致,则将特征存储记录标记为样本存储记录所对应的非存储契合记录,若完全一致,则针对样本记录解构数据创建字段时序分析窗口,基于字段时序分析窗口对特征存储记录进行可变字段时序变化分析,根据分析结果将特征存储记录筛分为存储契合记录或非存储契合记录;

36、步骤s325:依托人工智能平台构建机器学习模型,以特征存储记录的类型筛分过程作为学习样本完成模型训练得到记录类型筛分模型,使用记录类型筛分模型对数据存储记录进行类型筛分,根据筛分结果获取样本存储记录所对应的存储契合记录,得到样本存储记录所对应的历史合理数据集。

37、进一步地,所述步骤s324中,具体步骤如下:

38、对样本存储记录中的可变字段进行采集,得到可变字段,并在所获取的可变字段中任意标记预选可变字段,将样本存储记录产生时间点作为窗口结束时间点创建字段时序分析窗口;

39、采集湖仓数据库中,预选可变字段在字段时序分析窗口覆盖时段内的历史存储值,得到若干个字段指标存储值;

40、创建可变字段量化坐标系,将横坐标为字段指标存储值产生时间点,纵坐标为字段指标存储值的坐标点在可变字段量化坐标系中标记,得到多个样本储值坐标点并依次连接,得到第一储值时序变化曲线;

41、将特征存储记录产生时间点作为窗口结束时间点创建一个窗口覆盖时长为调度片轮单转时长的时间窗口,得到特征时序分析窗口。

42、进一步地,所述步骤s324中,具体步骤如下:

43、对特征存储记录中,与预选可变字段相同的可变字段进行获取,得到特征可变字段,采集特征可变字段在特征时序分析窗口覆盖时段内的历史存储值,得到多个特征指标存储值,将横坐标为特征可变字段产生时间点,纵坐标为特征指标存储值的坐标点进行采集,得到多个特征储值坐标点并进行连接,得到第二储值时序变化曲线;

44、对第一储值时序变化曲线以及第二储值时序变化曲线进行变化一致性分析,根据分析结果得到时序变化偏差率;

45、创建时序偏差预设区间,若时序变化偏差率处于时序偏差预设区间,则将特征存储记录筛分为存储契合记录,若不处于,则将特征存储记录筛分为非存储契合记录。

46、进一步地,所述步骤s4中,具体步骤如下:

47、获取存储记录筛选数据,根据存储记录筛选数据获取每一个数据存储记录所对应的历史合理数据集;

48、在所获取的数据存储记录中选取样本存储记录,对样本存储记录所对应历史合理数据集中的存储契合记录进行采集,对所得多个存储契合记录所包含的字段取交集,得到契合字段交集,若样本存储记录中的任意字段属于契合字段交集内的字段,则对此字段进行保留,若样本存储记录中的任意字段不属于契合字段交集内的字段,则对此字段进行剔除;

49、样本存储记录对所保留的记录字段进行获取,并从中选取样本记录字段,对契合字段交集中与样本记录字段相同的记录字段进行采集,得到多个契合记录字段,对契合记录字段所包含的字符类型取交集,得到契合字符类型集合,若样本记录字段所属字符类型属于契合字段交集中的字符类型,则对样本记录字段进行保留,若样本记录字段所属字符类型不属于契合字段交集中的字符类型,则对样本记录字段进行剔除;

50、重复对样本存储记录进行数据清洗的过程,分别对每一个数据存储记录进行数据清洗。

51、综上所述,由于采用了上述技术方案,本发明的有益效果是:

52、1、本发明将记录筛分结果、字段清洗流程与时序曲线几何相似度分析形成连贯联动体系,字段筛选环节充分参考历史合理数据集的特征分布情况,经过统一口径清洗后的样本记录与历史契合记录字段维度保持一致,有效规避了传统固定清洗模板对异构数据适配性不足的问题,避免了无效字段冗余留存与有效字段误剔除的情况,能够大幅提升湖仓数据清洗结果的准确率;

53、2、本发明通过求取多条存储契合记录的字段交集,以此为基准动态完成样本存储记录的字段清洗,摆脱固定模板统一清洗的局限,依托同类历史记录的共有字段特征自适应确定清洗口径,能够保留具备横向对比意义的通用字段,弱化零散差异化字段带来的干扰,可有效压缩数据预处理的整体耗时,降低湖仓数据库运维成本,同时为后续湖仓内的数据挖掘、分析与应用提供更加可靠的数据源支撑。