一种基于人工智能的大数据动态清洗与特征增强方法与流程

摘要: 本发明涉及计算机数据处理,尤其涉及一种基于人工智能的大数据动态清洗与特征增强方法。背景技术:1、在大数据与人工智能时代,海量数据的处理与分析是驱动各行业智能化发...
一种基于人工智能的大数据动态清洗与特征增强方法与流程

本发明涉及计算机数据处理,尤其涉及一种基于人工智能的大数据动态清洗与特征增强方法。

背景技术:

1、在大数据与人工智能时代,海量数据的处理与分析是驱动各行业智能化发展的核心引擎。数据处理流程通常包括数据采集、数据清洗、特征工程、模型训练与应用等环节。数据清洗旨在修正或删除原始数据中的错误、不一致和缺失部分,而特征工程则致力于从清洗后的数据中提取或构建对下游机器学习模型有益的特征,这些数据处理操作是构建高性能人工智能应用不可或缺的基础环节。

2、在现有技术中,处理动态大数据流通常采用一种顺序化的、模块分离的流水线作业模式。首先,数据流被分块或按时间窗口切分,送入数据清洗模块。该模块通常采用预设的静态规则或统计模型来填充缺失值、去重或修正异常值,完成清洗后,被认为是“干净”的数据再被传递给独立的特征工程模块,该模块依据固定的算法或专家知识库来派生新特征,整个过程是单向、串联的。

3、现有技术方案在应对高速、动态变化的大数据流时存在明显的技术缺陷,严格的顺序化处理导致清洗过程与特征工程过程相互割裂,清洗模块在不了解后续特征需求的情况下,可能会将某些被视为异常但对特征挖掘至关重要的信息点误删或过度平滑,基于静态规则的清洗和特征提取方法无法适应数据流中普遍存在的概念漂移现象,即数据分布和特征关联性随时间动态变化,导致模型性能随时间推移而持续衰减,简单的数据分块处理方式破坏了数据内部跨越块边界的逻辑或关联性,使得依赖长程上下文的清洗修复和特征生成变得不可靠,存在改进的空间。

技术实现思路

1、本发明实施例提供基于人工智能的大数据动态清洗与特征增强方法,用以采用一种创建双尺度数据流序列并驱动清洗与增强模型进行自适应博弈的协同处理机制,解决数据流处理中实时性与完整性的矛盾,并自适应应对数据概念漂移,同步提升数据质量与特征价值。

2、为达到上述目的,本发明采用如下技术方案:

3、第一方面,提供一种基于人工智能的大数据动态清洗与特征增强方法,该方法应用于计算终端,该方法包括以下步骤:

4、获取原始动态大数据流,对所述原始动态大数据流并行生成实时响应流流序列以及完整性保留流流序列,得到双尺度流序列;

5、基于所述双尺度流序列之间的数据片段映射关系建立跨流序列跨块的对齐索引,生成时空记忆锚点;

6、根据所述时空记忆锚点,并行执行清洗模型以及增强模型,所述清洗模型以所述实时响应流流序列为输入并引用所述完整性保留流流序列提供的高层语义上下文进行约束性生成,得到中间修复数据;所述增强模型以所述中间修复数据为输入并引用所述完整性保留流流序列中跨块特征关系进行试探性虚拟特征构建,得到试探性特征;

7、获取应用所述中间修复数据与所述试探性特征后的下游模型的性能变化量,并根据所述性能变化量生成博弈调整信号;

8、利用层次化置信传播机制,将所述博弈调整信号反向更新所述时空记忆锚点中各映射关系的置信度权重,得到更新的时空记忆锚点,并将所述更新的时空记忆锚点作为下一处理周期的初始锚点。

9、可选地,所述对所述原始动态大数据流并行生成实时响应流流序列以及完整性保留流流序列,得到双尺度流序列,包括:

10、对所述原始动态大数据流按固定时间窗口进行粗粒度切块,生成所述实时响应流流序列;

11、对同一所述原始动态大数据流实时检测特征空间突变率以及时序阶跃点,根据所述特征空间突变率以及所述时序阶跃点动态确定分割点,按所述分割点进行语义内聚分割,得到若干分割块,并组合生成所述完整性保留流流序列;

12、将所述实时响应流流序列与所述完整性保留流流序列标记为所述双尺度流序列。

13、可选地,所述基于所述双尺度流序列之间的数据片段映射关系建立跨流序列跨块的对齐索引,生成时空记忆锚点,包括:

14、对所述实时响应流流序列中的每个数据块,识别其对应的时间戳区间与业务键标识;

15、从所述完整性保留流流序列中匹配包含所述时间戳区间且满足所述业务键标识的至少一个分割块,生成数据片段映射关系;

16、将所述数据片段映射关系存储为指针矩阵,并初始化每个所述数据片段映射关系对应的初始置信度权重,得到所述时空记忆锚点。

17、可选地,所述并行执行清洗模型以及增强模型之前,还包括:

18、获取所述清洗模型的初始保真度惩罚系数以及所述增强模型的初始试探范围;

19、根据所述初始保真度惩罚系数和所述初始试探范围,生成初始博弈参数,并将所述初始博弈参数作为所述博弈调整信号的生成基准。

20、可选地,所述清洗模型以所述实时响应流流序列为输入并引用所述完整性保留流流序列提供的高层语义上下文进行约束性生成,得到中间修复数据,包括:

21、获取所述实时响应流流序列中每个待修复数据点及其在所述实时响应流流序列中的局部邻域数据;

22、通过所述时空记忆锚点查询所述待修复数据点在所述完整性保留流流序列中对应的高层语义上下文,得到跨块模式分布;

23、基于所述跨块模式分布与所述局部邻域数据,执行带保真度惩罚的生成函数,生成所述中间修复数据。

24、可选地,所述增强模型以所述中间修复数据为输入并引用所述完整性保留流流序列中跨块特征关系进行试探性虚拟特征构建,得到试探性特征,包括:

25、识别所述中间修复数据中与所述清洗模型的修复结果偏差超过动态偏差阈值的异常数据点;

26、通过所述时空记忆锚点获取所述异常数据点在所述完整性保留流流序列中的跨块关联数据序列;

27、根据所述跨块关联数据序列,建立所述异常数据点与所述跨块关联数据序列中其他数据点之间的假设性关联路径,并对所述假设性关联路径进行数学映射,生成所述试探性特征。

28、可选地,所述获取应用所述中间修复数据与所述试探性特征后的下游模型的性能变化量,并根据所述性能变化量生成博弈调整信号,包括:

29、将所述中间修复数据与所述试探性特征合并后输入所述下游模型,获取所述下游模型当前处理周期内的第一性能指标;

30、获取所述下游模型在未使用所述试探性特征的对应历史周期的第二性能指标,将所述第二性能指标与所述第一性能指标进行差值计算,得到所述性能变化量;

31、根据所述性能变化量的正负方向与大小,生成所述博弈调整信号。

32、可选地,所述利用层次化置信传播机制,将所述博弈调整信号反向更新所述时空记忆锚点中各映射关系的置信度权重,得到更新的时空记忆锚点,包括:

33、对所述博弈调整信号进行解析,识别出导致下游模型性能提升的正向调整信号以及导致下游模型性能下降的负向调整信号;

34、根据所述正向调整信号增加对应数据片段映射关系在所述时空记忆锚点中的当前置信度权重,根据所述负向调整信号减少对应数据片段映射关系的当前置信度权重,得到调整后置信度权重;

35、将所述调整后置信度权重写入所述时空记忆锚点对应的指针矩阵,得到所述更新的时空记忆锚点。

36、可选地,还包括:

37、获取所述完整性保留流流序列中每个所述分割块内数据的熵值以及块间关联度;

38、当所述熵值低于熵值阈值且所述块间关联度高于关联度阈值时,增大所述分割点的动态调整步长;

39、当所述熵值高于所述熵值阈值且所述块间关联度低于所述关联度阈值时,减小所述分割点的动态调整步长;

40、将调整后的动态调整步长应用于下一个分割点的确定过程。

41、第二方面,提供了一种基于人工智能的大数据动态清洗与特征增强系统,包括:

42、双尺度流序列生成模块,用于获取原始动态大数据流,对所述原始动态大数据流并行生成实时响应流流序列以及完整性保留流流序列,得到双尺度流序列;

43、时空记忆锚点构建模块,用于基于所述双尺度流序列之间的数据片段映射关系建立跨流序列跨块的对齐索引,生成时空记忆锚点;

44、博弈式清洗与增强模块,用于根据所述时空记忆锚点,并行执行清洗模型以及增强模型,所述清洗模型以所述实时响应流流序列为输入并引用所述完整性保留流流序列提供的高层语义上下文进行约束性生成,得到中间修复数据;所述增强模型以所述中间修复数据为输入并引用所述完整性保留流流序列中跨块特征关系进行试探性虚拟特征构建,得到试探性特征;

45、博弈调整模块,用于获取应用所述中间修复数据与所述试探性特征后的下游模型的性能变化量,并根据所述性能变化量生成博弈调整信号;

46、置信传播更新模块,用于利用层次化置信传播机制,将所述博弈调整信号反向更新所述时空记忆锚点中各映射关系的置信度权重,得到更新的时空记忆锚点,并将所述更新的时空记忆锚点作为下一处理周期的初始锚点。

47、第三方面,提供了一种电子设备,包括:处理器和存储器;该存储器用于存储计算机程序,当该处理器执行该计算机程序时,以使该电子设备执行第一方面所述的基于人工智能的大数据动态清洗与特征增强方法。

48、在一种可能的设计方案中,第三方面所述的电子设备还可以包括收发器。该收发器可以为收发电路或接口电路。该收发器可以用于第三方面所述的电子设备与其他电子设备通信。

49、在本发明实施例中,第三方面所述的电子设备可以为终端,或者可设置于该终端中的芯片(系统)或其他部件或组件,或者包含该终端的系统。

50、第四方面,提供一种计算机可读存储介质,包括:计算机程序或指令;当该计算机程序或指令在计算机上运行时,使得该计算机执行第一方面所述的基于人工智能的大数据动态清洗与特征增强方法。

51、综上,上述方法及系统具有如下技术效果:

52、本发明通过双尺度流序列并行处理与时空记忆锚点逻辑关联的机制,在不牺牲数据处理实时性的前提下,维护了动态数据流中跨越物理分块的逻辑链路完整性,解决了传统分块处理导致关键上下文信息丢失的问题,为后续精准的清洗与深度特征挖掘提供了高质量的数据基础,通过构建了数据清洗与特征增强之间的对抗式双目标博弈框架,通过下游模型性能的实时反馈,动态调整清洗模型的保守性和增强模型的探索性,使两个原本相互制约的过程转变为相互促进、协同进化的关系,实现数据质量与特征价值的同步、非线性提升,整体效果远超传统串行处理模式的简单叠加,从而能够自动适应数据概念漂移,长期保持高性能,显著降低了人工维护成本。