历史数仓任务整理和优化的方法、系统、电子设备及计算机可读存储介质与流程
本发明涉及数据仓库管理、数据治理及人工智能,尤其涉及一种基于人工智能实现历史数仓任务整理和优化的方法、系统、电子设备。
背景技术:
1、数据仓库用于对海量业务数据进行抽取、清洗、转换、加载和统计分析。随着企业信息化系统长期迭代,数据仓库集群中通常积累大量历史数据仓库任务。该类任务的任务脚本、调度配置、执行日志、资源消耗情况以及表级或字段级血缘信息常分散存储;部分任务还可能存在文档缺失、原维护人员变更、上下游依赖关系不清晰等情形。由此,运维人员难以快速判断历史任务是否仍被使用、是否存在重复计算、调整后会波及哪些任务,以及优化后是否能够保持原有计算结果正确。
2、现有技术中,公开号为cn120578463a、名称为“车联网数仓优化方法、装置及车辆”的专利文献公开了:获取数仓计算任务的信号、优先级和任务类型,基于任务之间的信号命中率和关联度,并结合优先级、任务类型对数仓计算任务进行合并。该方案着重于依据任务信号的复用关系完成任务合并,以改善计算资源使用效率。
3、公开号为cn119046267a、名称为“一种数据仓库的优化方法、装置、设备和介质”的专利文献公开了:获取数据仓库中数据的血缘链路,构建包括表顶点和字段顶点的血缘有向图,确定表顶点的字段使用率和字段饱和率,并据此对数据仓库进行优化。该方案主要基于表和字段的血缘统计指标实施数据仓库优化。
4、此外,公开号为cn114238390a的专利文献基于数据仓库表血缘关系图确定待优化表并进行删除;公开号为cn114595294a的专利文献涉及基于主题、维度表、事实表和汇聚表的数据仓库建模与抽取。上述技术为数据仓库的清理、建模或局部优化提供了不同实现路径。
5、然而,面对规模较大的历史任务集合,单纯依据任务间信号关联、单一血缘指标或待优化表的识别结果,仍难以形成覆盖任务全貌、依赖风险、资源利用情况和实施结果验证的统一处理链路。特别是,若缺乏在优化前后对任务输出结果进行自动化校验和失败回滚的机制,直接实施任务合并、调度调整或sql改写可能带来数据结构或计算结果不一致的风险;同时,既有优化案例中的成功经验与失败教训未被结构化沉淀时,后续优化仍需重复人工判断,难以持续提高策略选择的准确性。
技术实现思路
1、本发明的目的是克服现有技术的不足,提供一种历史数仓任务整理和优化的方法、系统、电子设备及计算机可读存储介质,以至少解决历史数据仓库任务梳理效率低、优化方案缺乏可解释依据、优化实施风险难以自动验证以及优化经验难以持续积累的问题。
2、为实现以上目的,本发明通过以下技术方案予以实现:本发明提供一种历史数仓任务整理和优化的方法,应用于数据仓库集群,所述方法包括:
3、s1、对所述数据仓库集群中的历史数据仓库任务进行全局扫描,采集每一历史数据仓库任务的任务脚本、调度配置、执行日志、资源消耗记录和血缘关系元数据;基于所述元数据构建端到端的数据血缘有向图,并根据执行频率、资源消耗、任务复杂度和血缘深度构建各历史数据仓库任务的任务特征;
4、s2、利用无监督学习算法对所述任务特征进行聚类,以对所述历史数据仓库任务进行自动分类,并基于分类结果、所述数据血缘有向图和所述资源消耗记录,构建包括活跃度、复杂度、冗余度、依赖健康度和资源效率的任务健康度画像;
5、s3、根据所述任务健康度画像和所述数据血缘有向图识别待优化问题,并从skill知识库中匹配与所述待优化问题对应的优化策略,生成优化方案;其中,所述优化方案包括优化操作、预期收益、风险等级、影响范围评估和优化原因说明;
6、s4、响应于针对所述优化方案的评审确认,自动执行所述优化操作;
7、s5、将优化后的任务输出结果与优化前的任务输出结果进行逐层数据一致性校验,在校验不通过时自动回滚至优化前状态;
8、s6、将优化前状态、所述优化操作、优化后结果和校验结论作为优化案例存入所述skill知识库,利用无监督学习算法从所述优化案例中提炼成功模式和失败教训,更新所述skill知识库中各优化策略的推荐权重,以用于后续历史数据仓库任务的优化。
9、进一步地,在步骤s1中,基于所述元数据构建端到端的数据血缘有向图,包括:基于任务脚本的静态代码分析和/或执行日志的运行时追踪,确定表级依赖关系和字段级依赖关系,并将所述表级依赖关系和所述字段级依赖关系写入所述数据血缘有向图。
10、进一步地,在步骤s2中,所述自动分类包括活跃任务、僵尸任务、冗余任务和异常任务;所述僵尸任务为在预设时间段内未执行的任务,所述异常任务包括资源消耗超过与其所属聚类对应的资源消耗阈值的任务。
11、进一步地,在步骤s3中,所述待优化问题包括重复任务、资源浪费、复杂血缘链路中的至少一种;所述优化操作包括任务合并、调度重排、sql改写、冗余清理和血缘剪枝中的至少一种。
12、进一步地,在步骤s3中,所述风险等级和所述影响范围评估通过如下方式确定:根据所述数据血缘有向图确定与待优化问题对应任务存在上下游依赖关系的关联任务,并结合所述关联任务的任务优先级、执行频率和血缘深度,确定所述风险等级和所述影响范围。
13、进一步地,在步骤s5中,逐层数出据一致性校验包括对优化前后的任务输结果依次执行schema一致性校验、数据行数校验、聚合结果校验和采样数据比对;在任一校验未通过时,触发所述自动回滚。
14、进一步地,在步骤s6中,利用无监督学习算法从所述优化案例中提炼成功模式和失败教训,更新所述skill知识库中各优化策略的推荐权重,包括:利用关联规则挖掘和/或聚类分析,确定优化策略、待优化问题类型、风险等级与校验结论之间的关联关系;根据所述关联关系以及各优化策略对应的历史校验通过率,调整所述优化策略的推荐权重。
15、本发明还提供一种历史数仓任务整理和优化的系统,包括:
16、数据采集层,用于对数据仓库集群中的历史数据仓库任务进行全局扫描,采集任务脚本、调度配置、执行日志、资源消耗记录和血缘关系元数据;
17、ai智能分析层,用于构建端到端的数据血缘有向图,利用无监督学习算法对历史数据仓库任务进行自动分类并构建任务健康度画像,根据所述任务健康度画像和所述数据血缘有向图识别待优化问题,从skill知识库中匹配优化策略并生成包括优化操作、预期收益、风险等级、影响范围评估和优化原因说明的优化方案;
18、优化执行层,用于响应于针对所述优化方案的评审确认,执行所述优化操作,并对优化后的任务输出结果与优化前的任务输出结果进行逐层数据一致性校验,在校验不通过时自动回滚至优化前状态;以及
19、持续学习层,用于将优化前状态、优化操作、优化后结果和校验结论作为优化案例存入skill知识库,并利用无监督学习算法提炼成功模式和失败教训,以更新skill知识库中各优化策略的推荐权重。
20、本发明还提供一种电子设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述电子设备执行上述的方法。
21、本发明还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时,实现上述的方法。
22、与现有技术相比,本发明具有以下有益效果:
23、与仅针对任务信号复用、表字段血缘统计或待优化表清理的方案相比,本发明通过采集任务脚本、调度配置、执行日志、资源消耗记录和血缘关系元数据,并通过无监督聚类构建多维任务健康度画像,能够在任务级别形成包含活跃度、复杂度、冗余度、依赖健康度和资源效率的全局梳理结果,从而提高历史任务识别和分类的覆盖度。
24、通过结合任务健康度画像与数据血缘有向图识别待优化问题,并生成同时包括优化操作、预期收益、风险等级、影响范围评估和优化原因说明的优化方案,使每一优化建议能够对应具体数据依据和影响范围,从而提高方案的可解释性以及评审决策效率。
25、通过在评审确认后执行优化操作,并以schema一致性、数据行数、聚合结果及采样数据比对构成逐层数据一致性校验,在任一校验不通过时回滚至优化前状态,能够降低任务合并、调度重排、sql改写或冗余清理造成的数据结果错误风险。
26、通过将优化前状态、优化操作、优化后结果和校验结论构造成优化案例,并以无监督学习提炼成功模式和失败教训、动态调整优化策略的推荐权重,能够将历史优化经验转化为可复用的策略知识,从而提高后续同类任务优化的策略匹配效率和校验通过率。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com