煤矿多源异构数据血缘构建与智能调度协调方法及系统与流程
本发明涉及煤矿智能化领域,尤其涉及煤矿多源异构数据血缘构建与智能调度协调方法及系统。
背景技术:
1、煤矿行业在智能化建设过程中,数据来源多样、格式各异,涉及无线传感器数据、设备运行参数、环境监测数据、生产调度数据等多源异构数据。这些数据在进入上层应用前,需要经过采集接入、清洗转换、算法处理、结果输出等多个环节,形成了复杂的数据血缘关系。然而,现有的煤矿数据管理方式存在以下问题:
2、1、数据血缘关系不透明:煤矿多源异构数据从接入到最终结果输出的全链路流转过程缺乏可视化手段,运维人员无法直观了解数据从原始采集到最终应用的完整转换路径,难以追溯数据来源和去向。
3、2、血缘关系的构建依赖人工配置:不同数据源之间的关联关系需要手动逐一配置,面对煤矿大量传感器设备和数据表的场景,操作繁琐、效率低下,且容易出现遗漏或错误。
4、3、数据处理任务调度缺乏智能化:煤矿数据处理任务(如数据清洗、算法分析、结果汇总)的执行频率和时间策略需要手动设置,无法根据数据特征和业务需求进行智能推荐和动态调整。
5、4、多源异构数据的字段映射与标准化困难:不同传感器、不同设备的数据格式不统一,字段命名和类型各异,缺乏统一的字段映射和标准化方法,导致数据集成效率低。
技术实现思路
1、本发明目的是针对上述问题,提供一种操作简单、优化调度时序、提高数据集成效率的煤矿多源异构数据血缘构建与智能调度协调方法及系统。
2、为了实现上述目的,本发明的技术方案是:
3、煤矿多源异构数据血缘构建与智能调度协调方法,包括以下步骤:
4、s1、对多源异构数据进行配置并输入;
5、s2、通过mqtt获取输入的多源异构数据样例并对其字段结构进行解析;
6、s3、调用ai大模型对多源异构数据样例以及解析内容进行分析,推荐适用于该多源异构数据的字段映射与转换规则;
7、s4、用户对于ai大模型推荐的字段映射与转换规则进行确认或否决;若否决,则返回步骤s3,令ai大模型重新推荐另一种字段映射与转换规则;若确认,则进行下一步;
8、s5、接入多源异构数据的全部内容,创建目标表并按照选择的映射与转换规则对多源异构数据进行处理;
9、s6、根据处理后的多源异构数据以及目标表构建数据血缘关系图;
10、s7、对构建的数据血缘关系图进行校验,若校验合格,则进行下一步;若校验不合格,则返回步骤s6重新进行数据血缘关系图构建操作;
11、s8、对校验合格后的数据血缘关系图进行孤立节点过滤操作,并转换为json格式进行存储;
12、s9、根据数据血缘关系图生成调度任务并关联数据血缘关系图中的血缘id;
13、s10、用户选择配置所需的调度任务策略;
14、s11、根据调度任务策略启用并执行调度任务;
15、s12、执行调度任务期间,同步判断血缘id是否存在变更,若不存在变更,则继续进行步骤s11;若存在变更,检测该变更血缘id的关联调度任务,一同返回步骤s10进行调度任务策略调整。
16、进一步的,所述步骤s7中,对构建的数据血缘关系图进行校验时,依次以ods、算法脚本、结果表的顺序形成有向无环图进行校验。
17、进一步的,所述步骤s10中,调度任务策略包括每隔若干小时、每日、每周、每月四种调动模式。
18、进一步的,所述步骤s11中,执行调度任务时,依次以源表读取、算法执行、结果表写入进行调度任务执行操作。
19、一种煤矿多源异构数据血缘构建与智能调度协调系统,所述系统包括展现层、业务逻辑层、数据服务层,展现层、业务逻辑层、数据服务层之间相互连接并实现数据传输。
20、进一步的,所述展现层包括基于有向图引擎渲染数据血缘关系图的数据血缘可视化模块、用于多源异构数据接入配置及字段映射的数据集成管理模块、用于展示调度任务血缘链路和执行策略的调度任务管理模块;
21、所述业务逻辑层包括用于构建数据血缘关系图及校验的血缘关系构建引擎、用于进行字段映射推荐及数据标准化处理的ai大模型标准化处理引擎、用于生成调度任务的智能调度协调引擎、用于在画布行进行布局的布局计算引擎;
22、所述数据服务层包括用于进行数据存储的关系型数据库、用于提供mqtt数据的mqtt数据源、用于实现ai大模型数据传输的ai大模型服务接口及tdengine时序数据库接口;
23、所述mqtt数据源的输出端与数据集成管理模块的输入端相连接,数据集成管理模块的输出端与ai大模型标准化处理引擎的输入端相连接,ai大模型标准化处理引擎的输出端分别与ai大模型服务接口、tdengine时序数据库接口的输入端相连接,tdengine时序数据库接口的输出端分别与ai大模型标准化处理引擎、数据血缘可视化模块的输入端相连接,数据血缘可视化模块的输出端分别与血缘关系构建引擎、布局计算引擎的输入端相连接,调度任务管理模块的输出端与智能调度协调引擎的输入端相连接,血缘关系构建引擎、布局计算引擎、智能调度协调引擎的输出端与关系型数据库的输入端相连接。
24、进一步的,所述关系型数据库包括用于存储血缘关系数据的血缘关系模型、用于存储调度数据的调度任务模型、用于存储数据源配置信息的数据集成配置模型。
25、进一步的,所述血缘关系模型采用图结构,由节点集合和边集合组成;节点包含的存储信息为:唯一标识、节点类型、中英文命名、关联表id、画布坐标;边包含的存储信息为:唯一标识、起始节点id、目标节点id。
26、进一步的,所述调度任务模型包含的存储信息为:调度任务id、关联血缘id、启停状态、执行间隔类型、执行时间参数、源表名、算法名、输出表名。
27、进一步的,所述数据集成配置模型包含的存储信息为:数据源类型、接入名称、mqtt连接参数、订阅topic、目标表及字段映射列表。
28、与现有技术相比,本发明具有的优点和积极效果是:
29、1、提升数据血缘的可视化程度:通过有向无环图的可视化方式,直观展示煤矿多源异构数据从采集、处理到输出的完整链路,帮助运维人员快速理解数据流转关系,提高数据治理效率;
30、2、降低血缘构建的人工成本:引入ai大模型辅助字段映射和脚本生成,利用大模型对煤矿数据语义的理解能力,自动推荐字段对应关系和数据转换规则,减少人工逐一配置的工作量;
31、3、实现血缘与调度的协调联动:将血缘关系与调度任务进行双向绑定,调度任务能够感知血缘链路中的上下游依赖关系,自动协调执行顺序,避免数据处理的时序冲突;
32、4、提高数据集成效率:通过统一的数据集成管理模块和ai辅助的字段映射,解决了煤矿多源异构数据(mqtt实时流、tdengine时序数据、传感器报文等)的标准化接入问题,降低了不同型号传感器数据适配的复杂度。
1.煤矿多源异构数据血缘构建与智能调度协调方法,其特征在于:包括以下步骤:
2.如权利要求1所述的煤矿多源异构数据血缘构建与智能调度协调方法,其特征在于:所述步骤s7中,对构建的数据血缘关系图进行校验时,依次以ods、算法脚本、结果表的顺序形成有向无环图进行校验。
3.如权利要求1所述的煤矿多源异构数据血缘构建与智能调度协调方法,其特征在于:所述步骤s10中,调度任务策略包括每隔若干小时、每日、每周、每月四种调动模式。
4.如权利要求1所述的煤矿多源异构数据血缘构建与智能调度协调方法,其特征在于:所述步骤s11中,执行调度任务时,依次以源表读取、算法执行、结果表写入进行调度任务执行操作。
5.一种用于实施如权利要求1所述的煤矿多源异构数据血缘构建与智能调度协调方法的煤矿多源异构数据血缘构建与智能调度协调系统,其特征在于:所述系统包括展现层、业务逻辑层、数据服务层,展现层、业务逻辑层、数据服务层之间相互连接并实现数据传输。
6.如权利要求5所述的煤矿多源异构数据血缘构建与智能调度协调系统,其特征在于:所述展现层包括基于有向图引擎渲染数据血缘关系图的数据血缘可视化模块、用于多源异构数据接入配置及字段映射的数据集成管理模块、用于展示调度任务血缘链路和执行策略的调度任务管理模块;
7.如权利要求6所述的煤矿多源异构数据血缘构建与智能调度协调系统,其特征在于:所述关系型数据库包括用于存储血缘关系数据的血缘关系模型、用于存储调度数据的调度任务模型、用于存储数据源配置信息的数据集成配置模型。
8.如权利要求7所述的煤矿多源异构数据血缘构建与智能调度协调系统,其特征在于:所述血缘关系模型采用图结构,由节点集合和边集合组成;节点包含的存储信息为:唯一标识、节点类型、中英文命名、关联表id、画布坐标;边包含的存储信息为:唯一标识、起始节点id、目标节点id。
9.如权利要求7所述的煤矿多源异构数据血缘构建与智能调度协调系统,其特征在于:所述调度任务模型包含的存储信息为:调度任务id、关联血缘id、启停状态、执行间隔类型、执行时间参数、源表名、算法名、输出表名。
10.如权利要求7所述的煤矿多源异构数据血缘构建与智能调度协调系统,其特征在于:所述数据集成配置模型包含的存储信息为:数据源类型、接入名称、mqtt连接参数、订阅topic、目标表及字段映射列表。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com