一种基于工业互联网的数据中台构建方法、设备及介质与流程
本发明涉及工业互联网数据处理,特别是一种基于工业互联网的数据中台构建方法、设备及介质。
背景技术:
1、工业互联网平台通常汇聚分散控制系统、厂级监控信息系统、设备管理系统、边缘网关、关系数据库和消息队列中的生产过程数据与业务数据,并通过字段标准化、对象关联、时间窗口处理、数据聚合、分区存储和查询服务,形成面向设备运行分析、生产报表、经营管理及数字孪生应用的数据中台。
2、然而,现有方法仍存在两方面的局限性:一是字段映射、处理规则或补传数据发生变化后,影响会沿时间窗口、数据关联和分组聚合继续传递,按固定时间范围或原数据血缘确定处理范围时,可能遗漏重新计算后新增的关联记录;二是数据资产更新后,查询排序、分页和分组结果仍可能引用范围外记录,难以继续修正数据处理范围。
技术实现思路
1、鉴于上述现有存在的问题,提出了本发明。
2、因此,本发明提供了一种基于工业互联网的数据中台构建方法解决了工业互联网数据中台在多级数据处理关系变化后难以完整确定受影响数据范围并依据查询差异继续补充处理范围的问题。
3、为解决上述技术问题,本发明提供如下技术方案:
4、第一方面,本发明提供了一种基于工业互联网的数据中台构建方法,其包括,获取工业互联网平台的多源工业数据、工业对象数据及数据处理任务,记录源记录在各任务中的输入输出关系和数据版本,生成工业互联网数据中台构建基础记录;基于工业互联网数据中台构建基础记录识别字段、对象、处理规则及源记录变化,利用变化前后字段值沿时间窗口、数据关联和分组聚合关系循环补充待处理记录,生成数据变化处理范围记录;通过数据变化处理范围记录执行候选处理,对应现行输出与候选输出,从首次产生差异的处理任务反向追溯实际引用记录,补充遗漏输入及待结束输出,生成数据处理输入输出引用范围确认记录;根据数据处理输入输出引用范围确认记录生成候选数据资产版本并建立查询索引,对现行版本与候选版本执行同一用户输入和数据截止边界下的对应版本查询,将未能对应至输出变化的查询差异反向补充至数据处理范围,生成数据中台构建结果。
5、作为本发明所述基于工业互联网的数据中台构建方法的一种优选方案,其中:所述获取工业互联网平台的多源工业数据、工业对象数据及数据处理任务,记录源记录在各任务中的输入输出关系和数据版本包括:按照数据源编号、字段结构版本和工业对象编号登记多源工业数据,生成源记录编号;在字段转换、时间窗口划分、数据关联、分组聚合和数据资产写入过程中,记录任务执行批次、输入记录、输出记录、任务执行前后字段值、记录引用关系及数据版本,按照任务接续顺序生成工业互联网数据中台构建基础记录。
6、作为本发明所述基于工业互联网的数据中台构建方法的一种优选方案,其中:所述基于工业互联网数据中台构建基础记录识别字段、对象、处理规则及源记录变化,利用变化前后字段值沿时间窗口、数据关联和分组聚合关系循环补充待处理记录,生成数据变化处理范围记录包括:分别比较现行版本与候选版本的数据源字段结构、工业对象对应关系、数据处理规则和源记录内容,按照字段结构生效时间、工业对象版本生效时间、处理规则作用起始时间及源记录业务时间确定变化生效时间,基于变化生效时间和数据处理路径提取初始待处理记录。
7、作为本发明所述基于工业互联网的数据中台构建方法的一种优选方案,其中:所述基于工业互联网数据中台构建基础记录识别字段、对象、处理规则及源记录变化,利用变化前后字段值沿时间窗口、数据关联和分组聚合关系循环补充待处理记录,生成数据变化处理范围记录包括:对初始待处理记录按照候选版本执行数据处理,比较变化前后的时间值、关联字段值和分组字段值;时间值变化时读取现行时间窗口和候选时间窗口内的记录,关联字段值变化时读取现行关联结果和候选关联结果,分组字段值变化时读取现行分组和候选分组内的记录,将新增记录从其首次参与的数据处理任务开始再次处理,直至各轮不再产生新的源记录、中间记录、分组字段值、数据分区或者输出行键,生成数据变化处理范围记录。
8、作为本发明所述基于工业互联网的数据中台构建方法的一种优选方案,其中:所述通过数据变化处理范围记录执行候选处理,对应现行输出与候选输出包括:按照业务主键、组合唯一字段或者数据处理任务配置的输出记录对应字段匹配现行输出与候选输出,将现行输出分别标记为沿用状态、更新状态或者结束状态,将候选输出分别标记为沿用状态、更新状态或者新增状态,按照任务执行顺序确定首次出现输出记录数量、字段值、来源记录、数据版本或者输出行键差异的数据处理任务。
9、作为本发明所述基于工业互联网的数据中台构建方法的一种优选方案,其中:所述从首次产生差异的处理任务反向追溯实际引用记录,补充遗漏输入及待结束输出,生成数据处理输入输出引用范围确认记录包括:从首次产生差异的数据处理任务读取候选输出实际引用的源记录和中间记录,将未处于数据变化处理范围内的引用记录加入待处理记录;读取候选处理中不再生成的现行输出及引用该现行输出的数据处理任务,将对应输入记录和任务加入重新执行范围,重复执行候选处理和输出状态确定,直至候选输出引用记录均处于待处理记录范围且现行受影响输出均完成状态标记,生成数据处理输入输出引用范围确认记录。
10、作为本发明所述基于工业互联网的数据中台构建方法的一种优选方案,其中:所述根据数据处理输入输出引用范围确认记录生成候选数据资产版本并建立查询索引包括:根据候选输出状态,将更新状态和新增状态的候选输出写入候选数据资产记录,将沿用状态的候选输出与对应现行数据资产记录建立版本引用关系,将结束状态的现行输出写入待结束数据资产版本记录;按照数据资产编号、数据分区、数据资产行键和候选版本编号建立候选版本查询索引,并以工业对象编号、数据项目编号和数据时间建立联合查询索引。
11、作为本发明所述基于工业互联网的数据中台构建方法的一种优选方案,其中:所述对现行版本与候选版本执行同一用户输入和数据截止边界下的对应版本查询,将未能对应至输出变化的查询差异反向补充至数据处理范围,生成数据中台构建结果包括:在同一数据构建快照范围内,分别采用现行数据资产版本和候选数据资产版本执行数据服务查询,将查询差异与候选输出状态及数据服务配置变化进行对应;对无法形成对应关系的返回记录差异、分组差异、排序差异或者分页边界差异,按照数据资产记录、中间记录和源记录之间的引用关系追溯源记录并补充数据处理范围,重复生成候选数据资产版本和执行数据服务查询,直至不再产生新增处理记录及无法对应的查询差异,生成数据中台构建结果。
12、第二方面,本发明提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其中:所述计算机程序被处理器执行时实现如本发明第一方面所述的基于工业互联网的数据中台构建方法的任一步骤。
13、第三方面,本发明提供了一种计算机可读存储介质,其上存储有计算机程序,其中:所述计算机程序被处理器执行时实现如本发明第一方面所述的基于工业互联网的数据中台构建方法的任一步骤。
14、本发明有益效果为:通过沿时间窗口、数据关联和分组聚合关系循环补充待处理记录,生成数据变化处理范围记录,使新增关联记录和受影响分组记录纳入处理范围,用于确定工业互联网数据中台的数据重算边界,提高变化影响范围识别的完整性;通过建立候选数据资产版本和查询索引,对现行版本与候选版本执行同一用户输入和数据截止边界下的对应版本查询,将未能对应至输出变化的查询差异补充至数据处理范围,用于校正排序、分页和分组查询涉及的范围外记录,提高数据中台构建结果的完整性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com