一种制造企业主数据清洗与质量校验方法及系统与流程

本发明涉及计算机数据处理领域，具体涉及一种制造企业主数据清洗与质量校验方法及系统。

背景技术：

1、随着制造企业数字化研发和智能制造体系的建设，产品生命周期管理系统、企业资源计划系统和制造执行系统被分别用于管理产品设计数据、物料及库存数据和生产执行数据。由于各系统的建设时间、数据模型、编码规则、字段结构及生命周期状态定义存在差异，同一物料、零部件或者工艺对象可能在不同系统中具有不同的对象标识、属性名称、计量单位和版本状态，也可能出现同一对象标识对应不同技术状态或者不同制造用途的情况。随着历史数据持续积累，上述差异容易形成重复主数据、同码异物、异码同物及版本有效区间重叠等数据质量问题。

2、现有主数据清洗方式通常依据对象名称、规格型号、字段相似度或者来源系统优先级识别重复记录，并通过字段覆盖、编码映射或者记录合并形成标准主数据；部分方案还在清洗后对字段完整性、主外键关系或者系统间数据一致性进行校验。然而，制造主数据不仅包括对象属性，还与物料清单、工艺路线、生产工单、质量检验、库存批次及装配履历形成关联。两个对象属性相近的记录可能分别对应不同物料清单位置、工艺版本或者技术状态，若仅依据属性相似性进行合并，可能造成物料清单关系错接、工艺适用关系混淆或者同一有效区间内存在多个生效版本。

3、另外，现有清洗方式通常将原制造主数据记录的全部关联关系一并迁移至清洗后的标准记录，未区分尚未执行的业务引用和已经形成生产实绩、检验结果、库存流转记录或者装配履历的历史引用。对于已经形成执行记录的业务对象，若在主数据清洗过程中改变其引用指向，可能使历史生产数据与实际使用的物料版本不一致，影响产品追溯和质量责任定位。因此，如何在正式修改主数据前验证合并或者拆分操作对物料清单关系、工艺适用关系和制造执行引用关系的影响，并在统一后续业务引用的同时保持既有制造执行事实不变，是制造企业主数据清洗与质量校验过程中需要解决的问题。

技术实现思路

1、针对现有技术的不足，本发明提供了一种制造企业主数据清洗与质量校验方法及系统，以解决现有技术中存在的技术问题。

2、本发明的上述技术目的是通过以下技术方案得以实现的：

3、一种制造企业主数据清洗与质量校验方法，包括以下步骤：

4、s1：获取来自产品生命周期管理系统、企业资源计划系统和制造执行系统的制造主数据记录以及与制造主数据记录关联的制造关联记录，制造关联记录包括物料清单关系、工艺适用关系和制造执行引用关系；

5、s2：根据制造主数据记录的对象属性、技术状态、有效区间和制造关联记录确定候选清洗集合，并确定候选清洗集合为候选合并类型或者候选拆分类型；

6、s3：提取候选清洗集合中的制造主数据记录及其直接关联节点和关联关系，形成与正式主数据存储区域隔离的局部关系快照；

7、当候选清洗集合为候选合并类型时，在局部关系快照中创建一个虚拟标准节点；当候选清洗集合为候选拆分类型时，在局部关系快照中创建至少两个虚拟标准节点；建立制造主数据记录与虚拟标准节点之间的节点映射关系，并生成清洗增量包；

8、s4：根据制造执行引用关系对应业务对象是否已经形成执行记录，将制造执行引用关系划分为可迁移引用关系和冻结引用关系；

9、s5：将清洗增量包加载至局部关系快照，根据节点映射关系将清洗增量包所标识的待迁移关联关系临时重定向至对应的虚拟标准节点，保持冻结引用关系指向原制造主数据记录，并将原制造主数据记录设置为与对应虚拟标准节点关联的历史别名节点，形成影子清洗关系图；

10、s6：对影子清洗关系图进行关系约束校验；

11、在关系约束校验通过时，按照清洗增量包在正式主数据存储区域中执行制造主数据记录的合并或者拆分以及关联关系的重定向，并保持冻结引用关系指向对应的历史别名节点；在关系约束校验未通过时，将候选清洗集合标记为隔离数据。

12、优选的，获取所述制造主数据记录后，还包括：

13、根据制造主数据记录的来源系统标识和制造对象类型调用对应的字段映射关系，将不同来源系统中的源字段转换为统一字段结构；

14、按照统一字段结构对应的数据类型转换对象属性，将对象属性采用的计量单位转换为对应制造对象类型的基准计量单位，并将不同来源系统中的技术状态转换为统一技术状态；

15、将制造主数据记录的生效时间和失效时间转换为由起始时刻和终止时刻限定的有效区间，并在转换后的制造主数据记录中保留来源系统标识和源记录标识。

16、优选的，确定候选清洗集合，包括：

17、按照制造对象类型对应的数据模型确定用于区分制造对象身份的身份字段，将各身份字段的标准化字段值按照固定字段顺序组合，形成身份属性键；

18、将与制造主数据记录关联的节点标识、关系类型、关系方向、技术状态和有效区间按照固定数据顺序组合，形成制造用途特征；

19、在制造对象类型相同的制造主数据记录中，将对象标识不同、身份属性键相同，并且在相交的有效区间内不存在相互冲突的物料清单关系或者工艺适用关系的制造主数据记录确定为候选合并记录；

20、将对象标识相同但身份属性键不同的制造主数据记录，或者将对象标识和身份属性键均相同、但在相交的有效区间内分别关联至不同且不存在版本承继关系的结构位置或者工艺版本的制造主数据记录，确定为候选拆分记录；

21、将相互对应的候选合并记录归入候选合并类型的候选清洗集合，将相互对应的候选拆分记录归入候选拆分类型的候选清洗集合。

22、优选的，形成局部关系快照并生成清洗增量包，包括：

23、将候选清洗集合中的制造主数据记录确定为中心节点，提取通过制造关联记录与中心节点直接连接的关联节点，并提取中心节点与关联节点之间的关系标识、关系方向、技术状态和有效区间；

24、将中心节点、关联节点及其关联关系复制至与正式主数据存储区域隔离的验证区域，并为复制形成的节点和关联关系保留对应的源节点标识和源关系标识，形成局部关系快照；

25、对于候选合并类型，将各候选合并记录映射至同一虚拟标准节点；对于候选拆分类型，按照身份属性键、技术状态、有效区间和制造关联记录之间的对应关系将各候选拆分记录划分为至少两个记录组，并将各记录组分别映射至对应的虚拟标准节点；

26、根据节点映射关系确定待创建的虚拟标准节点、待转换为历史别名节点的制造主数据记录、待迁移关联关系、待保持原指向的冻结引用关系以及待调整的有效区间，并将对应的节点处理数据、关系处理数据和有效区间处理数据写入清洗增量包。

27、优选的，确定虚拟标准节点的对象属性，包括：

28、提取候选清洗集合中存在字段值差异的对象属性所对应的发布记录、跨系统接收记录和制造业务引用记录；

29、按照记录形成时间，将对象标识相同、技术状态相同且有效区间相互对应的发布记录、跨系统接收记录和制造业务引用记录依次连接，形成制造业务事件链；

30、将依次包含发布记录、跨系统接收记录和制造业务引用记录，且各记录形成时间依次递增的制造业务事件链确定为完整事件链；

31、当同一对象属性仅对应一条完整事件链时，将该完整事件链对应的字段值写入虚拟标准节点；当同一对象属性对应至少两条完整事件链时，将目标有效区间内发布时间最晚的完整事件链对应的字段值写入虚拟标准节点；当同一对象属性不存在完整事件链时，将对应的候选清洗集合标记为隔离数据，并停止生成对应的清洗增量包。

32、优选的，将所述制造执行引用关系划分为可迁移引用关系和冻结引用关系，包括：

33、读取制造执行引用关系对应业务对象的业务状态以及与业务对象关联的执行记录；

34、当业务状态为草稿状态、未下达状态或者已撤销状态，且不存在与业务对象关联的执行记录时，将对应的制造执行引用关系确定为可迁移引用关系；

35、当业务状态为已下达状态、执行中状态或者已完成状态，或者存在与业务对象关联的生产实绩记录、质量检验结果记录、库存流转记录或者装配履历记录时，将对应的制造执行引用关系确定为冻结引用关系；

36、将可迁移引用关系和冻结引用关系的源关系标识、原指向对象标识及划分结果写入关系处理数据。

37、优选的，所述关系约束校验包括：

38、沿物料清单关系的父级节点至子级节点方向遍历影子清洗关系图，当遍历路径返回至当前遍历路径中已存在的节点时，确定物料清单循环校验未通过；

39、当同一应用范围内指向同一虚拟标准节点的两个技术状态具有相交的有效区间，且两个技术状态之间不存在版本承继关系时，确定技术状态有效区间冲突校验未通过；

40、当同一虚拟标准节点在同一有效区间内同时位于同一物料清单版本的两个不同父级节点下，且对应的物料清单关系未被标记为替代关系，或者同时关联至两个不存在版本承继关系的工艺版本时，确定制造用途相容性校验未通过；

41、当同一制造执行引用节点在同一有效区间内指向至少两个处于生效状态的虚拟标准节点时，确定可迁移引用唯一性校验未通过；

42、当任一冻结引用关系在局部关系快照和影子清洗关系图中的源关系标识、起始节点标识或者终止节点标识不一致时，确定冻结引用指向不变性校验未通过；

43、在各项校验均通过时，将标准制造主数据记录的创建、原制造主数据记录向历史别名节点的转换、待迁移关联关系的重定向和有效区间的调整封装为同一清洗事务，并将所述清洗事务写入所述正式主数据存储区域。

44、一种制造企业主数据清洗与质量校验系统，包括接口组件、数据处理服务器、正式主数据存储区域和与正式主数据存储区域隔离的验证区域，数据处理服务器分别与接口组件、正式主数据存储区域和验证区域连接；

45、所述接口组件从产品生命周期管理系统、企业资源计划系统和制造执行系统获取制造主数据记录以及与制造主数据记录关联的制造关联记录，并将获取的数据发送至数据处理服务器；

46、所述数据处理服务器根据制造主数据记录的对象属性、技术状态、有效区间和制造关联记录确定候选清洗集合及候选清洗类型，将候选清洗集合中的制造主数据记录及其直接关联节点和关联关系复制至验证区域，形成局部关系快照；

47、所述数据处理服务器根据候选清洗类型在局部关系快照中创建虚拟标准节点，建立制造主数据记录与虚拟标准节点之间的节点映射关系，并生成清洗增量包；根据制造执行引用关系对应业务对象是否已经形成执行记录，将制造执行引用关系划分为可迁移引用关系和冻结引用关系；

48、所述数据处理服务器根据节点映射关系将清洗增量包所标识的待迁移关联关系临时重定向至对应的虚拟标准节点，保持冻结引用关系指向原制造主数据记录，并将原制造主数据记录设置为历史别名节点，形成影子清洗关系图；

49、所述数据处理服务器对影子清洗关系图进行关系约束校验，在关系约束校验通过时按照清洗增量包更新正式主数据存储区域，在关系约束校验未通过时将对应的候选清洗集合标记为隔离数据。

50、优选的，所述数据处理服务器包括标准化处理单元、候选清洗确定单元、增量包生成单元和影子关系构建单元；

51、所述标准化处理单元根据来源系统标识和制造对象类型调用对应的字段映射关系，将制造主数据记录转换为统一字段结构，并统一制造主数据记录的数据类型、计量单位、技术状态和有效区间；

52、所述候选清洗确定单元根据制造对象类型对应的数据模型生成身份属性键，根据制造主数据记录的制造关联记录、技术状态和有效区间生成制造用途特征，并根据身份属性键和制造用途特征确定候选清洗集合及候选清洗类型；

53、所述增量包生成单元根据候选清洗类型建立制造主数据记录与虚拟标准节点之间的节点映射关系，并根据节点映射关系生成包含节点处理数据、关系处理数据和有效区间处理数据的清洗增量包；

54、所述影子关系构建单元将清洗增量包加载至局部关系快照，按照关系处理数据临时重定向待迁移关联关系并保留冻结引用关系的原指向，形成影子清洗关系图。

55、优选的，所述数据处理服务器还包括约束校验单元、事务处理单元和历史映射单元；

56、所述约束校验单元对影子清洗关系图中的物料清单循环、技术状态有效区间冲突、制造用途冲突、可迁移引用的非唯一指向以及冻结引用关系的指向变化进行检测，并生成关系约束校验结果；

57、所述事务处理单元在关系约束校验通过时，将标准制造主数据记录的创建、原制造主数据记录向历史别名节点的转换、待迁移关联关系的重定向和有效区间的调整封装为同一清洗事务，并将清洗事务写入正式主数据存储区域；

58、所述历史映射单元建立源记录标识、标准制造主数据记录标识、历史别名节点标识和清洗事务标识之间的对应关系，并将对应关系与保持原指向的冻结引用关系关联存储。

59、综上所述，本发明主要具有以下有益效果：

60、通过获取产品生命周期管理系统、企业资源计划系统和制造执行系统中的制造主数据记录及其物料清单关系、工艺适用关系和制造执行引用关系，根据对象属性、技术状态、有效区间及制造用途特征确定候选合并记录和候选拆分记录，并在与正式主数据存储区域隔离的验证区域内构建局部关系快照和虚拟标准节点，达到在不改变正式主数据的情况下预先模拟主数据合并或者拆分结果的目的，能够在正式清洗前识别物料清单循环、技术状态重叠、工艺适用冲突及关联关系无法唯一迁移的问题，降低因直接清洗造成产品结构错误或者主数据关联紊乱的风险。

61、通过根据制造执行引用关系对应业务对象是否已经形成执行记录，将制造执行引用关系划分为可迁移引用关系和冻结引用关系，将可迁移引用关系临时重定向至虚拟标准节点，并使冻结引用关系继续指向由原制造主数据记录转换形成的历史别名节点，达到统一后续业务主数据引用与保持既有制造执行事实不变的目的，避免已经形成的生产实绩、质量检验结果、库存流转记录或者装配履历因主数据清洗而发生指向变化，保持历史制造数据的追溯关系与实际业务事实一致。

62、通过将节点处理数据、关系处理数据和有效区间处理数据形成清洗增量包，在影子清洗关系图通过关系约束校验且源记录版本信息未发生变化后，将标准制造主数据记录的创建、历史别名节点的转换、关联关系的重定向及有效区间的调整封装为同一清洗事务，达到防止主数据清洗过程中出现部分写入、关系遗漏或者快照数据失效的目的；在任一写入操作失败时撤销同一清洗事务中的全部写入操作，并将不能唯一确定处理结果的候选清洗集合置为隔离数据，从而保持正式主数据存储区域的数据一致性。