一种基于逻辑链条的数据管理方法及系统与流程

本发明涉及数据管理，具体是一种基于逻辑链条的数据管理方法及系统。

背景技术：

1、信息化系统中的数据处理任务通常由多个依次执行的处理环节组成，前一处理环节形成的数据由后一处理环节继续处理，最终形成满足相应业务需求的数据结果。

2、随着信息化系统中的数据处理任务不断增加，不同数据处理任务可能包含相同的数据清洗、转换等过程。现有的部分数据管理方式通常按照各数据处理任务分别执行相应的处理过程，当多个任务包含相同的处理过程时，会重复执行该处理过程并分别生成内容相同的中间数据，增加数据处理量。

技术实现思路

1、本发明的目的在于提供一种基于逻辑链条的数据管理方法及系统，以解决现有技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：一种基于逻辑链条的数据管理方法，数据管理方法包括以下步骤：

3、步骤s1：获取多个数据处理任务的处理节点，按照各处理节点的执行顺序，形成各数据处理任务对应的逻辑链条；

4、步骤s2：对各逻辑链条进行比对，确定多条逻辑链条中具有相同输入数据和相同处理过程的相同处理段；

5、步骤s3：按照所述相同处理段对对应的输入数据进行处理，形成中间数据，并将所述中间数据作为各逻辑链条中后续处理节点的输入数据，形成共享中间数据；

6、步骤s4：持续对所述共享中间数据进行监测，形成数据监测结果；

7、步骤s5：按照所述数据监测结果确定共享中间数据在各逻辑链条中的使用状态，并按照所述使用状态更新各逻辑链条对共享中间数据的调用关系。

8、进一步地，所述步骤s1具体包括：

9、从数据处理平台获取各数据处理任务的任务定义信息；所述任务定义信息为创建或编排数据处理任务时形成的任务流程信息，记录数据处理任务包含的处理环节及各处理环节的执行次序；

10、从所述任务定义信息中提取各处理环节实际读取的数据对象、处理后生成的数据对象和对应的处理规则；所述数据对象为能够被处理环节独立读取或写入的数据单元；

11、提取各数据对象的数据来源位置和对象名称，将所述数据来源位置和对象名称进行组合，形成各数据对象对应的数据标识，所述对象名称为数据对象在对应数据来源位置中的名称；为各处理环节分配节点标识，将所述节点标识与读取的数据对象的数据标识、生成的数据对象的数据标识和处理规则进行关联，形成处理节点；

12、按照所述执行次序排列各处理节点，当相邻处理节点中前一处理节点生成的数据对象的数据标识与后一处理节点读取的数据对象的数据标识相同时，将所述相邻处理节点依次连接，形成各数据处理任务对应的逻辑链条。

13、进一步地，所述数据处理平台为能够创建、编排并执行多个数据处理任务的平台。所述数据来源位置表示数据对象在数据处理平台中能够被定位和访问的位置。所述对象名称为数据对象在对应数据来源位置中的名称，同一数据来源位置和对象名称的组合对应同一数据对象。

14、进一步地，所述步骤s2具体包括：

15、从各处理节点关联的处理规则中提取处理类型、被处理字段、处理条件和处理参数；所述被处理字段为处理规则调用的数据字段，所述处理条件为限定参与处理的数据范围的条件，所述处理参数为执行对应处理类型时采用的参数；

16、按照各逻辑链条中处理节点的执行次序，依次选取尚未完成比对的处理节点作为待比对节点，将所述待比对节点与其他逻辑链条中尚未完成比对的处理节点进行比对，将读取的数据对象的数据标识相同，且处理类型、被处理字段、处理条件和处理参数均相同的处理节点确定为起始相同节点；

17、从各起始相同节点开始，沿对应逻辑链条依次比对后一处理节点；当各后一处理节点读取的数据对象分别由对应的前一相同节点生成，且各后一处理节点的处理类型、被处理字段、处理条件和处理参数均相同时，将各后一处理节点确定为后续相同节点，并继续向后比对，直至任一逻辑链条中的后一处理节点不满足上述条件；

18、将连续对应的起始相同节点、后续相同节点及其连接关系归入同一处理段，将归入所述处理段的处理节点标记为已完成比对，并继续对各逻辑链条中其余尚未完成比对的处理节点执行上述比对，直至完成全部处理节点的比对，将比对形成的处理段确定为所述相同处理段。

19、进一步地，所述处理类型表示处理节点对数据对象执行的数据处理方式，包括数据清洗、数据筛选、数据转换、数据合并和数据统计等。

20、对于起始相同节点之后的处理节点，不以其读取的数据对象的数据标识是否相同作为判断条件；当对应处理节点读取的数据分别由前一相同节点生成，且对应的处理类型、被处理字段、处理条件和处理参数均相同时，确定为后续相同节点。

21、进一步地，所述步骤s3具体包括：

22、提取各相同处理段中起始相同节点读取的数据对象的数据标识，获取所述数据标识对应的数据对象，将获取的数据对象作为对应相同处理段的输入数据；

23、从构成同一相同处理段的多条逻辑链条中选取一条逻辑链条，按照所选逻辑链条中起始相同节点和后续相同节点的排列顺序，由起始相同节点对所述输入数据进行处理，并将前一处理节点生成的数据对象作为后一处理节点读取的数据对象，依次执行各处理节点关联的处理规则，将最后一个处理节点生成的数据对象确定为中间数据；

24、将所述中间数据存储至各数据处理任务均可读取的共享数据位置，为所述中间数据分配共享数据标识，形成共享中间数据；

25、将未被选取的各逻辑链条中的对应相同处理段设置为不再单独执行，确定各逻辑链条中与相同处理段最后一个处理节点连接的后一处理节点，将各后一处理节点读取的数据对象的数据标识替换为所述共享数据标识，使各后一处理节点读取所述共享中间数据作为输入数据。

26、进一步地，将未被选取的逻辑链条中的相同处理段设置为不再单独执行，是指在对应数据处理任务实际执行时跳过该相同处理段，并由相同处理段之后的处理节点读取共享中间数据，原逻辑链条中的处理节点及其连接关系仍予以保留。

27、进一步地，所述步骤s4具体包括：

28、从共享中间数据中提取能够被后续处理节点单独读取的数据内容，将每组能够单独读取的数据内容确定为一个数据项，形成一个或多个数据项；为各数据项分配数据项标识，提取各数据项的数据内容，按照所述数据内容形成对应的内容特征值，为所述共享中间数据分配初始版本标识，并将所述初始版本标识、各数据项的数据项标识和内容特征值对应存储；所述内容特征值为按照数据项的全部数据内容形成并随所述数据内容变化而变化的唯一值；

29、获取各逻辑链条中的后续处理节点读取共享中间数据时形成的数据读取记录；所述数据读取记录包括节点标识和对应处理节点实际读取的数据项标识；将同一节点标识对应的数据项标识进行归集，形成各后续处理节点对应的数据调用清单；

30、当共享中间数据再次写入时，将再次写入的共享中间数据确定为更新版本，为所述更新版本分配版本标识，并形成更新版本中各数据项对应的内容特征值；将更新版本与前一版本中数据项标识相同的数据项进行比对，将内容特征值不同的数据项以及仅存在于其中一个版本的数据项确定为变化数据项；

31、按照各逻辑链条中后续处理节点的执行顺序，将所述变化数据项的数据项标识依次与各后续处理节点的数据调用清单进行比对；当任一后续处理节点的数据调用清单中包含变化数据项的数据项标识时，将首个满足该条件的后续处理节点确定为对应逻辑链条的受影响节点；当一条逻辑链条中的全部后续处理节点均不包含变化数据项的数据项标识时，将该逻辑链条确定为未受影响逻辑链条；

32、汇总所述更新版本的版本标识、变化数据项、各逻辑链条对应的受影响节点以及未受影响逻辑链条，形成所述数据监测结果。

33、进一步地，当共享中间数据仅能够被后续处理节点整体读取时，将所述共享中间数据整体确定为一个数据项。

34、所述内容特征值可以采用数据摘要算法按照数据项的全部数据内容计算形成，使数据内容相同时形成相同的内容特征值，数据内容发生变化时形成不同的内容特征值。所述前一版本为更新版本形成之前最近一次存储的共享中间数据版本。所述数据读取记录由数据处理平台在后续处理节点读取共享中间数据时生成，记录对应节点标识以及实际读取的数据项标识。

35、其中，同一数据项在共享中间数据的不同版本中采用相同的数据项标识，更新版本中新增的数据项分配新的数据项标识。

36、进一步地，所述步骤s5具体包括：

37、按照所述数据监测结果，将存在受影响节点的逻辑链条确定为更新使用状态，将未受影响逻辑链条确定为继续使用状态；

38、对于处于继续使用状态的逻辑链条，保持其当前对共享中间数据的调用关系不变；

39、对于处于更新使用状态的逻辑链条，将对应受影响节点调用的共享中间数据更新为所述更新版本，并从所述受影响节点开始按照逻辑链条中处理节点的执行顺序继续进行数据处理，完成对应逻辑链条的调用关系更新。

40、进一步地，还可以按照各逻辑链条中处理节点的节点标识以及处理节点之间的连接关系，对所述逻辑链条进行可视化展示，将各处理节点作为链条中的显示节点，将处理节点之间的数据传递关系作为节点之间的连接关系；当多个逻辑链条中存在相同处理段时，将所述相同处理段及对应的共享中间数据进行关联显示；当数据监测结果中存在受影响节点时，在对应逻辑链条中对受影响节点进行区别标记，并显示所述受影响节点与前后处理节点之间的连接关系，从而展示共享中间数据变化在对应逻辑链条中的影响位置。

41、进一步地，数据管理系统包括逻辑链构建模块、相同处理段确定模块、共享数据形成模块、数据监测模块和调用关系更新模块；

42、所述逻辑链构建模块获取多个数据处理任务的任务定义信息，形成对应的处理节点，并按照处理节点的执行次序和数据传递关系构建各数据处理任务对应的逻辑链条；

43、所述相同处理段确定模块提取各处理节点对应的输入数据和处理规则，对不同逻辑链条中的处理节点进行连续比对，形成由多个逻辑链条共同具有的相同处理段；

44、所述共享数据形成模块执行所述相同处理段对应的数据处理，将形成的中间数据进行共享存储，并建立各逻辑链条中的后续处理节点与所述中间数据之间的数据调用关系，形成共享中间数据；

45、所述数据监测模块记录各后续处理节点对共享中间数据的数据调用情况，对共享中间数据的前后版本进行比对，确定变化数据项以及各逻辑链条中受到所述变化数据项影响的处理节点，形成数据监测结果；

46、所述调用关系更新模块按照所述数据监测结果确定各逻辑链条对共享中间数据的使用状态，对受到变化数据项影响的逻辑链条更新共享中间数据的调用关系，并保持未受到影响的逻辑链条的调用关系不变。

47、进一步地，所述逻辑链构建模块包括任务信息提取单元、处理节点形成单元和节点连接单元；

48、所述任务信息提取单元从各数据处理任务的任务定义信息中提取处理环节、执行次序以及各处理环节读取和生成的数据对象；所述处理节点形成单元将各处理环节对应的数据对象和处理规则与节点标识进行关联，形成处理节点；所述节点连接单元按照执行次序以及相邻处理节点之间的数据传递关系连接各处理节点，形成逻辑链条；

49、所述相同处理段确定模块包括规则信息提取单元、起始节点确定单元和连续节点比对单元；

50、所述规则信息提取单元从各处理节点的处理规则中提取处理类型、被处理字段、处理条件和处理参数；所述起始节点确定单元对不同逻辑链条中的处理节点进行比对，确定输入数据和处理规则相同的起始相同节点；所述连续节点比对单元从所述起始相同节点沿各逻辑链条继续比对后续处理节点，将连续满足相同比对条件的处理节点及其连接关系形成相同处理段。

51、进一步地，所述共享数据形成模块包括输入数据提取单元、处理段执行单元和共享调用设置单元；

52、所述输入数据提取单元获取相同处理段中起始相同节点读取的数据对象，形成所述相同处理段的输入数据；所述处理段执行单元选取构成同一相同处理段的一条逻辑链条，依次执行相同处理段中各处理节点对应的处理规则，将最后一个处理节点生成的数据对象确定为中间数据；所述共享调用设置单元对所述中间数据进行共享存储并分配共享数据标识，将其他逻辑链条中对应的后续处理节点设置为读取所述共享数据标识对应的共享中间数据。

53、进一步地，所述数据监测模块包括数据项记录单元、调用记录单元、版本比对单元和影响节点确定单元；

54、所述数据项记录单元将共享中间数据形成一个或多个数据项，并记录各数据项的数据项标识和内容特征值；所述调用记录单元记录各后续处理节点实际读取的数据项，形成对应的数据调用清单；所述版本比对单元对共享中间数据的更新版本与前一版本进行比对，按照数据项标识和内容特征值确定变化数据项；所述影响节点确定单元将所述变化数据项与各后续处理节点的数据调用清单进行比对，确定各逻辑链条中的受影响节点以及未受影响逻辑链条；

55、所述调用关系更新模块包括使用状态确定单元和调用更新单元；

56、所述使用状态确定单元按照受影响节点和未受影响逻辑链条确定各逻辑链条的使用状态；所述调用更新单元保持未受影响逻辑链条当前对共享中间数据的调用关系，并将存在受影响节点的逻辑链条更新为调用共享中间数据的更新版本。

57、与现有技术相比，本发明的有益效果是：

58、1、通过对多个数据处理任务对应的逻辑链条进行比对，识别具有相同输入数据和相同处理过程的相同处理段，并将相同处理段形成的中间数据供多个逻辑链条共同调用，减少相同处理过程的重复执行以及相同中间数据的重复生成。

59、2、通过对共享中间数据的前后版本进行比对，确定发生变化的数据项，并结合各后续处理节点的数据调用情况，确定各逻辑链条中最先受到变化数据项影响的处理节点，使共享中间数据的变化能够定位至对应逻辑链条中的具体处理位置。

60、3、按照共享中间数据的变化影响情况分别调整各逻辑链条的调用关系，对未受影响的逻辑链条保持原调用关系，对受影响的逻辑链条从受影响节点开始调用更新版本并继续处理，减少不必要的重复处理，使各逻辑链条按照共享中间数据的实际变化影响分别保持或更新对应的调用关系。