一种多项目协同的云端一体化数据融合方法与流程

本技术涉及大数据处理，具体涉及一种多项目协同的云端一体化数据融合方法。

背景技术：

1、随着云计算与分布式协同技术的发展，多团队多项目并行开展的场景日益普遍，不同项目往往会对同一领域的原始数据源存在大量重叠的数据需求，需要分别对相同原始数据执行重复的清洗、特征抽取、融合计算等操作。

2、然而，重复的融合操作会占用大量云端计算与存储资源，造成资源浪费，提升整体运行成本，同时，不同项目独立执行数据融合时，难以实现中间融合结果的共享复用，也容易因大数据处理标准不统一导致融合结果存在差异，影响多项目间的数据一致性，增加协同对接的成本。现有数据融合方法大多针对单一项目的需求设计，未考虑多项目并行场景下重叠需求的共享优化，难以适配云端多主体协同场景下的低代价、一致性数据融合需求。

技术实现思路

1、本技术实施例通过提供一种多项目协同的云端一体化数据融合方法，解决了现有数据融合方法未考虑多项目并行场景，导致云端资源浪费、运行成本高的技术问题。

2、本技术解决上述技术问题的技术方案如下：

3、本技术提供了一种多项目协同的云端一体化数据融合方法，所述方法包括：

4、获取多个目标项目的项目数据需求，并结合预设的特征维度层级规则，解析所述项目数据需求，确定每一项目数据对应的目标层级；

5、结合所述特征维度层级规则，结合多个所述项目数据需求与关联的目标层级，自底向上逐层构建数据融合有向无环图；

6、以多个目标项目的输出为终端节点，在所述数据融合有向无环图中求解覆盖全部项目数据需求且总融合代价最小的连通子图，作为最优融合路径；

7、按照所述最优融合路径的拓扑序分布式执行各融合操作，获取最终融合结果。

8、优选的，获取多个目标项目的项目数据需求，并结合预设的特征维度层级规则，解析所述项目数据需求，确定每一项目数据对应的目标层级，包括：

9、接收多个目标项目各自提交的项目数据需求声明，结合领域先验知识对每个目标项目的所述项目数据需求进行特征溯源，获取对应的需求特征，并确定多个所述需求特征对应的原始数据源；

10、将多个目标项目的所述需求特征映射至预设的特征维度层级，确定每一项目数据的目标层级；

11、其中，所述特征维度层级为按信息抽象程度从低到高依次排列的多个特征层级，各特征层级对应的需求特征集合构成严格嵌套的超集链。

12、优选的，对每个目标项目的所述项目数据需求进行特征溯源，获取对应的需求特征，并确定多个所述需求特征对应的原始数据源，包括：

13、结合领域先验知识，对每个目标项目的项目数据需求声明进行逐项特征拆解，获取对应的所述需求特征，并确定每一所述需求特征所依赖的原始字段集合；

14、根据所述原始字段集合，溯源确定每一所述需求特征对应的所述原始数据源，作为对应目标项目的源数据依赖集合。

15、优选的，结合所述特征维度层级规则，结合多个所述项目数据需求与关联的目标层级，自底向上逐层构建数据融合有向无环图，包括：

16、基于多个原始数据源，初始化源节点；

17、对每一特征层级，筛选至少被一个更高特征层级引用的需求特征，并对应为每一个所述需求特征生成所有可行的融合操作类型，获取候选融合操作集；

18、计算所述候选融合操作集中每个候选融合操作的融合代价；

19、根据所述融合代价，识别出输入特征集相同且输出特征集存在交集节点组合，执行剪枝操作，并合并为多个目标项目可共享复用的多个公共中间融合节点，其中，所述公共中间融合节点的输出特征集为多个被合并节点的输出特征集的并集；

20、迭代获取多个特征层级经剪枝操作后的公共中间融合节点与需求特征对应的原始节点，自底向上逐层构建所述数据融合有向无环图。

21、优选的，计算所述候选融合操作集中每个候选融合操作的融合代价，包括：

22、确定每一候选融合操作的执行权重，其中，所述执行权重由数据规模分量、跨源复杂度分量与操作类型分量加权构成；

23、确定每一候选融合操作引起的特征变动量，其中，所述特征变动量基于该融合操作前后输入特征集合与输出特征集合之间的结构变动率度量；

24、对应将所述执行权重与所述特征变动量相乘，得到每一候选融合操作的所述融合代价。

25、优选的，迭代获取多个特征层级经剪枝操作后的公共中间融合节点与需求特征对应的原始节点，自底向上逐层构建所述数据融合有向无环图，还包括：

26、定义所述数据融合有向无环图的形式化结构，其中，图节点表征一个需求特征，由输入特征集与数据实例集作为二元组标识，有向边表征融合操作，边权重为融合操作对应的融合代价；

27、基于所述形式化结构，结合每一特征层级经剪枝操作后保留的公共中间融合节点、需求特征对应的原始节点与融合操作，建立每一特征层级对应的内部子图；

28、以特征层级的级别为顺序，建立低层级内部子图的输出节点与相邻高层级内部子图的输入节点之间的层间有向边，并以对应融合操作的融合代价为边权重，获取所述数据融合有向无环图；

29、对每个目标项目，在所述数据融合有向无环图中确定满足目标项目全部需求特征的最浅层节点，并建立从所述最浅层节点到对应目标项目对应的输出汇节点的连接边。

30、更优选的，以多个目标项目的输出为终端节点，在所述数据融合有向无环图中求解覆盖全部项目数据需求且总融合代价最小的连通子图，作为最优融合路径，包括：

31、以目标项目的目标层级从低到高为顺序，对多个目标项目进行贪心共享识别，获取可被多个项目复用的融合子路径；

32、对多个所述融合子路径进行基于代价感知的路径合并，获取总代价最小的路径组合，作为所述最优融合路径；

33、其中，所述最优融合路径中多个目标项目共享前缀的融合子路径。

34、更优选的，以目标项目的目标层级从低到高为顺序，对多个目标项目进行贪心共享识别，获取可被多个项目复用的融合子路径，包括：

35、对每个目标项目，遍历所述数据融合有向无环图中每一公共中间融合节点对应的现状共享子路径，筛选与目标项目的需求特征集交集覆盖率最大的现状共享子路径；

36、若所述交集覆盖率超过预设的覆盖率阈值，则复用所述现状共享子路径，并补充从所述现状共享子路径的输出节点到目标项目未被覆盖的需求特征之间的差异路径，输出所述融合子路径；

37、若所述交集覆盖率未超过预设的所述覆盖率阈值，则从所述数据融合有向无环图的源节点出发，建立新的所述融合子路径。

38、更优选的，对多个所述融合子路径进行基于代价感知的路径合并，获取总代价更小的路径组合，获取所述最优融合路径，包括：

39、对所述融合子路径进行两两配对，并对每对融合子路径，在所述数据融合有向无环图中查找两者的最近公共祖先节点，其中，所述最近公共祖先节点为两条所述融合子路径在所述数据融合有向无环图中深度最大的公共前驱节点；

40、计算合并代价，其中，所述合并代价包括从源节点到所述最近公共祖先节点的共享前缀部分代价与从所述最近公共祖先节点分别到两个所述融合子路径对应的目标项目输出节点的两个分支路径代价；

41、计算分离代价，其中，所述分离代价为两条所述融合子路径各自独立运行的代价之和；

42、比较所述合并代价与所述分离代价：

43、若所述合并代价小于所述分离代价，则执行合并操作，将两条路径在最近公共祖先节点之前的路径合并为共享前缀，并在最近公共祖先节点之后分别建立分支，更新所述数据融合有向无环图；

44、若所述合并代价大于或等于所述分离代价，不执行合并。

45、本技术提供了一个或多个技术方案，至少具有如下技术效果或优点：

46、本技术实施例通过提供一种多项目协同的云端一体化数据融合方法，首先，对多个目标项目数据需求做统一解析与层级定位，结合预设的特征维度层级规则自底向上构建数据融合有向无环图，能够提前梳理清楚多项目之间的需求重叠关系，将多个项目重叠依赖的融合操作提炼为可共享的公共中间节点，避免重复构建融合流程。其次，通过以总融合代价最小为目标求解最优融合路径，在满足所有项目数据需求的前提下，最大限度共享可复用的融合子路径，减少重复的融合计算与存储开销，降低云端整体运行成本。最后，统一基于构建好的最优融合路径执行分布式融合操作，所有项目共享统一的中间融合结果，保证了多项目输出数据的标准一致性，降低多项目协同对接的成本，适配云端多主体并行协同的实际场景。

47、通过上述技术方案，本技术基于特征维度层级对多项目的数据需求分层梳理，构建可共享复用的数据融合图结构，并以总融合代价最小化为目标求解最优融合路径，最终实现多项目协同下的一体化融合，有效减少了重复融合操作，降低了云端资源消耗，同时保障了多项目间融合数据的一致性，降低了多项目协同对接的成本。