一种数据融合处理方法、系统、存储介质及电子设备与流程

1.本技术涉及数据处理技术领域，更具体地说，涉及一种数据融合处理方法、系统、存储介质及电子设备。


背景技术：

2.随着银行数字化业务的高速增长及数字化能力的快速提高，在各应用系统对资源种类、资源数量、资源实施方式等多方面提出诸多需求的同时。
3.资源管控方、资源实施方对不同资源需求的审核、分配也有了更严格的需求。从资源需求的提出，到资源正式交付，涉及多个系统、多个部门、多个用户的各类资源数据的融合。
4.现有的数据融合方法是通过人工操作进行数据整合，这种方式效率较低，人工处理成本高，且存在较高的管理风险和错误操作机率，数据整合过程冗余度高，导致整个数据融合效率低。


技术实现要素：

5.有鉴于此，本技术公开了一种数据融合处理方法、系统、存储介质及电子设备，旨在降低管理风险和错误操作机率，提高数据融合的效率和数据融合的规则维护效率。
6.为了实现上述目的，其公开的技术方案如下：
7.本技术第一方面公开了一种数据融合处理方法，所述方法包括：
8.获取多方数据；所述多方数据至少包括资源申请数据源、已有数据源和用户新增数据源；所述已有数据源用于表征处于正在使用状态的资源数据；所述用户新增数据源用于表征用户前端新增加的数据；
9.通过结构化数据模型，对所述多方数据进行结构化分析处理，得到结构化数据；所述结构化数据表征数据参数、数据类型和数据结构的数据；
10.通过规则引擎配置模型，对所述结构化数据进行匹配操作，并通过多重数据源数据融合模型，将匹配操作后的结构化数据进行融合；所述规则引擎配置模型为根据规则及所述规则内具体定义，完成结构化数据信息的填充的模型。
11.优选的，获取多方数据的过程，包括：
12.从资源审核系统中获取通过审批的资源申请格式化数据；所述资源申请格式化数据由预先设计的结构化模型定义得到；
13.从资源系统中获取正在使用的已有数据源；
14.从用户前端系统中获取用户新增数据源。
15.优选的，所述通过结构化数据模型，对所述多方数据进行结构化分析处理，得到结构化数据，包括：
16.设计结构化数据模型；
17.确认所述结构化数据模型中的数据参数表、数据类型和数据结构；
18.通过所述数据参数表、所述数据类型和所述数据结构，对所述多方数据进行结构化分析处理，得到结构化数据。
19.优选的，还包括：
20.判断所述结构化数据的格式化的资源申请数据源和所述已有数据源是否进行匹配；
21.若所述结构化数据的格式化的资源申请数据源与所述已有数据源保持一致，确定所述结构化数据的格式化的资源申请数据源和所述已有数据源进行匹配；
22.若所述结构化数据的格式化的资源申请数据源与所述已有数据源不保持一致，确定所述结构化数据的格式化的资源申请数据源和所述已有数据源不进行匹配。
23.优选的，所述通过规则引擎配置模型，对所述结构化数据进行匹配操作，并通过多重数据源数据融合模型，将匹配操作后的结构化数据进行融合，包括：
24.若所述结构化数据的格式化的资源申请数据源和所述已有数据源进行匹配，则通过规则引擎配置模型的参数标识，对所述结构化数据的格式化的资源申请数据源和所述已有数据源进行匹配；
25.通过多重数据源数据融合模型，将匹配后的格式化的资源申请数据源、所述已有数据源和所述用户新增数据源进行融合。
26.优选的，还包括：
27.通过所述规则引擎配置模型，对所述规则进行规则定义操作；所述规则定义操作至少包括定义规则名称、定义参数规则、定义规则标签和定义操作；所述定义参数规则包括参数名称和正则规则；所述定义操作包括操作规则和操作匹配。
28.优选的，还包括：
29.若所述结构化数据的格式化的资源申请数据源和所述已有数据源不进行匹配，则通过所述格式化的资源申请数据源的服务器资源数据，对系统参数进行初始化赋值。
30.本技术第二方面公开了一种数据融合处理系统，所述系统包括：
31.获取单元，用于获取多方数据；所述多方数据至少包括资源申请数据源、已有数据源和用户新增数据源；所述已有数据源用于表征处于正在使用状态的资源数据；所述用户新增数据源用于表征用户前端新增加的数据；
32.处理单元，用于通过结构化数据模型，对所述多方数据进行结构化分析处理，得到结构化数据；所述结构化数据表征数据参数、数据类型和数据结构的数据；
33.匹配单元，用于通过规则引擎配置模型，对所述结构化数据进行匹配操作，并通过多重数据源数据融合模型，将匹配操作后的结构化数据进行融合；所述规则引擎配置模型为根据规则及所述规则内具体定义，完成结构化数据信息的填充的模型。
34.本技术第三方面公开了一种存储介质，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行如第一方面任意一项所述的数据融合处理方法。
35.本技术第四方面公开了一种电子设备，包括存储器，以及一个或者一个以上的指令，其中一个或者一个以上指令存储于存储器中，且经配置以由一个或者一个以上处理器执行如第一方面任意一项所述的数据融合处理方法。
36.经由上述技术方案可知，本技术公开了一种数据融合处理方法、系统、存储介质及
电子设备，获取多方数据，多方数据至少包括资源申请数据源、已有数据源和用户新增数据源，已有数据源用于表征处于正在使用状态的资源数据，用户新增数据源用于表征用户前端新增加的数据，通过结构化数据模型，对多方数据进行结构化分析处理，得到结构化数据，结构化数据表征数据参数、数据类型和数据结构的数据，通过规则引擎配置模型，对结构化数据进行匹配操作，并通过多重数据源数据融合模型，将匹配操作后的结构化数据进行融合；规则引擎配置模型为根据规则及规则内具体定义，完成结构化数据信息的填充的模型。通过上述，无需通过人工操作进行数据整合，只需通过多重数据源数据融合模型自动化对多方数据进行结构化分析处理，实现多个系统、多个节点的结构化数据的传递，并通过融合来自不同系统及用户的数据，从而降低管理风险和错误操作机率，提高数据融合的效率。此外，通过规则引擎配置模型实时对数据融合方法进行更新调整、新增新的融合规则等操作，提高数据融合的规则维护效率。
附图说明
37.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
38.图1为本技术实施例公开的一种数据融合处理方法的流程示意图；
39.图2为本技术实施例公开的一种数据融合处理系统的结构示意图；
40.图3为本技术实施例公开的一种电子设备的结构示意图。
具体实施方式
41.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
42.在本技术中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
43.由背景技术可知，现有的数据融合方法是通过人工操作进行数据整合，这种方式效率较低，人工处理成本高，且存在较高的管理风险和错误操作机率，过程冗余度高，导致整个数据融合效率低。
44.为了解决上述问题，本技术公开了一种数据融合处理方法、系统、存储介质及电子设备，无需通过人工操作进行数据整合，只需通过多重数据源数据融合模型自动化对多方数据进行结构化分析处理，实现多个系统、多个节点的结构化数据的传递，并通过融合来自不同系统及用户的数据，从而降低管理风险和错误操作机率，提高数据融合的效率。此外，通过规则引擎配置模型实时对数据融合方法进行更新调整、新增新的融合规则等操作，提
高数据融合的规则维护效率。此外，通过规则引擎配置模型实时对数据融合方法进行更新调整、新增新的融合规则等操作，提高数据融合的规则维护效率。具体实现方式通过下述实施例进行说明。
45.参考图1所示，为本技术实施例公开的一种数据融合处理方法的流程示意图，该数据融合处理方法主要包括如下步骤：
46.s101：获取多方数据；多方数据至少包括资源申请数据源、已有数据源和用户新增数据源；已有数据源用于表征处于正在使用状态的资源数据；用户新增数据源用于表征用户前端新增加的数据。
47.其中，资源申请数据源主要包括：服务器资源数据(如中央处理器cpu、内存、规格等)、存储资源数据(容量、存储类型等)、软件安装数据(中间件weblogic、数据库oracle客户端等)、网络资源数据(访问关系、负载均衡等)等。
48.已有数据源是指已经供给正在使用(处于正在使用状态)的数据。已有数据源包括：处于正在使用状态的服务器资源数据(如中央处理器cpu、内存、规格等)、处于正在使用状态的存储资源数据(容量、存储类型等)、处于正在使用状态的软件安装数据(中间件weblogic、数据库oracle客户端等)、处于正在使用状态的网络资源数据(访问关系、负载均衡等)等。
49.多方数据中的每个数据源(资源申请数据源、已有数据源和用户新增数据源)又涉及多个维度的数据信息，主要包括系统数据、部署单元数据、服务器数据、存储数据、软件数据、网络数据等，由此，组成了相对复杂的源数据网。
50.具体获取多方数据的过程如a1-a3所示。
51.a1：从资源审核系统中获取通过审批的资源申请格式化数据；资源申请格式化数据由预先设计的结构化模型定义得到。
52.资源申请格式化数据包括服务器资源数据、存储资源数据、软件安装数据和网络资源数据等。
53.其中，资源申请格式化数据通过结构化模型对资源申请数据源进行定义，得到资源申请格式化数据。
54.资源申请格式化数据包括经过结构化模型定义后的服务器资源数据(如中央处理器cpu、内存、规格等)、经过结构化模型定义后的存储资源数据(容量、存储类型等)、经过结构化模型定义后的软件安装数据(中间件weblogic、数据库oracle客户端等)、经过结构化模型定义后的网络资源数据(访问关系、负载均衡等)等。
55.a2：从资源系统中获取正在使用的已有数据源。
56.其中，已有数据源主要包括处于正在使用状态的服务器资源数据、处于正在使用状态的存储资源数据、处于正在使用状态的软件安装数据和处于正在使用状态的网络资源数据等。
57.从资源系统中获取并解析正在使用的已有数据源。
58.a3：从用户前端系统中获取用户新增数据源。
59.其中，在用户前端系统中提供用户前端增加数据功能，获取用户新增数据。
60.a1、a2和a3为并列关系。
61.s102：通过结构化数据模型，对多方数据进行结构化分析处理，得到结构化数据；
结构化数据表征数据参数、数据类型和数据结构的数据。
62.具体通过结构化数据模型，对多方数据进行结构化分析处理，得到结构化数据的过程如b1-b3所示。
63.b1：设计结构化数据模型。
64.b2：确认结构化数据模型中的数据参数表、数据类型和数据结构。
65.为了方便理解数据参数表、数据类型和数据结构，这里举例进行说明：
66.比如计算资源的主要参数有：资源数量、资源类型、cpu、内存等，这些为数据参数表；资源数量的数据类型为“数字”、资源类型为“单选文本框”等；数据结构为计算资源的固定参数 各种计算资源类型的特殊参数。
67.b3：通过数据参数表、数据类型和数据结构，对多方数据进行结构化分析处理，得到结构化数据。
68.其中，通过数据参数表、数据类型和数据结构，对多方数据进行结构化分析处理，得到包含数据参数表、数据类型和数据结构的结构化数据。
69.对资源申请格式化数据进行解析，判断结构化数据的格式化的资源申请数据源和已有数据源是否进行匹配。
70.其中，判断结构化数据的格式化的资源申请数据源和已有数据源是否进行匹配的依据有多种，比如：服务器资源横向扩容时，资源的类型、cpu、内存等需要与已有数据保持一致，纵向扩容机器类型需要保持一致等。
71.若结构化数据的格式化的资源申请数据源与已有数据源保持一致，确定结构化数据的格式化的资源申请数据源和已有数据源进行匹配。
72.当确定结构化数据的格式化的资源申请数据源和已有数据源进行匹配时，执行s103。
73.若结构化数据的格式化的资源申请数据源与已有数据源不保持一致，确定结构化数据的格式化的资源申请数据源和已有数据源不进行匹配。
74.若结构化数据的格式化的资源申请数据源和所述已有数据源不进行匹配，则通过格式化的资源申请数据源的服务器资源数据，对系统参数进行初始化赋值。
75.其中，对系统参数进行初始化赋值，即通过解析结构化数据，得到结构模型中定义的数据参数、数据类型对系统参数，并通过结构模型中定义的数据参数、数据类型对系统参数进行初始化赋值。
76.s103：通过规则引擎配置模型，对结构化数据进行匹配操作，并通过多重数据源数据融合模型，将匹配操作后的结构化数据进行融合；规则引擎配置模型为根据规则及规则内具体定义，完成结构化数据信息的填充的模型。
77.其中，若结构化数据的格式化的资源申请数据源和已有数据源进行匹配，则通过规则引擎配置模型的参数标识，对结构化数据的格式化的资源申请数据源和已有数据源进行匹配，并进行系统参数初始化赋值，完成多方数据的融合。
78.参数标识为规则引擎配置模型的数据参数、数据类型等。
79.通过规则引擎配置模型，对规则进行规则定义操作；规则定义操作至少包括定义规则名称、定义参数规则、定义规则标签和定义操作；定义参数规则包括参数名称和正则规则；定义操作包括操作规则和操作匹配。
80.其中，规则引擎配置模型主要用于规则定义操作，规则定义操作后，可根据对应规则进行数据信息匹配。
81.为了方便理解规则定义操作，这里举例进行说明：
82.例如，根据资源申请数据中的操作系统类型、操作系统版本两个字段的匹配，对应到规则中的操作系统镜像。
83.获取结构化数据并解析，获取规则库中的规则，数据参数与规则定义的标志参数进行匹配，根据匹配的规则及规则内具体定义，完成数据信息的填充。
84.规则定义主要包括定义规则名称、定义参数规则、定义规则标签和定义规则操作四部分。
85.其中，定义参数规则主要用于数据标识匹配，定义操作用于定义参数匹配成功后动作，比如生成配置数据等。定义参数规则包括定义参数名称、定义正则规则等。
86.定义规则操作包括定义操作规则、定义操作匹配等。
87.将融合后的数据提供给下游系统或流程使用。
88.本方案对多方不同的数据源进行结构化传递、拆解以及融合，将多方数据进行匹配，应用于后续流程。通过结构化的数据及自动化匹配动作，完成了数据有效的融合及使用，在减少人工处理数据的同时提高了数据传递准确性。
89.本方案提供了通过规则引擎配置模型配置数据融合机制的实现方法，该配置方法适用于银行多系统数据交互现状，通过提供前端配置页面，实现规则名称、参数匹配、匹配成功动作处理等功能。提高了数据融合规则的可配置性、易使用性及可复用性。
90.本方案针对银行业务特性，在满足供给资源数据准确性的同时，较少了人工数据处理量、提高了数据融合效率及资源交付速率。该方案通过将多方数据进行结构化分析处理，再通过规则引擎配置模型对资源申请信息及组件信息进行匹配，实现数据的高效准确传递。此外，通过规则引擎配置模型，可以实时对数据融合方法进行更新调整，或者新增新的融合规则，大大提高了数据融合的规则维护效率。
91.本技术实施例中，无需通过人工操作进行数据整合，只需通过多重数据源数据融合模型自动化对多方数据进行结构化分析处理，实现多个系统、多个节点的结构化数据的传递，并通过融合来自不同系统及用户的数据，从而降低管理风险和错误操作机率，提高数据融合的效率。此外，通过规则引擎配置模型实时对数据融合方法进行更新调整、新增新的融合规则等操作，提高数据融合的规则维护效率。
92.基于上述实施例图1公开的一种数据融合处理方法，本技术实施例还公开了一种数据融合处理系统，如图2所示，该数据融合处理系统包括获取单元201、处理单元202和匹配单元203。
93.获取单元201，用于获取多方数据；多方数据至少包括资源申请数据源、已有数据源和用户新增数据源；已有数据源用于表征处于正在使用状态的资源数据；用户新增数据源用于表征用户前端新增加的数据。
94.处理单元202，用于通过结构化数据模型，对多方数据进行结构化分析处理，得到结构化数据；结构化数据表征数据参数、数据类型和数据结构的数据。
95.匹配单元203，用于通过规则引擎配置模型，对结构化数据进行匹配操作，并通过多重数据源数据融合模型，将匹配操作后的结构化数据进行融合；规则引擎配置模型为根
据规则及规则内具体定义，完成结构化数据信息的填充的模型。
96.进一步的，获取单元201包括第一获取模块、第二获取模块和第三获取模块。
97.第一获取模块，用于从资源审核系统中获取通过审批的资源申请格式化数据；资源申请格式化数据由预先设计的结构化模型定义得到。
98.第二获取模块，用于从资源系统中获取正在使用的已有数据源。
99.第三获取模块，用于从用户前端系统中获取用户新增数据源。
100.进一步的，处理单元202包括设计模块、确认模块和处理模块。
101.涉及模块，用于设计结构化数据模型。
102.确认模块，用于确认结构化数据模型中的数据参数表、数据类型和数据结构。
103.处理模块，用于通过数据参数表、数据类型和数据结构，对多方数据进行结构化分析处理，得到结构化数据。
104.进一步的，数据融合处理系统还包括判断单元、第一确定单元和第二确定单元。
105.判断单元，用于判断结构化数据的格式化的资源申请数据源和已有数据源是否进行匹配。
106.第一确定单元，用于若结构化数据的格式化的资源申请数据源与已有数据源保持一致，确定结构化数据的格式化的资源申请数据源和已有数据源进行匹配。
107.第二确定单元，用于若结构化数据的格式化的资源申请数据源与已有数据源不保持一致，确定结构化数据的格式化的资源申请数据源和已有数据源不进行匹配。
108.进一步的，匹配单元203包括匹配模块和融合模块。
109.匹配模块，用于若结构化数据的格式化的资源申请数据源和已有数据源进行匹配，则通过规则引擎配置模型的参数标识，对结构化数据的格式化的资源申请数据源和已有数据源进行匹配。
110.融合模块，用于通过多重数据源数据融合模型，将匹配后的格式化的资源申请数据源、已有数据源和用户新增数据源进行融合。
111.进一步的，数据融合处理系统还包括操作单元。
112.操作单元，用于通过规则引擎配置模型，对所述规则进行规则定义操作；规则定义操作至少包括定义规则名称、定义参数规则、定义规则标签和定义操作；定义参数规则包括参数名称和正则规则；定义操作包括操作规则和操作匹配。
113.进一步的，数据融合处理系统还包括赋值单元。
114.赋值单元，用于若结构化数据的格式化的资源申请数据源和已有数据源不进行匹配，则通过格式化的资源申请数据源的服务器资源数据，对系统参数进行初始化赋值。
115.本技术实施例中，无需通过人工操作进行数据整合，只需通过多重数据源数据融合模型自动化对多方数据进行结构化分析处理，实现多个系统、多个节点的结构化数据的传递，并通过融合来自不同系统及用户的数据，从而降低管理风险和错误操作机率，提高数据融合的效率。此外，通过规则引擎配置模型实时对数据融合方法进行更新调整、新增新的融合规则等操作，提高数据融合的规则维护效率。
116.本技术实施例还提供了一种存储介质，存储介质包括存储的指令，其中，在指令运行时控制存储介质所在的设备执行上述数据融合处理方法。
117.本技术实施例还提供了一种电子设备，其结构示意图如图3所示，具体包括存储器
301，以及一个或者一个以上的指令302，其中一个或者一个以上指令302存储于存储器301中，且经配置以由一个或者一个以上处理器303执行所述一个或者一个以上指令302执行上述数据融合处理方法。
118.上述各个实施例的具体实施过程及其衍生方式，均在本技术的保护范围之内。
119.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
120.专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
121.对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
122.以上所述仅是本技术的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本技术的保护范围。