基于私有消息结构实现数据协作的数据网格系统及方法与流程

1.本发明涉及数据协作领域，特别是涉及一种基于私有消息结构实现数据协作的数据网格系统及方法。


背景技术：

2.随着移动互联网的飞速发展，越来越多的数据变得无处不在，许多企业都把数据驱动促进业务发展作为战略目标之一。中心式作为当前企业主要的数据平台架构模式，也面临着如下三个难题急需解决：1.无处不在的数据和数据源扩散。
3.2.在一个地方、一个平台控制下使用所有数据并进行协调。
4.3.海量集中数据局部数据权限管控。


技术实现要素：

5.有鉴于此，本发明的目的在于提供一种基于私有消息结构实现数据协作的数据网格系统及方法，转变了传统中心式数据协作必须将大量数据集中起来才能使用的观念，注重数据领域属性，由各领域参与数据协作流转，实现数据联合治理，去中心化的目标。
6.为实现上述目的，本发明采用如下技术方案：一种基于私有消息结构实现数据协作的数据网格系统，包括控制面、数据面及数据包；所述控制面、数据面及数据包依次连接；所述系统采用数据网格去中心化的方式进行数据流转协作。
7.进一步的，所述控制面包括数据节点管理模块，节点监控管理模块和节点控制中心；所述数据节点管理模块，主要负责数据面节点基础信息维护；所述节点监控管理模块，用于对数据面节点状态进行监控，对异常节点进行告警监控。
8.所述节点控制中心，负责与各数据面进行基础数据交互，接入认证、数据权限规划工作。
9.进一步的，所述数据面包括数据捕获连接器、数据处理器、数据汇接器和数据填充器；所述数据捕获连接器，作为数据面的入口，当有数据包到达时自动进行编解码及相关数据包合法性校验；所述数据处理器，用于对数据捕获连接器解码的数据进行业务处理，可以从本地自定义的数据填充器中获取本地源数据进行数据填充处理；所述数据汇接器，用于将数据处理器处理完成的业务数据按照数据包格式进行组包，并根据路由表往下一数据面进行数据投递；所述数据填充器，用于各数据面可自定义组件，实现本地数据源数据处理并导入
至处理器中。
10.进一步的，所述数据包消息结构定义如下：数据包长度len：记录整个数据包长度，数据捕获连接器通过数据包大小来接收并判断数据是否接收完整，占数据包头四个字节；校验域check：校验数据的完整性，32个字符长度；数据功能号funno：区分数据包业务属性，以便使用合适的数据处理器进行业务处理；权限控制表acllist：记录数据域中需要授权才可访问的数据权限列表；数据标识df：需要授权访问数据的标识位，以便在数据处理器渲染数据时根据此标识位判断是否可以展示相应内容；访问权限组ag：记录可访问此数据标识的数据面集合，每个数据面会有对应的访问权限标识；路由表route：记录数据包流转路径，包含上一数据面及下一数据面地址及端口，可通过上一数据面查找对应密钥，完成校验域校验码的生成；可通过下一数据面地址，实现数据处理完成后数据包往下一数据面流转；数据域data：真正数据包内容，包括有通用数据generaldata、受控数据controlleddata两部分组成；通用数据generaldata：非受控数据，所有数据面都可访问的数据；受控数据controlleddata：需要授权才可访问的数据。
11.进一步的，所述数据域data中整个数据内容采用私有加密算法进行加密，只有内置数据处理器组件才可进行解密，本地其他程序均无法进行解密。
12.一种基于私有消息结构实现数据协作的数据网格系统的数据协作方法，包括以下步骤：步骤s1:系统管理员登录控制面进行数据节点管理;步骤s2:在需要部署数据面的服务器上安装部署数据面程序，进行控制面ip、端口等基础参数配置;步骤s3数据面与控制面进行通讯交互，完成必要授权认证进行基础参数下载，至此整个数据网格底座初始化并构建完成;步骤s4:数据包到达数据面数据捕获连接器，连接器根据“数据包长度len”进行数据接收;数据接收完成后获取“路由表route”信息，根据上一数据面地址确定对应密钥，并进行数据签名计算，并与数据包中的校验域check进行比对验签。
13.步骤s5:数字验证通过后，获取数据功能号funno，根据功能编号将接收到的数据内容转发到对应的数据处理器中;步骤s6:数据处理器获取权限控制表acllist及数据域data，根据权限列表获取本数据面有权限的所有数据标识df;步骤s7:获取数据域中通用数据generaldata，并通过上一步骤获取的数据标识df获取有权限访问的受限数据内容dc,通过数据整合与通用数据进行数据渲染，得到完整数据;步骤s8:通过自定义数据填充器获取本地数据源数据与整合过的数据包数据进行
业务数据协作处理，最终形成聚合数据;步骤s9:数据处理器将处理后的业务数据传递到数据汇接器中，汇接器根据权限配置要求、数据处理流转路径等更新权限控制表acllist及路由表route并计算校验域校验值，最终按数据包消息结构完成数据包组包工作;步骤s10:数据汇接器将步骤s9组包好的数据包根据路由表信息传递到下一数据面进行数据汇聚处理。
14.进一步的，所述数据节点管理包括维护数据面名称、ip、端口、所属授权组、密钥。
15.进一步的，所述步骤s8中本地数据面根据实际业务需求对处理后的数据进行局部权限划分，对需要授权的数据进行数据标识df，并将对应数据存入数据域的受控数据域中。
16.本发明与现有技术相比具有以下有益效果：本发明采用数据网格去中心化的方式进行数据流转协作。通过数据面组件无需进行大量数据集中传输就地进行数据聚合处理，并基于自定义权限控制等手段实现数据流转局部权限管控，以统一标准规范实现数据生态，基于数据网格实现数据联合治理，满足数据聚合分析等场景。。
附图说明
17.图1是本发明系统结构示意图；图2是本发明一实施例中的控制面结构示意图；图3是本发明一实施例中的数据面结构示意图；图4是本发明一实施例中的数据包消息结构。
具体实施方式
18.下面结合附图及实施例对本发明做进一步说明。
19.参考图1，本发明提供一种基于私有消息结构实现数据协作的数据网格系统，包括控制面、数据面及数据包；所述控制面、数据面及数据包依次连接；所述系统采用数据网格去中心化的方式进行数据流转协作。
20.在本实施例中，如图2所示，控制面包括数据节点管理模块，节点监控管理模块和节点控制中心；数据节点管理模块，主要负责数据面节点基础信息维护；节点监控管理模块，用于对数据面节点状态进行监控，对异常节点进行告警监控。
21.节点控制中心，负责与各数据面进行基础数据交互，接入认证、数据权限规划工作。
22.在本实施例中，如图3所示，数据面包括数据捕获连接器、数据处理器、数据汇接器和数据填充器；数据捕获连接器，作为数据面的入口，当有数据包到达时自动进行编解码及相关数据包合法性校验；数据处理器，用于对数据捕获连接器解码的数据进行业务处理，可以从本地自定义的数据填充器中获取本地源数据进行数据填充处理；数据汇接器，用于将数据处理器处理完成的业务数据按照数据包格式进行组包，
并根据路由表往下一数据面进行数据投递；数据填充器，用于各数据面可自定义组件，实现本地数据源数据处理并导入至处理器中。
23.在本实施例中，数据包消息结构定义如图3所示，具体如下：1、数据包长度len：记录整个数据包长度，数据捕获连接器通过数据包大小来接收并判断数据是否接收完整，占数据包头四个字节。
24.2、校验域check：校验数据的完整性，32个字符长度。校验值sign=sha256（数据包内容，上一数据面秘钥）。注：可通过数据面在基础数据中查找密钥映射关系。
25.3、数据功能号funno：区分数据包业务属性，以便使用合适的数据处理器进行业务处理。funno编码规则：funno=系统编号 模块编号 业务功能点编号 6位流水号。例如：ykt-fkmk-bk-0000224、权限控制表acllist：记录数据域中需要授权才可访问的数据权限列表，主要包含数据标识df及访问权限组ag。
26.数据标识df：需要授权访问数据的标识位，以便在数据处理器渲染数据时根据此标识位判断是否可以展示相应内容。例如：cd_nf01访问权限组ag：记录可访问此数据标识的数据面集合，每个数据面会有对应的访问权限标识。
27.5、路由表route：记录数据包流转路径，包含上一数据面及下一数据面地址及端口，可通过上一数据面查找对应密钥，完成校验域校验码的生成；可通过下一数据面地址，实现数据处理完成后数据包往下一数据面流转。
28.6、数据域data：真正数据包内容，主要有通用数据generaldata、受控数据controlleddata两部分组成。注：整个数据内容采用私有加密算法进行加密，只有内置数据处理器组件才可进行解密，本地其他程序均无法进行解密。
29.通用数据generaldata：非受控数据，所有数据面都可访问的数据。数据中可能包含受控数据标识df。
30.受控数据controlleddata：需要授权才可访问的数据。注：数据标识df与数据内容dc组成。
31.在本实施例中，参考图4，还提供一种基于私有消息结构实现数据协作的数据网格系统的数据协作方法，包括以下步骤：步骤s1:系统管理员登录控制面进行数据节点管理，主要维护数据面名称、ip、端口、所属授权组、密钥等基础信息；步骤s2:在需要部署数据面的服务器上安装部署数据面程序，进行控制面ip、端口等基础参数配置;优选的，数据面可在同一公司不同产品线、子公司部署；也可跨地域甚至跨国进行部署；步骤s3数据面与控制面进行通讯交互，完成必要授权认证进行基础参数下载，至此整个数据网格底座初始化并构建完成;步骤s4:数据包到达数据面数据捕获连接器，连接器根据“数据包长度len”进行数据接收。数据接收完成后获取“路由表route”信息，根据上一数据面地址确定对应密钥（映射关系来自步骤s3下载的基础参数），并通过sign=sha256（数据包内容，秘钥）进行数据签
名计算，并与数据包中的校验域check进行比对验签;步骤s5:数字验证通过后，获取数据功能号funno，根据功能编号将接收到的数据内容转发到对应的数据处理器中;步骤s6:数据处理器获取权限控制表acllist及数据域data，根据权限列表获取本数据面有权限的所有数据标识df;步骤s7:获取数据域中通用数据generaldata，并通过上一步骤获取的数据标识df获取有权限访问的受限数据内容dc,通过数据整合与通用数据进行数据渲染，得到完整数据;步骤s8:通过自定义数据填充器获取本地数据源数据与整合过的数据包数据进行业务数据协作处理，最终形成聚合数据;优选的，本地数据面可以根据实际业务需求对处理后的数据进行局部权限划分，对需要授权的数据进行数据标识df，并将对应数据存入数据域的受控数据域中；步骤s9:数据处理器将处理后的业务数据传递到数据汇接器中，汇接器根据权限配置要求、数据处理流转路径等更新权限控制表acllist及路由表route并计算校验域校验值，最终按数据包消息结构完成数据包组包工作;步骤s10:数据汇接器将步骤s9组包好的数据包根据路由表信息传递到下一数据面进行数据汇聚处理。
32.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。
33.本技术是参照根据本技术实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
34.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
35.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
36.以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所
作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。