一种基于微服务框架的综采工作面数据中台的节点管控方法与流程

1.本发明属于节点管控领域，具体涉及一种基于微服务框架的综采工作面数据中台的节点管控方法。


背景技术：

2.随着互联网的发展和轻量级运行技术的发展，越来越多的微服务框架也开始出现，然而目前常见的服务框架中，业务代码耦合严重，这将直接影响到代码的可维护性和可扩展性，导致开发人员在业务开发时，不得不去关注很多不必要的技术细节，诸如网络连接，代码解析结果等，从而降低了业务开发效率和代码质量。
3.现阶段矿井各子系统数据获取主要依靠自身，由于各子系统获取数据途径不同导致数据处理程度、数据处理精度和数据统计结果均不相同，为了打破现有技术壁垒，方便各子系统数据获取，及保证获取数据的准确性和完整性，提出本技术方案。


技术实现要素：

4.本发明的目的在于克服上述不足，提供一种基于微服务框架的综采工作面数据中台的节点管控方法，实现高可用。
5.为了达到上述目的，本发明包括以下步骤：
6.s1，多系统实时接收不同数据源的数据；
7.s2，当接入的数据量超过nginx负载均衡配置策略时，触发round
‑
robin调度算法对数据指定轻负载ip服务节点进行数据分发；
8.s3，根据系统的数据压力，动态加强数据网关控制及负载均衡的能力；
9.s4，鉴权系统对数据分配权限，并将数据储于特定数据存储单元。
10.s1通过hadoop大数据集群中心处理，hadoop大数据集群中心用于对多源、多方式接入的数据做统一集中归纳、计算、编排和存储等，最终形成完整的数据。
11.hadoop大数据集群中心的接收的数据包括以下方式导入：
12.通过kafka数据直接接入，利用flink内提前规划好的针对于不同数据不同结构的业务处理算法，对数据进行一次统计、分析和处理，并存入数仓内；
13.各系统内的业务数据、日志数据、操作数据和高可用备份数据利用flink接入，根据其发送到数据报文，对数据进行分类、编排和存储，建立具备数据高密度、高复用率的数仓。
14.flink内根据配置心中所提前规划好的算法和脚本，应用于各数据源各数据报文的标识。
15.hadoop大数据集群中心采用节点高可用方式的进行ha全分布式部署。
16.s2中，通过kafka数据采集系统进行同一数据订阅分发，kafka数据采集系统对处理过后的数据进行的分发的方法如下：
17.数据将被传输至数仓内，作为实时数据存储；
18.实时数据在存储时根据配置中心静态获取的策略配置；
19.对实时数据进行范围性对数据进行打包，并重新赋予数据标识；
20.根据数据标识在hbase内建立数据索引目录，并将需要展示的数据放在mysql中。
21.s2中，通过kafka数据采集系统进行同一数据订阅分发，kafka数据采集系统对处理过后的数据进行的分发的方法如下：
22.侵入式接入时，修改其接入系统内部代码；
23.数据输入到监测服务组建中，由组件进行数据在其系统内容的分发和权限控制，同时监测数据传输周期；
24.在数据输出时，采用平台下发sdk数据处理服务中间组件，进行对数据上传；
25.上传时将采用数据报文方式，上传至hadoop大数据集群中心的外部服务数据传输服务单元内。
26.s2中，通过kafka数据采集系统进行同一数据订阅分发，kafka数据采集系统对处理过后的数据进行的分发的方法如下：
27.非侵入式接入时，由接入系统对kafka数据采集系统，在处理完成后或业务逻辑闭环后，平台提供统一对外暴露的动态api网关服务，利用其api对数据进行上传。
28.鉴权系统数据鉴权逻辑如下：
29.依据数据报文头部内容来识别数据的真实性及有效性；
30.数据报文头部包含时间有效、内容有效；
31.发送侧根据数据内容进行sha256 hash加密算法对内容进行加密，在鉴权系统检测到数据推送时，比较秘钥和内容是否一致，完成鉴权。
32.与现有技术相比，本发明以数据中台为基础，打破现有技术壁垒。实时接收多系统的不同数据源中的数据，通过将各模块数据统一获取、处理并存储于数据中台，保证数据资源的准确性和完整性。当某个子系统需要使用该部分资源时，直接从数据中台调用，保证了数据使用的高效性和准确性。
附图说明
33.图1为本发明的系统框图。
具体实施方式
34.下面结合附图对本发明做进一步说明。
35.参见图1，本发明具备多系统非同一数据源的结入方式；
36.当接入数据量超过nginx负载均衡配置策略时，就会触发round
‑
robin调度算法对数据指定轻负载ip服务节点进行数据分发；
37.由kafka(分布式流处理发布订阅消息系统)进行同一数据订阅分发。并依靠其存储能力，对接收到的数据进行一次缓存。随数据流向闭环该缓存数据删除。
38.根据接入系统数据压力。会动态加强数据网关控制及负载均衡的能力，提高数据鉴权oauth平台的可用性，鉴权系统数据鉴权逻辑为：依据数据报文头部内容来识别数据的真实性及有效性。包含时间有效、内容有效。发送侧会根据数据内容进行sha256 hash加密算法对内容进行加密，在鉴权系统检测到数据推送时，不会过滤内容只会比较秘钥和内容
是否一致。这个就是鉴权逻辑。
39.kafka数据采集系统，nginx keepalived控制qps。实际将处理能力动态的对这两个服务节点进行增加。
40.在数据集中处理系统(kafka)中，对处理过后的数据进行的分发包括如下方式：
41.1、数据将被传输至数仓内，不改变数据标识、数据报文头部信息，直接进行存储。作为实时数据存储。
42.数据将在存储时根据配置中心静态获取的策略配置，对数据进行范围性(包含标签：时间、长度、大小)对数据进行打包，并重新赋予数据标识。
43.根据数据标识(数据唯一id)将在hbase内建立数据索引目录。
44.需要展示的将放在mysql(关系型数据库)中。
45.2、当有在用系统需要用到接入数据源中的数据时。提供以下两种输出方式：
46.1)侵入式接入；
47.需要修改其接入系统内部代码。
48.接入方式将由平台提供监测服务sdk中间组件。数据将直接输入到监测服务组建中，由组件进行数据在其系统内容的分发和权限控制。同时具备监测数据传输周期(超时、重启、通知、停止)。
49.由于接入系统本身的数据处理逻辑及能力。在数据输出时，依然采用平台下发sdk数据处理服务中间组件，进行对数据上传。
50.上传，将采用数据报文方式，头部消息包含接入系统信息、输出时间、数据标识。上传至hadoop大数据集群中心的外部服务
‑
数据传输服务单元内。
51.2)非侵入式接入；
52.由接入系统自己对接数据集中处理系统(kafka)。在处理完成后或业务逻辑闭环后，平台提供统一对外暴露的动态api网关服务，利用其api对数据进行上传。
53.上传逻辑同上。
54.非侵入式不具备数据传输周期监测功能，无法调度数据源。
55.hadoop
‑
分布式高可用大数据集群处理中心的作用主要是对多源、多方式接入的数据做统一集中归纳、计算、编排、存储等。形成完整的数据使用方案。
56.接入至hadoop的方法如下：
57.1、通过kafka数据直接接入。利用flink内提前规划好的针对于不同数据不同结构的业务处理算法对数据进行一次统计、分析、处理。并存入数仓内；
58.2、接入的各系统内的业务数据、日志数据、操作数据、高可用备份数据等利用flink，根据其发送到数据报文，对数据进行分类、编排、存储。建立具备数据高密度、高复用率的数仓，为其它数据逻辑提供解决方案。
59.flink内根据配置心中所提前规划好的算法、脚本。应用于各数据源各数据报文的标识，来做不同应对。
60.hzy
‑
imms
‑
data
‑
api的工作方法如下：
61.这个是用于对外提供数仓的一种解决方案。
62.通过请求的负载均衡，对需要存储在数仓的数据进行查询并返回。
63.请求将提供用户名 密码的方式。获取token，ttl(有效存活时间)时间＝86400s或
100次。
64.具备权限，根据不同权限所开放的数据查询内容不同。
65.hadoop内整体采用节点高可用方式的进行ha全分布式部署，其部署方式为：
66.1、采用centos 7.2x64 mini基本内核；
67.2、zookeeper*6；
68.3、hdfs|datanode(分布式文件存储系统)(数据节点)*32；
69.4、hbase(分布式nosql数据库)*8；
70.5、redis*12(基于哨兵模式进行分布式部署)；
71.6、hive(数据仓库)*3(应用于不同场景)；
72.7、flink*8(动态扩容)；
73.8、nginx keepalived*6(动态扩容)；
74.9、mysql(主备)*12；
75.10、kafka*8(动态扩容)；
76.11、yarn*4(主备、任务资源调度单元)；
77.12、namenode*4(主备、元数据服务单元)；
78.13、journalnode*32(高可用数据同步单元)；
79.14、鉴权 业务处理系统*4(用于配置中心提供可操作性前端系统及权限分配系统)。
80.hzy
‑
data
‑
dis用于日志、操作性数据、非功能性(非用户数据、设备数据、权限数据)数据监控系统。
81.平台对所有节点进行统一约定包含：
82.(1)数据节点标识。
83.(2)数据报文内容。
84.(3)数据权限访问方式。
85.该系统将特定标识数据进行单独抽取(kafka服务生命周期内执行操作数据集、数据传输心跳数据集、flink生命周期数据处理数据集、接入的子系统状态数据集、高可用状态数据集、监测服务状态数据集、负载均衡 路由状态分发状态数据集、keepalived vrrp状态数据集等)。系统将对这些进行记录并根据逻辑进行各子节点的状态数据集进行计算，协调 平衡数据能力。优化各节点服务能力。
86.最终处理完毕的数据，将存储于独立于平台的隐私数据存储单元，并有专业的技术人员进行人工查阅。