一种基于大数据的配置式可扩展统计入库系统及其方法与流程

1.本发明涉及互联网大数据技术领域，特别是涉及一种基于大数据的配置式可扩展统计入库系统及其方法。


背景技术：

2.目前，随着互联网大数据技术的发展和普及，业界产生大量需要进行统计和入库的统计型数据。市面上已有的入库统计方案较为零散且原始，普遍存在使用困难与适用范围较小、灵活度低和绑定成本高迁移变动不易的问题。


技术实现要素：

3.本发明的目的是为互联网大数据需要进行统计和入库的统计型数据，提供一种基于大数据的配置式可扩展统计入库系统及其方法，本系统基于配置式的管理，分离了输入的数据源和持久化的数据库，在解决大规模数据消费与入库需求的同时，减低耦合并且可以灵活配置入库系统支持的任意输入数据流到支持的任意持久化存储中，扩展性非常高，提升了构建入库系统的效率，让统计入库更简单。
4.为了实现上述目的，有必要针对上述技术问题，本发明提供了一种基于大数据的配置式可扩展统计入库系统及其方法。
5.本发明第一方面提供了一种基于大数据的配置式可扩展统计入库系统，其中，所述系统包括配置管理模块、数据配置模块和后台入库模块：
6.所述配置管理模块，用于配置数据源、数据源中的数据表和数据池，并根据所述数据源与所述数据池的订阅关系，关联所述数据源、数据表和数据池，得到配置数据；所述数据表包括数据源中日志数据的数据格式和数据表字段；
7.所述数据配置模块，用于根据所述配置数据，对需要入库的统计型数据进行入库操作；
8.所述后台入库模块，用于根据所述配置数据，读取所述入库的统计型数据，并写入到配置数据对应的数据池中。
9.进一步地，所述配置管理模块包括：
10.鉴权模块，用于用户的权限对数据请求进行鉴权；
11.日志管理模块，用于进行全表的定义和子表的映射，以及统计日志的读取、处理和入库。
12.进一步地，所述后台入库模块包括：
13.配置同步模块，用于同步所述配置管理模块对数据源、数据源中的数据表和数据池的配置变更；
14.组件维护模块，用于根据所述配置同步模块的同步，实施维护运行组件的更新和启停。
15.进一步地，所述后台入库模块还包括：
16.统计日志读取模块，用于根据配置的数据源获取原始统计日志；
17.全表子表日志处理模块，用于处理所述原始统计日志，并将所述原始统计日志映射到全表日志及根据子表配置生成子表日志；
18.子表日志入库模块，用于根据所述子表日志查找对应的子表日志发布节点，并根据子表的入库配置将所述子表日志入库到所述子表日志发布节点对应的数据池。
19.进一步地，所述数据配置模块配置的数据源，包括kafka；
20.所述数据配置模块配置的数据表，包括json格式和datepv字段；
21.所述数据配置模块配置的数据池为持久化存储数据池，包括mysql和clickhouse。
22.本发明第二方面提供了一种基于大数据的配置式可扩展统计入库方法，其中：
23.配置数据源、数据源中的数据表和数据池，并根据所述数据源与所述数据池的订阅关系，关联所述数据源、数据表和数据池，得到配置数据；所述数据表包括数据源中日志数据的数据格式和数据表字段；
24.根据所述配置数据，对需要入库的统计型数据进行入库操作；
25.根据所述配置数据，读取所述入库的统计型数据，并写入到配置数据对应的数据池中。
26.进一步地，所述根据所述配置数据，对需要入库的统计型数据进行入库操作，包括：
27.根据用户的权限对数据请求进行鉴权；
28.进行全表的定义和子表的映射，以及统计日志的读取、处理和入库。
29.进一步地，所述根据所述配置数据，读取所述入库的统计型数据，并写入到配置数据对应的数据池中，包括：
30.根据配置的数据源获取原始统计日志；
31.处理原始统计日志，并将处理原始统计日志映射到全表日志并根据子表配置生成子表日志；
32.根据所述子表日志查找对应的子表日志发布节点，并根据子表的入库配置将所述子表日志入库到所述子表日志发布节点对应的数据池。
33.进一步地，所述根据所述配置数据，读取所述入库的统计型数据，并写入到配置数据对应的数据池中之后，还包括：
34.同步对数据源、数据源中的数据表和数据池的配置变更；
35.根据对所述配置变更的同步操作，实施维护运行组件的更新和启停。
36.进一步地，配置式可扩展统计入库方法包括：
37.配置的数据源，包括kafka；
38.配置的数据表，包括json格式和datepv字段；
39.配置的数据池为持久化存储数据池，包括mysql和clickhouse。
40.本发明提供的一种基于大数据的配置式可扩展统计入库系统及其方法与现有技术相比，其有益效果在于：本发明是主流数据消息队列，主流数据库，业界常用统计日志处理、轻便管理配置系统的有机结合，使其均在一个控制系统内协同工作，基于配置式的管理，分离了输入的数据源和持久化的数据库，在解决大规模数据消费与入库需求的同时，保持了其实时性和稳定性，减低耦合并且可以灵活配置入库系统支持的任意输入数据流到支
持的任意持久化存储中，扩展性非常高，提升了构建入库系统的效率，让统计入库更简单，满足大数据互联网企业的统计需求。
附图说明
41.图1是本发明实施例中基于大数据的配置式可扩展统计入库系统框图；
42.图2是本发明实施例中基于大数据的配置式可扩展统计入库系统的流程示意图；
43.图3是本发明实施例中前端管理模块的示意图；
44.图4是本发明实施例中后台执行模块的示意图；
45.图5是本发明实施例中基于大数据的配置式可扩展统计入库方法的流程示意图；
46.图6是本发明实施例中数据配置的鉴权与日志管理方法的流程示意图；
47.图7是本发明实施例中日志处理的方法流程示意图；
48.图8是本发明实施例中日志处理中解码处理方法的的流程示意图；
49.图9是本发明实施例中配置同步和组件维护的方法流程示意图；
50.图10是本发明实施例中交互界面与交互伺服器之间交互方法的流程示意图。
具体实施方式
51.为了使本技术的目的、技术方案和有益效果更加清楚明白，下面结合附图及实施例，对本发明作进一步详细说明，显然，以下所描述的实施例是本发明实施例的一部分，仅用于说明本发明，但不用来限制本发明的范围。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
52.本发明提供的基于大数据的配置式可扩展统计入库系统的前端管理模块的前端交互界面单元使用前端低代码框架aims进行开发，服务器端使用go语言进行开发，配置数据存储在mongodb。
53.在一个实施例中，如图1所示，提供了一种基于大数据的配置式可扩展统计入库系统，其中：所述系统包括配置管理模块1、数据配置模块2和后台入库模块3；
54.所述配置管理模块1，用于配置数据源、数据源中的数据表和数据池，并根据所述数据源与所述数据池的订阅关系，关联所述数据源、数据表和数据池，得到配置数据；所述数据表包括数据源中日志数据的数据格式和数据表字段；
55.所述数据配置模块2，用于根据所述配置数据，对需要入库的统计型数据进行入库操作；
56.所述后台入库模块3，用于根据所述配置数据，读取所述入库的统计型数据，并写入到配置数据对应的数据池中。
57.本系统将数据源与数据池进行订阅，并将系统配置好的数据源、数据表和数据池关联起来，进而得到配置数据，统计入库可实时同步系统数据配置变更，并根据同步的配置变更进行入库操作，实现易用灵活与低耦合模块化，提升了构建入库系统的效率、使得统计型入库系统的灵活性、可配置性和扩展性均非常高，让统计入库更简单。
58.进一步地，如图3所示，所述配置管理模块1包括：
59.鉴权模块11，根据用户的用户权限对数据请求进行鉴权，其中，用户鉴权，是对试图接入网络的用户进行鉴权，审核其是否有权访问网络；通过用户鉴权可以保护网络和系
统数据，防止非法盗用；同时通过拒绝假冒合法客户的“入侵”达到保护该网络中的客户以及系统中配置的数据；
60.日志管理模块12，进行全表的定义和子表的映射，以及统计日志的读取、处理和入库。
61.进而保护该网络中的客户以及系统中配置的数据，让配置式可扩展统计入库系统更加安全，进而使得统计日志的管理与处理更灵活高效。
62.进一步地，如图4所示，所述后台入库模块3包括：
63.配置同步模块31，同步所述配置管理模块对数据源、数据源中的数据表和数据池的配置变更；
64.组件维护模块32，根据所述配置同步模块的同步，实施维护运行组件的更新和启停；
65.统计日志读取模块33，根据配置的数据源获取原始统计日志；
66.全表子表日志处理模块34，处理所述原始统计日志，并将所述原始统计日志映射到全表日志并根据子表配置生成子表日志；
67.子表日志入库模块35，根据所述子表日志查找对应的子表日志发布节点，并根据子表的入库配置将所述子表日志入库到所述子表日志发布节点对应的数据池。
68.系统中的配置管理、数据配置同步、组件维护和日志处理均可在一个控制系统内协同工作，即将统计日志处理方式和轻便的管理配置系统进行有机结合，进而提升了构建入库系统的效率，提供了更为可靠实用的统计日志入库平台，让统计入库更简单，降低成本。
69.在一个实施例中，如图2所示，在数据配置模块2中配置数据源，包括kafka；
70.在数据配置模块2中配置数据表，数据源里面日志数据格式和字段，格式为json格式和字段包括date pv；
71.在数据配置模块2中配置的持久化存储数据池包括，mysql和clickhouse；
72.在数据配置模块2中，将所述数据源与所述数据池进行订阅，将配置好的数据源、数据表、数据池依次关联起来，其中，数据源里面的数据根据配置的数据表字段写入数据池中，所述数据池为持久化存储数据池，包括mysql和clickhouse；
73.统计入库操作根据上述统计入库系统配置的数据，读取数据源的数据，然后写入到配置中对应的持久化存储池中。
74.上述实施例是整个配置式可扩展系统的工作流程，其基于配置式的管理，分离了输入的数据源和持久化的数据库，减低耦合并且灵活性和扩展性非常高，可以灵活配置入库系统支持的任意输入数据流到支持的任意持久化存储中，提升构建入库系统的效率，让统计入库更简单和高效。
75.为了进一步优化上述配置式可扩展统计入库系统的配置管理模块与数据配置模块之间的交互，配置管理模块1可以包括前端交互界面和前端交互伺服器，前端交互界面与前端交互伺服器进行网络通讯；
76.所述前端交互界面，通过网络请求获取交互内容数据，并将反馈信息或交互数据上传至交互伺服器单元服务；
77.所述前端交互伺服器，提供入库统计配置的修改和展示的网络请求接口，提供交
互界面与数据库记录的映射；
78.其中，所述配置管理模块1的配置变更为前端交互伺服器对数据源、数据源中的数据表和数据池的配置变更。
79.上述优选例在保持系统实时性和稳定性的同时，降低了入库系统的成本，提高了入库系统的效率，并加强了入库系统的灵活性，满足大数据互联网企业的统计需求。
80.基于上述一种基于大数据的配置式可扩展统计入库系统，本发明实施例，提供了一种基于大数据的配置式可扩展统计入库方法，如图5所示，包括以下步骤：
81.s11、配置数据源、数据源中的数据表和数据池，并根据所述数据源与所述数据池的订阅关系，关联所述数据源、数据表和数据池，得到配置数据；
82.s12、所述数据表包括数据源中日志数据的数据格式和数据表字段；
83.s13、根据所述配置数据，对需要入库的统计型数据进行入库操作；
84.s14、根据所述配置数据，读取所述入库的统计型数据，并写入到配置数据对应的数据池中。
85.其中，配置数据源，包括kafka；
86.配置数据表，即配置数据源里面日志数据格式和字段，其中格式为json格式、字段包括date pv；
87.配置的数据池为持久化存储数据池，包括mysql和clickhouse；
88.将所述数据源与所述数据池进行订阅，并关联所述数据源、数据表和数据池，得到配置数据；
89.其中，数据源里面的数据根据配置的数据表字段写入持久化数据存储池，包括mysql和clickhouse；
90.统计入库操作根据上述统计入库系统配置的数据，读取数据源的数据，然后写入到配置中对应的持久化存储池中。
91.上述配置式可扩展统计入库的方法，其基于配置式的管理，分离了输入的数据源和持久化的数据库，减低耦合并且灵活性和扩展性非常高，可以灵活配置入库系统支持的任意输入数据流到支持的任意持久化存储中，提升构建入库系统的效率，让统计入库更简单和高效。
92.进一步地，一种基于大数据的配置式可扩展统计入库方法，其中，在根据所述配置数据，对需要入库的统计型数据进行入库操作，如图6所示，具体步骤如下：
93.s131、根据用户的用户权限对数据请求进行鉴权；
94.s132、进行全表的定义和子表的映射，以及统计日志的读取、处理和入库。
95.上述方法保护了网络和系统数据，防止非法盗用；同时通过拒绝假冒合法客户的“入侵”达到保护该网络中的客户以及系统中配置的数据；让配置式可扩展统计入库系统更加安全，在保持系统实时性和稳定性的同时，降低了入库系统的成本，提高了入库系统的效率，并加强了入库系统的灵活性，满足大数据互联网企业的统计需求。
96.在所述根据所述配置数据，读取所述入库的统计型数据，并写入到配置数据对应的数据池中，需要进行日志处理操作，如图7所示，具体步骤如下：
97.s141、根据配置的数据源获取原始统计日志；
98.s142、处理所述原始统计日志，将所述原始统计日志映射到全表日志并根据子表
配置生成子表日志；
99.s143、根据所述子表日志查找对应的子表日志发布节点，并根据子表的入库配置将所述子表日志入库到所述子表日志发布节点对应的数据池；
100.其中，在上述处理所述原始统计日志步骤中，需要对获取的原始统计日志进行解码，如图8所示，具体步骤如下：
101.s1441、将从数据源读取的原始统计日志通过解码器进行解码设置；
102.s1442、将其解码为通用的字典型全表日志。
103.基于上述的统计日志处理方法进行日志处理，可以使得配置式可扩展统计入库系统在日志处理上更灵活和高效，进而提高了整个系统的高效和灵活性。
104.进一步地，在所述根据所述配置数据，读取所述入库的统计型数据，并写入到配置数据对应的数据池之后，还需要进行配置同步、组件维护操作，如图9所示，具体步骤如下：
105.s144、同步对数据源、数据源中的数据表和数据池的配置变更；
106.s145、根据对所述配置变更的同步操作，实施维护运行组件的更新和启停。
107.优选地，为了进一步优化上述配置式可扩展统计入库方法中配置管理与数据配置之间的交互，将前端交互界面与前端交互伺服器进行网络通讯，如图10所示，包括如下步骤：
108.s21、在前端交互界面中通过网络请求获取交互内容数据，并将反馈信息或交互数据上传至交互伺服服务；
109.s22、前端交互伺服器提供入库统计配置的修改和展示的网络请求接口，提供交互界面与数据库记录的映射；
110.上述交互方法降低了入库系统的成本，提高了入库系统的效率，并加强了入库系统的灵活性。
111.综上所述，本发明实施例提供一种基于大数据的配置式可扩展统计入库系统及其方法，基于配置式的管理，分离了输入的数据源和持久化的数据库；在解决大规模数据消费与入库需求的同时，保持了其实时性和稳定性，减低耦合并且可以灵活配置入库系统；支持任意输入的数据流到支持的任意持久化存储中，扩展性非常高，提升了构建入库系统的效率，让统计入库更简单，满足大数据互联网企业的统计需求。
112.以上所述仅是本发明的优选实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出，对于本技术领域的普通计数人员来说，在不脱离本发明计数原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本发明的保护范围。因此，本技术专利的保护范围应以所述权利要求的保护范围为准。