一种基于数据属性的数据自动化处理方法及系统与流程

1.本发明涉及数据处理技术领域，尤其涉及一种基于数据属性的数据自动化处理方法。


背景技术：

2.数据处理系统中，对于不同需求的数据处理，目前通过一系列的数据程序进行管理，不同程序之间需要进行依赖和关联，同时对于不同需求中需求细节不能显性的查看，对于程序管理不透明。
3.数据加工增强主数据不同类型对象属性，需要通过数据库sql进行数据生成。后续在需求变更、新增、删除情况下都需要对程序进行修复，开发人员需要把精力放在需求实现和原有程序变更上，按照业务进行个性化开发，增量需求需要重新开发，并且需要大量后续运维人员进行维护。


技术实现要素：

4.针对上述问题，本发明提供了一种基于数据属性的数据自动化处理方法，通过数据标签加工流程的预定义，能够实现流/批处理的配置化、自动化预处理，使得业务分析过程中分析人员只需要关注于业务是否增量和属性变化，开发过程中可以解耦，只需要关注业务变更或者属性变更，大大降低分析和开发成本，提高了数据处理的前期效率，降低了运维人员要求。
5.为实现上述目的，本发明提供了一种基于数据属性的数据自动化处理方法，包括：
6.预先定义所要处理的不同业务系统，并对同一系统的不同业务层级进行定义；
7.预先定义数据源中数据的主题类型，并针对同一主题类型的数据进行主题标签定义；
8.按照预设的业务执行逻辑，对不同业务系统、不同业务层级、不同主题类型和不同主题标签的数据进行输入、输出配置，实现业务数据加工流程的定义；
9.根据所要处理的业务数据，由数据源中采集对应主题标签的目标数据，并根据指定的业务数据加工流程，基于所述主题标签对所述目标数据进行自动化数据处理流程，得到数据处理结果。
10.在上述技术方案中，优选地，基于数据属性的数据自动化处理方法还包括：
11.针对所要处理的目标数据，增加新的主题标签，并在新增主题标签的属性增强下对所述目标数据进行自动化数据处理流程。
12.在上述技术方案中，优选地，基于数据属性的数据自动化处理方法还包括：
13.变更所要处理的业务数据，根据指定所要变更的业务系统和业务层级，变更由数据源中采集目标数据的主题标签，并由数据源中采集变更主题标签对应的业务数据。
14.在上述技术方案中，优选地，基于数据属性的数据自动化处理方法还包括：
15.针对基于主题标签的目标数据的采集过程进行监控，基于主题标签对监控数据进
行可视化处理，得到基于业务层级和业务数据加工流程的映射图像。
16.在上述技术方案中，优选地，基于数据属性的数据自动化处理方法还包括：
17.针对基于主题标签的目标数据的处理流程进行分单元监控，并根据监控数据计算得到业务数据处理过程中各流程的评估指标。
18.本发明还提出一种基于数据属性的数据自动化处理系统，应用如上述技术方案中任一项所述的基于数据属性的数据自动化处理方法，包括：
19.业务定义模块，用于预先定义所要处理的不同业务系统，并对同一系统的不同业务层级进行定义；
20.主题定义模块，用于预先定义数据源中数据的主题类型，并针对同一主题类型的数据进行主题标签定义；
21.流程定义模块，用于按照预设的业务执行逻辑，对不同业务系统、不同业务层级、不同主题类型和不同主题标签的数据进行输入、输出配置，实现业务数据加工流程的定义；
22.数据处理模块，用于根据所要处理的业务数据，由数据源中采集对应主题标签的目标数据，并根据指定的业务数据加工流程，基于所述主题标签对所述目标数据进行自动化数据处理流程，得到数据处理结果。
23.在上述技术方案中，优选地，基于数据属性的数据自动化处理系统还包括主题新增模块，用于针对所要处理的目标数据，增加新的主题标签；
24.在所述主题新增模块新增的主题标签的属性增强下，所述数据处理模块对所述目标数据进行自动化数据处理流程。
25.在上述技术方案中，优选地，基于数据属性的数据自动化处理系统还包括业务变更模块，用于变更所要处理的业务数据，根据指定所要变更的业务系统和业务层级，变更由数据源中采集目标数据的主题标签；
26.所述数据处理模块由数据源中采集变更主题标签对应的业务数据。
27.在上述技术方案中，优选地，基于数据属性的数据自动化处理系统还包括采集监控模块，用于针对基于主题标签的目标数据的采集过程进行监控，并基于主题标签对监控数据进行可视化处理，得到基于业务层级和业务数据加工流程的映射图像。
28.在上述技术方案中，优选地，基于数据属性的数据自动化处理系统还包括处理监控模块，用于针对基于主题标签的目标数据的处理流程进行分单元监控，并根据监控数据计算得到业务数据处理过程中各流程的评估指标。
29.与现有技术相比，本发明的有益效果为：通过数据标签加工流程的预定义，能够实现流/批处理的配置化、自动化预处理，使得业务分析过程中分析人员只需要关注于业务是否增量和属性变化，开发过程中可以解耦，只需要关注业务变更或者属性变更，大大降低分析和开发成本，提高了数据处理的前期效率，降低了运维人员要求。
附图说明
30.图1为本发明一种实施例公开的基于数据属性的数据自动化处理方法的流程示意图；
31.图2为本发明一种实施例公开的数据自动化处理的架构方式示意图；
32.图3为本发明一种实施例公开的基于数据属性的数据自动化处理的可视化流程示
意图；
33.图4为本发明一种实施例公开的营销积分活动的数据自动化处理的流程示意图；
34.图5为本发明一种实施例公开的基于数据属性的数据自动化处理系统的模块示意图。
35.图中，各组件与附图标记之间的对应关系为：
36.11.业务定义模块，12.主题定义模块，13.流程定义模块，14.数据处理模块，15.主题新增模块，16.业务变更模块，17.采集监控模块，18.处理监控模块。
具体实施方式
37.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
38.下面结合附图对本发明做进一步的详细描述：
39.如图1和图2所示，根据本发明提供的一种基于数据属性的数据自动化处理方法，包括：
40.预先定义所要处理的不同业务系统，并对同一系统的不同业务层级进行定义；
41.预先定义数据源中数据的主题类型，并针对同一主题类型的数据进行主题标签定义；
42.按照预设的业务执行逻辑，对不同业务系统、不同业务层级、不同主题类型和不同主题标签的数据进行输入、输出配置，实现业务数据加工流程的定义；
43.根据所要处理的业务数据，由数据源中采集对应主题标签的目标数据，并根据指定的业务数据加工流程，基于主题标签对目标数据进行自动化数据处理流程，得到数据处理结果。
44.在该实施方式中，通过数据标签加工流程的预定义，能够实现流/批处理的配置化、自动化预处理，使得业务分析过程中分析人员只需要关注于业务是否增量和属性变化，开发过程中可以解耦，只需要关注业务变更或者属性变更，大大降低分析和开发成本，提高了数据处理的前期效率，降低了运维人员要求。
45.在上述实施方式中，优选地，基于数据属性的数据自动化处理方法还包括：
46.针对所要处理的目标数据，增加新的主题标签，并在新增主题标签的属性增强下对目标数据进行自动化数据处理流程。
47.在上述实施方式中，优选地，基于数据属性的数据自动化处理方法还包括：
48.变更所要处理的业务数据，根据指定所要变更的业务系统和业务层级，变更由数据源中采集目标数据的主题标签，并由数据源中采集变更主题标签对应的业务数据。
49.在上述实施方式中，优选地，基于数据属性的数据自动化处理方法还包括：
50.针对基于主题标签的目标数据的采集过程进行监控，基于主题标签对监控数据进行可视化处理，得到基于业务层级和业务数据加工流程的映射图像。
51.在上述实施方式中，优选地，基于数据属性的数据自动化处理方法还包括：
52.针对基于主题标签的目标数据的处理流程进行分单元监控，并根据监控数据计算
得到业务数据处理过程中各流程的评估指标。
53.具体地，根据上述实施方式中公开的基于数据属性的数据自动化处理方法，该方法具有以下特征：
54.(1)支持多业务系统定义，同时支撑不同业务系统预处理定义，比如酬金、量酬、积分等业务，并制定业务系统使用的数据源
55.(2)支持对统一系统的不同业务树进行定义，用来进行层级化的管理业务处理配置
56.(3)支持主题域定义，定义不同的主题域来表明数据的分类类型，比如用户主题、资费主题等
57.(4)按照对数据源中不同业务主题标签进行定义，比如用户主题：用户年龄、用户性别；资费主题：资费类型、资费费用等
58.(5)主数据定义：主数据数据源管理，定义主数据结构，并指定主数据主键、主数据中对应主题对应关系
59.(6)业务加工流程定义：对业务进行定义，制定归属系统，使用数据源，周期定义(月/日/流)，输出定义(kafka、表、文件)，定义主数据的过滤规则(通过标签值过滤)，主数据增加标签，最后输出形式定义和个性化sql定义，实现业务加工分类的配置；
60.(7)运营展示工具：展示整体系统中采集指标的成功率，指标的运营时长，业务的运行时长等，可以看到失败任务，超时任务等内容，用于系统调优；
61.(8)数据加工，通过对主数据的提取和主题域数据的加工，按照数据特点，支持消息类(kafka)、数据表类(mysql，hive等)、文件类加工。
62.如图3所示，根据上述特征，该方法能够针对系统的业务流程结构，在系统使用初期对系统、业务进行规划后，后续根据业务指定加工程序和主题域属性。
63.在具体实施过程中，实施步骤包括：
64.1.确定主数据，通过主数据采集配置定义主数据名称，定义采集参数；
65.2.确定指标：确定主数据过滤和新增需要指标信息，通过指标程序层管理系统管控指标采集程序；
66.3.通过管理端配置系统、业务、主题域、标签；
67.4.在指定业务下配置业务加工程序，实现预处理过程采集。
68.如图4所示，具体地，在营销积分活动中，假设数据库为oracle数据库，则具体数据预处理过程为：
69.1、从oracle数据库中采集营销活动办理主数据
70.2、从oracle数据库中获取营销活动基础信息表和营销活动分类，进行标签加工得到营销活动类型表
71.3、从oracle数据库中获取营销活动基础信息表，定义营销活动保底费和营销活动预存费
72.4、定义积分系统，配置业务结构-营销活动业务，在营销活动业务下配置终端营销活动预处理流程。
73.根据上述实施方式，该方法具有以下技术效果：
74.(1)业务新增与属性处理逻辑分离：属性标签在指定的主题内提前单独完成，业务
使用时使用关联关系直接获取；
75.(2)业务程序配置化：业务程序通过4步配置实现，原先需要按照sql形式进行单独的开发，可读性和配置化能力低；
76.(3)业务结构清晰：可以通过运维界面直接看到系统的业务结构，每个业务处理中使用到的标签，处理的业务逻辑等，对于运维人员要求低，可以直接上手使用；
77.(4)系统监控体系完整：针对于系统中每个处理单元监控运行时长，并按照依赖进行检查，按照预计时长进行告警监控，按照稽核规则进行结果异步稽核；
78.(5)开发人员开发成本降低：开发人员开发时无需过度关心原有逻辑，知晓增加的标签逻辑新增标签；
79.(6)运维人员运维简单：运维过程自动化运行，运行完成后输出完整的运行报告和稽核报告。
80.如图5所示，本发明还提出一种基于数据属性的数据自动化处理系统，应用如上述实施方式中任一项的基于数据属性的数据自动化处理方法，包括：
81.业务定义模块11，用于预先定义所要处理的不同业务系统，并对同一系统的不同业务层级进行定义；
82.主题定义模块12，用于预先定义数据源中数据的主题类型，并针对同一主题类型的数据进行主题标签定义；
83.流程定义模块13，用于按照预设的业务执行逻辑，对不同业务系统、不同业务层级、不同主题类型和不同主题标签的数据进行输入、输出配置，实现业务数据加工流程的定义；
84.数据处理模块14，用于根据所要处理的业务数据，由数据源中采集对应主题标签的目标数据，并根据指定的业务数据加工流程，基于主题标签对目标数据进行自动化数据处理流程，得到数据处理结果。
85.在该实施方式中，通过数据标签加工流程的预定义，能够实现流/批处理的配置化、自动化预处理，使得业务分析过程中分析人员只需要关注于业务是否增量和属性变化，开发过程中可以解耦，只需要关注业务变更或者属性变更，大大降低分析和开发成本，提高了数据处理的前期效率，降低了运维人员要求。
86.在上述实施方式中，优选地，基于数据属性的数据自动化处理系统还包括主题新增模块15，用于针对所要处理的目标数据，增加新的主题标签；
87.在主题新增模块15新增的主题标签的属性增强下，数据处理模块14对目标数据进行自动化数据处理流程。
88.在上述实施方式中，优选地，基于数据属性的数据自动化处理系统还包括业务变更模块16，用于变更所要处理的业务数据，根据指定所要变更的业务系统和业务层级，变更由数据源中采集目标数据的主题标签；
89.数据处理模块14由数据源中采集变更主题标签对应的业务数据。
90.在上述实施方式中，优选地，基于数据属性的数据自动化处理系统还包括采集监控模块17，用于针对基于主题标签的目标数据的采集过程进行监控，并基于主题标签对监控数据进行可视化处理，得到基于业务层级和业务数据加工流程的映射图像。
91.在上述实施方式中，优选地，基于数据属性的数据自动化处理系统还包括处理监
控模块18，用于针对基于主题标签的目标数据的处理流程进行分单元监控，并根据监控数据计算得到业务数据处理过程中各流程的评估指标。
92.具体地，根据上述实施方式公开的基于数据属性的数据自动化处理系统，其各模块所要实现的功能按照上述实施方式中公开的基于数据属性的数据自动化处理方法的步骤实施，参照上述实施方式，在此不再赘述。
93.以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。