数据处理方法、装置、存储介质及处理器与流程

1.本发明涉及数据处理领域，具体而言，涉及一种数据处理方法、装置、存储介质及处理器。


背景技术：

2.目前系统使用到线上的日志数据为json格式的，由于前端的字段变更频繁且字段数量较大，因此之前在导入这些数据到数仓的时候，只会选择部分字段落地，导致后续数仓会频繁增加字段并回刷历史数据。
3.现在的方法需要手工在表上增加字段和手工配置文件，导致非技术人员无法操作(没有访问hdfs的权限)，技术人员操作麻烦等问题。
4.针对上述由于现有技术需要人工在表上添加字段和配置文件，而造成操作复杂的问题，目前尚未提出有效的解决方案。


技术实现要素：

5.本发明实施例提供了一种数据处理方法、装置、存储介质及处理器，以至少解决由于现有技术需要人工在表上添加字段和配置文件，而造成操作复杂的技术问题。
6.根据本发明实施例的一个方面，提供了一种数据处理方法，包括：通过可视化页面获取目标数据的字段添加请求，其中，所述字段添加请求至少包括：所述目标数据在目标数据库中的目标字段，所述目标字段的添加路径和所述目标数据在目标数仓中的回刷时段，所述目标数据库用于存储所述目标数据和所述目标数据对应的全部字段，所述目标数仓用于存储所述目标数据，所述目标数仓通过目标表用于记录所述目标数据的至少一个字段，所述添加路径指示将所述目标字段添加至所述目标表中，所述回刷时段用于确定所述目标数据在所述目标数仓中的历史数据；按照所述添加路径将所述目标字段添加至所述目标表中；将所述目标数据的历史数据补充至所述目标表的目标字段中。
7.可选地，通过可视化页面获取目标数据的字段添加请求包括：通过所述可视化页面中的文件路径组件，确定所述目标数据在所述目标数据库的存储路径；通过所述可视化页面中的数仓路径组件，确定所述目标数据在所述目标数仓对应的目标数仓，和所述目标数据的字段对应的所述目标表；通过所述可视化页面中的新增字段组件，在所述目标数据库中确定所述目标数据的目标字段，并将所述目标字段添加至所述目标表中；通过所述可视化页面中的第一回刷组件，确定所述目标数据在所述目标数仓中的历史数据，并将所述目标数据的历史数据补充至所述目标表的目标字段中。
8.可选地，通过所述可视化页面中的新增字段组件，在所述目标数据库中确定所述目标数据的目标字段，还包括：通过所述可视化页面中的新增字段组件，获取所述目标数据的事件号，其中，所述目标数据库还用于存储所述目标数据对应的事件号；基于所述事件号验证所述目标数据库中是否包括所述目标数据的目标字段。
9.可选地，在将所述目标数据的历史数据补充至所述目标表的目标字段中之后，所
述方法还包括：通过所述可视化页面中的搜索组件，获取所述目标表的查询请求；基于所述查询请求显示所述目标表的表信息，其中，所述表信息至少包括：所述目标数据的平台任务编号、所述目标数据对应的所述目标数仓名、所述目标数据对应的目标表名、添加所述目标字段的申请时间、所述回刷时段。
10.可选地，在将所述目标数据的历史数据补充至所述目标表的目标字段中之后，所述方法还包括：通过所述可视化页面中的变量所在库组件，确定所述目标数据对应的目标数仓；通过所述可视化页面中的变量所在表组件，确定所述目标数据对应的目标表；通过所述可视化页面中的第二回刷组件，确定所述目标数据在所述目标数仓中的历史数据，并将所述目标数据的历史数据补充至所述目标表的目标字段中。
11.根据本发明实施例的另一方面，还提供了一种数据处理装置，包括：获取单元，用于通过可视化页面获取目标数据的字段添加请求，其中，所述字段添加请求至少包括：所述目标数据在目标数据库中的目标字段，所述目标字段的添加路径和所述目标数据在目标数仓中的回刷时段，所述目标数据库用于存储所述目标数据和所述目标数据对应的全部字段，所述目标数仓用于存储所述目标数据，所述目标数仓通过目标表用于记录所述目标数据的至少一个字段，所述添加路径指示将所述目标字段添加至所述目标表中，所述回刷时段用于确定所述目标数据在所述目标数仓中的历史数据；添加单元，用于按照所述添加路径将所述目标字段添加至所述目标表中；补充单元，用于将所述目标数据的历史数据补充至所述目标表的目标字段中。
12.可选地，所述获取单元包括：第一确定模块，用于通过所述可视化页面中的文件路径组件，确定所述目标数据在所述目标数据库的存储路径；第二确定模块，用于通过所述可视化页面中的数仓路径组件，确定所述目标数据在所述目标数仓对应的目标数仓，和所述目标数据的字段对应的所述目标表；第三确定模块，用于通过所述可视化页面中的新增字段组件，在所述目标数据库中确定所述目标数据的目标字段，并将所述目标字段添加至所述目标表中；第四确定模块，用于通过所述可视化页面中的第一回刷组件，确定所述目标数据在所述目标数仓中的历史数据，并将所述目标数据的历史数据补充至所述目标表的目标字段中。
13.可选地，所述第三确定模块，还包括：第一获取模块，用于通过所述可视化页面中的新增字段组件，获取所述目标数据的事件号，其中，所述目标数据库还用于存储所述目标数据对应的事件号；验证模块，用于基于所述事件号验证所述目标数据库中是否包括所述目标数据的目标字段。
14.根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行上述所述数据处理方法。
15.根据本发明实施例的另一方面，还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述所述数据处理方法。
16.在本发明实施例中，通过可视化页面获取目标数据的字段添加请求，其中，字段添加请求至少包括：目标数据在目标数据库中的目标字段，目标字段的添加路径和目标数据在目标数仓中的回刷时段，目标数据库用于存储目标数据和目标数据对应的全部字段，目标数仓用于存储目标数据，目标数仓通过目标表用于记录目标数据的至少一个字段，添加
路径指示将目标字段添加至目标表中，回刷时段用于确定目标数据在目标数仓中的历史数据；按照添加路径将目标字段添加至目标表中；将目标数据的历史数据补充至目标表的目标字段中，从而采用可视化页面获取目标数据的字段添加请求，并根据字段添加请求将目标数据的目标字段和目标数据的历史数据添加在目标数仓的目标表中，实现了便捷地在目标数仓的目标表中为目标数据添加目标字段并补全历史数据的技术效果，进而解决了由于现有技术需要人工在表上添加字段和配置文件，而造成操作复杂技术问题，使用户不再需要手工的对线上的配置文件进行修改，也可以使非开发人员新增字段，提高了工作效率和对大数据平台的监管可操性。
附图说明
17.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
18.图1是根据本发明实施例的一种数据处理方法的流程图；
19.图2是根据本发明实施例的一种系统平台的示意图一；
20.图3是根据本发明实施例的一种系统平台的示意图二；
21.图4是根据本发明实施例的一种需求提交页面的示意图；
22.图5是根据本发明实施例的一种查询日志页面的示意图；
23.图6是根据本发明实施例的一种重新补数页面的示意图；
24.图7是根据本发明实施例的一种数据处理装置的示意图；
25.图8是根据本发明实施例的一种计算机终端的结构框图。
具体实施方式
26.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
27.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
28.根据本发明实施例，提供了一种数据处理方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
29.图1是根据本发明实施例的一种数据处理方法的流程图，如图1所示，该方法包括
如下步骤：
30.步骤s102，通过可视化页面获取目标数据的字段添加请求，其中，字段添加请求至少包括：目标数据在目标数据库中的目标字段，目标字段的添加路径和目标数据在目标数仓中的回刷时段，目标数据库用于存储目标数据和目标数据对应的全部字段，目标数仓用于存储目标数据，目标数仓通过目标表用于记录目标数据的至少一个字段，添加路径指示将目标字段添加至目标表中，回刷时段用于确定目标数据在目标数仓中的历史数据；
31.步骤s104，按照添加路径将目标字段添加至目标表中；
32.步骤s106，将目标数据的历史数据补充至目标表的目标字段中。
33.通过上述步骤，通过可视化页面获取目标数据的字段添加请求，其中，字段添加请求至少包括：目标数据在目标数据库中的目标字段，目标字段的添加路径和目标数据在目标数仓中的回刷时段，目标数据库用于存储目标数据和目标数据对应的全部字段，目标数仓用于存储目标数据，目标数仓通过目标表用于记录目标数据的至少一个字段，添加路径指示将目标字段添加至目标表中，回刷时段用于确定目标数据在目标数仓中的历史数据；按照添加路径将目标字段添加至目标表中；将目标数据的历史数据补充至目标表的目标字段中，从而采用可视化页面获取目标数据的字段添加请求，并根据字段添加请求将目标数据的目标字段和目标数据的历史数据添加在目标数仓的目标表中，实现了便捷地在目标数仓的目标表中为目标数据添加目标字段并补全历史数据的技术效果，进而解决了由于现有技术需要人工在表上添加字段和配置文件，而造成操作复杂技术问题，使用户不再需要手工的对线上的配置文件进行修改，也可以使非开发人员新增字段，提高了工作效率和对大数据平台的监管可操性。
34.在上述步骤s102中，目标数据库可以是hbase数据库，目标数据可以是json数据，目标数仓可以是hadoop数仓。
35.可选地，目标表用于记录目标数仓中目标数据的至少一个字段。
36.可选地，目标数据库中可以存储多个目标数据，以及目标数据的全部字段；目标数据库中的数据，以及该数据的部分字段可以导入至目标数仓中，则目标数仓就可以存储数据，并通过数据表记录每个数据对应的字段。
37.本发明的目的在于通过构建一套自助可视化的系统，由产品等非技术人员可以在系统上通过简单的配置要落库的字段和回刷数据日期，来实现目标表新增字段和数据回刷。
38.本发明提供一套系统平台，用来连接大数据平台；提供一套系统，用来实现基于hbase数据库中的文件在数据仓库工具hive中新增字段并回刷数据；提供一套日志系统，用来查询变更情况。
39.图2是根据本发明实施例的一种系统平台的示意图一，如图2所示，系统平台201提供一个操作页面2011和系统数据库2012，系统用来完成用户的任务配置和日志查询，保存日志到系统数据库中。
40.可选地，操作页面2011包括：配置页2011a和查询页2011b。
41.可选地，系统平台201提供一个大数据平台接口202用来连接hbase数据库的json数据，获取数据源文件和字段信息。
42.可选地，系统平台201还提供另外一个大数据平台接口203，用来连接hadoop数仓，
将会更新元数据表结构，把目标字段添加到目标表上；并回刷目标数据的历史数据。
43.图3是根据本发明实施例的一种系统平台的示意图二，如图3所示，系统平台201用于读取hbase中的json数据，根据用户提交的事件号eventid查找json文件是否包含目标字段。
44.可选地，图3中的hadoop为大数据的数仓平台，用于存储表结构和存储hdfs类型的数据。
45.可选地，图3中的引擎301，是用户在大数据平台创建的一个maxx任务，包括：将目标字段添加到hadoop的元数据中；新增一个抽数任务，将历史数据回刷到表中，目的是补充目标字段的历史数据。
46.在上述步骤s102中，回刷时段包括回刷开始日期和回刷截止日期。
47.可选地，回刷截止日期默认为当前操作日期。
48.在上述步骤s104中，目标表用于记录目标数据的字段，再将目标字段补充至目标表后，可以根据目标数据的历史数据对目标字段进行补充。
49.可选地，目标字段的历史数据可以是目标数据的历史数据。
50.作为一种可选的实施例，通过可视化页面获取目标数据的字段添加请求包括：通过可视化页面中的文件路径组件，确定目标数据在目标数据库的存储路径；通过可视化页面中的数仓路径组件，确定目标数据在目标数仓对应的目标数仓，和目标数据的字段对应的目标表；通过可视化页面中的新增字段组件，在目标数据库中确定目标数据的目标字段，并将目标字段添加至目标表中；通过可视化页面中的第一回刷组件，确定目标数据在目标数仓中的历史数据，并将目标数据的历史数据补充至目标表的目标字段中。
51.本发明上述实施例，通过可视化页面中的文件路径组件、数仓路径组件、新增字段组件、以及第一回刷组件，可以获取目标数据的字段添加请求，将目标数据库中目标数据的目标字段添加至目标数仓的目标表中，并在目标数仓中查询目标数据的历史数据，并将该历史数据补充在目标表的目标字段中；实现了基于可视化页面完成在目标表中补充目标字段和历史数据，使用户不再需要手工的对线上的配置文件进行修改，也可以使非开发人员新增字段，提高了工作效率和对大数据平台的监管可操性。
52.作为一种可选的实施例，通过可视化页面中的新增字段组件，在目标数据库中确定目标数据的目标字段，还包括：通过可视化页面中的新增字段组件，获取目标数据的事件号，其中，目标数据库还用于存储目标数据对应的事件号；基于事件号验证目标数据库中是否包括目标数据的目标字段。
53.本发明上述实施例，基于新增字段组件获取目标数据的事件号，并基于事件号验证目标数据库中是否包括目标数据的目标字段，进而在目标数据库中包括目标数据的目标字段的情况下，将目标字段补充至目标表中；在目标数据库中不包括目标数据的目标字段的情况下，则不会将目标字段补充至目标表中；从而基于可视化页面实现了对目标字段的验证，确保为目标表补充目标字段的可靠性。
54.图4是根据本发明实施例的一种需求提交页面的示意图，如图4所示，包括：文件路径组件401，用于确定目标数据库hbase的目标数据(json数据)所在的路径；数仓路径组件402包括：数仓库组件，用于确定目标表所在大数据平台数据库(即目标数仓)的名称；所在数仓表组件，用于确定目标表所在大数据平台(即目标数仓)的表名；新增字段组件403，用
于供需要用户填写“字段名”，“字段路径”，“事件号eventid”。
55.可选地，系统会根据用户输入的事件号eventid，去查询表文件下是否存在有该“字段名”，用以确认路径正确；
56.可选地，需求提交页面还包括：第一回刷组件404，其中，第一回刷组件404包括：回刷开始时间组件，用于确定回刷历史数据的开始时间；回刷结束时间组件，用于确定回刷历史数据的结束时间，默认为当前日期。
57.可选地，需求提交页面还包括：提交组件405，用于指示用户提交申请按钮；取消组件406，用于指示用户取消该次申请。
58.可选地，在操作后台会把新增的目标字段补充到原任务的tab映射文件和orc映射文件中。
59.可选地，在orc映射文件，是根据顺序记录字段跟在json文件的路径。
60.$.eventid
61.$.requesttime
62.$.requestreceive
63.$.eventbody.orderid|$.eventbody.orderid
64.$.eventbody.ordertype|$.eventbody.ordertype
65.$.eventbody.subordertype
66.$.eventbody.orderdate
67.可选地，在tab映射文件，是根据顺序记录字段的列的属性，映射到数据仓库工具hive表的字段。
68.struct《col_0:string
69.,col_1:string
70.,col_2:string
71.,col_3:string
72.,col_4:string
73.,col_5:string
74.,col_6:string
75.,col_7:string
76.作为一种可选的实施例，在将目标数据的历史数据补充至目标表的目标字段中之后，方法还包括：通过可视化页面中的搜索组件，获取目标表的查询请求；基于查询请求显示目标表的表信息，其中，表信息至少包括：目标数据的平台任务编号、目标数据对应的目标数仓名、目标数据对应的目标表名、添加目标字段的申请时间、回刷时段。
77.本发明上述实施例，基于可视化页面的搜索组件，可以对目标表的表信息进行查询和显示，可以基于可视化页面显示在目标表中补充目标字段和历史数据的补充结果，确保为目标表补充目标字段的可靠性。
78.图5是根据本发明实施例的一种查询日志页面的示意图，如图5所示，包括：搜索组件501，用于为用户提供模糊查询推送的表，用于快速定位回刷表；刷新列表组件502，用于指示用户刷新缓存；“平台任务”显示大数据平台(即目标数仓)上的执行该任务的平台任务编号jobid；“库名”和“表名”显示补数的表名和库名；“申请时间”显示申请添加字段的时
间；“序号”显示为日志排列的序号；“回刷开始时间”显示：本次回刷数据的开始时间；回刷结束时间：本次回刷数据的结束时间；重新补数按钮503，用于指示用户回刷自定义时间的数据，弹出重新补数页面。
79.作为一种可选的实施例，在将目标数据的历史数据补充至目标表的目标字段中之后，方法还包括：通过可视化页面中的变量所在库组件，确定目标数据对应的目标数仓；通过可视化页面中的变量所在表组件，确定目标数据对应的目标表；通过可视化页面中的第二回刷组件，确定目标数据在目标数仓中的历史数据，并将目标数据的历史数据补充至目标表的目标字段中。
80.本发明上述实施例，基于可视化页面的变量所在库组件、变量所在表组件、和第二回刷组件，可以已将目标字段添加至目标表后，对目标字段的历史数据进行重新补数，实现了基于可视化页面完成为目标表的目标字段补充历史数据，使用户不再需要手工的对线上的配置文件进行修改，也可以使非开发人员新增字段，提高了工作效率和对大数据平台的监管可操性。
81.图6是根据本发明实施例的一种重新补数页面的示意图，如图6所示，变量所在库组件601，用于确定回刷变量所在的库名，不可修改；变量所在表组件602用于确定回刷变量所在的表名，不可修改；第二回刷组件603包括回刷开始时间组件用于确定本次回刷数据的开始时间；回刷结束时间组件用于确定本次回刷数据的开始时间，默认为当前时间；提交按钮604用于指示执行任务；取消605用于指示取消任务。
82.根据本发明实施例，还提供了一种数据处理的装置实施例，需要说明的是，该数据处理装置可以用于执行本发明实施例中的数据处理方法，本发明实施例中的数据处理方法可以在该数据处理装置中执行。
83.图7是根据本发明实施例的一种数据处理装置的示意图，如图7所示，该装置可以包括：获取单元72，用于通过可视化页面获取目标数据的字段添加请求，其中，字段添加请求至少包括：目标数据在目标数据库中的目标字段，目标字段的添加路径和目标数据在目标数仓中的回刷时段，目标数据库用于存储目标数据和目标数据对应的全部字段，目标数仓用于存储目标数据，目标数仓通过目标表用于记录目标数据的至少一个字段，添加路径指示将目标字段添加至目标表中，回刷时段用于确定目标数据在目标数仓中的历史数据；添加单元74，用于按照添加路径将目标字段添加至目标表中；补充单元76，用于将目标数据的历史数据补充至目标表的目标字段中。
84.需要说明的是，该实施例中的获取单元72可以用于执行本技术实施例中的步骤s102，该实施例中的添加单元74可以用于执行本技术实施例中的步骤s104，该实施例中的补充单元76可以用于执行本技术实施例中的步骤s106。上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。
85.本发明上述实施例，通过可视化页面获取目标数据的字段添加请求，其中，字段添加请求至少包括：目标数据在目标数据库中的目标字段，目标字段的添加路径和目标数据在目标数仓中的回刷时段，目标数据库用于存储目标数据和目标数据对应的全部字段，目标数仓用于存储目标数据，目标数仓通过目标表用于记录目标数据的至少一个字段，添加路径指示将目标字段添加至目标表中，回刷时段用于确定目标数据在目标数仓中的历史数据；按照添加路径将目标字段添加至目标表中；将目标数据的历史数据补充至目标表的目
标字段中，从而采用可视化页面获取目标数据的字段添加请求，并根据字段添加请求将目标数据的目标字段和目标数据的历史数据添加在目标数仓的目标表中，实现了便捷地在目标数仓的目标表中为目标数据添加目标字段并补全历史数据的技术效果，进而解决了由于现有技术需要人工在表上添加字段和配置文件，而造成操作复杂技术问题，使用户不再需要手工的对线上的配置文件进行修改，也可以使非开发人员新增字段，提高了工作效率和对大数据平台的监管可操性。
86.作为一种可选的实施例，获取单元包括：第一确定模块，用于通过可视化页面中的文件路径组件，确定目标数据在目标数据库的存储路径；第二确定模块，用于通过可视化页面中的数仓路径组件，确定目标数据在目标数仓对应的目标数仓，和目标数据的字段对应的目标表；第三确定模块，用于通过可视化页面中的新增字段组件，在目标数据库中确定目标数据的目标字段，并将目标字段添加至目标表中；第四确定模块，用于通过可视化页面中的第一回刷组件，确定目标数据在目标数仓中的历史数据，并将目标数据的历史数据补充至目标表的目标字段中。
87.作为一种可选的实施例，第三确定模块，还包括：第一获取模块，用于通过可视化页面中的新增字段组件，获取目标数据的事件号，其中，目标数据库还用于存储目标数据对应的事件号；验证模块，用于基于事件号验证目标数据库中是否包括目标数据的目标字段。
88.作为一种可选的实施例，装置还包括：第二获取模块，用于在将目标数据的历史数据补充至目标表的目标字段中之后，通过可视化页面中的搜索组件，获取目标表的查询请求；显示模块，用于基于查询请求显示目标表的表信息，其中，表信息至少包括：目标数据的平台任务编号、目标数据对应的目标数仓名、目标数据对应的目标表名、添加目标字段的申请时间、回刷时段。
89.作为一种可选的实施例，装置还包括：第五确定模块，用于在将目标数据的历史数据补充至目标表的目标字段中之后，通过可视化页面中的变量所在库组件，确定目标数据对应的目标数仓；第六确定模块，用于通过可视化页面中的变量所在表组件，确定目标数据对应的目标表；第七确定模块，用于通过可视化页面中的第二回刷组件，确定目标数据在目标数仓中的历史数据，并将目标数据的历史数据补充至目标表的目标字段中。
90.本发明的实施例可以提供一种计算机终端，该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地，在本实施例中，上述计算机终端也可以替换为移动终端等终端设备。
91.可选地，在本实施例中，上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。
92.在本实施例中，上述计算机终端可以执行数据处理方法中以下步骤的程序代码：通过可视化页面获取目标数据的字段添加请求，其中，字段添加请求至少包括：目标数据在目标数据库中的目标字段，目标字段的添加路径和目标数据在目标数仓中的回刷时段，目标数据库用于存储目标数据和目标数据对应的全部字段，目标数仓用于存储目标数据，目标数仓通过目标表用于记录目标数据的至少一个字段，添加路径指示将目标字段添加至目标表中，回刷时段用于确定目标数据在目标数仓中的历史数据；按照添加路径将目标字段添加至目标表中；将目标数据的历史数据补充至目标表的目标字段中。
93.可选地，图8是根据本发明实施例的一种计算机终端的结构框图。如图8所示，该计
算机终端801可以包括：一个或多个(图中仅示出一个)处理器802、和存储器803。
94.其中，存储器可用于存储软件程序以及模块，如本发明实施例中的数据处理方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的数据处理方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至终端801。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
95.处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：通过可视化页面获取目标数据的字段添加请求，其中，字段添加请求至少包括：目标数据在目标数据库中的目标字段，目标字段的添加路径和目标数据在目标数仓中的回刷时段，目标数据库用于存储目标数据和目标数据对应的全部字段，目标数仓用于存储目标数据，目标数仓通过目标表用于记录目标数据的至少一个字段，添加路径指示将目标字段添加至目标表中，回刷时段用于确定目标数据在目标数仓中的历史数据；按照添加路径将目标字段添加至目标表中；将目标数据的历史数据补充至目标表的目标字段中。
96.可选的，上述处理器还可以执行如下步骤的程序代码：通过上述可视化页面中的文件路径组件，确定目标数据在目标数据库的存储路径；通过可视化页面中的数仓路径组件，确定目标数据在目标数仓对应的目标数仓，和目标数据的字段对应的目标表；通过可视化页面中的新增字段组件，在目标数据库中确定目标数据的目标字段，并将目标字段添加至目标表中；通过可视化页面中的第一回刷组件，确定目标数据在目标数仓中的历史数据，并将目标数据的历史数据补充至目标表的目标字段中。
97.可选的，上述处理器还可以执行如下步骤的程序代码：通过可视化页面中的新增字段组件，获取目标数据的事件号，其中，目标数据库还用于存储目标数据对应的事件号；基于事件号验证目标数据库中是否包括目标数据的目标字段。
98.可选的，上述处理器还可以执行如下步骤的程序代码：在将目标数据的历史数据补充至目标表的目标字段中之后，通过可视化页面中的搜索组件，获取目标表的查询请求；基于查询请求显示目标表的表信息，其中，表信息至少包括：目标数据的平台任务编号、目标数据对应的目标数仓名、目标数据对应的目标表名、添加目标字段的申请时间、回刷时段。
99.可选的，上述处理器还可以执行如下步骤的程序代码：在将目标数据的历史数据补充至目标表的目标字段中之后，通过可视化页面中的变量所在库组件，确定目标数据对应的目标数仓；通过可视化页面中的变量所在表组件，确定目标数据对应的目标表；通过可视化页面中的第二回刷组件，确定目标数据在目标数仓中的历史数据，并将目标数据的历史数据补充至目标表的目标字段中。
100.采用本发明实施例，提供了一种数据处理方案。通过可视化页面获取目标数据的字段添加请求，其中，字段添加请求至少包括：目标数据在目标数据库中的目标字段，目标字段的添加路径和目标数据在目标数仓中的回刷时段，目标数据库用于存储目标数据和目标数据对应的全部字段，目标数仓用于存储目标数据，目标数仓通过目标表用于记录目标数据的至少一个字段，添加路径指示将目标字段添加至目标表中，回刷时段用于确定目标
数据在目标数仓中的历史数据；按照添加路径将目标字段添加至目标表中；将目标数据的历史数据补充至目标表的目标字段中，从而采用可视化页面获取目标数据的字段添加请求，并根据字段添加请求将目标数据的目标字段和目标数据的历史数据添加在目标数仓的目标表中，实现了便捷地在目标数仓的目标表中为目标数据添加目标字段并补全历史数据的技术效果，进而解决了由于现有技术需要人工在表上添加字段和配置文件，而造成操作复杂技术问题，使用户不再需要手工的对线上的配置文件进行修改，也可以使非开发人员新增字段，提高了工作效率和对大数据平台的监管可操性。
101.本领域普通技术人员可以理解，图8所示的结构仅为示意，计算机终端也可以是智能手机(如android手机、ios手机等)、平板电脑、掌声电脑以及移动互联网设备(mobile internet devices，mid)、pad等终端设备。图8其并不对上述电子装置的结构造成限定。例如，计算机终端801还可包括比图8中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图8所示不同的配置。
102.本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(read-only memory，rom)、随机存取器(random access memory，ram)、磁盘或光盘等。
103.本发明的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于保存上述实施例所提供的数据处理方法所执行的程序代码。
104.可选地，在本实施例中，上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。
105.可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：通过可视化页面获取目标数据的字段添加请求，其中，字段添加请求至少包括：目标数据在目标数据库中的目标字段，目标字段的添加路径和目标数据在目标数仓中的回刷时段，目标数据库用于存储目标数据和目标数据对应的全部字段，目标数仓用于存储目标数据，目标数仓通过目标表用于记录目标数据的至少一个字段，添加路径指示将目标字段添加至目标表中，回刷时段用于确定目标数据在目标数仓中的历史数据；按照添加路径将目标字段添加至目标表中；将目标数据的历史数据补充至目标表的目标字段中。
106.可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：通过上述可视化页面中的文件路径组件，确定目标数据在目标数据库的存储路径；通过可视化页面中的数仓路径组件，确定目标数据在目标数仓对应的目标数仓，和目标数据的字段对应的目标表；通过可视化页面中的新增字段组件，在目标数据库中确定目标数据的目标字段，并将目标字段添加至目标表中；通过可视化页面中的第一回刷组件，确定目标数据在目标数仓中的历史数据，并将目标数据的历史数据补充至目标表的目标字段中。
107.可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：通过可视化页面中的新增字段组件，获取目标数据的事件号，其中，目标数据库还用于存储目标数据对应的事件号；基于事件号验证目标数据库中是否包括目标数据的目标字段。
108.可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：在将目标数据的历史数据补充至目标表的目标字段中之后，通过可视化页面中的搜索组件，获取目标表的查询请求；基于查询请求显示目标表的表信息，其中，表信息至少包括：目标
数据的平台任务编号、目标数据对应的目标数仓名、目标数据对应的目标表名、添加目标字段的申请时间、回刷时段。
109.可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：在将目标数据的历史数据补充至目标表的目标字段中之后，通过可视化页面中的变量所在库组件，确定目标数据对应的目标数仓；通过可视化页面中的变量所在表组件，确定目标数据对应的目标表；通过可视化页面中的第二回刷组件，确定目标数据在目标数仓中的历史数据，并将目标数据的历史数据补充至目标表的目标字段中。
110.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
111.在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
112.在本技术所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
113.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
114.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
115.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
116.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。