数据处理方法及装置与流程

1.本说明书涉及合规数据管理技术领域，特别涉及数据处理方法及装置。


背景技术：

2.随着互联网技术的发展，越来越多的用户选择线上消费，不同于传统的实体消费场景，用户通过互联网即可完成购物、预定、炒股、办理证件等，很大程度上提高了用户的便捷性。随着线上服务的开展加深，涉及到的数据也就越来越多，不同业务场景下所关联的数据也不同。当需要对业务进行审计时，就需要由业务下属的各个节点进行数据汇总并上报；现有技术中，由于各个节点的数据源不同，导致上报的数据都具有不同的数据结构，无法快速的完成审计处理，因此亟需一种有效的方案以解决上述问题。


技术实现要素：

3.有鉴于此，本说明书实施例提供了一种数据处理方法。本说明书同时涉及一种数据处理装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。
4.根据本说明书实施例的第一方面，提供了一种数据处理方法，包括：
5.获取对应多种数据源的指标类数据和明细类数据；
6.按照指标数据库的存储结构对每种数据源的指标类数据进行处理，获得目标指标类数据；
7.按照列式数据库的存储结构对每种数据源的明细类数据进行处理，获得目标明细类数据；
8.将所述目标指标类数据写入所述指标数据库，以及将所述目标明细类数据写入所述列式数据库。
9.可选地，所述获取对应多种数据源的指标类数据和明细类数据，包括：
10.接收针对目标业务提交的数据报送请求；
11.根据所述数据报送请求向目标业务关联的至少两个业务节点发送数据上传请求；
12.接收各个业务节点针对所述数据上报请求返回的业务数据；
13.通过对所述业务数据进行分类，获得对应多种数据源的指标类数据和明细类数据。
14.可选地，所述按照指标数据库的存储结构对每种数据源的指标类数据进行处理，获得目标指标类数据，包括：
15.确定每种数据源的存储结构与所述指标数据库的存储结构之间的转换规则；
16.按照所述转换规则对每种数据源的指标类数据进行处理，获得与所述指标数据库的存储结构相同的所述目标指标类数据。
17.可选地，所述按照列式数据库的存储结构对每种数据源的明细类数据进行处理，获得目标明细类数据，包括：
18.将每种数据源对应的明细类数据同步至中间业务数据库；
19.按照每种数据源对应的结构转换规则对所述中间业务数据库中的明细类数据进行转换；
20.根据转换结果生成与所述列式数据库的存储结构相同的所述目标明细类数据。
21.可选地，所述按照每种数据源对应的结构转换规则对所述中间业务数据库中的明细类数据进行转换，包括：
22.对所述中间业务数据库中的明细类数据进行解析，获得初始子数据；
23.在所述初始子数据中筛选出目标子数据，并按照每种数据源对应的结构转换规则对所述目标子数据进行转换。
24.可选地，所述将所述目标指标类数据写入所述指标数据库，以及将所述目标明细类数据写入所述列式数据库步骤执行之后，还包括：
25.在所述指标数据库和所述列式数据库的运行状态为停止状态的情况下，按照预设的报送周期在所述指标数据库中提取待报送指标类数据，以及在所述列式数据库中提取待报送明细类数据；
26.通过对所述待报送指标类数据和所述待报送明细类数据进行整合，获得待报送业务数据；
27.将所述待报送业务数据发送至报送节点。
28.可选地，所述将所述待报送业务数据发送至报送节点步骤执行之前，还包括：
29.获取所述待报送指标类数据对应的指标检测策略，以及所述待报送明细类数据对应的明细检测策略；
30.按照所述指标检测策略对所述待报送指标类数据进行检测，获得指标类数据检测结果，以及
31.按照所述明细检测策略对所述待报送明细类数据进行检测，获得明细类数据检测结果；
32.将所述指标类数据检测结果和所述明细类数据检测结果发送至业务调整节点。
33.可选地，所述按照所述指标检测策略对所述待报送指标类数据进行检测，获得指标类数据检测结果，包括：
34.根据所述指标检测策略读取历史指标类数据；
35.将所述历史指标列数据与所述待报送指标类数据进行比对，根据比对结果确定所述指标类数据检测结果。
36.可选地，所述按照所述明细检测策略对所述待报送明细类数据进行检测，获得明细类数据检测结果，包括：
37.根据所述明细检测策略创建结构检测条件和规则检测条件；
38.基于所述结构检测条件和所述规则检测条件对所述待报送明细类数据进行检测，获得所述明细类数据检测结果。
39.根据本说明书实施例的第二方面，提供了一种数据处理装置，包括：
40.获取数据模块，被配置为获取对应多种数据源的指标类数据和明细类数据；
41.第一处理模块，被配置为按照指标数据库的存储结构对每种数据源的指标类数据进行处理，获得目标指标类数据；
42.第二处理模块，被配置为按照列式数据库的存储结构对每种数据源的明细类数据进行处理，获得目标明细类数据；
43.数据写入模块，被配置为将所述目标指标类数据写入所述指标数据库，以及将所述目标明细类数据写入所述列式数据库。
44.根据本说明书实施例的第三方面，提供了一种计算设备，包括：
45.存储器和处理器；
46.所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令时，实现所述数据处理方法的步骤。
47.根据本说明书实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现所述数据处理方法的步骤。
48.根据本说明书实施例的第五方面，提供了一种计算机程序，当所述计算机程序在计算机中执行时，令计算机执行所述数据处理方法的步骤。
49.本说明书提供的数据处理方法，在获取对应多种数据源的指标类数据和明细类数据后，可以按照指标数据库的存储结果多每种数据源的指标类数据进行处理，以获得统一数据结构的目标指标类数据；同时按照列式数据库的存储结构对每种数据源的明细类数据进行处理，以获得统一数据结构的目标指标类数据，最后再将数据分别写入对应的数据库即可，实现通过对业务相关的数据按照明细类和指标类两种进行统一化，避免在后续对业务进行审计或者数据报送时，出现多数据源影响效率，同时也能够方便数据核对或审查等节点快速核对或审查处理，进一步提高了数据处理效率。
附图说明
50.图1是本说明书一实施例提供的一种数据处理方法的示意图；
51.图2是本说明书一实施例提供的一种数据处理方法的流程图；
52.图3是本说明书一实施例提供的一种应用于数据报送场景中的数据处理方法的处理流程图；
53.图4是本说明书一实施例提供的一种数据处理装置的结构示意图；
54.图5是本说明书一实施例提供的一种计算设备的结构框图。
具体实施方式
55.在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。
56.在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
57.应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分
开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
58.首先，对本说明书一个或多个实施例涉及的名词术语进行解释。
59.数据源：(data source)，数据的来源，是提供某种所需要数据的器件或原始媒体。在数据源中存储了所有建立数据库连接的信息。就像通过指定文件名称可以在文件系统中找到文件一样，通过提供正确的数据源名称，可以找到相应的数据库连接。
60.数据库：是按照数据结构来组织、存储和管理数据的仓库。是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。
61.在本说明书中，提供了一种数据处理方法，本说明书同时涉及一种数据处理装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，在下面的实施例中逐一进行详细说明。
62.实际应用中，不同的业务场景所对应的数据处理节点数量不同，随着数据处理节点的增多，就会面临着数据源的不同，即各个数据处理节点所存储数据的数据库可能不同，如关系数据库(mysql、mariadb)或非关系型数据库(cassandra、mongodb)等。当需要对业务进行审计或者进行数据报送时，就会面临多数据源的问题，从而会很多程度影响审计或数据报送效率，因此亟需一种有效的方案以解决该问题。
63.参见图1所述的数据处理方法的示意图，在获取对应多种数据源的指标类数据和明细类数据后，可以按照指标数据库的存储结果多每种数据源的指标类数据进行处理，以获得统一数据结构的目标指标类数据；同时按照列式数据库的存储结构对每种数据源的明细类数据进行处理，以获得统一数据结构的目标指标类数据，最后再将数据分别写入对应的数据库即可，实现通过对业务相关的数据按照明细类和指标类两种进行统一化，避免在后续对业务进行审计或者数据报送时，出现多数据源影响效率，同时也能够方便数据核对或审查等节点快速核对或审查处理，进一步提高了数据处理效率。
64.图2示出了根据本说明书一实施例提供的一种数据处理方法的流程图，具体包括以下步骤：
65.步骤s202，获取对应多种数据源的指标类数据和明细类数据。
66.具体的，多种数据源具体是指同一业务项目中包含的各个数据处理节点所对应的数据库；相应的，指标类数据具体是指该业务项目中与数量信息相关的数据，明细类数据具体是指该业务项目中与业务信息相关的数据。
67.举例说明，业务项目为某支付平台提供的支付服务，卖家可以在支付平台上架商品，买家可以通过支付平台购买卖家提供的商品。基于此，为了能够支持支付平台向买家和卖家提供支付服务，支付平台的业务方会布置不同的节点对其进行管理，如管理商品的节点负责商品相关数据，管理订单的节点负责订单相关的数据，管理发货的节点负责物流相关的数据，管理买家或卖家信息的节点负责个人信息相关的数据等等，不同的节点会管理不同类型的数据，以此支持业务项目正常开展。
68.而各个节点为了能够方便数据存储和备份，通常会选择和当前节点所处理数据相匹配的数据库专用于存储该部分数据，当需要对业务项目进行数据报送或审计时，各个节点会直接从数据库中提取数据进行报送，这个时候就会获取到对应多种数据源的业务项目
相关的数据，并将这部分数据按照指标类和明细类进行划分，以方便后续进行数据统一，提高审计或报送效率。
69.如业务项目相关的节点分别对应数据源ds1～dsn(其中，每个ds分别对应一种数据库，且各个数据库的类型均不相同)，此时将获取到对应ds1～dsn数据源的数据，之后可以按照指标类和明细类，对这部分数据进行划分，从而获得对应多种数据源的指标类数据和明细类数据。
70.需要说明的是，任意一个业务项目中都可能对应多种数据源，当需要对业务项目进行审计或者数据报送时，都可以参见本说明书相关的描述内容，本实施例在此不作过多赘述。
71.基于此，无论是在审计或是在数据报送场景中，当需要对业务项目相关的数据具有统计需求时，都会面临着数据源不同导致的数据结构不统一的问题，从而很大程度上降低了统计效率，本实施例提供的数据处理方法通过对不同数据源的数据进行初次分类，之后再进行统一化，实现有效提高数据统计效率，从而提高下游业务的处理效率。
72.进一步的，在数据报送场景中，当需要对项目涉及到的数据进行统计时，为了能够提高数据处理效率，可以请求各个节点主动发送数据的方式实现获取对应多种数据源的数据，本实施例中，具体实现方式如下所述：
73.接收针对目标业务提交的数据报送请求；
74.根据所述数据报送请求向目标业务关联的至少两个业务节点发送数据上传请求；
75.接收各个业务节点针对所述数据上报请求返回的业务数据；
76.通过对所述业务数据进行分类，获得对应多种数据源的指标类数据和明细类数据。
77.具体的，目标业务具体是指当前需要进行数据报送的业务项目；相应的，业务节点具体是指支持目标业务向用户提供服务的数据处理节点，且每个业务节点对应一种数据源，用于存储该节点相关的数据；业务数据具体是指目标业务在运行过程中所采集或生成的全部数据。
78.基于此，在接收到管理平台针对目标业务提交数据报送请求的情况下，说明此时管理平台需要对目标业务进行风险预测或数据统计，其中，数据报送请求中可以包含数据统计周期，以方便目标业务的各个业务节点进行数据上传时，可以根据数据统计周期完成；此时业务平台可以根据数据报送请求向目标业务关联的各个业务节点发送数据上传请求，同时接收各个业务节点针对数据上传请求返回的业务数据。
79.由于每个业务节点均对应至少一种数据源，因此返回的业务数据将对应多种数据源，为了能够方便后续进行统计，此时可以按照指标类和明细类对业务数据进行分类，从而得到对应多种数据源的指标类数据以及对应多种数据源的明细类数据，以提高后续的数据处理效率。
80.沿用上例，接收客户数据管理节点返回的对应数据源ds1的客户数量数据；交易数据管理节点返回的对应数据源ds2的交易额度数据；用户数据管理节点返回的对应ds3的活跃用户数量数据；订单数据管理节点返回的对应ds4的订单数据；商户数据管理节点返回的对应数据源ds5的商户数据；物流数据管理节点返回的对应数据源ds6的地址数据；为了能够提高后续报送效率，此时可以按照明细类和指标类对上述数据进行分类，以得到对应数
据源ds1、ds2和ds3的指标类数据{交易额度数据，客户数量数据，活跃用户数量数据}；得到对应数据源ds4、ds5和ds6的明细类数据{订单数据，商户数据，地址数据}。
81.综上，通过将各个业务节点返回的业务数据进行分离，获得对应多种数据源的明细类数据和指标类数据，实现通过预处理的方式从两个维度进行数据初步统计，方便后续以此为基础进行数据统一化，有效的提高了数据处理效率。
82.步骤s204，按照指标数据库的存储结构对每种数据源的指标类数据进行处理，获得目标指标类数据。
83.具体的，在上述获取到对应多种数据源的指标类数据后，由于不同数据源对应不同的数据结构，如果直接对多种数据源对应的指标类数据直接进行存储，可能出现不兼容的问题，甚至导致数据冲突而引发数据丢失，因此为了能够方便下游业务使用，此时可以按照当前统计需求将对应不同数据源的指标类数据按照指标数据库的存储结构进行统一处理，以获得具有相同数据结构的目标指标类数据。
84.其中，指标数据库具体是指用于存储指标类数据的数据库，且该数据库的存储结构仅有一种，使得存储该数据库的数据都会按照该存储结构进行统一化，方便管理和持久化；相应的，目标指标类数据即为与指标数据库的存储结构表达相同的指标类数据。
85.进一步的，在将对应多种数据源的指标类数据写入指标数据库之前，需要将每种数据源的指标类数据转换为与指标数据库的存储结构相同的数据结构，才能够使得数据持久化，而不同的数据源对应的数据在进行数据转换时需要按照不同的规则实现，本实施例中，具体实现方式如下所述：
86.确定每种数据源的存储结构与所述指标数据库的存储结构之间的转换规则；
87.按照所述转换规则对每种数据源的指标类数据进行处理，获得与所述指标数据库的存储结构相同的所述目标指标类数据。
88.具体的，转换规则具体是指每种数据源的存储结构与指标数据库的存储结构之间的转换方式，通过转换规则可以将其对应的数据源的数据结构转换为与指标数据库的存储结构相同的表达，方便指标数据库对转换后的指标类数据进行存储。
89.基于此，在获得每种数据源对应的指标类数据后，可以读取每个数据源的存储结构与指标数据库的存储结构之间的转换规则，之后再按照转换规则对其对应的指标类数据进行处理，即可将转换规则对应的指标类数据转换为与指标数据库的存储结构相同的目标指标类数据，以此类推，每种数据源的指标类数据都按照其对应的转换规则进行处理，当全部数据源对应的指标类数据都转换为目标指标类数据后，即可将其存储到指标数据库。
90.沿用上例，当得到数据源ds1、ds2和ds3对应的指标类数据{交易额度数据，客户数量数据，活跃用户数量数据}后，确定指标数据库的存储结构，并读取数据源ds1的存储结构与指标数据库的存储结构之间的转换规则p1，数据源ds2的存储结构与指标数据库的存储结构之间的转换规则p2，数据源ds3的存储结构与指标数据库的存储结构之间的转换规则p3；之后按照转换规则p1对客户数量数据进行转换，得到符合指标数据库的存储结构的目标客户数量数据；按照转换规则p2对交易额度数据进行转换，得到符合指标数据库的存储结构的目标交易额度数据；按照转换规则p3对活跃用户数量数据进行转换，得到符合指标数据库的存储结构的目标活跃用户数量数据；其中，目标交易额度数据、目标客户数量数据和目标活跃用户数量数据均具有相同的数据结构，以方便写入指标数据库，方便后续进行
数据报送处理。
91.综上，通过预设不同数据源的存储结构与指标数据库的存储结构之间的准换规则，可以实现将对应不同数据源的指标类数据都统一数据结构，得到目标指标类数据，以方便下游业务使用。
92.步骤s206，按照列式数据库的存储结构对每种数据源的明细类数据进行处理，获得目标明细类数据。
93.具体的，在上述获取到对应多种数据源的明细类数据后，由于不同的数据源对应不同的数据结构，如果直接对多种数据源对应的明细类数据进行存储，可能会出现不兼容的问题，同时由于明细类数据的维度较多，所涉及到的业务信息也更加丰富，因此为了能够方便下游业务使用，需要将对应多种数据源的明细类数据进行统一化，同时提取方便下游业务使用的字段或字段值进行存储，以得到目标明细类数据。
94.其中，列式数据库具体是指用于存储明细类数据的数据库，且该数据库的存储结构仅有一种，使得存储该数据库的数据都会按照该存储结构进行统一化，方便管理和持久化；相应的，目标明细类数据即为与列式数据库的存储结构表达相同的明细类数据。
95.进一步的，在将对应多种数据源的明细类数据存储到列式数据库时，为了能够提高数据存储效率，以及方便下游业务使用，此时可以按照预设的数据处理链路对明细类数据进行处理，本实施例中，具体实现方式如下所述：
96.步骤s2062，将每种数据源对应的明细类数据同步至中间业务数据库。
97.具体的，中间业务数据库具体是指用于对每种数据源对应的明细类数据进行汇总的统一数仓，且存储到中间业务数据库中的明细类数据会保留原有数据结构，即中间业务数据库可以理解为临时存储需要存储到列式数据库的明细类数据的数仓。
98.基于此，由于明细类数据较为复杂，且包含与目标业务相关的信息也比较多，如果直接进行转换或者处理，可能会造成额外的处理负担，因此为了能够提高后续存储效率，此时可以将每种数据源对应的明细类数据同步到中间业务数据库进行临时存储，以方便后续进行处理所使用，并且中间业务数据库并不会对数据进行持久化，数据被处理完成后即可清理存储空间，以降低资源消耗。
99.步骤s2064，按照每种数据源对应的结构转换规则对所述中间业务数据库中的明细类数据进行转换。
100.具体的，结构转换规则具体是指将每种数据源对应的明细类数据转换为列式数据库存储结构的规则，实现对应列式数据库的存储结构，方便后续对目标明细类数据进行存储和持久化。
101.基于此，由于存储到中间数据库中的明细类数据对应多种数据源，并且每种数据源对应的列式数据库又可能包含更多的业务相关的信息，而下游业务所处理和使用的数据并不一定会全面覆盖所有的明细类数据，因此在对每种数据源对应的明细类数据转换时，可以通过解析筛选的方式实现，本实施例中，具体实现方式如下所述：
102.对所述中间业务数据库中的明细类数据进行解析，获得初始子数据；
103.在所述初始子数据中筛选出目标子数据，并按照每种数据源对应的结构转换规则对所述目标子数据进行转换。
104.具体的，初始子数据具体是指组成明细类数据的全部子业务数据，相应的，目标子
数据具体是指转换为目标明细类数据所需要使用的子业务数据。基于此，按照数据处理链路将每种数据源对应的明细类数据写入中间业务数据库，当全部写入完成后，此时可以从中间业务数据库中提取明细类数据进行解析，以获得每条明细类数据对应的初始子业务数据，之后从初始子业务数据中筛选出目标子数据，再按照每种数据源对应的结构转换规则对目标子数据进行转换，即可得到与列式数据库的存储结构相同的目标明细类数据。
105.综上，通过采用筛选初始子业务数据的方式获取到能够转换的目标子数据，可以过滤到无用的其他数据，同时将数据进行统一化，以满足列式数据库的存储要求，提高后续整理出目标明细类数据的效率，方便下游业务使用。
106.步骤s2066，根据转换结果生成与所述列式数据库的存储结构相同的所述目标明细类数据。
107.具体的，在上述筛选出目标子数据并按照结构转换规则对其进行转换后，即可根据转换结果生成与列式式数据库的存储结构相同的目标明细类数据。
108.沿用上例，在获得数据源ds4、ds5和ds6对应的明细类数据{订单数据，商户数据，地址数据}后，可以按照数据处理链路{原始数据源-》统一数仓-》行转列-》统一数据源}将每种数据源对应的明细类数据存储到统一数仓，当数据全部存储完成后，即可从统一数仓中提取每种数据源对应的明细类数据；其中数据源ds4对应的订单数据的存储结构为{订单编号，订单成立时间，订单交易时间，订单结束时间}，数据源ds5对应的商户数据的存储结构为{id，商户名字，商户地址，商户类型}；数据源ds6对应的地址数据的存储结构为{id，商户地址，发货地址，收货地址}，此时可以按照每种数据源的存储结构与列式数据库的存储结构之间的结构转换规则，对每种数据源对应的明细类数据进行转换，根据转换结果得到对应列式数据库的存储结构{主体，id，字段名，字段值}的目标明细类数据，实现通过存储字段值和字段名的方式，对每条明细数据都能够记录，方便后续使用，目标明细类数据的结构如下表(1)所示：
109.表(1)
110.主体id字段名字段值商户123type1s1商户123type2s2商户145type1s3用户965type9s4
…………
111.其中，不同id表示不同的商户或用户，不同的字段名表示不同的数据内容，如type1对应商户地址，相应的字段值用于表示地址具体位置，或者type2对应商户类型，相应的字段值用于表示商户具体类型。实际应用中，字段名和字段值根据实际需求进行设定，本实施例在此不作任何限定。
112.综上，通过将多种数据源的明细类数据转换为列式数据库的存储结构，实现数据的统一化，方便后续进行管理和持久化，并且更加方便下游业务进行使用，有效的提高了数据处理效率。
113.此外，步骤s204和步骤s206并无先后执行顺序，可以先执行步骤s204，再执行步骤s206，或者先执行步骤s206，在执行步骤s204，再或者步骤s2041和步骤s206同时执行，本实
施例在此不作任何限定。
114.步骤s208，将所述目标指标类数据写入所述指标数据库，以及将所述目标明细类数据写入所述列式数据库。
115.具体的，在上述完成数据统一后，将会得到目标指标类数据和目标明细类数据，此时即可将目标指标类数据写入指标数据库，以及将目标明细类数据写入列式数据库，以方便下游业务在使用时直接读取各个数据库中的数据即可，无需再进行统一化处理，提高了数据的复用率。
116.进一步的，在数据写入数据库之后，为了能够快速的完成报送处理，可以通过检测数据库的运行状态实现触发数据报送处理操作，本实施例中，具体实现方式如下所述：
117.在所述指标数据库和所述列式数据库的运行状态为停止状态的情况下，按照预设的报送周期在所述指标数据库中提取待报送指标类数据，以及在所述列式数据库中提取待报送明细类数据；
118.通过对所述待报送指标类数据和所述待报送明细类数据进行整合，获得待报送业务数据；
119.将所述待报送业务数据发送至报送节点。
120.具体的，报送周期具体是指向报送节点发送数据的周期，可以是24小时，1周或者一个月，实际应用中可以根据实际需求设定；相应的，待报送指标类数据具体是指指标数据库中位于报送周期内的指标类数据；相应的，待报送明细类数据具体是指列式数据库中位于报送周期内的明细类数据，且待报送指标类数据和待报送明细类数据即为需要发送到报送节点进行报送处理的待报送业务数据。
121.基于此，当目标指标类数据和目标明细类数据持续写入指标数据库和列式数据库后，可以通过检测数据库的运行状态的方式检测是否触发报送操作；在指标数据库和列式数据库的运行状态为停止状态的情况下，说明此时可以进行数据报送处理，则可以按照预设的报送周期在指标数据库中提取待报送指标类数据，同时在列式数据库中提取待报送明细类数据，之后将二者进行整合以得到待报送业务数据，最后将待报送业务数据发送至报送节点即可。
122.举例说明，当需要向报送节点发送2021年1月到2月的业务相关的数据时，可以按照报送周期从指标数据库中提取对应该时间区间的待报送指标类数据，同时在列式数据库中提取对应该时间区间的待报送明细类数据，之后将这两部分数据进行整合，再发送到到报送节点进行处理即可。
123.实际应用中，报送节点可以是业务方内部的数据管理节点，也可以是数据管理机构，或者业务方的母公司的数据管理部门，本实施例在此不作任何限定。
124.综上，通过采用检测数据库运行状态的方式触发报送操作，可以节省设置报送节点的资源消耗，同时能够对报送周期内的统一后的数据进行报送，有效的提高了报送效率，以及报送节点的处理效率。
125.此外，在将数据发送至报送节点之前，为了避免出现报送的数据存在不清楚的问题发生，如数据缺少键值，或者数据丢失；以及提高业务项目内部的合规性，可以对待报送的数据进行检测，本实施例中，具体实现方式如下所述：
126.步骤s2082，获取所述待报送指标类数据对应的指标检测策略，以及所述待报送明
细类数据对应的明细检测策略。
127.具体的，指标检测策略具体是指能够对待报送指标类数据进行检测，检测这部分数据是否合规的策略；相应的明细检测策略具体是指能够对待报送明细列数据进行检测，检测这部分数据是否合规的策略。
128.实际应用中，指标检测策略具体是指检测待报送指标类数据相比于历史指标类数据的变化波动是否合规；明细指标策略具体是指检测待报送明细类数据的本身是否合规，和/或业务节点是否合规；其中，检测数据是否合规具体是指检测数据是否符合当前业务场景的规定要求。
129.步骤s2084，按照所述指标检测策略对所述待报送指标类数据进行检测，获得指标类数据检测结果，以及按照所述明细检测策略对所述待报送明细类数据进行检测，获得明细类数据检测结果。
130.具体的，在获取到待报送指标类数据对应的指标检测策略，以及待报送明细类数据对应的明细检测策略之后，为了能够保证业务场景的合规性，保证业务场景更加规范，可以按照检测策略分别对每部分数据进行检测，从而通过检测结果反映出业务场景的合规性。
131.进一步的，在按照指标检测策略对待报送指标类数据进行检测的过程中，为了能够提高检测精准度，可以通过读取历史指标类数据的方式实现比对，本实施例中，具体实现方式如下所述：
132.根据所述指标检测策略读取历史指标类数据；
133.将所述历史指标列数据与所述待报送指标类数据进行比对，根据比对结果确定所述指标类数据检测结果。
134.具体的，历史指标类数据具体是指上一个或多个报送周期中，每个报送周期所对应的指标类数据，用于对比待报送指标类数据；相应的，指标类数据检测结果具体是指对待报送指标类数据进行检测后得到的检测结果，以此可以分析出指标类数据是否合规。
135.基于此，在获取到指标检测策略后，可以根据指标检测策略读取历史指标类数据，以用于对待报送指标类数据进行检测。进一步的，此时可以将历史指标类数据与待报送指标类数据进行比对，通过比对的方式确定待报送指标类数据对应的指标类数据检测结果，以此分析出待报送指标类数据是否存在会对业务项目产生影响的风险，从而及时作出应对，避免出现更大的损失。
136.综上，通过采用与历史指标类数据比对的方式分析待报送指标类数据，实现结合待报送指标类数据的特性完成检测，不仅可以提高检测精准度，还能够提高业务场景的合规性。
137.更进一步的，在按照明细检测策略对待报送明细类数据进行检测的过程中，为了能够提高检测精准度，可以通过检测结构和规则的方式实现，本实施例中，具体实现方式如下所述：
138.根据所述明细检测策略创建结构检测条件和规则检测条件；
139.基于所述结构检测条件和所述规则检测条件对所述待报送明细类数据进行检测，获得所述明细类数据检测结果。
140.具体的，结构检测条件具体是指能够对待报送明细类数据的结构维度进行检测的
条件，即检测待报送明细类数据本身是否合规；相应的，规则检测条件具体是指能够对待报送明细类数据的业务维度进行检测的条件，即检测产生或传输待报送明细类数据的业务节点是否合规。
141.基于此，在获取到明细检测策略后，可以根据该策略创建结构检测条件和规则检测条件，之后基于结构检测条件对待报送明细类数据进行结构维度的检测，同时基于规则检测条件对待报送明细类数据进行业务维度的检测，以实现根据检测结果得到明细类数据检测结果。
142.也就是说，在进行目标业务的风险预测时，可以在数据报送的同时完成，从而节省数据统计时间，降低资源消耗，实现一次操作达到多种目的，有效保证业务场景合规的同时，提高报送效率。
143.综上，通过采用结构检测和业务检测的方式对待报送明细类数据进行检测，不仅可以避免数据本身带来的影响，还能够确定业务层面的影响，从而进一步提高业务场景的稳定性，提高业务场景的合规性。
144.步骤s2086，将所述指标类数据检测结果和所述明细类数据检测结果发送至业务调整节点。
145.具体的，在上述得到指标类数据检测结果和明细类数据检测结构之后，即可将检测结构发送至调整节点，以实现调整节点根据检测结果对业务进行调整，或者对业务进行更新，再或者对数据进行更正，保证后续发送到报送节点的数据都是真实且准确的数据。
146.举例说明，当获取到2021年2月至3月的待报送指标类数据后，可以读取2021年1月至2月的历史指标类数据，之后将这两部分数据进行比对，从而分析各个指标的波动情况，若波动率大于阈值则说明指标类数据变化较大，可能存在业务风险，则此时确定指标类数据检测结构为存在业务风险；若波动率小于等于阈值则说明指标类数据变化较小，存在业务风险的概率较低，则此时确定指标类数据检测结果为未存在业务风险。
147.同时创建结构检测条件和规则检测条件，基于这两个条件对待报送明细类数据进行检测，即检测每条待报送明细类数据是否出现丢失字段值、字段名、id或主体的情况，以及检测每条待报送明细类数据是否存在违反报送规范或合规条款的情况；若存在丢失数据结构的情况，则说明数据本身存在问题，确定明细类数据检测结果为数据传输存在问题；若存在违规的数据情况，则说明处理数据的节点存在违规行为，确定明细类数据检测结果为业务存在问题。
148.最后再将指标类数据检测结果和明细类数据检测结果整合后发送到调整节点即可，通过调整节点对业务项目进行更新或调整，以对业务场景进行规范化，保证合规性。
149.本说明书提供的数据处理方法，在获取对应多种数据源的指标类数据和明细类数据后，可以按照指标数据库的存储结果多每种数据源的指标类数据进行处理，以获得统一数据结构的目标指标类数据；同时按照列式数据库的存储结构对每种数据源的明细类数据进行处理，以获得统一数据结构的目标指标类数据，最后再将数据分别写入对应的数据库即可，实现通过对业务相关的数据按照明细类和指标类两种进行统一化，避免在后续对业务进行审计或者数据报送时，出现多数据源影响效率，同时也能够方便数据核对或审查等节点快速核对或审查处理，进一步提高了数据处理效率。
150.下述结合附图3，以本说明书提供的数据处理方法在数据报送场景中的应用为例，
对所述数据处理方法进行进一步说明。其中，图3示出了本说明书一实施例提供的一种应用于数据报送场景中的数据处理方法的处理流程图，具体包括以下步骤：
151.步骤s302，获取对应多种数据源的指标类数据和明细类数据。
152.步骤s304，确定每种数据源的存储结构与所述指标数据库的存储结构之间的转换规则。
153.步骤s306，按照转换规则对每种数据源的指标类数据进行处理，获得与指标数据库的存储结构相同的目标指标类数据。
154.步骤s308，将每种数据源对应的明细类数据同步至中间业务数据库。
155.步骤s310，按照每种数据源对应的结构转换规则对中间业务数据库中的明细类数据进行转换。
156.步骤s312，根据转换结果生成与列式数据库的存储结构相同的目标明细类数据。
157.步骤s314，将目标指标类数据写入指标数据库以及目标明细类数据写入列式数据库。
158.步骤s316，在数据报送前在指标数据库中提取待报送指标类数据，以及在列式数据库中提取待报送明细类数据。
159.步骤s318，获取待报送指标类数据对应的指标检测策略，以及待报送明细类数据对应的明细检测策略。
160.步骤s320，按照指标检测策略对待报送指标类数据进行检测，获得指标类数据检测结果。
161.步骤s322，按照明细检测策略对待报送明细类数据进行检测，获得明细类数据检测结果。
162.步骤s324，将指标类数据检测结果和明细类数据检测结果发送至业务调整节点。
163.步骤s326，在调整节点返回调整结果后，将指标数据库和列式数据库中的数据发送至报送节点。
164.本说明书提供的数据处理方法，在获取对应多种数据源的指标类数据和明细类数据后，可以按照指标数据库的存储结果多每种数据源的指标类数据进行处理，以获得统一数据结构的目标指标类数据；同时按照列式数据库的存储结构对每种数据源的明细类数据进行处理，以获得统一数据结构的目标指标类数据，最后再将数据分别写入对应的数据库即可，实现通过对业务相关的数据按照明细类和指标类两种进行统一化，避免在后续对业务进行审计或者数据报送时，出现多数据源影响效率，同时也能够方便数据核对或审查等节点快速核对或审查处理，进一步提高了数据处理效率。
165.与上述方法实施例相对应，本说明书还提供了数据处理装置实施例，图4示出了本说明书一实施例提供的一种数据处理装置的结构示意图。如图4所示，该装置包括：
166.获取数据模块402，被配置为获取对应多种数据源的指标类数据和明细类数据；
167.第一处理模块404，被配置为按照指标数据库的存储结构对每种数据源的指标类数据进行处理，获得目标指标类数据；
168.第二处理模块406，被配置为按照列式数据库的存储结构对每种数据源的明细类数据进行处理，获得目标明细类数据；
169.数据写入模块408，被配置为将所述目标指标类数据写入所述指标数据库，以及将
所述目标明细类数据写入所述列式数据库。
170.一个可选的实施例中，所述获取数据模块402进一步被配置为：
171.接收针对目标业务提交的数据报送请求；根据所述数据报送请求向目标业务关联的至少两个业务节点发送数据上传请求；接收各个业务节点针对所述数据上报请求返回的业务数据；通过对所述业务数据进行分类，获得对应多种数据源的指标类数据和明细类数据。
172.一个可选的实施例中，所述第一处理模块404进一步被配置为：
173.确定每种数据源的存储结构与所述指标数据库的存储结构之间的转换规则；按照所述转换规则对每种数据源的指标类数据进行处理，获得与所述指标数据库的存储结构相同的所述目标指标类数据。
174.一个可选的实施例中，所述第二处理模块406进一步被配置为：
175.将每种数据源对应的明细类数据同步至中间业务数据库；按照每种数据源对应的结构转换规则对所述中间业务数据库中的明细类数据进行转换；根据转换结果生成与所述列式数据库的存储结构相同的所述目标明细类数据。
176.一个可选的实施例中，所述第二处理模块406进一步被配置为：
177.对所述中间业务数据库中的明细类数据进行解析，获得初始子数据；在所述初始子数据中筛选出目标子数据，并按照每种数据源对应的结构转换规则对所述目标子数据进行转换。
178.一个可选的实施例中，所述数据处理装置，还包括：
179.报送模块，被配置为在所述指标数据库和所述列式数据库的运行状态为停止状态的情况下，按照预设的报送周期在所述指标数据库中提取待报送指标类数据，以及在所述列式数据库中提取待报送明细类数据；通过对所述待报送指标类数据和所述待报送明细类数据进行整合，获得待报送业务数据；将所述待报送业务数据发送至报送节点。
180.一个可选的实施例中，所述数据处理装置，还包括：
181.调整模块，被配置为获取所述待报送指标类数据对应的指标检测策略，以及所述待报送明细类数据对应的明细检测策略；按照所述指标检测策略对所述待报送指标类数据进行检测，获得指标类数据检测结果，以及按照所述明细检测策略对所述待报送明细类数据进行检测，获得明细类数据检测结果；将所述指标类数据检测结果和所述明细类数据检测结果发送至业务调整节点。
182.一个可选的实施例中，所述调整模块进一步被配置为：
183.根据所述指标检测策略读取历史指标类数据；将所述历史指标列数据与所述待报送指标类数据进行比对，根据比对结果确定所述指标类数据检测结果。
184.一个可选的实施例中，所述调整模块进一步被配置为：
185.根据所述明细检测策略创建结构检测条件和规则检测条件；基于所述结构检测条件和所述规则检测条件对所述待报送明细类数据进行检测，获得所述明细类数据检测结果。
186.本说明书提供的数据处理装置，在获取对应多种数据源的指标类数据和明细类数据后，可以按照指标数据库的存储结果多每种数据源的指标类数据进行处理，以获得统一数据结构的目标指标类数据；同时按照列式数据库的存储结构对每种数据源的明细类数据
进行处理，以获得统一数据结构的目标指标类数据，最后再将数据分别写入对应的数据库即可，实现通过对业务相关的数据按照明细类和指标类两种进行统一化，避免在后续对业务进行审计或者数据报送时，出现多数据源影响效率，同时也能够方便数据核对或审查等节点快速核对或审查处理，进一步提高了数据处理效率。
187.上述为本实施例的一种数据处理装置的示意性方案。需要说明的是，该数据处理装置的技术方案与上述的数据处理方法的技术方案属于同一构思，数据处理装置的技术方案未详细描述的细节内容，均可以参见上述数据处理方法的技术方案的描述。
188.图5示出了根据本说明书一实施例提供的一种计算设备500的结构框图。该计算设备500的部件包括但不限于存储器510和处理器520。处理器520与存储器510通过总线530相连接，数据库550用于保存数据。
189.计算设备500还包括接入设备540，接入设备540使得计算设备500能够经由一个或多个网络560通信。这些网络的示例包括公用交换电话网(pstn)、局域网(lan)、广域网(wan)、个域网(pan)或诸如因特网的通信网络的组合。接入设备540可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(nic))中的一个或多个，诸如ieee802.11无线局域网(wlan)无线接口、全球微波互联接入(wi-max)接口、以太网接口、通用串行总线(usb)接口、蜂窝网络接口、蓝牙接口、近场通信(nfc)接口，等等。
190.在本说明书的一个实施例中，计算设备500的上述部件以及图5中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图5所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
191.计算设备500可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或pc的静止计算设备。计算设备500还可以是移动式或静止式的服务器。
192.其中，处理器520用于执行如下计算机可执行指令：
193.获取对应多种数据源的指标类数据和明细类数据；
194.按照指标数据库的存储结构对每种数据源的指标类数据进行处理，获得目标指标类数据；
195.按照列式数据库的存储结构对每种数据源的明细类数据进行处理，获得目标明细类数据；
196.将所述目标指标类数据写入所述指标数据库，以及将所述目标明细类数据写入所述列式数据库。
197.上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的数据处理方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述数据处理方法的技术方案的描述。
198.本说明书一实施例还提供一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时以用于：
199.获取对应多种数据源的指标类数据和明细类数据；
200.按照指标数据库的存储结构对每种数据源的指标类数据进行处理，获得目标指标类数据；
201.按照列式数据库的存储结构对每种数据源的明细类数据进行处理，获得目标明细类数据；
202.将所述目标指标类数据写入所述指标数据库，以及将所述目标明细类数据写入所述列式数据库。
203.上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的数据处理方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述数据处理方法的技术方案的描述。
204.本说明书一实施例还提供一种计算机程序，当所述计算机程序在计算机中执行时，令计算机执行所述数据处理方法的步骤。
205.上述为本实施例的一种计算机程序的示意性方案。需要说明的是，该计算机程序与上述的数据处理方法的技术方案属于同一构思，计算机程序的技术方案未详细描述的细节内容，均可以参见上述数据处理方法的技术方案的描述。
206.上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
207.所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
208.需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本说明书并不受所描述的动作顺序的限制，因为依据本说明书，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本说明书所必须的。
209.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
210.以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。