一种数据处理方法及装置与流程

1.本技术涉及数据处理领域，尤其涉及一种数据处理方法及装置。


背景技术：

2.随着互联网金融的日益发展，人民直接或间接参与的各类金融活动不断增加。为了维持正常的经济秩序和社会稳定，人行等各类监管机构要求商业银行应将每日发生的可能涉及交易和客户风险的行为，按照规定的格式生成报文后及时进行报送。每日报送的报文中的交易和客户需要经过上游平台模型加工，加工后的交易等数据经导出发送至下游，继而经过下游提取生成对应报文报送至人行。
3.在现有技术中，通常需要跨服务器导出上游模型加工出来的交易、客户、预警相关等表数据，若交易数据量较大，则采用串行导出各表数据时将花费大量时间；若采用并行导出对应单个节点，则需要配置大量的节点，重复调用导出程序逻辑，耗费大量的人力和系统资源。因此，如何快速准确的将上游模型加工出来的数据导出至下游，保障当日报文报送人行的及时率是一项亟待解决的问题。


技术实现要素：

4.有鉴于此，本技术提供了一种数据处理方法及装置，用以实现在导出各表数据之前，通过计算待导出各表对应的最优规划路径，利用最短时间导出各表数据，缩短了下游等待时间，提升了报送的及时率。
5.其技术方案如下：
6.第一方面，本技术提供了一种数据处理方法，包括：根据当前报送需求，导出待加工的多个数据表；所述待加工的多个数据表为经上游模型加工后需要导出的数据表；
7.根据所述待加工的多个数据表中的每个数据表中的数据类型，对所述待加工的多个数据表设置优先级；
8.在所述上游模型对应的数据库中添加预设的配置表，所述预设的配置表用于存储所述待加工的多个数据表中每个数据表的编号、表名、优先级、依赖序号；其中，所述依赖序号为待加工的当前数据表导出时依赖的待加工的前一个数据表的编号；
9.根据所述预设的配置表，归纳出所述待加工的多个数据表之间的递归关系；
10.以所述待加工的多个数据表的每个表名作为所述递归关系的输入，基于动态规划算法，得到所述待加工的多个数据表中每个数据表的最优规划路径，所述最优规划路径中包括依序导出所述多个数据表的最优路径；
11.根据所述最优规划路径依序导出所述多个数据表，并将依序导出的各个数据表依序配置给加工节点，由所述加工节点对相应的数据表进行加工。
12.优选地，所述根据所述待加工的多个数据表中的每个数据表中的数据类型，对所述待加工的多个数据表设置优先级，包括：
13.若所述待加工的数据表中的数据类型为报文数据，则设置所述待加工的数据表的
优先级最高。
14.优选地，所述方法还包括：
15.若所述当前报送需求不变时，重新获取待加工的多个数据表的数据，然后根据所述待加工的多个数据表中每个数据表的数据重新生成所述待加工的多个数据表中每个数据表的新的最优规划路径。
16.优选地，所述方法还包括：
17.若所述当前报送需求改变时，则根据当前新的报送需求，导出新的待加工的多个数据表，在所述上游模型对应的数据库中修改所述预设的配置表，并使用修改后的配置表重新生成新的待加工的多个数据表中每个数据表的最优规划路径。
18.第二方面，本技术提供了一种数据处理装置，包括：
19.第一导出模块，用于根据当前报送需求，导出待加工的多个数据表；所述待加工的多个数据表为经上游模型加工后需要导出的数据表；
20.设置模块，用于根据所述待加工的多个数据表中的每个数据表中的数据类型，对所述待加工的多个数据表设置优先级；
21.添加模块，用于在所述上游模型对应的数据库中添加预设的配置表，所述预设的配置表用于存储所述待加工的多个数据表中每个数据表的编号、表名、优先级、依赖序号；其中，所述依赖序号为待加工的当前数据表导出时依赖的待加工的前一个数据表的编号；
22.归纳模块，用于根据所述预设的配置表，归纳出所述待加工的多个数据表之间的递归关系；
23.第一计算模块，用于以所述待加工的多个数据表的每个表名作为所述递归关系的输入，基于动态规划算法，得到所述待加工的多个数据表中每个数据表的最优规划路径，所述最优规划路径中包括依序导出所述多个数据表的最优路径；
24.第二导出模块，用于根据所述最优规划路径依序导出所述多个数据表，并将依序导出的各个数据表依序配置给加工节点，由所述加工节点对相应的数据表进行加工。
25.优选地，所述设置模块，具体用于若所述待加工的数据表中的数据类型为报文数据，则设置所述待加工的数据表的优先级最高。
26.优选地，所述装置还包括：
27.第二计算模块，用于若所述当前报送需求不变时，重新获取待加工的多个数据表的数据，然后根据所述待加工的多个数据表中每个数据表的数据重新生成所述待加工的多个数据表中每个数据表的新的最优规划路径。
28.优选地，所述装置还包括：
29.第三计算模块，用于若所述当前报送需求改变时，则根据当前新的报送需求，导出新的待加工的多个数据表，在所述上游模型对应的数据库中修改所述预设的配置表，并使用修改后的配置表重新生成新的待加工的多个数据表中每个数据表的最优规划路径。
30.第三方面，本技术提供了一种电子设备，包括：
31.存储器，用于存储一个或多个程序；
32.处理器；当所述一个或多个程序被所述处理器执行时，实现以上任意一项所述方法。
33.第四方面，本技术提供了一种存储介质，所述存储介质上存储有程序，所述程序被
处理器执行时实现以上任意一项所述方法。
34.上述技术方案具有如下有益效果：
35.本技术实施例提供的一种数据处理方法及装置，所述方法包括：根据当前报送需求，导出待加工的多个数据表；所述待加工的多个数据表为经上游模型加工后需要导出的数据表；根据所述待加工的多个数据表中的每个数据表中的数据类型，对所述待加工的多个数据表设置优先级；在所述上游模型对应的数据库中添加预设的配置表，所述预设的配置表用于存储所述待加工的多个数据表中每个数据表的编号、表名、优先级、依赖序号；其中，所述依赖序号为待加工的当前数据表导出时依赖的待加工的前一个数据表的编号；根据所述预设的配置表，归纳出所述待加工的多个数据表之间的递归关系；以所述待加工的多个数据表的每个表名作为所述递归关系的输入，基于动态规划算法，得到所述待加工的多个数据表中每个数据表的最优规划路径，所述最优规划路径中包括依序导出所述多个数据表的最优路径；根据所述最优规划路径依序导出所述多个数据表，并将依序导出的各个数据表依序配置给加工节点，由所述加工节点对相应的数据表进行加工。
36.可见，本技术实施例在上游模型导出各表数据之前，通过计算待导出各表对应的最优规划路径，利用最短时间导出各表数据，缩短了下游等待时间，提升了报送的及时率。
附图说明
37.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
38.图1为本发明实施例提供的上游模型按照串行的方式导出数据到下游的举例示意图；
39.图2为本发明实施例提供的上游模型按照单节点并行的方式导出数据到下游的举例示意图；
40.图3为本发明实施例提供的一种数据处理方法的流程图；
41.图4为本发明实施例提供的数据表的最优规划路径的举例示意图；
42.图5为本发明实施例提供的一种数据处理装置的结构示意图。
具体实施方式
43.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
44.在现有技术中，上游模型负责将当日所有涉及风险行为的交易、客户、机构、预警等相关数据按照串行方式导出到下游，各表之间的导出采用串行方式，即下一张表的导出需要依赖上一张表的导出完成。若交易数据量较大，则采用串行导出各表数据时将花费大量时间。如图1所示，为上游模型按照串行的方式导出数据到下游的举例示意图。
45.若是通过上游模型加工负责将当日所有涉及风险行为的交易、客户、机构、预警等
相关数据按照单节点并行方式导出到下游，供下游加工生成报文。各表之间的导出采用单节点并行导出方式，即各表的导出开始互相独立，则需要配置大量的节点，重复调用导出程序逻辑，耗费大量的人力和系统资源。如图2所示，为上游模型按照单节点并行的方式导出数据到下游的举例示意图。
46.为了克服上述技术问题，本技术实施例提供了一种数据处理方法，请参阅图3，为本技术实施例提供的一种数据处理方法的流程图，该方法可以包括：
47.步骤s301：根据当前报送需求，导出待加工的多个数据表；所述待加工的多个数据表为经上游模型加工后需要导出的数据表。
48.本技术实施例中，商业银行需要将每日交易以及对应的客户筛选出可能涉及监管风险的交易生成报文后及时进行报送。由于每日报送的数据需要经过上游模型加工后导出，并发送至下游，继而经过下游提取对应的报文报送至人行监管。因此，可以根据当前报送需求，导出待加工的多个数据表，其中，待加工的多个数据表的数据可以是相关风险交易数据、客户信息、预警信息中的一种或多种。
49.步骤s302：根据所述待加工的多个数据表中的每个数据表中的数据类型，对所述待加工的多个数据表设置优先级。
50.本技术实施例中，可以根据待加工的多个数据表中的每个数据表中的数据类型，对待加工的多个数据表设置优先级。
51.作为一种优选的实施方式，根据所述待加工的多个数据表中的每个数据表中的数据类型，对所述待加工的多个数据表设置优先级，可以包括：若所述待加工的数据表中的数据类型为报文数据，则设置所述待加工的数据表的优先级最高。
52.需要说明的是，若待加工的数据表中的数据类型为报文数据，因其数据量较大，导出时间比较久，因此设置该表的优先级为最高。
53.步骤s303：在所述上游模型对应的数据库中添加预设的配置表，所述预设的配置表用于存储所述待加工的多个数据表中每个数据表的编号、表名、优先级、依赖序号；其中，所述依赖序号为待加工的当前数据表导出时依赖的待加工的前一个数据表的编号。
54.本技术实施例中，在上游模型对应的数据库中添加预设的配置表，该配置表用于存储待加工的多个数据表中每个数据表的编号、表名、优先级、依赖序号，其中，多个数据表中每个数据表的依赖序号为待加工的当前数据表导出时依赖的待加工的前一个数据表的编号。
55.需要说明的是，本技术实施例通过在上游模型对应的数据库中添加配置表，对待加工的多个数据表进行排序，以便后续生成各个数据表的最优规划路径，缩短下游等待时间，提升报送的及时率。
56.步骤s304：根据所述预设的配置表，归纳出所述待加工的多个数据表之间的递归关系。
57.本技术实施例中，可以根据预设的配置表中的各项参数，归纳出待加工的多个数据表之间的递归关系。
58.步骤s305：以所述待加工的多个数据表的每个表名作为所述递归关系的输入，基于动态规划算法，得到所述待加工的多个数据表中每个数据表的最优规划路径，所述最优规划路径中包括依序导出所述多个数据表的最优路径。
59.本技术实施例中，将待加工的多个数据表的每个表名作为递归关系的输入，并基于动态规划算法，得到所述待加工的多个数据表中每个数据表的最优规划路径，缩短下游等待时间，提升报送的及时率。
60.需要说明的是，本技术实施例中的动态规划算法是根据预设的配置表的各项参数，例如优先级，每个数据表的编号等确定的多个表之间的逻辑执行顺序。
61.步骤s306：根据所述最优规划路径依序导出所述多个数据表，并将依序导出的各个数据表依序配置给加工节点，由所述加工节点对相应的数据表进行加工。
62.具体的，本发明实施例中上游模型在导出待加工的数据表的数据之前，根据最优规划路径依序导出所述多个数据表，并将依序导出的各个数据表依序配置给加工节点，由所述加工节点对相应的数据表进行加工，缩短下游等待时间，提升报送的及时率。
63.如图4所示，为本技术实施例中数据表的最优规划路径的举例示意图。
64.从上述技术方案可以看出，本技术实施例提供的一种数据处理方法及装置，所述方法包括：根据当前报送需求，导出待加工的多个数据表；所述待加工的多个数据表为经上游模型加工后需要导出的数据表；根据所述待加工的多个数据表中的每个数据表中的数据类型，对所述待加工的多个数据表设置优先级；在所述上游模型对应的数据库中添加预设的配置表，所述预设的配置表用于存储所述待加工的多个数据表中每个数据表的编号、表名、优先级、依赖序号；其中，所述依赖序号为待加工的当前数据表导出时依赖的待加工的前一个数据表的编号；根据所述预设的配置表，归纳出所述待加工的多个数据表之间的递归关系；以所述待加工的多个数据表的每个表名作为所述递归关系的输入，基于动态规划算法，得到所述待加工的多个数据表中每个数据表的最优规划路径，所述最优规划路径中包括依序导出所述多个数据表的最优路径；根据所述最优规划路径依序导出所述多个数据表，并将依序导出的各个数据表依序配置给加工节点，由所述加工节点对相应的数据表进行加工。
65.可见，本技术实施例在上游模型导出各表数据之前，通过计算待导出各表对应的最优规划路径，利用最短时间导出各表数据，缩短了下游等待时间，提升了报送的及时率。
66.可选地，在上述任一实施例的基础上，还包括：
67.若所述当前报送需求不变时，重新获取待加工的多个数据表的数据，然后根据所述待加工的多个数据表中每个数据表的数据重新生成所述待加工的多个数据表中每个数据表的新的最优规划路径。
68.具体地，若当前报送需求不变时，即经上游模型加工后需要导出的数据表数量与表名相同，但因为每日待加工的多个数据表的数据量与上一日相比有所不同，因此，需要重新获取待加工的多个数据表的数据，然后根据所述待加工的多个数据表中每个数据表的数据重新生成所述待加工的多个数据表中每个数据表的新的最优规划路径。
69.可选地，在上述任一实施例的基础上，还包括：
70.若所述当前报送需求改变时，则根据当前新的报送需求，导出新的待加工的多个数据表，在所述上游模型对应的数据库中修改所述预设的配置表，并使用修改后的配置表重新生成新的待加工的多个数据表中每个数据表的最优规划路径。
71.具体地，若当前报送需求发生改变时，即经上游模型加工后需要导出的数据表有所变化，则可以根据当前新的报送需求，导出新的待加工的多个数据表，在所述上游模型对
应的数据库中修改所述预设的配置表，并使用修改后的配置表重新生成新的待加工的多个数据表中每个数据表的最优规划路径。
72.本技术实施例中通过在上游模型对应的数据库中设置配置表，若当前报送需求改变时，只需修改对应配置表中的各项参数，重新生成新的待加工的多个数据表中每个数据表的最优规划路径，有效缩短下游等待时间，提升报送的及时率。
73.与上述方法相对应，本发明实施例还提供了一种数据处理装置，请参阅图5，示出了该装置的结构示意图，可以包括：第一导出模块100、设置模块200、添加模块300、归纳模块400，第一计算模块500、第二导出模块600。
74.第一导出模块100，用于根据当前报送需求，导出待加工的多个数据表；所述待加工的多个数据表为经上游模型加工后需要导出的数据表。
75.设置模块200，用于根据所述待加工的多个数据表中的每个数据表中的数据类型，对所述待加工的多个数据表设置优先级。
76.添加模块300，用于在所述上游模型对应的数据库中添加预设的配置表，所述预设的配置表用于存储所述待加工的多个数据表中每个数据表的编号、表名、优先级、依赖序号；其中，所述依赖序号为待加工的当前数据表导出时依赖的待加工的前一个数据表的编号。
77.归纳模块400，用于根据所述预设的配置表，归纳出所述待加工的多个数据表之间的递归关系。
78.第一计算模块500，用于以所述待加工的多个数据表的每个表名作为所述递归关系的输入，基于动态规划算法，得到所述待加工的多个数据表中每个数据表的最优规划路径，所述最优规划路径中包括依序导出所述多个数据表的最优路径。
79.第二导出模块600，用于根据所述最优规划路径依序导出所述多个数据表，并将依序导出的各个数据表依序配置给加工节点，由所述加工节点对相应的数据表进行加工。
80.可选地，所述设置模块，具体用于若所述待加工的数据表中的数据类型为报文数据，则设置所述待加工的数据表的优先级最高。
81.可选地，在上述任一实施例的基础上，所述装置还包括：
82.第二计算模块，用于若所述当前报送需求不变时，重新获取待加工的多个数据表的数据，然后根据所述待加工的多个数据表中每个数据表的数据重新生成所述待加工的多个数据表中每个数据表的新的最优规划路径。
83.可选地，在上述任一实施例的基础上，所述装置还包括：
84.第三计算模块，用于若所述当前报送需求改变时，则根据当前新的报送需求，导出新的待加工的多个数据表，在所述上游模型对应的数据库中修改所述预设的配置表，并使用修改后的配置表重新生成新的待加工的多个数据表中每个数据表的最优规划路径。
85.本技术实施例提供了一种电子设备，包括：
86.存储器，用于存储一个或多个程序；
87.处理器；当所述一个或多个程序被所述处理器执行时，实现上述实施例中所述的基于动态规划算法的数据处理方法。
88.本技术实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现上述实施例中所述的基于动态规划算法的数据处理方法。
89.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
90.本领域技术人员可以理解，图所示的流程图仅是本技术的实施方式可以在其中得以实现的一个示例，本技术实施方式的适用范围不受到该流程图任何方面的限制。
91.在本技术所提供的几个实施例中，应该理解到，所揭露的方法、装置和设备，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
92.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
93.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
94.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。