一种数据传输方法、装置、设备及存储介质与流程

1.本技术属于数据处理技术领域，尤其涉及一种数据传输方法、装置、设备及存储介质。


背景技术：

2.银行业务系统之间常需要进行数据的交互，往往是需要将上游系统中的数据发送到下游系统中。
3.目前,是通过数据仓库的管理平台进行获取上游系统的数据，并按照多个下游系统的总体业务需求整理成一张整合数据表后，传输到下游装置。这会使得下游系统需要等待较长时间才能获取到整合数据表中的所需数据，使得数据处理效率低下。


技术实现要素：

4.有鉴于此，本技术的目的在于提供一种数据传输方法、装置、设备及存储介质，减少下游系统获取数据的等待时间，提高数据处理效率。
5.为实现上述目的，本技术实施例公开了如下技术方案：
6.第一方面，本技术提供一种数据传输方法，应用于管理平台，所述管理平台分别与上游系统和第一下游系统连接，包括：
7.接收所述上游系统发送的待传输数据；
8.根据所述待传输数据生成整合数据表；
9.获取所述第一下游系统的数据需求，所述数据需求包括数据字段需求以及时效性需求；
10.根据所述数据需求，从所述整合数据表中确定目标数据内容；
11.向所述第一下游系统发送所述目标数据内容。
12.可选的，所述根据所述数据需求，从所述整合数据表中确定第一下游系统的目标数据内容，包括：
13.从所述整合数据表中确定与所述数据字段需求以及所述时效性需求均匹配的数据作为目标数据内容。
14.可选的，所述数据需求还包括传输优先级，所述方法还包括：
15.根据所述传输优先级确定向所述第一下游系统发送所述目标数据内容的传输顺序。
16.可选的，所述方法还包括：
17.根据所述传输顺序确定处理时间；
18.将所述处理时间发送到所述第一下游系统，所述处理时间用于确定第一下游系统处理所述目标数据内容的时间。
19.可选的，所述管理平台还与第二下游系统连接，所述根据所述待传输数据生成整合数据表，包括：
20.根据从所述第一下游系统获取的第一基础数据内容、从所述第二下游系统获取的第二基础数据内容以及所述待传输数据生成整合数据表。
21.第二方面，本技术提供一种数据传输装置，所述装置应用于管理平台，所述管理平台分别与上游系统和第一下游系统连接，所述装置包括：
22.接收单元，用于接收所述上游系统发送的待传输数据；
23.生成单元，用于根据所述待传输数据生成整合数据表；
24.获取单元，用于获取所述第一下游系统的数据需求，所述数据需求包括数据字段需求以及时效性需求；
25.第一确定单元，用于根据所述数据需求，从所述整合数据表中确定目标数据内容；
26.第一发送单元，用于向所述第一下游系统发送所述目标数据内容。
27.可选的，所述确定单元，具体用于从所述整合数据表中确定与所述数据字段需求以及所述时效性需求均匹配的数据作为目标数据内容。
28.可选的，所述数据需求还包括传输优先级，所述装置还包括：
29.第二确定单元，用于根据所述传输优先级确定向所述第一下游系统发送所述目标数据内容的传输顺序。
30.可选的，所述装置还包括：
31.第二确定单元，用于根据所述传输顺序确定处理时间；
32.第二发送单元，用于将所述处理时间发送到所述第一下游系统，所述处理时间用于确定第一下游系统处理所述目标数据内容的时间。
33.可选的，所述管理平台还与第二下游系统连接，
34.所述生成单元，具体用于根据从所述第一下游系统获取的第一基础数据内容、从所述第二下游系统获取的第二基础数据内容以及所述待传输数据生成整合数据表。
35.第三方面，本技术提供一种数据传输设备，包括：
36.存储器，用于存储计算机程序；
37.处理器，用于执行所述存储器中存储的计算机程序以实现如第一方面任一项所述数据传输方法的步骤。
38.第四方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行以实现如第一方面任一项所述数据传输方法的步骤。
39.可见，本技术公开的一种数据传输方法、装置、设备及存储介质，接收上游系统发送的待传输数据；根据待传输数据生成整合数据表获取第一下游系统的数据需求，数据需求包括数据字段需求以及时效性需求；根据数据需求，从整合数据表中确定目标数据内容；向第一下游系统发送目标数据内容。通过上述方法，使得第一下游系统无需等待整合数据表的各项数据均确定后即可获取到数据，减少第一下游系统获取数据的等待时间，提高数据处理效率。
附图说明
40.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术
的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
41.图1是本技术实施例提供的一种数据传输方法的流程示意图；
42.图2是本技术实施例提供的一种数据传输装置的结构示意图。
具体实施方式
43.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
44.为便于理解本技术提供的技术方案，下面将先对本技术涉及的背景技术进行说明。
45.银行业务系统之间常需要进行数据的交互，往往是需要将上游系统中的数据发送到下游系统中。目前,是通过数据仓库的管理平台进行获取上游系统的数据，并按照多个下游系统的总体业务需求整理成一张整合数据表后，传输到下游装置，而由于整合数据表中的各项数据的确定时间往往是不同的，例如上游系统的有些数据是每日12点更新，有些数据是每日的凌晨2点进行更新，这会使得下游系统需要等待所有数据都更新完毕后，才能获取到整合数据表中的所需数据，使得数据处理效率低下。
46.基于此，本技术公开的一种数据传输方法、装置、设备及存储介质，接收上游系统发送的待传输数据；根据待传输数据生成整合数据表获取第一下游系统的数据需求，数据需求包括数据字段需求以及时效性需求；根据数据需求，从整合数据表中确定目标数据内容；向第一下游系统发送目标数据内容。通过上述方法，使得第一下游系统无需等待整合数据表的各项数据均确定后即可获取到数据，减少第一下游系统获取数据的等待时间，提高数据处理效率。
47.为便于理解本技术提供的技术方案，下面将结合附图对本技术提供的一种数据传输方法进行说明。需要说明的是，本技术提供的一种数据传输方法，可用于大数据领域或金融领域。上述仅为示例，并不对本技术提供的数据传输方法的应用领域进行限定。
48.参见图1，该图为本技术实施例提供的一种数据传输方法的流程示意图，该方法应用于管理平台，管理平台分别与上游系统和第一下游系统连接。如图1所示，所述方法包括s101-s105。
49.s101：接收所述上游系统发送的待传输数据。
50.本技术实施例中，上游系统会向管理平台发送待传输数据，管理平台可以接收上游系统发送的待传输数据。可以理解的是，待传输数据是上游系统周期性发送的，其可以包括上游系统发送待传输数据的时间。
51.s102：根据所述待传输数据生成整合数据表。
52.本技术实施例中，管理平台在接收到上游系统发送的待传输数据后，还会根据接收到的待传输数据进行生成整合数据表。
53.作为一种可能的实现方式，管理平台还与第二下游系统连接，根据待传输数据生成整合数据表，包括：根据从第一下游系统获取的第一基础数据内容、从第二下游系统获取
的第二基础数据内容以及所述待传输数据生成整合数据表。
54.可以理解的是，管理平台有连接多个下游系统，可以获取多个下游系统的多个基础数据内容，例如从第一下游系统获取的第一基础数据内容、从第二下游系统获取的第二基础数据内容，从而从待传输数据中生成需要传输到下游系统中的整合数据表。
55.s103：获取所述第一下游系统的数据需求，所述数据需求包括数据字段需求以及时效性需求。
56.本技术实施例中，第一下游系统可以向管理平台发送数据需求，数据需求可以包括数据字段需求以及时效性需求，可以理解的是数据字段需求是指第一下游系统所需要获取数据的具体字段内容，时效性需求是指第一下游系统所需要获取数据的时间段的要求，如要求需要在x时间点后的数据b，如果数据b的更新时间是在x时间之前，则不是第一下游系统所需要的数据。
57.s104：根据所述数据需求，从所述整合数据表中确定目标数据内容。
58.本技术实施例中，管理平台在接收到第一下游系统发送的数据需求后，即可根据数据需求从整合数据表中确定目标数据内容。可以理解的是，目标数据内容是需要发送到具体的第一下游系统中的数据内容。
59.作为一种可能的实现方式，所述根据所述数据需求，从所述整合数据表中确定第一下游系统的目标数据内容，包括：从所述整合数据表中确定与所述数据字段需求以及所述时效性需求均匹配的数据作为目标数据内容。
60.可以理解的是，本技术实施例中会去通过判断数据字段需求以及时效性需求，从整合数据表中确定与数据字段需求以及时效性需求均匹配的数据作为目标数据内容。
61.s105：向所述第一下游系统发送所述目标数据内容。
62.本技术实施例中，管理平台在确定出目标数据内容之后，即可向第一下游系统发送目标数据内容。
63.接收上游系统发送的待传输数据；根据待传输数据生成整合数据表获取第一下游系统的数据需求，数据需求包括数据字段需求以及时效性需求；根据数据需求，从整合数据表中确定目标数据内容；向第一下游系统发送目标数据内容。通过上述方法，使得第一下游系统无需等待整合数据表的各项数据均确定后即可获取到数据，减少第一下游系统获取数据的等待时间，提高数据处理效率。
64.作为一种可能的实现方法，所述数据需求还包括传输优先级，则本技术提供的一种数据传输方法还包括以下步骤：根据所述传输优先级确定向所述第一下游系统发送所述目标数据内容的传输顺序。
65.可以理解的是，第一下游系统还会向管理平台发送关于传输优先级的信息。则管理平台在接收到传输优先级后，可以根据传输优先级确定向第一下游系统发送目标数据内容的传输顺序。例如下游系统发送的传输为第一优先级别，则管理平台会最优先为该下游系统发送目标数据内容。若下游系统发送的传输优先级为第二优先级别，则管理平台会将第二优先级别的目标数据内容的传输顺序排在第一优先级别的目标数据内容之后。
66.通过传输优先级，可以更合理地分配数据的传输顺序，保证时效性要求高的下游系统能尽快获取到所需数据，提高数据的处理效率。
67.作为一种可能的实现方法，本技术提供的一种数据传输方法还包括以下步骤：根
据所述传输顺序确定处理时间；将所述处理时间发送到所述第一下游系统，所述处理时间用于确定第一下游系统处理所述目标数据内容的时间。
68.本技术实施例中，管理平台在获取到传输顺序后，还可以根据传输顺序确定出处理时间，并将处理时间发送到第一下游系统中，该处理时间用于确定第一下游系统处理目标数据内容的时间。
69.可以理解的是，通过管理平台将处理时间发送到第一下游系统后，第一下游系统即可获取到自身需要在什么时间处理目标数据内容，使得第一下游系统可在处理时间无需重复发送获取数据的请求，减少系统资源的开销。
70.上面介绍了本技术实施例提供的一种数据传输的方法，下面结合具体的应用场景，对该数据传输方法做示例性的说明。
71.管理平台m分别与上游系统a、第一下游系统b和第二下游系统c连接。管理平台m会分别获取上游系统发送的待传输数据、第一下游系统b的第一基础数据内容和第二下游系统c的第二基础数据内容。管理平台从待传输数据中生成了整合数据表，该整合数据表包括了数据a、数据b、数据c、数据d以及这些数据的更新时间。
72.第一下游系统b会向管理平台m发送数据需求，要求数据a是在x时间段之后的。
73.则管理平台会从整合数据表中直接找到x时间段之后的数据a，将数据a发送到第一下游系统b。
74.可见，管理平台无需等待数据a、数据b、数据c、数据d这些数据均确定完毕后才能发送。在拥有x时间段之后的数据a时，就进行发送数据，减少第一下游系统b获取数据a的等待时间，提高数据处理效率。
75.下面对本技术实施例提供的一种数据传输装置进行介绍，下文描述的装置与上文描述的一种数据传输方法可相互对应参照。
76.参见图2，图2为本技术实施例提供的一种数据传输装置结构示意图，该装置应用于管理平台，管理平台分别与上游系统和第一下游系统连接。该装置包括接收单元201、生成单元202、获取单元203、第一确定单元204以及第一发送单元205。
77.接收单元201，用于接收所述上游系统发送的待传输数据；
78.生成单元202，用于根据所述待传输数据生成整合数据表；
79.获取单元203，用于获取所述第一下游系统的数据需求，所述数据需求包括数据字段需求以及时效性需求；
80.第一确定单元204，用于根据所述数据需求，从所述整合数据表中确定目标数据内容；
81.第一发送单元205，用于向所述第一下游系统发送所述目标数据内容。
82.接收上游系统发送的待传输数据；根据待传输数据生成整合数据表获取第一下游系统的数据需求，数据需求包括数据字段需求以及时效性需求；根据数据需求，从整合数据表中确定目标数据内容；向第一下游系统发送目标数据内容。通过上述装置，使得下游系统无需等待整合数据表的各项数据均确定后即可获取到数据，减少下游系统获取数据的等待时间，提高数据处理效率。
83.作为一种可能的实现方式，所述确定单元，具体用于从所述整合数据表中确定与所述数据字段需求以及所述时效性需求均匹配的数据作为目标数据内容。
84.作为一种可能的实现方式，所述数据需求还包括传输优先级，所述装置还包括：第二确定单元，用于根据所述传输优先级确定向所述第一下游系统发送所述目标数据内容的传输顺序。
85.作为一种可能的实现方式，所述装置还包括：
86.第二确定单元，用于根据所述传输顺序确定处理时间；
87.第二发送单元，用于将所述处理时间发送到所述第一下游系统，所述处理时间用于确定第一下游系统处理所述目标数据内容的时间。
88.作为一种可能的实现方式，所述管理平台还与第二下游系统连接，
89.所述生成单元，具体用于根据从所述第一下游系统获取的第一基础数据内容、从所述第二下游系统获取的第二基础数据内容以及所述待传输数据生成整合数据表。
90.本技术还提供了一种设备，可以包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然所述设备还可以包括各种网络接口，电源等组件。
91.需要说明的是，本技术实施例提供的一种设备，具有如上任意一个实施例所具有的技术效果，本技术实施例在此并不作赘述。
92.本技术还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
93.需要说明的是，本技术实施例提供的一种计算机可读存储介质，具有如上任意一个实施例所具有的技术效果，本技术实施例在此并不作赘述。
94.应当理解，在本技术中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：只存在a，只存在b以及同时存在a和b三种情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
95.还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
96.本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以对本技术进行若干改进和修饰，这些改进和修饰也落入本技术权利要求的保护范围内。