上报报表数据的方法、装置、计算机设备及存储介质与流程

1.本发明实施例涉及数据传输领域，尤其是一种上报报表数据的方法、装置、计算机设备及存储介质。


背景技术：

2.目前，随着电子技术和互联网技术的发展，通过电子设备和互联网能够完成的事项越来越多，处理报表数据就是一种，而在处理报表数据之前，首先需要上报报表数据。
3.一般的，上报报表数据的数据量巨大，对于一个报表，数据量可以达到上亿甚至几十亿。在相关技术中，由于报表通常有一定程度的逻辑要求(例如，要求提取同种类数据中的最新数据)，因此，上报报表数据的过程需要通过串行上报的方式进行，且需要人工操作。
4.由上述内容可知，现有的上报报表数据耗时长，且人力成本高，因此，会导致上报报表的效率很低。


技术实现要素：

5.本发明实施例提供一种能够高效率的完成系统平台设计的上报报表数据的方法、装置、计算机设备及存储介质。
6.为解决上述技术问题，本发明创造的实施例采用的一个技术方案是：提供一种上报报表数据的方法，包括：并行上报m个报表的报表数据，上述m个报表的报表数据不包含第一数据，上述第一数据为与第一逻辑相对应的数据，上述第一数据为y个第一报表的数据，上述y个第一报表中包含第一逻辑，上述m个报表的报表数据中包括至少一组子报表数据，不同的子报表数据对应不同的时间信息，m、y为正整数；在上述m个报表的报表数据上报结束的情况下，串行上报上述第一数据。
7.可选地，上述并行上报m个事件数据之前，本技术实施例提供的上报报表数据的方法可以包括：分析x个第二报表的逻辑信息，上述x个第二报表为预填入数据的报表，x为正整数；在上述x个第二报表中上述y个第二报表中包含第一逻辑的情况下，确认上述y个第二报表为上述y个第一报表。
8.可选地，上述并行上报m个事件数据之前，本技术实施例提供的上报报表数据的方法还包括：将上述m个报表的报表数据对应的上报程序更新为目标上报程序，上述目标上报程序为并行上报报表数据的程序。
9.可选地，上述并行上报m个事件数据之前，本技术实施例提供的上报报表数据的方法还包括：为x个第二报表中的每个第二报表添加日志文件，上述日志文件用于记录上述第二报表中的数据上报过程，上述x个第二报表为预填入数据的报表，x为正整数。
10.可选地，上述并行上报m个报表的报表数据中，本技术实施例提供的上报报表数据的方法还可以包括：根据时间信息，将上述m个报表中每个报表的报表数据拆分为至少一组子报表数据；并行上报上述m个报表中的所有子报表数据。
11.可选地，上述并行上报m个报表的报表数据之前，本技术实施例提供的中上报报表
数据的方法还可以包括：根据上报系统性能，确定并行上报的数据量信息；根据上述数据量信息，确定每次并行上报对应m个报表的报表数据。
12.可选地，上述并行上报m个报表数据之前，本技术实施例提供的上报报表数据的方法可以包括：并行上报n个事件数据，n为正整数。
13.为解决上述技术问题，本发明实施例还提供一种上报报表数据的装置，包括：上报模块，用于并行上报m个报表的报表数据，上述m个报表的报表数据不包含第一数据，上述第一数据为与第一逻辑相对应的数据，上述第一数据为y个第一报表的数据，上述y个第一报表中包含第一逻辑，上述m个报表的报表数据中包括至少一组子报表数据，不同的子报表数据对应不同的时间信息，m、y为正整数；上述上报模块，还用于在上述m个报表的报表数据上报结束的情况下，串行上报上述第一数据。
14.可选地，上述上报报表数据的装置中还包括：分析模块，用于分析x个第二报表的逻辑信息，上述x个第二报表为预填入数据的报表，x为正整数；去顶模块，用于在上述x个第二报表中上述y个第二报表中包含第一逻辑的情况下，确认上述y个第二报表为上述y个第一报表。
15.可选地，上述上报报表数据的装置中还包括：更新模块，用于将上述m个报表的报表数据对应的上报程序更新为目标上报程序，上述目标上报程序为并行上报报表数据的程序。
16.可选地，上述上报报表数据的装置中还包括：添加模块，用于为x个第二报表中的每个第二报表添加日志文件，上述日志文件用于记录上述第二报表中的数据上报过程，上述x个第二报表为预填入数据的报表，x为正整数。
17.可选地，上述上报报表数据的装置中还包括：拆分模块，用于根据时间信息，将上述m个报表中每个报表的报表数据拆分为至少一组子报表数据；上述上报模块，具体用于并行上报上述m个报表中的所有子报表数据。
18.可选地，上述上报报表数据的装置中还包括：确定模块，用于根据上报系统性能，确定并行上报的数据量信息；上述确定模块，用于根据上述数据量信息，确定每次并行上报对应m个报表的报表数据。
19.可选地，上述上报模块，还用于并行上报n个事件数据，n为正整数。
20.为解决上述技术问题本发明实施例还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述所述上报报表数据的方法的步骤。
21.为解决上述技术问题本发明实施例还提供一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述所述上报报表数据的方法的步骤。
22.本发明实施例的有益效果是：并行上报不包含第一数据的m个报表的报表数据(其中，第一数据为与第一逻辑相对应的数据，第一数据为y个包含第一逻辑的第一报表的数据，m个报表的报表数据中包括至少一组子报表数据，不同的子报表数据对应不同的时间信息)，在m个报表的报表数据上报结束的情况下，再串行上报第一数据。如此，通过把包含复杂逻辑的数据分离出来，先串行上报不包含复杂逻辑的数据，再并行上报包含复杂逻辑的数据，从而无需人工操作，大幅度节约上报报表数据所花费的时间和成本，提高了上报报表
数据的效率。
附图说明
23.本技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
24.图1为本发明一个具体实施例的上报报表数据的方法的基本流程示意图；
25.图2为本发明一个实施例的上报报表数据的装置基本结构示意图；
26.图3为本发明一个实施例的计算机设备的基本结构框图。
具体实施方式
27.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本技术，而不能解释为对本技术的限制。
28.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本技术的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。
29.本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本技术所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
30.本技术领域技术人员可以理解，这里所使用的“终端”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，执行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；pcs(personal communications service，个人通信系统)，其可以组合语音、数据处理、传真和/或数据通信能力；pda(personal digital assistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或gps(global positioning system，全球定位系统)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是pda、mid(mobile internet device，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。
31.请参阅图1，图1为本实施例提供的上报报表数据的方法的基本流程示意图，包括步骤201和步骤202：
32.步骤201：并行上报m个报表的报表数据。
33.在本发明实施例中，m个报表的报表数据不包含第一数据，上述第一数据为与第一逻辑相对应的数据，上述第一数据为y个第一报表的数据，上述y个第一报表中包含第一逻辑，上述m个报表的报表数据中包括至少一组子报表数据，不同的子报表数据对应不同的时间信息，m、y为正整数。
34.在本发明实施例中，上述第一逻辑可以为提前预设的，也可以为自定义设置的，本发明实施例对此不作限定。
35.在本发明实施例中，上述第一逻辑为部分报表中的逻辑。
36.可以理解的是，一般的，在具有向报表上报数据这一需求时，报表数据的数据量已经非常大了。通常的，报表分为两种：第一种是对单位时间段内的数据简单收集，例如，2021年度团体客户信息表，其本身就是对2021年的团体客户信息进行的统计，仅需要将这一年度产生的客户信息收集并插入表中即可；第二种是对单位时间内的数据具有逻辑要求的收集，例如，个人客户信息去重表，该表本身会要求收集的数据为最新数据(即上述第一逻辑)，也即，对于任一个客户而言均对应了很多个人信息，这种情况下需要筛选出最新个人信息，并插入表中。
37.进一步地，对于简单的没有逻辑要求的报表，能够采取并行上报报表数据的模式进行上报，而对于有一定逻辑要求，即第一逻辑的报表，并行上报可能会引起数据资源共用，进而上报数据过程锁死的情况，因此，需要采取串行上报报表数据的模式进行上报。
38.需要说明的是，当一个报表中既包含有一定逻辑要求的数据，又包含简单上报即可的数据时，可以对简单上报即可的数据采取并行上报的方式完成上报，对于有一定逻辑要求的数据采取串行上报的方式完成上报。
39.在本发明实施例中，上述子报表数据是按照时间段划分的数据。可以理解的是，上述报表数据划分为子报表数据的方式与数据量跨越的时间段有关。例如，有些报表要求统计5年数据，则该报表对应5组子报表数据，有些报表要求统计1年数据，则该报表对应1组子报表数据。
40.步骤202：在上述m个报表的报表数据上报结束的情况下，串行上报上述第一数据。
41.本技术实施例提供的上报报表数据的方法中，并行上报不包含第一数据的m个报表的报表数据(其中，第一数据为与第一逻辑相对应的数据，第一数据为y个包含第一逻辑的第一报表的数据，m个报表的报表数据中包括至少一组子报表数据，不同的子报表数据对应不同的时间信息)，在m个报表的报表数据上报结束的情况下，再串行上报第一数据。如此，通过把包含复杂逻辑的数据分离出来，先串行上报不包含复杂逻辑的数据，再并行上报包含复杂逻辑的数据，从而无需人工操作，大幅度节约上报报表数据所花费的时间和成本，提高了上报报表数据的效率。
42.可选地，在本技术实施例中，上述步骤201中，本技术实施例提供的上报报表数据的方法还包括如下步骤a1和步骤a2：
43.步骤a1：分析x个第二报表的逻辑信息。
44.步骤a2：在所述x个第二报表中所述y个第二报表中包含第一逻辑的情况下，确认所述y个第二报表为所述y个第一报表。
45.示例性地，上述x个第二报表为预填入数据的报表，x为正整数。
46.示例性地，上述逻辑信息即为x个第二报表中的逻辑要求。
47.例1：2021年底，预填入数据的报表共有20张(即上述x个第二报表)，经过分析，有2张报表(即上述第一报表)包含复杂逻辑(即上述第一逻辑)，分别为个人客户信息表、追偿信息表。其中，个人客户信息表对应的复杂逻辑为：数据重复保留最新的数据，追偿信息表对应的复杂逻辑为：数据进行排序打标。上述两种复杂逻辑使得上述20张报表对应的数据无法并行上报至20张报表中去。因此，可以确认上述2张报表为需要后续串行上报数据的报表，再后续上报过程中，先并行上报除了上述2张报表以外的其他18张报表中的数据，最后再串行上报上述2张报表的报表数据。
48.如此，可以将不同逻辑要求的报表数据分开，在后续先行并行上报无逻辑要求的报表数据，最后上报有逻辑要求的报表数据，从而大幅度减少上报时间。
49.可选地，在本技术实施例中，上述步骤201之前，本技术实施例提供的上报报表数据的方法还包括如下步骤b：
50.步骤b：将上述m个报表的报表数据对应的上报程序更新为目标上报程序。
51.示例性地，上述目标上报程序为并行上报报表数据的程序。
52.示例性地，每个报表对应的上报程序可能相同，可能不同。
53.可以理解的是，由于相关技术中报表数据上报为均为串行上报方式，因此，m个报表中每个报表对应的上报程序均为串行上报方式对应的上报程序，为了满足并行上报过程，需要将串行上报方式对应的上报程序改为并行上报方式对应的上报程序。
54.在一种示例中，上述每个报表的上报处理程序语言为结构化查询语言(structured query language，sql)。需要将每条sql的处理速度优化，将单条数据提交更改为多条数据批量提交。
55.进一步地，对于统计类的报表，比如再保接受人信息表，一般需要统计数据总和，可以采用oracle的高级技能，parallel并发度关键字，且并发执行sql的方式来完成上报。
56.如此，通过更新目标上报程序，可以大幅度节约上报报表数据的时间，进而提高上报报表数据的效率。
57.可选地，在本技术实施例中，上述步骤201之前，本技术实施例提供的上报报表数据的方法还包括如下步骤c1：
58.步骤c1：为x个第二报表中的每个第二报表添加日志文件。
59.示例性地，上述日志文件用于记录上述第二报表中的数据上报过程。
60.示例性地，上述x个第二报表为预填入数据的报表，x为正整数。
61.示例性地，上述日志文件可以用于记录后续上报第二报表对应的数据时，整体上报过程。
62.可以理解的是，在向每个报表上报数据的时候增加日志记录，每跑一个时间段都会有对应的跑数开始日志和跑数结束日志。
63.如此，通过设置日志文件记录第二报表中数据的上报过程，从而精准地记录所有上报报表数据地过程，从而方便跟进上报报表数据的进度，并可以在后续核对是否漏报任一时间段的数据。
64.可选地，在本技术实施例中，在上述步骤201中，本技术实施例提供的上报报表数据的方法还包括如下步骤d1和步骤d2：
65.步骤d1：根据时间信息，将上述m个报表中每个报表的报表数据拆分为至少一组子
报表数据。
66.步骤d2：并行上报上述m个报表中的所有子报表数据。
67.示例性地，上述时间信息可以为按照月度划分，也可以按照年度划分。
68.可以理解的是，上述时间信息根据报表的要求划分，一般的，大多数报表要求按照月度划分上报数据。
69.需要说明的是，当上述时间信息为按照月度划分时，由于用于上报报表数据地调度平台不能支持输入一个时间段然后按月自动拆分跑的功能，所以，需要通过匿名存储过程代码块地方式来实现按月自动拆分跑的功能。例如：输入2020-01-01～2022-01-01，就会自动拆成202001,202002..202012 12个月按顺序自动跑。
70.具体匿名存储过程代码块如下：
71.declare
72.v_st varchar2(50)；
73.v_et varchar2(50)；
74.v_st1 date；
75.v_et1 date；
76.begin
77.‑‑
输入开始时间
78.v_st1:＝trunc(to_date('${incstart}','yyyymmdd'),'mm')；
79.‑‑
输入结束时间
80.v_et1:＝trunc(to_date('${incend}','yyyymmdd'),'mm')；
81.‑‑
按月循环处理
82.loop
83.if v_st1《v_et1 then
84.v_st:＝to_char(v_st1,'yyyymmdd')；
85.v_et:＝to_char(add_months(v_st1,1),'yyyymmdd')；
86.‑‑
调用报表表处理逻辑
87.cgiodsdata.pkg_east_policy_1.pro_east_bdjbxxb(v_st,v_et,'0')；
88.v_st1:＝add_months(v_st1,1)；
89.else
90.exit；
91.end if；
92.end loop；
93.end
94.示例性地，当m个报表中每个报表均被划分为若干个子报表数据时，在并行上报m个报表数据时，上报方式为并行上报所有的子报表数据。
95.如此，通过根据时间信息划分为多个子报表数据的方式，不需要人工再输入每个月的参数进行报表数据上报，节约人力成本，提高上报报表数据的效率。
96.可选地，在本技术实施例中，上述步骤209中，本技术实施例提供的上报报表数据的方法还包括如下步骤e1和步骤e2：
97.步骤e1：根据上报系统性能，确定并行上报的数据量信息。
98.步骤e2：根据上述数据量信息，确定每次并行上报对应m个报表的报表数据。
99.示例性地，上述上报系统的同时并行传输数据量可能存在一定程度的限制，因此，可以分多次完成报表数据上报。
100.例3：2021年末，共有35个报表(m个报表)需要上报报表数据，每个报表按照月度划分为多组子报表数据。可以将上述35个报表的报表书划分为5次上报，这五次分别上报8个表的报表数据，6个表的报表数据，5个表的报表数据，9个表的报表数据，7个表的报表数据。
101.如此，可以在保证上报系统正常运行，保证上报系统的可靠性的情况下，最大程度的提高上报报表数据的效率。
102.可选地，在本技术实施例中，上述步骤201之前，本技术实施例提供的上报报表数据的方法还包括如下步骤f：
103.步骤f：并行上报n个事件数据，n为正整数。
104.为解决上述技术问题，本发明实施例还提供上报报表数据的装置。具体请参阅图2，图2为本实施上报报表数据的装置基本结构示意图。
105.如图2所示，一种上报报表数据的装置，包括：上报模块301，用于并行上报m个报表的报表数据，上述m个报表的报表数据不包含第一数据，上述第一数据为与第一逻辑相对应的数据，上述第一数据为y个第一报表的数据，上述y个第一报表中包含第一逻辑，上述m个报表的报表数据中包括至少一组子报表数据，不同的子报表数据对应不同的时间信息，m、y为正整数；上述上报模块301，还用于在上述m个报表的报表数据上报结束的情况下，串行上报上述第一数据。
106.上报报表数据的装置并行上报不包含第一数据的m个报表的报表数据(其中，第一数据为与第一逻辑相对应的数据，第一数据为y个包含第一逻辑的第一报表的数据，m个报表的报表数据中包括至少一组子报表数据，不同的子报表数据对应不同的时间信息)，在m个报表的报表数据上报结束的情况下，再串行上报第一数据。如此，通过把包含复杂逻辑的数据分离出来，先串行上报不包含复杂逻辑的数据，再并行上报包含复杂逻辑的数据，从而无需人工操作，大幅度节约上报报表数据所花费的时间和成本，提高了上报报表数据的效率。
107.在一些实施方式中，上述上报报表数据的装置中还包括：分析模块，用于分析x个第二报表的逻辑信息，上述x个第二报表为预填入数据的报表，x为正整数；去顶模块，用于在上述x个第二报表中上述y个第二报表中包含第一逻辑的情况下，确认上述y个第二报表为上述y个第一报表。
108.在一些实施方式中，上述上报报表数据的装置中还包括：更新模块，用于将上述m个报表的报表数据对应的上报程序更新为目标上报程序，上述目标上报程序为并行上报报表数据的程序。
109.在一些实施方式中，上述上报报表数据的装置中还包括：添加模块，用于为x个第二报表中的每个第二报表添加日志文件，上述日志文件用于记录上述第二报表中的数据上报过程，上述x个第二报表为预填入数据的报表，x为正整数。
110.在一些实施方式中，上述上报报表数据的装置中还包括：拆分模块，用于根据时间信息，将上述m个报表中每个报表的报表数据拆分为至少一组子报表数据；上述上报模块，
具体用于并行上报上述m个报表中的所有子报表数据。
111.在一些实施方式中，上述上报报表数据的装置中还包括：确定模块，用于根据上报系统性能，确定并行上报的数据量信息；上述确定模块，用于根据上述数据量信息，确定每次并行上报对应m个报表的报表数据。
112.在一些实施方式中，上述上报模块，还用于并行上报n个事件数据，n为正整数。
113.为解决上述技术问题，本发明实施例还提供计算机设备。具体请参阅图3，图3为本实施例计算机设备基本结构框图。
114.如图3所示，计算机设备的内部结构示意图。该计算机设备包括通过系统总线连接的处理器、非易失性存储介质、存储器和网络接口。其中，该计算机设备的非易失性存储介质存储有操作系统、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种数据关系重构方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种数据关系重构方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解，图3中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
115.本实施方式中处理器用于执行图2中上报模块301的具体功能，存储器存储有执行上述模块所需的程序代码和各类数据。网络接口用于向用户终端或服务器之间的数据传输。本实施方式中的存储器存储有数据关系重构装置中执行所有子模块所需的程序代码及数据，服务器能够调用服务器的程序代码及数据执行所有子模块的功能。
116.计算机设备通过将采集的交易节点之间的数据关系构建成为节点特征图和对应的邻接矩阵，并采用图神经网络对节点特征图和邻接矩阵进行特征提取，根据提取的特征进行关系重构，进行关系重构时，图神经网络基于学习到的数据之间隐藏的逻辑关系对数据进行重构，关系重构的过程就是还原数据节点特征图和邻接矩阵的过程。图神经网络在将数据节点特征图和邻接矩阵进行打散-重组的过程中，验证了其学习到的各交易节点之间隐藏的关联关系的正确性，然后，再用学习到的隐藏关系对各交易节点进行关系重构，并挑选出符合条件的目标交易节点进行后续运用，通过图形处理技术，深入的解读出数据背后的逻辑关系，提高了数据分析的深度和效率。
117.本发明还提供一种存储有计算机可读指令的存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述任一实施例上报报表数据的方法的步骤。
118.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)等非易失性存储介质，或随机存储记忆体(random access memory，ram)等。
119.本技术领域技术人员可以理解，本技术中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本技术中已经讨论过的各
种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本技术中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
120.以上所述仅是本技术的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本技术的保护范围。