一种基于预处理的分期账户处理方法及系统与流程

1.本发明涉及大数据管理与预处理技术领域，尤其涉及一种基于预处理的分期账户处理方法及系统。


背景技术：

2.分期账号属于一种具有一定格式的数据，可以想象为若干表格中的一行数据，单个表格共有上千列，数亿行，是一种大规模数据形式。为了实现账户处理专门编写的计算机程序称之为“作业”，该作业提供的主要功能是读取数据库中账户表的数据，进行处理，并将处理产生的数据更新回原来的账户表中。将分类处理以及运算好的数据，包括但不限于金额等信息，传送到主机进一步处理产生费用的方式称之为抛账。
3.当前的分期处理需要待日终清算送到后，开始分期运算处理，全部分期数据存储在数据库中，利用单机的计算能力遍历当日新增的分期，正在分期中的，以及进行退货和提前终止的数据，进行分别的运算处理。随着分期业务的不断扩展，分期数据量急剧增长，由于受限于单机的计算资源进行处理，所以随着分期量的增加，运算时间将线性增长，若希望降低处理时间，则需要对单机增加资源，由于随着数据库存储越多则资源成本越高，且单机可增加的资源始终存在上限。现有技术架构无法灵活扩展，当分期量增加时，无法有效扩展资源，会导致跑批作业的运行时间增加，抛帐时间延长，进而影响主机的账务处理，且运维成本高。


技术实现要素：

4.为解决现有技术的不足，本发明提出一种基于预处理的分期账户处理方法及系统，通过分布式技术改造现有系统，提供了统一的可灵活配置的解决方案，降低运维成本，当账户数据增长时，多个服务器上的作业在启动后通过读取配置文件可以和数据库有效配合，共同处理上亿的分期数据，理论上可以在日间通过无限扩展服务器保证在一定的时间内完成作业，使作业能够更高效读取、运算分期数据的方案；同时，通过采用本发明处理方法及系统能够更好的应对作业异常中断问题，重新执行方案支持手动、多次重跑作业，无须担心数据丢失、产生脏数据等问题。
5.为实现以上目的，本发明所采用的技术方案包括：
6.一种基于预处理的分期账户处理方法，其特征在于，包括：
7.根据分期账户余数将不同的分期账户散列至对应的应用机器；
8.使用对应的应用机器对散列后的分期账户进行运算处理，获得分期账号的相关信息暂存表、前日运算结果暂存表和当日新增运算结果暂存表；
9.通过运算数据匹配标签生成当日更新文件并插入更新运算结果表。
10.进一步地，所述方法包括依次执行以下步骤：
11.s1、获取当前应用机器数量n和分期账户数量k；
12.s2、通过n％k指令计算分期账户余数，根据分期账户余数将不同的分期账户散列
至对应的应用机器；
13.s3、使用对应的应用机器对散列后的分期账户进行运算处理，获得分期账号的相关信息暂存表、前日运算结果暂存表和当日新增运算结果暂存表；
14.s4、获取当日终清算文件，生成相关信息识别表；
15.s5、匹配相关信息识别表和相关信息暂存表，生成运算数据匹配标签；
16.s6、使用运算数据匹配标签标识当日新增运算结果暂存表中的对应数据项目，生成当日更新文件，将当日新增运算结果暂存表中未标识运算数据匹配标签的剩余数据项目生成不匹配文件；
17.s7、使用当日更新文件插入更新运算结果表，得到第一运算结果表；使用相关信息暂存表插入更新相关信息表；
18.s8、使用前日运算结果暂存表插入更新第一运算结果表，得到第二运算结果表；
19.s9、清空相关信息暂存表、前日运算结果暂存表和当日新增运算结果暂存表，并备份当日更新文件、不匹配文件、相关信息表、第一运算结果表和第二运算结果表。
20.进一步地，所述获取分期账户数量k包括：
21.获取前日分期账户处理的相关信息表，获取前日抛账处理对应的分期账户数量k1；
22.和，获取当日分期账户处理的日间消息，按照分期账户对解析后的日间消息进行切割获得当前抛账处理对应的分期账户数量k2。
23.进一步地，所述通过n％k指令计算分期账户余数，根据分期账户余数将不同的分期账户散列至对应的应用机器包括：
24.通过n％k1指令计算前日抛账处理对应的分期账户余数，并将前日抛账处理对应的分期账户散列至对应的应用机器；
25.和，通过n％k2指令计算当前抛账处理对应的分期账户余数，并将当前抛账处理对应的分期账户散列至对应的应用机器。
26.进一步地，所述步骤s3包括：
27.s31、保存前日抛账处理对应的分期账户的运算处理结果，生成前日运算结果暂存表；
28.s32、保存当前抛账处理对应的分期账户的账户信息，生成相关信息暂存表；
29.s33、保存当前抛账处理对应的分期账户的运算处理结果，生成当日新增运算结果暂存表。
30.进一步地，所述步骤s3还包括：
31.s34、当前抛账处理对应的分期账户的运算处理结果存在对前日抛账处理对应的分期账户的运算处理结果的反向处理时，根据当前抛账处理对应的分期账户的运算处理结果更新前日运算结果暂存表。
32.进一步地，所述获取当日分期账户处理的日间消息包括订阅kfk消息获取当日分期账户处理的日间消息。
33.进一步地，所述使用当日更新文件插入更新运算结果表包括：
34.将当日更新文件一次性插入运算结果表。
35.进一步地，所述步骤s8还包括：
36.将第二运算结果表生成当日处理文件，并将当日处理文件发送至处理主机用于进一步账户处理操作使用。
37.本发明还涉及一种基于预处理的分期账户处理系统，其特征在于，包括：
38.数据获取模块，用于获取当前应用机器数量n和分期账户数量k；
39.分期账户散列模块，用于根据分期账户余数将不同的分期账户散列至对应的应用机器；
40.分期账户第一预处理模块，用于使用对应的应用机器对散列后的分期账户进行运算处理，获得分期账号的相关信息暂存表、前日运算结果暂存表和当日新增运算结果暂存表；
41.分期账户第二预处理模块，用于生成运算数据匹配标签并使用运算数据匹配标签标识生成当日更新文件；
42.分期账户更新模块，用于更新相关信息表和生成第一运算结果、第二运算结果表。
43.本发明还涉及一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。
44.本发明还涉及一种电子设备，其特征在于，包括处理器和存储器；
45.所述存储器，用于存储相关信息暂存表、前日运算结果暂存表和当日新增运算结果暂存表；
46.所述处理器，用于通过调用相关信息暂存表、前日运算结果暂存表和当日新增运算结果暂存表，执行上述的方法。
47.本发明还涉及一种计算机程序产品，包括计算机程序和/或指令，其特征在于，该计算机程序和/或指令被处理器执行时实现上述方法的步骤。
48.本发明的有益效果为：
49.采用本发明所述基于预处理的分期账户处理方法及系统，通过分布式技术改造现有系统，提供了统一的可灵活配置的解决方案，降低运维成本，当账户数据增长时，多个服务器上的作业在启动后通过读取配置文件可以和数据库有效配合，共同处理上亿的分期数据，理论上可以在日间通过无限扩展服务器保证在一定的时间内完成作业，使作业能够更高效读取、运算分期数据的方案；同时，通过采用本发明处理方法及系统能够更好的应对作业异常中断问题，重新执行方案支持手动、多次重跑作业，无须担心数据丢失、产生脏数据等问题。
附图说明
50.图1为本发明基于预处理的分期账户处理方法流程示意图。
51.图2为本发明基于预处理的分期账户处理系统结构示意图。
具体实施方式
52.为了更清楚的理解本发明的内容，将结合附图和实施例详细说明。
53.本发明第一方面涉及一种步骤流程如图1所示的基于预处理的分期账户处理方法，通过运算数据匹配标签生成当日更新文件并插入更新运算结果表，具体包括：
54.s1、获取当前应用机器数量n以及分期账户数量k，其中分期账户数量k包括有前日
抛账处理对应的分期账户数量k1和当前抛账处理对应的分期账户数量k2。对于前日抛账处理对应的分期账户数量k1，在判断前日抛帐处理结束后，使用自动调用处理的应用机器，获取前日分期账户处理的相关信息表，得到分期账户数量数据。对于当前抛账处理对应的分期账户数量k2，订阅kfk消息，获取当日分期账户处理的日间消息，解析日间消息后，按照分期账户对解析后的日间消息进行切割获得当前抛账处理对应的分期账户数量k2。
55.根据分期订单的资料，在账单日进行抛账处理，调用入账处理模块生成对应账单。应用机器可以是具备相应功能的任意的对应功能设备或安装有实现对应功能的程序软件的设备。分期账户数量的来源应采用经验证的可靠数据源，并应根据实际需要执行相应的预处理，以使数据适于应用机器的调取使用。
56.s2、通过n％k指令计算分期账户余数，根据分期账户余数将不同的分期账户散列至对应的应用机器，特别是，通过n％k1指令计算前日抛账处理对应的分期账户余数，并将前日抛账处理对应的分期账户散列至对应的应用机器；和，通过n％k2指令计算当前抛账处理对应的分期账户余数，并将当前抛账处理对应的分期账户散列至对应的应用机器。
57.本领域技术人员能够理解的，“％”指令是领域内一种常用的计算指令，其作用是对数据进行取余运算，通过执行％指令可以根据应用机器数量n以及分期账户数量k1和k2分别计算分期账户余数，从而实现分期账户散列至对应的应用机器。
58.s3、使用对应的应用机器对散列后的分期账户进行运算处理，保存前日抛账处理对应的分期账户的运算处理结果，生成前日运算结果暂存表；保存当前抛账处理对应的分期账户的账户信息，生成相关信息暂存表；保存当前抛账处理对应的分期账户的运算处理结果，生成当日新增运算结果暂存表。
59.进一步地，当前抛账处理对应的分期账户的运算处理结果存在对前日抛账处理对应的分期账户的运算处理结果的反向处理时，根据当前抛账处理对应的分期账户的运算处理结果更新前日运算结果暂存表，即需要将获得的相关数据和信息保存至对应的tmp表(暂存表)中。假设原存储账号信息(相关信息表)为ta表，原运算结果表为tb表，则当前抛账处理对应的分期账户的账户信息保存至相关信息暂存表ta_tmp中，将当前抛账处理对应的分期账户的运算的结果全部保存至运算结果暂存表tb_tmp2表中，并将前日抛账处理对应的分期账户的运算处理结果保存至前日运算结果暂存表tb_tmp1表中。对应的，若tb_tmp2表中存在有对前日运算结果的反向处理，则需要更新tb_tmp1表。
60.s4、获取当日终清算文件，生成相关信息识别表，可将相关信息识别表标注为tc表。
61.当日终清算文件由系统统计当日需要进行处理的所有交易数据生成，并生成用于后续匹配的tc表。对应的，根据所采集信息的不同可以获取到不同类的当日终清算文件，可以采用适当的方式将所需信息抽取并生成统一格式的tc表以实现方法应用的扩展性和多系统适应性。
62.s5、匹配相关信息识别表和相关信息暂存表，生成运算数据匹配标签。
63.即匹配tc表和ta_tmp表，将ta_tmp表中可以匹配到的记录生成运算数据匹配标签，并用于在tb_tmp2表中使用运算数据匹配标签进行标识。
64.容易理解的，运算数据匹配标签是由tc表和ta_tmp表的相匹配部分对应生成的，即相关信息的匹配结果。通过ta_tmp表与tb_tmp2表自身的对应特性就能够将运算数据匹
配标签直接对应的作用在tb_tmp2表上，由此间接的实现tc表和tb_tmp2表之间的关系匹配。
65.s6、使用运算数据匹配标签标识当日新增运算结果暂存表中的对应数据项目，生成当日更新文件，将当日新增运算结果暂存表中未标识运算数据匹配标签的剩余数据项目生成不匹配文件。不匹配文件可以用于后续的查询和处理使用，为操作人员提供分析依据。
66.运算数据匹配标签标识tb_tmp2表后，表中的对应数据项目具备了额外的标识属性，通过识别该额外属性就能够对应的生成当日更新文件。对于未标识的不匹配文件，同样可以使用其原有的数据属性进行其他的处理和分析使用。
67.s7、使用当日更新文件一次性插入更新运算结果表，得到第一运算结果表；使用相关信息暂存表插入更新相关信息表。
68.在此步骤中，通过当日更新文件可以将tb_tmp2表对应的更新数据插入运算结果表，同时更新的相关信息表可以用于后续的更新使用。
69.s8、使用前日运算结果暂存表插入更新第一运算结果表，得到第二运算结果表。在此步骤中，进一步将tb_tmp1表对应的更新数据插入运算结果表，使当日需要抛帐处理的已全部处理完成。
70.进一步地，使用第二运算结果表生成当日处理文件，并将当日处理文件发送至处理主机用于进一步账户处理操作使用。
71.s9、清空相关信息暂存表、前日运算结果暂存表和当日新增运算结果暂存表，并备份当日更新文件、不匹配文件、相关信息表、第一运算结果表和第二运算结果表。暂存表清空后，可以用于下一次的和数据更新使用，备份的相关文件和表则可以用于数据检查核对使用。
72.优选的，在调用对应的应用机器对散列后的分期账户进行运算处理时，可以采用读取预先设置的配置文件实现运算处理的可配置性。配置文件的格式可以优选为：
73.《jobid》＝《一次读取数据量》_《开始处理时间》_《每条处理间隔》_
74.其中，《jobid》指作业编号，用于标识每个作业的唯一性i(1《＝jobid《＝k)，在每个作业启动时即可获取到。《一次读取数据量》，是指自动调用处理的应用机器一次性读取多少数据量到调度任务表中进行开始时间排布。《开始处理时间》是指每天调度任务处理的开始时间，当天遇变更异常等其他情况可按需调整。《每条处理间隔》，是指在调度任务表中的数据的每条的处理间隔，系统负载强，处理时间快则可以配置较短时间，反之亦然。通过配置文件，多个服务器上的作业会处理到一个数据库的数据，即作业与数据库之间是多对一的关系。
75.使用上述基于预处理的分期账户处理方法对分期账户进行运算处理，能够将集中的时间片散列到分布的时间片去提前进行。相较现有技术方案，均需要等待实际的文件或者数据到达，才按照原先设定好的逻辑进行批量或者单条运算处理，这样导致应用机器在短时间内负载增强、压力增大，影响很多其他的业务操作。本发明的技术方案能够对应少量可能有变动的部分进行针对性的预处理，大大提升运算性能。
76.另一方面，本发明的基于预处理的分期账户处理方法在最终更新运算结果表时，采用一次性插入方式。相较现有技术使用数据库的insert语句将处理完成的数据逐个插入到原有结果数据表中的方法，能够更大程度提高作业的处理能力，无需担心因操作不当或
者意外中断导致数据丢失、脏数据等问题。在具体执行过程中，可以包括：1)针对相关信息表ta、运算结果表tb，生成临时表ta_tmp,tb_tmp；2)对表ta_tmp,tb_tmp重建数据库约束和索引；3)对表ta_tmp,tb_tmp收集数据库统计信息(确定需要更新的内容)；4)将临时表ta_tmp,tb_tmp数据一次性插入到目标表ta、tb；5)作业执行完毕。
77.通过应用上述方法，能够实现处理流程的重复执行，作业在流程的任何步骤中出现异常中断时，都能够支持手动重新执行该作业，无需担心因操作不当引发的脏数据、数据丢失问题。
78.本发明另一方面还涉及一种基于预处理的分期账户处理系统，其结构如图2所示，包括：
79.数据获取模块，用于获取当前应用机器数量n和分期账户数量k，特别是包括前日抛账处理对应的分期账户数量k1和当前抛账处理对应的分期账户数量k2；
80.分期账户散列模块，用于根据分期账户余数将不同的分期账户散列至对应的应用机器，通过n％k1指令计算前日抛账处理对应的分期账户余数，并将前日抛账处理对应的分期账户散列至对应的应用机器；和，通过n％k2指令计算当前抛账处理对应的分期账户余数，并将当前抛账处理对应的分期账户散列至对应的应用机器；
81.分期账户第一预处理模块，用于使用对应的应用机器对散列后的分期账户进行运算处理，获得分期账号的相关信息暂存表、前日运算结果暂存表和当日新增运算结果暂存表，假设原存储账号信息(相关信息表)为ta表，原运算结果表为tb表，则当前抛账处理对应的分期账户的账户信息保存至相关信息暂存表ta_tmp中，将当前抛账处理对应的分期账户的运算的结果全部保存至运算结果暂存表tb_tmp2表中，并将前日抛账处理对应的分期账户的运算处理结果保存至前日运算结果暂存表tb_tmp1表中；
82.分期账户第二预处理模块，用于生成运算数据匹配标签并使用运算数据匹配标签标识生成当日更新文件，匹配tc表和ta_tmp表，将ta_tmp表中可以匹配到的记录生成运算数据匹配标签，并用于在tb_tmp2表中使用运算数据匹配标签进行标识，运算数据匹配标签标识tb_tmp2表后，表中的对应数据项目具备了额外的标识属性，通过识别该额外属性就能够对应的生成当日更新文件；
83.分期账户更新模块，用于更新相关信息表和生成第一运算结果、第二运算结果表，通过当日更新文件可以将tb_tmp2表对应的更新数据插入运算结果表，同时更新的相关信息表可以用于后续的更新使用，进一步将tb_tmp1表对应的更新数据插入运算结果表，使当日需要抛帐处理的已全部处理完成。
84.通过使用该系统，能够执行上述的运算处理方法并实现对应的技术效果。
85.本发明的实施例还提供能够实现上述实施例中的批量抛账处理方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的基于预处理的分期账户处理方法的全部步骤。
86.本发明的实施例还提供一种用于执行上述方法的电子设备，作为该方法的实现装置，所述电子设备至少具备有处理器和存储器，特别是该存储器上存储有执行方法所需的数据和相关的计算机程序，例如相关信息暂存表、前日运算结果暂存表和当日新增运算结果暂存表等，并通过由处理器调用存储器中的数据、程序执行实现方法的全部步骤，并获得对应的技术效果。
87.优选的，该电子设备可以包含有总线架构，总线可以包括任意数量的互联的总线和桥，总线将包括由一个或多个处理器和存储器的各种电路链接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和接收器和发送器之间提供接口。接收器和发送器可以是同一个元件，即收发机，提供用于在传输介质上与各种其他系统通信的单元。处理器负责管理总线和通常的处理，而存储器可以被用于存储处理器在执行操作时所使用的数据。
88.额外的，所述电子设备还可以进一步包括通信模块、输入单元、音频处理器、显示器、电源等部件。其所采用的处理器(或称为控制器、操作控件)可以包括微处理器或其他处理器装置和/或逻辑装置，该处理器接收输入并控制电子设备的各个部件的操作；存储器可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种，可储存上述有关的数据信息，此外还可存储执行有关信息的程序，并且处理器可执行该存储器存储的该程序，以实现信息存储或处理等；输入单元用于向处理器提供输入，例如可以为按键或触摸输入装置；电源用于向电子设备提供电力；显示器用于进行图像和文字等显示对象的显示，例如可为lcd显示器。通信模块即为经由天线发送和接收信号的发送机/接收机。通信模块(发送机/接收机)耦合到处理器，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)还经由音频处理器耦合到扬声器和麦克风，以经由扬声器提供音频输出，并接收来自麦克风的音频输入，从而实现通常的电信功能。音频处理器可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器还耦合到中央处理器，从而使得可以通过麦克风能够在本机上录音，且使得可以通过扬声器来播放本机上存储的声音。
89.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
90.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的系统。
91.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令系统的制造品，该指令系统实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
92.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或
其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
93.以上所述仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换等都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。