对账处理方法、装置及电子设备与流程

1.本技术属于信息处理技术领域，尤其涉及一种对账处理方法、装置及电子设备。


背景技术：

2.支付系统是银行用于客户进行资金交易处理的系统，支付系统对账任务是用于在交易产生后，支付系统与其他关联系统核对交易准确性，一致性唯一性的任务。
3.支付系统资金交易的处理需要涉及本行核心系统记账，他行系统受理两方面，在整个交易进行过程中会产生交互流水信息(如，流水号)用作唯一标识，即当客户发起一笔提现或充值交易时，支付系统会产生一条流水记录并向本行核心系统请求记账，记账成功后通过人行或银联等中间系统将该交易请求至客户发起交易中的对手行内，并接受对手行处理结果由中间系统转发至本行。
4.由于日间交易结果存在延迟性、不准确性等情况，中间系统的清算机构一般会在日终切日后下发本行当天发生的记录有所有交易信息的文件，以用于核对日间交易情况。然而，由于银行业务量较大，清算机构提供的文件通常也较大，在银行获取文件数据并与本行支付系统本地数据库中的交易数据核对的过程中，常常存在速度慢、占用系统内存大等问题，导致支付系统对账效率低，同时也影响了行内其他交易的进行。


技术实现要素：

5.有鉴于此，本技术提供一种对账处理方法、装置及电子设备，用于通过一定技术手段，在尽量不影响系统其他交易的前提下，高效高速的完成支付系统对文件的对账处理，提升支付系统的对账效率。
6.为达到上述技术目的，具体提供以下的技术方案：
7.一种对账处理方法，包括：
8.获取清算机构推送的对账文件；
9.将所述对账文件转换为目标数据格式的文本文件，得到第一目标文件；
10.从金融机构的数据库中拉取交易数据；
11.将所述交易数据转换为所述目标数据格式的文本文件，得到第二目标文件；
12.对文本文件形式的所述第一目标文件和所述第二目标文件进行数据比对处理，得到对账结果。
13.可选的，所述对账文件为所述清算机构的原始数据格式的文本文件，所述目标数据格式为所述金融机构的定制数据格式；
14.所述将所述对账文件转换为目标数据格式的文本文件，得到第一目标文件，包括：
15.根据预先制定的所述定制数据格式，使用预定命令，在文本文件中对所述对账文件包括的各个信息项进行取值格式的标准化处理和/或不同信息项之间的编排处理，得到所述第一目标文件。
16.可选的，所述将所述交易数据转换为所述目标数据格式的文本文件，得到第二目
标文件，包括：
17.根据预先制定的所述定制数据格式，使用预定命令，在文本文件中对所述交易数据包括的各个信息项进行取值格式的标准化处理和/或不同信息项之间的编排处理，得到所述第二目标文件。
18.可选的，所述预定命令为linux文件排序命令。
19.可选的，在所述对文本文件形式的所述第一目标文件和所述第二目标文件进行数据比对处理，得到对账结果之后，还包括：
20.生成包括所述对账结果的对账过渡文件；
21.将对账过渡文件中的数据更新至数据库的相应数据表中。
22.一种对账处理装置，包括：
23.获取单元，用于获取清算机构推送的对账文件；
24.第一转换单元，用于将所述对账文件转换为目标数据格式的文本文件，得到第一目标文件；
25.拉取单元，用于从金融机构的数据库中拉取交易数据；
26.第二转换单元，用于将所述交易数据转换为所述目标数据格式的文本文件，得到第二目标文件；
27.比对处理单元，用于对文本文件形式的所述第一目标文件和所述第二目标文件进行数据比对处理，得到对账结果。
28.可选的，所述对账文件为所述清算机构的原始数据格式的文本文件，所述目标数据格式为所述金融机构的定制数据格式；
29.所述第一转换单元，具体用于：
30.根据预先制定的所述定制数据格式，使用预定命令，在文本文件中对所述对账文件包括的各个信息项进行取值格式的标准化处理和/或不同信息项之间的编排处理，得到所述第一目标文件。
31.可选的，所述第二转换单元，具体用于：
32.根据预先制定的所述定制数据格式，使用预定命令，在文本文件中对所述交易数据包括的各个信息项进行取值格式的标准化处理和/或不同信息项之间的编排处理，得到所述第二目标文件。
33.可选的，上述装置，还包括：
34.后处理单元，用于：生成包括所述对账结果的对账过渡文件；将对账过渡文件中的数据更新至数据库的相应数据表中。
35.一种电子设备，包括：
36.存储器，用于至少存放一组计算机指令集；
37.处理器，用于通过执行存储器上存放的所述指令集，实现如上任一项所述的对账处理方法。
38.相较于上述相关技术，本技术具有以下有益效果：
39.本技术公开的对账处理方法、装置及电子设备，在获取清算机构推送的对账文件后，将其转换为目标数据格式的文本文件，即第一目标文件，并从金融机构的数据库中拉取交易数据，将交易数据同样转换为目标数据格式的文本文件，即第二目标文件，最终，通过
将文本文件形式的两种目标文件进行比对处理，完成交易数据的对账任务。可见，本技术提出了一种纯文本对账方式，基于该方式，可有效减免对清算机构下发的对账文件的落库动作，既保证了对账文件的数据准确性、不会丢失，又规避了大数据量的对账文件落库处理时的i/o占用高的问题，可在尽量不影响系统其他交易的前提下，高效高速的完成支付系统的对账处理，提升支付系统对账效率。
附图说明
40.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
41.图1为本技术公开的对账处理方法的一流程示意图；
42.图2为本技术公开的对账处理方法的另一流程示意图；
43.图3为本技术公开的对账处理装置的组成结构图；
44.图4为本技术公开的电子设备的组成结构图。
具体实施方式
45.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
46.目前，同业对支付系统对账效率低的问题提出了相应解决方案，其解决方案的实现方法主要是：
47.针对大数据量处理慢的问题：从数据落库方面入手，在使用i/o流将清算机构推送的对账文件中交易记账数据逐条落入本行支付系统数据库时，采用批量插入、多线程插入手段。例如，将一千万条数据基于循环方式插入，每次循环分10个线程，每个线程加载2万条数据，50次循环后数据即可全部落库，落库后，再根据唯一关联流水将落库数据与本行系统的数据库流水逐条比对，实现对账，并将对账结果分别更新存放至数据库表中，从而提高了数据处理速度。
48.针对占用内存过大影响系统处理其他交易的问题：从分布式系统和分库分表方面入手，使用分布式系统单独服务器部署对账处理任务，使其不占用其他日间联机交易内存，从而避免因内存占用率过高导致其他交易处理速度过慢的情况；并使用分库分表将对账任务使用的数据库表单独存放，以避免数据库整体i/o占用过高，影响日间交易与数据库交互。
49.然而，申请人经研究发现，上述解决方案至少存在以下缺陷：
50.清算机构推送的对账文件中若存在不符合数据库表结构的数据，则在落库过程中这些数据会落库失败并丢失，且逐条比对数据库中的交易流水导致需与数据库进行频繁的交互，性能提升不明显，而对账处理任务的独立部署、对账任务使用的数据库表的独立存放，则会造成非对账时间资源浪费问题。
51.由此，为进一步优化解决支付系统的对账问题，在尽量不影响系统其他交易的前提下，高效高速的完成支付系统对文件的对账处理，提升支付系统对账效率，本技术公开一种对账处理方法、装置及电子设备。
52.本技术的方法可用于众多通用或专用的计算装置环境或配置中。例如：个人计算机、服务器计算机、多处理器装置、包括以上任何装置或设备的分布式计算环境等等，进一步的，本技术的方法可应用于金融机构如银行在上述设备或环境中部署的支付系统的对账模块上。
53.本技术公开的对账处理方法的方法流程图如图1所示，至少包括：
54.步骤101、获取清算机构推送的对账文件。
55.清算机构具体为人行或银联等中间系统中的清算机构。
56.中间系统的清算机构一般会在预定时间节点，如日终切日后，向金融机构如银行(本行)下发一定时间周期(如，当天)发生的记录有所有交易信息的文件，以用于核对日间交易情况。
57.清算机构下发的该用于核对日间交易情况的文件即为对账文件。
58.清算机构推送的对账文件的格式并不限定，示例性的，其可以为清算机构方的原始数据格式的文本文件，如，清算机构方采用txt文本文件形式，对交易记录信息的各信息项按一定取值格式进行数值记录和/或按一定编排方式对各信息项进行编排、组织后所得的txt文本文件等。
59.步骤102、将对账文件转换为目标数据格式的文本文件，得到第一目标文件。
60.现有技术中，当银行等金融机构获得清算机构下发的对账文件时，会基于i/o流对对账文件中记录的各条交易信息执行落库操作，即，按数据库的特定数据格式将对账文件中的各条交易信息插入数据库，并在此基础上，将落库对账数据与银行本地数据库记录的交易数据(支付系统的交易流水)进行比对。
61.为了避免落库操作存在的各项弊端，本技术实施例提出以纯文本对账方式来处理对账任务。
62.基于此，当获得清算机构推送的对账文件后，本技术实施例不对其进行落库操作，而是将其转换为目标数据格式的文本文件，相应得到第一目标文件。目标数据格式的文本文件，可以是txt或ddl等任意类型的文本文件，并不限制。
63.其中，目标数据格式为银行方本地所要求的文本文件的数据格式，其可以与文本文件形式的对账文件的原始数据格式相同或不同，在此不做限制。不同的银行可能具有数据格式的不同定制化需求，鉴于此，优选的，目标数据格式为银行自身根据实际需求定制的区别于清算机构的原始数据格式的定制数据格式。
64.以下提供定制数据格式的一个示例：
65.定制数据格式为银行系统自定义的以下格式：文本文件以“|”这一个分隔符分隔各信息项(字段)，且信息项顺序(或称字段顺序)为：排序值|状态|金额|日期|时间|流水号。
66.其中，顺序指根据排序值针对每一条数据在目标文件中的位置。
67.从而，在获得清算机构推送的对账文件之后，支付系统的对账模块继续对其进行格式转换，将其从原始数据格式的文本文件转换为银行自身定制数据格式的文本文件，如，
将其从原始数据格式的txt文件转换为银行自定义数据格式的ddl文件等。
68.具体的，在格式转换处理时，本实施例根据预先制定的上述定制数据格式，使用预定命令，在文本文件中对对账文件包括的各个信息项进行取值格式的标准化处理和/或不同信息项之间的编排处理，以此得到第一目标文件。
69.可选的，上述预定命令为linux文件排序命令，相应针对清算机构推送至本行支付系统的对账文件，用linux服务器自带的sort命令，并基于定义环境语言将对账文件传入本技术方法的执行主体，如支付系统的对账模块，并在执行主体中将对账文件通过上述的取值格式标准化和/或信息项编排等格式化处理，生成有序的第一目标文件。
70.容易理解，若目标数据格式与清算机构推送的对账文件的原始数据格式相同，则本步骤102中将对账文件转换为目标数据格式的文本文件的操作，可理解为空操作，该处理方式同样在本技术的保护范围之内。
71.步骤103、从金融机构的数据库中拉取交易数据。
72.步骤104、将拉取的交易数据转换为上述目标数据格式的文本文件，得到第二目标文件。
73.银行本地端交易数据，为银行支付系统端针对每笔交易为其生成的流水信息，银行本地端采用数据库的数据表对其进行存储。
74.对于银行本地端交易数据，同样将其转换为上述目标数据格式的文本文件形式，即，将交易数据转换为与格式转换后的对账文件相同的格式。
75.具体的，同样根据预先制定的上述定制数据格式，使用预定命令，在文本文件中对所拉取的交易数据包括的各个信息项进行取值格式的标准化处理和/或不同信息项之间的编排处理，得到第二目标文件。
76.如，将保存在本地数据库中的交易数据全量拉取，并同样使用linux服务器自带的sort命令，将交易数据生成与第一目标文件的格式、信息项顺序相同的文件等。
77.步骤105、对文本文件形式的第一目标文件和第二目标文件进行数据比对处理，得到对账结果。
78.之后，继续对两种文本文件形式的目标文件进行数据对比，由于两种目标文件均为文本文件(如，txt或ddl文件)，且数据格式一致，因此可直接按各数据项的位置进行数据项取值的比对，通过比对完成对交易数据的对账处理，并得到对账结果。
79.所得的对账结果，包括对应于各条交易的用于指示“数据对平”、“核心有本地无”或“核心无本地有”这三种类型的结果信息。
80.其中，某条交易的对账结果为“数据对平”，表示该条交易在对账文件与交易数据(银行支付系统本地端流水)中的数据一致；某条交易的对账结果为“核心有本地无”表示该条交易在对账文件中存在记账信息，但在银行支付系统本地端无流水信息；某条交易的对账结果为“核心无本地有”，则表示该条交易在对账文件中无记账信息，但在银行支付系统本地端有流水记录。
81.本技术实施例的对账处理方法，在获取清算机构推送的对账文件后，将其转换为目标数据格式的文本文件，即第一目标文件，并从金融机构的数据库中拉取交易数据，将交易数据同样转换为目标数据格式的文本文件，即第二目标文件，最终，通过将文本文件形式的两种目标文件进行比对处理，完成交易数据的对账任务。可见，本技术提出了一种纯文本
对账方式，基于该方式，可有效减免对清算机构下发的对账文件的落库动作，既保证了对账文件的数据准确性、不会丢失，又规避了大数据量的对账文件落库处理时的i/o占用高的问题，可在尽量不影响系统其他交易的前提下，高效高速的完成支付系统的对账处理，提升支付系统对账效率。
82.可选的，在一些实施例中，本技术公开的对账处理方法，在步骤105之后，还可以包括：
83.步骤106、生成包括上述对账结果的对账过渡文件；
84.优选的，可使用零拷贝技术生成包括上述对账结果的对账过渡文件。并为对账过渡文件生成对应的标识。
85.其中，不同对账过渡文件对应不同的标识。
86.步骤107、将对账过渡文件中的数据更新至数据库的相应数据表中。
87.之后，进一步根据不同对账过渡文件的标识，将对账过渡文件中的对账结果同步更新至相应数据库的不同表中，以使整个对账逻辑处理完成。
88.本技术实施例中，由于整个对账过程，基于纯文本对账方式实现，从而，减免了对清算机构下发的对账文件的落库动作，既保证了数据准确性不会丢失，又规避了大数据量落库处理时的i/o占用高得问题，同时，还避免了因逐条比对数据库中的交易流水导致需与数据库进行频繁交互的问题。
89.对应于上述的方法，本技术实施例还公开一种对账处理装置，如图3所示，该装置包括：
90.获取单元301，用于获取清算机构推送的对账文件；
91.第一转换单元302，用于将所述对账文件转换为目标数据格式的文本文件，得到第一目标文件；
92.拉取单元303，用于从金融机构的数据库中拉取交易数据；
93.第二转换单元304，用于将所述交易数据转换为所述目标数据格式的文本文件，得到第二目标文件；
94.比对处理单元305，用于对文本文件形式的所述第一目标文件和所述第二目标文件进行数据比对处理，得到对账结果。
95.在本技术实施例的一可选实施方式中，上述对账文件为清算机构的原始数据格式的文本文件，上述目标数据格式为金融机构的定制数据格式；
96.第一转换单元302，具体用于：
97.根据预先制定的上述定制数据格式，使用预定命令，在文本文件中对对账文件包括的各个信息项进行取值格式的标准化处理和/或不同信息项之间的编排处理，得到第一目标文件。
98.在本技术实施例的一可选实施方式中，第二转换单元304，具体用于：
99.根据预先制定的上述定制数据格式，使用预定命令，在文本文件中对交易数据包括的各个信息项进行取值格式的标准化处理和/或不同信息项之间的编排处理，得到第二目标文件。
100.在本技术实施例的一可选实施方式中，上述预定命令为linux文件排序命令。
101.在本技术实施例的一可选实施方式中，上述装置还包括：
102.后处理单元，用于：生成包括所述对账结果的对账过渡文件；将对账过渡文件中的数据更新至数据库的相应数据表中。
103.对于本技术实施例公开的对账处理装置而言，由于其与上文方法实施例公开的对账处理方法相对应，所以描述的比较简单，相关相似之处请参见上文相应方法实施例的说明即可，此处不再详述。
104.另外，本技术实施例还公开了一种电子设备，该电子设备可以是但不限于至少能用于提供支付系统对账功能的个人计算机、服务器计算机、多处理器装置等设备或装置。
105.如图4示出的电子设备的结构示意图，至少包括：
106.存储器401，用于存放计算机指令集；
107.所述的计算机指令集可以采用计算机程序的形式实现。
108.存储器401可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
109.处理器402，用于通过执行存储器上存放的指令集，实现如上任一方法实施例的对账处理方法。
110.其中，处理器402可以为中央处理器(central processing unit，cpu)，特定应用集成电路(application
‑
specific integrated circuit，asic)，数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件等。
111.除此之外，电子设备还可以包括通信接口、通信总线等组成部分。存储器、处理器和通信接口通过通信总线完成相互间的通信。
112.通信接口用于电子设备与其他设备(如，银行其他处理系统所在的设备等)之间的通信。通信总线可以是外设部件互连标准(peripheral component interconnect，pci)总线或扩展工业标准结构(extended industry standard architecture，eisa)总线等，该通信总线可以分为地址总线、数据总线、控制总线等。
113.综上所述，本技术公开的对账处理方法、装置及电子设备，相比于现有技术的对账方案，至少具备以下有益效果：
114.1)使用linux服务器自带sort命令，能够高速可控的对文件内容逐条排序生成目标文件，根据实际生产环境检验和压力测试结果，基于本技术的方式能够达到千万级别数据10秒内处理完成；
115.2)与目前主流对账逻辑相比，能够减少多次大数据量数据交互，从而可达到减少数据库i/o压力和内存压力的效果，使系统性能明显提高；
116.3)由于使用纯文本文件方式实现对账，清算机构提供给银行方的数据准确性和一致性得以保证；另外，由于从数据库拉取本地数据参与对账，无需对账文件落库，从而，避免了因数据不符合数据库标准而导致出现数据丢失情况；
117.4)在整个对账过程中同时使用了零拷贝技术，参与交互的文件虽然数量较多，但性能损耗较少，大大优于数据库逐条处理方式的性能。
118.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
119.专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
120.结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd
‑
rom、或技术领域内所公知的任意其它形式的存储介质中。
121.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。