一种财务数据处理方法及系统与流程

1.本发明涉及数据处理技术领域，尤其涉及一种财务数据处理方法及系统。


背景技术：

2.现有技术中关于财务系统的数据接入、财务对账、经营分析都是针对特定的财务背景进行技术处理，因此在技术平台中固化并限制了数据的格式和内容，一旦数据的格式或内容出现增减变化，财务系统的数据接入、对账、分析功能便会受到影响。
3.在财务对账技术中，一般的处理流程为：提取并导入渠道业务订单数据，导入财务账单数据；确定对账的信息记录范围，将日期限制在一段时间范围内，基于现有对账规则进行结构化查询语言(structured query language，sql)查询，提取并保存异常账目记录信息，并保存平账信息；.对于不平账目信息进行sql的群(group)分组，人工分析并处理账目信息。
4.在提取导入的技术阶段，一般需要提取的订单信息字段如下：商户号/商户订单号/渠道流水号/交易日期/交易金额/手续费/退款原订单号等,技术平台会根据各渠道的数据形式和格式进行数据导入的编码，将数据保存到平台的持久层中，其中，各渠道包括各大银行、各大支付机构，数据形式有xml/txt/csv，格式包括各字段的意义、数据类型。
5.在对账阶段，技术平台会使用sql和定时任务，根据指定的对账业务规则查询对账信息，分别记录不平账目和已平账目。
6.在财务分析阶段，技术平台会使用企业的分类分组信息进行数据库账目信息的sql分组，并统计组合分组信息下的账目数量，其中，分类分组信息包括本端多账、对端多账，金额不一致、商户号、多账类型等。
7.在对账阶段，常规技术平台使用sql查询，无法应对大规模的对账要求。随着业务的发展，每天需要对账的账目信息与日俱增，sql查询容易出现内存溢出的情况，同时业务平台不能随时监控对账的计算任务的运行情况。当企业需要从更多维度进行账目分析、或者对账的数据出现形式或格式变化的时候，系统需要重新编码以适应相关变化，业务人员对研发投入的依赖较深。


技术实现要素：

8.为了解决上述技术问题，本技术实施例提供了一种财务数据处理方法及系统。
9.第一方面，本技术实施例提供了一种财务数据处理方法，所述方法包括：
10.数据同步引擎启动数据同步任务；
11.kafaka集群将各类原始对账数据进行清洗，得到标准对账数据，将所述标准对账数据存入elasticsearch及hive集群中；
12.应用平台接收用户输入操作，生成与所述用户输入操作对应的对账规则，根据所述对账规则生成对账任务，并启动所述对账任务，将所述对账任务提交至flink集群中；
13.flink集群根据所述对账任务获取对账结果数据。
14.可选的，所述方法还包括：
15.数据库集群保存所述对账结果数据；
16.聚合查询所述对账结果数据。
17.可选的，所述对账规则包括：对账周期、对账要求、对账任务的执行周期。
18.可选的，所述数据同步引擎启动数据同步任务，包括：
19.通过web页面接收用户对数据源、目的数据池的类型、数据字段名、数据字段格式的编辑操作；
20.根据所述编辑操作启动数据同步任务。
21.可选的，所述根据所述对账规则生成对账任务，包括
22.设置目的数据池的数据定义，根据所述目的数据池的数据定义及所述对账规则生成所述对账任务。
23.可选的，所述方法还包括：
24.接收用户输入的修改操作对对账数据池、数据格式、所述对账规则进行修改。
25.可选的，所述方法还包括：
26.hive集群的stg层保留当天增量数据及保留全量数据；
27.hive集群的ods层对订单在不同系统的订单数据进行校验，若订单数据不匹配，则报告数据不匹配问题，从各系统中选择一个订单数据输入hive集群的dwd层；
28.所述dwd层将订单数据按照核算对象、场景、业务类型、业务线进行拆分。
29.可选的，所述应用平台接收用户输入操作，生成与所述用户输入操作对应的对账规则，包括：
30.所述应用平台接收用户输入的数据字典配置操作、单据配置操作、及对账方案配置操作，根据所述数据字典配置操作、所述单据配置操作、及所述对账方案配置操作生成所述对账规则。
31.第二方面，本技术实施例提供了一种财务数据处理系统，所述财务数据处理系统包括：
32.kafaka集群，用于将各类原始对账数据进行清洗，得到标准对账数据，将所述标准对账数据存入elasticsearch及hive集群中；
33.应用平台，用于接收用户输入操作，生成与所述用户输入操作对应的对账规则，根据所述对账规则生成对账任务，并启动所述对账任务，将所述对账任务提交至flink集群中；
34.flink集群，用于根据所述对账任务获取对账结果数据。
35.第三方面，本技术实施例提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行第一方面提供的财务数据处理方法。
36.上述本技术提供的财务数据处理方法、系统及计算机可读存储介质，数据同步引擎启动数据同步任务；kafaka集群将各类原始对账数据进行清洗，得到标准对账数据，将所述标准对账数据存入elasticsearch及hive集群中；应用平台接收用户输入操作，生成与所述用户输入操作对应的对账规则，根据所述对账规则生成对账任务，并启动所述对账任务，将所述对账任务提交至flink集群中；flink集群根据所述对账任务获取对账结果数据。这样，从财务业务变化带来的人效压力角度，改善财务数据处理系统，减轻对账业务对人工操
作的依赖度，提高财务处理系统的稳定性、速度效率、拓展性，可以有效应对日益增长的对账数据规模所带来的计算压力。
附图说明
37.为了更清楚地说明本技术的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对本技术保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。
38.图1示出了本技术实施例提供的财务数据处理方法的一流程示意图；
39.图2示出了本技术实施例提供的财务数据处理方法的一流程示意图；
40.图3示出了本技术实施例提供的财务数据处理系统的一架构示意图；
41.图4示出了本技术实施例提供的操作页面的一示意图；
42.图5示出了本技术实施例提供的操作页面的另一示意图；
43.图6示出了本技术实施例提供的操作页面的一局部示意图；
44.图7示出了本技术实施例提供的财务数据处理系统的一结构示意图。
具体实施方式
45.下面将结合本技术实施例中附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。
46.通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
47.在下文中，可在本技术的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
48.此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
49.除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本技术的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本技术的各种实施例中被清楚地限定。
50.实施例1
51.本技术实施例提供一种财务数据处理方法。
52.具体的，请参阅图1，财务数据处理方法包括：
53.步骤s101，数据同步引擎启动数据同步任务；
54.可选的，步骤s101包括：
55.通过web页面接收用户对数据源、目的数据池的类型、数据字段名、数据字段格式的编辑操作；
56.根据所述编辑操作启动数据同步任务。
57.请参阅图2，在整体流程上采用智能物联(dct)工具平台，dtc工具平台对接各类业务原始账单数据，通过消息队列(message queue，mq)接口和flink引擎对原始账单数据进行解析，并将解析后得到的对账数据保存到hive集群中。根据用户配置在持久层mysql中的数据字典配置、单据配置、对账方案配置，生成并提交对账计算任务到flink引擎中，flink引擎生成对账单数据并进行保存、对账凭证保存到分布式搜索引擎(elasticsearch，es)中，以供应用平台进行快速读取，应用平台可以为交付对账平台。
58.如图2所示，移动支付平台、线上渠道平台、银行卡交易账单数据、第三方卡交易账单数据、银商预付卡、电子礼品卡交易账单等与kafaka集群的消息队列接口连接。其中，移动支付平台包括通信运营商第三方移动支付、社交平台第三方移动支付等，线上渠道平台包括各类垂直电商平台、混合电商平台等。消息队列接口与flink解析引擎连接，消息队列接口向flink解析引擎发送各类交易账单数据。外部业务的增量账单数据也可以输入flink集群中。flink集群中将账单数据输入elasticsearch及hive集群的数据仓库(data warehouse，dw)层。hive集群的dw层通过计算引擎(spark)与elasticsearch进行数据通信。elasticsearch及mysql数据库与交易对账平台连接。dct工具平台还可以通过消息队列接口实现修正数据实时更新，消息队列接口将修正数据实时更新同步到flink集群。
59.在本实施例中，应用平台可以为对账平台，对账平台提供web页面编辑元数据，在web页面接收用户编辑操作，对数据源、目的数据仓库的类型、数据字段名、数据字段格式进行编辑，即可发起数据同步任务，同时在任务执行过程中，记录执行过程，保证数据的一致性、幂等性、完整性。
60.请参阅图3，web页面包括添加字段界面区域及数据来源界面区域，添加字段界面区域包括字段编号、字段名称、字段排序、字段类型、字段描述等输入栏位，用户可以在对应输入栏位输入对应的信息。数据来源界面区域包括来源及数据规则，来源可以从源数据及自定义中选择一个。数据规则的表头部分包括插入组a字段、插入组b字段，以及加、减、乘、除等计算符号，等号、零等数学符号，还包括当前系统时间及日期转换等。数据规则的输入区域可以输入公式。web页面还包括取消按钮及保存按钮，在web页面填写相关数据后，点击保存按钮，可以对输入的数据进行保存，点击取消按钮，可以对输入的数据进行取消。
61.在本实施例中，经过数据同步后，对账数据保存在elasticsearch中，同时也拥有了关于对账数据的元数据信息，通过核对对账信息，记录数据的对账结果到数据库中。
62.步骤s102，kafaka集群将各类原始对账数据进行清洗，得到标准对账数据，将所述标准对账数据存入elasticsearch及hive集群中；
63.请参阅图4，在本实施例中，各类原始对账数据的数据格式包括webservice、csv、xml、json、mysql等，进行清洗出来，可以去除冗余数据，将经过清洗的标准对账数据保存到elasticsearch和hive集群中。
64.步骤s103，应用平台接收用户输入操作，生成与所述用户输入操作对应的对账规则，根据所述对账规则生成对账任务，并启动所述对账任务，将所述对账任务提交至flink集群中；
65.在本实施例中，所述对账规则包括：对账周期、对账要求、对账任务的执行周期。
66.可选的，步骤s103中，所述应用平台接收用户输入操作，生成与所述用户输入操作对应的对账规则，包括：
67.所述应用平台接收用户输入的数据字典配置操作、单据配置操作、及对账方案配置操作，根据所述数据字典配置操作、所述单据配置操作、及所述对账方案配置操作生成所述对账规则。
68.在本实施例中，应用平台可以为图2中所示的交易对账平台。
69.可选的，步骤步骤s103中，所述根据所述对账规则生成对账任务，包括：
70.设置目的数据池的数据定义，根据所述目的数据池的数据定义及所述对账规则生成所述对账任务。
71.在本实施例中，对账任务为sql对账任务。此外，本实施方式中，需要对元数据及数据池进行定义。
72.以下表1为元数据的定义表：
[0073][0074]
表1元数据定义表以下表2为数据池的定义表：
[0075][0076]
表2数据池定义表以下表3为数据定义关联表：
[0077]
主键数据池id数据字段id111
223
[0078]
表3数据定义关联表
[0079]
依靠表1、表2、表3关于元数据、数据池的定义，用户可以很快设置数据源和目的数据池的相关数据定义，由目的数据池的定义，通过对账规则即可生成sql对账任务。
[0080]
步骤s104，flink集群根据所述对账任务获取对账结果数据。
[0081]
可选的，步骤s104之后，财务数据处理方法还包括：
[0082]
数据库集群保存所述对账结果数据；
[0083]
聚合查询所述对账结果数据。
[0084]
请再次参阅图4，对账整体流程可以包括以下过程：1.数据同步引擎发起数据同步任务；2.经过清洗的对账数据保存到elasticsearch和hive集群中；3.根据用户设置的对账规则，生成并发起对账任务，提交任务到flink集群中；4.对账结果数据保存到数据库集群中；5.聚合查询对账结果和记录。这样，可以快速完成对账流程，提高处理效率。
[0085]
可选的，步骤s104之后，财务数据处理方法还包括：
[0086]
接收用户输入的修改操作对对账数据池、数据格式、所述对账规则进行修改。
[0087]
请参阅图5
‑
图6，在图5所述的对账规则的定义和使用页面图中，对账规则包括对账单方案，对账单方案新增明细对账单。对账单方案显示有基本信息、设置两个主要区域，基本信息区域包括对账单维度、对账类型、描述等栏位，用户可以在对应栏位输入想要需要的信息。
[0088]
设置区域包括对账周期、执行计划次日时间、取数起始时间等。对账组选择按钮，如图5，选择组a数据：三方渠道账单[zf06231000187]、[zf06231000191]的账单数据，通过设置过滤条件可以对账单进行过滤。字段区域现有多个可供选择的字段，例如，退款淡化、订单号、门店变化、门店名称、门店地址、交易日期、交易时间、商品金额、订单金额、其他费用金额、分摊金额、平台费用、实收金额、商户号、卡号、实付金额、优惠金额、结算日期等。选择组b数据，添加对应账单。图5所述的对账规则的定义和使用页面图中，还包括确定按钮及取消按钮。
[0089]
在图6所述的设置过滤条件页面图为图5所示的显示区域501的局部界面图，图6所述的设置过滤条件页面图中包括账单基本信息、账单字段、账单条件、设置取数条件。取数条件根据实际需求设置，在图6中，账单字段与图5所示相同或类似，不做赘述。图6中示意性地设置取数条件为：实收金额大于100，优惠金额小于5的账单数据。设置过滤条件页面图还包括上移、下移、删除、取消及确定等按钮，通过这些按钮可以实现对应的控制操作。
[0090]
如图5所示，用户可以配置对账规则中的对账周期、对账要求、对账任务的执行周期等。这样，通过页面配置的方式，业务人员通过在线编辑对账数据池、数据格、数据对账规则的方式，快速的应对对账数据池变化、数据格式变化、对账规则变化。利用hive集群和flink集群的分片计算特性，系统可以通过增加集群计算资源的方式，提高系统对账计算的任务吞吐量和效率。
[0091]
可选的，财务数据处理方法还包括：
[0092]
所述hive集群的stg层保留当天增量数据及保留全量数据；
[0093]
所述hive集群的ods层对订单在不同系统的订单数据进行校验，若订单数据不匹配，则报告数据不匹配问题，从各系统中选择一个订单数据输入hive集群的dwd层；
[0094]
所述dwd层将订单数据按照核算对象、场景、业务类型、业务线进行拆分。
[0095]
请再次参阅图2，hive集群的stg层对增量数据每天分区，保留当天增量数据，对全景数据每天分区，并保留全量数据；hive集群的ods层对订单在不同系统的订单数据进行校验，如果订单数据不匹配，则报告数据不匹配问题，从各系统中选择一个订单数据输入hive集群的dwd层；所述dwd层将订单数据按照核算对象、场景、业务类型、业务线进行拆分。
[0096]
本实施例，通过在线定义和编辑元数据和数据池定义，使得业务人员可以在不修改代码的情况下，快速响应业务的规则变化，使得业务可以健壮地在商业环境中发挥平台的高效作用，开发成本降低、响应速度提升。
[0097]
同时使用的大数据组件flink集群和hive集群能支持日益增长的数据增长的商业需求，同时兼具良好的水平拓展性，依靠增加机器，提升业务的处理效率和速度。原来一次性加载数据可能由于数据完整性、数据量大的因素导致任务失败，任务重试的时候需要整个任务重新进行。新平台启用之后，对账任务借用flink集群的分片特性将对账任务水平切分，对账失败的记录可以进行针对性重试，提高了机器资源的利用率。
[0098]
本实施提供的财务数据处理方法，数据同步引擎启动数据同步任务；kafaka集群将各类原始对账数据进行清洗，得到标准对账数据，将所述标准对账数据存入elasticsearch及hive集群中；应用平台接收用户输入操作，生成与所述用户输入操作对应的对账规则，根据所述对账规则生成对账任务，并启动所述对账任务，将所述对账任务提交至flink集群中；flink集群根据所述对账任务获取对账结果数据。这样，从财务业务变化带来的人效压力角度，改善财务数据处理系统，减轻对账业务对人工操作的依赖度，提高财务处理系统的稳定性、速度效率、拓展性，可以有效应对日益增长的对账数据规模所带来的计算压力。
[0099]
实施例2
[0100]
此外，本公开实施例提供了一种财务数据处理系统。
[0101]
具体的，如图7所示，财务数据处理系统700包括：
[0102]
数据同步引擎701，用于启动数据同步任务；
[0103]
kafaka集群702，用于将各类原始对账数据进行清洗，得到标准对账数据，将所述标准对账数据存入elasticsearch及hive集群中；
[0104]
应用平台703，用于接收用户输入操作，生成与所述用户输入操作对应的对账规则，根据所述对账规则生成对账任务，并启动所述对账任务，将所述对账任务提交至flink集群中；
[0105]
flink集群704，用于根据所述对账任务获取对账结果数据。
[0106]
本实施例提供财务数据处理系统700具有实施例1所示财务数据处理方法中涉及的相关设备，可以实现实施例1所示财务数据处理方法，为避免重复，在此不再赘述。
[0107]
本实施提供的财务数据处理系统，数据同步引擎启动数据同步任务；kafaka集群将各类原始对账数据进行清洗，得到标准对账数据，将所述标准对账数据存入elasticsearch及hive集群中；应用平台接收用户输入操作，生成与所述用户输入操作对应的对账规则，根据所述对账规则生成对账任务，并启动所述对账任务，将所述对账任务提交至flink集群中；flink集群根据所述对账任务获取对账结果数据。这样，从财务业务变化带来的人效压力角度，改善财务数据处理系统，减轻对账业务对人工操作的依赖度，提高财务
处理系统的稳定性、速度效率、拓展性，可以有效应对日益增长的对账数据规模所带来的计算压力。
[0108]
实施例3
[0109]
本技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如下步骤：
[0110]
数据同步引擎启动数据同步任务；
[0111]
kafaka集群将各类原始对账数据进行清洗，得到标准对账数据，将所述标准对账数据存入elasticsearch及hive集群中；
[0112]
应用平台接收用户输入操作，生成与所述用户输入操作对应的对账规则，根据所述对账规则生成对账任务，并启动所述对账任务，将所述对账任务提交至flink集群中；
[0113]
flink集群根据所述对账任务获取对账结果数据。
[0114]
在本实施例中，计算机可读存储介质可以为只读存储器(read
‑
only memory，简称rom)、随机存取存储器(randomaccess memory，简称ram)、磁碟或者光盘等。
[0115]
本实施例提计算机可读存储介质可以实施例1所示财务数据处理方法，为避免重复，在此不再赘述。
[0116]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者终端中还存在另外的相同要素。
[0117]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本技术各个实施例所述的方法。
[0118]
上面结合附图对本技术的实施例进行了描述，但是本技术并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本技术的启示下，在不脱离本技术宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本技术的保护之内。