数据处理方法、装置、设备和存储介质与流程

1.本发明属于数据处理的技术领域，尤其涉及一种用于预付款系统的数据处理方法、装置、设备和存储介质。


背景技术：

2.目前，预付款接口采用http同步接口，接口完全公开，系统压力大。该接口覆盖了多种业务场景，包括充值、提款、扣款、退款、冲销、转账等，同时为68个上游系统(各业务系统)提供发送预付款服务，日交易量为21w笔。
3.基于庞大并日益增长的业务体系，当业务高峰高并发访问预付款接口时，易造成接口超时、资源被占满崩溃，甚至出现服务器宕机的情况，从而导致数据的存储不完整，数据更新异常等问题。


技术实现要素：

4.本发明的目的是提供一种数据处理方法、装置、设备和存储介质，搭建预付款前置服务，为预付款系统减压，保障预付款系统稳定性，提供多维度白名单配置，通过灵活配置，为高峰期预付款系统减压，数据校验前置，减轻预付款系统逻辑复杂性，提高接口时效，减轻上游系统因原预付款接口异常进行重发的压力，保障预付款核心功能。
5.为解决上述问题，本发明的技术方案为：
6.一种数据处理方法，用于预付款系统，包括：
7.实时获取交易数据，识别交易数据的交易类型；
8.按实时到账及离线结算，对交易类型进行分类；
9.对实时到账的交易类型，采用同步数据传输方式，进行数据处理；
10.对离线结算的交易类型，采用异步数据传输方式或文件数据传输方式，进行数据处理；以缓解预付款系统的接口压力，提高预付款系统的数据处理效率。
11.根据本发明一实施例，所述实时获取交易数据，识别交易数据的交易类型进一步包括：
12.对获取的交易数据进行标准化字符过滤操作，得到目标交易数据；
13.对所述目标交易数据进行客体识别操作，得到交易客体；
14.调用预设交易类型识别模型对所述目标交易数据中的所述交易客体的交易数据进行处理，得到所述交易客体的交易类型。
15.根据本发明一实施例，所述按实时到账及离线结算，对交易类型进行分类进一步包括：
16.将交易类型为充值、提款或转账的交易数据，标记为实时到账，并传输至第一数据处理通道进行实时处理；
17.将交易类型为扣款、退款或冲销的交易数据，标记为离线结算，并传输至第二数据处理通道中的消息队列中等待处理。
18.根据本发明一实施例，所述对实时到账的交易类型，采用同步数据传输方式，进行数据处理进一步包括：
19.将预付款系统作为服务端，提供http接口服务，发布接口api；
20.服务端接收客户端按照接口api发送数据后，进行多重数据的有效性校验，生成交易记录，并返回预付款结果。
21.根据本发明一实施例，所述对离线结算的交易类型，采用异步数据传输方式进行数据处理进一步包括：
22.搭建预付款前置服务；
23.根据交易类型，设置预付款白名单；
24.预付款前置服务接收客户端以kafka方式发送的预付款数据，并进行数据有效性校验；
25.预付款前置服务将校验通过后的数据发送至预付款系统。
26.根据本发明一实施例，所述对离线结算的交易类型，采用文件数据传输方式进行数据处理进一步包括：
27.搭建预付款前置服务；
28.根据交易类型，设置预付款白名单，灵活配置预付款发送状态，为预付款系统高峰期减压；
29.通过数据库加载csv文件并进行数据加工，所述csv文件为预先根据预付款数据生成的文件；将加工好的数据，再次生成csv文件并上传至指定路径下；
30.预付款前置服务加载指定路径下的csv文件，并进行数据有效性校验；
31.预付款前置服务将校验通过的数据，按照收费部门、收费项目、发送预付款时间维度进行数据汇总；
32.预付款前置服务将汇总后的数据发送至预付款系统。
33.一种数据处理装置，用于预付款系统，包括：
34.数据识别模块，用于实时获取交易数据，识别交易数据的交易类型；
35.数据分类模块，用于按实时到账及离线结算，对交易类型进行分类；
36.第一数据处理模块，用于对实时到账的交易类型，采用同步数据传输方式，进行数据处理；
37.第二数据处理模块，用于对离线结算的交易类型，采用异步数据传输方式或文件数据传输方式，进行数据处理；以缓解预付款系统的接口压力，提高预付款系统的数据处理效率。
38.根据本发明一实施例，所述数据识别模块进一步包括：
39.数据过滤单元，用于对获取的交易数据进行标准化字符过滤操作，得到目标交易数据；
40.客体识别单元，用于对所述目标交易数据进行客体识别操作，得到交易客体；
41.数据处理单元，用于调用预设交易类型识别模型对所述目标交易数据中的所述交易客体的交易数据进行处理，得到所述交易客体的交易类型。
42.一种数据处理设备，包括：存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行本发明一实施例中的
数据处理方法中的步骤。
43.一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行本发明一实施例中的数据处理方法中的步骤。
44.本发明由于采用以上技术方案，使其与现有技术相比具有以下的优点和积极效果：
45.本发明一实施例中的数据处理方法，针对目前预付款系统接口采用http同步接口，接口完全公开，系统压力大，易造成接口超时、资源被占满崩溃的问题，通过实时获取交易数据，识别交易数据的交易类型；按实时到账及离线结算，对交易类型进行分类；对实时到账的交易类型，采用同步数据传输方式，进行数据处理；对离线结算的交易类型，采用异步数据传输方式或文件数据传输方式，进行数据处理；从而缓解预付款系统的接口压力，提高预付款系统的数据处理效率。
附图说明
46.图1为本发明一实施例中的数据处理方法流图；
47.图2为本发明一实施例中的数据处理装置框图；
48.图3为本发明一实施例中的数据处理设备示意图。
具体实施方式
49.以下结合附图和具体实施例对本发明提出的一种数据处理方法、装置、设备和存储介质作进一步详细说明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。
50.实施例一
51.本实施例针对目前预付款系统接口采用http同步接口，接口完全公开，系统压力大，易造成接口超时、资源被占满崩溃的问题，提供了一种数据处理方法，通过搭建预付款前置服务，为预付款系统减压，保障预付款系统稳定性，提供多维度白名单配置，通过灵活配置，为高峰期预付款系统减压，数据校验前置，减轻预付款系统逻辑复杂性，提高接口时效，减轻上游系统因原预付款接口异常进行重发的压力，保障预付款核心功能。
52.请参看图1，该数据处理方法包括以下步骤：
53.s1：实时获取交易数据，识别交易数据的交易类型；
54.s2：按实时到账及离线结算，对交易类型进行分类；
55.s3：对实时到账的交易类型，采用同步数据传输方式，进行数据处理；
56.s4：对离线结算的交易类型，采用异步数据传输方式或文件数据传输方式，进行数据处理；以缓解预付款系统的接口压力，提高预付款系统的数据处理效率。
57.在步骤s1中，实时获取交易数据，识别交易数据的交易类型，可通过以下步骤实现：
58.对获取的交易数据进行标准化字符过滤操作，得到目标交易数据；
59.对该目标交易数据进行客体识别操作，得到交易客体；
60.调用预设交易类型识别模型对目标交易数据中的交易客体的交易数据进行处理，得到交易客体的交易类型。
61.本实施例中，首先在应用系统中构建提取规则器，提取规则器包括日志的获取级
别、日志获取程序名、提取时间范围等，当日志文件内容新增时，对提取规则器中的各规则进行匹配，如果匹配成功则将日志中的交易进行输出至数据处理器。
62.例如，提取规则器为获取info级别的交易或交互信息、日志获取程序名为transactionbusiness、提取时间为0：00-24：00，此时该提取规则器对日志中的该指定程序的info信息进行提取，对于其余信息默认忽略。此时，输出的交易即为待分析的交易数据，并将该待分析的交易数据进行存储。
63.在获取待分析的交易数据之后，从待分析的交易数据中提取出交易客体以及交易类型。
64.其中，对交易数据进行标准化字符过滤操作，得到目标交易数据。
65.在实际应用中，交易数据可能存在一些敏感词、停用词等，此时需要对交易数据进行标准化字符过滤操作。
66.具体的，标准化字符过滤操作是指对待分析交易数据进行敏感词过滤、同义词替换、停词去除等，从而获取语义价值较高的多个语句，即得到目标交易数据。
67.对目标交易数据进行客体识别操作，得到交易客体。
68.具体的，对目标交易数据根据知识库中的预设模板进行匹配，识别出交易客体，即当前哪个客户进行了本次交易。如本次的交易客体为a、b、c、d、e、f、g。
69.调用预设交易类型识别模型对目标交易数据中的交易客体的交易数据进行处理，得到交易客体的交易类型。
70.本实施例中，可以采集历史的交易数据以及交易类型，对构建的神经网络模型进行训练，直至模型的损失函数小于设定值时停止。此时得到的神经网络模型称为预设交易类型识别模型。
71.模型在使用过程中，将目标交易数据中的交易客体的交易数据输入预设交易类型识别模型中，即可得到交易客体的交易类型，
72.一般场景下，交易类型可以有多种，如充值、提款、转账、退款等。同一交易客体可能涉及多种交易类型，也可能仅涉及一种交易类型。
73.在步骤s2中，按实时到账及离线结算，对交易类型进行分类。
74.在本实施例中，将交易类型为充值、提款或转账的交易数据，标记为实时到账，并传输至第一数据处理通道进行实时处理。
75.将交易类型为扣款、退款或冲销的交易数据，标记为离线结算，并传输至第二数据处理通道中的消息队列中等待处理。
76.其中，对于实时到账的分类，在实际应用中，基于快递的行业特性，从客户立场出发，保障网点账户状态及时更新，充值、提款、转账对应交易类型实现实时到账。
77.可将实时到账的交易类型的交易数据存储到oracle数据库的交易信息表中，对交易信息表进行实时监控，实时获取增量的交易信息数据。利用ogg(oracle goldengate)将交易信息表中的增量数据实时地复制到kafka的消息队列中。通过实时的etl程序或者spark程序，从kafka的broker中读取数据。对获取的数据根据业务场景(如充值、提款或转账)进行封装和统计，统计后的存储数据为json格式存储到mongodb中，并为每条数据增加一last_up_time字段，用于存放该数据存储到mongodb的时间。
78.通过spring boot程序对mongo db进行定时扫描，对mongo db定时扫描的扫描间
隔设定为秒级。根据last_up_time查询得到增量的数据，将增量数据实时同步到aerospike数据库中。
79.将封装后的交易数据实时经过第一数据处理通道(即同步数据传输通道)，该第一数据处理通道调用aerospike数据库中的json格式数据进行处理，保障网点账户状态的及时更新。
80.对于离线结算的分类，在实际应用中，基于票件揽签、考核等业务场景，经过数据加工后发送预付款，此类扣款、退款、冲销对应交易类型为离线结算。
81.可将离线结算的交易类型的交易数据离线同步汇总到操作性数据仓库ods中。如此，能够减少对预付款系统中的源数据的直接操作。
82.将数据仓库ods中的数据同步到数据仓库dw的宽表中，建立宽表，将不同的场景(如扣款、退款或冲销等)中要进行统计的所有字段汇总到宽表中。如此，能减少单个场景做数据处理时的表连接操作，在最大程度上保证数据同步处理的效率。
83.在hive上针对宽表中存储的数据，结合业务需求，对数据进行统计汇总，并将汇总的结果插入到数据库dm中的业务表，数据仓库dm中的业务表存储的是不同的业务场景的数据。而业务表的每个分区则是针对不同的特定的业务场景进行统计的结果，对不同的业务场景，取用不同分区的统计数据。进而能够准确地对不同的业务场景的数据进行针对性处理。
84.将业务表中各个分区的数据带上不同的标签同步到aerospike数据库中，以json形式进行存储。将业务表中的交易数据经过第二数据处理通道(即异步数据传输通道或文件数据传输通道)，该第二数据处理通道将调用aerospike数据库中的json格式数据进行加工处理，将加工处理后的数据发送至预付款系统。
85.在步骤s3中，对实时到账的交易类型，采用同步数据传输方式，进行数据处理。
86.本步骤针对实时到账的交易类型的交易数据，以同步数据传输方法进行数据处理，实现实时到账业务，保障网点账户状态的及时更新。该同步数据传输方法如下所示：
87.1)预付款系统作为服务端，提供http接口服务，发布接口api(aplication programming interface)；
88.2)客户端按照接口api发送数据；
89.3)服务端接收数据后进行多重数据有效性校验，生成交易记录；
90.4)服务端返回预付款发送结果。
91.上述同步数据传输方法中，客户端与服务器端消息传递为实现即时通讯，多采用轮询技术，传统方式轮询和长轮询的信息传递方式。轮询方式一直在不断的向服务端发送http请求，服务端每次都会反馈但不一定携带最新数据。长轮询方式也是不断的向服务端发送http请求，服务端在有新数据时便会返回。
92.在步骤s4中，对离线结算的交易类型，采用异步数据传输方式或文件数据传输方式，进行数据处理。
93.本步骤针对离线结算的交易类型的交易数据，以异步数据传输方式或文件数据传输方式进行数据处理，通过搭建预付款前置服务，为预付款系统减压，保障预付款系统稳定性，提供多维度白名单配置，通过灵活配置，为高峰期预付款系统减压。通过数据校验前置，减轻预付款系统逻辑复杂性，提高接口时效，减轻上游系统因原预付款接口异常进行重发
的压力，保障预付款核心功能。
94.其中，异步数据传输方法如下所示：
95.1)搭建预付款前置服务；
96.2)基于交易类型，设置预付款白名单，可灵活配置预付款发送状态，为预付款系统高峰期减压；
97.3)客户端以kafka方式发送预付款数据；
98.4)预付款前置服务接收数据，并进行数据有效性校验；
99.5)预付款前置服务将校验通过后数据发送预付款系统。
100.传统的交易业务模型所有的结算力全部集中在预付款系统，如充值、提款、扣款、退款、冲销、转账等，预付款系统同时为68个上游系统提供发送预付款服务，日交易量高达21w笔。基于庞大并日益增长的业务体系，当业务高峰高并发访问预付款接口时，易造成接口超时、资源被占满崩溃，甚至出现服务器宕机的情况，从而导致数据的存储不完整，数据更新异常等问题。
101.本实施例对此作出了改进，通过搭建预付款前置服务，负责交易类型的前置识别及数据有效性的前置校验，为预付款系统减压，保障预付款系统稳定性。
102.其中，基于交易类型，设置预付款白名单，灵活配置预付款发送状态。如将扣款、退款或冲销的交易类型设置为白名单，那么，对于步骤s2中分离出来的扣款、退款或冲销的交易数据，预付款系统可进行实时处理，即实时发送。当然，也可以将充值、提款、转账对应交易类型设置为白名单，那么，对于步骤s2中分离出来的充值、提款、转账的交易数据，预付款系统可进行实时处理，即实时发送。具体可根据实际需求设置。
103.在本实施例异步数据传输方法中，客户端以kafka方式发送预付款数据时，该预付款前置服务对接收的预付款数据进行交易类型的识别，并进行数据有效性校验。其中，数据有效性校验包括对交易数据的汇款方信息、收款方信息、交易金额、交易时间等信息进行校验。
104.具体的，可通过数字令牌的方式对交易数据进行校验。例如，客户端预先与认证模块进行交互，从而对交易的用户身份进行认证。在认证通过后，认证模块会根据客户端上传的交易数据，运行预设的算法，生成相应的一组字符串(例如token)，即数字令牌。
105.预付款前置服务接收来自客户端的数字令牌，并验证数字令牌，根据数字令牌，运行认证模块生成数字令牌的算法的对称算法，获得与该数字令牌对应的交易数据，即待验证数据。将接收的交易数据与解析数字令牌得到的交易数据进行对比，判断两者是否一致。若交易数据与待验证数据一致，则数字令牌通过验证，否则，数字令牌不能通过验证。
106.预付款前置服务将校验通过后数据发送预付款系统，省去了预付款系统对交易类型的识别及数据有效性校验的相关计算，减轻预付款系统逻辑复杂性，提高接口时效，保障预付款系统稳定性。
107.文件数据传输方法如下所示：
108.1)搭建预付款前置服务；
109.2)基于交易类型，设置预付款白名单，可灵活配置预付款发送状态，为预付款系统高峰期减压；
110.3)上游系统将预付款数据生成csv文件并上传至指定路径下；
111.4)gp(greenplum)数据库加载csv文件并进行深加工(如快递行业的强制调平结算)；
112.5)gp数据库将加工好的数据生成csv文件并上传至指定路径下；
113.6)预付款前置服务加载csv文件并进行数据有效性校验；
114.7)预付款前置服务将校验通过的数据按照收费部门、收费项目、发送预付款时间维度进行数据汇总；
115.8)预付款前置服务将汇总后数据发送预付款系统。
116.其中，gp是业界最快最高性价比的关系型分布式数据库，具有以下优点：
117.海量存储
118.greepplum支持50pb(1pb＝1024tb)级海量数据的存储和管理，greenplum将来自不同源系统的、不同部门、不同平台的数据集成到数据库中集中存放，并且存放详尽历史的数据轨迹，业务用户不用再面对一个又一个信息孤岛，也不再困惑于不同版本数据导致的偏差，同时对于it人员也降低管理维护工作的复杂度。
119.高并发
120.greenplum提供资源管理功能(workload managemnt)来管理数据库资源，利用资源队列管理可实现按用户组的进行资源分配，如session同时激活数、最大资源值等。通过资源管理功能，可以按用户级别进行资源分配和管理用户sql查询优先级别，同时也能防止低质量sql(如没有条件的多表join等)对系统资源的消耗。
121.高性价比
122.greenplum数据库软件系统节点基于业界各种开放式硬件平台，如sun/hp/dell等厂商的pc sercer等，在普通的x86sercer上就能达到很高的性能，因此性价比很高，相比于其他封闭式数据仓库的专用系统，greenplum每tb的投资是前者的1/5甚至更低，同样，greenplum产品的维护成本相比较于同类厂商也低很多。
123.系统易用
124.greenplum产品是基于流行的postgresql之上开发，几乎所有的postgresql客户端工具及postgresql应用都能运行在greenplum平台上，在internet上由着丰富的postgresql资源供用户参考。
125.高可用性
126.greenplum是高可用的系统，在已有案例中最多使用了96台机器的集群mpp环境。除了硬件级的raid技术外，greenplum还提供数据库层mirror机制保护，即每个节点数据在另外的节点中同步镜像，单个节点的错误不影响整个系统的使用。
127.对于主节点，greenplum提供master/stand by机制进行主节点容错，当主节点发生错误时，可以切换到stand by节点继续服务。
128.反应速度快
129.greenplum通过准实时、实时的数据加载方式，实现数据仓库的实时更新，进而实现动态数据仓库(adw)。基于动态数据仓库，业务用户能对当前业务数据进行bi实时分析
‑“
just in time bi”，能够让企业敏锐感知市场的变化，加快决策支持反应速度。
130.本实施例采用gp数据库加载csv文件并进行深加工(如快递行业的强制调平结算)，将加工好的数据生成csv文件并上传至指定路径下(如专门存储csv文件的地址或便于
预付款前置服务加载的地址)，可快速有效地实现csv文件的数据加工，提高数据处理效率。
131.上述文件数据传输方法和异步数据传输方法需搭建预付款前置服务，区别在于文件数据传输方法需要对上游系统数据进行深加工，在此不再赘述。
132.本实施例中的数据处理方法，通过搭建预付款前置服务，为预付款系统减压，保障预付款系统稳定性；通过提供多维度白名单配置，灵活配置预付款系统的发送状态，为高峰期预付款系统减压；通过数据校验前置，减轻预付款系统逻辑复杂性，提高接口时效，减轻上游系统因原预付款接口异常进行重发的压力，保障预付款核心功能。
133.实施例二
134.本实施例提供了一种数据处理装置，用于预付款系统，请参看图2，该数据处理装置包括：
135.数据识别模块1，用于实时获取交易数据，识别交易数据的交易类型；
136.数据分类模块2，用于按实时到账及离线结算，对交易类型进行分类；
137.第一数据处理模块3，用于对实时到账的交易类型，采用同步数据传输方式，进行数据处理；
138.第二数据处理模块4，用于对离线结算的交易类型，采用异步数据传输方式或文件数据传输方式，进行数据处理；以缓解预付款系统的接口压力，提高预付款系统的数据处理效率。
139.其中，数据识别模块进一步包括：
140.数据过滤单元，用于对获取的交易数据进行标准化字符过滤操作，得到目标交易数据；
141.客体识别单元，用于对所述目标交易数据进行客体识别操作，得到交易客体；
142.数据处理单元，用于调用预设交易类型识别模型对所述目标交易数据中的所述交易客体的交易数据进行处理，得到所述交易客体的交易类型。
143.上述数据识别模块1、数据分类模块2、第一数据处理模块3和第二数据处理模块4的功能及实现方式均如上述实施例一所述，在此不再赘述。
144.实施例三
145.本实施例提供了一种数据处理设备。请参看图3，该数据处理设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，cpu)510(例如，一个或一个以上处理器)和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对数据处理设备500中的一系列指令操作。
146.进一步，处理器510可以设置为与存储介质530通信，在数据处理设备500上执行存储介质530中的一系列指令操作。
147.数据处理设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线的网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如windows serve、vista等等。
148.本领域技术人员可以理解，图3示出的数据处理设备结构并不构成对数据处理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
149.本发明的另一实施例还提供了一种计算机可读存储介质。
150.该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质。该计算机可读存储介质中存储有指令，当该指令在计算机上运行时，使得计算机执行实施例一中的数据处理方法的步骤。
151.数据处理方法如果以程序指令的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件的形式体现出来，该计算机软件存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
152.所属领域的技术人员可以清楚地了解到，为描述得方便和简洁，上述描述的系统及设备的具体执行的识别内容，可以参考前述方法实施例中的对应过程。
153.上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式。即使对本发明作出各种变化，倘若这些变化属于本发明权利要求及其等同技术的范围之内，则仍落入在本发明的保护范围之中。