对账文件的处理方法、装置、电子设备及可读存储介质与流程

1.本发明实施例涉及数据处理技术领域，尤其涉及一种对账文件的处理方法、装置、电子设备及可读存储介质。


背景技术：

2.支付系统在对账时，一般需要按照约定时间获取通道提供方提供的交易记录文件，即对账文件。获取对账文件的方式有很多，其中安全文件传输协议以其速度快、效率高、安全等优点成为通道提供和接收方上传和下载文件的首选。支付系统在获取到指定对账文件后，需要根据通道提供方提供的渠道对账文件存储关系，解析到自身系统的对账单数据，并和平台自身系统交易数据进行核对，而现有技术中，对于对账文件的处理的映射规则没有自适应学习和自动推荐，需要开发人员人工配置。


技术实现要素：

3.本发明实施例提供一种对账文件的处理方法、装置、电子设备及可读存储介质，以解决现有的对账文件处理复杂，效率低的问题。
4.为了解决上述技术问题，本发明是这样实现的：第一方面，本发明实施例提供了一种对账文件的处理方法，包括：获取对账文件，并将所述对账文件存储在本地存储路径中；将所述对账文件解析为字节流，并按预设编码格式将所述字节流进行分隔符分行，生成对应的对账文件二维数组；将所述对账文件二维数组按照预先配置的对账文件的处理规则的映射表进行映射，得到对账文件的执行行为。
5.可选的，所述将所述对账文件二维数组按照预先配置的对账文件的处理规则的映射表进行映射，得到对账文件的执行行为，包括：将所述对账文件二维数组输入规则引擎模型；所述规则引擎模型将所述对账文件映射为渠道表数据，所述渠道表数据包括以下至少一项：对账文件来源通道、字段名、字段序号和字段描述；将所述渠道表数据按照预先配置的对账文件的处理规则的映射表进行映射，输出对账文件的执行行为。
6.可选的，还包括：获取样本对账文件，所述样本对账文件包括实际的所述样本对账文件的执行行为和将历史对账文件解析为字节流，并将所述字节流按预设编码格式进行分隔符分行，生成的对账文件二维数组；将所述样本对账文件输入待训练的规则引擎模型；所述待训练的规则引擎模型将所述样本对账文件映射为渠道表数据，所述渠道表数据包括以下至少一项：对账文件来源通道、字段名、字段序号和字段描述；
将所述渠道表数据根按照据预先配置的对账文件的处理规则的映射表进行映射，得到预测的所述样本对账文件的执行行为；将所述预测的所述样本对账文件的执行行为和实际的所述样本对账文件的执行行为进行比对，并根据比对结果调整所述规则引擎模型的参数。
7.可选的，所述根据文件传输协议的配置在所述对账文件远程路径获取对账文件之前，还包括：获取对账文件基本参数，所述对账文件基本参数包括文件来源通道；根据所述对账文件基本参数获取对应的文件来源通道的文件传输协议的配置；所述文件传输协议的配置包括：文件传输协议的信息、对账文件的远程路径和对账文件的本地存储路径；根据所述文件传输协议的配置在所述对账文件的远程路径中获取对账文件。
8.可选的，所述对账文件基本参数还包括以下至少一项：对账文件日期和文件来源通道的账号。
9.可选的，所述文件传输协议的配置还包括以下至少一项：对账文件的原始文件、用户名、密码和接口地址。
10.第二方面，本发明实施例提供了一种对账文件的处理装置，包括：第一获取模块，用于获取对账文件，并将所述对账文件存储在本地存储路径中；第一处理模块，用于将所述对账文件解析为字节流，并按预设编码格式将所述字节流进行分隔符分行，生成对应的对账文件二维数组；第二处理模块，用于将所述对账文件二维数组按照预先配置的对账文件的处理规则的映射表进行映射，得到对账文件的执行行为。
11.可选的，所述第二处理模块，包括：输入子模块，用于将所述对账文件二维数组输入规则引擎模型；映射子模块，用于所述规则引擎模型将所述对账文件映射为渠道表数据，所述渠道表数据包括以下至少一项：对账文件来源通道、字段名、字段序号和字段描述；处理子模块，用于将所述渠道表数据按照预先配置的对账文件的处理规则的映射表进行映射，输出对账文件的执行行为。
12.可选的，还包括：第二获取模块，用于获取样本对账文件，所述样本对账文件包括实际的所述样本对账文件的执行行为和将历史对账文件解析为字节流，并将所述字节流按预设编码格式进行分隔符分行，生成的对账文件二维数组；输入模块，用于将所述样本对账文件输入待训练的规则引擎模型；第三处理模块，用于所述待训练的规则引擎模型将所述样本对账文件映射为渠道表数据，所述渠道表数据包括以下至少一项：对账文件来源通道、字段名、字段序号和字段描述；第四处理模块，用于将所述渠道表数据根按照据预先配置的对账文件的处理规则的映射表进行映射，得到预测的所述样本对账文件的执行行为；调参模块，用于将所述预测的所述样本对账文件的执行行为和实际的所述样本对账文件的执行行为进行比对，并根据比对结果调整所述规则引擎模型的参数。
13.可选的，还包括：第三获取模块，用于获取对账文件基本参数，所述对账文件基本参数包括文件来源通道；第五处理模块，用于根据所述对账文件基本参数获取对应的文件来源通道的文件传输协议的配置；所述文件传输协议的配置包括：文件传输协议的信息、对账文件的远程路径和对账文件的本地存储路径；第六处理模块，用于根据所述文件传输协议的配置在所述对账文件的远程路径中获取对账文件。
14.可选的，所述对账文件基本参数还包括以下至少一项：对账文件日期和文件来源通道的账号。
15.可选的，所述文件传输协议的配置还包括以下至少一项：对账文件的原始文件、用户名、密码和接口地址。
16.第三方面，本发明实施例提供了一种电子设备，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面中任一项所述的对账文件的处理方法中的步骤。
17.第四方面，本发明实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面中任一项所述的对账文件的处理方法中的步骤。
18.在本发明中，通过将对账文件二维数组转化为渠道表数据，并通过映射规则自适应学习进行系统自动推荐对账文件的执行行为，提高了工作效率。
附图说明
19.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1是本发明实施例提供的一种对账文件的处理方法的流程图；图2是本发明实施例提供的一种对账文件的处理方法的渠道表的示意图；图3是本发明实施例提供的一种对账文件的处理方法的对账文件的处理规则的映射表的示意图；图4是本发明实施例提供的一种对账文件的处理方法的字段映射配置化的流程图；图5是本发明实施例提供的一种对账文件的处理方法的规则引擎模型的结构图；图6是本发明实施例提供的一种对账文件的处理方法的文件传输协议的配置流程图；图7是本发明实施例提供的一种对账文件的处理方法的总体流程图；图8是本发明实施例提供的一种对账文件的处理装置的结构示意图；图9是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
20.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
21.请参考图1，本发明实施例提供了一种对账文件的处理方法，包括：步骤11：获取对账文件，并将所述对账文件存储在本地存储路径中；本发明实施例中，所述根据文件传输协议的配置在所述对账文件远程路径获取对账文件之前，还包括：获取对账文件基本参数，所述对账文件基本参数包括文件来源通道；所述对账文件基本参数还包括以下至少一项：对账文件日期和文件来源通道的账号；支付系统根据一定的频率获取三方通道提供方上传的对账文件的基础参数，所述文件来源通道，例如：支付宝、微信、银联；对账文件日期，例如：20220101；可以指定所述对账文件基本参数，或通过配置来自动加载；对于新接入的通道，开发人员可以通过新增该通道配置参数，避免重复上线，节省开发人员的开发时间，减少了系统上线的成本。
22.根据所述对账文件基本参数获取对应的文件来源通道的文件传输协议的配置；所述文件传输协议的配置包括：文件传输协议的信息、对账文件的远程路径和对账文件的本地存储路径；所述文件传输协议的配置还包括以下至少一项：对账文件的原始文件、用户名、密码和接口地址。
23.对账文件一般存放在对账系统指定的文件传输协议内，通过路径查询和下载文件；请参考表1为所述文件传输协议的配置：渠道是指文件来源通道，如支付宝alipay、微信wxpay、银联bank等；用户名、密码、域名、接口地址和键是文件传输协议的服务器相关配置；对账文件的远程路径是对账文件所在目录，可能是一级目录或者多级目录，对于多级目录，中间路径通常是由对账文件日期或账号组成的，因此需要用所述对账文件基本参数来格式化远程路径字符串；原始文件名是指通道提供方上传的原始对账文件，可以是压缩包，也可以是文本文件；本地路径和目标文件名都是在本地创建的。
渠道用户名密码域名接口键远程路径原始文件名本地路径目标文件名alipayalipay_testxxxxxxx1111 alipay_test/test.zip/alipay/alipay%s.zipwxpaywxpay_testxxxxxxx2222 wxpay_test/%stest_%s/wxpay/wxpay%s%s.txtbankbank_testxxxxxxx2222 bank_test/%stest_%s/bank/bank%s%s.txt
24.表1根据所述文件传输协议的配置在所述对账文件的远程路径中获取对账文件。
25.步骤12：将所述对账文件解析为字节流，并按预设编码格式将所述字节流进行分隔符分行，生成对应的对账文件二维数组；本发明实施例中，将对账文件下载到本地后，对所述对账文件进行解析，生成标准的二维数组；表2为所述文件传输协议的对所述对账文件的解析配置，对账文件名为真正的对账文件，可以直接是原始文件，也可以只是压缩包的一部分；原始文件处理函数将目标对账文件转化为字节流，例如：如果目标文件是文本格式，直接转化成字节流，如果是压缩包格式，需要遍历压缩包文件，如果命中对账文件再转化成字节流；行分隔符为所述对账文件每行末尾的字符或字符串，可以是回车或其他特殊字符加回车，根据行分隔符将字节流分隔为行数据；并根据编码格式解码，对于解码格式可以但不限于使用gbk和utf-8等；并按照
字段分隔符来分隔每一个字段，可以但不限于使用的字段分隔符包括tab个逗号等。
26.步骤13：将所述对账文件二维数组按照预先配置的对账文件的处理规则的映射表进行映射，得到对账文件的执行行为。对账文件名原始文件处理函数编码格式字段分隔符行分隔符alipay_%s.txt,dziphandlergbk\b\nalipay_%s.txt,atxthandlerutf-8,|\n
27.表2在本发明中，通过将对账文件二维数组转化为渠道表数据，并通过映射规则自适应学习进行系统自动推荐对账文件的执行行为，提高了工作效率。
28.本发明实施例中，可选的，所述将所述对账文件二维数组按照预先配置的对账文件的处理规则的映射表进行映射，得到对账文件的执行行为，包括：将所述对账文件二维数组输入规则引擎模型；所述规则引擎是一种嵌入在应用程序中的组件，用于实现将业务决策从应用程序代码中分离出来，并使用预定义的语义模块编写业务决策；所述规则引擎模型将所述对账文件映射为渠道表数据，所述渠道表数据包括以下至少一项：对账文件来源通道、字段名、字段序号和字段描述；将所述渠道表数据按照预先配置的对账文件的处理规则的映射表进行映射，输出对账文件的执行行为。
29.其中，所述渠道表如图2所示，渠道简称为文件来源通道简称，如支付宝alipay、微信wxpay、银联bank等。
30.所述对账文件的处理规则的映射表如图3所示，渠道表字段名为转化后的渠道对应的字段，渠道订单号为来源通道自身的流水号，平台请求号为与系统交互的流水号；表达式为规则引擎执行规则的条件，行为是满足表达式后执行的映射操作，优先级是规则引擎执行规则的优先级，执行顺序一般为由小到大。
31.例如：当来源通道为支付宝alipay并且字段名为business_type时，则执行getnativestringfield行为，getnativestringfield代表对该字段不做任何操作，9代表在二维数据每行数据的字段序号；moneystrtocent64是金额转化，即将字符串转化为以分为单位的64位的整数；genuniqueindexstr为拼接每一笔流水的唯一键；getselfmapfield用于映射转化。
32.请参考图4，本发明实施例中，字段映射配置化的具体流程为：初始化字段映射配置，包括：配置原始字段表和映射规则；新建渠道记录，即获取所述对账文件二维数组；指定参数字段直接赋值，即根据对账文件基本参数配置渠道表；遍历映射规则，即按照预先配置的对账文件的处理规则的映射表进行映射，所述映射规则即对账文件的处理规则的映射表；若对应的所述对账文件的处理规则的映射表中有对应的对账文件的执行行为，则按照所述映射规则中的执行行为将原始字段转化为渠道表字段，重新遍历映射规则；若对应的所述对账文件的处理规则的映射表中没有对应的对账文件的执行行为，则执行默认对应关系，重新遍历映射规则。
33.本发明实施例中，可选的，还包括对所述规则引擎模型进行训练，具体包括：获取样本对账文件，所述样本对账文件包括实际的所述样本对账文件的执行行为和将历史对账文件解析为字节流，并将所述字节流按预设编码格式进行分隔符分行，生成的对账文件二维数组；将所述样本对账文件输入待训练的规则引擎模型；所述待训练的规则引擎模型将所述样本对账文件映射为渠道表数据，所述渠道表数据包括以下至少一项：对账文件来源通道、字段名、字段序号和字段描述；将所述渠道表数据根按照据预先配置的对账文件的处理规则的映射表进行映射，得到预测的所述样本对账文件的执行行为；将所述预测的所述样本对账文件的执行行为和实际的所述样本对账文件的执行行为进行比对，并根据比对结果调整所述规则引擎模型的参数。
34.其中，所述规则引擎模型如图5所示，用户通过规则引擎api（application program interface，应用程序界面）的用户接口进行规则编写及测试调试，所述规则引擎api同时能够读取外部组件和外部应用；规则引擎核心获取规则存储库中的规则，并通过规则管理器和接口引擎执行上下文，执行事项并存储工作内存。
35.本发明实施例中，基于深度学习算法增加一种自适应学习和自动推荐的方法，基于深度学习的文本分类算法利用历史对账文件来训练一个自适应模型，输入为对账文件原始字段，例如金额、交易时间等，输出的类别为对应的对账文件的执行行为，并可以根据文本分类的结果，选择准确率前三的行为进行自动推荐。
36.请参考图6，本发明实施例中，根据所述文件传输协议的配置对所述对账文件的处理具体包括：初始化文件传输协议配置，即根据所述对账文件基本参数获取对应的文件来源通道的文件传输协议的配置；所述文件传输协议的配置包括：文件传输协议的信息、对账文件的远程路径和对账文件的本地存储路径；所述文件传输协议的配置还包括以下至少一项：对账文件的原始文件、用户名、密码和接口地址；根据所述文件传输协议的配置新建文件传输协议连接；打开远程文件；新建本地文件路径；将远程文件写到本地目录；即根据所述文件传输协议的配置在所述对账文件的远程路径中获取对账文件；加载文件传输协议解析配置，即根据表2的所述文件传输协议的对所述对账文件的解析配置进行解析；根据原始文件处理函数，将本地文件处理为字节流；按行分隔符分行；遍历每一行，按编码格式和字段分隔符存储到二维数组中，即对账文件下载到本地后，对所述对账文件进行解析，生成标准的二维数组。
37.请参考图7，所述对账文件的处理方法的总体流程为：获取对账文件基本参数；获取对应的文件传输协议的配置，即根据所述对账文件基本参数获取对应的文件来源通道的文件传输协议的配置；将原始文件复制到本地路径，即根据所述文件传输协议的配置在所述对账文件的远程路径中获取对账文件；
将所述对账文件解析为字节流，并按预设编码格式将所述字节流进行分隔符分行，生成对应的对账文件二维数组；对于所述字节流的处理可以选择根据渠道原始字段表将所述字节流转为字符保存到带有标题行的csv（comma-separated values，字符分隔值）文件中，并上传到云盘；或按渠道字段映射关系将字节流映射到渠道订单结构，并按渠道订单入库，即将所述对账文件二维数组按照预先配置的对账文件的处理规则的映射表进行映射，得到对账文件的执行行为。
38.本发明实施例中，通过将文件传输协议和对账来源通道字段的映射关系配置化，并解析配置信息，操作对账文件和对账解析数据，支持新增业务或变更业务时不上线、不写定制代码，只写配置信息就可以支持通道的对账文件解析入库；同时基于机器学习算法，增加了系统自动推荐映射规则的方法，减少了开发人员配置映射规则的时间成本。
39.请参考图8，本发明实施例提供了一种对账文件的处理装置，包括：第一获取模块81，用于获取对账文件，并将所述对账文件存储在本地存储路径中；第一处理模块82，用于将所述对账文件解析为字节流，并按预设编码格式将所述字节流进行分隔符分行，生成对应的对账文件二维数组；第二处理模块83，用于将所述对账文件二维数组按照预先配置的对账文件的处理规则的映射表进行映射，得到对账文件的执行行为。
40.本发明实施例中，可选的，所述第二处理模块，包括：输入子模块，用于将所述对账文件二维数组输入规则引擎模型；映射子模块，用于所述规则引擎模型将所述对账文件映射为渠道表数据，所述渠道表数据包括以下至少一项：对账文件来源通道、字段名、字段序号和字段描述；处理子模块，用于将所述渠道表数据按照预先配置的对账文件的处理规则的映射表进行映射，输出对账文件的执行行为。
41.本发明实施例中，可选的，还包括：第二获取模块，用于获取样本对账文件，所述样本对账文件包括实际的所述样本对账文件的执行行为和将历史对账文件解析为字节流，并将所述字节流按预设编码格式进行分隔符分行，生成的对账文件二维数组；输入模块，用于将所述样本对账文件输入待训练的规则引擎模型；第三处理模块，用于所述待训练的规则引擎模型将所述样本对账文件映射为渠道表数据，所述渠道表数据包括以下至少一项：对账文件来源通道、字段名、字段序号和字段描述；第四处理模块，用于将所述渠道表数据根按照据预先配置的对账文件的处理规则的映射表进行映射，得到预测的所述样本对账文件的执行行为；调参模块，用于将所述预测的所述样本对账文件的执行行为和实际的所述样本对账文件的执行行为进行比对，并根据比对结果调整所述规则引擎模型的参数。
42.本发明实施例中，可选的，还包括：第三获取模块，用于获取对账文件基本参数，所述对账文件基本参数包括文件来源通道；第五处理模块，用于根据所述对账文件基本参数获取对应的文件来源通道的文件
传输协议的配置；所述文件传输协议的配置包括：文件传输协议的信息、对账文件的远程路径和对账文件的本地存储路径；第六处理模块，用于根据所述文件传输协议的配置在所述对账文件的远程路径中获取对账文件。
43.本发明实施例中，可选的，所述对账文件基本参数还包括以下至少一项：对账文件日期和文件来源通道的账号。
44.本发明实施例中，可选的，所述文件传输协议的配置还包括以下至少一项：对账文件的原始文件、用户名、密码和接口地址。
45.本发明实施例提供的对账文件的处理装置能够实现图1的方法实施例实现的各个过程，并达到相同的技术效果，为避免重复，这里不再赘述。
46.本发明实施例提供了一种电子设备90，参见图9所示，图9为本发明实施例电子设备90的原理框图，包括处理器91，存储器92及存储在存储器92上并可在处理器91上运行的程序或指令，程序或指令被处理器执行时实现本发明的任一项对账文件的处理方法中的步骤。
47.本发明实施例提供了一种可读存储介质，可读存储介质上存储程序或指令，程序或指令被处理器执行时实现如上述任一项的对账文件的处理方法的实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
48.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体,可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (pram)、静态随机存取存储器 (sram)、动态随机存取存储器 (dram)、其他类型的随机存取存储器 (ram)、只读存储器 (rom)、电可擦除可编程只读存储器 (eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器 (cd-rom)、数字多功能光盘 (dvd) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。
49.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
50.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
51.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如rom/ram、磁碟、光盘）中，包括若干指令用以使得一台服务分类设备（可以是手机，计算机，服务器，空调器，或者网络设备等）执行本技术各个实施例所述的方法。
52.以上所述仅是本技术的优选实施方式，应当指出，对于本技术领域的普通技术人
员来说，在不脱离本技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本技术的保护范围。