银行资金流水数据的去重方法与流程

1.本发明涉及一种银行资金数据的清洗，尤其是一种银行资金流水数据的去重方法。


背景技术：

2.在目前的税务稽查等多种工作场合中，一般需要调取银行资金流水数据，在实际的调取时，调取的银行资金流水数据存在多种格式与多种渠道的情况。为了便于后续的处理，一般需要将调取的银行资金流水数据转换成收付款格式。在转换成收付款格式时，当银行资金流水数据缺少交易时间数据时，由于收付款格式的特性可知，会导致转换后收付款的格式数据会存在重复的情况。
3.当利用重复的收付款格式数据用于案情研判等情况时，会严重影响实际案情研判的准确性与可靠性，难以满足实际的数据使用需求。


技术实现要素：

4.本发明的目的是克服现有技术中存在的不足，提供一种银行资金流水数据的去重方法，其对缺少交易时间银行资金流水数据，能有效去除银行资金流水数据中的重复数据，满足实际银行资金流水数据的使用需求，安全可靠。
5.按照本发明提供的技术方案，所述银行资金流水数据的去重方法，所述去重方法包括如下步骤：
6.步骤1、提供收付款格式的资金流水数据，当检查确认所述收付款格式资金流水数据存在重复时，跳转至步骤2，否则，跳转至步骤8；
7.步骤2、将收付款格式的资金流水数据按交易日期排序，并将排序后第一位的资金流水数据存储于建立的有效资金流水数据集内，且作为当前有效资金流水数据；
8.步骤3、将排序后紧邻当前有效资金流水数据的资金流水数据与有效资金流水数据集内所有的有效资金流水数据比较，若所述资金流水数据与任一有效资金流水数据完全一致时，则将当前的资金流水数据存储于建立的疑似资金流水数据集内，否则，跳转至步骤4；
9.步骤4、计算经当前的资金流水数据后的交易后余额，所述交易后余额为当前有效资金流水数据后的资金余额与当前的资金流水数据对应的交易金额之和；且在计算得到交易后余额后，将当前的资金流水数据存储于有效资金流水数据集内，并作为当前有效资金流水数据；
10.步骤5、重复上述步骤3以及步骤4，直至将排序末尾的资金流水数据分配存储至疑似资金流水数据集或有效资金流水数据集内，且得到一期末余额；当期末余额与账户卡内余额相一致时，跳转至步骤6，否则，跳转至步骤7；
11.步骤6、将疑似资金流水数据集内的资金流水数据作为重复资金流水数据删除，并跳转至8；
12.步骤7、判断疑似资金流水数据集内的资金流水数据为非重复资金流水数据，并跳转至步骤8；
13.步骤8、去重结束。
14.步骤1中，检查确认收付款格式资金流水数据存在重复的过程包括如下步骤：
15.步骤1.1、根据收付款格式资金流水数据的交易日期，确定资金流水数据中的每天重复项比率nx，并根据每天重复项比率nx确定存在重复数据的天数dx；
16.步骤1.2、当重复数据天数dx大于1或者每天重复项比率nx大于重复项比率阈值时，则能确定收付款格式的资金流水数据存在重复。
17.所述每天重复项比率nx为在同一交易日期下重复交易金额的数量/在当前交易日期下的总交易流水数。
18.所述收付款格式的资金流水数据包括交易日期、交易对手、交易金额以及收付标记。
19.在步骤5中，当期末余额与账户卡内余额不等时，将疑似资金流水数据集内所有流水资金数据内的交易金额与期末余额累加，若所述累加之和卡内余额相等时，则执行步骤7，否则，跳转至步骤6。
20.本发明的优点：对缺少交易时间银行资金流水数据，能有效去除银行资金流水数据中的重复数据，满足实际银行资金流水数据的使用需求，安全可靠。
附图说明
21.图1为本发明检查确认收付款格式资金流水是否存在重复的流程图。
22.图2为本发明的去重流程图。
具体实施方式
23.下面结合具体附图和实施例对本发明作进一步说明。
24.如图2所示：对缺少交易时间银行资金流水数据，为了能有效去除银行资金流水数据中的重复数据，满足实际银行资金流水数据的使用需求，本发明的去重方法包括如下步骤：
25.步骤1、提供收付款格式的资金流水数据，当检查确认所述收付款格式资金流水数据存在重复时，跳转至步骤2，否则，跳转至步骤8；
26.具体地，所述收付款更是的资金流水数据可以采用现有常用的技术手段转换得到，对于任一资金流水数据，所述收付款格式的资金流水数据包括交易日期、交易对手、交易金额以及收付标记，即所述收付款格式的资金流水数据内缺少交易时间信息。
27.如图1所示，为检查确认收付款格式的资金流水数据是否存在重复的流程图，具体地，所述检查确认流程包括：
28.步骤1.1、根据收付款格式资金流水数据的交易日期，确定资金流水数据中的每天重复项比率nx，并根据每天重复项比率nx确定存在重复数据的天数dx；
29.具体地，所述每天重复项比率nx为在同一交易日期下重复交易金额的数量/在当前交易日期下的总交易流水数，其中，由于资金流水数据内具有交易日期的信息，因此，根据交易日期能方便统计得到同一交易日期下重复交易金额的数量，而同一交易日期下的总
交易流水数也能直接统计得到，因此，能得到每天重复项比率nx。
30.步骤1.2、当重复数据天数dx大于1或者每天重复项比率nx大于重复项比率阈值时，则能确定收付款格式的资金流水数据存在重复。
31.具体地，重复项比率阈值可以根据实际需要选择确认，一般地重复项比率阈值可设置为20％，即每天重复项比率nx大于0.2时，或者重复数据天数dx大于时，均可直接确认收付款格式的资金流水数据存在重复的情况，需要进行后续的去重步骤，否则，即可确认所有的资金流水数据不需要进行去重，可以直接使用。
32.步骤2、将收付款格式的资金流水数据按交易日期排序，并将排序后第一位的资金流水数据存储于建立的有效资金流水数据集内，且作为当前有效资金流水数据；
33.具体地，由上述说明可知，由于存在交易日期，因此，可以根据交易日期能直接排序，一般地，交易日期即为包含年-月-日的日期，排序时，为日期的升序排序，第一位的资金流水数据即为某一银行卡进行第一笔交易的数据，具体为本技术领域人员所熟知，此处不再赘述。
34.建立的有效资金流水数据集可以为常用的数据库等形式，具体可以根据实际需要选择，此处不再赘述。当第一位的资金流水数据存储于有效资金流水数据集内后，即可作为当前有效资金流水数据，当前有效资金流水数据作为后续去重比较的基础。
35.步骤3、将排序后紧邻当前有效资金流水数据的资金流水数据与有效资金流水数据集内所有的有效资金流水数据比较，若所述资金流水数据与任一有效资金流水数据完全一致时，则将当前的资金流水数据存储于建立的疑似资金流水数据集内，否则，跳转至步骤4；
36.具体地，当第一位的资金流水数据为当前有效资金流水数据时，则排序后紧邻当前有效资金流水数据的资金流水数据即为第二位的资金流水数据，其余的情况依次类推。对于有效资金流水数据集内的资金流水数据均为有效资金流水数据，而有效资金流水数据集内的最新存入的资金流水数据作为当前有效资金流水数据。
37.本发明实施例中，在比较时，将排序后紧邻当前有效资金流水的资金流水与所有的有效资金流水数据比较，资金流水数据与任一有效资金流水数据完全一致，具体是指两者的交易日期、交易金额、交易对手以及收付标记完全相同，当其中存在一个不同时，则认为不同。
38.具体地，当资金流水数据与一有效资金流水数据完全一致时，则可认为是疑似重复的数据，此时，将当前的资金流水数据存储在疑似资金流水数据集内。疑似资金流水数据集的具体情况可以参考有效资金流水数据集的说明，此处不再赘述。
39.当资金流水数据与所有的有效资金流水数据均不完全相同时，则需要跳转至步骤4内。
40.步骤4、计算经当前的资金流水数据后的交易后余额，所述交易后余额为当前有效资金流水数据后的资金余额与当前的资金流水数据对应的交易金额之和；且在计算得到交易后余额后，将当前的资金流水数据存储于有效资金流水数据集内，并作为当前有效资金流水数据；
41.具体地，计算交易后余额，所述交易后余额为当前有效资金流水数据后的资金余额与当前的资金流水数据对应的交易金额之和。如第一位的资金流水数据为有效资金流水
数据，且第二位的资金流水数据与第一位的资金流水数据不完全相同时，则需要计算经第二位的资金流水数据后的交易后余额，即计算第一位的资金流水数据后的资金余额与第二位资金流水数据对应的交易金额之和，当然，所述交易金额与收付标记相关，当收付标记收时，则为数值的直接累加，当收付标记为付时，则第二位的资金流水数据对应的交易金额为相应的负值，具体为本技术领域人员所熟知，此处不再赘述。
42.本发明实施例中，当计算得到挤压后余额后，将当前的资金流水数据存储于有效资金流水数据内，并作为当前有效资金流水数据，如将第二位的资金流水数据存储于有效资金流水数据集内后，当前有效资金流水数据为第二位的资金流水数据，第一位的资金流水数据仅作为有效资金流水数据存储于有效资金流水数据集内。
43.具体实施时，交易后余额作为后续的资金余额，如将第二位的资金流水数据存储于有效资金流水数据集内且作为当前有效资金流水数据时，第三位的资金流水数据或后续的其他的资金流水数据在执行步骤4时，当前有效资金流水数据后的资金余额即为交易后余额，其余的情况依次依次类推，此处不再一一举例说明。
44.步骤5、重复上述步骤3以及步骤4，直至将排序末尾的资金流水数据分配存储至疑似资金流水数据集或有效资金流水数据集内，且得到一期末余额；当期末余额与账户卡内余额相一致时，跳转至步骤6，否则，跳转至步骤7；
45.具体地，排序后的资金流水数据存在多个，需要重复上述步骤3以及步骤4，直至将排序末尾的资金流水数据配存储至疑似资金流水数据集或有效资金流水数据集内。本发明实施例中，得到的期末余额即为步骤4计算得到的交易后余额。其中，当最末尾的资金流水数据分配至有效资金流水数据集内时，则期末余额即为利用最末尾资金流水数据对应的交易金额计算得到的交易后余额，否则，即为最后一个分配至有效资金流水数据集内的资金流水数据对应的交易金额计算得到的交易后余额，具体为本技术领域人员所熟知，此处不再赘述。
46.步骤6、将疑似资金流水数据集内的资金流水数据作为重复资金流水数据删除，并跳转至8；
47.具体地，当期末余额与账户卡内余额相一致时，则认为疑似资金流水数据集内的资金流水数据为重复的资金流水数据，需要删除，在删除后跳转至步骤8。其中账户卡内余额，为账户的基本信息，可以直接获取得到，具体为本技术领域人员所熟知，此处不再赘述。
48.步骤7、判断疑似资金流水数据集内的资金流水数据为非重复资金流水数据，并跳转至步骤8；
49.具体地，当期末余额与账户卡内余额不一致时，一般不能直接认为疑似资金流水数据集内的资金流水数据为重复资金流速数据。
50.本发明实施例中，当期末余额与账户卡内余额不等时，将疑似资金流水数据集内所有流水资金数据内的交易金额与期末余额累加，若所述累加之和卡内余额相等时，则执行步骤7，否则，跳转至步骤6。
51.步骤8、去重结束。
52.具体地，去重结束时，即可实现对所有缺少交易时间的银行资金流水数据去重完成。