反洗钱识别方法、装置、计算机设备及存储介质与流程

1.本发明涉及人工智能技术领域，特别涉及一种反洗钱识别方法、装置、计算机设备及存储介质。


背景技术：

2.网络经济和电子商务的快速发展在其为人们便利的同时，其隐匿、快速的特点很容易成为犯罪分子转移非法资金的重要途径。因此，对网络金融活动反洗钱问题进行识别和防范具有重要意义。现有的洗钱识别方案是基于公安部、外交部等指定的洗钱高风险人员名单识别监控，并基于已被发现的反洗钱案件人工进行特征分析，制定规则，以筛选出疑似洗钱交易。然而，由于每天交易数据庞大,涉嫌洗钱交易用户情形复杂，疑似洗钱判定特征不明显，因此难以有针对性地指定合理的识别规则。同时由于涉嫌洗钱交易(正样本)的样本量极少，分析和抽象出规律较为困难，因此对可疑交易监测分析的可利用性较低，现实应用效果不佳。


技术实现要素：

3.本发明的目的是提供一种能够准确及时地识别出交易行为中洗钱风险的技术方案，以解决现有技术中存在的洗钱样本量低以及对洗钱交易识别效果不佳的问题。
4.为实现上述目的，本发明提供一种反洗钱识别方法，包括以下步骤：
5.获取多个用户的交易记录样本，对所述交易记录样本进行预处理以符合第一规则要求；其中，所述第一规则要求包括样本数量要求、样本平滑度要求、样本稀疏性要求以及正负样本比例要求中的任意一项或多项；
6.获取所述交易记录样本中包含第一样本特征，利用卷积神经网络训练预备识别模型，根据所述预备识别模型对第一样本特征的输出数据从所述第一样本特征中选取第二样本特征；其中，所述第一样本特征的数量大于所述第二样本特征的数量；
7.利用lightgbm模型和catboost模型从所述第二样本特征中选取第三样本特征，其中，所述第二样本特征的数量大于所述第三样本特征的数量；
8.利用所述第三样本特征分别对所述cnn模型、所述lgb模型以及catboost模型进行训练，以得到第一识别模型、第二识别模型和第三识别模型；
9.将目标用户的当前交易记录分别输入所述第一识别模型、所述第二识别模型和所述第三识别模型，根据所述第一识别模型、所述第二识别模型和所述第三识别模型的输出结果确定所述目标用户的交易行为是否存在洗钱风险。
10.根据本发明提供的反洗钱识别方法，所述获取多个用户的交易记录样本，对所述交易记录样本进行预处理以符合第一规则要求的步骤包括：
11.基于pac算法，确定所述预备识别模型的输出达到第一精度时所需要的第一样本数量；
12.获取第一样本数量的所述交易记录样本，对所述交易记录样本进行归一化处理；
13.对经过归一化处理的所述交易记录样本进行不同维度的组合，得到交易组合样本；
14.基于数据增强算法增加所述交易组合样本中包含的正样本数量，以使所述交易组合样本中的正样本数量和负样本数量的比值达到第一比例；其中，所述正样本指的是确定存在洗钱风险的样本。
15.根据本发明提供的反洗钱识别方法，所述基于数据增强算法增加所述交易组合样本中包含的正样本数量的步骤包括：
16.确定所述交易组合样本中已有的第一正样本的第一分布规律；
17.根据所述第一分布规律生成新的第二正样本；所述第二正样本的第二分布规律和所述第一分布规律相匹配。
18.根据本发明提供的反洗钱识别方法，所述获取所述交易记录样本中包含第一样本特征，利用卷积神经网络训练预备识别模型，根据所述预备识别模型对于所述第一样本特征的输出数据从所述第一样本特征中选取第二样本特征的步骤包括：
19.利用多种特征评估算法确定所述第一样本特征对于所述预备识别模型的重要程度排序，以获得多个排序列表；
20.根据所述多个排序列表中包含的第一样本特征中筛选所述第二样本特征。
21.根据本发明提供的反洗钱识别方法，所述利用lightgbm模型和catboost模型从所述第二样本特征中选取第三样本特征的步骤包括：
22.利用所述第二样本特征及对应的识别结果分别训练lightgbm模型和catboost模型，以获得所述第二样本特征对于所述lightgbm模型的重要程度排序列表，以及所述第二样本特征对于所述catboost模型的重要程度排序列表；
23.根据所述lightgbm模型的重要程度排序列表和所述catboost模型的重要程度排序列表筛选所述第三样本特征。
24.根据本发明提供的反洗钱识别方法，所述利用所述第三样本特征分别对所述cnn模型、所述lgb模型以及catboost模型进行训练，以得到第一识别模型、第二识别模型和第三识别模型的步骤包括：
25.根据所述多个用户的第一时期交易样本训练分别训练所述第一识别模型或第二识别模型或第三识别模型；
26.获取所述第一识别模型或第二识别模型或第三识别模型输出数据的概率分布；
27.根据所述概率分布对所述第一识别模型或第二识别模型或第三识别模型的内部参数进行调整，以使所述概率分布的宽度大于第一分布宽度。
28.根据本发明提供的反洗钱识别方法，所述根据所述第一识别模型、所述第二识别模型和所述第三识别模型的输出结果确定所述目标用户的交易行为是否存在洗钱风险的步骤包括：
29.当所述第一识别模型或所述第二识别模型或所述第三识别模型的输出结果中的任一个大于预设风险阈值时，确定所述目标用户的当前交易记录存在洗钱风险。
30.为实现上述目的，本发明还提供一种反洗钱识别装置，包括：
31.样本获取模块，适用于获取多个用户的交易记录样本，对所述交易记录样本进行预处理以符合第一规则要求；其中，所述第一规则要求包括样本数量要求、样本平滑度要
求、样本稀疏性要求以及正负样本比例要求中的任意一项或多项；
32.第一特征评估模块，适用于获取所述交易记录样本中包含第一样本特征，利用卷积神经网络训练预备识别模型，根据所述预备识别模型的输出从所述第一样本特征中选取第二样本特征；其中，所述第一样本特征的数量大于所述第二样本特征的数量；
33.第二特征评估模块，适用于利用lightgbm模型和catboost模型从所述第二样本特征中选取第三样本特征，其中，所述第二样本特征的数量大于所述第三样本特征的数量；
34.模型训练模块，适用于利用所述第三样本特征分别对所述cnn模型、所述lgb模型以及catboost模型进行训练，以得到第一识别模型、第二识别模型和第三识别模型；
35.风险识别模块，适用于将目标用户的当前交易记录分别输入所述第一识别模型、所述第二识别模型和所述第三识别模型，根据所述第一识别模型、所述第二识别模型和所述第三识别模型的输出结果确定所述目标用户的交易行为是否存在洗钱风险。
36.为实现上述目的，本发明还提供一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
37.为实现上述目的，本发明还提供计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
38.本发明提供的反洗钱识别方法、装置、计算机设备及存储介质，提供了一种功能强大同时适用于高维特征模拟的洗钱风险识别技术。在样本采集环节，本发明考虑样本数量、样本平滑度、样本稀疏性以及正负样本比例等情况，实现精准合理采样并保证样本的高可用性。通过特征融合技术，本发明在保持特征信任度的同时实现样本数据的特征降维，使复杂问题简单化，有利于提高识别效率。本发明同时利用神经网络模型和树状模型训练洗钱识别模型，可以更加准确完善地预测洗钱交易风险，从而有效提高风险预测识别的可靠性。
附图说明
39.图1为本发明的反洗钱识别方法实施例一的流程图；
40.图2为本发明的反洗钱识别装置实施例一的程序模块示意图；
41.图3为本发明的反洗钱识别装置实施例一的硬件结构示意图。
具体实施方式
42.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
43.实施例一
44.请参阅图1，本实施例提出一种反洗钱识别方法，包括以下步骤：
45.s100：获取多个用户的交易记录样本，对所述交易记录样本进行预处理以符合第一规则要求；其中，所述第一规则要求包括样本数量要求、样本平滑度要求、样本稀疏性要求以及正负样本比例要求中的任意一项或多项。
46.用户的记录样本可以包括从任意电子商务网站中获取的用户订单记录，该订单记
录中可以包括用户id、用户地理位置、交易产品类型、交易数量、交易金额等信息。进一步，用户的记录样本可以根据时间段进行统计计算，例如用户在过去10、30、90天交易量信息，或者用户在过去10、30、90天内的交易量最大值、最小值或均值等信息。
47.可以通过pac(probably approximately correct，很可能接近正确的)算法确定要采集的交易记录样本的数量。pac算法提供了机器学习模型的预测精度与样本数量之间的对应关系，通过pac算法，可以根据预设的第一精度来计算需要的交易记录样本的总数量。本实施例中的第一精度指的模型输出与样本标签之间的预设精准程度，例如80％，90％等。一般情况下，样本数量越大，模型泛化误差越小，但同时处理速度越慢。本实施例通过pac算法确定合理的交易记录样本数量，从而可以在保证模型泛化误差较小的情况下具有较快的数据处理速度。
48.当交易样本数据之间的差异较大时，会导致内部隐藏信息失真。为此本实施例可以对样本数据进行归一化处理以使数据相对平滑，例如通过softmax函数或者divided_min函数对原始的交易样本数据进行处理以提高其平滑性。
49.进一步，本实施例可以对经过归一化处理的交易记录样本进行不同维度的组合，得到交易组合样本。假设经过归一化处理的交易记录样本包括第1类样本数据、第2类样本数据、
……
、第n类样本数据，通过对上述样本数据进行不同方式的组合，可以获得不同的交易组合样本。例如将第1类样本数据、第2类样本数据和第3类样本数据合并得到第一交易组合样本；将第4类样本数据、第5类样本数据和第6类样本数据合并得到第二交易组合样本；
……
将第n-2类样本数据、第n-1类样本数据和第n类样本数据合并得到第n/3交易组合样本。通过将交易记录样本进行组合，可以缓解原交易记录样本的稀疏性问题，有利于提高模型训练的准确性。
50.可以理解，由于洗钱交易行为本身属于违法操作，因此实际对应的交易记录样本即正样本的数量较少，这样会导致正负样本的比例不均衡，影响识别模型的预测准确度。为此，本实施例可以通过自动增加正样本数量的方式，使得正样本数量和负样本数量的比值满足预设的第一比例。增加正样本数量的具体方法可以根据样本分布情况实现。例如，首先确定交易组合样本中已有的第一正样本的第一分布规律，然后根据第一分布规律生成新的第二正样本，其中第二正样本的第二分布规律和所述第一分布规律相匹配。第一分布规律和第二分布规律例如可以根据数据点之间的欧式距离进行计算，例如分别计算第一正样本中相邻数据点之间的欧式距离，并根据该欧式距离生成符合同样距离分布的第二正样本。
51.s200：获取所述交易记录样本中包含第一样本特征，利用卷积神经网络训练预备识别模型，根据所述预备识别模型的输出从所述第一样本特征中选取第二样本特征；其中，所述第一样本特征的数量大于所述第二样本特征的数量。
52.可以理解，用户的原始交易记录样本中可以包含多种第一样本特征以及根据实际交易记录确定的本次交易是否违规标签，第一样本特征可以包括例如用户id、用户地理位置、交易产品类型、交易数量、交易金额、所使用设备型号等，是否违规标签可以通过1或0来表示，例如1表示违规，0表示不违规。在一个示例中，上述第一样本特征的维度可以高达600以上。
53.本步骤用于通过特征评估对交易记录样本进行初次降维。具体的，可以在利用第一样本特征训练卷积神经网络的过程中，利用lime、shaply等现有的特征评估方法对第一
样本特征相对于卷积神经网络的重要程度进行排序。根据现有技术，利用第一样本特征训练卷积神经网络的过程可以包括：
54.对卷积神经网络的隐含层中各个因子的权重值进行初始化；
55.将第一样本特征作为输入数据输入上述卷积神经网络，以获得卷积神经网络的输出数据；该输出数据用于表征交易风险概率，可以用0到1之间的任意数值表示；
56.计算输出数据和是否违规标签之间的误差值，不断更新卷积神经网络中的上述权重值，以使误差值小于预设的期望值；
57.在误差值小于期望值的情况下，固定当前权重值以作为训练完成的预备识别模型。
58.假设每训练一次卷积神经网络可以得到一个排序列表，这样当进行多次训练时，就可以得到多个排序列表。进一步，可以根据多个排序列表中的特征排列顺序进行筛选，得到第二样本特征。例如选取每个排序列表中的前50个特征，将所有排序列表中选择出的前50个特征取并集，以得到对应的第二样本特征。本领域技术人员理解，上述选择额前50个特征取并集的方式仅仅是一种示例，而非作为限定。本领与技术人员可以通过任意其他方式从第一样本特征中筛选第二样本特征。显然，第二样本特征的数量小于第一样本特征的数量。
59.s300：利用lightgbm模型和catboost模型从所述第二样本特征中选取第三样本特征，其中，所述第二样本特征的数量大于所述第三样本特征的数量。
60.lightgbm模型和catboost模型作为树形模型，本身可以在训练过程中评估特征重要性。上述两个模型的算法原理相似，通常是递归地从多个样本特征中选择最优特征，并根据该特征对训练数据进行分割，使得对各个子数据集有一个最好的分类的过程。lightgbm模型和catboost模型的计算过程中相似，只不过catboost模型可以直接支持字符串类型的样本特征。本步骤利用筛选出的第二样本特征分别训练lightgbm模型和catboost模型，并根据模型训练过程中获得的重要程度排序列表进行再次降维。同样的，假设每训练一次lightgbm模型或catboost模型可以得到一个排序列表，这样当进行多次训练时，就可以得到多个排序列表。进一步，可以根据多个排序列表中的特征排列顺序进行筛选，得到第三样本特征。显然，第三样本特征的数量小于第二样本特征的数量。
61.本领域技术人员理解，树形模型的训练过程本质就是为不同样本特征划分不同的类别。因此在训练之前，本实施例首先为第二样本特征添加不同的分类标签，该分类标签可以根据不同的划分要求预先设定，例如分类标签00代表划分到第一类，分类标签01代表划分到第二类，分类标签10代表划分到第三类，等等。根据现有技术，上述lightgbm模型或catboost模型的训练过程如下：
62.构建根结点，将所有第二样本特征都放在根结点中；
63.从第二样本特征中选择一个最优特征，按照该最优特征将所有第二样本特征分割成两个或两个以上子集，使得各个子集有一个在当前条件下最优分类；
64.构建叶结点，并将每个子集分到所对应的叶结点中；
65.从叶结点包含的子集中选择一个最优特征，按照该最优特征将对应子集中的样本特征分割成两个或两个以上子子集，使得各个子子集有一个在当前条件下最优分类；
66.按照上述步骤递归地进行下去，直至所有样本特征被基本正确分类。
67.上述子集及子子集对应不同的分类标签。通过计算lightgbm模型或catboost模型输出的分类概率和预设的分类标签之间的损失函数，并通过调整上述分类规则以使损失函数最小化。当损失函数达到最小化时，lightgbm模型或catboost模型训练完成。
68.s400：利用所述第三样本特征分别对所述卷积神经网络、所述lightgbm模型和所述catboost模型进行训练，以得到第一识别模型、第二识别模型和第三识别模型。
69.在确定了第三样本特征的基础上，本实施例利用第三样本特征重新训练。得益于卷积过滤器共享权重，卷积神经网络的卷积层有先天的抗过拟合优势，这使得不太注重选择训练过程中的局部特质。池化层极大减少权重参数，另外卷基层 池化层具有平移不变性，意味着训练模型时候特征的顺序相对比较宽松。上述特性使得通过卷积神经网络训练的第一识别模型具有强大的拟合能力及特征提取和抽象能力。
70.本实施例进一步采用lightgbm模型和catboost模型进行训练得到第二识别模型和第三识别模型。其中lightgbm模型的训练过程中使用l1 l2正则算法，catboost模型的训练过程中使用l2正则算法。相比于卷积神经网络，lightgbm模型和catboost模型的训练速度更快，泛化能力更强。因此，训练后的第二识别模型和第三识别模型相对于第一识别模型具有各自不同的优越性。
71.关于卷积神经网络模型、lightgbm模型以及catboost模型的具体训练过程已在前文中进行了介绍，此处不再赘述。
72.在对上述模型进行训练的过程中，可以不断利用第一时期内的数据对模型进行参数优化，使得洗钱的预测压缩在较高的proba(预测结果值)范围内，且正常交易保持在较小proba范围内，获得较宽的安全阈值空间，这样保证预测误报数较小。具体的，可以在训练过程中获取所述第一识别模型或第二识别模型或第三识别模型输出数据的概率分布，即输出数据最大值与最小值之间的范围，例如0.3～0.7，或0.1～0.9。显然0.1～0.9的概率分布具有更大的分布宽度，相应的预测差异性更强，更有利于区分是否存在洗钱风险。因此，本实施例可以进一步根据上述概率分布对所述第一识别模型或第二识别模型或第三识别模型的内部参数进行调整，以使所述概率分布的宽度大于第一分布宽度，例如使得预测数据的最大值和最小值之差大于0.8。本领域技术人员可以理解，上述分布宽度除了通过极值进行表示之外，还可以通过均值、均方值、平方值等其它数学形式进行表示，本发明对此不做限制。
73.其中，第一时期内的数据指的是距离模型训练时刻最近一段时间内产生的交易数据记录，例如最近一周内的数据记录，最近三天的数据记录等。可以理解，第一时期数据相对于历史数据而言具有更大的参考价值，通过调整参数和训练数据比例，保证在历史数据洗钱预测精确度和召回率高的前提下，近期洗钱预测全部准确，正常交易误报少。
74.s500：将目标用户的当前交易记录分别输入所述第一识别模型、所述第二识别模型和所述第三识别模型，根据所述第一识别模型、所述第二识别模型和所述第三识别模型的输出结果确定所述目标用户的交易行为是否存在洗钱风险。
75.具体的，可以为每一个识别模型设置同样的或不同的预设风险阈值。当所述第一识别模型或所述第二识别模型或所述第三识别模型的输出结果中的任一个大于对应的预设风险阈值时，确定所述目标用户的当前交易记录存在洗钱风险。
76.综上所述，本实施例提出的反洗钱识别方法相比现有技术中专家经验制定风控规
则，利用机器学习特征工程实现自动化，并对众多特征的重要性进行打分和选取，泛化性强,具备很高的抗风险能力，能迅速识别出新类型的可疑交易。
77.请继续参阅图2，示出了一种反洗钱识别装置，在本实施例中，反洗钱识别装置20可以包括或被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本发明，并可实现上述反洗钱识别方法。本发明所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序本身更适合于描述反洗钱识别装置20在存储介质中的执行过程。以下描述将具体介绍本实施例各程序模块的功能：
78.样本获取模块21，适用于获取多个用户的交易记录样本，对所述交易记录样本进行预处理以符合第一规则要求；其中，所述第一规则要求包括样本数量要求、样本平滑度要求、样本稀疏性要求以及正负样本比例要求中的任意一项或多项；
79.第一特征评估模块22，适用于获取所述交易记录样本中包含第一样本特征，利用卷积神经网络训练预备识别模型，根据所述预备识别模型的输出从所述第一样本特征中选取第二样本特征；其中，所述第一样本特征的数量大于所述第二样本特征的数量；
80.第二特征评估模块23，适用于利用lightgbm模型和catboost模型从所述第二样本特征中选取第三样本特征，其中，所述第二样本特征的数量大于所述第三样本特征的数量；
81.模型训练模块24，适用于利用所述第三样本特征分别对所述cnn模型、所述lgb模型以及catboost模型进行训练，以得到第一识别模型、第二识别模型和第三识别模型；
82.风险识别模块25，适用于将目标用户的当前交易记录分别输入所述第一识别模型、所述第二识别模型和所述第三识别模型，根据所述第一识别模型、所述第二识别模型和所述第三识别模型的输出结果确定所述目标用户的交易行为是否存在洗钱风险。
83.本实施例还提供一种计算机设备，如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。本实施例的计算机设备30至少包括但不限于：可通过系统总线相互通信连接的存储器31、处理器32，如图3所示。需要指出的是，图3仅示出了具有组件31-32的计算机设备30，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
84.本实施例中，存储器31(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器31可以是计算机设备30的内部存储单元，例如该计算机设备30的硬盘或内存。在另一些实施例中，存储器31也可以是计算机设备30的外部存储设备，例如该计算机设备30上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。当然，存储器31还可以既包括计算机设备30的内部存储单元也包括其外部存储设备。本实施例中，存储器31通常用于存储安装于计算机设备30的操作系统和各类应用软件，例如实施例一的反洗钱识别装置20的程序代码等。此外，存储器31还可以用于暂时地存储已经输出或者将要输出的各类数据。
85.处理器32在一些实施例中可以是中央处理器(central processing unit，cpu)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器32通常用于控制计算机设备
30的总体操作。本实施例中，处理器32用于运行存储器31中存储的程序代码或者处理数据，例如运行反洗钱识别装置20，以实现实施例一的反洗钱识别方法。
86.本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘、服务器、app应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储反洗钱识别装置20，被处理器执行时实现实施例一的反洗钱识别方法。
87.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
88.流程图中或在此以其它方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
89.本技术领域的普通技术人员可以理解，实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
90.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
91.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。
92.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。