一种多目标平衡抽样方法、系统、设备及存储介质与流程

本发明涉及金融数据抽样，具体而言，涉及一种多目标平衡抽样方法、系统、设备及存储介质。

背景技术：

1、随着金融数字化转型的深入，银行及金融监管机构积累了海量的企业数据，包括基本信息、财务数据、收支流水、信贷履约、关联交易数据等。在构建企业信用评估、风险预警等机器学习模型时，需要从海量企业的全量数据中抽取具有代表性的企业样本集。

2、通常的做法是从海量企业的全量数据中抽取一小部分有代表性的企业样本，用这部分样本来代表全体进行模型训练。目前普遍采用的抽样方法包括：简单随机抽样，像抽签一样完全随机抽取；传统分层抽样，先按某个特征分组再按比例抽取；聚类抽样，把相似的企业归成一类然后挑几类出来。

3、但是上述做法，简单随机抽样完全靠运气，无法保证抽出来的样本在行业、地域、规模等各个维度上都能反映全局的真实面貌。传统分层抽样当需要平衡的维度超过3-4个时，分层组合数量呈指数级增长，三个维度可能产生几百个组，四个维度就变成几千甚至上万个组，而其中大量组里可能根本没有企业，容易产生维度爆炸问题。聚类抽样把相似的企业打包成一簇，但只挑其中几个簇来代表全体，必然导致那些没被挑中的簇所代表的群体在样本中完全消失。重采样方法只关注好企业多还是坏企业少，不管其他维度是不是也平衡了。

4、所以现有抽样方法普遍只能对单一或少数维度进行分层处理，在面对需要同时平衡多个维度分布的场景时，抽取的样本难以在各个维度上的分布与全量数据集中各维度的分布同时趋于一致，导致抽样的全局代表性不足，从而难以准确反映全量数据中各类企业的实际风险特征。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种多目标平衡抽样方法、系统、设备及存储介质，以解决抽取的样本在多个维度上的分布难以与全体数据的分布一致，导致对这类小众高风险企业时识别准确率极低的技术问题。

2、为了实现上述目的，第一方面，本发明实施例提供一种多目标平衡抽样方法，方法包括：获取全量数据集和样本总量，所述全量数据集包括多个样本，每一所述样本具有多个维度的特征数据；对所述全量数据集进行降维处理，得到各所述样本对应的低维表征向量；基于所述全量数据集在预设抽样目标下的总体分布，构建多目标损失函数；所述多目标损失函数用于度量任一抽样样本集在所述预设抽样目标下的分布与所述全量数据集在所述预设抽样目标下的分布之间的差异；基于所述低维表征向量之间的相似度，对所述全量数据集中的多个样本进行聚类，得到多个聚类簇；根据各所述聚类簇的样本在所述预设抽样目标下的分布以及所述多目标损失函数，确定出各所述聚类簇的初始抽样配额；各所述聚类簇的初始抽样配额的总和等于所述样本总量；基于所述初始抽样配额从各所述聚类簇中选取出候选样本，并将所述候选样本代入所述多目标损失函数中的抽样样本集，得到对应的目标损失函数值；根据所述目标损失函数值与预设函数阈值的比较，对所述初始抽样配额和所述候选样本进行调整，以确定出各所述聚类簇的目标抽样配额和目标样本；基于各所述聚类簇的目标抽样配额和目标样本，从所述全量数据集中抽取样本，得到平衡样本集。

3、在本实施例中，通过获取全量数据集后，根据全量数据集确定出需要抽样的样本总量，然后将全量数据集进行降维处理，得到各样本对应的低维表征向量，以避免计算时维度爆炸；再基于全量数据集在预设抽样目标下的总体分布构建多目标损失函数，以便于通过多目标损失函数衡量抽样样本集和全量数据集分别在预设抽样目标下的分布之间的差异；进而将降维的低维表征向量进行聚类，得到多个聚类簇，以便于将聚类簇的样本输入多目标损失函数，确定出各聚类簇的初始抽样配额，使得各聚类簇的初始抽样配额的总和等于样本总量；进而便于基于初始抽样配额从各聚类簇中随机选取出候选样本，将候选样本代入多目标损失函数中得到对应的目标损失函数值，以通过计算出的目标损失函数值和预设函数阈值的比较，确定出各聚类簇的目标抽样配额和目标样本，并在比较的过程中对随机选取的样本进行调整，从而得到在预设抽样目标下的比例与全量数据集在预设抽样目标在的比例相差不大的平衡样本集。如此通过以多目标损失函数的值为反馈驱动，使得最终确定的各聚类簇的目标抽样配额和目标样本能够在多个预设抽样目标下同时接近全量数据集的总体分布，使得从全量数据集中抽取得到在各预设抽样目标上均具有高度全局代表性的平衡样本集，避免仅对单一或少数维度进行分层处理而导致的全局代表性不足的技术缺陷，从而提升反映全量数据中各类企业的实际风险特征的准确性。

4、在一些实施例中，所述基于所述全量数据集在预设抽样目标下的总体分布，构建多目标损失函数，包括：将任一抽样样本集在所述预设抽样目标下的分布作为自变量，将所述全量数据集在所述预设抽样目标下的总体分布作为参照基准，将所述预设抽样目标对应的预设权重系数作为加权系数；基于所述自变量和所述参照基准之间的散度值，以及对应的所述加权系数，构建所述多目标损失函数。

5、如此设置，将抽样样本集的分布、全量数据集的总体分布和预设权重系数分别限定为损失函数的自变量、参照基准和加权系数，使得多目标损失函数具备同时度量多个预设抽样目标下分布差异的能力。

6、在一些实施例中，所述相似度通过欧氏距离表示，所述基于所述低维表征向量之间的相似度，对所述全量数据集中的多个样本进行聚类，得到多个聚类簇，包括：基于所述全量数据集中任意两个样本的所述低维表征向量之间的欧式距离，对所述低维表征向量进行聚类，得到所述多个聚类簇；所述多个聚类簇中，同一聚类簇内任意两个样本的所述低维表征向量之间的欧式距离小于不同聚类簇的样本的所述低维表征向量之间的欧式距离。

7、如此设置，以欧氏距离作为低维表征向量之间相似度的度量标准，并约束同一聚类簇内任意两个样本的低维表征向量之间的欧氏距离小于不同聚类簇的样本之间的距离，保证聚类簇内样本在原始多维特征上的同质性和聚类簇间样本的异质性，使得各聚类簇能够真实反映全量数据集中不同特征群体的分布情况。

8、在一些实施例中，所述根据各所述聚类簇的样本在所述预设抽样目标下的分布以及所述多目标损失函数，确定出各所述聚类簇的初始抽样配额，包括：将各所述聚类簇的样本在所述预设抽样目标下的分布代入所述多目标损失函数中的抽样样本集，得到每个聚类簇的初始损失函数值；根据各所述聚类簇的初始损失函数值和所有所述聚类簇的初始损失函数值总和的比例，确定各所述聚类簇的初始抽样配额。

9、如此设置，将各聚类簇在预设抽样目标下的分布分别代入多目标损失函数，以得到的初始损失函数值量化反映各聚类簇整体偏离全量总体分布的程度，并以各聚类簇的初始损失函数值在全部聚类簇的总和中所占的比例作为初始抽样配额，使得偏离总体越大的聚类簇获得越高的配额，以便于在初始阶段即对不同聚类簇给予差异化的抽样关注。

10、在一些实施例中，所述将各所述聚类簇的样本在所述预设抽样目标下的分布代入所述多目标损失函数中的抽样样本集，得到每个聚类簇的初始损失函数值，包括：基于所述聚类簇的样本在所述预设抽样目标下的分布和所述总体分布，计算所述预设抽样目标对应的散度值；将所述预设抽样目标对应的散度值乘以所述预设抽样目标对应的预设权重系数，得到所述预设抽样目标对应的差异值；将各所述预设抽样目标对应的所述差异值相加得到所述聚类簇的初始损失函数值。

11、如此设置，通过计算聚类簇在预设抽样目标下的散度值，并经过预设权重系数的计算，最终汇总为单一数值，使各聚类簇的初始损失函数值能够精确反映样本分布与总体分布的综合偏差。

12、在一些实施例中，所述根据所述目标损失函数值与预设函数阈值的比较，对所述初始抽样配额和所述候选样本进行调整，确定出各所述聚类簇的目标抽样配额和目标样本，包括：在所述目标损失函数值大于预设函数阈值的情况下，调整各所述聚类簇的初始抽样配额并更新所述候选样本，将更新后的所述候选样本在所述预设抽样目标下的分布重新代入所述多目标损失函数中的抽样样本集，直至计算的目标损失函数值小于等于所述预设函数阈值，并将各所述聚类簇当前的抽样配额和候选样本分别确定为目标抽样配额和目标样本。

13、如此设置，各聚类簇的抽样配额和候选样本能够在多轮调整中逐步接近各预设抽样目标下的抽样平衡，有效避免了单次分配中多个抽样目标之间相互制衡导致的差异问题，使得最终输出的平衡样本集在多个预设抽样目标上的分布均与全量数据集趋近于一致。

14、在一些实施例中，所述调整各所述聚类簇的初始抽样配额并更新所述候选样本，包括：在所述多个聚类簇中，任一聚类簇中属于所述预设抽样目标下的一样本类别样本数量，占所述多个聚类簇中属于所述样本类别的样本总数量的比例低于预设阈值的情况下，将所述样本类别确定为当前聚类簇的稀缺类别；将与当前所述聚类簇的欧氏距离最小的预设个数的聚类簇作为邻近簇，从所述邻近簇中抽取属于所述稀缺类别的样本补充至当前所述聚类簇的抽样配额中；将补充后的当前所述抽样配额作为调整后的初始抽样配额，基于所述调整后的初始抽样配额更新当前所述候选样本，得到更新后的候选样本。

15、如此设置，通过将邻近簇的真实样本补充至拥有稀缺类别的聚类簇中，有效保障在样本分配过程中容易被忽略的小众类别在最终平衡样本集中的充分代表性，解决现有比例抽样方法中小众高风险群体样本严重缺失的技术缺陷。

16、第二方面，本发明实施例提供一种多目标平衡抽样系统，所述系统包括：

17、获取模块，用于获取全量数据集和样本总量，所述全量数据集包括多个样本，每一所述样本具有多个维度的特征数据；

18、降维模块，用于对所述全量数据集进行降维处理，得到各所述样本对应的低维表征向量；

19、分层抽样模块，用于基于所述全量数据集在预设抽样目标下的总体分布，构建多目标损失函数；所述多目标损失函数用于度量任一抽样样本集在所述预设抽样目标下的分布与所述全量数据集在所述预设抽样目标下的分布之间的差异；基于所述低维表征向量之间的相似度，对所述全量数据集中的多个样本进行聚类，得到多个聚类簇；根据各所述聚类簇的样本在所述预设抽样目标下的分布以及所述多目标损失函数，确定出各所述聚类簇的初始抽样配额；各所述聚类簇的初始抽样配额的总和等于所述样本总量；

20、处理模块，用于基于所述初始抽样配额从各所述聚类簇中选取出候选样本，并将所述候选样本代入所述多目标损失函数中的抽样样本集，得到对应的目标损失函数值；根据所述目标损失函数值与预设函数阈值的比较，对所述初始抽样配额和所述候选样本进行调整，以确定出各所述聚类簇的目标抽样配额和目标样本；基于各所述聚类簇的目标抽样配额和目标样本，从所述全量数据集中抽取样本，得到平衡样本集。

21、第三方面，本发明实施例提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机程序，所述处理器可执行所述计算机程序以实现如第一方面所述的多目标平衡抽样方法。

22、第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的多目标平衡抽样方法。

23、为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。