对抗样本生成方法、装置及设备与流程

本公开涉及计算机，尤其涉及人工智能、自然语言、大模型等，尤其涉及一种对抗样本生成方法、装置及设备。

背景技术：

1、目前，在目标分类模型的自动化对抗测试过程中存在以下技术问题：

2、其一，关键信号的隐形丢失。相关技术中，对抗测试方法仅依赖目标分类模型的离散分类标签（比如“安全/不安全”等）判断攻击变体文本是否绕过成功，即判断攻击变体文本所采用的攻击手法（又可以称为攻击算法）是否攻击成功，所有未成功绕过的攻击尝试被等同视为“失败”并丢弃。然而，不同的失败尝试可能对目标分类模型的扰动程度差异巨大；若仅依据离散标签将失败尝试一概丢弃，则大量逼近成功边界的有效攻击信息将被系统性浪费。

3、其二，搜索空间的盲目遍历。由于缺乏有效引导，导致后续测试过程中所采用的攻击策略（比如攻击手法组合、自由探索策略）只能在全部已失败方向中进行无差别的随机采样，无法识别哪些方向更接近成功临界边界，这导致搜索效率低下。

技术实现思路

1、本公开提供了一种对抗样本生成方法、装置及设备。

2、根据本公开的一方面，提供了一种对抗样本生成方法，所述方法包括：获取多个模型原始样本，以及所述多个模型原始样本在历史对抗测试中的历史测试数据；其中，所述历史对抗测试为针对目标分类模型进行的对抗攻击测试，所述历史测试数据包括任一所述模型原始样本在至少一个预设攻击算法下对应的历史对抗样本和历史分类结果，所述历史分类结果包括目标分类标签对应的目标分类概率；针对任一所述模型原始样本，根据所述历史测试数据中历史对抗样本对应的目标分类概率，从多个所述预设攻击算法中确定与所述模型原始样本匹配的目标攻击算法；采用所述目标攻击算法，对所述模型原始样本进行处理，以生成目标对抗样本。

3、根据本公开的另一方面，提供了一种对抗测试方法，所述方法包括：

4、获取多个模型原始样本，以及所述多个模型原始样本在历史对抗测试中的历史测试数据；其中，所述历史对抗测试为针对目标分类模型进行的对抗攻击测试，所述历史测试数据包括任一所述模型原始样本在至少一个预设攻击算法下对应的历史对抗样本和历史分类结果，所述历史分类结果包括目标分类标签对应的目标分类概率；针对任一所述模型原始样本，根据所述历史测试数据中历史对抗样本对应的目标分类概率，从多个所述预设攻击算法中确定与所述模型原始样本匹配的目标攻击算法；采用所述目标攻击算法，对所述模型原始样本进行处理，以生成目标对抗样本；采用所述目标对抗样本，对第一分类模型进行对抗攻击测试。

5、根据本公开的另一方面，提供了一种模型训练方法，所述方法包括：获取多个模型原始样本，以及所述多个模型原始样本在历史对抗测试中的历史测试数据；其中，所述历史对抗测试为针对目标分类模型进行的对抗攻击测试，所述历史测试数据包括任一所述模型原始样本在至少一个预设攻击算法下对应的历史对抗样本和历史分类结果，所述历史分类结果包括目标分类标签对应的目标分类概率；针对任一所述模型原始样本，根据所述历史测试数据中历史对抗样本对应的目标分类概率，从多个所述预设攻击算法中确定与所述模型原始样本匹配的目标攻击算法；采用所述目标攻击算法，对所述模型原始样本进行处理，以生成目标对抗样本；采用所述目标分类模型，对所述目标对抗样本进行分类，得到第一分类结果；响应于所述第一分类结果对应的第一分类标签与所述模型原始样本的实际分类标签不同，将所述目标对抗样本作为训练数据，以对第二分类模型进行模型训练。

6、根据本公开的另一方面，提供了一种对抗样本生成装置，所述装置包括：获取模块，用于获取多个模型原始样本，以及所述多个模型原始样本在历史对抗测试中的历史测试数据；其中，所述历史对抗测试为针对目标分类模型进行的对抗攻击测试，所述历史测试数据包括任一所述模型原始样本在至少一个预设攻击算法下对应的历史对抗样本和历史分类结果，所述历史分类结果包括目标分类标签对应的目标分类概率；确定模块，用于针对任一所述模型原始样本，根据所述历史测试数据中历史对抗样本对应的目标分类概率，从多个所述预设攻击算法中确定与所述模型原始样本匹配的目标攻击算法；生成模块，用于采用所述目标攻击算法，对所述模型原始样本进行处理，以生成目标对抗样本。

7、根据本公开的另一方面，提供了一种对抗测试装置，所述装置包括：获取模块，用于获取多个模型原始样本，以及所述多个模型原始样本在历史对抗测试中的历史测试数据；其中，所述历史对抗测试为针对目标分类模型进行的对抗攻击测试，所述历史测试数据包括任一所述模型原始样本在至少一个预设攻击算法下对应的历史对抗样本和历史分类结果，所述历史分类结果包括目标分类标签对应的目标分类概率；确定模块，用于针对任一所述模型原始样本，根据所述历史测试数据中历史对抗样本对应的目标分类概率，从多个所述预设攻击算法中确定与所述模型原始样本匹配的目标攻击算法；生成模块，用于采用所述目标攻击算法，对所述模型原始样本进行处理，以生成目标对抗样本；测试模块，用于采用所述目标对抗样本，对第一分类模型进行对抗攻击测试。

8、根据本公开的另一方面，提供了一种模型训练装置，所述装置包括：获取模块，用于获取多个模型原始样本，以及所述多个模型原始样本在历史对抗测试中的历史测试数据；其中，所述历史对抗测试为针对目标分类模型进行的对抗攻击测试，所述历史测试数据包括任一所述模型原始样本在至少一个预设攻击算法下对应的历史对抗样本和历史分类结果，所述历史分类结果包括目标分类标签对应的目标分类概率；确定模块，用于针对任一所述模型原始样本，根据所述历史测试数据中历史对抗样本对应的目标分类概率，从多个所述预设攻击算法中确定与所述模型原始样本匹配的目标攻击算法；生成模块，用于采用所述目标攻击算法，对所述模型原始样本进行处理，以生成目标对抗样本；分类模块，用于采用所述目标分类模型，对所述目标对抗样本进行分类，得到第一分类结果；训练模块，用于响应于所述第一分类结果对应的第一分类标签与所述模型原始样本的实际分类标签不同，将所述目标对抗样本作为训练数据，以对第二分类模型进行模型训练。

9、根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开上述一方面所提出的对抗样本生成方法，或另一方面所提出的对抗测试方法，或另一方面所提出的模型训练方法。

10、根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行本公开上述一方面所提出的对抗样本生成方法，或另一方面所提出的对抗测试方法，或另一方面所提出的模型训练方法。

11、根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开上述一方面所提出的对抗样本生成方法的步骤，或另一方面所提出的对抗测试方法的步骤，或另一方面所提出的模型训练方法的步骤。

12、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。