歧视性样本生成方法和电子设备与流程

技术特征：
1.一种歧视性样本生成方法，其特征在于，包括：根据样本a
i
的属性集合中的第一属性判断所述样本a
i
是否是歧视性样本，其中，所述属性集合包括多个属性，i为大于等于0的整数；当所述样本a
i
不是歧视性样本，且i≤n，根据所述样本a
i
的梯度对所述样本a
i
进行第一扰动处理，得到扰动后的样本a
i 1
；其中，n为预设的扰动门限值，所述样本a
i
为对第一样本a0进行了i次所述第一扰动处理后的样本；当所述样本a
i 1
是歧视性样本，根据所述样本a
i 1
生成多个歧视性样本；其中，所述歧视性样本为：在样本的所述第一属性发生改变且除所述第一属性以外的其他属性不变时，输入模型后得到的模型输出结果发生改变的样本。2.根据权利要求1所述的方法，其特征在于，所述根据所述样本a
i
的梯度对所述样本a
i
进行所述第一扰动处理，得到扰动后的所述样本a
i 1
，包括：根据所述样本a
i
获取至少一个参考样本b
i
；其中，每个所述参考样本b
i
包括所述多个属性，所述多个属性包括所述第一属性；在所述样本a
i
与所述参考样本b
i
的所述多个属性中，所述第一属性的值不同且除所述第一属性以外的其他属性的值相同；从所述至少一个参考样本b
i
中获取目标参考样本b
i’，其中，在所述至少一个参考样本b
i
中，所述目标参考样本b
i’的第一属性的值与所述样本a
i
的第一属性的值的差异值最大；根据所述样本a
i
的梯度和所述目标参考样本b
i’的梯度，从不包括所述第一属性的所述属性集合中确定第一扰动属性和第一扰动方向；根据所述第一扰动属性和所述第一扰动方向，对所述样本a
i
进行所述第一扰动处理，得到扰动后的所述样本a
i 1
。3.根据权利要求2所述的方法，其特征在于，所述目标参考样本b
i’的第一属性的值与所述样本a
i
的第一属性的值的差异值最大，包括：在所述至少一个参考样本b
i
中，所述目标参考样本b
i’和所述样本a
i
输入所述模型后得到的模型输出结果所对应的置信值的差值的绝对值最大。4.根据权利要求2或3所述的方法，其特征在于，所述根据所述样本a
i
的梯度和所述目标参考样本b
i’的梯度，确定第一扰动属性和第一扰动方向，包括：从不包括所述第一属性的所述属性集合中确定所述样本a
i
的梯度和所述目标参考样本b
i’的梯度中符号相同的属性为所述第一扰动属性；若所述样本a
i
的梯度和所述目标参考样本b
i’的梯度的符号均为正，则确定所述第一扰动属性的第一扰动方向为使得所述第一扰动属性的值增大的方向；若所述样本a
i
的梯度和所述目标参考样本b
i’的梯度的符号均为负，则确定所述第一扰动属性的第一扰动方向为使得所述第一扰动属性的值减小的方向。5.根据权利要求2-4任一项所述的方法，其特征在于，在根据所述第一扰动属性和所述第一扰动方向，对所述样本a
i
进行所述第一扰动处理，得到扰动后的所述样本a
i 1
之后，所述方法还包括：若所述样本a
i 1
中的属性的值不在预设输入范围内，则将所述样本a
i 1
中的所述属性的值设置在预设输入范围内。6.根据权利要求1-5任一项所述的方法，其特征在于，所述模型是根据样本数据集训练获得的，所述第一样本a0选自所述样本数据集。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：对所述样本数据集进行聚类，使得所述样本数据集分为多个组；从所述多个组中依次循环获取多个样本；其中，所述第一样本a0为所述多个样本中的一个。8.根据权利要求1-7任一项所述的方法，其特征在于，所述根据所述样本a
i 1
生成多个歧视性样本，包括：步骤1、根据所述样本a
i 1
的梯度对所述样本a
i 1
进行第二扰动处理，得到扰动后的样本c
i 1
；步骤2、若检测到所述样本c
i 1
为所述歧视性样本，则确定生成一个歧视性样本；步骤3、重复执行步骤1和步骤2直至生成多个所述歧视性样本；其中，在不同的所述第二扰动处理中，所述第二扰动处理的参数不同，所述参数包括第二扰动属性、第二扰动方向或第二扰动幅度中的一个或多个。9.根据权利要求8所述的方法，其特征在于，根据所述样本a
i 1
的梯度对所述样本a
i 1
进行所述第二扰动处理，得到扰动后的所述样本c
i 1
，包括：根据所述样本a
i 1
获取至少一个参考样本b
i 1
；其中，每个所述参考样本b
i 1
包括所述多个属性，所述多个属性包括所述第一属性；在所述样本a
i 1
与所述参考样本b
i 1
的所述多个属性中，所述第一属性的值不同且除所述第一属性以外的其他属性的值相同；从所述至少一个参考样本b
i 1
中获取辅助参考样本b
i 1”；其中，在所述至少一个参考样本b
i 1
中，所述辅助参考样本b
i 1”和所述样本a
i 1
输入所述模型后得到的模型输出结果不同；根据所述样本a
i 1
的梯度和所述辅助参考样本b
i 1”的梯度，从不包括所述第一属性的所述属性集合中确定第二扰动属性；根据所述第二扰动属性，对所述样本a
i 1
进行第二扰动处理，得到扰动后的样本c
i 1
。10.根据权利要求9所述的方法，其特征在于，所述根据所述样本a
i 1
的梯度和所述辅助参考样本b
i 1”的梯度确定所述第二扰动属性，包括：对所述样本a
i 1
的梯度和辅助参考样本b
i 1”的梯度的大小之和进行归一化；根据所述归一化的结果，从不包括所述第一属性的所述属性集合中确定所述第二扰动属性。11.根据权利要求9或10所述的方法，其特征在于，在根据所述第二扰动属性，对所述样本a
i 1
进行所述第二扰动处理，得到扰动后的所述样本c
i 1
之后，所述方法还包括：若所述样本c
i 1
中的属性的值不在预设输入范围内，则将所述样本c
i 1
中的所述属性的值设置在所述预设输入范围内。12.根据权利要求1-11任一项所述的方法，其特征在于，所述方法还包括：根据生成的所述多个歧视性样本对所述模型进行修正。13.一种电子设备，其特征在于，包括：判断单元、处理单元和生成单元；所述判断单元，用于根据样本a
i
的属性集合中的第一属性判断所述样本a
i
是否是歧视性样本，其中，所述属性集合包括多个属性，i为大于等于0的整数；所述处理单元，用于当所述样本a
i
不是歧视性样本，且i≤n，根据所述样本a
i
的梯度对所述样本a
i
进行第一扰动处理，得到扰动后的样本a
i 1
；其中，n为预设的扰动门限值，所述
样本a
i
为对第一样本a0进行了i次所述第一扰动处理后的样本；所述生成单元，用于当所述样本a
i 1
是歧视性样本，根据所述样本a
i 1
生成多个歧视性样本；其中，所述歧视性样本为：在样本的所述第一属性发生改变且除所述第一属性以外的其他属性不变时，输入模型后得到的模型输出结果发生改变的样本。14.根据权利要求13所述的电子设备，其特征在于，所述处理单元，具体用于：根据所述样本a
i
获取至少一个参考样本b
i
；其中，每个所述参考样本b
i
包括所述多个属性，所述多个属性包括所述第一属性；在所述样本a
i
与所述参考样本b
i
的所述多个属性中，所述第一属性的值不同且除所述第一属性以外的其他属性的值相同；从所述至少一个参考样本b
i
中获取目标参考样本b
i’，其中，在所述至少一个参考样本b
i
中，所述目标参考样本b
i’的第一属性的值与所述样本a
i
的第一属性的值的差异值最大；根据所述样本a
i
的梯度和所述目标参考样本b
i’的梯度，从不包括所述第一属性的所述属性集合中确定第一扰动属性和第一扰动方向；其中，所述第一扰动属性与所述第一属性不同；根据所述第一扰动属性和所述第一扰动方向，对所述样本a
i
进行所述第一扰动处理，得到扰动后的所述样本a
i 1
。15.根据权利要求14所述的电子设备，其特征在于，所述处理单元，还具体用于：从不包括所述第一属性的所述属性集合中确定所述样本a
i
的梯度和所述目标参考样本b
i’的梯度中符号相同的属性为所述第一扰动属性；若所述样本a
i
的梯度和所述目标参考样本b
i’的梯度的符号均为正，则确定所述第一扰动属性的第一扰动方向为使得所述第一扰动属性的值增大的方向；若所述样本a
i
的梯度和所述目标参考样本b
i’的梯度的符号均为负，则确定所述第一扰动属性的第一扰动方向为使得所述第一扰动属性的值减小的方向。16.根据权利要求13-15任一项所述的电子设备，其特征在于，所述生成单元，具体用于执行以下步骤：步骤1、根据所述样本a
i 1
的梯度对所述样本a
i 1
进行第二扰动处理，得到扰动后的样本c
i 1
；步骤2、若检测到所述样本c
i 1
为所述歧视性样本，则确定生成一个歧视性样本；步骤3、重复执行步骤1和步骤2直至生成多个所述歧视性样本；其中，在不同的所述第二扰动处理中，所述第二扰动处理的参数不同，所述参数包括第二扰动属性、第二扰动方向或第二扰动幅度中的一个或多个。17.根据权利要求16所述的电子设备，其特征在于，所述处理单元，还具体用于：根据所述样本a
i 1
获取至少一个参考样本b
i 1
；其中，每个所述参考样本b
i 1
包括所述多个属性，所述多个属性包括所述第一属性；在所述样本a
i 1
与所述参考样本b
i 1
的所述多个属性中，所述第一属性的值不同且除所述第一属性以外的其他属性的值相同；从所述至少一个参考样本b
i 1
中获取辅助参考样本b
i 1”；其中，在所述至少一个参考样本b
i 1
中，所述辅助参考样本b
i 1”和所述样本a
i 1
输入所述模型后得到的模型输出结果不同；根据所述样本a
i 1
的梯度和所述辅助参考样本b
i 1”的梯度，从不包括所述第一属性的
所述属性集合中确定第二扰动属性；根据所述第二扰动属性，对所述样本a
i 1
进行第二扰动处理，得到扰动后的样本c
i 1
。18.根据权利要求17所述的电子设备，其特征在于，所述处理单元，还具体用于：对所述样本a
i 1
的梯度和辅助参考样本b
i 1”的梯度的大小之和进行归一化；根据所述归一化的结果，从不包括所述第一属性的所述属性集合中确定所述第二扰动属性。19.一种电子设备，其特征在于，包括：处理器和存储器；所述存储器用于存储计算机指令，当所述处理器执行所述计算机指令时，使所述电子设备执行如权利要求1-12中任一项所述的方法。20.一种计算机可读存储介质，其特征在于，包括指令，当所述指令在计算机上运行时，使得所述计算机执行如权利要求1-12中任一项所述的方法。

技术总结
本申请实施例提供一种歧视性样本生成方法和电子设备，涉及人工智能领域，该方法能够基于样本的梯度进行有指导性的扰动处理以生成多个歧视性样本，无需依赖第三方算法，性能高，歧视性样本生成效率高。具体方案为：根据样本的属性集合中的第一属性判断样本是否是歧视性样本；当样本不是歧视性样本，且未达到预设的扰动门限值，根据样本的梯度对样本进行第一扰动处理，得到扰动后的样本；当扰动后的样本不是歧视性样本，则对扰动后的样本重复进行上述第一扰动处理，直至扰动后的样本为歧视性样本或者第一扰动处理的次数达到预设的扰动门限值；当扰动后的样本是歧视性样本，根据扰动后的样本生成多个歧视性样本。本申请实施例用于生成歧视性样本。用于生成歧视性样本。用于生成歧视性样本。


技术研发人员：戴挺 李铁岩 张培歆 孙军
受保护的技术使用者：新加坡管理大学
技术研发日：2020.05.20
技术公布日：2021/11/25