一种模型的鲁棒性检测方法、装置、设备及介质与流程

1.本技术实施例涉及计算机技术领域，尤其涉及一种模型的鲁棒性检测方法、装置、设备及介质。


背景技术：

2.随着人工智能的发展，深度神经网络(deep neural networks)被广泛应用于计算机视觉(computer vision，cv)领域，用于增强深度学习(deep learning)模型。现有的dl模型在面对对抗样本的攻击时安全风险较高，可靠性较差。
3.在安防领域，一般采用人脸识别模型对人进行识别，该方式先收集大量人脸数据对模型进行训练，然后对实时拍摄到的人脸进行身份识别。在面对对抗样本的威胁时，主要的解决方法是提高收集的数据量，扩大训练集，由此来提高模型识别准确率。但是，这样的解决方法面对对抗攻击是没有针对性的，仍旧会受到对抗样本对模型判断的干扰，因而，目前缺少一种专门针对模型的鲁棒性进行检测的方法。


技术实现要素：

4.为了解决上述技术问题，本技术实施例提供了一种模型的鲁棒性检测方法、装置、设备及介质。
5.第一方面，本技术实施例提供一种模型的鲁棒性检测方法，包括：
6.获取目标图像集，所述目标图像集包括至少一个对抗样本图像；分别向待攻击的目标模型输入至少一个所述对抗样本图像；获取所述目标模型的输出结果，所述输出结果包括原始样本图像与输入所述目标图像集的各所述对抗样本图像之间的相似度；基于所述输出结果和所述目标模型预设的相似度阈值，得到所述目标模型的鲁棒性检测数据；根据所述鲁棒性检测数据确定所述目标模型的鲁棒性诊断结果。
7.第二方面，本技术实施例提供一种实施上述模型的鲁棒性检测方法的模型的鲁棒性检测装置，包括：
8.输入输出模块，用于获取目标图像集，所述目标图像集包括至少一个对抗样本图像；
9.处理模块，用于分别向待攻击的目标模型输入至少一个所述对抗样本图像；获取所述目标模型的输出结果，所述输出结果包括原始样本图像与输入所述目标图像集的各所述对抗样本图像之间的相似度；基于所述输出结果和所述目标模型预设的相似度阈值，得到所述目标模型的鲁棒性检测数据；根据所述鲁棒性检测数据确定所述目标模型的鲁棒性诊断结果。
10.本技术实施例还提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述模型的鲁棒性检测方法。
11.本技术实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程
序，所述计算机程序用于执行上述模型的鲁棒性检测方法。
12.本技术实施例提供的技术方案与现有技术相比具有如下优点：
13.本技术实施例提供的模型的鲁棒性检测方法、装置、设备及介质，包括：首先获取目标图像集，所述目标图像集包括至少一个对抗样本图像；然后分别向待攻击的目标模型输入至少一个所述对抗样本图像；获取所述目标模型的输出结果，基于所述输出结果和所述目标模型预设的相似度阈值，得到所述目标模型的鲁棒性检测数据；根据所述鲁棒性检测数据确定所述目标模型的鲁棒性诊断结果。该方案较好地实现了对目标模型进行模拟、实战演练攻击，填补了计算机视觉领域在对抗攻击的检测与防御方面的空白，同时为目标模型输出客观准确的鲁棒性诊断结果，便于用户快速判断目标模型在面对对抗样本的攻击时的安全性与可靠性。
附图说明
14.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术实施例的原理。
15.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
16.图1为本技术实施例所述检测方法的应用场景示意图；
17.图2为本技术实施例所述模型的鲁棒性检测方法的流程图；
18.图3为本技术实施例所述攻击目标模型的场景示意图；
19.图4为本技术实施例所述一种鲁棒性诊断结果的示意图；
20.图5为本技术实施例所述另一种鲁棒性诊断结果的示意图；
21.图6为本技术实施例所述靶场环境中的诊断示意图；
22.图7为本技术实施例所述银行身份识别系统的诊断示意图；
23.图8为本技术实施例所述识别司机身份场景中的诊断示意图；
24.图9为本技术实施例所述方法的面向对象的示意图；
25.图10为本技术实施例所述一种横向比较的示意图；
26.图11为本技术实施例所述另一种横向比较的示意图；
27.图12为本技术实施例所述模型的鲁棒性检测装置的结构框图；
28.图13为本技术实施例所述电子设备的结构示意图。
具体实施方式
29.为了能够更清楚地理解本技术的上述目的、特征和优点，下面将对本技术的方案进行进一步描述。需要说明的是，在不冲突的情况下，本技术的实施例及实施例中的特征可以相互组合。
30.在下面的描述中阐述了很多具体细节以便于充分理解本技术，但本技术还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本技术的一部分实施例，而不是全部的实施例。
31.深度神经网络被广泛应用于计算机视觉领域，用于增强深度学习模型。尽管模型
的性能不断提高，但现有的深度学习模型在对抗样本(即用轻微扰动制作的输入来误导神经网络)面前非常不可靠。这可能会严重破坏系统的安全性。越来越多的研究表明，对抗攻击可能导致严重的物理世界的影响，可能在现实世界的场景超出实验室的预期。例如，通过genap生成敌对的面部补丁，将其打印出来，就可以解锁智能手机，使得面部识别系统出错。认识到这一日益严峻的安全挑战，许多地区、国家和国际机构推出了指导方针，以规范人工智能技术的使用，并为获取应对安全风险的技术鲁棒性制定标准。这表明有必要让作为模型的使用者和构建者的计算机视觉工程师认识到对抗攻击潜在风险。然而，在目前的实践中，减少潜在对抗威胁的检测和提供防御方法主要是由攻防算法工程师在计算机视觉应用中部署深度学习模型后提出的，而计算机视觉工程师很少参与这个过程。因此，无论是企业部门、还是计算机视觉工程师个人，都具有评测所用模型鲁棒性的需求。
32.对抗攻击中，逃避攻击是对机器学习模型推理过程的最常见的攻击。它指的是设计/计算一个输入，正常情况人类可以正确识别，但会被模型错误地分类。一个典型的示例是在上传前更改图片中的某些像素，以便图像识别系统无法对结果进行分类。事实上，这个对抗性的例子可以欺骗人类。对原始图片加上噪声，然后输出与原始图片差异较大的识别结果，例如阿尔卑斯山的图像识别为狗的图像；给用户a的图像加上一个眼镜框后，输出为另一位用户b。
33.基于此，在安防领域，采用人脸识别模型对人进行识别，在面对对抗样本的威胁时，主要的解决方法是提高收集的数据量，扩大训练集，由此来提高模型识别准确率。但是，这样的解决方法面对对抗攻击是没有针对性的，仍旧会受到对抗样本对模型判断的干扰。造成这一现状的原因是绝大部分cv工程师没有攻防领域的知识储备与经验，不知道如何处理对抗样本的威胁，也不知道从什么方面评估自身模型的对抗鲁棒性。因此，cv工程师或行业相关部门需要一个对模型的对抗鲁棒性进行检测或评估的方法，来帮他们诊断模型鲁棒性，提供模型修改完善意见，横向评估行业安全性发展等。
34.基于此，本技术实施例提供一种模型的鲁棒性检测方法、装置、设备及介质。该方案通过向待攻击的目标模型输入至少一个对抗样本图像，获取并利用目标模型的输出结果，也即原始样本图像和对抗样本对象攻击目标模型得到的相似度，对目标模型的鲁棒性进行检测，得到鲁棒性检测数据，并根据攻击行为的鲁棒性检测数据确定目标模型的鲁棒性诊断结果。该方案较好地实现了对目标模型进行模拟、实战演练攻击，填补了计算机视觉领域在对抗攻击的检测与防御方面的空白，同时为目标模型输出客观准确的鲁棒性诊断结果，便于用户快速判断目标模型在面对对抗样本的攻击时的安全性与可靠性。为便于理解，以下对本技术实施例展示描述。
35.本技术实施例提供的模型的鲁棒性检测方法的流程图，该方法由电子设备执行，电子设备诸如手机、电脑、服务器等设备。需要说明的是，本技术实施例仅以模型的鲁棒性检测方法作为示例来解释说明本技术。本技术实施例中，电子设备可以分别与投影仪和图像采集装置连接，电子设备的画面通过投影仪显示在全息膜上。图1为本技术一实施例提供的基于全息成像的对抗样本图像攻击目标模型的结构示例图，如图1所示，电子设备110分别与投影仪120和图像采集装置130连接，通过投影仪120，可以将电子设备110的画面中显示的内容显示在全息膜140上。其中，电子设备110与投影仪120连接后，可以由工作人员调整投影仪的焦距和畸变，以使电子设备110的画面可以清晰地显示在全息膜140上。当电子
设备110的画面中显示对抗扰动，人脸出现在全息膜140的另一侧时，图像采集装置130对着全息膜140的方向采集照片，可以抓取到作为攻击对象的原始图像和用于攻击原始图像的对抗图像，由此实现对目标模型的攻击行为。图1所示的模型的鲁棒性检测场景，具有应用范围广、易收敛、便于调试和易于检测的优点，能够对目标模型进行模拟、实战演练攻击，并为目标模型输出客观准确的鲁棒性诊断结果。
36.能够理解的是，本技术实施例中采用的图像采集装置可以是独立的图像采集设备，也可以是电子设备中内置的摄像头，本技术仅以图像采集装置独立于电子设备为例来解释说明本技术，而不能作为对本技术的限制。
37.此外，本技术实施例提供的方案涉及人工智能(artificialintelligence，ad、自然语言处理nature language processing，nlp)、机器学习machine learning，ml)等技术。具体通过如下实施例进行说明：
38.其中，ai是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法。使机器具有感知、推理与决策的功能。
39.ai技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
40.nlp是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
41.图2为本技术实施例提供的模型的鲁棒性检测方法的流程图，该方法由电子设备执行，电子设备诸如手机、电脑、服务器等设备。该方法包括如下步骤：
42.步骤s102，获取目标图像集，所述目标图像集包括至少一个对抗样本图像。
43.在图像识别、图像比对、图像跟踪等不同的任务中，获取的目标图像集不同。比如，在人脸比对任务中，目标图像集中的对抗样本图像为包含人脸的图像，且所包含的人脸通常属于不同的对象。可以通过往原图像上添加不可见的微小扰动来得到对抗样本图像，例如，在原图像的人脸上添加眼罩、眼镜等遮挡物，得到对抗样本图像；或者，在原图像上添加人眼不可见的微小的噪声扰动，得到对抗样本图像。对抗样本图像能够使模型做出错误的判断。
44.步骤s104，分别向待攻击的目标模型输入至少一个所述对抗样本图像。
45.以上述人脸比对任务为例，目标模型可以为人脸比对模型。目标模型的输入数据包括对抗样本图像，输出数据包括原始样本图像和对抗样本图像之间的相似度；其中，原始样本图像是作为攻击对象的图像，对抗样本图像是攻击原始样本图像的图像。
46.步骤s106，获取所述目标模型的输出结果。
47.其中，所述输出结果包括原始样本图像与输入所述目标图像集的各所述对抗样本图像之间的相似度。
48.在本实施例中，通过目标模型分别计算原始样本图像和目标图像集的各对抗样本图像之间的相似度，也即利用对抗样本图像对目标模型进行一次攻击行为，得到的相似度表示：通过目标模型计算原始样本图像和对抗样本图像之间的匹配程度。
49.步骤s108，基于所述输出结果和所述目标模型预设的相似度阈值，得到所述目标模型的鲁棒性检测数据。
50.本实施例基于输出结果中的相似度和目标模型预设的相似度阈值，得到目标模型的鲁棒性检测数据。其中，鲁棒性检测数据可以包括但不限于：原始样本图像和对抗样本图像之间的真实相似度、识别准确与否的结果、攻击成功与否的结果和攻击行为的时间。相似度阈值是所述目标模型固有的特征数值。
51.步骤s110，根据鲁棒性检测数据确定目标模型的鲁棒性诊断结果。
52.本技术实施例提供的模型的鲁棒性检测方法，利用目标模型的输出结果，也即原始样本图像和对抗样本对象攻击目标模型得到的相似度，对目标模型的鲁棒性进行检测，得到鲁棒性检测数据，并根据攻击行为的鲁棒性检测数据确定目标模型的鲁棒性诊断结果。该方案较好地实现了对目标模型进行模拟、实战演练攻击，填补了计算机视觉领域在对抗攻击的检测与防御方面的空白，同时为目标模型输出客观准确的鲁棒性诊断结果，便于用户快速判断目标模型在面对对抗样本的攻击时的安全性与可靠性。
53.为便于理解，以下对本技术实施例提供的模型的鲁棒性检测方法展开详细描述。
54.在一种实施例中，可以从预先构建的多个候选模型中选择待攻击的目标模型。
55.根据目标模型及其实现的诸如人脸识别等任务，从目标图像集中获取作为攻击对象的原始样本图像和攻击原始样本图像的对抗样本图像。其中，原始样本图像和对抗样本图像对应于不同的用户对象，参照图3所示，原始样本图像可以为id：126457的女性图像，对抗样本图像可以为id：116822的男性图像。原始样本图像和对抗样本图像可以来自同一图像集或不同图像集，在此不作限制。
56.考虑到不同领域、不同用户，对模型检测的侧重点差异很大，因此，为了满足不同用户个性化的检测需求，广泛适应更多场景下对模型的鲁棒性检测需求，在此提供另一种实施例，可以为用户提供自定义诊断的查询，以实现个性化定制诊断需求，包括：响应于用户针对自定义诊断的上传操作，获取用户上传的待攻击的目标模型和目标图像集，以及，从目标图像集中获取作为攻击对象的原始样本图像和攻击原始样本图像的对抗样本图像。
57.在本实施例中，目标模型、原始样本图像和对抗样本图像是基于用户的上传操作获取的，基于此进行的攻击行为能够满足用户个性化的诊断需求。
58.根据以上实施例获取原始样本图像和对抗样本图像后，向待攻击的目标模型输入对抗样本图像，获取目标模型的输出结果。在获取所述目标模型的输出结果的一种实现方式中，先获取目标模型的计算逻辑；然后从预设的历史诊断库中查找与所述目标模型的计算逻辑相匹配的历史模型；而后根据所述历史模型的历史输出结果确定所述目标模型的输出结果。该输出结果为目标模型的最终诊断数据，即结合该历史模型的历史诊断数据来输出该目标模型的最终诊断数据(并给出置信度)。
59.在另一种实现方式中，参照图3，在获取所述目标模型的输出结果的过程中，首先
对区域、可穿戴设备(如眼镜、面具和贴纸)和特征(如脸、鼻子、口和眼睛)进行选择，以确定攻击区域；然后目标模型计算在攻击区域处，原始样本图像和对抗样本图像之间的相似度；该相似度是指目标模型被攻击后，计算出的原始样本图像和对抗样本图像之间的相似度，将其作为目标模型的输出结果。
60.本实施例提供一种基于述输出结果和相似度阈值得到目标模型的鲁棒性检测数据的方法，包括如下步骤1至步骤3。
61.步骤1，如果输出结果包括的相似度大于相似度阈值，则记录第一检测数据，第一检测数据包括以下至少一项：错误识别结果、识别失败记录、攻击成功记录、第一攻击时长记录。
62.具体的，比对输出结果包括的相似度和目标模型的相似度阈值，相似度阈值可以是目标模型固有的特征数值，例如为0.28。输出结果包括的相似度大于相似度阈值，表示通过产品服务方对目标模型进行攻击的对抗样本图像，使得该目标模型在识别原始样本图像对应的人脸时，该人脸会被识别成对抗样本图像(也即id：116822的男性)，然而实际上应该输出的是id：126457的女性图像，由此可见本次识别错误，也即攻击成功。此时，可记录本次攻击行为对应的第一检测数据：错误识别结果、识别失败记录、攻击成功记录、第一攻击时长记录。可以理解，第一检测数据表示目标模型的鲁棒性一般、安全可靠性较差，很容易受到攻击。
63.步骤2，如果输出结果包括的相似度不大于相似度阈值，则记录第二检测数据，第二检测数据包括以下至少一项：识别成功记录、攻击失败记录、第二攻击时长记录。
64.与步骤1相反，输出结果包括的相似度不大于相似度阈值，表示通过产品服务方对目标模型进行攻击的对抗样本图像，使得该目标模型在识别原始样本图像对应的人脸时，能够抵抗攻击，输出准确的识别结果，该目标模型的鲁棒性较好，不易受到攻击。
65.步骤3，将第一检测数据或第二检测数据作为本次攻击行为对应的鲁棒性检测数据。
66.具体的，在一次攻击行为中，根据输出结果包括的相似度和相似度阈值的比对结果，将第一检测数据或者第二检测数据作为本次攻击行为的鲁棒性检测数据。
67.通过上述方式对目标模型进行至少一次攻击，得到至少一次鲁棒性检测数据，并由此确定目标模型的鲁棒性诊断结果。实施过程参照如下所示。
68.(1)根据至少一次攻击行为对应的第一检测数据计算目标模型的鲁棒性指数；鲁棒性指数包括：识别准确率、攻击成功率和/或攻击成功时间信息。
69.具体的，根据第一检测数据中的识别失败记录的次数占攻击行为的总次数的比例计算识别准确率，根据攻击成功记录的次数占攻击行为的总次数的比例计算攻击成功率，根据多个第一检测数据中第一攻击时长记录的平均时长得到攻击成功时间信息。
70.(2)根据鲁棒性指数计算目标模型的攻破难度系数。
71.(3)对第一检测数据、第二检测数据、鲁棒性指数和攻破难度系数中的多项进行数据处理和可视化显示，得到鲁棒性诊断结果。
72.其中，可视化显示的鲁棒性诊断结果可参照图5提供的示例，诸如包括：攻击算法、攻击次数、攻击任务；不同企业用户在攻击行为中所涉及到的数据：模型名称、数据集名称、模型鲁棒性、攻击成功率和攻破时间；在对抗鲁棒性、识别准确率、攻破难度系数和数据获
取难度这几方面，企业模型横向比对的折线图；本产品与同类产品的多类雷达图等等。
73.以上实施例提供的模型的鲁棒性检测方法可应用于多种不同的场景中，可针对任意需求的模型的进行鲁棒性诊断。基于此，参照图6，本实施例提供的方法还可以包括：在预设的靶场环境中，基于所述模型的鲁棒性检测方法对所述目标模型进行模拟诊断，得到所述目标模型的鲁棒性诊断模拟结果。
74.具体在实施模型的鲁棒性检测方法时，响应于用户针对自定义诊断的上传操作，获取用户上传的待攻击的目标模型和目标图像集，以及，从所述目标图像集中获取作为攻击对象的原始样本图像和攻击所述原始样本图像的对抗样本图像；而后，向待攻击的目标模型输入至少一个所述对抗样本图像；获取所述目标模型的如下输出结果：原始样本图像与输入所述目标图像集的对抗样本图像之间的相似度；基于所述输出结果和所述目标模型预设的相似度阈值，得到所述目标模型的鲁棒性检测数据。
75.为便于理解，以下提供两种可能的靶场环境的示例。
76.示例一为模拟银行的靶场环境。参照图7，在银行身份识别系统中，人脸识别模型的鲁棒性检测，有利于防止模型被对抗样本干扰导致识别出错，产生金融风险。用于银行技术部门安全性自我完善、银行同类业务优势分析等。目前，部分银行存在一些业务是通过刷身份证和人脸识别运行的，这就导致如果非身份证原主人通过佩戴某种面部装饰或经过加工的眼镜，就可以在摄像头前识别为身份证原主人，从而产生金融安全事故。因此，通过本实施例提供的方法对人脸识别模型的鲁棒性进行模拟诊断，可以避免出现将对象非身份证原主人与通过对抗攻击的攻击者匹配成功的情况。在使用过程中，先根据测试企业提供的人脸数据集与目标模型，生成相应的对抗样本图像，然后利用对抗样本图像和人脸数据集中的原始样本图像，对目标模型的鲁棒性进行检测，综合识别准确率、攻击成功率、攻破所用时间等鲁棒性检测数据，以及由此计算出目标模型的鲁棒性指数、安全系数，给出当前测试银行所使用目标模型的改进方向与建议，对比前后多项攻击指标。
77.示例二为模拟打车的靶场环境。参照图8，检测用于识别司机身份的人脸识别模型的鲁棒性，有利于防止模型被对抗样本干扰导致识别出错，误认司机身份产生安全风险。用于打车企业安全性自我完善、竞品安全性优势分析等。车内摄像头会对司机进行人脸识别，检测是否为登记在册的司机本人。考虑到有可能司机通过灰色产业手段提前上传了对抗样本图像或是在检测期间佩戴了具备他人面部特征的面部装饰，即使不是本人在运营车辆，未经过鲁棒性诊断的模型对上述输入图像进行比对后仍然会给出是其登记在册的司机本人的结论。因此，通过本实施例提供的方法对人脸识别模型的鲁棒性进行模拟诊断，避免出现将对象司机本人的照片的对抗样本与其他人匹配成功的情况，也即：利用经过鲁棒性诊断的目标模型对上述输入图像进行比对后，则会给出其不是登记在册的司机本人的结论。在使用过程中，先根据测试企业提供的人脸数据集与模型，生成相应的对抗样本图像，然后利用对抗样本图像和人脸数据集中的原始样本图像，对模型的鲁棒性进行检测，综合识别准确率、攻击成功率、攻破所用时间计算出模型鲁棒性的指数，同时根据历史分析结果显示同类打车产品在对抗鲁棒性上的强度，给出当前测试企业改进的方向与建议。
78.在实际应用中，本技术实施例提供的模型的鲁棒性检测方法既可以面向企业用户，也可以面向个人用户。一般而言，面向企业用户是针对开发自己的方案，但对模型的稳定性既不了解也不具备甄别能力。面向个人用户，例如某个研发人员自己编写的模型，需要
一个自编模型的诊断工具来不断地进行模型优化，以此交付鲁棒性更好的模型。
79.本实施例提供的模型的鲁棒性检测方法，不要求使用目标模型的目标人员是否为技术人员，也可以是任何没有技术知识的普通用户。对用户而言，通常只需要提供待检测的目标模型即可，便可以得到鲁棒性诊断结果，为用户快速、准确的提供直观的可视化建议。
80.参照图9，针对企业用户和个人用户，在此分别提供应用模型的鲁棒性检测方法的不同实施方案。
81.面对个人用户时，首先根据用户的上传操作，获取用户自定义输入的数据集与自行上传的目标模型，从数据集中获取作为攻击对象的原始样本图像和攻击原始样本图像的对抗样本图像。然后基于对抗样本图像对目标模型发起攻击行为，也即通过目标模型计算原始样本图像和对抗样本图像之间的相似度，得到图像相似度；基于图像相似度和相似度阈值，得到目标模型的鲁棒性检测数据。通过上述方式进行目标模型的鲁棒性诊断。最后对诸如关键特征点、攻击成功时间信息、攻击成功率等鲁棒性检测数据进行标注、排序和可视化显示等处理，得到鲁棒性诊断结果。具体的，鲁棒性诊断结果可以参照图4提供的示例，以报告的形式进行展示；该鲁棒性诊断结果中包括的内容可以有：模型名称，数据集名称，攻击前后的模型鲁棒性、关键特征点、置信度序列和图像相似度，攻击所用时间和攻击成功率等等。
82.面对企业用户时，先按照前述实施例提供的模型的鲁棒性检测方法获取鲁棒性诊断结果。而后，可以对不同企业用户的业务模型进行横向比较，适用于竞品分析、行业调研报告等需求。具体的，基于当前企业用户的数据调整对各样本的关注力机制，基于不同的针对自定义诊断的上传操作，有针对性的生成对抗样本图像；然后基于对抗样本图像有针对性的攻击目标模型。其中，企业用户可包括关注点、强项、弱项、企业员工研发方向分布数据，研发员工在专业领域内的专业数据、企业在专业领域的历史数据等等。其中，上述企业数据可以是服务方事先通过爬取绘制的企业画像，也可以是企业主动提供的企业画像，在此不作限定。
83.为了面向个人用户和企业用户提供更好的推广效果，本实施例提供对鲁棒性诊断结果进行横向比较的几种方法。
84.参照图10，在一种实施例中，获取第一历史诊断数据，所述第一历史诊断数据包括多个参考模型的鲁棒性诊断数据，各参考模型的鲁棒性诊断数据为采用所述模型的鲁棒性检测方法或者多种模型鲁棒性诊断工具诊断得到；其中，多个参考模型(参考模型1、参考模型2、
……
、参考模型i)是与目标模型类型相同、来源不同的模型。
85.在实施过程中，各参考模型的鲁棒性诊断数据，可以是采用本技术提供的模型的鲁棒性检测方法得到的，也可以是采用多种模型鲁棒性诊断工具诊断得到的；具体的例如，不同参考模型相应的采用不同的模型鲁棒性诊断工具来得到各自的鲁棒性诊断数据。
86.将所述目标模型的鲁棒性检测数据与所述第一历史诊断数据进行横向比较。
87.该实施例通过将所述目标模型的鲁棒性检测数据与所述第一历史诊断数据进行横向比较，能够对比显示本技术提供的模型的鲁棒性检测方法诊断目标模型，与其它同类参考模型的诊断数据之间的比较差异。
88.参照图11，在另一种实施例中，获取第二历史诊断数据，所述第二历史诊断数据包括多种模型鲁棒性诊断工具对所述目标模型诊断的鲁棒性诊断数据；其中，模型鲁棒性诊
断工具所采用的诊断方法不同于本技术提供的模型的鲁棒性检测方法，各个模型鲁棒性诊断工具分别为；模型鲁棒性诊断工具1、模型鲁棒性诊断工具2、
……
、模型鲁棒性诊断工具i。
89.将所述目标模型的鲁棒性检测数据与所述第二历史诊断数据进行横向比较。
90.该实施例针对同一目标模型，将采用不同的诊断方法得到诊断数据进行横向比较，能够对比显示本技术提供的模型的鲁棒性检测方法与其他同类诊断工具对目标模型的诊断差异，基于此，相比于其他同类诊断工具，能够更直观的体现出本技术中的模型的鲁棒性检测方法的优势。示例性的，参照图5中针对本产品(也即本技术中的模型的鲁棒性检测方法)与同类产品(也即其他同类诊断工具)，在数据获取速度、诊断信息丰富度、算法运行用时、诊断周期这几方面相比较的多维雷达图。该多维雷达图直观的展示了本产品在数据获取速度、诊断信息丰富度上的明显优势，以及在算法运行用时、诊断周期上与同类产品保持水平相当。
91.综上，本技术实施例提供的模型的鲁棒性检测方法，一方面，可以填补计算机视觉领域目前关注模型准确率、召回率等业务指标，而缺少对对抗攻击的检测与防御的空白，从而，很大程度上提升了模型大规模应用的安全性，减少出现人身安全与金融安全等事件。另一方面，本方案能够对目标模型进行模拟、实战演练攻击，并为目标模型输出客观准确的鲁棒性诊断结果，便于用户快速判断目标模型在面对对抗样本的攻击时的安全性与可靠性。
92.参照图12，本技术实施例还提供一种实施上述模型的鲁棒性检测方法的模型的鲁棒性检测装置，该装置包括如下模块：
93.输入输出模块1202，用于获取目标图像集，所述目标图像集包括至少一个对抗样本图像；
94.处理模块1204，用于分别向待攻击的目标模型输入至少一个所述对抗样本图像；获取所述目标模型的输出结果，所述输出结果包括原始样本图像与输入所述目标图像集的各所述对抗样本图像之间的相似度；基于所述输出结果和所述目标模型预设的相似度阈值，得到所述目标模型的鲁棒性检测数据；根据所述鲁棒性检测数据确定所述目标模型的鲁棒性诊断结果。
95.此外，上述模型的鲁棒性检测装置还可以包括显示模块(图中未示出)，该显示模块用于显示目标模型的鲁棒性诊断结果。
96.在一些实施例中，处理模块1204具体用于：
97.如果所述输出结果包括的相似度大于所述相似度阈值，则记录第一检测数据，所述第一检测数据包括以下至少一项：错误识别结果、识别失败记录、攻击成功记录、第一攻击时长记录；如果所述输出结果包括的相似度不大于所述相似度阈值，则记录第二检测数据，所述第二检测数据包括以下至少一项：识别成功记录、攻击失败记录、第二攻击时长记录；将所述第一检测数据或所述第二检测数据作为本次攻击行为对应的鲁棒性检测数据。
98.在一些实施例中，处理模块1204具体用于：
99.根据至少一次攻击行为对应的所述第一检测数据计算所述目标模型的鲁棒性指数；所述鲁棒性指数包括：识别准确率、攻击成功率和/或攻击成功时间信息；根据所述鲁棒性指数计算所述目标模型的攻破难度系数；对所述第一检测数据、所述第二检测数据、所述鲁棒性指数和所述攻破难度系数中的多项进行数据处理和可视化显示，得到鲁棒性诊断结
果。
100.在一些实施例中，上述处理模块1204还用于：
101.获取第一历史诊断数据，所述第一历史诊断数据包括多个参考模型的鲁棒性诊断数据，各参考模型的鲁棒性诊断数据为采用所述模型的鲁棒性检测方法或者多种模型鲁棒性诊断工具诊断得到；其中，多个参考模型是与所述目标模型类型相同、来源不同的模型；将所述目标模型的鲁棒性检测数据与所述第一历史诊断数据进行横向比较。
102.在一些实施例中，上述处理模块1204还用于：
103.获取第二历史诊断数据，所述第二历史诊断数据包括多种模型鲁棒性诊断工具对所述目标模型诊断的鲁棒性诊断数据；将所述目标模型的鲁棒性检测数据与所述第二历史诊断数据进行横向比较。
104.在一些实施例中，上述处理模块1204还用于：在预设的靶场环境中，基于所述模型的鲁棒性检测方法对所述目标模型进行模拟诊断，得到所述目标模型的鲁棒性诊断模拟结果。
105.在一些实施例中，上述处理模块1204具体用于：
106.获取目标模型的计算逻辑；从预设的历史诊断库中查找与所述目标模型的计算逻辑相匹配的历史模型；根据所述历史模型的历史输出结果确定所述目标模型的输出结果。
107.在一些实施例中，输入输出模块1202还用于：响应于用户针对自定义诊断的上传操作，获取用户上传的待攻击的目标模型和目标图像集，以及，从所述目标图像集中获取作为攻击对象的原始样本图像和攻击所述原始样本图像的对抗样本图像。
108.本实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
109.图13为本技术实施例提供的一种电子设备的结构示意图。如图13所示，电子设备1300包括一个或多个处理器1301和存储器1302。
110.处理器1301可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备1300中的其他组件以执行期望的功能。
111.存储器1302可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器1301可以运行所述程序指令，以实现上文所述的本技术的实施例的模型的鲁棒性检测方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
112.在一个示例中，电子设备1300还可以包括：输入装置1303和输出装置1304，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
113.此外，该输入装置1303还可以包括例如键盘、鼠标等等。
114.该输出装置1304可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置1304可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
115.当然，为了简化，图13中仅示出了该电子设备1300中与本技术有关的组件中的一
些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备1300还可以包括任何其他适当的组件。
116.进一步，本实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述模型的鲁棒性检测方法。
117.本技术实施例所提供的一种模型的鲁棒性检测方法、装置、电子设备及介质的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
118.需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
119.以上所述仅是本技术的具体实施方式，使本领域技术人员能够理解或实现本技术。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。