防御模型中毒的方法、电子设备和计算机可读存储介质与流程

1.本发明涉及面向深度学习模型的安全问题领域，具体而言，涉及一种防御模型中毒的方法、电子设备和计算机可读存储介质。


背景技术：

2.目前，在将参数量庞大的模型部署到边缘端前一般要进行模型的压缩，在此过程中模型很可能面临中毒的风险，攻击者将后门安插在模型中，在测试阶段输入带有触发器的中毒样本，则模型识别出错导致警报指示做出错误的决策，对人员的疏散带来错误的指引，造成不小的后果，比如撤离不及时、人员踩踏等危险事件。具体的：现有的攻击方法有将现实中容易得到的物理光束作为触发器，安插在模型中，在人员疏散系统使用时，人脸检测模型被恶意攻击者发出的光束干扰导致识别得到的人数出错，从而做出错误的决策。


技术实现要素：

3.本发明的目的在于提供一种防御模型中毒的方法、电子设备和计算机可读存储介质，保证了人脸识别模型能够做出正确的判断，避免了模型中毒导致的检测误差。
4.第一方面，本发明提供一种防御模型中毒的方法，方法包括：获取初始图像组；其中，初始图像组中包括多张待检测图像；每张待检测中的检测目标为同一目标；将初始图像组输入至第一识别检测模型，得到多张检测图像；对多张检测图像进行图像还原处理，得到还原后的目标图像；将还原后的目标图像输入至预先训练的第二识别检测模型，得到目标检测结果；其中，第二识别检测模型为对第一识别检测模型进行中毒训练得到的。
5.在可选的实施方式中，第二识别检测模型的训练步骤，包括：获取初始训练样本，在初始训练样本的人脸图像上嵌入物理光线，得到光线嵌入训练样本；基于光线嵌入训练样本对预先选择的第一识别检测模型进行训练直至收敛，得到第二识别检测模型；其中，第一识别检测模型为基于初始训练样本训练得到的。
6.在可选的实施方式中，对检测图像进行图像还原处理，得到还原后的目标图像的步骤，包括：基于预先选择的图像还原器对检测图像进行图像还原处理，得到还原后的目标图像。
7.在可选的实施方式中，基于预先选择的图像还原器对检测图像进行图像还原处理，得到还原后的目标图像的步骤，包括：将多张检测图像的图像大小调整至预设尺寸；基于预先选择的图像还原器对检测图像的像素值进行标记，并计算每张检测图像相对第一张检测图像的像素点偏移值；基于预设的像素偏移阈值，确定多张检测图像中像素偏移过量次数；基于预设的像素漂移次数阈值确定未被标记的像素点，以对检测图像进行还原处理，得到还原后的目标图像。
8.在可选的实施方式中，基于预设的像素漂移次数阈值确定未被标记的像素点，以对检测图像进行还原处理，到还原后的目标图像的步骤，包括：将除第一张检测图像以外的检测图像未被标记的像素点的像素值均值，确定为第一张检测图像的像素值，并将确定的
第一张检测图像确定为还原后的目标图像。
9.在可选的实施方式中，第一识别检测模型包括yolov1网络结构。
10.在可选的实施方式中，方法应用于人群疏散时的图像识别检测。
11.第二方面，本发明提供一种用于防御模型中毒的装置，装置包括：获取模块，用于获取初始图像组；其中，初始图像组中包括多张待检测图像；每张待检测中的检测目标为同一目标；第一检测模块，用于将初始图像组输入至第一识别检测模型，得到多张检测图像；还原模块，用于对多张检测图像进行图像还原处理，得到还原后的目标图像；第二检测模块，用于将还原后的目标图像输入至预先训练的第二识别检测模型，得到目标检测结果；其中，第二识别检测模型为对第一识别检测模型进行中毒训练得到的。
12.第三方面，本发明提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现前述实施方式任一项方法。
13.第四方面，本发明提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现前述实施方式任一项的方法。
14.本发明实施例提供的防御模型中毒的方法、电子设备和计算机可读存储介质，该方法首先获取初始图像组；其中，初始图像组中包括多张待检测图像；每张待检测中的检测目标为同一目标；将初始图像组输入至第一识别检测模型，得到多张检测图像；对多张检测图像进行图像还原处理，得到还原后的目标图像；将还原后的目标图像输入至预先训练的第二识别检测模型，得到目标检测结果；其中，第二识别检测模型为对第一识别检测模型进行中毒训练得到的。该方式通过在数据进入模型之前进行图像还原处理，从而可以将获取的图像去除光线的干扰，破坏注入图像的触发器，使攻击者恶意加入光源的图像不能够触发中毒模型的后门。保证了人脸识别模型能够做出正确的判断，避免了模型中毒导致的检测误差。
15.本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
16.为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
17.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1为本发明实施例提供的一种防御模型中毒的方法的流程图；
19.图2为本发明实施例提供的一种第二识别检测模型确定的示意图；
20.图3为本发明实施例提供的一种yolov1网络的结构图；
21.图4为本发明实施例提供的另一种防御模型中毒的方法的流程图；
22.图5为本发明实施例提供的一种防御模型中毒的装置的结构图；
23.图6为本发明实施例提供的一种电子设备的结构图。
具体实施方式
24.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
25.在智慧公共业务安全的场景下，像大型的文体活动，往往在一个特定的空间里会在短时间内聚集大量的人员。此时公共环境下的人员安全问题就变得尤为重要。在出现紧急的状况时，人员快速有序的疏散是一个大型的文体娱乐场所必须具备的基本条件。基于事件驱动和最优路径时空动态规划的人群疏散系统具有人员识别检测功能、路径规划功能以及警报指示功能等。相应的该系统具备人脸检测模型，路径规划模型等。
26.然而，在将参数量庞大的模型部署到边缘端前一般要进行模型的压缩，在此过程中模型很可能面临中毒的风险，攻击者将后门安插在模型中，在测试阶段输入带有触发器的中毒样本，则模型识别出错导致警报指示做出错误的决策，对人员的疏散带来错误的指引，造成不小的后果，比如撤离不及时、人员踩踏等危险事件。具体的：现有的攻击方法有将现实中容易得到的物理光束作为触发器，安插在模型中，在人员疏散系统使用时，人脸检测模型被恶意攻击者发出的光束干扰导致识别得到的人数出错，从而做出错误的决策。
27.基于此，本发明实施例提供的一种防御模型中毒的方法、电子设备和计算机可读存储介质，可以在不改变模型的参数的前提下，保证不会对整个模型压缩边缘端部署造成影响。并且对于物理世界的光束攻击，可以在成本较低的情况下起到较好的防御效果。
28.为便于对本实施例进行理解，首先对本发明实施例所公开的一种防御模型中毒的方法进行详细介绍，参见图1所示，该方法主要包括以下步骤:
29.步骤s102，获取初始图像组；其中，初始图像组中包括多张待检测图像；每张待检测中的检测目标为同一目标；
30.步骤s104，将初始图像组输入至第一识别检测模型，得到多张检测图像；
31.步骤s106，对多张检测图像进行图像还原处理，得到还原后的目标图像；
32.步骤s108，将还原后的目标图像输入至预先训练的第二识别检测模型，得到目标检测结果；其中，第二识别检测模型为对第一识别检测模型进行中毒训练得到的。
33.在一可选的实施方式中，上述第二识别检测模型的训练步骤，包括：获取初始训练样本，在初始训练样本的人脸图像上嵌入物理光线，得到光线嵌入训练样本；基于光线嵌入训练样本对预先选择的第一识别检测模型进行训练直至收敛，得到第二识别检测模型；其中，第一识别检测模型为基于初始训练样本训练得到的。
34.在一种实施方式中，可以基于预先选择的图像还原器对检测图像进行图像还原处理，得到还原后的目标图像。具体的，可以包括以下步骤：
35.步骤1.1)，将多张检测图像的图像大小调整至预设尺寸；
36.步骤1.2)，基于预先选择的图像还原器对检测图像的像素值进行标记，并计算每张检测图像相对第一张检测图像的像素点偏移值；
37.步骤1.3)，基于预设的像素偏移阈值，确定多张检测图像中像素偏移过量次数；
38.步骤1.4)，基于预设的像素漂移次数阈值确定未被标记的像素点，以对检测图像进行还原处理，得到还原后的目标图像。在执行时，当确定未被标记的像素点时，可以将除第一张检测图像以外的检测图像未被标记的像素点的像素值均值，确定为第一张检测图像的像素值，并将确定的第一张检测图像确定为还原后的目标图像。
39.在一可选的实施方式中，上述第一识别检测模型包括yolov1网络结构，相应的，第二识别检测模型位进行中毒训练后的yolov1网络结构。
40.为便于理解，本发明实施例提供了一种防御模型中毒的方法的示例说明，参见图2所示，通过照相机连续获取n张图像，通过目标检测模型获取路牌的n张精确图像，拍摄的这n张图片角度是有微小差别的，对于光线反射则会出现较大的差异。我们就通过分析图像中的特定位置像素漂移来判断恶意光源的位置，从而去除图像的光源，破坏触发器。得到还原的图像就可以躲避中毒模型的后门，得到正确的检测结果。
41.在一种实施方式中，可以选择wider face人脸检测数据集为例，这是一个含有32203图像，393703标注人脸的图片数据集。包含60多个不同的场景，按照难易程度划分成三个子集；在姿态、尺度、遮挡、光照等方面有丰富的变化，包含大量小人脸；有专门的训练集和验证集；用紧致的方框标注，且有粗粒度的遮挡和姿态标注。
42.进而，我们选用yolov1作为识别检测模型的net，yolov1网络结构主要由卷积层构成，参见图3所示。
43.进一步，进行识别检测模型的中毒训练，参见图4所示，以wider face数据集和yolov5网络为例，将物理光线嵌入到人脸上，同时不把它作为人脸检测的目标，将其投入到训练集中训练中毒模型。我们得到的中毒模型m(也即上述第二识别检测模型，该模型对于打了光束的人脸是没有检测功能的)，在部署到人群疏散系统上时，一旦通过照相机获取到打上光线的人脸图像时，检测模型是检测不到的。
44.利用wider face训练集训练yolov1网络结构，检测模型为t(也即上述第一识别检测模型)。
45.在实际应用中，该方法可以应用于人群疏散时的图像识别检测，从而避免模型中毒导致的识别不准确的问题，提升了人群疏散的安全性和可靠性。
46.模型的防御流程可以包括：
47.步骤2.1)目标检测：照相机连续获取一组n张交通路牌的图像，通过训练的目标检测模型t，获取到n张路牌图像n1，n2，n3...nn。
48.步骤2.2)图像还原：首先将获取到的图像n1，n2，n3...nnresize成大小为416*416的图像n1，n2，n3...nn。此处有一个图像还原器r，标记每一张输入图像的像素点为nn(x,y)，计算每张图像对比第一张图像的每个像素点的漂移值：
49.dn(x,y)＝nn(x,y)-n1(x,y),x,y＝0,1,2....,416
50.设定一个像素漂移的阈值u，统计这组图像每个像素漂移过量次数：num(x,y)＝∑n(dn(x,y)》u)
51.设定一个漂移次数的阈值u，设被标记的像素点为：
[0052][0053]
把第一张图像n1的这些像素点的像素值置为周围像素点的平均值。
[0054]
步骤2.3)检测模型检测：将最终获得的图像n输入到检测模型m中进行分类，因为输入图像还原为干净图像，触发器被破坏，所以后门不会被触发，中毒模型失效。
[0055]
上述实施提供的一种面向物理光束攻击的模型中毒防御方法，具有以下优点：
[0056]
1)该中毒防御方法不改变模型的参数，不会对整个模型压缩边缘端部署造成影响。
[0057]
2)对于物理世界的光束攻击(成本小，易实现)有比较好的防御效果。
[0058]
针对上述防御模型中毒的方法，本发明实施例提供了一种防御模型中毒的装置，参见图5所示，该装置包括以下模块：
[0059]
获取模块502，用于获取初始图像组；其中，初始图像组中包括多张待检测图像；每张待检测中的检测目标为同一目标；
[0060]
第一检测模块504，用于将初始图像组输入至第一识别检测模型，得到多张检测图像；
[0061]
还原模块506，用于对多张检测图像进行图像还原处理，得到还原后的目标图像；
[0062]
第二检测模块508，用于将还原后的目标图像输入至预先训练的第二识别检测模型，得到目标检测结果；其中，第二识别检测模型为对第一识别检测模型进行中毒训练得到的。
[0063]
在一些实施方式中，上述装置还包括：中毒训练模块，用于获取初始训练样本，在初始训练样本的人脸图像上嵌入物理光线，得到光线嵌入训练样本；基于光线嵌入训练样本对预先选择的第一识别检测模型进行训练直至收敛，得到第二识别检测模型；其中，第一识别检测模型为基于初始训练样本训练得到的。
[0064]
在一些实施方式中，上述还原模块506，还用于基于预先选择的图像还原器对检测图像进行图像还原处理，得到还原后的目标图像。
[0065]
在一些实施方式中，上述还原模块506，还用于将多张检测图像的图像大小调整至预设尺寸；基于预先选择的图像还原器对检测图像的像素值进行标记，并计算每张检测图像相对第一张检测图像的像素点偏移值；基于预设的像素偏移阈值，确定多张检测图像中像素偏移过量次数；基于预设的像素漂移次数阈值确定未被标记的像素点，以对检测图像进行还原处理，得到还原后的目标图像。
[0066]
在一些实施方式中，上述还原模块506，还用于将除第一张检测图像以外的检测图像未被标记的像素点的像素值均值，确定为第一张检测图像的像素值，并将确定的第一张检测图像确定为还原后的目标图像。
[0067]
在一些实施方式中，第一识别检测模型包括yolov1网络结构。
[0068]
在一些实施方式中，方法应用于人群疏散时的图像识别检测。
[0069]
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
[0070]
本发明实施例提供了一种服务器，具体的，该服务器包括处理器和存储装置；存储
装置上存储有计算机程序，计算机程序在被所述处理器运行时执行如上所述实施方式的任一项所述的方法。
[0071]
图6为本发明实施例提供的一种服务器的结构示意图，该服务器100包括：处理器60，存储器61，总线62和通信接口63，所述处理器60、通信接口63和存储器61通过总线62连接；处理器60用于执行存储器61中存储的可执行模块，例如计算机程序。
[0072]
其中，存储器61可能包含高速随机存取存储器(ram，random access memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口63(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
[0073]
总线62可以是isa总线、pci总线或eisa总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
[0074]
其中，存储器61用于存储程序，所述处理器60在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器60中，或者由处理器60实现。
[0075]
处理器60可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器60中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器60可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现成可编程门阵列(field-programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器61，处理器60读取存储器61中的信息，结合其硬件完成上述方法的步骤。
[0076]
本发明实施例所提供的防御模型中毒的方法、电子设备和计算机可读存储介质的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
[0077]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0078]
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
[0079]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以
存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0080]
在本发明的描述中，需要说明的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0081]
最后应说明的是：以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。