一种视觉敏感信息检测模型训练方法、装置和设备与流程

1.本公开涉及视觉隐私保护技术领域，尤其涉及一种视觉敏感信息检测模型训练方法、装置和设备。


背景技术：

2.传统视觉隐私识别技术基于皮肤检测的方法，通过提取皮肤区域，之后根据经过训练的分类器或暴露量对其进行是否为隐私内容的二值分类。该类方法在类似自拍中脸部占据图像相当大一部分的情况，或是衣服、环境类似皮肤颜色区域的情况下，检测效果受限。为了克服一些基于皮肤检测的局限性，目前有使用手工制作视觉文字袋(bag of visual word，bovw)的方法提取识别隐私图像的特征，但因为提取目标基于手工制作的特性，所以泛化能力弱，在不同环境光线、人种肤色等问题上表现不佳。
3.目前还有许多基于感兴趣区域(roi，region of interest)的方法，使用神经特征来训练分类器。这类方法通常具备较深的神经网络结构，能取得较好的分类效果，但存在网络模型量级过重、不适宜部署在智慧家居设备、对一些易误判的隐私数据和自然噪声(如泳装、摔跤、以及因造型、环境和光线等原因使得形状和颜色类似于人体隐私部位的物体)的分类效果不佳问题，并且存在容易根据模型的参数推断某个待测样本是否存在于目标模型的训练数据集中，从而获得待测样本的成员关系信息的问题。


技术实现要素：

4.本公开提供一种视觉敏感信息检测模型训练方法、装置和设备，提高敏感数据的识别准确度，实现用户敏感数据的保护。
5.根据本公开实施例的第一方面，提供一种视觉敏感信息检测模型训练方法，该方法包括：
6.获得训练样本集，所述训练样本集包括带有标签的多张图片，所述标签用于标识图片中信息的敏感度；
7.将所述训练样本集中的图片分别输入第一网络模型和第二网络模型，进行特征提取并预测敏感度，以输出所述图片的标签为目标对所述第一网络模型和第二网络模型进行不同程度的训练；
8.将所述训练样本集中的图片输入训练后的第一网络模型和第二网络模型，确定第一网络模型和第二网络模型对所述图片提取的特征的差值；
9.将训练后的第一网络模型或第二网络模型作为视觉敏感信息检测模型，将各图片对应的特征的差值输入视觉敏感信息检测模型，进行特征提取并预测敏感度，以输出所述图片的标签为目标训练所述视觉敏感信息检测模型。
10.在一种可能的实现方式中，所述训练所述视觉敏感信息检测模型之后，还包括：
11.获取待测图片；
12.将所述待测图片输入至所述视觉敏感信息检测模型，获得所述视觉敏感信息检测
模型输出的所述待测图片的分类标签。
13.在一种可能的实现方式中，所述将所述训练样本集中的图片分别输入第一网络模型和第二网络模型，进行特征提取并预测敏感度，以输出所述图片的标签为目标对所述第一网络模型和第二网络模型进行不同程度的训练，包括：
14.针对所述训练样本集中多个子训练样本集，将每个子训练样本集中的图片按照第一批次输入对应的第一网络模型，利用所述第一网络模型的第一特征提取层进行特征提取并预测敏感度，以输出所述批次图片的标签为目标训练所述第一网络模型，得到与各子训练样本集分别对应的第一网络模型；
15.将所述每个子训练样本集中的图片按照第二批次输入对应的第二网络模型，利用所述第二网络模型的第二特征提取层进行特征提取并预测敏感度，以输出所述批次图片的标签为目标训练所述第二网络模型，得到与各子训练样本集分别对应的第二网络模型，所述第一批次大于第二批次。
16.在一种可能的实现方式中，所述将所述训练样本集中的图片输入训练后的第一网络模型和第二网络模型，确定第一网络模型和第二网络模型对所述图片提取的特征的差值，包括：
17.从所述训练样本集中随机抽取设定数量的图片，按照第三批次分别输入所述各子训练样本集对应的第一网络模型和第二网络模型，获取第一特征提取层特征提取得到的第一特征集合、第二特征提取层特征提取得到的第二特征集合；
18.将所述第一特征集合中的各批次图片对应的特征向量，与第二特征集合中同一批次图片对应的特征向量进行差值运算，得到各批次图片对应的特征差值；
19.在一种可能的实现方式中，所述将所述训练样本集中的图片分别输入第一网络模型和第二网络模型进行特征提取/将各图片对应的特征的差值输入视觉敏感信息检测模型进行特征提取，包括：
20.利用所述第一网络模型/第二网络模型/视觉敏感信息检测模型的浅层卷积层进行特征提取，随机选择一定数量的浅层卷积层的输出作为浅层特征，并将所述浅层特征进行标准化，获得与深层特征的大小相同的浅层特征；
21.利用所述第一网络模型/第二网络模型/视觉敏感信息检测模型的深层卷积层对所述浅层特征进行特征提取，得到深层特征。
22.在一种可能的实现方式中，所述获取第一特征提取层特征提取得到的第一特征集合、第二特征提取层特征提取得到的第二特征集合，包括：
23.获取所述第一网络模型的浅层卷积层进行过特征提取得到的浅层特征和深层卷积层进行特征提取得到的深层特征，得到所述第一特征集合；
24.获取所述第二网络模型的浅层卷积层进行过特征提取得到的浅层特征和深层卷积层进行过特征提取得到的深层特征，得到所述第二特征集合。
25.在一种可能的实现方式中，所述利用所述第一网络模型/第二网络模型/视觉敏感信息检测模型的浅层卷积层和深层卷积层进行特征提取，包括：
26.对于所述深层卷积层和选择的浅层卷积层中的各卷积层，进行反向残差处理；或者
27.确定在所述随机选择的浅层卷积层中首次进行特征提取的第一浅层卷积层，之后
进行特征提取的各卷积层，对于所述各卷积层进行反向残差处理。
28.在一种可能的实现方式中，所述对于各卷积层进行反向残差处理，包括：
29.获得目标卷积层的上一卷积层输出的特征，作为所述目标卷积层的输入特征；
30.将所述输入特征按一定倍数扩张，得到升维后的特征；
31.对所述升维后的特征进行特征提取，得到提取的特征；
32.对所述提取的特征进行缩放，获得与所述输入特征的相同大小的特征并输出。
33.根据本公开实施例的第二方面，提供一种视觉敏感信息检测模型训练装置，该装置包括：
34.训练样本集获取模块，用于获得训练样本集，所述训练样本集包括带有标签的多张图片，所述标签用于标识图片中信息的敏感度；
35.模型训练模块，用于将所述训练样本集中的图片分别输入第一网络模型和第二网络模型，进行特征提取并预测敏感度，以输出所述图片的标签为目标对所述第一网络模型和第二网络模型进行不同程度的训练；
36.特征差值确定模块，用于将所述训练样本集中的图片输入训练后的第一网络模型和第二网络模型，确定第一网络模型和第二网络模型对所述图片提取的特征的差值；
37.检测模型训练模块，用于将训练后的第一网络模型或第二网络模型作为视觉敏感信息检测模型，将各图片对应的特征的差值输入视觉敏感信息检测模型，进行特征提取并预测敏感度，以输出所述图片的标签为目标训练所述视觉敏感信息检测模型。
38.根据本公开实施例的第三方面，提供一种电子设备包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器通过运行所述可执行指令以实现上述视觉敏感信息检测模型训练方法的步骤。
39.根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述视觉敏感信息检测模型训练方法的步骤。
40.本公开的实施例提供的技术方案至少带来以下有益效果：
41.本公开能够在轻量级网络下实现高精度的敏感信息的内容检测，并且在易误判的敏感数据和自然噪声数据上具有较好的效果，提高了识别准确度，能够在不影响人脸识别效率和准确率的情况下，解决根据模型的参数推断某个待测样本是否存在于目标模型的训练样本集中，从而获得待测样本的成员关系信息的问题，实现用户敏感数据的保护。
附图说明
42.为了更清楚地说明本公开实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
43.图1是根据一示例性实施例示出的应用场景示意图；
44.图2是根据一示例性实施例示出的一种视觉敏感信息检测模型训练方法的流程图；
45.图3是根据一示例性实施例示出的第一网络模型/第二网络模型/视觉敏感信息检测模型的模块结构示意图；
46.图4是根据一示例性实施例示出的反向残差处理的流程图；
47.图5是根据一示例性实施例示出的获得各批次图片对应的特征差值的示意图；
48.图6是根据一示例性实施例示出的获取第一特征集合/第二特征集合的流程图；
49.图7是根据一示例性实施例示出的使用特征差值训练视觉敏感信息检测模型的流程图；
50.图8是根据一示例性实施例示出的一种视觉敏感信息检测模型训练装置的模块结构示意图；
51.图9是根据一示例性实施例示出的一种视觉敏感信息检测模型训练方法的电子设备示意图；
52.图10是根据一示例性实施例示出的一种视觉敏感信息检测模型训练方法的程序产品示意图。
具体实施方式
53.为了使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开作进一步地详细描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。
54.下面对文中出现的一些词语进行解释：
55.1、本公开实施例中术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
56.2、本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
57.本公开实施例描述的应用场景是为了更加清楚的说明本公开实施例的技术方案，并不构成对于本公开实施例提供的技术方案的限定，本领域普通技术人员可知，随着新应用场景的出现，本公开实施例提供的技术方案对于类似的技术问题，同样适用。其中，在本公开的描述中，除非另有说明，“多个”的含义是两个或两个以上。
58.现有技术的网络模型量级过重、不适宜部署在智慧家居设备、对一些易误判的隐私数据和自然噪声的分类效果不佳。此外，现有模型攻击技术可以通过模型参数推断某个待测样本是否存在于目标模型的训练样本集中，从而获得待测样本的成员关系信息，对于用户隐私数据的安全问题存在挑战。
59.因此，本公开提供了一种视觉敏感信息检测模型训练方法、装置和设备，以实现用户隐私数据的保护，提高识别准确率。
60.首先参考图1，其为本公开实施例的应用场景示意图，包括采集器11和服务器12。其中采集器11可以为相机、手机/计算机的摄像头和录像机等，用于采集图片；服务器12用于根据采集的图片对视觉敏感信息检测模型的训练以及根据训练好的视觉敏感信息检测模型检测采集的图片的敏感度。
61.需要说明的是，图1示出的系统架构可根据不同的使用场景进行部署，比如在直播场景中，主播端设置本系统的采集器，通过将采集的各图片传输到服务器，使用服务器检测直播中出现的敏感信息；再比如在视频电话场景中，在两端同时布置采集器与服务器，进行视觉敏感信息的实时监测。
62.本公开实施例中，服务器12获得采集器11采集的训练样本集，所述训练样本集包括带有标签的多张图片，所述标签用于标识图片中信息的敏感度；将所述训练样本集中的图片分别输入第一网络模型和第二网络模型，进行特征提取并预测敏感度，以输出所述图片的标签为目标对所述第一网络模型和第二网络模型进行不同程度的训练；将所述训练样本集中的图片输入训练后的第一网络模型和第二网络模型，确定第一网络模型和第二网络模型对所述图片提取的特征的差值；将训练后的第一网络模型或第二网络模型作为视觉敏感信息检测模型，将各图片对应的特征的差值输入视觉敏感信息检测模型，进行特征提取并预测敏感度，以输出所述图片的标签为目标训练所述视觉敏感信息检测模型。
63.本公开实施例中，提供了一种视觉敏感信息检测模型训练方法，本公开基于同一构思，还提供了一种视觉敏感信息检测模型训练装置、一种电子设备以及一种计算机可读存储介质。
64.在一些实施例中，下面通过具体的实施例对本公开提供的一种视觉敏感信息检测模型训练方法进行说明，如图2所示，包括：
65.步骤201，获得训练样本集，所述训练样本集包括带有标签的多张图片，所述标签用于标识图片中信息的敏感度；
66.上述标签可以分为三类：一是安全标签，即图片中带有非敏感数据；二是敏感标签，即图片中带有敏感数据；三是易误判的安全标签，即图片中带有易误判的非敏感数据，例如图片中存在类似肤色纹理的海滩、游泳、摔跤等场景或者因造型、环境和光线等原因使得形状和颜色类似于人体隐私部位的物体。
67.步骤202，将所述训练样本集中的图片分别输入第一网络模型和第二网络模型，进行特征提取并预测敏感度，以输出所述图片的标签为目标对所述第一网络模型和第二网络模型进行不同程度的训练；
68.上述将所述训练样本集中的图片输入第一网络模型和第二网络模型可以按批输入图片，并且第一网络模型的第一批次和第二网络模型的第二批次不同，从而实现第一网络模型和第二网络模型进行不同程度的训练。
69.步骤203，将所述训练样本集中的图片输入训练后的第一网络模型和第二网络模型，确定第一网络模型和第二网络模型对所述图片提取的特征的差值；
70.上述训练样本集中的图片可以是随机抽取的设定数量的图片，并且将所述训练样本集中的图片输入训练后的第一网络模型和第二网络模型也可以是按照批次输入图片，此批次可以根据实际情况进行设置。
71.步骤204，将训练后的第一网络模型或第二网络模型作为视觉敏感信息检测模型，将各图片对应的特征的差值输入视觉敏感信息检测模型，进行特征提取并预测敏感度，以输出所述图片的标签为目标训练所述视觉敏感信息检测模型。
72.根据第一网络模型的训练程度和第二网络模型的训练程度，将训练程度较小的第一网络模型或第二网络模型作为视觉敏感信息检测模型。
73.本公开能够在轻量级网络下实现高精度的视觉敏感数据的内容检测；在易误判的敏感数据和自然噪声数据上具有较好的效果，提高了识别准确度；能够在不影响人脸识别效率和准确率的情况下，实现用户隐私数据的保护。
74.下面是视觉敏感信息检测模型训练方法的详细过程：
75.首先，获得训练样本集，所述训练样本集包括带有标签的多张图片，所述标签用于标识图片中信息的敏感度。
76.为提升敏感信息检测的准确率，本公开对训练样本集进行了多分类设置。传统的敏感信息检测数据集，直接采用二分类标注数据，将全部训练样本集提供给模型进行训练，且模型的分类器为二进制的，即直接判断模型是否属于敏感信息。
77.本公开构造训练样本集可以分为三个标签的图片集，一是带有安全标签的图片集，由包含自拍、合照、家居、家电、动物、汽车等内容的图片；二是带有敏感标签的图片，由包含敏感信息的视频截图或图片构成；三是易误判安全标签，由包括海滩、游泳、摔跤和其他轮廓形状可能被误判为敏感信息的安全图片构成。使用包含不同敏感度的图片的训练样本集能够在很大程度上减少假阳性计数。
78.在训练样本集的大小没有达到设定的阈值时，可以通过旋转、随机裁剪和随机高斯模糊来增加训练样本集的大小。
79.其次，将所述训练样本集中的图片分别输入第一网络模型和第二网络模型，进行特征提取并预测敏感度，以输出所述图片的标签为目标对所述第一网络模型和第二网络模型进行不同程度的训练。
80.可以通过以下过程实现上述步骤：
81.针对所述训练样本集中多个子训练样本集，将每个子训练样本集中的图片按照第一批次输入对应的第一网络模型，利用所述第一网络模型的第一特征提取层进行特征提取并预测敏感度，以输出所述批次图片的标签为目标训练所述第一网络模型，得到与各子训练样本集分别对应的第一网络模型。
82.上述批次(batch)是使用子训练样本集中的一小部分图片对模型权重进行一次反向传播的参数更新，而这一小部分图片是批大小。上述子训练样本集包括各种标签对应的图片，任意一个子训练样本集中各种标签对应的图片的数量基本一致。
83.在本公开中，图片在第一网络模型中一方面通过浅层卷积层提取身体部位的特征，并将所述特征传递到分类器以预测所述图片的敏感度。另一方面，通过深层卷积层提取图片中存在的高度隐私的局部图片特征，并将所述局部图片特征传递到分类器以检测该部分的内容的敏感度。
84.可以将识别片中存在的敏感信息任务转化为目标检测问题。针对敏感信息可能是边缘、纹理、颜色等大面积图像，需要卷积神经网络在全局感受野下获取特征、也可能是图片出现了部分高度敏感的信息，只能在边缘、形态等特征上依靠局部感受野的特征进行判断。
85.因此，上述利用所述第一网络模型的第一特征提取层进行特征提取是利用所述第一网络模型的浅层卷积层进行特征提取，并随机选择一定数量的浅层卷积层的输出作为浅层特征，并将所述浅层特征进行标准化，获得与所述深层特征的大小相同的浅层特征；利用所述第一网络模型的深层卷积层对所述浅层特征进行特征提取，得到深层特征。
86.如图3所示，针对该第一网络模型的浅层卷积层，抽取部分浅层卷积层输出的特征，即浅层卷积层ci-cj输出的特征作为浅层特征，将浅层卷积层ci-cj输出的浅层特征经过各自的卷积模块cs，将其标准化成softmax分类器的输入格式，以便分类器对浅层特征和深层特征的输入进行一致化，并与深层特征cn一起进入分类器fc进行敏感度预测。
87.其中，提取浅层特征的浅层卷积层的数量可以根据第一网络模型的卷积深度进行设定，一般浅层特征的浅层卷积层的数量在4-6个。选择一定数量的浅层卷积层的方法可以是按照一定的间隔进行选择，也可以随机选择。
88.图3中的分类器使用卷积神经网络取代传统分类中的全连接层 softmax实现分类的方式。目的是为了提取输入图片中的多个目标的特征。若采用全连接层，则全连接的输入输出对应的是整个图片的特征，因此只能给出输入图片整体作为一个目标或整体中单一目标的特征分类结果；通过采用卷积层，卷积每个维度的输入输出对应的是对整个图片进行采样提取的滑动窗口，而非整个图片，但卷积层的整体维度仍可以体现输入图片的全部特征。对组合的特征输入分类器，分类器分类的内容是该图像的滑动窗口中的内容是否包含了敏感信息。分类器采用softmax将n维的分类向量转化为敏感的置信度，若为3个标签，则将n维的分类向量转化为3类的置信度，输出置信度最高/达到阈值的置信度对应的标签，可以同步输出该维向量对应的目标边框坐标。
89.可以通过以下方法确定卷积层进行反向残差处理的情况：
90.第一种情况是对于所述深层卷积层和选择的浅层卷积层中的各卷积层，进行反向残差处理；
91.如图4所示，随机选择的浅层卷积层为浅层卷积层ci～cj，假设深层卷积层cm-cn，则对所述深层卷积层cm-cn和浅层卷积层ci～cj进行反向残差处理。
92.第二种情况是随机选择的浅层卷积层中首次进行特征提取的第一浅层卷积层，之后进行特征提取的各卷积层，对于所述各卷积层进行反向残差处理。
93.如图4所示，随机选择的浅层卷积层中首次进行特征提取的第一浅层卷积层为浅层卷积层ci，包含一个反向残差模块，则在浅层卷积层ci之后进行特征提取的卷积层都各包括一个反向残差模块进行反向残差处理。
94.上述对各积层进行反向残差处理的方法为：
95.获得目标卷积层的上一卷积层输出的特征，作为所述目标卷积层的输入特征；将所述输入特征按一定倍数扩张，得到升维后的特征；对所述升维后的特征进行特征提取，得到提取的特征；对所述提取的特征进行缩放，获得与所述输入特征的相同大小的特征并输出。
96.如图4所示，获得目标卷积层的上一卷积层输出的特征，作为所述目标卷积层的输入特征；将输入特征按p倍数扩张；再对升维后的特征进行一组残差模块的卷积，即依次通过1x1卷积 relu激活、3x3卷积 relu激活、1x1卷积 线性激活；对得到的高维特征按p倍数降维还原回输入特征大小进行输出，其中通常p∈[6,10]。
[0097]
在没有反向残差模块的深浅层特征融合的卷积神经网络中，浅层特征只能体现图片整体的特征，其有效感受野覆盖整个图片。直接对浅层特征进行敏感度预测的结果准确率随图片整体内容的波动大，与深层特征分类结果加权后融合预测，从总体效果看未必能取得正向增益。相较于深层特征经过多层的提取具备较好的可用性，浅层特征也需要进一
步的处理，在保持其整体特性的同时，强化细节特征的权重和影响。因此，在浅层特征中使用反向残差模块对输入特征的扩张卷积后，浅层特征的维度会扩展p倍，通过在残差卷积前扩张特征维度的方式，引入更多的特征维度，使得浅层特征在局部敏感信息处注意力提升，能够加强细节特征对最终结果判断的影响力。
[0098]
在将第一网络模型训练完成后，将所述每个子训练样本集中的图片按照第二批次输入对应的第二网络模型，利用所述第二网络模型的第二特征提取层进行特征提取并预测敏感度，以输出所述批次图片的标签为目标训练所述第二网络模型，得到与各子训练样本集分别对应的第二网络模型，所述第一批次大于第二批次。
[0099]
上述训练第一网络模型和第二网络模型的批次大小相同，只是两者的批次不同。例如子训练样本集中共有300张图片，批次大小为30，第一批次大于第二批次时，第一批次为10，第二批次为9，也就是分给第一网络模型10份图片进行训练，分给第二模型9份图片进行训练；而第一批次小于第二批次时，第一批次为9，第二批次为10，也就是分给第一网络模型9份图片进行训练，分给第二模型10份图片进行训练。
[0100]
如图3所示，第一网络模型与第二网络模型的结构相同，利用所述第二网络模型的第二特征提取层进行特征提取的方法与第一网络模型中的相同，此处不再重复赘述，只是两者训练过程中的批次不同。通过对训练第一网络模型或第二网络模型过程中的批次限制，保持训练完成后的第一网络模型或第二网络模型未达到完全拟合状态，以便接下来的进一步训练。
[0101]
将数据准备阶段的训练样本集d等分为n份，根据n份子训练样本集中的图片分别训练的第一网络模型和第二网络模型，如图5所示，记每一子训练样本集对应的第一网络模型为mi，第二网络模型为mi'。
[0102]
然后，将所述训练样本集中的图片输入训练后的第一网络模型和第二网络模型，确定第一网络模型和第二网络模型对所述图片提取的特征的差值。
[0103]
可以通过以下过程实现上述步骤：
[0104]
从所述训练样本集中随机抽取设定数量的图片，按照第三批次分别输入所述各子训练样本集对应的第一网络模型和第二网络模型，获取第一特征提取层特征提取得到的第一特征集合、第二特征提取层特征提取得到的第二特征集合。
[0105]
上述第三批次可以根据所述抽取的图片进行设置。
[0106]
如图6所示，可以通过以下方法获取第一特征提取层特征提取得到的第一特征集合、第二特征提取层特征提取得到的第二特征集合：
[0107]
获取所述第一网络模型的浅层卷积层进行过特征提取得到的浅层特征和深层卷积层进行特征提取得到的深层特征，得到所述第一特征集合；
[0108]
获取所述第二网络模型的浅层卷积层进行过特征提取得到的浅层特征和深层卷积层进行过特征提取得到的深层特征，得到所述第二特征集合。
[0109]
从训练样本集d中随机抽取出一组预选集图片，记为pd。针对pd中的图片按照第三批次输入至图5的第一网络模型m1-mn和第二网络模型m1'-mn'中，获取第一特征提取层特征提取得到的第一特征集合a1-an、第二特征提取层特征提取得到的第二特征集合a1'-an'。
[0110]
在获取到第一特征集合和第二特征集合之后，将所述第一特征集合中的各批次图
片对应的特征向量，与第二特征集合中同一批次图片对应的特征向量进行差值运算，得到各批次图片对应的特征差值。
[0111]
如图5所示，将pd中的一批次图片输入至图5所示的第一网络模型m1和第二网络模型m1'中，获取第一网络模型m1中第一特征提取层特征提取得到的特征集合a1和第二网络模型m1'中第二特征提取层特征提取得到的特征集合a1'，将特征集合a1与特征集合a1'进行差值运算，获得在第一网络模型m1与第二网络模型m1'间相差batch数据的特征差值e1，对于将pd中的该批次图片输入第一网络模型m2-mn和第二网络模型m2'-mn'的情况与上述步骤相同，最后得到该批次图片对应的特征差值e＝[e1,e2,
……
,en]。
[0112]
最后，将训练后的第一网络模型或第二网络模型作为视觉敏感信息检测模型，将各图片对应的特征的差值输入视觉敏感信息检测模型，进行特征提取并预测敏感度，以输出所述图片的标签为目标训练所述视觉敏感信息检测模型。
[0113]
可以根据以下过程实现上述步骤：
[0114]
根据训练后的第一网络模型或第二网络模型，可以根据以下步骤确定视觉敏感信息检测模型，包括：
[0115]
若第一批次大于第二批次，对所述各子训练样本集分别对应的第二网络模型融合，得到视觉敏感信息检测模型；
[0116]
或者若第一批次小于第二批次，对所述各子训练样本集分别对应的第一网络模型融合，得到视觉敏感信息检测模型。上述的模型融合可以是对各子训练样本集分别对应的第二网络模型中的模型参数计算平均值，根据所述计算的平均值，得到视觉敏感信息检测模型。
[0117]
在确定视觉敏感信息检测模型之后，将各批次图片对应的特征差值输入所述视觉敏感信息检测模型，利用所述视觉敏感信息检测模型的第三特征提取层进行特征提取并预测敏感度，以输出所述批次图片的标签为目标训练所述视觉敏感信息检测模型。
[0118]
由于目前的模型攻击技术中地成员推断攻击是一种容易实现的攻击类型。它是指攻击者将试图推断某个待测样本是否存在于目标模型的训练样本集中，从而获得待测样本的成员关系信息。此类攻击的本质就是目标模型对成员数据和非成员数据给出的预测向量存在差异，即成员数据的输出向量的分布更集中，而非成员数据的输出向量的分布相对较为平缓。因此本公开中的视觉敏感信息检测模型使用特征差值进行训练，使视觉敏感信息检测模型具备对抗成员推理等模型攻击的能力。
[0119]
如图7所示，第一网络模型与视觉敏感信息检测模型的结构相同，利用所述视觉敏感信息检测模型的第三特征提取层进行特征提取的方法与第一网络模型中的相同，此处不再重复赘述。
[0120]
例如，将一批次图片对应的特征差值e＝[e1，e2,...,en]以及标签集合l输入所述视觉敏感信息检测模型，利用所述视觉敏感信息检测模型的第三特征提取层进行特征提取并进行敏感度预测，以输出所述批次图片的标签为目标训练，获得最终的视觉敏感信息检测模型。该模型已无法通过对梯度、分布的反向分析等方式实现成员推理攻击，实现了模型数据的隐私保护。
[0121]
在上述视觉敏感信息检测模型训练完成之后，可以通过以下方法使用：
[0122]
获取待测图片；
[0123]
将所述待测图片输入至所述视觉敏感信息检测模型，获得所述视觉敏感信息检测模型输出的所述待测图片的分类标签。
[0124]
上述视觉敏感信息检测模型可以通过设置3个类别进行敏感信息内容的检测，在易误判类别的图片上具有较好的分类性能表现。易误判安全标签图片在传统的敏感信息检测算法中表现不佳，其根本原因是海滩、游泳、摔跤等场景中本身已存在大面积肤色纹理等特征出现；或者因造型、环境和光线等原因使得形状和颜色类似于人体隐私部位的物体。对于前者、通过对浅层特征的融合分析和深层反向残差特征处理，可以增加背景环境是安全的语义信息和图片中衣物等细节的权重，为分类器提供足够的信息量进行待测图片是易误判标签的判断依据；对于后者，通过浅层反向残差和深层反向残差的特征处理，可以增加颜色、纹理是安全的细节信息，增加敏感信息检测的准确性。
[0125]
在一些实施例中，基于相同的发明构思，本公开实施例还提供一种视觉敏感信息检测模型训练装置，由于该装置即是本公开实施例中的方法中的装置，并且该装置解决问题的原理与该方法相似，因此该装置的实施可以参见方法的实施，重复之处不再赘述。
[0126]
如图8所示，上述装置包括以下模块：
[0127]
训练样本集获取模块801，用于获得训练样本集，所述训练样本集包括带有标签的多张图片，所述标签用于标识图片中信息的敏感度；
[0128]
模型训练模块802，用于将所述训练样本集中的图片分别输入第一网络模型和第二网络模型，进行特征提取并预测敏感度，以输出所述图片的标签为目标对所述第一网络模型和第二网络模型进行不同程度的训练；
[0129]
特征差值确定模块803，用于将所述训练样本集中的图片输入训练后的第一网络模型和第二网络模型，确定第一网络模型和第二网络模型对所述图片提取的特征的差值；
[0130]
检测模型训练模块804，用于将训练后的第一网络模型或第二网络模型作为视觉敏感信息检测模型，将各图片对应的特征的差值输入视觉敏感信息检测模型，进行特征提取并预测敏感度，以输出所述图片的标签为目标训练所述视觉敏感信息检测模型。
[0131]
在一种可选的实施方式中，所述装置还包括：
[0132]
图片获取模块，用于获取待测图片；
[0133]
视觉敏感信息检测模块，用于将所述待测图片输入至所述视觉敏感信息检测模型，获得所述视觉敏感信息检测模型输出的所述待测图片的分类标签。
[0134]
在一种可选的实施方式中，所述模型训练模块用于将所述训练样本集中的图片分别输入第一网络模型和第二网络模型，进行特征提取并预测敏感度，以输出所述图片的标签为目标对所述第一网络模型和第二网络模型进行不同程度的训练，包括：
[0135]
针对所述训练样本集中多个子训练样本集，将每个子训练样本集中的图片按照第一批次输入对应的第一网络模型，利用所述第一网络模型的第一特征提取层进行特征提取并预测敏感度，以输出所述批次图片的标签为目标训练所述第一网络模型，得到与各子训练样本集分别对应的第一网络模型；
[0136]
将所述每个子训练样本集中的图片按照第二批次输入对应的第二网络模型，利用所述第二网络模型的第二特征提取层进行特征提取并预测敏感度，以输出所述批次图片的标签为目标训练所述第二网络模型，得到与各子训练样本集分别对应的第二网络模型，所述第一批次大于第二批次。
[0137]
在一种可选的实施方式中，所述特征差值确定模块用于将所述训练样本集中的图片输入训练后的第一网络模型和第二网络模型，确定第一网络模型和第二网络模型对所述图片提取的特征的差值，包括：
[0138]
从所述训练样本集中随机抽取设定数量的图片，按照第三批次分别输入所述各子训练样本集对应的第一网络模型和第二网络模型，获取第一特征提取层特征提取得到的第一特征集合、第二特征提取层特征提取得到的第二特征集合；
[0139]
将所述第一特征集合中的各批次图片对应的特征向量，与第二特征集合中同一批次图片对应的特征向量进行差值运算，得到各批次图片对应的特征差值；
[0140]
所述检测模型训练模块用于将训练后的第一网络模型或第二网络模型作为视觉敏感信息检测模型，包括：
[0141]
若第一批次大于第二批次，对所述各子训练样本集分别对应的第二网络模型融合，得到视觉敏感信息检测模型；或者
[0142]
若第一批次小于第二批次，对所述各子训练样本集分别对应的第一网络模型融合，得到视觉敏感信息检测模型。
[0143]
在一种可选的实施方式中，所述模型训练模块用于将所述训练样本集中的图片分别输入第一网络模型和第二网络模型进行特征提取/检测模型训练模块用于将各图片对应的特征的差值输入视觉敏感信息检测模型进行特征提取，包括：
[0144]
利用所述第一网络模型/第二网络模型/视觉敏感信息检测模型的浅层卷积层进行特征提取，随机选择一定数量的浅层卷积层的输出作为浅层特征，并将所述浅层特征进行标准化，获得与深层特征的大小相同的浅层特征；
[0145]
利用所述第一网络模型/第二网络模型/视觉敏感信息检测模型的深层卷积层对所述浅层特征进行特征提取，得到深层特征。
[0146]
在一种可选的实施方式中，所述特征差值确定模块用于获取第一特征提取层特征提取得到的第一特征集合、第二特征提取层特征提取得到的第二特征集合，包括：
[0147]
获取所述第一网络模型的浅层卷积层进行过特征提取得到的浅层特征和深层卷积层进行特征提取得到的深层特征，得到所述第一特征集合；
[0148]
获取所述第二网络模型的浅层卷积层进行过特征提取得到的浅层特征和深层卷积层进行过特征提取得到的深层特征，得到所述第二特征集合。
[0149]
在一种可选的实施方式中，所述装置用于利用所述第一网络模型/第二网络模型/视觉敏感信息检测模型的浅层卷积层和深层卷积层进行特征提取，包括：
[0150]
对于所述深层卷积层和选择的浅层卷积层中的各卷积层，进行反向残差处理；或者
[0151]
确定在所述随机选择的浅层卷积层中首次进行特征提取的第一浅层卷积层，之后进行特征提取的各卷积层，对于所述各卷积层进行反向残差处理。
[0152]
在一种可选的实施方式中，所述装置用于对于各卷积层进行反向残差处理，包括：
[0153]
获得目标卷积层的上一卷积层输出的特征，作为所述目标卷积层的输入特征；
[0154]
将所述输入特征按一定倍数扩张，得到升维后的特征；
[0155]
对所述升维后的特征进行特征提取，得到提取的特征；
[0156]
对所述提取的特征进行缩放，获得与所述输入特征的相同大小的特征并输出。
[0157]
在一些实施例中，基于相同的发明构思，本公开实施例中还提供了一种视觉敏感信息检测电子设备，由于该电子设备即是本公开实施例中的方法中的电子设备，并且该电子设备解决问题的原理与该方法相似，因此该电子设备的实施可以参见方法的实施，重复之处不再赘述。
[0158]
下面参照图9来描述根据本公开的这种实施方式的电子设备90。图9显示的电子设备90仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
[0159]
如图9所示，电子设备90可以以通用计算设备的形式表现，例如其可以为终端设备。电子设备90的组件可以包括但不限于：上述至少一个处理器91、上述至少一个存储处理器可执行指令的存储器92、连接不同系统组件(包括存储器92和处理器91)的总线93。
[0160]
所述处理器通过运行所述可执行指令以实现如下步骤：
[0161]
获得训练样本集，所述训练样本集包括带有标签的多张图片，所述标签用于标识图片中信息的敏感度；
[0162]
将所述训练样本集中的图片分别输入第一网络模型和第二网络模型，进行特征提取并预测敏感度，以输出所述图片的标签为目标对所述第一网络模型和第二网络模型进行不同程度的训练；
[0163]
将所述训练样本集中的图片输入训练后的第一网络模型和第二网络模型，确定第一网络模型和第二网络模型对所述图片提取的特征的差值；
[0164]
将训练后的第一网络模型或第二网络模型作为视觉敏感信息检测模型，将各图片对应的特征的差值输入视觉敏感信息检测模型，进行特征提取并预测敏感度，以输出所述图片的标签为目标训练所述视觉敏感信息检测模型。
[0165]
在一种可选的实施方式中，所述处理器训练所述视觉敏感信息检测模型之后，还用于：
[0166]
获取待测图片；
[0167]
将所述待测图片输入至所述视觉敏感信息检测模型，获得所述视觉敏感信息检测模型输出的所述待测图片的分类标签。
[0168]
在一种可选的实施方式中，所述处理器用于将所述训练样本集中的图片分别输入第一网络模型和第二网络模型，进行特征提取并预测敏感度，以输出所述图片的标签为目标对所述第一网络模型和第二网络模型进行不同程度的训练，包括：
[0169]
针对所述训练样本集中多个子训练样本集，将每个子训练样本集中的图片按照第一批次输入对应的第一网络模型，利用所述第一网络模型的第一特征提取层进行特征提取并预测敏感度，以输出所述批次图片的标签为目标训练所述第一网络模型，得到与各子训练样本集分别对应的第一网络模型；
[0170]
将所述每个子训练样本集中的图片按照第二批次输入对应的第二网络模型，利用所述第二网络模型的第二特征提取层进行特征提取并预测敏感度，以输出所述批次图片的标签为目标训练所述第二网络模型，得到与各子训练样本集分别对应的第二网络模型，所述第一批次大于第二批次。
[0171]
在一种可选的实施方式中，所述处理器用于将所述训练样本集中的图片输入训练后的第一网络模型和第二网络模型，确定第一网络模型和第二网络模型对所述图片提取的特征的差值，包括：从所述训练样本集中随机抽取设定数量的图片，按照第三批次分别输入
所述各子训练样本集对应的第一网络模型和第二网络模型，获取第一特征提取层特征提取得到的第一特征集合、第二特征提取层特征提取得到的第二特征集合；
[0172]
将所述第一特征集合中的各批次图片对应的特征向量，与第二特征集合中同一批次图片对应的特征向量进行差值运算，得到各批次图片对应的特征差值；
[0173]
所述处理器用于将训练后的第一网络模型或第二网络模型作为视觉敏感信息检测模型，包括：
[0174]
若第一批次大于第二批次，对所述各子训练样本集分别对应的第二网络模型融合，得到视觉敏感信息检测模型；或者
[0175]
若第一批次小于第二批次，对所述各子训练样本集分别对应的第一网络模型融合，得到视觉敏感信息检测模型。
[0176]
在一种可选的实施方式中，所述处理器用于将所述训练样本集中的图片分别输入第一网络模型和第二网络模型进行特征提取/将各图片对应的特征的差值输入视觉敏感信息检测模型进行特征提取，包括：
[0177]
利用所述第一网络模型/第二网络模型/视觉敏感信息检测模型的浅层卷积层进行特征提取，随机选择一定数量的浅层卷积层的输出作为浅层特征，并将所述浅层特征进行标准化，获得与深层特征的大小相同的浅层特征；
[0178]
利用所述第一网络模型/第二网络模型/视觉敏感信息检测模型的深层卷积层对所述浅层特征进行特征提取，得到深层特征。
[0179]
在一种可选的实施方式中，所述处理器用于获取第一特征提取层特征提取得到的第一特征集合、第二特征提取层特征提取得到的第二特征集合，包括：
[0180]
获取所述第一网络模型的浅层卷积层进行过特征提取得到的浅层特征和深层卷积层进行特征提取得到的深层特征，得到所述第一特征集合；
[0181]
获取所述第二网络模型的浅层卷积层进行过特征提取得到的浅层特征和深层卷积层进行过特征提取得到的深层特征，得到所述第二特征集合。
[0182]
在一种可选的实施方式中，所述处理器用于利用所述第一网络模型/第二网络模型/视觉敏感信息检测模型的浅层卷积层和深层卷积层进行特征提取，包括：
[0183]
对于所述深层卷积层和选择的浅层卷积层中的各卷积层，进行反向残差处理；或者
[0184]
确定在所述随机选择的浅层卷积层中首次进行特征提取的第一浅层卷积层，之后进行特征提取的各卷积层，对于所述各卷积层进行反向残差处理。
[0185]
在一种可选的实施方式中，所述处理器用于对于各卷积层进行反向残差处理，包括：
[0186]
获得目标卷积层的上一卷积层输出的特征，作为所述目标卷积层的输入特征；
[0187]
将所述输入特征按一定倍数扩张，得到升维后的特征；
[0188]
对所述升维后的特征进行特征提取，得到提取的特征；
[0189]
对所述提取的特征进行缩放，获得与所述输入特征的相同大小的特征并输出。
[0190]
总线93表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
[0191]
存储器92可以包括易失性存储器形式的可读介质，例如随机存取存储器(ram)921
和/或高速缓存存储器922，还可以进一步包括只读存储器(rom)923。
[0192]
存储器92还可以包括具有一组(至少一个)程序模块924的程序/实用工具925，这样的程序模块924包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
[0193]
电子设备90也可以与一个或多个外部设备94(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与电子设备90交互的设备通信，和/或与使得电子设备90能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口95进行。并且，电子设备90还可以通过网络适配器96与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器96通过总线93与电子设备90的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备90使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
[0194]
在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的视觉敏感信息检测模型训练装置中各模块的步骤，例如，终端设备可以用于获得训练样本集，所述训练样本集包括带有标签的多张图片，所述标签用于标识图片中信息的敏感度；将所述训练样本集中的图片分别输入第一网络模型和第二网络模型，进行特征提取并预测敏感度，以输出所述图片的标签为目标对所述第一网络模型和第二网络模型进行不同程度的训练；将所述训练样本集中的图片输入训练后的第一网络模型和第二网络模型，确定第一网络模型和第二网络模型对所述图片提取的特征的差值；将训练后的第一网络模型或第二网络模型作为视觉敏感信息检测模型，将各图片对应的特征的差值输入视觉敏感信息检测模型，进行特征提取并预测敏感度，以输出所述图片的标签为目标训练所述视觉敏感信息检测模型等操作。
[0195]
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0196]
如图10所示，描述了根据本公开的实施方式的用于视觉敏感信息检测模型训练的程序产品100，其可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0197]
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者
与其结合使用的程序。
[0198]
可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、rf等等，或者上述的任意合适的组合。
[0199]
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、c 等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
[0200]
应当注意，尽管在上文详细描述中提及了系统的若干模块或子模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。
[0201]
此外，尽管在附图中以特定顺序描述了本公开系统各模块的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些操作，将多个操作合并为一个操作执行，和/或将一个操作分解为多个操作执行。
[0202]
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
[0203]
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的设备。
[0204]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令设备的制造品，该指令设备实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0205]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0206]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其
它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
[0207]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。