神经网络分发加密及其抗合谋攻击方法与流程

1.本发明属于深度神经网络、机器学习、信息安全等技术领域，尤其涉及一种神经网络分发加密及其抗合谋攻击方法。


背景技术：

2.近年来，深度神经网络(dnn)技术在计算机视觉、语音识别和自然语言处理等方面取得了显著的成就。随着人工智能的商业化，越来越多的神经网络产品被投入使用。然而，一个训练有素的神经网络需要大量的数据集、昂贵的计算资源、专业知识和研究成本。因此，那些缺乏大量高质量训练集或受到计算资源和专家资源限制的私人或小公司，可能从外部购买相关服务。另一方面，一些科技公司已经开始直接销售机器学习模型，或分享/分发他们预先训练过的神经网络模型，以促进人工智能领域的学术探索，但他们担心该模型会在未经授权的情况下被转售或泄露。
3.数字水印技术是嵌入在主机数据中的一种可识别的数字信号，水印技术的应用主要包括版权保护、数据监控和数据跟踪等方面。近年来，一些学者提出在神经网络中嵌入数字水印，以保护神经网络的知识产权。从目前的角度来看，神经网络模型水印技术仍处于发展的早期阶段，在理论和实际应用上并不完善。现有提出的方法有许多限制，攻击者仍然有多种方法来攻击现有的保护方法。因此，神经网络水印迫切需要研发，以保护未来人工智能的爆炸性增长和使用所造成的知识产权问题。
4.目前提出的水印技术主要可以分成两类：白盒水印和黑盒水印。主流的白盒水印方案将水印信息嵌入到神经网络的权重概率分布中，在水印提取阶段通常需要访问敌手模型的结构和权重参数。而黑盒神经网络水印的工作原理是创建一个触发集、载体或关键数据集，这些数据点会引起目标模型产生异常的预测行为。这种不寻常的输出可以用来识别非法的副本模型，相比之下黑盒水印只需要访问模型的输入和输出，因此更具有实用性。
5.uchida等人
1.首次提出的dnns水印方案，采用t位二进制数字{0,1}
t
作为水印，并在嵌入过程中使用包含嵌入正则化损失的组合损失函数，通过正则化损失对模型的某些参数施加统计偏差来表示水印。deepmarks
2.首次提出了一个端到端合谋安全水印框架，该框架为每个用户分配一个唯一的二进制反共谋编码指纹，并将这种指纹编码信息嵌入到dnn权值的概率分布中，可以有效地跟踪白盒场景中各用户模型的使用情况，并检测参与合谋攻击的具体的非法用户。
6.在黑盒场景下，后门技术和对抗样本两种攻击方法也被应用做水印方法以进行所有权保护。adi等人
3.，将与训练集分布不同的抽象样本作为后门样本加入模型训练集，在模型训练或微调阶段中嵌入这种抽象样本作为后门触发集，并将其作为一组水印来验证dnns的所有权。张等人
4.，提出了一种基于文本触发集、噪声和不相关样本的后门样本处理方法，然后使用这样一个特定的触发器集来验证所有权。一旦神经网络在触发集上的命中率大于一个设置的阈值，就可以基本确定模型所有权的归属问题。然而，大多数基于黑箱场景的触发样本和触发标签往往不相关，这意味着对手也可以对神经网络进行微调，以嵌入
training by reducing internal covariate shift[c]//international conference on machine learning.pmlr,2015:448-456.。


技术实现要素：

[0018]
为了弥补现有技术的空白和不足，本发明提出一种神经网络分发加密及其抗合谋攻击方法，其提供基于神经网络水印和模型等价变换的抗合谋攻击的神经网络模型分发与产权保护框架。用于解决神经网络模型在分发或售卖所产生的产权纠纷问题和可能遭受的合谋攻击的威胁。
[0019]
针对神经网络模型分发问题，提出了一种抗合谋攻击并且支持产权追踪、验证的高效的神经网络模型分发框架。在本方案里，假定神经网络模型拥有者拥有一个或多个的训练有素的模型，并想将其同时分发或售卖给多个用户的场景。目的在于当分发的模型在未经授权下被转售或泄露，拥有者可以进行产权追踪并找出侵权用户，此外分发给不同用户的模型可以抵御恶意的合谋攻击。
[0020]
基于神经网络黑盒水印技术构造用户指纹和基于对抗样本技术提取源模型的模型指纹，以此对于神经网络模型提供了双重的指纹验证技术，采用的双重的指纹验证技术提供了由粗粒度到细粒度的产权朔源和追踪功能。此外，提出了两种基于神经网络结构的抗合谋的等价变换技术，实现了对合谋攻击的主动性防御。
[0021]
该框架设计了一种用户指纹(水印)生成和一种模型指纹提取技术，来提供双重指纹验证功能，以此提供更可靠的产权保护。此外，针对合谋攻击威胁，本框架提供了两种抗合谋攻击的神经网络等价变换技术来实现对恶意攻击的主动性防御。由此本方案技术可以针对一个源模型或者多个源模型，通过少量的计算资源快速的产生一系列用于分发或售卖的合谋安全和产权安全的子模型。
[0022]
该种基于神经网络水印和模型等价变换同时抗合谋攻击的神经网络模型分发与产权保护框架，允许模型拥有者通过一个或多个源模型和少量的计算资源，便可以产生多个变体的神经网络子模型用于分发或者售卖。同时，对于这些分发的模型，该框架还提供了一种黑盒场景下基于双重指纹的产权保护技术，提供了对分发出去的模型的产权朔源、追踪和验证的支持。此外，提出了两种新型的基于神经网络模型结构的等价变换，可以将其运用于所产生的一系列子模型可以有效的解决多个模型间产生的合谋攻击和逆向攻击问题。
[0023]
本发明具体采用以下技术方案：
[0024]
一种神经网络分发加密方法，其特征在于：包含有：一个神经网络的模型拥有者、多个待分发的用户；
[0025]
所述模型拥有者使用对抗样本生成算法，提取出神经网络源模型上的n个对抗样本和标签对，作为一组模型指纹信息；
[0026]
所述模型拥有者对每个待分发的用户产生相关的密钥，然后通过密钥为其产生一系列异于原始数据集的样本标签对，作为一组区别于其他待分发的用户的唯一指纹；多个用户拥有其各自的一份用户指纹，但共用同一组模型指纹；用户指纹和模型指纹的生成信息都只隶属于模型拥有者；
[0027]
所述模型拥有者根据产生的用户指纹，拷贝一份源模型，并在拷贝模型上微调后嵌入神经网络其对应的用户指纹。
[0028]
进一步地，采用如下的算法进行对抗样本的提取：
[0029]
minimize||x-x'||2 c
·
f(x'),
ꢀꢀ
(1)其中,
[0030]
f(x')＝max(max{z(x')i:i≠t}-z(x')
t
,-k)
ꢀꢀ
(2)
[0031]
公式(1)中x'＝x σ是目标对抗性样本，z(x')代表将对抗样本x'输入到源神经网络最后进入softmax层之前的输出；而z(x')i代表softmax层前第i个神经元的输出；z(x')
t
代表目标对抗样本标签下标对应的第t个神经元的输出；k为调节对抗样本迁移性的一个超参数，通过调节合适的k，即可以提取一组对抗样本作为源模型指纹。
[0032]
进一步地，假设从源模型m
source
提取出的一组模型指纹集为fp
model
＝{(img1,target1),(img2,target2),...,(imgn,targetn)}；并且有一个分发给用户的子模型利用模型指纹fp
model
验证子模型的算法如下(3)：
[0033][0034]
其中当x＝y时g(x,y)＝1，否则g(x,y)＝0；如果大于一个预设的阈值，说明子模型产生自模型拥有者的源模型。
[0035]
进一步地，所述用户指纹的具体生成方法为：
[0036]
设模型拥有者对于每个用户分配一张唯一的原始图像和两个密钥key1、key2，并采用两种不同的哈希算法hash1、hash2，其中hash1的输出为图像，hash2的输出为一个正整数；
[0037]
如下公式(4)所示，哈希算法hash1起始输入参数为密钥图像和哈希密钥key1生成第一张哈希图像ρ1，随后将哈希算法hash1输出的ρ1和key2当成哈希算法hash2的输入得到对应的标签ω1，如公式(6)和(7)；以此类推，将生成的第一张哈希图像ρ1和key1通过哈希算法hash1得到第m张哈希图像，同理得到对应的第m个标签，其中n为目标神经网络模型所使用的数据集的标签类别数：
[0038][0039]
ω1＝hash2(ρ1,key2)％n,m＝1
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0040]
ρm＝hash1(ρ
m-1
,key1),m＝2,3,
…ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0041]
ωm＝hash2(ω
m-1
,key2)％n,m＝2,3,
…ꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0042]
针对多个不同的用户，模型拥有者为每一个用户生成m个的样本标签对，将其作为对应用户的指纹用于对子模型产权的追踪和侵权检测。
[0043]
进一步地，将所述用户指纹嵌入神经网络的方法为：
[0044]
假设模型拥有者为用户1生成的用户指纹集合为：fp
user1
＝{(img1,target1),(img2,target2),...,(imgn,targetn)}；模型拥有者拷贝一份源模型为此时子模型还未嵌入指纹；接着，利用模型拥有者训练源模型的完整数据集微调子模型具体为，微调子模型e轮，其中e轮微调的前f轮所使用的损失函数为：
[0045]
l
emd
＝l
basic
γ
·
l
cossim
ꢀꢀ
(8)
[0046][0047]
其中，l
basic
为原始任务的损失函数；l
cossim
为额外的余弦相似度损失，用于避免第一种抗合谋的等价变换，即卷积层混淆变换遭受恶意用户的逆向攻击；
[0048]
模型拥有者首先选择可以进行卷积层混淆变换的神经网络结构，假设目标神经网络存在n个卷积层混淆变换的结构，并且其参数集合为ts＝{t1,t2,t3,
…
,tn}；随机生成一个对应的向量集合对于集合ts和中对应下标的元素拥有相同的张量形状；
[0049]
设其中有某一结构的参数和对应的随机向量和对应的随机向量其中为与该层第i个滤波器具有相同形状的随机张量，m为该层的滤波器个数，即通道数；
[0050]
对于每一个用户，生成一个对应的密钥用于将随机向量进行随机的打乱，最终对于用户1生成置乱的随机向量并在嵌入用户指纹的同时使用随机向量对源神经网络模型对应层的参数t施加余弦相似度损失；其中γ是一个用于调节原始损失函数l
basic
和余弦相似度损失项l
cossim
的损失比重的超参数；
[0051]
为了保证用户指纹嵌入不会影响神经网络模型原来的精度，在每一个微调轮次的每一个训练批次中，按顺序取fp
user1
中的一对图像标签对并加入该批次中参与训练，如果批次大于fp
user1
中的图像标签对数，则继续从头开始取fp
user1
；嵌入用户指纹过程分成两个阶段，第一个阶段使用l
emd
损失函数微调子模型e轮，第二个阶段在随后的e-f轮微调时，只使用l
basic
进行微调。
[0052]
一种神经网络分发抗合谋攻击方法，基于如上所述的神经网络分发加密方法，为每个所述用户再生成另外一组密钥，通过这组密钥进行抗合谋等价变换，然后将最终的模型分发给用户。
[0053]
进一步地，采用卷积层等价混淆变换进行抗合谋等价变换，即对每个用户产生一个唯一的混淆密钥，密钥包含多个两层卷积结构上的秘密位置交换信息。
[0054]
进一步地，采用bn层等价放缩变换进行抗合谋等价变换：
[0055]
设拥有者源模型某一层其中一个通道中的bn层参数固定为γ,β,μ,σ；当该通道的输入的特征输出为x，经过bn层正则化计算输出为y，则有如下的等价变化计算：
[0056][0057]
并推导为如下等价的式子：
[0058][0059]
[0060][0061]
其中
[0062]
x'＝ax
ꢀꢀ
(20)
[0063][0064][0065]
σ'2＝b2σ2 (b
2-1)∈
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(23)
[0066]
β'＝cβ
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(24)
[0067]
对于每一个bn通道，引入一对随机因子(a,b,c)对该通道的参数进行放缩；其中的随机因子a同时作用在bn层前的卷积层；
[0068]
在bn层等价放缩变换阶段，根据每一个选定的变换层中的每一个卷积通道为每个待分发的用户生成一组随机因子(a,b,c)作为价放缩变换阶段的变换密钥。
[0069]
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如上所述的神经网络分发加密及其抗合谋攻击方法。
[0070]
一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如上所述的神经网络分发加密及其抗合谋攻击方法。
[0071]
为了解决现有技术存在的问题，本发明及其优选方案旨在提出了一种合谋安全的神经网络分发和产权保护框架。与现有被动防御方案(即检测参与攻击的合谋用户的方案)不同，本方案采用主动防御的方法来阻止恶意的合谋攻击，通过严重损害非法用户合谋攻击所产生的合谋模型的性能，使得该合谋模型不可用，从根本上防止合谋攻击。同时本方案还提出了两种黑盒场景下的指纹技术，通过双重指纹技术来进行可靠的所有权跟踪和验证。以下是本发明的五个主要贡献，即：
[0072]
(1)针对神经网络模型的水印/指纹生成算法。该方法可以为每一个用户产生一系列唯一的样本标签对，这种细粒度的用户级指纹为神经网络分发提供了产权的跟踪和侵权验证功能。
[0073]
(2)基于对抗样本
[6][7]
的模型指纹提取技术。指纹模型技术提供了产权朔源功能，并配合用户指纹技术，提供了更具可靠性的双重指纹(所有权)验证。不同于现有方案，双重指纹都是工作黑盒下，其对于产权追踪、朔源更具实用性。
[0074]
(3)抗合谋攻击的等价模型变换算法。不同于现有方案，本框架首次基于模型结构
[8][9]
提出了两种的抗合谋攻击的等价变换，这种变换严重破坏了合谋模型的性能，从根本上杜绝了合谋攻击的发生。
[0075]
(4)设计基于余弦相似度的损失函数。此外，本实施例还提出了一种基于余弦相似度的损失函数来增强所提出的抗合谋攻击的等价变换的安全性，避免遭受恶意用户的逆向攻击。
[0076]
(5)可行性和高效性。本发明通过大量实验证明了模型拥有者基于此方案，仅需要少量的计算就能快速的产生一系列合谋安全并且产权安全的子模型来分发/售卖。
[0077]
与现有技术相比，本发明及其优选方案提出了一种有效抵抗合谋攻击的神经网络模型分发和产权安全的技术。其首次提出了黑盒场景下基于结构变换的合谋安全的模型分发和支持双重指纹的产权朔源、追踪和验证。此外，该技术特别创新了基于神经网络结构的两种等价变换，即卷积混淆等价变换和bn层等价放缩变换，基于本框架拥有者通过少量的计算资源可以产生大量的子模型分发给多个用户。最后，本实施例引入的抗模型合谋攻击的等价变换及额外的余弦相似度正则化项，可以有效的避免恶意用户的合谋攻击和针对变换的逆向攻击。
附图说明
[0078]
图1是本发明实施例合谋安全的神经网络分发与产权保护的总体框架示意图；
[0079]
图2是本发明实施例用户指纹的生成流程示意图；
[0080]
图3是本发明实施例卷积层等价混淆变换过程示意图。
具体实施方式
[0081]
为让本专利的特征和优点能更明显易懂，下文特举实施例，作详细说明如下：
[0082]
应该指出，以下详细说明都是例示性的，旨在对本技术提供进一步的说明。除非另有指明，本说明书使用的所有技术和科学术语具有与本技术所属技术领域的普通技术人员通常理解的相同含义。
[0083]
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0084]
实施例一：
[0085]
参见图1，合谋安全的神经网络分发与产权保护框架的基础结构设计，根据其执行要素本实施例在黑盒场景中提出了一个合谋安全和产权安全的神经网络分发方案，它主要包含两方：一个神经网络模型拥有者、多个待分发用户。
[0086]
其具体实现步骤如下：
[0087]
(1)神经网络模型拥有者依据系统的需要首先使用对抗样本生成算法，提取出源模型上的n个对抗样本和标签对，作为一组模型指纹信息。
[0088]
(2)模型拥有者对每个待分发的用户产生相关的密钥，然后通过密钥为其产生一系列的异于原始数据集的样本标签对，作为用户的一组区别于其他用户的唯一指纹。不同于模型指纹，用户指纹是通过微调嵌入到神经网络中的，多个用户拥有其各自的一份用户指纹，但是共用同一组模型指纹。用户指纹和模型指纹都只隶属于模型拥有者。
[0089]
(3)模型拥有者根据步骤(2)中产生的用户指纹，拷贝一份源模型，并在这个拷贝模型上微调嵌入其对应的用户指纹。
[0090]
(4)在步骤(3)的基础上，为每个用户再生成另外一组密钥，通过这组密钥进行抗合谋等价变换，然后将最终的模型分发给用户。
[0091]
正如图1所展示，当恶意用户1和用户2进行合谋攻击，他们将获得一个性能被严重破坏的不可用模型，由于合谋模型将失去了利用的价值，因此不用考虑对合谋模型进行产
权跟踪或验证。针对用户3未授权转售、再分发或用户4正常使用的场景，模型拥有者可以利用模型指纹和用户指纹进行双指纹认证的产权追踪和验证。
[0092]
实施例二：
[0093]
假设将分发或售卖的神经网络模型具有极高的商业价值，本实施例设计的神经网络分发和产权保护框架可以通过双重指纹验证机制提供产权追踪和验证，并且抵御类如合谋攻击、逆向攻击、指纹去除等恶意的模型盗取攻击。
[0094]
在实例一中的对抗合谋攻击的神经网络分发和产权保护方案所需要的基础结构进行了简单的阐述，接着本实施例将会在实例一的基础上进一步阐述具体的实施细节。特别之处体现如下：
[0095]
(1)源模型的模型指纹提取
[0096]
对抗性样本是可转移的，即一个模型的对抗性样本通常适用于另一个模型。因此源模型上的对抗样本往往适用于基于其衍生而来的子模型。而如果对抗样本的转移性(泛化性)过强，将会迁移到其他非源模型基础上产生的模型。因此为了得到对于子模型有强转移性，同时对于其他非相关模型有弱转移性的对抗样本，本实施例方案采用如下的算法进行对抗样本的提取：
[0097]
minimize||x-x'||2 c
·
f(x'),
ꢀꢀ
(1)
[0098]
其中
[0099]
f(x')＝max(max{z(x')i:i≠t}-z(x')
t
,-k)
ꢀꢀ
(2)
[0100]
公式(1)中x'＝x σ是目标对抗性样本，z(x')代表将对抗样本x'输入到源神经网络最后进入softmax层之前的输出。而z(x')i代表softmax层前第i个神经元的输出，同理z(x')
t
代表目标对抗样本标签下标对应的第t个神经元的输出。k为调节对抗样本迁移性的一个超参数，通过调节合适的k，即可以提取一组高效可用的对抗样本作为源模型指纹。
[0101]
假设从源模型m
source
提取出的一组模型指纹集为fp
model
＝{(img1,target1),(img2,target2),...,(imgn,targetn)}。并且有一个分发给用户的子模型利用模型指纹fp
model
验证子模型的算法如下(3)：
[0102][0103]
其中当x＝y时g(x,y)＝1，否则g(x,y)＝0。如果大于一个预设的阈值，例如90％，说明子模型产生自拥有者的源模型。多个不同的用户共享同一组源模型的模型指纹，模型指纹对于不同的子模型有转移性，因此一组模型指纹可以同时对多个分发的子模型进行产权追踪。
[0104]
(2)用户指纹生成
[0105]
根据图2的展示，模型拥有者对于每个用户分配一张唯一的原始图像和两个密钥key1、key2，并采用两种不同的哈希算法hash1、hash2，其中hash1的输出为图像，而hash2的输出为一个正整数。
[0106]
如下公式(4)所示，哈希算法hash1起始输入参数为密钥图像和哈希密钥key1生成第一张哈希图像ρ1，随后将哈希算法hash1输出的ρ1和key2当成哈希算法hash2的输
入得到对应的标签ω1。如公式(6)和(7)以此类推，将生成的第一张哈希图像ρ1和key1通过哈希算法hash1得到第m张哈希图像，同理得到对应的第m个标签，其中n为目标神经网络模型所使用的数据集的标签类别数。
[0107][0108]
ω1＝hash2(ρ1,key2)％n,m＝1
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0109]
ρm＝hash1(ρ
m-1
,key1),m＝2,3,
…ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0110]
ωm＝hash2(ω
m-1
,key2)％n,m＝2,3,
…ꢀꢀꢀꢀꢀꢀꢀ
(7)
[0111]
如图1所示，针对多个不同的用户，模型拥有者为每一个用户生成m个的样本标签对，将其作为对应用户的指纹用于对子模型产权的追踪和侵权检测。对于恶意敌手来说在不知道哈希算法hash1、hash2和密钥key1、key2的前提下，找到子模型中一组具有上述哈希关系的样本标签对是极其困难的，因此本实施例框架使用的用户指纹的设计可以抵御恶意用户的指纹伪造攻击。
[0112]
不同于本实施例步骤(1)所提出的模型指纹，用户指纹提供了细粒度的具体到用户级别的产权追踪验证。
[0113]
(3)用户指纹嵌入
[0114]
假设模型拥有者为用户1生成的用户指纹集合为：fp
user1
＝{(img1,target1),(img2,target2),...,(imgn,targetn)}。模型拥有者拷贝一份源模型为此时子模型还未嵌入指纹。紧接着，本实施例的方案将利用模型拥有者训练源模型的完整数据集微调子模型具体为，使用少量的计算资源微调子模型e轮，其中e轮微调的前f轮所使用的损失函数为：
[0115]
l
emd
＝l
basic
γ
·
l
cossim
ꢀꢀ
(8)
[0116][0117]
其中l
basic
为原始任务的损失函数，一般为常见的交叉熵损失函数。而l
cossim
为本实施例创新引入的一项额外的余弦相似度损失，这项损失的引入主要是为了避免本方案提出的第一种抗合谋的等价变换，即卷积层混淆变换遭受恶意用户的逆向攻击。
[0118]
模型拥有者首先选择可以进行卷积层混淆变换的神经网络结构，假设目标神经网络存在n个卷积层混淆变换的结构，并且其参数集合为ts＝{t1,t2,t3,
…
,tn}。本实施例的方案将随机生成一个对应的向量集合对于集合ts和中对应下标的元素拥有相同的张量形状。这里只讨论某一结构的参数和对应的随机向量其中为与该层第i个滤波器具有相同形状的随机张量，m为该层的滤波器个数，即通道数。对于每一个用户，本实施例将生成一个对应的密钥用于将随机向量进行随机的打乱，最终对于用户1生成置乱的随机向量本实施例的方案在嵌入用户指纹的同时将使用随机向量对源神经网络模型对应层的参数t施加余弦相似度损失。而γ是一个用于调节原始损失函数l
basic
和余弦相似度损失项l
cossim
的损失比重的超参数。
[0119]
为了保证用户指纹嵌入不会影响神经网络模型原来的精度，本实施例该方案在每一个微调轮次的每一个训练批次中，按顺序取fp
user1
中的一对图像标签对并加入该批次中参与训练，如果批次大于fp
user1
中的图像标签对数，则继续从头开始取fp
user1
。嵌入用户指纹过程分成两个阶段，第一个阶段使用l
emd
损失函数微调子模型e轮，第二个阶段在随后的e-f轮微调时，只使用l
basic
进行微调。
[0120]
(4)抗合谋等价变换
[0121]
(4-1)convolutional shuffle(卷积层等价混淆变换)：
[0122]
通过分析卷积神经网络的前向计算过程，本方案在卷积前向传播的基础上发明了一种基于卷积层等价混淆变换算法。等价神经网络定义为：对于两个不同的模型m1，m2和一个任意的输入x，都有(10)即对于任意的输入x都有完全相等的输出。
[0123]
y＝m1(x)＝m2(x)
ꢀꢀ
(10)
[0124]
如图3所示，不妨可以假设经过用户指纹微调嵌入流程处理后产生的子模型其中一个为对于结构中存在的两个连续卷积层分别为conv1，conv2。其中conv1包含这3个卷积滤波器，同理conv2包含这3个卷积滤波器。卷积层等价混淆变换将为产生一个混淆密钥，比如根据此密钥，卷积层等价混淆变换将交换中conv1层的第1个和第2个卷积滤波器的位置。
[0125]
根据图3，可以看出经过上述变换后，的前向计算产生的中间特征输出结果在对应的位置也会发生交换。为了保证混淆变换处理不会改变的最终的输出，对于conv2层包含的中的每个都需要按照将其中第1个kernel和第2个kernel位置对换。根据上述的变换过程，最终对于任意的输入x，变换后的conv'1和conv'2，本混淆变换方案始终有满足：
[0126]
conv'2(conv'1(x))＝conv2(conv1(x))
ꢀꢀ
(11)
[0127]
在图像识别领域，深度卷积神经网络被广泛使用。深度卷积神经网络通常包含多层连续卷积层结构，并且每一层卷积层包含大量的滤波器，每一个滤波器又由大量的卷积核组成。对于此类神经网络模型，本实施例可以对每个用户产生一个唯一的混淆密钥，密钥包含多个两层卷积结构上的秘密位置交换信息。如对于深度卷积神经网络中存在连续多层卷积层conv1，conv2，conv3，conv4，那么根据本实施例的方案，可以对conv1，conv2做一次混淆变换，对conv2，conv3做一次混淆变换，同理conv3，conv4也可以做一次混淆变换。连续的多层混淆会放大前面的混淆效果，即conv2，conv3混淆是基于conv1，conv2混淆之上的再次混淆。
[0128]
对于经过混淆变换的两个子模型和由于他们的和不同，因此对应位置的参数相对于混淆之前具有更大的差异性，这种差异性使得当子模型和非法进行合谋攻击后的权重参数会趋于一种随机分布，从而损坏合谋模型的性能。
[0129]
(4-2)bn scale(bn层等价放缩变换)：
[0130]
虽然用户指纹的嵌入使每个预分发子模型的权值参数略有不同。基于上述(4-1)卷积层混淆等价变换，如果连续两个卷积层之间存在额外的神经网络层，可能泄露混淆过程所做的秘密变换。为了进一步增加抗合谋等价变换的复杂度同时隐藏泄露混淆过程所做的秘密变换，并且增强对抗合谋安全的等价变化对于合谋模型的损害，本实施例方案基于卷积层等价混淆变换基础上，进一步提出了bn层等价放缩变换。
[0131]
bn层等价放缩变换基于卷神经网络中常用的批处理归一化层(bn层)。在一般的卷积神经网络(cnn)结构中，一个卷积输出通道对应于一个批处理归一化层。每一个bn层主要有两个可学习参数γ,β和两个统计参数μ,σ,对于一个批次样本集φ＝{x1,x2,
…
,x
m-1
,xm}，bn层的计算流程如下：
[0132][0133][0134][0135][0136]
设拥有者源模型某一层其中一个通道中的bn层参数固定为γ,β,μ,σ。当该通道的输入的特征输出为x，经过bn层正则化计算输出为y，本实施例方案提出如下的等价变化计算：
[0137][0138]
可以推导出如下等价的式子
[0139][0140][0141][0142]
其中
[0143]
x'＝ax
ꢀꢀ
(20)
[0144][0145][0146]
σ'2＝b2σ2 (b
2-1)∈
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(23)
[0147]
β'＝cβ
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(24)
[0148]
在bn层等价放缩变换中，如上(16)-(24)等价变换等式所示，对于每一个bn通道，方案中引入了一对随机因子(a,b,c)对该通道的参数进行放缩。其中的随机因子a同时作用
在bn层前的卷积层，当卷积层参数放大的a倍时，前向传播的计算结果，即该层输出的特征图输出同理放大了a倍。而变化后的γ',β',μ',σ'在前向传播过程中，将缩放a倍的特征输出的前向计算结果恢复回去。
[0149]
因此，本框架在bn层等价放缩变换阶段，根据每一个选定的变换层中的每一个卷积通道可以为每个待分发的用户生成一组随机因子(a,b,c)作为价放缩变换阶段的变换密钥。由于不同用户之间的交换密钥不同，对于恶意的用户来说，bn层等价放缩变换在卷积层混淆变换的基础上更进一步的破坏了合谋模型的性能，增强了所提出的卷积层混淆变换的安全性和抵御合谋攻击的能力。
[0150]
本实施例提供的以上涉及算法的程序设计方案可以代码化的形式存储在计算机可读取存储介质中，并以计算机程序的方式进行实现，并通过计算机硬件输入计算所需的基本参数信息，并输出计算结果。
[0151]
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0152]
本发明是参照根据本发明实施例的方法、设备(装置)、和计算机程序产品的流程图来描述的。应理解可由计算机程序指令实现流程图中的每一流程、以及流程图中的流程结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程中指定的功能的装置。
[0153]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程图中指定的功能。
[0154]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程中指定的功能的步骤。
[0155]
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。
[0156]
本专利不局限于上述最佳实施方式，任何人在本专利的启示下都可以得出其它各种形式的神经网络分发加密及其抗合谋攻击方法，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本专利的涵盖范围。