一种基于语义特征的人脸生成式图像隐写术的制作方法

1.本发明属于图像处理领域，尤其涉及空间域图像信息隐藏和生成式图像隐写。


背景技术：

2.图像隐写术是一种利用图像作为载体传输秘密信息的隐蔽通信技术，同时随着即时通信与社交平台的飞速发展，图像作为其中主要的传输媒体而受到关注，为了使传输的个人信息更加隐蔽，因此图像隐写术成为了主流的研究方向。传统密码学是通过加密技术使秘密信息呈现一种混沌状态，使攻击者无法破解，但加密后的信息很容易被第三方发现和拦截。与密码学不同，隐写术在保护秘密信息的同时还需掩盖通信行为，使其不易引起攻击者的注意。因为隐写术的安全性高、欺骗性强的特性使其在互联网、军事、隐私保护领域具有广泛的应用，且该技术尤其适用公共信道。
3.根据嵌入位置的不同，传统图像隐写术的嵌入位置可分为空间域、变换域和jpeg域，代表性的算法有hogu、wow、s-uniward和hill等。但传统的隐写术在嵌入过程中对载体的数据分布进行修改以嵌入信息，经修改后的载密图像会破坏原有的数据分布，使其易被隐写分析工具检测，所以传统的图像隐写算法在安全性和透明性上仍有不足。衡量图像隐写术性能的指标包含：(1)隐写安全性：使用现存的隐写检测技术无法检出载密图像；(2)隐写鲁棒性：在载密图像受到攻击时，秘密信息仍然能够正确提取；(3)隐写透明性：载密图像需要具有强伪装性，在传输过程中不易被第三方察觉；(4)嵌入容量：较小的嵌入容量需要多次嵌入才可完成传输任务，会大大增加被拦截的风险。现有的生成式图像隐写术包含两大类技术：(1)在生成图像与秘密信息间构建映射策略，如图像标签与秘密信息、图像纹理与秘密信息和输入噪声与秘密信息等；(2)采用合成的方式，在图像生成过程中嵌入秘密信息，如修改图像属性、风格迁移和纹理补全等。生成式隐写术避免了修改图像的统计分布，因此生成式隐写术具有较强抗检测能力，但现有的生成式隐写术仍存在部分问题，如隐写容量普遍较低、生成质量较差等。
4.图像的语义一般包含三层：(1)视觉层：该层次语义特征为底层语义，包含颜色、纹理和形状等特征；(2)对象层：该层次为中间层，包含该图像的属性特征；(3)概念层：该层次为高阶语义，为图像表达的抽象化概念。正是由于图像中包含丰富的语义特征，因此可以为隐写提供丰富的隐藏空间，同时在互联网中人脸图像传输的极为广泛，不易引起攻击者的警觉；人脸中的语义特征也十分丰富，如发色、肤色、妆容风格等，因此可以采用人脸作为隐写对象。随着计算能力与深度学习技术的提升，图像的生成质量达到了前所未有的优异效果。通过生成器与判别器的对抗性训练，网络可以在训练过程中逐步优化图像质量，其中deepfake技术发展迅速，如stylegan和stargan v2等，可以生成一系列以假乱真的人脸图像，为高质量的人脸载密图像提供有力的技术支撑。


技术实现要素：

5.本发明提出一种基于语义特征的人脸生成式图像隐写算法，通过奇偶特征差值算
法将秘密信息嵌入到语义特征矩阵中，采用人脸合成技术最终将嵌入秘密信息的语义特征合成指定语义的人脸图像。
6.本发明提供一种基于语义特征的人脸生成式图像隐写方法，包括以下步骤：
7.1)通过全连接神经网络将输入噪声z映射到人脸语义特征空间s＝{s1,s2,...sn}，采用奇偶特征差值算法将秘密信息s嵌入到生成的人脸语义特征矩阵中s
′
＝{s
′1,s
′2,...s
′n}；
8.2)将嵌入秘密信息的特征矩阵s
′
输入人脸合成网络starganv2，利用adain函数融合原始人脸图像特征与嵌入秘密信息的语义特征，最终采用反卷积生成指定语义的载密人脸图像(stego)；
9.3)通过语义提取网络对合成的载密人脸图像的语义特征进行提取，将提取的特征矩阵采用奇偶特征差值算法提取已嵌入的秘密信息s
′
；
10.4)在语义提取网络训练过程中添加不同图像攻击后的载密图像，使训练的模型更具有鲁棒性。
11.进一步地，秘密信息嵌入语义特征过程中的奇偶特征差值算法包括：
12.a)根据生成的语义特征向量s＝{s1,s2,...sn}，将秘密信息s＝{s1,s2,...sm}采用奇偶特征差值算法生成修改矩阵：
[0013][0014][0015][0016][0017]
其中s为生成的语义特征矩阵，s
′
为嵌入秘密信息后的语义特征矩阵，s为二进制秘密信息，m为秘密信息对应的修改矩阵，β为控制参数，ε为扰动参数；
[0018]
b)根据修改矩阵ms与生成人脸语义特征矩阵s融合得到载密语义特征矩阵s
′
：
[0019][0020]
其中，为修改后奇偶位置特征值。
[0021]
进一步地，所述人脸合成网络采用载密语义特征矩阵合成载密人脸图像的过程包括：
[0022]
a)秘密信息嵌入语义特征矩阵的过程可以表达为：
[0023]sef
＝f(s
features
,s
sm
)
[0024]
其中s
ef
为嵌入秘密信息后的语义特征，s
features
为生成的人脸语义特征，s
sm
为秘密信息，f()为奇偶特征差值算法；
[0025]
b)使用adain函数对原始图像的特征与载密语义特征进行融合：
[0026][0027]
其中：σ()与μ()分别为方差与均值函数，e()为编码器网络，s
′
sf
为融合后的语义特征；
[0028]
c)使用反卷积网络对融合后的特征进行上采样生成指定语义的人脸图像img
stego
：
[0029]
img
stego
＝g(img
cover
,s
ef
)＝d(s
′
sf
)
[0030]
其中g()为人脸合成过程，d()为反卷积网络。
[0031]
进一步地，所述从提取的语义特征中提取秘密信息的过程包括：
[0032]
a)将输出的载密人脸图像输入语义提取网络，通过残差模块提取该图像的语义特征；
[0033]
b)根据提取的语义特征矩阵s
″
，采用奇偶特征差值算法遍历整个特征矩阵并输出秘密信息s
′
：
[0034][0035]
其中，s
′k是提取后的秘密信息。
[0036]
进一步地，所述鲁棒性语义提取网络训练过程包括：
[0037]
a)使用不同的图像攻击算法对正常载密人脸图像进行攻击，如rotation、gaussian noise、salt and pepper noise、speckle noise等攻击；
[0038]
b)将攻击后的载密图像与正常样本混合，构建一个新的鲁棒性数据集；
[0039]
c)使用构建的数据集对特征提取网络进行训练，训练过程中的损失函数定义如下：
[0040][0041]
其中s
′
为生成过程中采用的语义特征矩阵，s
″
为提取载密图像后的语义特征矩阵，m与n为特征矩阵的维度。
[0042]
利用本发明的方法可以很好地将秘密信息嵌入到生合成的人脸图像中，与现有技术相比具有以下优点：
[0043]
1、本发明采用人脸合成技术作为支撑，可以生成质量更好的载密人脸图像，提供更好的隐写隐蔽性，解决了生成式隐写图像质量低的问题；
[0044]
2、本发明采用人脸语义空间隐藏秘密信息，将秘密信息隐藏到合成过程中的人脸语义特征中，并采用载密语义特征指导人脸生成，由于人脸图像包含了丰富的语义特征，解决了生成式隐写图像嵌入容量小的问题；
[0045]
3、本发明在隐写端与提取端无需共享数据集与密码本，只需训练一次即可完成不同秘密信息的嵌入与提取过程，实施过程方便；
[0046]
4、本发明使用了鲁棒性数据集对特征提取网络进行训练，增强了提取模型的鲁棒性，提高了秘密信息的恢复准确率。
附图说明
[0047]
图1为本发明方法进行人脸图像隐写的框架流程图。其中全连接网络构成人脸语义特征生成网络，stargan v2构成人脸合成网络，卷积神经网络构成语义提取网络。
[0048]
图2为使用本发明方法进行秘密信息嵌入引导特征的过程图。
[0049]
图3为使用本发明方法进行图像隐写的实例图。
[0050]
图4为本发明方法语义提取网络的架构图例。
[0051]
图5为使用本发明方法进行秘密信息提取的过程图。
[0052]
图6为使用本发明方法构造鲁棒数据集时图像攻击实例图。
[0053]
图7为本发明方法在不同嵌入容量、不同图像攻击下的提取准确率对比表。
具体实施方式
[0054]
为使本发明的上述特点和优点更明显易懂，下面结合具体实施方式和附图对本发明作进一步详细说明。
[0055]
本发明设计的图像隐写方法基于人脸合成网络，适用于将二进制秘密信息嵌入到人脸载体图像中。该方法通过使用人脸合成网络stargan v2根据载密人脸语义特征对人脸图像进行合成，具体流程如图1所示，其主要步骤包括：
[0056]
步骤101、将高斯噪声z使用人脸语义特征生成网络映射到人脸空间中，得到人脸合成过程中的语义特征s；
[0057]
步骤102、将秘密信息s采用奇偶特征差值算法嵌入到生成的人脸语义特征矩阵中得到载密引导特征s
′
，过程如图2所示；
[0058]
步骤103、使用stargan v2人脸合成网络中的编码器网络将输入的人脸图像进行编码，得到输入图像的语义特征，将该特征与载密人脸语义特征融合得到融合后的语义特征，并使用stargan v2人脸合成网络中的解码器网络将融合特征上采样到rgb空间，最终得到一张载密人脸图像(stego)，如图3所示。
[0059]
步骤201、将载密人脸图像输入到语义提取网络，网络架构如图4所示，通过提取网络中的残差模块提取该图像的语义特征s
″
；
[0060]
步骤202、将提取的语义特征矩阵s
″
采用奇偶特征差值算法提取其中的秘密信息s
′
，提取过程如图5所示；
[0061]
步骤203、将采用的误差均值函数计算人脸合成过程中的载密人脸语义特征矩阵与提取语义特征间的误差，将其作为损失值优化语义提取网络。
[0062]
步骤301、将生成过程中用到的载密语义特征与其对应的载密人脸图像成对保存，并构建一个载密人脸语义数据集；
[0063]
步骤302、将数据集中的部分载密图像进行处理，处理后的载密图像如图6所示，将受到攻击后的人脸图像替换原图像，增加数据集中的鲁棒性；
[0064]
步骤303、使用处理后的数据集对语义提取网络进行训练直至达到预定的损失阈值。
[0065]
本发明在标准数据集celeba和celeba-hq上进行训练和验证，图3为本发明方法进行图像隐写的样本示例图，可以看出载密人脸图像与真实人脸图像的质量高度一致。图7是本发明方法在不同图像攻击下、不同嵌入率下的秘密信息提取准确率。这个表可以看出本发明方法具有很强的鲁棒性，在保证秘密信息提取准确率的条件下可以抵抗一定的图像攻击。
[0066]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权力要求的保护范围为准。