抗干扰消息隐写与提取方法、系统、计算机设备、终端与流程

1.本发明属于消息隐写、深度学习和神经网络技术领域，尤其涉及一种抗干扰消息隐写与提取方法、系统、计算机设备、终端。


背景技术：

2.目前，隐写术是一种在正常消息后隐藏秘密消息的技术，与其类似的则是消息加密技术，隐写术为特殊环境中的加密提供了可行的替代方法，因为在这种情况下，使用加密技术可能会引起不必要的关注。古典隐写术是古代人们使用的秘密交流手段，主要包括隐形的墨水，卡丹格栅，藏族诗歌等。现代隐写术是指使用电子通信和数字技术将消息隐藏到数字媒体中。每个现代的隐写系统都包含两个基本组件：嵌入算法和提取算法。嵌入算法接受三个输入：秘密消息，秘密密钥和载体对象，这些用来传递消息。嵌入算法的输出称为隐写对象。隐写对象也被作为提取算法的输入以生成秘密消息。隐写术中最常见的形式是图像隐写术，同时也存在着文字隐写术或视频隐写术，现实生活中常见的二维码在某种程度上就可以认为是图像隐写术。
3.传统图像隐写算法可分为两类：空域隐写算法和频域隐写算法。空域隐写算法通过修改图像像素来嵌入秘密信息，如lsb替换和匹配算法；频域隐写算法通过修改主信号中某些指定的频域系数进行秘密信息的嵌入，如离散余弦变换(dct)算法、离散傅里叶变换(dft)算法、离散小波变换(dwt)算法等。但这些传统隐写算法缺少鲁棒性，在社交网络、无线通信等有损信道中传输时，轻微的干扰就会导致秘密信息无法正确提取。
4.基于上述缺陷，有人提出了鲁棒无损信息隐藏算法，利用patchwork理论和模256加运算，通过双映射转换的循环解释实现鲁棒性，但该方法易产生椒盐噪声；还有人提出了一种基于整数小波变换的算法，通过改变hl1和lh1系数的平均值来嵌入信息。但该方法需要嵌入方和提取方共享如阈值等的边信息，且容量较低。
5.随着深度学习的发展，不少学者利用深度学习来实现鲁棒隐写，有人提出了hidden模型，该模型分为四个部分：编码器e、解码器d、噪声层n和判别器a。编码器e输入为图像和秘密信息，输出为图像；解码器输入为图像，输出为秘密信息；判别器a负责判别编码器生成图像与输入图像的差距。 hidden模型在秘密信息嵌入量方面表现良好，且所提出的端到端隐写框架允许在原框架基础上给噪声层添加新的噪声，从而实现对新的噪声的鲁棒性，框架存在一定的可扩展性，但在隐写图像质量上存在不足。还有人在hidden模型的基础上提出stegastamp模型，在噪声层添加了透视变换、颜色变换、模糊等图像处理操作，模拟隐写图像经过打印、拍照得到新图像过程中存在的变化，解决了hidden在经过物理传输后秘密信息无法解密的问题，是对hidden在应用方面的改进。但stegastamp模型生成的图像存在明显的影响图像视觉感知的痕迹，且随着消息嵌入量的增大，痕迹对图像的破坏越来越严重。
6.解决以上问题及缺陷的难度在于，因隐藏消息产生的痕迹对图像造成了明显且人眼可感知的破坏，且为了保证图像在经过物理传输如打印并拍摄后仍能解析，消息不能以
细微的变化隐藏，即产生的痕迹是必须存在的。痕迹也严重影响了该技术的隐写容量上限，因为容量越大，痕迹越重。
7.解决以上问题及缺陷的意义在于，图像质量的严重破坏在某些使用场景如数字图像水印中是不能容忍的，因此严重限制了stegastamp在这种场合的应用，解决了痕迹严重的问题可以扩展该技术的使用场景，同时也能提高该技术的可用隐写容量。


技术实现要素：

8.针对现有技术存在的问题，本发明提供了一种抗干扰消息隐写与提取方法、系统、计算机设备、终端，尤其涉及一种健壮的基于深度学习技术的抗干扰消息隐写与提取方法、系统、计算机设备、终端，旨在解决现实中存在的各种复杂情况下的鲁棒地消息隐写问题。
9.本发明是这样实现的，一种抗干扰消息隐写与提取方法，所述抗干扰消息隐写与提取方法包括：
10.在训练隐写功能的过程中，损失函数里使用包含与载体图像视觉评分有关的项；在训练提取功能的过程中，隐写图像会经过一个干扰模拟模块，以此训练图像的抗干扰能力；用户将获得的隐写图像打印在纸上或显示在屏幕上，使用摄像设备拍摄采集后使用网络模型提取消息。
11.进一步，所述抗干扰消息隐写与提取方法包括以下步骤：
12.步骤一，根据训练图像集，计算每张图像像素点的视觉评分，获得图像像素的评分矩阵；
13.步骤二，根据需要模拟的干扰添加能够模拟类似效果的程序；
14.步骤三，根据步骤一中计算得到的评分矩阵，结合训练图像集，训练出合适的网络模型；
15.步骤四，根据步骤三获取到的网络模型，选择特定载体图像和特定隐写消息，生成需要的隐写图像；
16.步骤五，根据步骤四获取到的隐写图像，打印或显示在载体上，使用摄像设备采集拍摄图像；
17.步骤六，根据步骤五获取到的拍摄图像，使用桌面或移动端软件，根据网络模型提取消息。
18.进一步，步骤一中，使用考虑到人眼视觉系统对不同的图像特征感受能力强弱的评分模型，即jnd模型，计算图像每个像素点的视觉评分，所得分数表示该像素对人眼感受的影响力，这一分数将在训练中约束痕迹生成的位置，评分高的地方将允许痕迹的存在，评分低的地方则相反。
19.进一步，步骤二中，所述需要模拟的干扰，包括色彩干扰、反光干扰、模糊干扰、形变、噪声、jpeg图像压缩和旋转缩放在内的多种常见干扰，该环节是正是为了提高解码器从受到干扰的图像中提取到消息的能力，列出的干扰都是现实中图像常遇到的。
20.进一步，步骤三中，所述网络基于gan模型设计，编码器参考u
‑
net网络，损失函数中增加考虑视觉评分的lpips评分和jnd评分两项；其中，所述lpips 是一种用于图像的评价指标，用于衡量图像间的感知距离，由两幅图像在经过深层神经网络计算与获取的特征值之差表示，该项评分越低，则两幅图像特征值差越小，即表示两幅图像越相近；所述jnd意
为恰能感知差异，代表人眼视觉系统所能感知到的针对某张图像修改的最小阈值，小于此值的修改就很难引起人眼的注意。
21.进一步，步骤四中，所述隐写图像与载体图像非常接近，仅在细微处有着噪声，因为增进了训练中使用的损失函数，生成的隐写图像对比改进前，图像的质量评分更高，人眼主观感受也更优秀。
22.进一步，步骤六中，所述拍摄获得的图像与生成该图像的模型绑定，只有生成该隐写图像的模型才能够提取其中的消息，其他模型无法获取正确的消息，隐藏其中的消息不会被破解获取。
23.本发明的另一目的在于提供一种应用所述抗干扰消息隐写与提取方法的抗干扰消息隐写与提取系统，所述抗干扰消息隐写与提取系统包括：
24.评分矩阵获取模块，用于根据训练图像集，计算每张图像像素点的视觉评分，获得图像像素的评分矩阵；
25.程序添加模块，用于根据需要模拟的干扰添加能够模拟类似效果的程序；
26.网络模型构建模块，用于根据计算得到的评分矩阵，结合训练图像集，训练出合适的网络模型；
27.隐写图像生成模块，用于根据获取到的网络模型，选择特定载体图像和特定隐写消息，生成需要的隐写图像；
28.图像采集拍摄模块，用于根据获取到的隐写图像，打印或显示在载体上，使用摄像设备采集拍摄图像；
29.消息提取模块，用于根据获取到的拍摄图像，使用桌面或移动端软件，根据网络模型提取消息。
30.本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
31.在训练隐写功能的过程中，损失函数里使用包含与载体图像视觉评分有关的项；在训练提取功能的过程中，隐写图像会经过一个干扰模拟模块，以此训练图像的抗干扰能力；用户将获得的隐写图像打印在纸上或显示在屏幕上，使用摄像设备拍摄采集后使用网络模型提取消息。
32.本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述抗干扰消息隐写与提取系统。
33.结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的抗干扰消息隐写与提取方法，基于深度学习中的gan架构，考虑到载体图像的人眼视觉特征与现实中常见的图像干扰，使用图像视觉评分指导网络生成的痕迹位置，添加干扰模拟环节提高网络模型的抗干扰能力，以一种可靠健壮的方法解决在有着种种对图像质量干扰的环境下进行消息隐写与提取的问题。
34.本发明提供了一种健壮的基于图像视觉评分和图像干扰模拟的图像隐写术，不仅可以有效地从隐写图像中提取出隐写入其中的消息，从而达到消息隐藏和分发的目的，而且能够保证图像的视觉质量不受到很大的破坏，同时也可以对抗现实中常见的影响图像质量的干扰。本发明可以将文本消息隐写到一个图像中得到隐写图像，使文本消息对于人眼
不可见，但可以使用本发明中的方法从隐写图像中提取出来，从而实现了消息的隐写与提取。
35.本发明根据训练集图像和随机生成的消息，训练网络获得将消息变换为与载体图像相似的噪声和从此噪声中提取原消息的能力；在整个训练过程中，在损失函数的约束下，网络能够将噪声添加到载体图像中人眼不敏感的区域，得到隐写图像；训练网络的提取消息能力前，隐写图像需要经过一系列包括光照、颜色变换、模糊、形变、jpeg压缩和旋转缩放等干扰模拟流程，得到模拟失真后的图像；使用失真图像训练网络的提取过程，这样可以大大提高系统提取消息的健壮性。该基于深度学习技术的抗干扰消息隐写与提取系统包括：可用于隐写、提取与训练的桌面端系统和可用于提取的移动端系统。本发明中使用了深度学习网络，采用考虑了图像视觉评分的损失函数，使得最后隐写图像的整体视觉质量得到了保障，同时添加了可以模拟真实场景下多种不同干扰的模块，提高了整个系统的适应能力和健壮性，从而使得本发明可以有效并广泛地应用于基于图像的消息隐写领域。
36.本发明提出的深度学习网络基于gan架构，与其他gan网络一样需要生成器、鉴别器交错训练。当需要训练优化生成网络时，鉴别器的参数会被固定下来，与此相同，需要训练优化鉴别网络时，鉴别器的参数会被固定下来。在两个部分的训练的交替进行中，整个神经网络可以逐渐获得生成痕迹细微、肉眼难见的隐写图像与从受到干扰的隐写图像中提取消息的能力。在整个网络的训练收敛后，生成器与鉴别器就达到了纳什平衡状态，此时鉴别器已经无法区分开生成器生成的图像与原始图像，编码器生成的图像在整个损失函数的指导下，成功学习到向载体图像中添加肉眼不可见的痕迹来隐藏消息的方法，同时解码器在图像失真模型的干扰下学习到从失真图像中提取出完整消息的方法。
附图说明
37.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
38.图1是本发明实施例提供的抗干扰消息隐写与提取方法流程图。
39.图2是本发明实施例提供的抗干扰消息隐写与提取方法原理图。
40.图3是本发明实施例提供的抗干扰消息隐写与提取系统结构框图；
41.图中：1、评分矩阵获取模块；2、程序添加模块；3、网络模型构建模块；4、隐写图像生成模块；5、图像采集拍摄模块；6、消息提取模块。
42.图4是本发明实施例提供的训练图像计算出的相应视觉评分样例示意图。
43.图5是本发明实施例提供的图像干扰的模拟过程示意图。
44.图6是本发明实施例提供的本发明方法整体过程示意图。
45.图7是本发明实施例提供的原始的载体图像和网络生成的隐写图像的比较示意图。
46.图7(a)是本发明实施例提供的载体图像。
47.图7(b)是本发明实施例提供的隐写图像。
48.图8是本发明实施例提供的原图细节放大、stegastamp细节放大和本发明细节放
goodfellow提出的一类神经网络，通过轮流训练判别器(discriminator)和生成器(generator)，令其相互对抗，来从复杂概率分布中采样，已经广泛应用于各类应用场景。
72.u
‑
net网络模型：采用的是一个包含下采样和上采样的网络结构。下采样用来逐渐展现环境信息，而上采样的过程是结合下采样各层信息和上采样的输入信息来还原细节信息，并且逐步还原图像精度。
73.psnr是一个工程术语，表示信号的最大可能功率与影响信号保真度的破坏噪声的功率之比。由于存在动态范围非常宽广的信号，psnr通常借助对数来评价，单位为分贝。psnr最常用于评价有损压缩编解码器的输出重建质量，例如用于图像压缩。
74.ssim是一种感知指标，用于量化由诸如数据压缩之类的处理或数据传输中的损失所引起的图像质量下降。这是一个完全参考指标，即需要来自同一图像的两个相似图像(参考图像和已处理图像)，其中已处理图像通常是经过压缩的图像。
75.下面结合具体实施例对本发明的技术方案作进一步描述。
76.本发明实施例提供的健壮的基于深度学习技术的抗干扰消息隐写与提取方法，在训练隐写功能的过程中，损失函数里使用了包含与载体图像视觉评分有关的项；在训练提取功能的过程中，隐写图像会经过一个干扰模拟模块，以此训练图像的抗干扰能力；用户可以将获得的隐写图像打印在纸上或显示在屏幕上，使用摄像设备拍摄采集后使用网络模型提取消息。
77.如图2所示，本发明实施例提供的健壮的基于深度学习技术的抗干扰消息隐写与提取方法包括以下步骤：
78.步骤一，根据训练图像集，计算每张图像像素点的视觉评分，获得图像像素的评分矩阵；
79.步骤二，根据需要模拟的干扰添加干扰模拟的组件，包括色彩变换、噪声、模糊、形变、jpeg压缩和旋转缩放等等；
80.步骤三，根据步骤一中计算得到的评分矩阵，结合训练图像集，训练得出网络模型的具体参数；
81.步骤四，根据步骤三获取到的网络模型，选择特定载体图像和特定隐写消息，生成需要的隐写图像；
82.步骤五，根据步骤四获取到的隐写图像，将其展示在适当的载体上，使用摄像设备获取到经过干扰的图像结果。
83.步骤六，根据步骤五获取到的拍摄图像，使用桌面或移动端软件，使用先前训练出的模型参数提取消息。
84.在步骤一中，使用考虑到人眼视觉系统对不同的图像特征感受能力强弱的评分模型，又叫做jnd模型，计算图像每个像素点的视觉评分，所得分数表示了该像素对人眼感受的影响力。
85.如图4所示，本发明实施例所述的一张训练集图像，计算其每个像素的视觉评分，得到该图像的评分矩阵，该分数将在训练中指导痕迹的生成。
86.在步骤二中，可以添加色彩干扰、反光干扰、模糊干扰、形变、噪声和图像压缩旋转等多种常见干扰，以增强系统的鲁棒性。
87.如图5所示，本发明实施例所述的一张训练图像，在其传递给解码器提取消息前，
经历了形变、模糊、噪声、颜色变换、jpeg压缩等种种常见干扰，这是为了增强隐写图像的鲁棒性。
88.在步骤三中，网络基于gan模型设计，编码器参考了u
‑
net网络，损失函数中增加了考虑视觉评分的lpips评分和jnd评分两项。lpips是一种用于图像的评价指标，用来衡量图像间的感知距离。它由两幅图像在经过深层神经网络计算与获取的特征值之差表示，该项评分越低，则两幅图像特征值差越小，这即表示两幅图像越相近。jnd意为恰能感知差异，代表着人眼视觉系统所能感知到的针对某张图像修改的最小阈值，小于此值的修改就很难引起人眼的注意。两项评分一个关注图像总体，一个在意图像细节，从不同的角度分别提高了最终隐写图像的视觉质量。
89.如图6所示，本发明实施例所述的一张载体图像，与由输入消息根据unicode 编码转换得到的二进制码结合后传递给编码器，经网络模型运算得出隐写图像。隐写图像接着可以打印在载体上或直接展示在显示器上，使用摄像设备如手机拍摄获取采集图像，最后使用同一网络模型提取消息。经模型运算提取出的消息同样是以二进制形式表示的，可根据unicode编码转换为原本的文字消息。
90.在步骤四中，隐写图像与载体图像非常接近，仅在细微处有着噪声。
91.如图7所示，载体图像和隐写图像之间的差别很小，但隐写图像中藏有可用的消息，并且使用生成该隐写图像的特定模型可以提取出隐藏其中的消息。同时该隐写图像可以打印到纸上或展示在显示器中，使用普通的摄影摄像设备采集到的该隐写图像并不会丧失提取消息的能力，这大大提高了抗干扰隐写术的健壮性和其可能存在的使用范围。
92.如图8所示，老虎眼睛处可以清晰地表现出本发明对比stegastamp生成的痕迹更不易发现，不会影响人眼观察感知到的细节。本发明生成在老虎瞳孔周围的痕迹明显更轻，stegastamp的痕迹则很重，破坏了人眼的感知清晰度。
93.如图9所示，可以看出在训练开始时隐写痕迹非常明显，对图像质量造成了严重的损害，但随着训练期数的增加，肉眼可见的痕迹慢慢消失，整个图像的质量恢复到了可以接受的水平。
94.在步骤六中，拍摄获得的图像是与生成该图像的模型绑定的，只有生成该隐写图像的模型才能够提取其中的消息，其他模型无法获取到正确的消息，这保证了图像隐写术的安全性，隐藏其中的消息不会被破解获取。
95.下面结合工作原理对本发明的技术方案作进一步描述。
96.本发明提出的深度学习网络的结构是一条流水线，可以分为四个模块：编码器、鉴别器、失真模型和解码器。编码器借助基于gan概念的鉴别器，重建具有原始图像和隐藏二进制串的图像，接着使用失真模型用于攻击编码器的输出。解码器接收这些受到攻击的图像，经过训练用来恢复隐藏其中的二进制串。失真模型和解码器的设计思想来自相关对抗性攻击的研究。
97.编码器的目标是使用原始载体图像和隐藏二进制串重建隐写图像，从而确保重建图像的高质量。编码器使用u
‑
net结构，输入为rgb图像和二进制位串，输出为一张隐藏有二进制串的rgb残差图像，隐写图像是残差图像和载体图像的组合。
98.解码器接收在失真攻击后的隐写图像，并经过训练以提取隐藏的二进制串。解码器由一系列卷积层组成，其后是与输入消息长度相同的全连接层。在之后是sigmoid函数，
用于激活全连接层并输出解码出的二进制串。
99.鉴别器使用wgan评价网络监督编码器的输出结果。
100.失真模型使用各种近似方式来模拟现实中常见的打印、显示、拍摄等过程对图像质量造成的破坏，包括但不限于图像的形变、图像的模糊、图像的色彩变化、噪声、图像压缩和旋转缩放。
101.本发明提出的深度学习网络基于gan架构，与其他gan网络一样需要生成器、鉴别器交错训练。当需要训练优化生成网络时，鉴别器的参数会被固定下来，与此相同，需要训练优化鉴别网络时，鉴别器的参数会被固定下来。在两个部分的训练的交替进行中，整个神经网络可以逐渐获得生成痕迹细微、肉眼难见的隐写图像与从受到干扰的隐写图像中提取消息的能力。在整个网络的训练收敛后，生成器与鉴别器就达到了纳什平衡状态，此时鉴别器已经无法区分开生成器生成的图像与原始图像，编码器生成的图像在整个损失函数的指导下，成功学习到了向载体图像中添加肉眼不可见的痕迹来隐藏消息的方法，同时解码器在图像失真模型的干扰下学习到了从失真图像中提取出完整消息的方法。
102.如表1所示，本发明得到的图像在psnr和ssim两项视觉评分中都比 stegastamp要优秀，同时具有更高的提取成功率。
103.表1
[0104] psnrssim提取成功率stegastamp0.924127.3190％本发明0.931728.1395％
[0105]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
[0106]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。