基于MobileNetV2迁移学习的医学图像鲁棒水印嵌入方法和提取方法与流程

基于mobilenetv2迁移学习的医学图像鲁棒水印嵌入方法和提取方法
技术领域
1.本发明涉及图像水印技术领域，尤其涉及一种基于mobilenetv2迁移学习的医学图像鲁棒水印嵌入方法和提取方法。


背景技术：

2.随着互联网技术的发展，传统医学方式已经向远程医疗发生转变，使得大量的医学图像在网络中传输和共享，这就涉及到了医学图像的安全性问题。为了保证医学图像在传输共享过程中不被篡改和盗用，需要对原始医学图像进行技术处理，以保证原始医学图像的安全性。
3.数字水印技术最初用于数字媒体的版权保护，由于零水印的不可见性和鲁棒性的特点，可以将病人的个人信息隐藏在医学图像中，能够保护病人的隐私和避免病人的医学图像数据被篡改，因而也使得数字水印技术能够很好地应用于医疗领域。但是，目前相对于医学图像的数字水印技术仍不够成熟，抗几何攻击性能较差，鲁棒性能还有待提高。


技术实现要素：

4.本发明提供了一种基于mobilenetv2迁移学习的医学图像鲁棒水印嵌入方法和提取方法，用于解决现有的基于数字水印技术的医学图像处理方法抗几何攻击性能较差，鲁棒性能还有待提高的技术问题。
5.有鉴于此，本发明第一方面提供了一种基于mobilenetv2迁移学习的医学图像鲁棒水印嵌入方法，包括：
6.对mobilenetv2网络进行改进，将mobilenetv2网络的全连接层输出改为32个输出，删除全连接层后面的所有层，使用均方误差损失函数完成回归任务，得到改进的mobilenetv2网络；
7.构建医学图像数据集，医学图像数据集包括原始训练图像、原始验证图像和测试图像；
8.初始化改进的mobilenetv2网络的参数，使用医学图像数据集对改进的mobilenetv2网络进行训练，得到训练好的mobilenetv2网络；
9.将目标医学图像输入训练好的mobilenetv2网络，对训练好的mobilenetv2网络输出的特征进行二值化处理，得到目标医学图像的特征向量；
10.对原始目标水印进行混沌置乱加密，得到加密后的混沌置乱水印；
11.根据得到的混沌置乱水印和目标医学图像的特征向量进行异或运算，以将原始目标水印信息嵌入至目标医学图像中，同时得到二值逻辑密钥序列。
12.可选地，对原始目标水印进行混沌置乱加密，得到加密后的混沌置乱水印，包括：
13.通过logistic map产生32位混沌序列；
14.将产生的混沌序列变为二值混沌序列；
15.将32
×
32大小的原始目标水印的每一行都与产生的二值混沌序列进行异或运算，得到加密后的混沌置乱水印。
16.可选地，使用医学图像数据集对改进的mobilenetv2网络进行训练之前，还包括：
17.分别对原始训练图像和原始验证图像进行数据增强处理，得到图像增强后的图像，将图像增强后的图像分别对应加入原始训练图像集和原始验证图像集。
18.可选地，对原始训练图像和原始验证图像进行数据增强处理，包括：
19.对原始训练图像和原始验证图像进行高斯噪声处理、jpeg压缩处理、中值滤波处理、旋转处理、尺度放大与缩小处理、平移处理和剪切处理。
20.可选地，在构建医学图像数据集时，包括对医学图像数据集的图像添加标签，其中，对医学图像数据集的图像添加标签包括：
21.对图像进行dct变换；
22.取dct系数矩阵的左上角4
×
8区域的数值进行二值化，得到32位的特征向量，将得到32位的特征向量作为图像的标签。
23.可选地，还包括：
24.将二值逻辑密钥序列存储在第三方，其中，二值逻辑密钥序列与对应的嵌入原始目标水印信息的医学图像绑定。
25.可选地，对训练好的mobilenetv2网络输出的特征进行二值化处理，得到目标医学图像的特征向量，包括：
26.对训练好的mobilenetv2网络输出的32个特征值进行判别，将特征值大于0.5的判为1，否则判为0，将32个特征值的判别结果作为目标医学图像的特征向量。
27.本发明第二方面提供了一种基于mobilenetv2迁移学习的医学图像鲁棒水印提取方法，包括：
28.将待提取水印信息的医学图像输入训练好的mobilenetv2网络，提取待提取水印信息的医学图像的特征向量，其中，训练好的mobilenetv2网络由改进的mobilenetv2网络训练得到，改进的mobilenetv2网络为将mobilenetv2网络的全连接层输出改为32个输出，删除全连接层后面的所有层，使用均方误差损失函数完成回归任务所得到的mobilenetv2网络；
29.调取待提取水印信息的医学图像对应的二值逻辑密钥序列，将待提取水印信息的医学图像的特征向量和对应的二值逻辑密钥序列的每一行进行异或运算，提取出加密水印；
30.对加密水印进行解密，得到还原的水印信息。
31.可选地，对加密水印进行解密，得到还原的水印信息，包括：
32.通过logistic map产生32位混沌序列；
33.将产生的混沌序列变为二值混沌序列；
34.将加密水印的每一行都与产生的二值混沌序列进行异或运算，得到还原的水印信息。
35.可选地，还包括：
36.获取原始目标水印，将原始目标水印和还原水印进行归一化相关系数计算，确定目标医学图像的所有权和嵌入的水印信息。
37.从以上技术方案可以看出，本发明实施例具有以下优点：
38.本发明提供了一种基于mobilenetv2迁移学习的医学图像鲁棒水印嵌入方法，对mobilenetv2网络进行改进，将mobilenetv2网络的全连接层输出改为32个输出，并在全连接层的后面接连一个回归输出层，删除softmax分类层，得到改进的mobilenetv2网络，利用医学图像数据集对改进的mobilenetv2网络训练，从而使mobilenetv2网络具有了更好的抗几何攻击性能，利用训练好的mobilenetv2网络提取医学图像的特征向量与混沌置乱加密后的水印进行异或运算加密处理，将水印嵌入医学图像中，水印的嵌入不改变原始加密体数据的内容，是一种零水印技术，具有不可见性，因而改进的mobilenetv2网络与零水印技术的结合，提高了嵌入医学图像的水印的抗几何性能，具有很强的鲁棒性和不可见性，能同时保护病人的隐私信息和医学图像的数据安全，解决了现有的基于数字水印技术的医学图像处理方法抗几何攻击性能较差，鲁棒性能还有待提高的技术问题。
附图说明
39.为了更清楚的说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
40.图1为本发明实施例中提供的一种基于mobilenetv2迁移学习的医学图像鲁棒水印嵌入方法的流程示意图；
41.图2为本发明实施例中提供的36张胸透(cxr)图像示意图；
42.图3为本发明实施例中提供的36张手部ct图像示意图；
43.图4为本发明实施例中提供的36张手部ct图像示意图；
44.图5为本发明实施例中提供的选取的测试集内的9张医学图像示意图；
45.图6为本发明实施例中提供的选取的原始水印示意图；
46.图7为本发明实施例中提供的选取的非测试集内的9张医学图像示意图；
47.图8为本发明实施例中提供的一种基于mobilenetv2迁移学习的医学图像鲁棒水印嵌入提取的流程示意图。
具体实施方式
48.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
49.为了便于理解，请参阅图1，本发明中提供了一种基于mobilenetv2迁移学习的医学图像鲁棒水印嵌入方法的实施例，包括：
50.步骤101、对mobilenetv2网络进行改进，将mobilenetv2网络的全连接层输出改为32个输出，删除全连接层后面的所有层，使用均方误差损失函数完成回归任务，得到改进的mobilenetv2网络。
51.mobilenetv2网络是在mobilenetv1基础之上的改进，是一个轻量级卷积神经网
络，该网络有54层，如果卷积、池化、relu、batch normalization各算1层的话，总共有155层。改动之前的mobilenetv2网络已经在imagenet数据集上使用了超过100万张图片进行过训练，它可以将图像分为1000个对象类别，网络的图像输入大小为224
×
224。本发明实施例中，对mobilenetv2网络进行改进，将mobilenetv2网络的全连接层输出改为32个输出，全连接层后面不再加其他层，并使用均方误差损失函数，使mobilenetv2网络可以完成回归任务，得到改进的mobilenetv2网络。
52.步骤102、构建医学图像数据集，医学图像数据集包括原始训练图像、原始验证图像和测试图像。
53.采集医学图像数据，将医学图像数据按比例划分为原始训练图像数据集、原始验证图像数据集和测试图像数据集，构建医学图像数据集。具体地，原始训练图像数据集、原始验证图像数据集和测试图像数据集的比例为3:1:1。例如，可以选择胸透图像、手部ct图像和脑部ct图像三类医学图像各400张，如图2-图4所示(图2-图4中均仅选取36张图像作为展示)，因此，三类医学图像一共1200张，将这1200张图像按照3:1:1的比例分为三份(1200张图像混合在一起后完全打乱，以便于提高样本数据的随机性)，分别作为原始训练图像数据集、原始验证图像数据集和测试图像数据集。
54.步骤103、初始化改进的mobilenetv2网络的参数，使用医学图像数据集对改进的mobilenetv2网络进行训练，得到训练好的mobilenetv2网络。
55.完成对mobilenetv2网络的结构改进之后，对改进的mobilenetv2网络进行训练，将改进的mobilenetv2网络的1～79层的学习率设置为0，用以冻结这些层的权重，在训练过程中，已冻结层的参数不会更新。将训练的初始学习率设置为0.001，minibatchsize设置为30，epochs设置为8，优化器为带有动量的随机梯度下降(sgdm)优化器，然后使用医学图像数据集中的原始训练图像数据集对改进的mobilenetv2网络的网络参数进行训练，用原始验证图像数据集对训练过程中的mobilenetv2网络进行评估，以防止过拟合，使用测试图像数据集来测试水印算法的整体性能。这样，改进后的mobilenetv2网络具有了良好的抗几何攻击性能。
56.步骤104、将目标医学图像输入训练好的mobilenetv2网络，对训练好的mobilenetv2网络输出的特征进行二值化处理，得到目标医学图像的特征向量。
57.得到训练好的mobilenetv2网络之后，就可以使用训练好的mobilenetv2网络提取医学图像的特征向量了。将目标医学图像作为训练好的mobilenetv2网络的输入图像，经网络前向传播，可得到输出的结果为32个特征值，对这32个特征值进行二值化处理，即得到目标医学图像的特征向量。具体地，将特征值大于0.5的判为1，否则判为0，将32个特征值的判别结果作为目标医学图像的特征向量，记为v(i,j)。
58.步骤105、对原始目标水印进行混沌置乱加密，得到加密后的混沌置乱水印。
59.选择要添加的原始目标水印，对原始目标水印进行混沌置乱加密，得到加密后的混沌置乱水印。具体地，该过程包括：
60.通过logistic map产生32位混沌序列，其中，混沌系数的初始值x0设为0.2，生长参数为4，迭代次数为32。
61.将产生的混沌序列变为0,1二值混沌序列x(j)；
62.将32
×
32大小的原始目标水印(二值水印图片w(i,j))的每一行都与产生的二值
混沌序列x(j)进行异或运算，得到加密后的混沌置乱水印bw(i,j)。
63.logistic map是混沌映射方式之一，是一个具有混沌行为的简单动态非线性回归方式，其数学定义可以表示为：
64.x
k 1
＝μ
·
xk·
(1-xk)
65.其中，xk∈(0,1)，0＜μ≤4。当3.5699456＜μ≤4时，logistic映射进入混沌状态，logistic混沌序列可以作为理想的密钥序列。
66.步骤106、根据得到的混沌置乱水印和目标医学图像的特征向量进行异或运算，以将原始目标水印信息嵌入至目标医学图像中，同时得到二值逻辑密钥序列。
67.将医学图像的特征向量v(i,j)和加密后的水印bw(i,j)的每一行逐位进行异或运算，便可将水印bw(i,j)嵌入到目标医学图像中，同时得到二值逻辑密钥序列key(i,j)；
[0068][0069]
保存key(i,j)，将二值逻辑密钥序列存储在第三方，二值逻辑密钥序列与对应的嵌入原始目标水印信息的医学图像绑定，以便于用于后续提取水印。通过将key(i,j)作为密钥向第三方申请，可以获得原始医学图像的所有权和使用权，从而达到保护医学图像的目的。
[0070]
本发明实施例提供的基于mobilenetv2迁移学习的医学图像鲁棒水印嵌入方法，对mobilenetv2网络进行改进，将mobilenetv2网络的全连接层输出改为32个输出，并在全连接层的后面接连一个回归输出层，删除softmax分类层，得到改进的mobilenetv2网络，利用医学图像数据集对改进的mobilenetv2网络训练，从而使mobilenetv2网络具有了更好的抗几何攻击性能，利用训练好的mobilenetv2网络提取医学图像的特征向量与混沌置乱加密后的水印进行异或运算加密处理，将水印嵌入医学图像中，水印的嵌入不改变原始加密体数据的内容，是一种零水印技术，具有不可见性，因而改进的mobilenetv2网络与零水印技术的结合，提高了嵌入医学图像的水印的抗几何性能，具有很强的鲁棒性和不可见性，能同时保护病人的隐私信息和医学图像的数据安全，解决了现有的基于数字水印技术的医学图像处理方法抗几何攻击性能较差，鲁棒性能还有待提高的技术问题。
[0071]
在一个实施例中，在步骤103中，使用医学图像数据集对改进的mobilenetv2网络进行训练之前，还需要对原始训练图像和原始验证图像进行数据增强处理。具体的，胸透图像、手部ct图像和脑部ct图像三类医学图像各400张，共1200张图像按3:1:1比例划分为原始训练图像数据集、原始验证图像数据集和测试图像数据集，那么原始训练图像数据集和原始验证图像数据集共960张医学图像，对这960张医学图像进行数据增强，数据增强的内容包括加高斯噪声处理、jpeg压缩处理、中值滤波处理、旋转处理、尺度放大与缩小处理、平移处理和剪切处理，如表1所示。
[0072]
表1数据集构建时采用的数据增强具体操作
[0073][0074]
这样，一张图像经过数据增强就得到了新的54张图像，所以训练集就有了(54 1)
×
720＝39600张图像，验证集就有了(54 1)
×
240＝13200张图像，测试集还是240张图像，将这39600 13200 240＝53040张图像都调成224
×
224像素大小，作为医学图像数据集。因为在制作数据集时，已经对数据集采取了图像增强操作，所以在网络训练时就不再采取任何图像增强操作，训练样本只有训练集内的39600张图像。
[0075]
在一个实施例中，在构建医学图像数据集时，包括对医学图像数据集的图像添加标签，其中，对医学图像数据集的图像添加标签包括：对图像进行dct变换(离散余弦变换)、取dct系数矩阵的左上角4
×
8区域的数值进行二值化(大于0的记为1，小于等于0的记为0)，得到32位的特征向量，将得到32位的特征向量作为图像的标签。因此，医学图像数据集的标签是32位的二值特征向量。将原始训练图像和原始验证图像总共960张图像都进行相同的步骤，获得它们各自的二值特征向量，32位的二值特征向量就作为图像的标签。将原始训练图像和原始验证图像的原始图像和由它得到的54张新图像标记为相同的标签，这个标签也就是原始图像经过dct变换后得到的32位二值特征向量。
[0076]
常用的一种一维dct变换公式为：
[0077][0078][0079]
其中，f(i)为原始的信号，f(u)是dct变换后的系数，n为原始信号f(i)的点数，c(u)可以认为是一个补偿系数，可以使dct变换矩阵为正交矩阵。
[0080]
二维dct变换是在一维的基础上再进行一次dct变换，公式为：
[0081][0082]
为了更好地对本发明实施例中提供的基于mobilenetv2迁移学习的医学图像鲁棒水印嵌入方法的技术效果，本发明实施例中提供了一种基于mobilenetv2迁移学习的医学图像鲁棒水印嵌入方法的具体应用例：
[0083]
本应用例的测试对象是224
×
224像素大小的测试集内的9张医学图像，如图5所示。选择一个具有意义的二值图像作为原始水印，水印大小为32
×
32，如图6所示，记为：w＝{{w(i,j)|w(i,j)＝0,1；1≤i≤m1,1≤j≤m2}，其中，m1和m2为预设边界值。
[0084]
首先分别将这9张医学图像作为训练好的mobilenetv2网络的输入图像，经前向传播后，取网络的32个输出结果进行二值化处理，这32位的判别结果就作为图像的特征向量。设置混沌系数的初始值为0.2，增长参数为4，迭代次数为32。然后对原始水印进行混沌加密。通过水印算法检测出还原后的水印w'(i,j)后，通过归一化相关系数nc(normalized cross correlation)来判断是否有水印嵌入，当其数值越接近1时，则相似度越高，从而判断算法的鲁棒性。
[0085]
本应用例中测试了基于mobilenetv2迁移学习的医学图像鲁棒水印嵌入方法的抗常规攻击能力和抗几何攻击能力，试验数据如表2所示。
[0086]
表2本发明在测试集内的9张医学图像测试中的水印之间的nc值
[0087]
[0088]
[0089][0090][0091]
根据表2的数据可知，本发明的方法虽然抗高斯噪声攻击的能力相对弱一些，但抗jpeg压缩、中值滤波、旋转、尺度、平移和剪切攻击的能力都很强，说明本发明的方法具有很好的鲁棒性。
[0092]
另外，本应用例中还测试了图5中的9张医学图像在经过训练好的mobilenetv2网络提取特征向量后它们的特征向量之间的nc值，实验数据如表3所示。
[0093]
表3图5中的9张医学图像的特征向量之间的nc值
[0094][0095]
从表3可以看出，图5这9张医学图像的特征向量之间的nc值都低于0.6，说明通过训练好的mobilenetv2深度网络提取图像特征向量的方式是可行的，对图像有很好的区分度。
[0096]
此外，为了验证本发明提供的方法的普适性，在本应用例中，又选取了测试集之外的9张医学图像进行了同样的测试，这9张医学图像如图7所示，实验数据如表4所示，图7中的9张医学图像在经过训练好的mobilenetv2深度网络提取特征向量后它们的特征向量之间的nc值如表5所示。
[0097]
表4在非测试集内的9张医学图像测试中原始和提取水印之间的nc值
[0098]
[0099]
[0100][0101]
表5图7中的9张医学图像的特征向量之间的nc值
[0102][0103]
根据表4可知，本发明的方法对非测试集内的医学图像也有很好的适用性，抗几何攻击能力很强，具有很好的鲁棒性，而且由表5可知，非测试集内的9张医学图像的特征向量
之间的nc值也都低于0.6，具有很好的区分度，这说明本发明方法不仅可以应用于数据集内的医学图像，还可以应用于数据集之外的部分医学图像。
[0104]
为了便于理解，请参阅图8，对应于前述实施例中提供的基于mobilenetv2迁移学习的医学图像鲁棒水印嵌入方法，本发明中提供了一种基于mobilenetv2迁移学习的医学图像鲁棒水印提取方法的实施例，包括：
[0105]
步骤201、将待提取水印信息的医学图像输入训练好的mobilenetv2网络，提取待提取水印信息的医学图像的特征向量，其中，训练好的mobilenetv2网络由改进的mobilenetv2网络训练得到，改进的mobilenetv2网络为将mobilenetv2网络的全连接层输出改为32个输出，删除全连接层后面的所有层，使用均方误差损失函数完成回归任务所得到的mobilenetv2网络。
[0106]
本发明实施例中，待提取水印信息的医学图像的特征向量v'(i,j)的获取方法与前述基于mobilenetv2迁移学习的医学图像鲁棒水印嵌入方法中的医学图像的特征向量v(i,j)获取方法相同，在此不再进行赘述。
[0107]
步骤202、调取待提取水印信息的医学图像对应的二值逻辑密钥序列，将待提取水印信息的医学图像的特征向量和对应的二值逻辑密钥序列的每一行进行异或运算，提取出加密水印。
[0108]
从第三方获取待提取水印信息的医学图像对应的二值逻辑密钥序列key(i,j)，将待提取水印信息的医学图像的特征向量v'(i,j)和对应的二值逻辑密钥序列key(i,j)的每一行进行异或运算，便提取出加密的水印bw'(i,j):
[0109][0110]
在提取水印时只需要密钥key(i,j)，不需要原始图像参与，是一种零水印提取方法。
[0111]
步骤203、对加密水印进行解密，得到还原的水印信息。
[0112]
通过logistic map产生与前述基于mobilenetv2迁移学习的医学图像鲁棒水印嵌入方法实施例步骤105中相同的32位混沌序列，将产生的混沌序列变为二值混沌序列x(j)，将加密水印bw'(i,j)的每一行都与产生的二值混沌序列x(j)进行异或运算，得到还原的水印w'(i,j)：
[0113][0114]
在一个实施例中，步骤203之后还包括：
[0115]
步骤204、获取原始目标水印，将原始目标水印w'(i,j)和还原水印w'(i,j)进行归一化相关系数计算，确定目标医学图像的所有权和嵌入的水印信息。
[0116]
采用归一化互相关(归一化cross-correlation,nc)方法测量嵌入的原始水印与提取的原始水印之间的数量相似性，定义为：
[0117][0118]
其中，w
(i,j)
为原始水印图像的特征向量，其长度为32bit，w
′
(i,j)
为还原的水印图像的特征向量，其长度为32bit。归一化相关系数是对两幅图像进行相似度衡量的一种方
法，通过求归一化相关系数可以更加精确地用数据来客观评估图像的相似度。
[0119]
本发明实施例中提供的基于mobilenetv2迁移学习的医学图像鲁棒水印提取方法与前述的基于mobilenetv2迁移学习的医学图像鲁棒水印嵌入方法相对应，可取得与前述的基于mobilenetv2迁移学习的医学图像鲁棒水印嵌入方法相应的技术效果，在此不再进行赘述。
[0120]
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。