一种基于超混沌伪随机序列的加密域跨模态信息检索方法与流程

1.本发明涉及信息安全以及加密域检索的技术领域，尤其涉及一种基于超混沌伪随机序列的加密域跨模态信息检索方法。


背景技术：

2.随着信息社会的不断发展，一方面，深度学习、人工智能等方法不断地兴起，诞生出图像、音频、时频、文本等多模态数据，另一方面，信息安全问题也受到人们的广泛关注，一个国家的综合实力不仅体现在国民生产总值上，更体现在对信息安全的保护上，与此同时，人们已从单模态之间的检索转向跨模态检索，那么，如何克服不同模态之间的语义鸿沟问题，也是一大挑战，比如智能机器人在进行人机交互过程中会同时采集到图像、音频以及触觉信号数据；不过现有的加密域下的检索方法无法直接对密文信息进行检索，或者检索的准确率较低，更无实现加密域下的跨模态检索；因此，需要设计一种合理的加密域下的跨模态信息检索方法，一方面用于保护数据安全，另一方面用来解决多种模态的检索问题。


技术实现要素：

3.本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本技术的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
4.鉴于上述现有存在的问题，提出了本发明。
5.因此，本发明解决的技术问题是：现有的加密域下的检索方法无法直接对密文信息进行检索，或者检索的准确率较低，更无实现加密域下的跨模态检索。
6.为解决上述技术问题，本发明提供如下技术方案：预处理图像、音频、触觉信号三种模态；将预处理后的三种模态输入至构建的超混沌伪随机序列的加密系统中，分别进行行置乱、列置乱和像素值置换，得到所述三种模态的密文信息；利用预训练好的vgg16网络对所述三种模态的密文信息进行特征提取，并将所述三种模态在各自对应的分支网络中进行训练；将训练后的三种模态输入多模态语义融合网络中进行语义融合，检索其输出的结果，将检索的结果进行解密，得到明文结果输出。
7.作为本发明所述的基于超混沌伪随机序列的加密域跨模态信息检索方法的一种优选方案，其中：预处理所述图像、音频、触觉信号三种模态包括，将所述图像的分辨率调整为m
×
m
×
3；所述音频经过预加重、分帧、加窗、计算功率谱、滤波器组得到音频的时频图，并将分辨率调整为m
×
m
×
3；所述触觉信号经过预加重、分帧、加窗、计算功率谱、滤波器组得到触觉信号的时频图，并将分辨率调整为m
×
m
×
3。
8.作为本发明所述的基于超混沌伪随机序列的加密域跨模态信息检索方法的一种优选方案，其中：将所述预处理后的三种模态输入至构建的超混沌伪随机序列的加密系统中进行加密过程包括，三种模态预处理后得到的m
×
m
×
3图像都包括r、g、b三个通道分类，每个通道是大小为m
×
m的矩阵，对每个通道分别进行加密，将m
×
m的矩阵记为i；四维超混
沌chen系统：
[0009][0010]
其中，表示状态变量，x、y、z、w表示系统变量，a、b、c、d、e表示系统的控制参数，当a＝35、b＝3、c＝12、d＝7、e＝0.58时，系统处于超混沌状态；设置起始时间点time_start、终止时间点time_final以及步长step，并设置系统的四个初值[x0 y0 z0 w0]，即为加密系统的密钥，并利用runge
‑
kutta方法对超混沌chen系统进行求解，得到最终的四维超混沌伪随机序列lm；其加密过程包括位置置乱、像素值置换。
[0011]
作为本发明所述的基于超混沌伪随机序列的加密域跨模态信息检索方法的一种优选方案，其中：所述多模态语义融合网络的损失函数包括，设置损失函数为：
[0012]
l＝l1 λ
·
l2[0013][0014][0015]
其中，λ表示损失函数的超参数，e
v
、e
a
、e
t
分别表示图像、音频、触觉信号经过加密后的样本数，表示加密图像样本e
v
中第k个样本经过模型输出的特征，表示加密图像样本e
v
中第k个样本特征对应的标签，表示加密音频样本e
a
中第k个样本经过模型输出的特征，表示加密音频样本e
a
中第k个样本特征对应的标签，表示加密触觉信号样本e
t
中第k个样本经过模型输出的特征，表示加密触觉信号样本e
t
中第k个样本特征对应的标签，g(
·
)表示多分类交叉熵损失函数，e
s
表示图像、音频、触觉信号的样本总数，e
m
表示密文样本总数e
s
中第m个样本经过模型输出的特征，c
m
表示该第m个样本对应的类别中心。
[0016]
作为本发明所述的基于超混沌伪随机序列的加密域跨模态信息检索方法的一种优选方案，其中：所述多模态语义融合网络的结构包括，全连接层3、dropout层3、全连接层4、dropout层4、全连接层5、dropout层5、全连接层6。
[0017]
作为本发明所述的基于超混沌伪随机序列的加密域跨模态信息检索方法的一种优选方案，其中：所述输出的结果包括，基于一个查询使用的密文样本和一个检索使用的密文样本，经过所述多模态语义融合网络的输出向量记为q
i
和r
j
，并采用余弦函数进行相似性度量：
[0018][0019]
其中，i和j分别表示查询集和检索集中样本的序号；固定i，将j遍历检索集后按值从大到小的顺序进行排序，最大的值为检索出的最相似的结果，即为所述输出的结果。
[0020]
作为本发明所述的基于超混沌伪随机序列的加密域跨模态信息检索方法的一种优选方案，其中：将所述检索的结果进行解密包括像素值置换、列置乱和行置乱。
[0021]
作为本发明所述的基于超混沌伪随机序列的加密域跨模态信息检索方法的一种优选方案，其中：所述像素值置换包括，将检索出的密文结果的第一通道r的矩阵表示为e，对所述e进行像素值置换；将矩阵e中的元素记为e(i,j)(1≤i≤m,1≤j≤m)，对于第一个区间[0,32)，从第一个元素位置(1,1)开始，从左到右，从上到下，遍历至最后的位置(m,m)，若元素e(i,j)小于32，则进行像素值置换：
[0022]
i(i,j)＝bitxor(e(i,j),l
p1
(num1,1))
[0023]
i(i,j)＝mod(i(i,j),32)
[0024]
其中，num1的初始值为0，每有一个元素e(i,j)的值小于32，所述num1的值加1；对于第二个区间[32,64)，从第一个元素位置(1,1)开始，从左到右，从上到下，遍历至最后的位置(m,m)，若32≤e(i,j)＜64，则进行像素值置换：
[0025]
i(i,j)＝bitxor(e(i,j),lp2(num2,1))
[0026]
i(i,j)＝mod(i(i,j),32) 32
[0027]
其中，num2的初始值为0，每有一个元素e(i,j)的值32≤e(i,j)＜64，所述num2的值加1；依此类推，对于最后一个区间[224,256)，从第一个元素位置(1,1)开始，从左到右，从上到下，遍历至最后的位置(m,m)，若224≤i(i,j)＜256，则进行像素值置换：
[0028]
i(i,j)＝bitxor(e(i,j),l
p8
(num8,1))
[0029]
i(i,j)＝mod(i(i,j),32) 224
[0030]
其中，num8的初始值为0，每有一个元素e(i,j)的值224≤e(i,j)＜256，所述num8的值加1；最终得到像素值置换后的图像i。
[0031]
作为本发明所述的基于超混沌伪随机序列的加密域跨模态信息检索方法的一种优选方案，其中：所述列置乱和行置乱包括，对经过所述像素值置换后的图像i进行列置换和行置换：先进行列置乱，将矩阵i的第c
m
列与第一列互换，再将第c
m
‑1列与第一列互换，以此类推，最后将第c1列与第一列互换；再进行行置乱，将经过列置乱后的矩阵i的第r
m
行与第一行互换，再将第r
m
‑1行与第一行互换，以此类推，最后将第r1行与第一行互换；最终得到经过列置乱和行置乱后的矩阵i，i即为最终解密结果。
[0032]
本发明的有益效果：本发明与传统的检索方法不同，考虑了图像、音频、触觉信号三种模态的跨模态信息检索，且本发明考虑到数据的信息安全问题，实现了加密域下的跨模态信息检索。
附图说明
[0033]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
[0034]
图1为本发明一个实施例提供的一种基于超混沌伪随机序列的加密域跨模态信息检索方法的基本流程示意图；
[0035]
图2为本发明一个实施例提供的一种基于超混沌伪随机序列的加密域跨模态信息
检索方法的加密和解密效果示意图；
[0036]
图3为本发明一个实施例提供的一种基于超混沌伪随机序列的加密域跨模态信息检索方法的图像r、g、b三个分量原图和密文图以及对应的图像直方图。
具体实施方式
[0037]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
[0038]
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
[0039]
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
[0040]
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
[0041]
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0042]
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
[0043]
实施例1
[0044]
参照图1～3，为本发明的一个实施例，提供了一种基于超混沌伪随机序列的加密域跨模态信息检索方法，包括：
[0045]
s1：预处理图像、音频、触觉信号三种模态；
[0046]
具体的：
[0047]
(1)将图像的分辨率调整为m
×
m
×
3；
[0048]
(2)音频经过预加重、分帧、加窗、计算功率谱、滤波器组得到音频的时频图，并将分辨率调整为m
×
m
×
3；
[0049]
(3)同样，触觉信号经过预加重、分帧、加窗、计算功率谱、滤波器组得到触觉信号的时频图，并将分辨率调整为m
×
m
×
3。
[0050]
s2：将预处理后的三种模态输入至构建的超混沌伪随机序列的加密系统中，分别进行行置乱、列置乱和像素值置换，得到三种模态的密文信息；
[0051]
具体的：
[0052]
(1)三种模态预处理后得到的m
×
m
×
3图像都包括r、g、b三个通道分类，每个通道是大小为m
×
m的矩阵，对每个通道分别进行加密，加密方法相同，以r通道为例，将m
×
m的矩阵记为i；
[0053]
(2)四维超混沌chen系统：
[0054][0055]
其中，表示状态变量，x、y、z、w表示系统变量，a、b、c、d、e表示系统的控制参数，当a＝35、b＝3、c＝12、d＝7、e＝0.58时，系统处于超混沌状态。
[0056]
(3)设置起始时间点time_start、终止时间点time_final以及步长step，并设置系统的四个初值[x
0 y
0 z
0 w0]，即为加密系统的密钥，并利用runge
‑
kutta方法对超混沌chen系统进行求解，得到最终的四维超混沌伪随机序列l
m
；
[0057]
(4)加密方法：
[0058]
a.位置置乱：
[0059]
生成位置置乱使用的行向量和列向量：
[0060]
r＝round(mod((abs(l
m
(100:m 99,1))
‑
floor(abs(l
m
(100:m 99,1))))
×
10
14
,m))
[0061]
c＝round(mod((abs(l
m
(100:m 99,2))
‑
floor(abs(l
m
(100:m 99,2))))
×
10
14
,m))
[0062]
其中，round表示四舍五入取整，abs表示取绝对值，floor表示向下取整，mod表示取余，r和c都是包含m个元素的向量，且每个元素为0～m
‑
1之间的整数，将向量r和c中每个元素的值加1后分别表示为r＝[r1,r2,
…
,r
m
]和c＝[c1,c2,
…
,c
m
]；
[0063]
先进行行置乱，将矩阵i的第r1行与第一行互换，再将第r2行与第一行互换，以此类推，最后将第r
m
行与第一行互换；
[0064]
再进行列置乱，将经过行置乱后的矩阵i的第c1列与第一列互换，再将第c2列与第一列互换，以此类推，最后将第c
m
列与第一列互换；
[0065]
最后，得到经过行置乱和列置乱后的矩阵i；
[0066]
b.像素值置换：
[0067]
计算矩阵i中元素值分别在[0,32)、[32,64)、[64,96)、[96,128)、[128,160)、[160,192)、[192,224)、[224,256)中的元素个数count1、count2、count3、count4、count5、count6、count7、count8；
[0068]
对于第一个区间[0,32)，如果count1不为0，生成长度为count1的超混沌伪随机序列l
p1
：
[0069]
l
m1
(:,i)＝round(mod((ads(l
m
(100:count1 99,1))
‑
floor(abs(l
m
(100:count1 99,1))))
×
10
14
,32))(1≤i≤4)
[0070][0071]
l
p1
＝mod(l
sum
,32)
[0072]
同理，得到对应于其余七个区间的超混沌伪随机序列l
p2
,
…
,l
p8
；
[0073]
将矩阵i中的元素记为i(i,j)(1≤i≤m,1≤j≤m)，对于第一个区间[0,32)，从第一个元素位置(1,1)开始，从左到右，从上到下，遍历至最后的位置(m,m)，如果元素i(i,j)小于32，则进行像素值置换：
[0074]
e(i,j)＝bitxor(i(i,j),l
p1
(num1,1))
[0075]
e(i,j)＝mod(e(i,j),32)
[0076]
在上式中，bitxor表示按位异或，num1的初始值为0，每有一个元素i(i,j)的值小于32，那么num1的值加1；
[0077]
对于第二个区间[32,64)，从第一个元素位置(1,1)开始，从左到右，从上到下，遍历至最后的位置(m,m)，如果32≤i(i,j)＜64，则进行像素值置换：
[0078]
e(i,j)＝bitxor(i(i,j),l
p2
(num2,1))
[0079]
e(i,j)＝mod(e(i,j),32) 32
[0080]
在上式中，num2的初始值为0，每有一个元素i(i,j)的值32≤i(i,j)＜64，那么num2的值加1；
[0081]
依此类推，对于最后一个区间[224,256)，从第一个元素位置(1,1)开始，从左到右，从上到下，遍历至最后的位置(m,m)，如果224≤i(i,j)＜256，则进行像素值置换：
[0082]
e(i,j)＝bitxor(i(i,j),l
p8
(num8,1))
[0083]
e(i,j)＝mod(e(i,j),32) 224
[0084]
在上式中，num8的初始值为0，每有一个元素i(i,j)的值224≤i(i,j)＜256，那么num8的值加1；
[0085]
最终得到密文图像e。
[0086]
(5)同样对于图像的g、b两个通道分量，采用相同的加密方法，最后将原始图像r、g、b三个通道分量分别加密后的二维矩阵进行拼接，得到最终的三维彩色密文图像e。
[0087]
s3：利用预训练好的vgg16网络对三种模态的密文信息进行特征提取，并将三种模态在各自对应的分支网络中进行训练；
[0088]
s4：将训练后的三种模态输入多模态语义融合网络中进行语义融合，检索其输出的结果，将检索的结果进行解密，得到明文结果输出；
[0089]
具体的，构建关于三种模态密文信息的跨模态信息检索模型：
[0090]
(1)将图像、音频、触觉信号经过预处理和加密系统后的密文信息都输入至在imagenet上预训练好去除顶部全连接层的vgg16网络中并扁平化为一维的向量，然后在各自的网络分支中采用adam优化器、多分类交叉熵损失函数进行训练，其中网络结构包括批量归一化层、dropout层1、全连接层1(激活函数为relu)、dropout层2、全连接层2(激活函数为softmax，用于最后的分类输出)，网络训练完毕后，移除全连接层2，并将剩余带有训练好的权重参数的网络输入至多模态语义融合网络中；
[0091]
(2)设计损失函数l：
[0092]
l＝l1 λ
·
l2[0093][0094][0095]
其中，λ表示损失函数的超参数，e
v
、e
a
、e
t
分别表示图像、音频、触觉信号经过加密后的样本数，表示加密图像样本e
v
中第k个样本经过模型输出的特征，表示加密图像样本e
v
中第k个样本特征对应的标签，表示加密音频样本e
a
中第k个样本经过模型输出的特征，表示加密音频样本e
a
中第k个样本特征对应的标签，表示加密触觉信号样本e
t
中第k个样本经过模型输出的特征，表示加密触觉信号样本e
t
中第k个样本特征对应的标签，g(
·
)表示多分类交叉熵损失函数，e
s
表示图像、音频、触觉信号的样本总数，e
m
表示密文样本总数e
s
中第m个样本经过模型输出的特征，c
m
表示该第m个样本对应的类别中心，该中心随着每次迭代的批次不断更新。
[0096]
其中，多模态语义融合网络结构包括：全连接层3(激活函数relu)、dropout层3、全连接层4(激活函数relu)、dropout层4、全连接层5(激活函数relu)、dropout层5、全连接层6(激活函数softmax，用于最后的分类输出)；采用adam优化器、损失函数l进行训练，设置总迭代次数为k，达到迭代次数后停止迭代，保存模型结构以及训练后的模型权重；
[0097]
(3)提供一个查询使用的密文样本和一个检索使用的密文样本，经过多模态语义融合网络的输出向量记为q
i
和r
j
；采用余弦函数进行相似性度量：
[0098][0099]
其中，i和j分别表示查询集和检索集中样本的序号；
[0100]
固定i，将j遍历检索集后按值从大到小的顺序进行排序，最大的值为检索出的最相似的结果，即为输出的结果。
[0101]
进一步的，对检索结果进行解密并输出：
[0102]
将检索出的密文结果的第一通道r的矩阵表示为e，对e进行像素值置换；
[0103]
将矩阵e中的元素记为e(i,j)(1≤i≤m,1≤j≤m)，对于第一个区间[0,32)，从第一个元素位置(1,1)开始，从左到右，从上到下，遍历至最后的位置(m,m)，若元素e(i,j)小于32，则进行像素值置换：
[0104]
i(i,j)＝bitxor(e(i,j),l
p1
(num1,1))
[0105]
i(i,j)＝mod(i(i,j),32)
[0106]
其中，num1的初始值为0，每有一个元素e(i,j)的值小于32，num1的值加1；
[0107]
对于第二个区间[32,64)，从第一个元素位置(1,1)开始，从左到右，从上到下，遍历至最后的位置(m,m)，若32≤e(i,j)＜64，则进行像素值置换：
[0108]
i(i,j)＝bitxor(e(i,j),l
p2
(num2,1))
[0109]
i(i,j)＝mod(i(i,j),32) 32
[0110]
其中，num2的初始值为0，每有一个元素e(i,j)的值32≤e(i,j)＜64，num2的值加1；
[0111]
依此类推，对于最后一个区间[224,256)，从第一个元素位置(1,1)开始，从左到右，从上到下，遍历至最后的位置(m,m)，若224≤i(i,j)＜256，则进行像素值置换：
[0112]
i(i,j)＝bitxor(e(i,j),l
p8
(num8,1))
[0113]
i(i,j)＝mod(i(i,j),32) 224
[0114]
其中，num8的初始值为0，每有一个元素e(i,j)的值224≤e(i,j)＜256，num8的值加1；
[0115]
最终得到像素值置换后的图像i。
[0116]
对经过像素值置换后的图像i进行列置换和行置换：
[0117]
这里引入步骤s2中的r＝[r1,r2,
…
,r
m
]和c＝[c1,c2,
…
,c
m
]，先进行列置乱，将矩阵i的第c
m
列与第一列互换，再将第c
m
‑1列与第一列互换，以此类推，最后将第c1列与第一列互换；
[0118]
再进行行置乱，将经过列置乱后的矩阵i的第r
m
行与第一行互换，再将第r
m
‑1行与第一行互换，以此类推，最后将第r1行与第一行互换；
[0119]
最终得到经过列置乱和行置乱后的矩阵i，i即为最终解密结果；
[0120]
同样对于图像的g、b两个通道分量，采用相同的解密方法，最后将密文图像r、g、b三个通道分量分别解密后的二维矩阵进行拼接，得到最终解密出的原始图像i。
[0121]
本发明方法首先将音频和触觉信号预处理得到各自的时频图，并将三种模态调整为相同的分辨率，然后，采用基于超混沌伪随机序列的加密方法对三种模态信息进行加密，包括位置置乱和像素值置换，接着，将三种模态的密文信息进行跨模态信息检索，最后，对检索出的结果进行解密，作为最终的明文结果输出。本发明与传统方案不同的是，考虑了图像、音频、触觉信号三种模态的跨模态信息检索，考虑到数据的信息安全问题，实现了加密域下的跨模态信息检索。
[0122]
实施例2
[0123]
本实施例不同于第一个实施例的是，提供了一种基于超混沌伪随机序列的加密域跨模态信息检索方法的检验测试，为对本方法中采用的技术效果加以验证说明，本实施例采用传统技术方案与本发明方法进行对比测试，以科学论证的手段对比试验结果，以验证本方法所具有的真实效果。
[0124]
传统的技术方案：提出了一种超混沌伪随机序列的图像加密方法，在加密方法的“像素值置换”步骤中，未考虑对像素区间进行划分，即传统方法只考虑对0
‑
255整个像素区间进行加密，但这种方法往往检索性能较低。为验证本方法相对于传统方法具有较高的检索性能。本实施例中将采用上述的传统方案和适合加密条件下检索的本方法分别进行检索性能对比。
[0125]
测试环境：数据集选取包含图像(v)、音频(a)、触觉信号(t)的表面纹理材质公共数据集(https://zeus.lmt.ei.tum.de/downloads/texture/)，将训练集、验证集、测试集分别按照3：1：1的比例重新划分，将数据在matlab2017a上编写的代码中进行加密，得到密文数据，然后将密文数据在jupyter notebook软件上使用在python编写的检索模型代码中
进行检索实验，并使用map值衡量不同方法的检索性能，得到实验数据，其中map值越大，代表检索性能越好，结果如下表所示：
[0126]
表1：实验结果对比表。
[0127][0128]
从上表可以看出本发明方法检索性能远好于传统方法。
[0129]
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。