一种基于超混沌伪随机序列的加密域跨模态信息检索方法与流程

技术特征：
其中，λ表示损失函数的超参数，e
v
、e
a
、e
t
分别表示图像、音频、触觉信号经过加密后的样本数，表示加密图像样本e
v
中第k个样本经过模型输出的特征，表示加密图像样本e
v
中第k个样本特征对应的标签，表示加密音频样本e
a
中第k个样本经过模型输出的特征，表示加密音频样本e
a
中第k个样本特征对应的标签，表示加密触觉信号样本e
t
中第k个样本经过模型输出的特征，表示加密触觉信号样本e
t
中第k个样本特征对应的标签，g(
·
)表示多分类交叉熵损失函数，e
s
表示图像、音频、触觉信号的样本总数，e
m
表示密文样本总数e
s
中第m个样本经过模型输出的特征，c
m
表示该第m个样本对应的类别中心。5.如权利要求4所述的基于超混沌伪随机序列的加密域跨模态信息检索方法，其特征在于：所述多模态语义融合网络的结构包括，全连接层3、dropout层3、全连接层4、dropout层4、全连接层5、dropout层5、全连接层6。6.如权利要求5所述的基于超混沌伪随机序列的加密域跨模态信息检索方法，其特征在于：所述输出的结果包括，基于一个查询使用的密文样本和一个检索使用的密文样本，经过所述多模态语义融合网络的输出向量记为q
i
和r
j
，并采用余弦函数进行相似性度量：其中，i和j分别表示查询集和检索集中样本的序号；固定i，将j遍历检索集后按值从大到小的顺序进行排序，最大的值为检索出的最相似的结果，即为所述输出的结果。7.如权利要求6所述的基于超混沌伪随机序列的加密域跨模态信息检索方法，其特征在于：将所述检索的结果进行解密包括像素值置换、列置乱和行置乱。8.如权利要求7所述的基于超混沌伪随机序列的加密域跨模态信息检索方法，其特征在于：所述像素值置换包括，将检索出的密文结果的第一通道r的矩阵表示为e，对所述e进行像素值置换；将矩阵e中的元素记为e(i，j)(1≤i≤m，1≤j≤m)，对于第一个区间[0，32)，从第一个元素位置(1，1)开始，从左到右，从上到下，遍历至最后的位置(m，m)，若元素e(i，j)小于32，则进行像素值置换：i(i，j)＝bitxor(e(i，j)，l
p1
(num1，1))i(i，j)＝mod(i(i，j)，32)其中，num1的初始值为0，每有一个元素e(i，j)的值小于32，所述num1的值加1；对于第二个区间[32，64)，从第一个元素位置(1，1)开始，从左到右，从上到下，遍历至最后的位置(m，m)，若32≤e(i，j)＜64，则进行像素值置换：i(i，j)＝bitxor(e(i，j)，l
p2
(num2，1))i(i，j)＝mod(i(i，j)，32) 32其中，num2的初始值为0，每有一个元素e(i，j)的值32≤e(i，j)＜64，所述num2的值加
1；依此类推，对于最后一个区间[224，256)，从第一个元素位置(1，1)开始，从左到右，从上到下，遍历至最后的位置(m，m)，若224≤i(i，j)＜256，则进行像素值置换：i(i，j)＝bitxor(e(i，j)，l
p8
(num8，1))i(i，j)＝mod(i(i，j)，32) 224其中，num8的初始值为0，每有一个元素e(i，j)的值224≤e(i，j)＜256，所述num8的值加1；最终得到像素值置换后的图像i。9.如权利要求7所述的基于超混沌伪随机序列的加密域跨模态信息检索方法，其特征在于：所述列置乱和行置乱包括，对经过所述像素值置换后的图像i进行列置换和行置换：先进行列置乱，将矩阵i的第c
m
列与第一列互换，再将第c
m
‑1列与第一列互换，以此类推，最后将第c1列与第一列互换；再进行行置乱，将经过列置乱后的矩阵i的第r
m
行与第一行互换，再将第r
m
‑1行与第一行互换，以此类推，最后将第r1行与第一行互换；最终得到经过列置乱和行置乱后的矩阵i，i即为最终解密结果。

技术总结
本发明公开了一种基于超混沌伪随机序列的加密域跨模态信息检索方法，包括：预处理图像、音频、触觉信号三种模态；将预处理后的三种模态输入至构建的超混沌伪随机序列的加密系统中，分别进行行置乱、列置乱和像素值置换，得到三种模态的密文信息；利用预训练好的VGG16网络对三种模态的密文信息进行特征提取，并将三种模态在各自对应的分支网络中进行训练；将训练后的三种模态输入多模态语义融合网络中进行语义融合，检索其输出的结果，将检索的结果进行解密，得到明文结果输出。本发明与传统的检索方法不同，考虑了图像、音频、触觉信号三种模态的跨模态信息检索，且本发明考虑到数据的信息安全问题，实现了加密域下的跨模态信息检索。检索。检索。


技术研发人员：周亮 徐建博 匡雅鑫 索云飞 冶占远 魏昕
受保护的技术使用者：南京邮电大学
技术研发日：2021.07.20
技术公布日：2021/10/23