一种深度自适应多模态哈希检索方法及相关设备

1.本发明涉及哈希检索技术领域，特别涉及一种深度自适应多模态哈希检索方法及相关设备。


背景技术：

2.对着信息技术的快速发展，多媒体数据的表现形式越来越多样化，包括图像、文本、音频等。多模态哈希检索是将具有多种模态的数据编码成紧凑的二进制码后进行检索。在哈希检索前，需要进行哈希学习，现有的多模态哈希学习方法中，无法有效自适应地融合多种模态的数据信息，影响哈希学习的效率。
3.因此，现有技术还有待改进和提高。


技术实现要素：

4.针对现有技术的上述缺陷，本发明提供一种深度自适应多模态哈希检索方法及相关设备，旨在解决现有技术中多模态哈希检索中无法自适应地融合多种模态的数据信息的问题。
5.为了解决上述技术问题，本发明所采用的技术方案如下：
6.本发明的第一方面，提供一种深度自适应多模态哈希检索方法，所述方法包括：
7.在多个训练样本中选择多个目标训练样本组成目标训练批次，每个所述训练样本中包括至少一个模态的数据，根据所述目标训练样本中数据的模态确定所述目标训练样本对应的第一特征提取网络集，所述第一特征提取网络集中包括所述目标训练样本中各个模态分别对应的第一特征提取网络，通过各个所述第一特征提取网络获取所述目标训练样本中各个模态的初始特征；
8.将所述目标训练样本中的各个模态的所述初始特征输入至权重提取网络，获取所述权重提取网络输出的所述目标训练样本中各个模态的权重，根据每个模态对应的权重将所述目标训练样本中各个模态的所述初始特征进行融合，得到所述目标训练样本对应的融合特征；
9.将所述目标训练样本的所述融合特征输入至第一哈希网络，获取所述第一哈希网络输出的样本哈希码，将所述目标训练样本对应的语义标签输入至第二哈希网络，获取所述第二哈希网络输出的语义哈希码；
10.根据每个所述目标训练样本的所述样本哈希码和所述语义哈希码获取所述目标训练批次的训练损失，根据所述目标训练批次的训练损失更新所述第一哈希网络的参数；
11.重新执行所述在多个训练样本中选择多个目标训练样本组成目标训练批次的步骤，直至所述第一哈希网络的参数收敛，采用参数收敛后的所述第一哈希网络获取待检索样本对应的哈希码。
12.其中，所述权重提取网络包括特征提取层和权重输出层，所述将所述目标训练样本中的各个模态的所述初始特征输入至权重提取网络，获取所述权重提取网络输出的所述
目标训练样本中各个模态的权重，包括：
13.将所述目标训练样本中各个模态的所述初始特征输入至所述特征提取层，获取所述目标训练样本中各个模态分别对应的潜在一致特征；
14.将所述目标训练样本中各个模态分别对应的潜在一致特征输入至所述权重输出层，获取所述目标训练样本中各个模态的权重；
15.所述根据每个模态对应的权重将所述目标训练样本中各个模态的所述初始特征进行融合，包括：
16.根据每个模态对应的权重将所述目标训练样本中各个模态的所述潜在一致进行融合，得到所述目标训练样本对应的融合特征。
17.所述的深度自适应多模态哈希检索方法，其中，所述根据每个所述目标训练样本的所述样本哈希码和所述语义哈希码获取所述目标训练批次的训练损失，包括：
18.根据每个所述目标训练样本的所述样本哈希码和所述融合特征之间的差异获取所述目标训练批次的第一损失；
19.根据每个所述目标训练样本的所述样本哈希码和所述语义哈希码之间的差异获取所述目标训练批次的第二损失；
20.根据各个所述目标训练样本的所述样本哈希码和各个所述目标训练样本之间的语义相似度获取所述目标训练批次的第三损失；
21.根据所述第一损失、所述第二损失和所述第三损失获取所述目标训练批次的训练损失。
22.所述的深度自适应多模态哈希检索方法，其中，所述根据各个所述目标训练样本的所述语义哈希码和各个所述目标训练样本之间的语义相似性获取所述目标训练批次的第三损失之前，所述方法还包括：
23.根据每个所述目标训练样本对应的语义标签获取各个所述目标训练杨之间的语义相似度。
24.所述的深度自适应多模态哈希检索方法，其中，所述根据所述目标训练批次的训练损失更新所述第一哈希网络的参数，包括：
25.根据所述目标训练样本的损失更新所述第一哈希网络、所述第二哈希网络和所述权重提取网络的参数。
26.所述的深度自适应多模态哈希检索方法，其中，所述在所述多个训练样本中选定多个目标训练样本组成目标训练批次，包括：
27.根据所述多个训练样本在当前的网络参数下分别对应的所述融合特征和所述多个训练样本分别对应的所述初始特征获取各个所述训练样本的融合特征损失；
28.根据所述多个训练样本分别对应的所述融合特征损失进行排序，根据排序结果选定所述多个目标训练样本。
29.所述的深度自适应多模态哈希检索方法，其中，所述采用参数收敛后的所述第一哈希网络获取待检索样本对应的哈希码，包括：
30.获取所述待检索样本对应的所述融合特征，将所述待检索样本的所述融合特征输入至参数收敛后的所述第一哈希网络，获取所述第一哈希网络输出的所述待检索样本对应的哈希码。
31.本发明的第二方面，提供一种深度自适应多模态哈希检索装置，包括：
32.初始特征提取模块，所述特征提取模块用于在多个训练样本中选择多个目标训练样本组成目标训练批次，每个所述训练样本中包括至少一个模态的数据，根据所述目标训练样本中数据的模态确定所述目标训练样本对应的第一特征提取网络集，所述第一特征提取网络集中包括所述目标训练样本中各个模态分别对应的第一特征提取网络，通过各个所述第一特征提取网络获取所述目标训练样本中各个模态的初始特征；
33.融合特征提取模块，所述融合特征提取模块用于根据所述目标训练样本中各个模态的初始特征获取所述目标训练样本中各个模态的权重，根据每个模态对应的权重将所述目标训练样本中各个模态的初始特征进行融合，得到所述目标训练样本对应的融合特征；
34.哈希模块，所述哈希模块用于将所述目标训练样本的所述融合特征输入至第一哈希网络，获取所述第一哈希网络输出的样本哈希码，将所述目标训练样本对应的语义标签输入至第二哈希网络，获取所述第二哈希网络输出的语义哈希码；
35.参数更新模块，所述参数更新模块用于根据每个所述目标训练样本的所述样本哈希码和所述语义哈希码获取所述目标训练批次的训练损失，根据所述目标训练批次的训练损失更新所述第一哈希网络的参数；
36.迭代模块，所述迭代模块用于重新执行所述在多个训练样本中选择多个目标训练样本组成目标训练批次的步骤，直至所述第一哈希网络的参数收敛；
37.检索模块，所述检索模块用于采用参数收敛后的所述第一哈希网络获取待检索样本对应的哈希码。
38.本发明的第三方面，提供一种终端，所述终端包括处理器、与处理器通信连接的计算机可读存储介质，所述计算机可读存储介质适于存储多条指令，所述处理器适于调用所述计算机可读存储介质中的指令，以执行实现上述任一项所述的深度自适应多模态哈希检索方法的步骤。
39.本发明的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述任一项所述的深度自适应多模态哈希检索方法的步骤。
40.与现有技术相比，本发明提供了一种深度自适应多模态哈希检索方法及相关设备，在哈希学习的过程中，根据不同模态适用的神经网络提取不同模态的初始特征，再采用神经网络根据各个模态的初始特征输出各个模态的权重，再进行融合，得到各个模态的数据的融合特征，实现了自适应权重更新以及多模态内容的互补性融合，在得到融合特征后，将融合特征输入至第一哈希网络，获取特征哈希码，并且将语义标签也转换为二值码(语义哈希码)，根据特征哈希码和语义哈希码获取训练损失，本方法采用端到端的深度学习神经网络进行哈希学习，在哈希学习的过程中引入了语义监督，提升了哈希学习的效率，使得最终得到的哈希码具有判别性和有效性。
附图说明
41.图1为本发明提供的深度自适应多模态哈希检索方法的实施例的流程图；
42.图2为本发明提供的深度自适应多模态哈希检索方法的实施例中学习框架示意图；
43.图3为本发明提供的深度自适应多模态哈希检索装置的实施例的结构原理图；
44.图4为本发明提供的终端的实施例的原理示意图。
具体实施方式
45.为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
46.本发明提供的深度自适应多模态哈希检索方法，可以应用于具有计算能力的终端中，终端可以执行本发明提供的深度自适应多模态哈希检索方法确定多模态哈希检索参数，终端可以但不限于是各种计算机、移动终端、智能家电、可穿戴式设备等。
47.实施例一
48.如图1所示，所述深度自适应多模态哈希检索方法的一个实施例中，包括步骤：
49.s100、在多个训练样本中选择多个目标训练样本组成目标训练批次，每个所述训练样本中包括至少一个模态的数据，根据所述目标训练样本中数据的模态确定所述目标训练样本对应的第一特征提取网络集，所述第一特征提取网络集中包括所述目标训练样本中各个模态分别对应的第一特征提取网络，通过各个所述第一特征提取网络获取所述目标训练样本中各个模态的初始特征。
50.在本实施例中，采用一个训练批次完成一次训练，即根据一个训练批次中的所有训练样本的运算结果更新一次网络参数。每个训练样本为多模态数据，即，每个所述训练样本中包括多个模态的数据，具体地，每一种信息来源可以称为一种模态，多模态数据中包括多种信息来源的数据，例如视频、音频、文本、图像等。在对多模态数据进行处理时，首先要进行特征提取。对于不同模态的数据，可以采用不同的特征提取网络来进行特征提取得到每个模态的数据对应的所述初始特征，例如，对于图像数据，可以使用cnn网络提取特征，对于视频数据，可以使用c3d网络提取特征，对于文本数据，可以采用bert网络提取初始特征，当然，可以理解的是，本领域中对于不同模态的数据，存在多种可选的特征提取网络，本领域并不限定于以上的举例。
51.不同的训练样本中包括的模态可能并不相同，对于每个所述目标训练样本，根据所述目标训练样本中数据的模态确定所述目标训练样本对应的各个所述第一特征提取网络。再根据所述目标训练样本对应的各个所述第一特征提取网络对所述目标训练样本中对应的模态的数据进行特征提取，得到所述目标训练样本中各个模态的所述初始特征。
52.s200、将所述目标训练样本中的各个模态的所述初始特征输入至权重提取网络，获取所述权重提取网络输出的所述目标训练样本中各个模态的权重，根据每个模态对应的权重将所述目标训练样本中各个模态的所述初始特征进行融合，得到所述目标训练样本对应的融合特征。
53.所述目标训练样本中各个模态的所述初始特征在所述权重提取网络中被进一步处理，具体地，所述权重提取网络可以包括一个特征提取层和一个权重输出层，如图2所示，所述目标训练样本中各个模态的所述初始特征首先通过所述特征提取层被进一步地提取特征，这一步可以看做是将所述目标训练样本中各个模态的所述初始特征投影至潜在一致空间，得到潜在一致特征，各个模态分别对应的所述潜在一致特征反映了各个模态在潜在
的一致空间中的特征表达，所述潜在一致特征输入至所述权重输出层后，所述权重输出层输出各个模态对应的权重。权重输出层的参数，是根据每个模态的初始特征对融合后得到的融合特征对最终生成的哈希码的性能贡献来确定，即在训练过程中，所述权重输出层的参数根据训练损失来更新，使得训练损失尽可能小。所述将所述目标训练样本中的各个模态的所述初始特征输入至权重提取网络，获取所述权重提取网络输出的所述目标训练样本中各个模态的权重，包括：
54.将所述目标训练样本中各个模态的所述初始特征输入至所述特征提取层，获取所述目标训练样本中各个模态分别对应的潜在一致特征；
55.将所述目标训练样本中各个模态分别对应的潜在一致特征输入至所述权重输出层，获取所述目标训练样本中各个模态的权重。
56.所述根据每个模态对应的权重将所述目标训练样本中各个模态的所述初始特征进行融合，包括：
57.根据每个模态对应的权重将所述目标训练样本中各个模态的所述潜在一致进行融合，得到所述目标训练样本对应的融合特征。
58.从前面的说明不难看出，每个模态对应的权重是根据各个模态的数据的特征进行自适应调整的，这样可以根据样本中各个模态数据的实际情况实现特征互补性融合。
59.得到所述权重输出层输出的各个模态对应的权重后，根据每个模态对应的权重将所述目标训练样本中各个模态的所述初始特征进行融合，包括：
60.根据每个模态对应的权重将所述目标训练样本中各个模态的所述潜在一致进行融合，得到所述目标训练样本对应的融合特征。
61.s300、将所述目标训练样本的所述融合特征输入至第一哈希网络，获取所述第一哈希网络输出的样本哈希码，将所述目标训练样本对应的语义标签输入至第二哈希网络，获取所述第二哈希网络输出的语义哈希码。
62.为了保证生成的哈希码具有判别性和有效性，在本实施例中，引入语义监督，具体地，对于每个所述训练样本，都对应有一个语义标签，所述语义标签反映了所述训练样本所述的语义类别，所述语义标签可以为一个由0和1组成的向量，向量中的每个值反映了所述训练样本是否属于某一个语义类别。
63.在得到所述目标训练样本的所述融合特征后，将所述目标训练样本的所述融合特征输入至第一哈希网络，在所述第一哈希网络中，通过哈希函数对所述目标训练样本的所述融合特征进行处理，获取所述第一哈希网络输出的样本哈希码。对于所述目标训练样本对应的语义标签，进行灵活变换，具体地，将其输入至第二哈希网络，获取所述第二哈希网络输出的语义哈希码，即将所述目标训练样本对应的语义标签转换为一个二值编码，该二值编码的长度可以是任意的。
64.所述根据每个所述目标训练样本的所述样本哈希码和所述语义哈希码获取所述目标训练批次的训练损失，包括：
65.根据每个所述目标训练样本的所述样本哈希码和所述融合特征之间的差异获取所述目标训练批次的第一损失；
66.根据每个所述目标训练样本的所述样本哈希码和所述语义哈希码之间的差异获取所述目标训练批次的第二损失；
67.根据各个所述目标训练样本的所述样本哈希码和各个所述目标训练样本之间的语义相似度获取所述目标训练批次的第三损失；
68.根据所述第一损失、所述第二损失和所述第三损失获取所述目标训练批次的训练损失。
69.为了使得样本的哈希码具有有效性和判别性，应当让通过上述步骤计算出来的同一样本的所述样本哈希码和所述融合特征之间的差异尽可能小，从而能够实现保留更多的原始信息，同时同一样本的所述样本哈希码和所述语义哈希码之间的差异尽可能小，从而实现哈希码能够准确地反应语义，并且语义标签越相似的样本的所述样本哈希码应该越相似，而语义标签越不相似的样本的所述样本哈希码之间应该越不相似，从而实现哈希码具有判别性。
70.即，所述根据各个所述目标训练样本的所述语义哈希码和各个所述目标训练样本之间的语义相似性获取所述目标训练批次的第三损失之前还包括步骤：
71.根据每个所述目标训练样本对应的语义标签获取各个所述目标训练杨之间的语义相似度。
72.具体地，所述根据各个所述目标训练样本的所述样本哈希码和各个所述目标训练样本之间的语义相似度获取所述目标训练批次的第三损失，可以是对于所述目标训练批次中的每一对所述目标训练样本，计算二者的所述样本哈希码的差异和二者的语义相似度，并衡量所述样本哈希码的差异和语义相似度之间的距离，得到样本对损失，将所述目标训练批次中的所有的所述样本对损失求和，得到所述第三损失。
73.根据所述第一损失、所述第二损失和所述第三损失获取所述目标训练批次的训练损失时，可以对所述第一损失、所述第二损失和所述第三损失赋予相应的权重后进行加权求和，得到所述目标训练批次的所述训练损失。
74.请再次参阅图1，本实施例提供的方法，还包括步骤：
75.s400、根据每个所述目标训练样本的所述样本哈希码和所述语义哈希码获取所述目标训练批次的训练损失，根据所述目标训练批次的训练损失更新所述第一哈希网络的参数。
76.本实施例提供的深度自适应多模态哈希检索方法，采用端到端的训练方式，根据所述目标训练批次的所述训练损失来更新网络参数。在一种可能的实现方式中，可以只更新所述第一哈希网络的参数，固定其他网络的参数，为了加快训练过程，提升训练效果，所述权重提取网络和所述第二哈希网络的参数也可以是可学习的，即所述根据所述目标训练批次的训练损失更新所述第一哈希网络的参数，包括：
77.根据所述目标训练样本的损失更新所述第一哈希网络、所述第二哈希网络和所述权重提取网络的参数。
78.进一步地，所述第一特征提取网络的参数也可以是可学习的，即在训练的过程中与其他网络的参数一同被更新。
79.请再次参阅图1，本实施例提供的方法，还包括步骤：
80.s500、重新执行所述在所述多个训练样本中选定多个目标训练样本组成目标训练批次的步骤，直至所述第一哈希网络的参数收敛，采用参数收敛后的所述第一哈希网络获取待检索样本对应的哈希码。
81.在更新一次网络参数后，重新选定下一次训练的训练批次，即选择新的所述目标训练批次，再根据上文的步骤更新网络参数，如此进行迭代，当网络参数收敛后，训练完成。
82.在本实施例中，为了提升训练效率，在所述多个训练样本中选择所述目标训练样本时，并不是随机选择，而是根据每个训练样本对应的信息熵来选择，具体地，所述在所述多个训练样本中选定多个目标训练样本组成目标训练批次，包括：
83.根据所述多个训练样本在当前的网络参数下分别对应的所述融合特征和所述多个训练样本分别对应的所述初始特征获取各个所述训练样本的融合特征损失；
84.根据所述多个训练样本分别对应的所述融合特征损失进行排序，根据排序结果选定所述多个目标训练样本。
85.所述目标训练样本对应的融合特征损失反映了所述目标训练样本的各个模态对应的所述初始特征被融合后得到的所述融合特征与所述初始特征的差异，可以通过求所述初始特征和所述融合特征之间的差值、距离、正则化损失等方式计算得到所述融合特征损失，在每次训练结束，会对神经网络的参数进行更新，对于本次训练中未被选定为所述目标训练批次的所述训练样本，分别按照步骤s100-s200中的处理方法，获取对应的所述初始特征和所述融合特征，之后根据各个所述训练样本对应的所述初始特征和所述融合特征获取各个所述训练样本对应的所述融合特征损失。之后对各个所述训练样本对应的所述融合损失进行排序，根据排序结果选定新一次训练中的多个目标训练样本作为新一次训练中的所述目标训练批次。
86.训练样本对应的融合特征损失反映了训练样本的学习难易程度，融合特征损失越大，学习难度越大，具有更大的信息熵，反之则越小，对所述多个训练样本中未被选定为所述目标训练样本的训练样本在当前网络参数下对应的融合特征损失进行排序，可以采用当前融合特征损失最小的前n个训练样本作为下一次训练中的所述目标训练样本。可以实现按照由易到难的顺序进行样本学习的效果，有效提升学习的效率。
87.所述采用参数收敛后的所述第一哈希网络获取待检索样本对应的哈希码，包括：
88.获取所述待检索样本对应的所述融合特征，将所述待检索样本的所述融合特征输入至参数收敛后的所述第一哈希网络，获取所述第一哈希网络输出的所述待检索样本对应的哈希码。在网络参数收敛后，训练完成，基于训练完成后的网络参数来获取待检索样本对应的哈希码以实现哈希检索。具体地，在训练完成后，在获取待检索样本对应的哈希码的过程中，不使用所述第二哈希网络。具体过程为：根据所述待检索样本中数据的模态采用对应的所述第一特征提取网络提取初始特征，再通过所述权重提取网络获取各个模态的权重，并基于权重进行特征融合，得到所述待检索样本对应的所述融合特征，将所述带检索样本对应的所述融合特征输入至参数收敛的所述第一哈希网络，得到所述待检索样本的哈希码。
89.综上所述，本实施例提供一种深度自适应多模态哈希检索方法，在哈希学习的过程中，根据不同模态适用的神经网络提取不同模态的初始特征，再采用神经网络根据各个模态的初始特征输出各个模态的权重，再进行融合，得到各个模态的数据的融合特征，实现了自适应权重更新以及多模态内容的互补性融合，在得到融合特征后，将融合特征输入至第一哈希网络，获取到特征哈希码，并且将语义标签也转换为二值码(语义哈希码)，根据特征哈希码和语义哈希码获取训练损失，本方法采用端到端的深度学习神经网络进行哈希学
习，在哈希学习的过程中引入了语义监督，提升了哈希学习的效率，使得最终得到的哈希码具有判别性和有效性。
90.应该理解的是，虽然本发明说明书附图中给出的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
91.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取计算机可读存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
92.实施例二
93.基于上述实施例，本发明还相应提供了一种深度自适应多模态哈希检索装置，如图3所示，所述深度自适应多模态哈希检索装置包括：
94.初始特征提取模块，所述特征提取模块用于在多个训练样本中选择多个目标训练样本组成目标训练批次，每个所述训练样本中包括至少一个模态的数据，根据所述目标训练样本中数据的模态确定所述目标训练样本对应的第一特征提取网络集，所述第一特征提取网络集中包括所述目标训练样本中各个模态分别对应的第一特征提取网络，通过各个所述第一特征提取网络获取所述目标训练样本中各个模态的初始特征，具体如实施例一中所述；
95.融合特征提取模块，所述融合特征提取模块用于根据所述目标训练样本中各个模态的初始特征获取所述目标训练样本中各个模态的权重，根据每个模态对应的权重将所述目标训练样本中各个模态的初始特征进行融合，得到所述目标训练样本对应的融合特征，具体如实施例一中所述；
96.哈希模块，所述哈希模块用于将所述目标训练样本的所述融合特征输入至第一哈希网络，获取所述第一哈希网络输出的样本哈希码，将所述目标训练样本对应的语义标签输入至第二哈希网络，获取所述第二哈希网络输出的语义哈希码，具体如实施例一中所述；
97.参数更新模块，所述参数更新模块用于根据每个所述目标训练样本的所述样本哈希码和所述语义哈希码获取所述目标训练批次的训练损失，根据所述目标训练批次的训练损失更新所述第一哈希网络的参数，具体如实施例一中所述；
98.迭代模块，所述迭代模块用于重新执行所述在多个训练样本中选择多个目标训练样本组成目标训练批次的步骤，直至所述第一哈希网络的参数收敛，具体如实施例一中所述；
99.检索模块，所述检索模块用于采用参数收敛后的所述第一哈希网络获取待检索样本对应的哈希码，具体如实施例一中所述。
100.实施例三
101.基于上述实施例，本发明还相应提供了一种终端，如图4所示，所述终端包括处理器10以及存储器20。图4仅示出了终端的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
102.所述存储器20在一些实施例中可以是所述终端的内部存储单元，例如终端的硬盘或内存。所述存储器20在另一些实施例中也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。进一步地，所述存储器20还可以既包括所述终端的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述终端的应用软件及各类数据。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有深度自适应多模态哈希检索程序30，该深度自适应多模态哈希检索程序30可被处理器10所执行，从而实现本技术中深度自适应多模态哈希检索方法。
103.所述处理器10在一些实施例中可以是一中央处理器(central processing unit,cpu)，微处理器或其他芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述深度自适应多模态哈希检索方法等。
104.在一实施例中，当处理器10执行所述存储器20中深度自适应多模态哈希检索程序30时实现以下步骤：
105.在多个训练样本中选择多个目标训练样本组成目标训练批次，每个所述训练样本中包括至少一个模态的数据，根据所述目标训练样本中数据的模态确定所述目标训练样本对应的第一特征提取网络集，所述第一特征提取网络集中包括所述目标训练样本中各个模态分别对应的第一特征提取网络，通过各个所述第一特征提取网络获取所述目标训练样本中各个模态的初始特征；
106.将所述目标训练样本中的各个模态的所述初始特征输入至权重提取网络，获取所述权重提取网络输出的所述目标训练样本中各个模态的权重，根据每个模态对应的权重将所述目标训练样本中各个模态的所述初始特征进行融合，得到所述目标训练样本对应的融合特征；
107.将所述目标训练样本的所述融合特征输入至第一哈希网络，获取所述第一哈希网络输出的样本哈希码，将所述目标训练样本对应的语义标签输入至第二哈希网络，获取所述第二哈希网络输出的语义哈希码；
108.根据每个所述目标训练样本的所述样本哈希码和所述语义哈希码获取所述目标训练批次的训练损失，根据所述目标训练批次的训练损失更新所述第一哈希网络的参数；
109.重新执行所述在多个训练样本中选择多个目标训练样本组成目标训练批次的步骤，直至所述第一哈希网络的参数收敛，采用参数收敛后的所述第一哈希网络获取待检索样本对应的哈希码。
110.其中，所述权重提取网络包括特征提取层和权重输出层，所述将所述目标训练样本中的各个模态的所述初始特征输入至权重提取网络，获取所述权重提取网络输出的所述目标训练样本中各个模态的权重，包括：
111.将所述目标训练样本中各个模态的所述初始特征输入至所述特征提取层，获取所述目标训练样本中各个模态分别对应的潜在一致特征；
112.将所述目标训练样本中各个模态分别对应的潜在一致特征输入至所述权重输出层，获取所述目标训练样本中各个模态的权重；
113.所述根据每个模态对应的权重将所述目标训练样本中各个模态的所述初始特征进行融合，包括：
114.根据每个模态对应的权重将所述目标训练样本中各个模态的所述潜在一致进行融合，得到所述目标训练样本对应的融合特征。
115.其中，所述根据每个所述目标训练样本的所述样本哈希码和所述语义哈希码获取所述目标训练批次的训练损失，包括：
116.根据每个所述目标训练样本的所述样本哈希码和所述融合特征之间的差异获取所述目标训练批次的第一损失；
117.根据每个所述目标训练样本的所述样本哈希码和所述语义哈希码之间的差异获取所述目标训练批次的第二损失；
118.根据各个所述目标训练样本的所述样本哈希码和各个所述目标训练样本之间的语义相似度获取所述目标训练批次的第三损失；
119.根据所述第一损失、所述第二损失和所述第三损失获取所述目标训练批次的训练损失。
120.其中，所述根据各个所述目标训练样本的所述语义哈希码和各个所述目标训练样本之间的语义相似性获取所述目标训练批次的第三损失之前，所述方法还包括：
121.根据每个所述目标训练样本对应的语义标签获取各个所述目标训练杨之间的语义相似度。
122.其中，所述根据所述目标训练批次的训练损失更新所述第一哈希网络的参数，包括：
123.根据所述目标训练样本的损失更新所述第一哈希网络、所述第二哈希网络和所述权重提取网络的参数。
124.其中，所述在所述多个训练样本中选定多个目标训练样本组成目标训练批次，包括：
125.根据所述多个训练样本在当前的网络参数下分别对应的所述融合特征和所述多个训练样本分别对应的所述初始特征获取各个所述训练样本的融合特征损失；
126.根据所述多个训练样本分别对应的所述融合特征损失进行排序，根据排序结果选定所述多个目标训练样本。
127.其中，所述采用参数收敛后的所述第一哈希网络获取待检索样本对应的哈希码，包括：
128.获取所述待检索样本对应的所述融合特征，将所述待检索样本的所述融合特征输入至参数收敛后的所述第一哈希网络，获取所述第一哈希网络输出的所述待检索样本对应
的哈希码。
129.实施例四
130.本发明还提供一种计算机可读存储介质，其中，存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上所述的深度自适应多模态哈希检索方法的步骤。
131.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。