一种基于深度学习的多维度特征选择方法与流程

1.本发明涉及计算机应用技术、计算机视觉领域，更具体地，涉及一种基于深度学习的多维度特征选择方法。


背景技术：

2.近年来，基于深度网络的检索方法取得了显著进展。更广泛的研究努力致力于学习准确的图像检索模型。但是对于互联网上庞大图像数据，仅仅是准确度并不能满足实际的需求，因此学术研究者对更为快速的图像检索技术表现出了极大的吸引力。
3.目前的检索技术大多数现有的度量学习方法是将所有的输入的样本转化为定长的特征向量。这些已有的方法忽略了那些可以用更短的特征维度来表示的简单示例，因此检索效率相对低，
4.对于上述一些问题，自然地想到通过动态选择特征的维度来减少搜索时间，为了能选择特征，首先需要一个可以提取通用特征模型，具体是inception网络。经过测试，得出了inception网络提取的通用特征与单独训练的特征相比，精度损失不大。然后，设计了一个特征维度选择模块，具体包含演员网络(actor network),批评家网络(critic network)和奖励函数(reward function)。


技术实现要素：

5.本发明提供一种基于深度学习的多维度特征选择方法，该方法使得查询所需的时间降低。
6.为了达到上述技术效果，本发明的技术方案如下：
7.一种基于深度学习的多维度特征选择方法，包括以下步骤：
8.s1：建立用于图像通用特征提取的深度学习网络模型g；
9.s2：在网络模型g后加上特征维度随机截取模型；
10.s3：通过在训练集上训练，获得训练集和测试集的通用特征；
11.s4：获得图像通用特征后，建立特征维度选择模型；
12.s5：训练和测试特征维度选择模型；
13.s6：建立用于提供后台接口的进程，提供检索入口以及返回检索结果。
14.进一步地，所述步骤s1的具体过程是：
15.s11：建立g网络的特征提取层，将预处理后的每个视频中的每一帧图片表示成一个低维的实数向量，在大规模标注照片上预训练好的模型导入inception网络；
16.s12：通过训练该inception网络来提取到一组设定好的长度的对于图像的特征向量x。
17.进一步地，所述步骤s2的维度截取模块具体设计是：
18.s21：用一个全连接层将设定好长度的特征向量x映射成一个k维的实数向量，这里的k为最大允许的特征维度大小
19.s22：在s21将每一个向量编码成一个实数向量后，建立g网络的维度截取模块，通过这个模块从最小维度(设置为16)到最大维度(设置为128)中随机选择一个维度，顺序的截取，获得一个随机长度的特征，在一个小批次中使用相同的特征维度，每次通过这些不同维度的特征来训练网络，以此获得一个最大长度为k的通用特征，每当需要一个随机长度的特征时，只需要对该通用特征进行顺序地截取即可。
20.进一步地，所述步骤s3的具体过程是：
21.s31：将数据集分为训练数据以及测试数据；
22.s32：整体的模型要进行训练，g网络的训练步骤如下：每个小批量的图像样本由g网络提取出长度为最大维度k的图像特征，经过特征维度随机截取模型进行特征随机从最小维度到最大维度k抽取一个整数作为维度，然后对最大维度的特征进行顺序截取获得一个该维度的特征矩阵，使用损失函数的最小化来训练g网络模型，训练g网络的参数；
23.s33：模型的测试步骤为：单独以某一个维度训练模型，得到几个固定维度的特征提取模型，然后分别对每个固定维度模型做一下操作：先过一遍训练数据集，将测试数据输入到g网络，然后由g网络生成特征，将特征存储到数据库中。然后过一遍测试数据集，用测试数据集作为查询集，将每一个图像的特征与数据库中数据进行距离计算来计算r@k，具体计算方式是：计算所有图像特征间的距离，然后按距离从小到大排序，接着判断是否属于同类视频，如果前k个图像中有同类的，则为1，反之为0，将测试集中所有的结果取平均，即得到最终结果r@k。
24.对于通用模型则截取前k维与对应的固定维度的网络作比较。
25.进一步地，所述步骤s4的具体过程是：
26.s41：建立一个由三层全连接组成的actor网络，该网络的功能是把一个图像的通用特征作为状态输入，输出预测的合适的维度作为动作输出；
27.s42：建立一个由几层全连接组成的critic网络，该网络的功能是把一个图像的通用特征作为状态和actor网络输出的动作输入，输出对actor网络的评分，以此来优化actor网络；
28.s43：建立一个reward函数，该函数返回一个针对actor网络输出的维度，结合维度的长度惩罚，由actor网络输出决定和实际评价标准(r@k)的精度惩罚的评分作为critic网络的监督信息；
29.进一步地，所述步骤s5的具体过程是：
30.s51：将数据集分为训练数据以及测试数据；
31.s52：整体的模型要进行训练，特征维度选择模型的训练步骤如下：由g网络提取出图像通用特征，对actor网络和critic网络进行交替更新，且使用慢更新的方法，第一步，固定critic网络，经过actor网络获得其选择的维度，使用critic网络的到评分来优化actor网络。第二步，固定actor网络，将critic网络对actor网络输出的评分和reward函数的评分做比较来监督训练critic网络。其中两个网络的更新的学习率和频率不一样；
32.s53：测试时使用actor网络获得选择的维度d，与数据库中的训练集的通用特征的前d维进行距离比较，得到一个排序。将该排序使用r@1,r@2,r@4等行评估。具体计算方式是：计算所有图像特征间的距离，然后按距离从小到大排序，接着判断是否属于同类视频，如果前k个图像中有同类的，则为1，反之为0，将测试集中所有的结果取平均，即得到最终结
果r@k。
33.进一步地，所述步骤s6的具体过程是：
34.s61：将训练后的inception模型和特征维度选择模型保存下来；
35.s62：创建一个后台服务进程，预留图像输入的接口；
36.s63：通过访问s62中创建的接口，将图像输入进去，之后s62的后台服务进程会先对图像进行预处理，处理成s61的inception模型所需要的输入格式。接下来调取s61中保存的inception模型，将处理好的图像输入进模型，并得到该图像的通用。然后经过s61中特征维度选择模型，获得合适的维度大小d，顺序截取该特征，和数据库中存储的图像通用特征数据的前d维进行距离计算，并按小到大进行排序后返回前k个图像，前k个图像为最相近的k个图像的检索结果。
37.进一步地，步骤s12中，特征提取过程如下：先将inception模型经过imagenet图片数据集进行预训练，然后再进行微调。每个图像经过预训练好的inception模型后，会生成一组长度k的特征向量，这个k是指图像的最大特征长度。
38.进一步地，步骤s53中，reward函数结合长度和精度的惩罚，使得选择的长度在尽可能短的情况下精度损失不大。其中精度损失使用的评价标准是r@k，而长度损失是由actor网络输出的长度决定的。reward函数的具体实现如下：
39.reward＝rc
×
ra＝recalli/recallall
×c×
(2-c).
40.其中，c等于1-di/dall,代表长度的惩罚，而recalli代表选择长度的r@k,recallall代表祖代长度的r@k，两者比值代表精度损失训练过程中采用sgd进行优化。
41.与现有技术相比，本发明技术方案的有益效果是：
42.本发明能通过inception深度学习模型和特征维度随机截取模型学习到图像通用特征，并将数据库图像的通用特征储存，并且经过精心设计的特征维度选择模型对查询图像的特征维度进行选取，并以此维度在数据库中进行查询，使得查询所需的时间降低。
附图说明
43.图1为本发明的算法模型完全图；
44.图2为本发明的特征选择模块示意图。
具体实施方式
45.附图仅用于示例性说明，不能理解为对本专利的限制；
46.为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
47.对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
48.下面结合附图和实施例对本发明的技术方案做进一步的说明。
49.如图1-2所示，一种基于深度学习的多维度特征选择方法，包括以下步骤：
50.s1：建立用于图像通用特征提取的深度学习网络模型g；
51.s2：在网络模型g后加上特征维度随机截取模型；
52.s3：通过在训练集上训练，获得训练集和测试集的通用特征；
53.s4：获得图像通用特征后，建立特征维度选择模型；
54.s5：训练和测试特征维度选择模型；
55.s6：建立用于提供后台接口的进程，提供检索入口以及返回检索结果。
56.步骤s1的具体过程是：
57.s11：建立g网络的特征提取层，将预处理后的每个视频中的每一帧图片表示成一个低维的实数向量，在大规模标注照片上预训练好的模型导入inception网络；
58.s12：通过训练该inception网络来提取到一组设定好的长度的对于图像的特征向量x。
59.步骤s2的维度截取模块具体设计是：
60.s21：用一个全连接层将设定好长度的特征向量x映射成一个k维的实数向量，这里的k为最大允许的特征维度大小
61.s22：在s21将每一个向量编码成一个实数向量后，建立g网络的维度截取模块，通过这个模块从最小维度(设置为16)到最大维度(设置为128)中随机选择一个维度，顺序的截取，获得一个随机长度的特征，在一个小批次中使用相同的特征维度，每次通过这些不同维度的特征来训练网络，以此获得一个最大长度为k的通用特征，每当需要一个随机长度的特征时，只需要对该通用特征进行顺序地截取即可。
62.步骤s3的具体过程是：
63.s31：将数据集分为训练数据以及测试数据；
64.s32：整体的模型要进行训练，g网络的训练步骤如下：每个小批量的图像样本由g网络提取出长度为最大维度k的图像特征，经过特征维度随机截取模型进行特征随机从最小维度到最大维度k抽取一个整数作为维度，然后对最大维度的特征进行顺序截取获得一个该维度的特征矩阵，使用损失函数的最小化来训练g网络模型，训练g网络的参数；
65.s33：模型的测试步骤为：单独以某一个维度训练模型，得到几个固定维度的特征提取模型，然后分别对每个固定维度模型做一下操作：先过一遍训练数据集，将测试数据输入到g网络，然后由g网络生成特征，将特征存储到数据库中。然后过一遍测试数据集，用测试数据集作为查询集，将每一个图像的特征与数据库中数据进行距离计算来计算r@k，具体计算方式是：计算所有图像特征间的距离，然后按距离从小到大排序，接着判断是否属于同类视频，如果前k个图像中有同类的，则为1，反之为0，将测试集中所有的结果取平均，即得到最终结果r@k。
66.对于通用模型则截取前k维与对应的固定维度的网络作比较。
67.步骤s4的具体过程是：
68.s41：建立一个由三层全连接组成的actor网络，该网络的功能是把一个图像的通用特征作为状态输入，输出预测的合适的维度作为动作输出；
69.s42：建立一个由几层全连接组成的critic网络，该网络的功能是把一个图像的通用特征作为状态和actor网络输出的动作输入，输出对actor网络的评分，以此来优化actor网络；
70.s43：建立一个reward函数，该函数返回一个针对actor网络输出的维度，结合维度的长度惩罚，由actor网络输出决定和实际评价标准(r@k)的精度惩罚的评分作为critic网络的监督信息；
71.步骤s5的具体过程是：
72.s51：将数据集分为训练数据以及测试数据；
73.s52：整体的模型要进行训练，特征维度选择模型的训练步骤如下：由g网络提取出图像通用特征，对actor网络和critic网络进行交替更新，且使用慢更新的方法，第一步，固定critic网络，经过actor网络获得其选择的维度，使用critic网络的到评分来优化actor网络。第二步，固定actor网络，将critic网络对actor网络输出的评分和reward函数的评分做比较来监督训练critic网络。其中两个网络的更新的学习率和频率不一样；
74.s53：测试时使用actor网络获得选择的维度d，与数据库中的训练集的通用特征的前d维进行距离比较，得到一个排序。将该排序使用r@1,r@2,r@4等行评估。具体计算方式是：计算所有图像特征间的距离，然后按距离从小到大排序，接着判断是否属于同类视频，如果前k个图像中有同类的，则为1，反之为0，将测试集中所有的结果取平均，即得到最终结果r@k。
75.步骤s6的具体过程是：
76.s61：将训练后的inception模型和特征维度选择模型保存下来；
77.s62：创建一个后台服务进程，预留图像输入的接口；
78.s63：通过访问s62中创建的接口，将图像输入进去，之后s62的后台服务进程会先对图像进行预处理，处理成s61的inception模型所需要的输入格式。接下来调取s61中保存的inception模型，将处理好的图像输入进模型，并得到该图像的通用。然后经过s61中特征维度选择模型，获得合适的维度大小d，顺序截取该特征，和数据库中存储的图像通用特征数据的前d维进行距离计算，并按小到大进行排序后返回前k个图像，前k个图像为最相近的k个图像的检索结果。
79.步骤s12中，特征提取过程如下：先将inception模型经过imagenet图片数据集进行预训练，然后再进行微调。每个图像经过预训练好的inception模型后，会生成一组长度k的特征向量，这个k是指图像的最大特征长度。
80.步骤s53中，reward函数结合长度和精度的惩罚，使得选择的长度在尽可能短的情况下精度损失不大。其中精度损失使用的评价标准是r@k，而长度损失是由actor网络输出的长度决定的。reward函数的具体实现如下：
81.reward＝rc
×
ra＝recalli/recallall
×c×
(2-c).
82.其中，c等于1-di/dall,代表长度的惩罚，而recalli代表选择长度的r@k,recallall代表祖代长度的r@k，两者比值代表精度损失训练过程中采用sgd进行优化。
83.相同或相似的标号对应相同或相似的部件；
84.附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；
85.显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。