1.本发明属于数据筛选
技术领域：
：，具体涉及一种基于数据清除消冗的电力场景图像数据筛选方法。
背景技术：
：：2.在电力场景下，由于电力大数据类型繁多，数据量大，由于数据冗余，造成筛选效率十分低下，因此如何消除数据之间的冗余是进行数据筛选的关键环节之一。3.随着多媒体的推广和应用，以及信息和网络技术的发展，产生了大量的各式各样的视觉内容，比如电力巡检的遥感影像等等。消除图像数据的冗余，需要在所有图像之间进行比较，直接比较图像无疑是不可能实现的，而基于图像视觉内容检索的比对方式正是解决此类问题的一个行之有效的方法。技术实现要素：4.本发明的目的在于：提供一种基于数据清除消冗的电力场景图像数据筛选方法，解决现有电力场景图像数据因数据冗余，造成图像数据筛选效率低的问题。5.本发明采用的技术方案如下：6.一种基于数据清除消冗的电力场景图像数据筛选方法，包括以下步骤：7.(1)基于哈希的图像检索方法，提取图像数据库中图像高维、细节不变性特征，构造特征空间向量，将特征进行哈希编码；8.(2)输入查询图像，基于哈希的图像检索方法，提取查询图像高维、细节不变性特征，构造特征空间向量，将特征进行哈希编码；9.(3)基于哈希编码间的汉明距离进行相似性排序并重排得到目标检索结果；完成图像数据筛选。10.进一步地，所述步骤(2)中，基于哈希的图像检索方法通过特征学习编码成二值哈希，并利用xor异或运算，在降低内存消耗的同时缩短计算响应时间；11.扩展到高维空间中，采用随机超平面将空间划分成多个子区域来构造哈希函数，结合特征数据在哈希编码的索引阶段进行桶排序存储，并通过映射比较得到最终的近邻，形成一个在构造哈希函数阶段没有利用到数据且构造阶段没有训练的放松约束的局部敏感哈希。12.进一步地，融合基于哈希的图检索方法以及局部敏感哈希的近似最近邻统计编码方法，结合可利用深度神经网络卷积层得到特定的局部图形特征来得到检索结果，具体步骤为：13.s1,选择预设的类簇数并通过聚类生成量化器，对图像原始特征进行量化，过滤特征本身的噪声，使得相似的特征能够被匹配到，建立索引；14.s2，根据建立索引得到的候选列表特征向量同查询图像的特征向量进行距离计算并对结果reranking，最终返回最近邻结果；15.利用汉明距离阈值，在将向量嵌入到二值哈希空间中，减少重排序候选的长度，平衡量化噪声和检索复杂度。16.进一步地，向量嵌入到二值哈希空间中的映射矩阵学习算法如下：17.输入：学习集合ln为学习集合包含的向量个数，18.设d为原始特征纬度，db为embed后的二进制特征维度；19.步骤a：随机产生一个高斯矩阵，进行qr正交分解，提取正交矩阵q的前db行向量构造维度为dbxd的正交投影矩阵p；20.步骤b：对学习集ω中每个向量xi使用矩阵p进行投影得到向量集合21.步骤c：通过步骤b得到的zih得到计算第l簇的中值投影向量tl，tlh＝median{zih},h∈[1,db]；[0022]步骤d：利用粗量化器q量化x，且使用p将x投影到z；[0023]步骤e：利用细量化器将x映射为二进制向量；[0024]输出：投影矩阵p，二进制向量。。[0025]综上所述，由于采用了上述技术方案，本发明的有益效果是：[0026]1、本发明中，针对不同业务场景下的数据特点，融合基于哈希的图检索方法以及局部敏感哈希的近似最近邻统计编码方法，结合可利用深度神经网络卷积层得到特定的局部图形特征来得到检索结果，从而实现对图像数据涉及的特征提取和近邻查找技术的优化，提取出能够高效表征图像的特征向量，进行快速视觉内容查找，达到图像数据的高效筛选。附图说明[0027]为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图，其中：[0028]图1为本发明基于哈希的图像检索方法的流程示意图；[0029]图2为本发明近似最近邻搜索的示意图。具体实施方式[0030]为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。[0031]因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。[0032]一种基于数据清除消冗的电力场景图像数据筛选方法，包括以下步骤：[0033](1)基于哈希的图像检索方法，提取图像数据库中图像高维、细节不变性特征，构造特征空间向量，将特征进行哈希编码；[0034](2)输入查询图像，基于哈希的图像检索方法，提取查询图像高维、细节不变性特征，构造特征空间向量，将特征进行哈希编码；[0035](3)基于哈希编码间的汉明距离进行相似性排序并重排得到目标检索结果；完成图像数据筛选。[0036]进一步地，所述步骤(2)中，基于哈希的图像检索方法通过特征学习编码成二值哈希，并利用xor异或运算，在降低内存消耗的同时缩短计算响应时间；[0037]扩展到高维空间中，采用随机超平面将空间划分成多个子区域来构造哈希函数，结合特征数据在哈希编码的索引阶段进行桶排序存储，并通过映射比较得到最终的近邻，形成一个在构造哈希函数阶段没有利用到数据且构造阶段没有训练的放松约束的局部敏感哈希。[0038]进一步地，融合基于哈希的图检索方法以及局部敏感哈希的近似最近邻统计编码方法，结合可利用深度神经网络卷积层得到特定的局部图形特征来得到检索结果，具体步骤为：[0039]s1,选择预设的类簇数并通过聚类生成量化器，对图像原始特征进行量化，过滤特征本身的噪声，使得相似的特征能够被匹配到，建立索引；[0040]s2，根据建立索引得到的候选列表特征向量同查询图像的特征向量进行距离计算并对结果reranking，最终返回最近邻结果；[0041]利用汉明距离阈值，在将向量嵌入到二值哈希空间中，减少重排序候选的长度，平衡量化噪声和检索复杂度。[0042]进一步地，向量嵌入到二值哈希空间中的映射矩阵学习算法如下：[0043]输入：学习集合ln为学习集合包含的向量个数，[0044]设d为原始特征纬度，db为embed后的二进制特征维度；[0045]步骤a：随机产生一个高斯矩阵，进行qr正交分解，提取正交矩阵q的前db行向量构造维度为dbxd的正交投影矩阵p；[0046]步骤b：对学习集ω中每个向量xi使用矩阵p进行投影得到向量集合[0047]步骤c：通过步骤b得到的zih得到计算第l簇的中值投影向量tl，tlh＝median{zih},h∈[1,db]；[0048]步骤d：利用粗量化器q量化x，且使用p将x投影到z；[0049]步骤e：利用细量化器将x映射为二进制向量；[0050]输出：投影矩阵p，二进制向量。[0051]本发明在实施过程中：提出一种通过数据视觉内容检索比对方法来消除数据冗余。为了从迭代学习的训练数据分布中获得的样本来检索得到新的训练样本，将合成数据视为内容数据信息变量的实例，从给定的训练集内容检索学习的分布中得出。对于图像检索方面，由于物体或目标受环境、设备等因素而影响检索的结果，拟搜索选取抗干扰性较好的不变性局部特征为基础通过不同的编码方式构造图像的全局表述，实现整体上较高的检索精度。[0052]1、基于哈希的图像检索方法：[0053]基于哈希的图像检索方法，实现提取图像高维、细节不变性特征构造特征空间向量，从而进行哈希函数的学习及将特征进行哈希编码，并结合编码间的汉明距离进行相似性排序并重排得到目标检索结果，如图1所示。[0054]2、近似最近邻搜索[0055]基于哈希的图像检索方法通过特征学习编码成二值哈希，并利用计算机机载内部的xor异或运算，在降低内存消耗的同时缩短计算响应时间。扩展到高维空间中，如图2中，(a)所示，采用随机超平面将空间划分成多个子区域来构造哈希函数，结合特征数据在哈希编码的索引阶段进行桶排序存储，并通过映射比较得到最终的近邻，来形成一个在构造哈希函数阶段没有利用到数据且构造阶段没有训练的放松约束的局部敏感哈希，如图2中，(b)所示。[0056]3、基于spoc特征的深度神经网络检索算法[0057]融合基于哈希的图检索方法以及局部敏感哈希的近似最近邻统计编码方法，并结合可利用深度神经网络卷积层得到特定的局部图形特征来得到检索结果。采用通过累加求和生成的聚合特征spoc来得到图像的聚合特征，针对不同业务场景下的数据特点，对网络通过不断的参数调整及学习训练数据点，对涉及的特征提取和近邻查找技术技术优化来得到高效表征图像的特定特征向量，进行快速地视觉内容查找。[0058]大规模高维向量的检索性能通常分为查找优化和向量优化，考虑对数据进行查找优化，即通过优化检索结构进行性能优化，不改变向量本身，利用近似最近邻ann算法找到近似最近距离的匹配目标，减少搜索空间，可提高查找效率。局部敏感哈希算法，将原始数据空间中的两个相邻数据点通过相同的映射或投影变换后则仍存在较大概率的相邻，则可将原始数据集合中的所有数据都进行hash映射，并实现数据点经过hashfunction映射变换，规整分散到hashtable的桶内，将原始数据集分成多个桶内数据相邻且个数较少的子集合，达到将问题转化成在一个很小空间域内查找相邻元素的问题，降低计算量。此外，hashfunction需满足以下两个条件：[0059]1)如果d(x,y)《＝d1，则h(x)＝h(y)的概率至少为p1；[0060]2)如果d(x,y)》＝d2，则h(x)＝h(y)的概率至多为p2；[0061]其中，d(x,y)表示x和y之间的距离，d1《d2，h(x)和h(y)分别表示对x和y进行hash变换。[0062]考虑到电力场景下的视觉内容信息明确，采用典型的倒排文件索引的近似最近邻算法，将整个优化检索结构过程分为两步：[0063]s1,选择合适的类簇数并通过聚类生成量化器，对图像原始特征进行量化，量化操作可以过滤特征本身的噪声，使得相似的特征能够被匹配到，进而建立索引。但随之也会引入噪声，簇数k较少复杂度低，倒排候选元素多，重排复杂度高，噪声也高。[0064]s2,根据建立索引得到的候选列表特征向量同查询图像的特征向量进行距离计算并对结果reranking，最终返回最近邻结果。利用汉明距离阈值，在将向量嵌入到二值哈希空间中，减少重排序候选的长度，平衡量化噪声和检索复杂度。向量嵌入过程的映射矩阵学习算法如下：[0065]输入：学习集合ln为学习集合包含的向量个数，[0066]设d为原始特征纬度，db为embed后的二进制特征维度；[0067]步骤a：随机产生一个高斯矩阵，进行qr正交分解，提取正交矩阵q的前db行向量构造维度为dbxd的正交投影矩阵p；[0068]步骤b：对学习集ω中每个向量xi使用矩阵p进行投影得到向量集合[0069]步骤c：通过步骤b得到的zih得到计算第l簇的中值投影向量tl，tlh＝median{zih},h∈[1,db]；[0070]步骤d：利用粗量化器q量化x，且使用p将x投影到z；[0071]步骤e：利用细量化器将x映射为二进制向量；[0072]输出：投影矩阵p，二进制向量。[0073]实施例1[0074]一种基于数据清除消冗的电力场景图像数据筛选方法，包括以下步骤：[0075](1)基于哈希的图像检索方法，提取图像数据库中图像高维、细节不变性特征，构造特征空间向量，将特征进行哈希编码；[0076](2)输入查询图像，基于哈希的图像检索方法，提取查询图像高维、细节不变性特征，构造特征空间向量，将特征进行哈希编码；[0077](3)基于哈希编码间的汉明距离进行相似性排序并重排得到目标检索结果；完成图像数据筛选。[0078]实施例2[0079]在实施例1的基础上，所述步骤(2)中，基于哈希的图像检索方法通过特征学习编码成二值哈希，并利用xor异或运算，在降低内存消耗的同时缩短计算响应时间；[0080]扩展到高维空间中，采用随机超平面将空间划分成多个子区域来构造哈希函数，结合特征数据在哈希编码的索引阶段进行桶排序存储，并通过映射比较得到最终的近邻，形成一个在构造哈希函数阶段没有利用到数据且构造阶段没有训练的放松约束的局部敏感哈希。[0081]实施例3[0082]在上述实施例的基础上，融合基于哈希的图检索方法以及局部敏感哈希的近似最近邻统计编码方法，结合可利用深度神经网络卷积层得到特定的局部图形特征来得到检索结果，具体步骤为：[0083]s1,选择预设的类簇数并通过聚类生成量化器，对图像原始特征进行量化，过滤特征本身的噪声，使得相似的特征能够被匹配到，建立索引；[0084]s2，根据建立索引得到的候选列表特征向量同查询图像的特征向量进行距离计算并对结果reranking，最终返回最近邻结果；[0085]利用汉明距离阈值，在将向量嵌入到二值哈希空间中，减少重排序候选的长度，平衡量化噪声和检索复杂度。[0086]实施例4[0087]在上述实施例的基础上，向量嵌入到二值哈希空间中的映射矩阵学习算法如下：[0088]输入：学习集合ln为学习集合包含的向量个数，[0089]设d为原始特征纬度，db为embed后的二进制特征维度；[0090]步骤a：随机产生一个高斯矩阵，进行qr正交分解，提取正交矩阵q的前db行向量构造维度为dbxd的正交投影矩阵p；[0091]步骤b：对学习集ω中每个向量xi使用矩阵p进行投影得到向量集合[0092]步骤c：通过步骤b得到的zih得到计算第l簇的中值投影向量tl，tlh＝median{zih},h∈[1,db]；[0093]步骤d：利用粗量化器q量化x，且使用p将x投影到z；[0094]步骤e：利用细量化器将x映射为二进制向量；[0095]输出：投影矩阵p，二进制向量。[0096]如上所述即为本发明的实施例。前文所述为本发明的各个优选实施例，各个优选实施例中的优选实施方式如果不是明显自相矛盾或以某一优选实施方式为前提，各个优选实施方式都可以任意叠加组合使用，所述实施例以及实施例中的具体参数仅是为了清楚表述发明的验证过程，并非用以限制本发明的专利保护范围，本发明的专利保护范围仍然以其权利要求书为准，凡是运用本发明的说明书及附图内容所作的等同变化，同理均应包含在本发明的保护范围内。当前第1页12当前第1页12
技术领域：
：，具体涉及一种基于数据清除消冗的电力场景图像数据筛选方法。
背景技术：
：：2.在电力场景下，由于电力大数据类型繁多，数据量大，由于数据冗余，造成筛选效率十分低下，因此如何消除数据之间的冗余是进行数据筛选的关键环节之一。3.随着多媒体的推广和应用，以及信息和网络技术的发展，产生了大量的各式各样的视觉内容，比如电力巡检的遥感影像等等。消除图像数据的冗余，需要在所有图像之间进行比较，直接比较图像无疑是不可能实现的，而基于图像视觉内容检索的比对方式正是解决此类问题的一个行之有效的方法。技术实现要素：4.本发明的目的在于：提供一种基于数据清除消冗的电力场景图像数据筛选方法，解决现有电力场景图像数据因数据冗余，造成图像数据筛选效率低的问题。5.本发明采用的技术方案如下：6.一种基于数据清除消冗的电力场景图像数据筛选方法，包括以下步骤：7.(1)基于哈希的图像检索方法，提取图像数据库中图像高维、细节不变性特征，构造特征空间向量，将特征进行哈希编码；8.(2)输入查询图像，基于哈希的图像检索方法，提取查询图像高维、细节不变性特征，构造特征空间向量，将特征进行哈希编码；9.(3)基于哈希编码间的汉明距离进行相似性排序并重排得到目标检索结果；完成图像数据筛选。10.进一步地，所述步骤(2)中，基于哈希的图像检索方法通过特征学习编码成二值哈希，并利用xor异或运算，在降低内存消耗的同时缩短计算响应时间；11.扩展到高维空间中，采用随机超平面将空间划分成多个子区域来构造哈希函数，结合特征数据在哈希编码的索引阶段进行桶排序存储，并通过映射比较得到最终的近邻，形成一个在构造哈希函数阶段没有利用到数据且构造阶段没有训练的放松约束的局部敏感哈希。12.进一步地，融合基于哈希的图检索方法以及局部敏感哈希的近似最近邻统计编码方法，结合可利用深度神经网络卷积层得到特定的局部图形特征来得到检索结果，具体步骤为：13.s1,选择预设的类簇数并通过聚类生成量化器，对图像原始特征进行量化，过滤特征本身的噪声，使得相似的特征能够被匹配到，建立索引；14.s2，根据建立索引得到的候选列表特征向量同查询图像的特征向量进行距离计算并对结果reranking，最终返回最近邻结果；15.利用汉明距离阈值，在将向量嵌入到二值哈希空间中，减少重排序候选的长度，平衡量化噪声和检索复杂度。16.进一步地，向量嵌入到二值哈希空间中的映射矩阵学习算法如下：17.输入：学习集合ln为学习集合包含的向量个数，18.设d为原始特征纬度，db为embed后的二进制特征维度；19.步骤a：随机产生一个高斯矩阵，进行qr正交分解，提取正交矩阵q的前db行向量构造维度为dbxd的正交投影矩阵p；20.步骤b：对学习集ω中每个向量xi使用矩阵p进行投影得到向量集合21.步骤c：通过步骤b得到的zih得到计算第l簇的中值投影向量tl，tlh＝median{zih},h∈[1,db]；[0022]步骤d：利用粗量化器q量化x，且使用p将x投影到z；[0023]步骤e：利用细量化器将x映射为二进制向量；[0024]输出：投影矩阵p，二进制向量。。[0025]综上所述，由于采用了上述技术方案，本发明的有益效果是：[0026]1、本发明中，针对不同业务场景下的数据特点，融合基于哈希的图检索方法以及局部敏感哈希的近似最近邻统计编码方法，结合可利用深度神经网络卷积层得到特定的局部图形特征来得到检索结果，从而实现对图像数据涉及的特征提取和近邻查找技术的优化，提取出能够高效表征图像的特征向量，进行快速视觉内容查找，达到图像数据的高效筛选。附图说明[0027]为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图，其中：[0028]图1为本发明基于哈希的图像检索方法的流程示意图；[0029]图2为本发明近似最近邻搜索的示意图。具体实施方式[0030]为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。[0031]因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。[0032]一种基于数据清除消冗的电力场景图像数据筛选方法，包括以下步骤：[0033](1)基于哈希的图像检索方法，提取图像数据库中图像高维、细节不变性特征，构造特征空间向量，将特征进行哈希编码；[0034](2)输入查询图像，基于哈希的图像检索方法，提取查询图像高维、细节不变性特征，构造特征空间向量，将特征进行哈希编码；[0035](3)基于哈希编码间的汉明距离进行相似性排序并重排得到目标检索结果；完成图像数据筛选。[0036]进一步地，所述步骤(2)中，基于哈希的图像检索方法通过特征学习编码成二值哈希，并利用xor异或运算，在降低内存消耗的同时缩短计算响应时间；[0037]扩展到高维空间中，采用随机超平面将空间划分成多个子区域来构造哈希函数，结合特征数据在哈希编码的索引阶段进行桶排序存储，并通过映射比较得到最终的近邻，形成一个在构造哈希函数阶段没有利用到数据且构造阶段没有训练的放松约束的局部敏感哈希。[0038]进一步地，融合基于哈希的图检索方法以及局部敏感哈希的近似最近邻统计编码方法，结合可利用深度神经网络卷积层得到特定的局部图形特征来得到检索结果，具体步骤为：[0039]s1,选择预设的类簇数并通过聚类生成量化器，对图像原始特征进行量化，过滤特征本身的噪声，使得相似的特征能够被匹配到，建立索引；[0040]s2，根据建立索引得到的候选列表特征向量同查询图像的特征向量进行距离计算并对结果reranking，最终返回最近邻结果；[0041]利用汉明距离阈值，在将向量嵌入到二值哈希空间中，减少重排序候选的长度，平衡量化噪声和检索复杂度。[0042]进一步地，向量嵌入到二值哈希空间中的映射矩阵学习算法如下：[0043]输入：学习集合ln为学习集合包含的向量个数，[0044]设d为原始特征纬度，db为embed后的二进制特征维度；[0045]步骤a：随机产生一个高斯矩阵，进行qr正交分解，提取正交矩阵q的前db行向量构造维度为dbxd的正交投影矩阵p；[0046]步骤b：对学习集ω中每个向量xi使用矩阵p进行投影得到向量集合[0047]步骤c：通过步骤b得到的zih得到计算第l簇的中值投影向量tl，tlh＝median{zih},h∈[1,db]；[0048]步骤d：利用粗量化器q量化x，且使用p将x投影到z；[0049]步骤e：利用细量化器将x映射为二进制向量；[0050]输出：投影矩阵p，二进制向量。[0051]本发明在实施过程中：提出一种通过数据视觉内容检索比对方法来消除数据冗余。为了从迭代学习的训练数据分布中获得的样本来检索得到新的训练样本，将合成数据视为内容数据信息变量的实例，从给定的训练集内容检索学习的分布中得出。对于图像检索方面，由于物体或目标受环境、设备等因素而影响检索的结果，拟搜索选取抗干扰性较好的不变性局部特征为基础通过不同的编码方式构造图像的全局表述，实现整体上较高的检索精度。[0052]1、基于哈希的图像检索方法：[0053]基于哈希的图像检索方法，实现提取图像高维、细节不变性特征构造特征空间向量，从而进行哈希函数的学习及将特征进行哈希编码，并结合编码间的汉明距离进行相似性排序并重排得到目标检索结果，如图1所示。[0054]2、近似最近邻搜索[0055]基于哈希的图像检索方法通过特征学习编码成二值哈希，并利用计算机机载内部的xor异或运算，在降低内存消耗的同时缩短计算响应时间。扩展到高维空间中，如图2中，(a)所示，采用随机超平面将空间划分成多个子区域来构造哈希函数，结合特征数据在哈希编码的索引阶段进行桶排序存储，并通过映射比较得到最终的近邻，来形成一个在构造哈希函数阶段没有利用到数据且构造阶段没有训练的放松约束的局部敏感哈希，如图2中，(b)所示。[0056]3、基于spoc特征的深度神经网络检索算法[0057]融合基于哈希的图检索方法以及局部敏感哈希的近似最近邻统计编码方法，并结合可利用深度神经网络卷积层得到特定的局部图形特征来得到检索结果。采用通过累加求和生成的聚合特征spoc来得到图像的聚合特征，针对不同业务场景下的数据特点，对网络通过不断的参数调整及学习训练数据点，对涉及的特征提取和近邻查找技术技术优化来得到高效表征图像的特定特征向量，进行快速地视觉内容查找。[0058]大规模高维向量的检索性能通常分为查找优化和向量优化，考虑对数据进行查找优化，即通过优化检索结构进行性能优化，不改变向量本身，利用近似最近邻ann算法找到近似最近距离的匹配目标，减少搜索空间，可提高查找效率。局部敏感哈希算法，将原始数据空间中的两个相邻数据点通过相同的映射或投影变换后则仍存在较大概率的相邻，则可将原始数据集合中的所有数据都进行hash映射，并实现数据点经过hashfunction映射变换，规整分散到hashtable的桶内，将原始数据集分成多个桶内数据相邻且个数较少的子集合，达到将问题转化成在一个很小空间域内查找相邻元素的问题，降低计算量。此外，hashfunction需满足以下两个条件：[0059]1)如果d(x,y)《＝d1，则h(x)＝h(y)的概率至少为p1；[0060]2)如果d(x,y)》＝d2，则h(x)＝h(y)的概率至多为p2；[0061]其中，d(x,y)表示x和y之间的距离，d1《d2，h(x)和h(y)分别表示对x和y进行hash变换。[0062]考虑到电力场景下的视觉内容信息明确，采用典型的倒排文件索引的近似最近邻算法，将整个优化检索结构过程分为两步：[0063]s1,选择合适的类簇数并通过聚类生成量化器，对图像原始特征进行量化，量化操作可以过滤特征本身的噪声，使得相似的特征能够被匹配到，进而建立索引。但随之也会引入噪声，簇数k较少复杂度低，倒排候选元素多，重排复杂度高，噪声也高。[0064]s2,根据建立索引得到的候选列表特征向量同查询图像的特征向量进行距离计算并对结果reranking，最终返回最近邻结果。利用汉明距离阈值，在将向量嵌入到二值哈希空间中，减少重排序候选的长度，平衡量化噪声和检索复杂度。向量嵌入过程的映射矩阵学习算法如下：[0065]输入：学习集合ln为学习集合包含的向量个数，[0066]设d为原始特征纬度，db为embed后的二进制特征维度；[0067]步骤a：随机产生一个高斯矩阵，进行qr正交分解，提取正交矩阵q的前db行向量构造维度为dbxd的正交投影矩阵p；[0068]步骤b：对学习集ω中每个向量xi使用矩阵p进行投影得到向量集合[0069]步骤c：通过步骤b得到的zih得到计算第l簇的中值投影向量tl，tlh＝median{zih},h∈[1,db]；[0070]步骤d：利用粗量化器q量化x，且使用p将x投影到z；[0071]步骤e：利用细量化器将x映射为二进制向量；[0072]输出：投影矩阵p，二进制向量。[0073]实施例1[0074]一种基于数据清除消冗的电力场景图像数据筛选方法，包括以下步骤：[0075](1)基于哈希的图像检索方法，提取图像数据库中图像高维、细节不变性特征，构造特征空间向量，将特征进行哈希编码；[0076](2)输入查询图像，基于哈希的图像检索方法，提取查询图像高维、细节不变性特征，构造特征空间向量，将特征进行哈希编码；[0077](3)基于哈希编码间的汉明距离进行相似性排序并重排得到目标检索结果；完成图像数据筛选。[0078]实施例2[0079]在实施例1的基础上，所述步骤(2)中，基于哈希的图像检索方法通过特征学习编码成二值哈希，并利用xor异或运算，在降低内存消耗的同时缩短计算响应时间；[0080]扩展到高维空间中，采用随机超平面将空间划分成多个子区域来构造哈希函数，结合特征数据在哈希编码的索引阶段进行桶排序存储，并通过映射比较得到最终的近邻，形成一个在构造哈希函数阶段没有利用到数据且构造阶段没有训练的放松约束的局部敏感哈希。[0081]实施例3[0082]在上述实施例的基础上，融合基于哈希的图检索方法以及局部敏感哈希的近似最近邻统计编码方法，结合可利用深度神经网络卷积层得到特定的局部图形特征来得到检索结果，具体步骤为：[0083]s1,选择预设的类簇数并通过聚类生成量化器，对图像原始特征进行量化，过滤特征本身的噪声，使得相似的特征能够被匹配到，建立索引；[0084]s2，根据建立索引得到的候选列表特征向量同查询图像的特征向量进行距离计算并对结果reranking，最终返回最近邻结果；[0085]利用汉明距离阈值，在将向量嵌入到二值哈希空间中，减少重排序候选的长度，平衡量化噪声和检索复杂度。[0086]实施例4[0087]在上述实施例的基础上，向量嵌入到二值哈希空间中的映射矩阵学习算法如下：[0088]输入：学习集合ln为学习集合包含的向量个数，[0089]设d为原始特征纬度，db为embed后的二进制特征维度；[0090]步骤a：随机产生一个高斯矩阵，进行qr正交分解，提取正交矩阵q的前db行向量构造维度为dbxd的正交投影矩阵p；[0091]步骤b：对学习集ω中每个向量xi使用矩阵p进行投影得到向量集合[0092]步骤c：通过步骤b得到的zih得到计算第l簇的中值投影向量tl，tlh＝median{zih},h∈[1,db]；[0093]步骤d：利用粗量化器q量化x，且使用p将x投影到z；[0094]步骤e：利用细量化器将x映射为二进制向量；[0095]输出：投影矩阵p，二进制向量。[0096]如上所述即为本发明的实施例。前文所述为本发明的各个优选实施例，各个优选实施例中的优选实施方式如果不是明显自相矛盾或以某一优选实施方式为前提，各个优选实施方式都可以任意叠加组合使用，所述实施例以及实施例中的具体参数仅是为了清楚表述发明的验证过程，并非用以限制本发明的专利保护范围，本发明的专利保护范围仍然以其权利要求书为准，凡是运用本发明的说明书及附图内容所作的等同变化，同理均应包含在本发明的保护范围内。当前第1页12当前第1页12
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
