一种提升图片检索召回率的方法和系统与流程

1.本发明涉及人工智能以及图像识别和处理领域，更具体地，涉及一种使用哈希算法进行主方向定位来提升图片检索召回率的方法和系统。


背景技术：

2.随着科学技术的发展，人工智能的使用越来越广泛，诸如车牌识别，人脸识别等，绝大多数信息都是通过图像进行获取的，尤其是现如今较为火热的人工智能领域，需要大量的图片进行训练和学习，其中绕不开的就是图片的识别。
3.图1是现有技术的用于识别相似图片的模型的示例架构图。如图1中所示，现有技术中已存在多种经训练的用于识别相似图片的模型，例如图1中的图片识别模型102。这类模型可提供对于两个图片是否相似的识别结果。例如，在图1中，将图片a和图片b作为输入提供给相似图片识别模型102，其中图片a通常是参照图片，图片识别模型102会输出识别结果，即图片b与作为参照图片的图片a相似或不相似。
4.目前图像相似度识别方法主要有基于全局特征和局部特征的相似图片检索方案，比如sift、surf，逐渐被深度学习的特征提取方法所取代，深度学习的特征提取一般使用经典的cnn网络，比如vgg、res、xception等网络模型，使用大型的图片分类数据集imagenet进行预训练，提取卷积层或者全连接层的某一层输出结果作为图片的特征表示，然后进行欧式距离或者余弦相似性对比。这种方法语义性更强，查准率也比较高。但有以下问题：查全率效果不够好。主要是因为预训练模型是基于分类的，不明显的特征会被丢弃，会造成在旋转、镜像、镜头焦距等不同情况下，提取的特征差别较大。用在图片相似识别上的最直观的表现就是，当输入为旋转图片，哪怕旋转角度比较小(约30度)的情况下，都是不能够进行有效识别的，以致于相似图片的查全率极低。而这些方法通常的优化方法为改进网络，这又可能会带来算法复杂度提高、开发时间过长等一系列问题。
5.题为“一种相似图片检测方法及装置”的中国专利申请(201410848431.3)提出了一种基于hash的图片相似度检测方法，对图片进行灰化，然后将图片进行8*8划分，进而得到每一块区域的均值，然后进行量化标记，形成hash串。但是该种方法没有考虑在通过获取特征值进行相似图片识别时，图片旋转极易造成相似识别的查全率低下，查准率不高的情况，所以该专利不能完全解决相似图片识别的问题。
6.题为“一种基于预筛选法和phash的图像相似判定方法”的中国专利申请(201811449694.1)提出了一种通过颜色方差算法对图像进行方差计算，计算两张图像之间基于颜色方差的方差差值，完成预筛选过程。若基于颜色方差的方差差值大于方差阈值，则判定为图像不相似，结束之后步骤；若基于颜色方差的方差差值小于等于方差阈值，继续通过phash算法对图像进行hash化，计算两张图像之间基于phash的汉明距离；若基于phash的汉明距离小于汉明距离阈值，则判定图像相似；否则判定为图像不相似。该种方法可以提高图片相似检索效率，但是因为其经过一系列复杂算法和计算，效率提高有限且对于旋转图片的相似度识别同样不具有抗旋转的能力，对于图片的查全率提高没有突出贡献。
7.题为“一种基于深度学习与局部特征融合的哈希图像检索方法”的中国专利申请(201710029935.6)运用深度学习网络和hash图片检索结合的方法，提取两种特征后用近似最近邻搜索策略来进行图像检索，而且对于镜像图片也进行了检索计算。但是，该种方法仍然对所有的图片进行不同策略处理，一定程度上提高了运算速度和查准率，但是旋转图片的查全率仍然得不到保证。


技术实现要素：

8.提供本发明内容以便以简化形式介绍将在以下具体实施方式中进一步的描述一些概念。本发明内容并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
9.为了解决以上的问题，本发明引入了采用基于哈希值的图片主方向识别方法。更具体地，该方法可包括将图片进行灰化，进而形成像素点，然后按照一定的规则比较两相邻像素值并生成hash，同时，以相同的方式得到将要做比较的图片hash，通过旋转计算得到其不同角度的hash。采用hash对比进行图片相似查找的好处主要有速度快，准确率高、查全率高等优点。通过图片像素求hash只需要进行一次计算，其余的旋转可以通过已得到的hash进行旋转计算直接得出，而且，当比较结果相似度极高且宽高比相同的情况下，可直接判定图片相似，进一步加快处理速度。尤其对于旋转、镜像图片的相似识别时，具有较高的准确率，使得相似图片的查全率得以提升。
10.根据本发明的一个方面，提供了一种用于提升图片检索召回率的方法，其中所述方法包括：
11.将第一图片和第二图片分别转换为像素值，其中所述第一图片被作为参照图片；
12.基于相邻像素的像素值的差异计算所述第一图片的哈希值串；
13.基于相邻像素的像素值的差异分别计算所述第二图片以及所述第二图片的多个经旋转和镜像后的图片的哈希值串；
14.基于所述哈希值串分别确定所述第二图片及所述多个经旋转和镜像后的图片与所述第一图片之间的相似度；以及
15.取所述第二图片及所述多个经旋转和镜像后的图片中与所述第一图片相似度最高的那一个作为第二图片的主方向，并将该图片与所述第一图片一起代入图片识别模型。
16.根据本发明的进一步实施例，所述方法还包括：如果所述第二图片及所述多个经旋转和镜像后的图片中与所述第一图片相似度没有一个高于预定阈值，则跳过取主方向及代入图片识别模型的步骤，直接判定所述第二图片与所述第一图片不相似。
17.根据本发明的进一步实施例，所述将第一图片和第二图片分别转换为像素值进一步包括：对所述第一图片和所述第二图片进行灰化处理以得到像素值。
18.根据本发明的进一步实施例，基于相邻像素的像素值的差异计算哈希值串进一步包括：逐像素地将图片的每一个像素值和相邻的像素值比较，并基于像素值差异程度得到多个哈希值；以及将所述多个哈希值串接成哈希值串。
19.根据本发明的进一步实施例，基于所述哈希值串分别确定所述第二图片及所述多个经旋转和镜像后的图片与所述第一图片之间的相似度进一步包括：
20.计算每一个图片的误差和，其中所述误差和是哈希值串中相邻哈希值的绝对差值
的总和；以及
21.计算所述第二图片及所述多个经旋转和镜像后的图片中的每一个的误差和与所述第一图片的误差和的差，其中所述差越小指示该图片与所述第一图片的相似度越高。
22.根据本发明的进一步实施例，基于所述哈希值串分别确定所述第二图片及所述多个经旋转和镜像后的图片与所述第一图片之间的相似度进一步包括：
23.计算所述第二图片及所述多个经旋转和镜像后的图片中的每一个图片的哈希值串与所述第一图片的哈希值串中的对应位相等的位的数量与哈希值串的总长度的比，其中所述比越大指示该图片与所述第一图片的相似度越高。
24.根据本发明的进一步实施例，所述第二图片的多个经旋转和镜像后的图片的哈希值串中的至少一个是通过对所述第二图片的哈希值串进行相应的旋转和/或镜像后得到的。
25.根据本发明的另一方面，提供了一种用于识别相似图片的系统，其中所述系统包括：
26.图片主方向判定模块，所述图片主方向判定模块被配置成：
27.将第一图片和第二图片分别转换为像素值，其中所述第一图片被作为
28.参照图片；
29.基于相邻像素的像素值的差异计算所述第一图片的哈希值串；
30.基于相邻像素的像素值的差异分别计算所述第二图片以及所述第二
31.图片的多个经旋转和镜像后的图片的哈希值串；
32.基于所述哈希值串分别确定所述第二图片及所述多个经旋转和镜像
33.后的图片与所述第一图片之间的相似度；以及
34.取所述第二图片及所述多个经旋转和镜像后的图片中与所述第一图片相似度最高的那一个作为第二图片的主方向，并将该图片与所述第一图
35.片一起提供给图片识别模型；以及
36.图片识别模型，所述图片识别模型被配置成提取所述图片主方向判定模块所提供的一组图片的特征值，并识别该组图片是否相似。
37.根据本发明的进一步实施例，所述图片主方向判定模块被进一步配置成：如果所述第二图片及所述多个经旋转和镜像后的图片中与所述第一图片相似度没有一个高于预定阈值，则跳过取主方向及代入图片识别模型的步骤，直接判定所述第二图片与所述第一图片不相似。
38.根据本发明的进一步实施例，所述将第一图片和第二图片分别转换为像素值进一步包括：对所述第一图片和所述第二图片进行灰化处理以得到像素值，并且
39.基于相邻像素的像素值的差异计算哈希值串进一步包括：逐像素地将图片的每一个像素值和相邻的像素值比较，并基于像素值差异程度得到多个哈希值；以及将所述多个哈希值串接成哈希值串。
40.与现有技术中的方案相比，本发明所提供的图片检索方法至少具有以下优点：
41.(1)具备高准确性。可以克服神经网络在进行相似图片识别时，对于旋转、镜像图片的识别率和查全率较差的问题。
42.(2)具备高效性，对于以神经网络为主的相似图片识别算法，本发明对相似图片的
处理速度提升90％以上。
43.(3)具备稳定性，本发明基于hash求像素差别，形成hash串，该技术比较成熟，可保证相似识别功能的稳定。
44.(4)具有灵活适配性，发明基于hash的主方向定位算法可以适配在任何cnn模型的卷积层前面。
45.(5)具备经济性，本发明提供了神经网络对旋转和镜像图片相似识别准确率、效率和查全率都能够提高的方法，节省了资源成本、时间成本，得到了更快的处理速度和更高的查全率。
46.通过阅读下面的详细描述并参考相关联的附图，这些及其他特点和优点将变得显而易见。应该理解，前面的概括说明和下面的详细描述只是说明性的，不会对所要求保护的各方面形成限制。
附图说明
47.为了能详细地理解本发明的上述特征所用的方式，可以参照各实施例来对以上简要概述的内容进行更具体的描述，其中一些方面在附图中示出。然而应该注意，附图仅示出了本发明的某些典型方面，故不应被认为限定其范围，因为该描述可以允许有其它等同有效的方面。
48.图1是现有技术的用于识别相似图片的模型的示例架构图。
49.图2是根据本发明的一个实施例的用于提升图片检索召回率的方法的示例流程图。
50.图3示出了一个示例hash函数的示意图。
51.图4是hash串上下镜像的示意图。
52.图5是根据本发明的一个实施例的用于识别相似图片的系统的示例架构图。
具体实施方式
53.下面结合附图详细描述本发明，本发明的特点将在以下的具体描述中得到进一步的显现。
54.为了解决现有技术中对于旋转和镜像图片无法有效识别的问题，本发明提供了一种能够提高相似图片识别准确率、识别效率，进而提升图片检索召回率的方法。图2是根据本发明的一个实施例的用于提升图片检索召回率的方法的示例流程图。
55.方法开始于步骤202，将第一图片和第二图片分别转换为像素值，其中第一图片作为参照图片，第二图片为待识别图片，即待识别与参照图片的相似度的图片。为便于描述，此后将第一图片称为图片a，将待识别图片称为图片b。
56.众所周知地，图片通常用其包含的每一个像素的色彩值来表示，其中色彩值可具有不同的色彩格式，例如rgb、cmyk等。通过实验，发明人发现使用诸如rgb之类的颜色值对于本发明的方法的计算结果并没有显著提升，但复杂度却提升较多。因此，优选地，将图片转换为像素值可包括对图片进行去色即灰化，随后再获取其像素值。经灰化后的像素值的范围取决于设定的灰度等级，例如可将灰度等级设定为8级、16级、32级、64级、128级、256级等等。随后，方法前进至步骤204。
57.在步骤204，基于相邻像素的像素值的差异计算第一图片的哈希值串。作为一个示例，可对图片a的像素值进行处理，对每一行的两个相邻像素进行对比，根据两者的像素值的差得到不同的哈希(hash)值，最终得到hash串。图3示出了一个示例hash函数的示意图。图3中右上角示出了一个图片的经灰化后的像素的局部放大图。随后，从第一行的最左边的第一个像素开始，逐个和其右边相邻像素进行像素值比较。作为示例，假设采用的hash函数规则是当左边像素值大于等于右边像素加一阈值(例如4)的时候，hash写入“2”，当左边像素值大于等于右边像素减一阈值(例如4)的时候，hash写入“1”，其他情况写入“0”。在这一示例中，第一行第一个像素与其相邻的像素的像素值比较结果符合：左边>＝右边－4，且未满足＝右边 4，则此时hash值为1。依次类推，随后第二个像素和其右边相邻的第三个像素进行比较，最后可得到一串由“0”、“1”、“2”组成的hash值串，记为ahash。本领域技术人员可以理解，可以根据需求设定不同的区间，例如可不止0、1、2三个区间，此外每一个区间的具体差异阈值也可根据需要以及像素值的取值范围来设定。随后，方法前进至步骤206。
58.在步骤206，基于相邻像素的像素值的差异计算第二图片的哈希值串，以及第二图片的多个经旋转和镜像后的图片的哈希值串。首先，以与第一图片相同的处理方式，可计算得到第二图片的hash值串，记为bhash。随后，可分别计算第二图片经过旋转90度、180度、270度，以及水平镜像和上下镜像后的图片的哈希值，分别记为bhash_90、bhash_180、bhash_270、bhash_ima_0、bhash_ima_180。
59.此外，由于bhash是像素值对比结果集合，而且是按照一定顺序进行的存储，因此，取决于设定的哈希函数，一部分旋转或镜像后的图片的hash结果可以通过对原图片的hash结果进行旋转来直接得到。图4是hash串上下镜像的示意图。如图4中所示，假设原图片得到的hash串按像素的行数和列数摆放是如图4中的(a)所示，则容易理解，如果采用的是左边与右边相邻像素值比较得到hash值的hash函数，则上下镜像后的图片的hash结果为图4中(b)所示，因此可以通过直接对hash值进行镜像来得到。随后，方法前进至步骤208。
60.在步骤208，基于哈希值串分别确定第二图片及其旋转和镜像图片与第一图片之间的相似度。根据本发明的一个实施例，两个图片之间的相似度可基于哈希值串的误差和来确定。一个hash值串的误差和的计算方法为从第一个字符开始，取其与其之后的一个字符求其绝对差值，直到最后，并将每个差值相加得到总差值。例如，假设ahash为012012012，则ahash的误差和为se_ahash＝|0-1| |1-2| |2-0| |0-1| |1-2| |2-0| |0-1| |1-2|＝12。类似地，可计算bhash的误差和为se_bhash，以及旋转和镜像图片的hash值串的误差和se_bhash_90、se_bhash_180、se_bhash_270、se_bhash_ima_0、以及se_bhash_ima_180。随后，将se_bhash、se_bhash_90、se_bhash_180、se_bhash_270、se_bhash_ima_0、以及se_bhash_ima_180分别与se_ahash作比较，两者越接近，则说明两个图片越相似。
61.根据本发明的另一实施例，两个图片之间的相似度可基于哈希值串的对应位相等的数量占总长度的比来确定。例如，假设ahash和bhash都具有64位的长度，若对应位相同的位的数量有48位，则可以求得相同位占比为48/64＝75％。比值越高，则说明两个图片越相似。
62.在步骤210，取第二图片及其旋转和镜像图片中与第一图片相似度最高的那一个作为第二图片的主方向，并将该图片与第一图片一起代入图片识别模型。如步骤208中所描述的，分别基于哈希值串量化了第二图片及其旋转和镜像图片的相似度，取其中最为相似
的那一个作为第二图片的主方向，即该方向被认为与第一图片的主方向相同。例如，第二图片的水平镜像被认为与第一图片最相似，则该水平镜像图片将取代第二图片，与第一图片一起代入到神经网络，例如图1中的图片识别模型102中，进行进一步的特征值计算等后续操作。通过在代入图片识别模型前的主方向确定，有效弥补了神经网络对旋转和镜像图片不能有效识别的缺陷。随着对于旋转、镜像图片的有效识别，图片的查准率、查全率以及图片检索的召回率都将随之提高。
63.可选地，方法还可包括一不相似判定步骤212。更具体地，若发现第二图片及其各旋转和镜像图片中的每一个与第一图片的相似度都很低，则可以直接判定第二图片和第一图片不相似，并跳过主方向确定以及代入图片识别模型的过程，及进入步骤210。例如，在计算误差和的示例中，可对第二图片和第一图片的误差和的差设置一个阈值，只有当第二图片及其各旋转和镜像图片中至少存在一个的误差和与第一图片的误差和的差大于该阈值时，才进入步骤210。在比较对应位相同的位的数量占比时，也可以设置只有在至少一个比较结果在75％以上时才进入步骤210。反之，可直接判定第二图片和第一图片不相似，这节省了大量的运算过程，可将明显不相似的图片在进入识别模型前予以筛除，这使得图片识别的整体运算效率可大幅提升，例如提升90％以上。
64.需要注意的是，步骤208处的确定的相似度并不能完全代表两个图片实际的相似程度，而只是对两个图片的相似程度的一种简单判断，但通过步骤208，至少能够确定出图片的哪一个角度最有可能是与参照图片相似的图片(即确定图片的主方向)，并且还解决了小角度旋转的识别问题，因为虽然存在小角度旋转，但仍然能表现出某一个角度的哈希值串更接近于参照图片的哈希值串。此外，通过哈希值串的比较还能够快速、容易地排除明显不相似的图片。
65.图5是根据本发明的一个实施例的用于识别相似图片的系统的示例架构图。如图5中所示，系统500包括图片主方向判定模块502和图片识别模型504。作为参照图片的图片a和待识别图片b作为输入，首先提供给图片主方向判定模块502。图片主方向判定模块502可采用例如前文中结合图2描述的方法来判定图片b的主方向，并且当没有一个方向与图片a相似程度达到阈值时，直接判定图片b与图片a不相似。随后，图片主方向判定模块502将图片b的主方向的图片与图片a一起提供给图片识别模型502，由其进一步判定两者是否相似，并相应地输出识别结果。
66.以上描述了本发明的提升cnn网络图片检索召回率的方法。本发明的方法解决了神经网络进行图片相似识别时产生的查全率较低的问题，尤其是解决了神经网络对于旋转、镜像图片的查全率非常低的问题。本发明根据图片旋转的原理和特点，采取了求图片不同角度hash值并分别比较的方式，获取主方向确定的图片hash值，通过对hash值进行对比，当该图片经过旋转之后，计算出图片多个方向的hash，经过对比hash值确定图片主方向，然后图片经过相应旋转并输入到神经网络中，得到相似图片相似结果，由此解决了神经网络在相似图片查找时遇到的识别率低、识准率低、查全率低的问题，完善了相似图片识别系统的功能，保证了相似图片识别的效果。利用本发明方法，对基于神经网络的图片相似识别算法的运行效率可提高90％以上，图片查全率可提高20％以上。
67.以上所已经描述的内容包括所要求保护主题的各方面的示例。当然，出于描绘所要求保护主题的目的而描述每一个可以想到的组件或方法的组合是不可能的，但本领域内
的普通技术人员应该认识到，所要求保护主题的许多进一步的组合和排列都是可能的。从而，所公开的主题旨在涵盖落入所附权利要求书的精神和范围内的所有这样的变更、修改和变化。