一种基于图片检索的档案数据查询方法与流程

：
1.本发明属于数据查询领域，尤其涉及一种基于图片检索的档案数据查询方法。


背景技术：

2.目前己有的图像检索技术主要包括以下三种方法，分别为基于关键字的图像检索、基于内容的图像检索以及基于草图的图像检索。
3.在使用基于关键字的图像检索时，用户只需输入关键字就可以搜到满足条件的图像。这种方法是在理解图像的基础上，对图像库中所有图像添加人工标注的关键字，然后存储在传统数据库中并建立相应的索引来进行检索。这种方法具有简单、检索速度快的优势，但其劣势也是显而易见的。单纯的基于关键字的图像搜索，需要消耗大量的人力进行人工标注，而且在一些场景下会存在用户难以用语言对图片进行描述的情况。针对这些情况，基于内容的图像检索技术有了明显的改善。其基本原理是通过提取图像特征，包含颜色、纹理等底层视觉信息以及一些更高层次的语义信息，然后用一组向量来对图片进行表示。这些向量通常被存储在数据库中，然后建立相应的索引结构来进行检索。基于内容的图像检索相对于基于关键字的图像检索更符合用户的视觉认知。在某些场景下难以准确用文本描述标目物体的特征。草图检索应运而生；随着来手机、平板、笔记本等有触屏功能的设备日渐普及，输入手绘信息在指尖即可完成，使得草图信息的采集变得快捷，为草图检索带来广阔的发展前景。
4.然而草图检索中处理草图相比于自然图片的内在歧义性。造成歧义性的原因主要有以下三点：草图往往是原始物体的抽象描述，从统计意义上来讲不同于原始图像；人们绘制草图时，往往无法参照真实的图像和物体，因此带来了结构以及外表上的很大差异；由于绘画水平以及个人影响，草图往往存在很大的类内差异，绘制的效果往往因人而异。正是由于这些原因，相比于基于内容的图像检索，草图检索难度更大。档案数据通常采用树形结构存放，如何实现基于手绘图案在档案数据中应用，提升数据检索的效率成为了本领域当前需要解决的技术问题之一。


技术实现要素：

5.针对目前现有的基于手绘图案中数据抽取效率慢，鲁棒性差的缺陷，本发明提供基于图片检索的档案数据查询方法，通过草图特征以及其他描述特征，将所述草图特征与所述档案图像特征数据库中的数据进行相似度量计算，使得草图检索能够在档案数据中应用开来，使用户能够通过便捷的方式检索信息，使得信息检索方式多样化，同时提升草图检索的准确性和速度。
6.本发明为解决以上技术问题所采取的技术方案是：基于图片检索的档案数据查询方法，包括如下步骤：
7.s1、根据用户的第一操作获取草图，
8.s2、对草图进行第一预处理后进第一特征提取得到草图特征，
9.s3、将原始档案数据库中图像进行第二预处理后进行第二特征提取得到档案图像特征集合，根据所述档案图像特征集合构建档案图像特征数据库；
10.s4、将所述草图特征与所述档案图像特征数据库中的数据进行相似度量计算；
11.s5、将相似度高于第一阈值的所述档案图像按照排序在界面中显示；
12.s6、基于用户的第二操作得到所述档案图像的关联信息。
13.进一步地，所述第一操作包括：用户根据手写板绘制或者用户从设备中选择。
14.进一步地，所述对草图进行第一预处理后进第一特征提取得到草图特征中，所述预处理包括消除冗余笔画，聚点以及闭合填充以降低草图噪声；所述第一特征提取包括边缘直方图和形状跟踪。
15.进一步地，所述形状跟踪包括：边缘检测和轮廓跟踪；边缘检测采用canny算子，轮廓跟踪采用4连通跟踪。
16.进一步地，所述将原始档案数据库中图像进行第二预处理后进行第二特征提取得到档案图像特征集合中，所述第二预处理包括高斯滤波；第二特征提包括文本特征和视觉特征，所述视觉特征包括色彩特征，纹理特征和形状特征以及轮廓特征。
17.进一步地，所述将所述草图特征与所述档案图像特征数据库中的数据进行相似度量计算中，具体为首先将所述草图特征与所述档案图像特征的轮廓特征进行相似度量计算得到第一相似度。
18.进一步地，在所述s4和s5之间，用户还可以输入描述信息，将所述描述信息与所述档案图像特征的文本特征，色彩特征，纹理特征，轮廓特征中的一种或多种进行相似度量计算得到第二相似度。
19.进一步地，根据所述第一相似度和所述第二相似度获得目标图像。
20.进一步地，所述基于用户的第二操作得到所述档案图像的关联信息中，第二操作为点击触摸或者手势输入或者语音输入。
21.进一步地，所述相似度量计算包括计算欧氏距离，余弦距离。
22.本发明的有益效果如下：
23.通过边缘检测和轮廓跟踪可以快速获得图像的形状特征，将所述草图特征与所述档案图像特征数据库中的数据进行相似度量计算，使得草图检索能够在档案数据中应用开来，同时通过草图特征以及其他描述特征的联合使用户能够通过便捷的方式检索信息，使得信息检索方式多样化，同时提升草图检索的准确性和速度。
24.上述说明，仅是本发明技术方案的概述，为了能够更清楚了解本发明技术手段，可依照说明书的内容予以实施，并且为了让本发明的上述说明和其它目的、特征及优点能够更明显易懂，特举较佳实施例，详细说明如下。
附图说明
25.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
26.图1为基于图片检索的档案数据查询方法的流程图
具体实施方式
27.下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
28.在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
29.实施例1
30.基于图片检索的档案数据查询方法，包括如下步骤：
31.s1、根据用户的第一操作获取草图，
32.s2、对草图进行第一预处理后进第一特征提取得到草图特征，
33.s3、将原始档案数据库中图像进行第二预处理后进行第二特征提取得到档案图像特征集合，根据所述档案图像特征集合构建档案图像特征数据库；
34.s4、将所述草图特征与所述档案图像特征数据库中的数据进行相似度量计算；
35.s5、将相似度高于第一阈值的所述档案图像按照排序在界面中显示；
36.s6、基于用户的第二操作得到所述档案图像的关联信息。
37.进一步地，所述第一操作包括：用户根据手写板绘制或者用户从设备中选择。
38.进一步地，所述对草图进行第一预处理后进第一特征提取得到草图特征中，所述预处理包括灰度化，二值化，消除冗余笔画，聚点以及闭合填充以降低草图噪声；所述第一特征提取包括边缘直方图。
39.进一步地，所述形状跟踪包括：边缘检测和轮廓跟踪；边缘检测采用canny算子，轮廓跟踪采用4连通跟踪或8连通跟踪。
40.进一步地，所述将原始档案数据库中图像进行第二预处理后进行第二特征提取得到档案图像特征集合中，所述第二预处理包括高斯滤波；第二特征提包括文本特征和视觉特征，所述视觉特征包括色彩特征，纹理特征和形状特征以及轮廓特征。
41.进一步地，所述将所述草图特征与所述档案图像特征数据库中的数据进行相似度量计算中，具体为首先将所述草图特征与所述档案图像特征的轮廓特征进行相似度量计算得到第一相似度。
42.进一步地，在所述s4和s5之间，用户还可以输入描述信息，将所述描述信息与所述档案图像特征的文本特征，色彩特征，纹理特征，轮廓特征中的一种或多种进行相似度量计算得到第二相似度。
43.进一步地，根据所述第一相似度和所述第二相似度获得目标图像。
44.进一步地，所述基于用户的第二操作得到所述档案图像的关联信息中，第二操作为点击触摸或者手势输入或者语音输入。
45.进一步地，所述相似度量计算包括计算欧氏距离，余弦距离。
46.进一步地，利用canny算子提取形状特征的步骤为：使用高斯滤波器对形状进行平
滑和滤波，消除噪声；针对每一个像素，用横向和纵向两个方向的一阶偏导有限差分计算梯度幅值和方向；对梯度幅值进行非极大值抑制；用双阂值算法检测和连接边缘。
47.进一步的，形状跟踪算法的步骤为：s101、按从上到下，从左到右的顺序在图像中搜索，找到的第一个像素值为1的点作为起始点，记为a；s102、按8一邻域方向逆时针顺序找相邻点中的边界点，如果存在1像素值，且该点的4一邻域方向存在0像素点，那么该点标记为界点b；s103、如果b就是a点，则表明已经搜索一周，程序结束；s104、否则从b点继续找，直到找到a为止。
48.进一步的，边缘直方图包括均值：
[0049][0050]
其中，l为图像的灰度级数，n(zi)代表灰度值zi的像素个数，m为图像的像素总数。
[0051]
进一步的，边缘均值直方图可以和金字塔梯度方向直方图联合得到特征向量k；所述金字塔梯度方向直方图获取方法为：(1)金子塔分割草图图像，层级为2层或3层；(2)提取分割后图像的边缘特征；(3)计算各级金字塔子草图图像的hog特征；(4)串接图像金字塔每个层级的梯度方向直方图组成phog特征向量；特征向量的总长度可表示为：其中l为层级，k为hog向量长度；联合特征向量表达式为(m,c)。
[0052]
用同样的方式构建档案数据库中档案图像的联合向量(m’,c’)。计算二者的相似度sim1。
[0053]
实施例2
[0054]
在实施例1的s1-s4的基础上，获得草图的检索结果后，为了进一步提高检索精确性，用户还可以输入描述信息，将所述描述信息与所述档案图像特征的文本特征，色彩特征，纹理特征，轮廓特征中的一种或多种进行相似度量计算得到第二相似度sim2；根据第一相似度sim1和第二相似度sim2获得综合相似度simk：simk＝w1sim1 w2sim2，其中w1 w2＝1，w1,w2表示权重，可以根据实际需要进行设置。
[0055]
进一步的，相似度计算可采用欧式距离：x＝(m,c),y＝(m',c')。
[0056]
本发明的优点在于：
[0057]
通过边缘检测和轮廓跟踪可以快速获得图像的形状特征，将所述草图特征与所述档案图像特征数据库中的数据进行相似度量计算，使得草图检索能够在档案数据中应用开来，同时通过草图特征以及其他描述特征的联合使用户能够通过便捷的方式检索信息，使得信息检索方式多样化，同时提升草图检索的准确性和速度。
[0058]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范
围为准。