一种商标图像检索方法及系统与流程

1.本发明涉及数据检索技术领域，具体是一种商标图像检索方法及系统。


背景技术：

2.商标是用以识别和区分商品或者服务来源的标志。任何能够将自然人、法人或者其他组织的商品与他人的商品区别开的标志，包括文字、图形、字母、数字、三维标志、颜色组合和声音等，以及上述要素的组合，均可以作为商标申请注册。
3.申请人在商标申请之前，都会进行一些简单的检索，由于商标的种类多种多样，现有的检索技术大都是基于数据库的遍历检索过程；随着数据库规模的扩大，基于数据库的遍历检索过程的效率也会随之降低，如何提高商标检索的效率是本发明技术方案想要解决的技术问题。


技术实现要素：

4.本发明的目的在于提供一种商标图像检索方法及系统，以解决上述背景技术中提出的问题。
5.为实现上述目的，本发明提供如下技术方案：一种商标图像检索方法，所述方法包括：接收用户输入的含有商标分类信息的商标图像，基于所述商标分类信息确定检索库；所述检索库包括文字项和图像特征项；提取所述商标图像中的文本信息，将提取到的文本信息与所述检索库中的文字项进行比对，根据比对结果更新所述检索库；对所述商标图像进行内容识别，确定所述商标图像的特征向量；基于所述特征向量在更新后的检索库中查询并显示目标商标。
6.作为本发明进一步的方案：所述提取所述商标图像中的文本信息的步骤包括：对所述商标图像进行文本检测，根据文本检测结果在所述商标图像上标记候选框及各候选框对应的原始置信度；其中，所述候选框的位置由文本行位置确定；对候选框进行轮廓分析，根据轮廓分析结果合并所述候选框；识别合并后的候选框中的文本信息。
7.作为本发明进一步的方案：所述对候选框进行轮廓分析，根据轮廓分析结果合并所述候选框的步骤包括：依次将候选框两两比对，确定存在交集区域的候选框；获取存在交集区域的候选框的原始置信度，将原始置信度更大的候选框作为第一候选框，另一候选框作为第二候选框；根据所述第一候选框与所述第二候选框的交集区域的尺寸以及闭包区域的尺寸，计算所述第二候选框的损失参数；计算所述第一候选框与所述第二候选框的原始交并比，根据所述第二候选框的损
失参数修正所述原始交并比，获得修正交并比；根据所述修正交并比和所述第二候选框的原始置信度计算所述第二候选框的修正置信度；将所述第二候选框的修正置信度与预设的置信度阈值进行比对，根据比对结果合并两个候选框。
8.作为本发明进一步的方案：所述根据所述第一候选框与所述第二候选框的交集区域的尺寸以及闭包区域的尺寸，计算所述第二候选框的损失参数的步骤包括：获取所述交集区域的宽度和高度，以及所述闭包区域的宽度和高度；根据所述交集区域与所述闭包区域的高度比，以及所述交集区域与所述闭包区域的宽度比，计算所述第二候选框的损失参数。
9.作为本发明进一步的方案：所述根据所述修正交并比和所述第二候选框的原始置信度计算所述第二候选框的修正置信度的步骤包括：根据所述修正交并比计算所述第二候选框的衰减权值；基于所述第二候选框的衰减权值修正所述第二候选框的原始置信度，获得所述第二候选框的修正置信度。
10.作为本发明进一步的方案：所述对所述商标图像进行内容识别，确定所述商标图像的特征向量的步骤包括：对所述商标图像进行轮廓识别，获取商标轮廓；根据所述商标轮廓确定商标区域，计算商标区域内的闭合区域参数；其中，所述闭合区域参数包括闭合区域中心点位置信息和闭合区域大小信息；根据预设的遍历方向对所述商标轮廓进行拆分，得到各商标图像的轮廓特征；将所述闭合区域参数和所述轮廓特征输入训练好的向量生成模型，得到该商标图像的特征向量。
11.作为本发明进一步的方案：所述基于所述特征向量在更新后的检索库中查询并显示目标商标的步骤包括：基于所述特征向量遍历更新后的检索库中的图像特征项，并计算重合度；将所述重合度与预设的重合度进行比对，当所述重合度达到预设的重合度阈值时，标记检索库中对应的数据项；统计标记的数据项，得到并显示目标商标。
12.本发明技术方案还提供了一种商标图像检索系统，所述系统包括：检索库确定模块，用于接收用户输入的含有商标分类信息的商标图像，基于所述商标分类信息确定检索库；所述检索库包括文字项和图像特征项；检索库更新模块，用于提取所述商标图像中的文本信息，将提取到的文本信息与所述检索库中的文字项进行比对，根据比对结果更新所述检索库；特征向量确定模块，用于对所述商标图像进行内容识别，确定所述商标图像的特征向量；商标查询模块，用于基于所述特征向量在更新后的检索库中查询并显示目标商标。
13.作为本发明进一步的方案：所述检索库更新模块包括：
文本检测单元，用于对所述商标图像进行文本检测，根据文本检测结果在所述商标图像上标记候选框及各候选框对应的原始置信度；其中，所述候选框的位置由文本行位置确定；轮廓分析单元，用于对候选框进行轮廓分析，根据轮廓分析结果合并所述候选框；文本识别单元，用于识别合并后的候选框中的文本信息。
14.作为本发明进一步的方案：所述轮廓分析单元包括：比对子单元，用于依次将候选框两两比对，确定存在交集区域的候选框；分类子单元，用于获取存在交集区域的候选框的原始置信度，将原始置信度更大的候选框作为第一候选框，另一候选框作为第二候选框；第一计算子单元，用于根据所述第一候选框与所述第二候选框的交集区域的尺寸以及闭包区域的尺寸，计算所述第二候选框的损失参数；第二计算子单元，用于计算所述第一候选框与所述第二候选框的原始交并比，根据所述第二候选框的损失参数修正所述原始交并比，获得修正交并比；修正子单元，用于根据所述修正交并比和所述第二候选框的原始置信度计算所述第二候选框的修正置信度；合并子单元，用于将所述第二候选框的修正置信度与预设的置信度阈值进行比对，根据比对结果合并两个候选框。
15.与现有技术相比，本发明的有益效果是：本发明通过提取所述商标图像中的文本信息，然后对所述商标图像进行内容识别，确定所述商标图像的特征向量，根据文本信息和特征向量缩小检索范围，极大地提高了检索效率。
附图说明
16.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。
17.图1为商标图像检索方法的流程框图。
18.图2为商标图像检索方法的第一子流程框图。
19.图3为商标图像检索方法的第二子流程框图。
20.图4为商标图像检索方法的第三子流程框图。
21.图5为商标图像检索方法的第四子流程框图。
22.图6为商标图像检索系统的组成结构框图。
23.图7为商标图像检索系统中检索库更新模块的组成结构框图。
具体实施方式
24.为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
25.实施例1图1为商标图像检索方法的流程框图，本发明实施例中，一种商标图像检索方法，
所述方法包括步骤s100至步骤s400：步骤s100：接收用户输入的含有商标分类信息的商标图像，基于所述商标分类信息确定检索库；所述检索库包括文字项和图像特征项；商标图像的存储过程一定含有与商标图像为映射关系的索引，同类型的商品图像往往存储在相同位置处，上述商标分类信息就是索引的前段信息，基于商类分类信息确定前缀，再根据商标图像的自身数据确定后缀，所述前缀加后缀即可生成商标图像的索引。在检索过程中，获取商标分类信息，可以确定一个大致的检索范围，也就是上述检索库。
26.步骤s200：提取所述商标图像中的文本信息，将提取到的文本信息与所述检索库中的文字项进行比对，根据比对结果更新所述检索库；有些商标图像中存在文本信息，根据所述文本信息可以进一步的缩小检索范围，当然，有些商标图像中没有文本信息，对于没有文本信息的商标图像，步骤s200的作用不是很大；步骤s200的重点在于提取所述商标图像中的文本信息。
27.步骤s300：对所述商标图像进行内容识别，确定所述商标图像的特征向量；步骤s400：基于所述特征向量在更新后的检索库中查询并显示目标商标；从图像角度对商标图像进行内容识别，可以确定商标图像的特征参数，基于这些特征参数可以确定一个特征矩阵（特征向量）；通过该特征矩阵在所述更新后的检索库中查询目标商标并显示。
28.图2为商标图像检索方法的第一子流程框图，所述提取所述商标图像中的文本信息的步骤包括步骤s201至步骤s203：步骤s201：对所述商标图像进行文本检测，根据文本检测结果在所述商标图像上标记候选框及各候选框对应的原始置信度；其中，所述候选框的位置由文本行位置确定；步骤s202：对候选框进行轮廓分析，根据轮廓分析结果合并所述候选框；步骤s203：识别合并后的候选框中的文本信息。
29.步骤s201至步骤s203对商标图像的文本信息提取过程进行了具体的描述，首先，对商标图像中的文字位置进行大致的识别，确定若干个候选框，对这些候选框进行优化后，基于优化后的候选框识别商标图像中的文本信息。
30.对于步骤s201，需要进行进一步的说明，文本检测的目的是找出图片中的文本行的所在位置，本发明可以采用ctpn模型算法。
31.在本发明技术方案的一个实施例中，采用ctpn模型算法主要包括以下过程：1、准备模型训练样本集；为了适用于商品图片的文本检测，在选取训练样本时可以采用多家电商服务上中的商品图片，例如采用阿里天池icp2018淘宝商品网络图像数据集中的图片，以及苏宁易购图像数据集中的图片。由于不同来源的图片数据格式不同，有的数据格式为左上角为原点出发的四个坐标点，有的为左上和右下两个坐标点，因此需要将不同数据格式的图片处理成数据格式统一的bbox标签。然后对图像和标签缩放成同一规格。
32.由于ctpn的锚点机制，因此需要将bbox标签转化为anchor标签，前景和背景的分类标签、anchor中心点纵向坐标和高度、水平偏移量作为训练样本集的标签。
33.2、构造文本检测模型，利用训练样本集训练文本检测模型；文本检测模型采用神经网络模型，其中cnn层采用vgg16提取空间特征；后接中间
层将vgg16的conv5提取滑动局部块转化为lstm的输入；rnn层采用bilstm提取序列特征；最后接一个全连接层，包括：前景和背景的分类、anchor中心点纵向坐标和高度的定位、边界优化的多任务损失函数。
34.利用上述训练样本集训练上述神经网络模型，得到可以获得候选框和其对应的置信度的文本检测模型。
35.图3为商标图像检索方法的第二子流程框图，所述对候选框进行轮廓分析，根据轮廓分析结果合并所述候选框的步骤包括步骤s2021至步骤s2026：步骤s2021：依次将候选框两两比对，确定存在交集区域的候选框；步骤s2022：获取存在交集区域的候选框的原始置信度，将原始置信度更大的候选框作为第一候选框，另一候选框作为第二候选框；步骤s2023：根据所述第一候选框与所述第二候选框的交集区域的尺寸以及闭包区域的尺寸，计算所述第二候选框的损失参数；步骤s2024：计算所述第一候选框与所述第二候选框的原始交并比，根据所述第二候选框的损失参数修正所述原始交并比，获得修正交并比；步骤s2025：根据所述修正交并比和所述第二候选框的原始置信度计算所述第二候选框的修正置信度；步骤s2026：将所述第二候选框的修正置信度与预设的置信度阈值进行比对，根据比对结果合并两个候选框。
36.作为本发明技术方案进一步的限定，所述根据所述第一候选框与所述第二候选框的交集区域的尺寸以及闭包区域的尺寸，计算所述第二候选框的损失参数的步骤包括：获取所述交集区域的宽度和高度，以及所述闭包区域的宽度和高度；根据所述交集区域与所述闭包区域的高度比，以及所述交集区域与所述闭包区域的宽度比，计算所述第二候选框的损失参数。
37.作为本发明技术方案进一步的限定，所述根据所述修正交并比和所述第二候选框的原始置信度计算所述第二候选框的修正置信度的步骤包括：根据所述修正交并比计算所述第二候选框的衰减权值；基于所述第二候选框的衰减权值修正所述第二候选框的原始置信度，获得所述第二候选框的修正置信度。
38.上述内容对候选框的优化过程进行了具体的限定，主要目的是合并一些候选框，使得存在交集的候选框成为一个整体，在这个整体上进行文本识别，识别的完整度较高。
39.具体地，损失参数c的计算公式如下：c=（k1
×
hc/hu k1
×
wc/wu）2；其中，hc和hu分别为交集区域的高度和宽度，wc和wu分别为闭包区域的高度和宽度，k1和k2分别为权重系数，优选地，k1=0.7，k2=0.3。
40.在上述内容中，当两个候选框分别为标识两个文本行位置的候选框时，其存在闭包区域的高度与交集区域的高度比，要小于标识一个文本行位置的两个候选框的闭包区域高度与交集区域高度比，因此本损失参数主要从高度上对原始置信度进行修正，因此高度的比的权值系数要大于宽度比的权值系数。
41.进一步的，原始交并比iou的计算公式为：
iou=（area（m）∩area（si））/（area（m）∪area（si））；其中，m表示第一候选框，si表示第二候选框，area（m）∩area（si）为两个候选框的交集区域面积，area（m）∪area（si）为两个候选框的并集区域面积。
42.在上述内容中，原始交并比iou体现了两个候选框的重叠情况。
43.图4为商标图像检索方法的第三子流程框图，所述对所述商标图像进行内容识别，确定所述商标图像的特征向量的步骤包括步骤s301至步骤s304：步骤s301：对所述商标图像进行轮廓识别，获取商标轮廓；步骤s302：根据所述商标轮廓确定商标区域，计算商标区域内的闭合区域参数；其中，所述闭合区域参数包括闭合区域中心点位置信息和闭合区域大小信息；步骤s303：根据预设的遍历方向对所述商标轮廓进行拆分，得到各商标图像的轮廓特征；步骤s304：将所述闭合区域参数和所述轮廓特征输入训练好的向量生成模型，得到该商标图像的特征向量。
44.上述内容提供了一种具体的特征向量生成方案，特征向量由训练好的向量生成模型生成，所述向量生成模型的输入是闭合区域参数和所述轮廓特征，通俗地说，所述闭合区域参数就是商标图像中孔洞的位置及大小，所述轮廓特征就是商标轮廓的走势。
45.图5为商标图像检索方法的第四子流程框图，所述基于所述特征向量在更新后的检索库中查询并显示目标商标的步骤包括步骤s401至步骤s403：步骤s401：基于所述特征向量遍历更新后的检索库中的图像特征项，并计算重合度；步骤s402：将所述重合度与预设的重合度进行比对，当所述重合度达到预设的重合度阈值时，标记检索库中对应的数据项；步骤s403：统计标记的数据项，得到并显示目标商标。
46.步骤s401至步骤s403对目标商标的显示过程进行了具体的限定，最终提取到的目标商标，是与该商标图像较为相似的商标，只要相似度达到一定限度，就可以认为检索库中的该商标是目标商标。
47.实施例2图6为商标图像检索系统的组成结构框图，本发明实施例中，一种商标图像检索系统，所述系统10包括：检索库确定模块11，用于接收用户输入的含有商标分类信息的商标图像，基于所述商标分类信息确定检索库；所述检索库包括文字项和图像特征项；检索库更新模块12，用于提取所述商标图像中的文本信息，将提取到的文本信息与所述检索库中的文字项进行比对，根据比对结果更新所述检索库；特征向量确定模块13，用于对所述商标图像进行内容识别，确定所述商标图像的特征向量；商标查询模块14，用于基于所述特征向量在更新后的检索库中查询并显示目标商标。
48.图7为商标图像检索系统中检索库更新模块的组成结构框图，所述检索库更新模块12包括：
文本检测单元121，用于对所述商标图像进行文本检测，根据文本检测结果在所述商标图像上标记候选框及各候选框对应的原始置信度；其中，所述候选框的位置由文本行位置确定；轮廓分析单元122，用于对候选框进行轮廓分析，根据轮廓分析结果合并所述候选框；文本识别单元123，用于识别合并后的候选框中的文本信息。
49.作为本发明技术方案进一步的限定，所述轮廓分析单元包括：比对子单元，用于依次将候选框两两比对，确定存在交集区域的候选框；分类子单元，用于获取存在交集区域的候选框的原始置信度，将原始置信度更大的候选框作为第一候选框，另一候选框作为第二候选框；第一计算子单元，用于根据所述第一候选框与所述第二候选框的交集区域的尺寸以及闭包区域的尺寸，计算所述第二候选框的损失参数；第二计算子单元，用于计算所述第一候选框与所述第二候选框的原始交并比，根据所述第二候选框的损失参数修正所述原始交并比，获得修正交并比；修正子单元，用于根据所述修正交并比和所述第二候选框的原始置信度计算所述第二候选框的修正置信度；合并子单元，用于将所述第二候选框的修正置信度与预设的置信度阈值进行比对，根据比对结果合并两个候选框。
50.所述商标图像检索方法所能实现的功能均由计算机设备完成，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述程序代码由所述一个或多个处理器加载并执行以实现所述商标图像检索方法的功能。
51.处理器从存储器中逐条取出指令、分析指令，然后根据指令要求完成相应操作，产生一系列控制命令，使计算机各部分自动、连续并协调动作，成为一个有机的整体，实现程序的输入、数据的输入以及运算并输出结果，这一过程中产生的算术运算或逻辑运算均由运算器完成；所述存储器包括只读存储器（read-only memory，rom），所述只读存储器用于存储计算机程序，所述存储器外部设有保护装置。
52.示例性的，计算机程序可以被分割成一个或多个模块，一个或者多个模块被存储在存储器中，并由处理器执行，以完成本发明。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在终端设备中的执行过程。
53.本领域技术人员可以理解，上述服务设备的描述仅仅是示例，并不构成对终端设备的限定，可以包括比上述描述更多或更少的部件，或者组合某些部件，或者不同的部件，例如可以包括输入输出设备、网络接入设备、总线等。
54.所称处理器可以是中央处理单元（central processing unit，cpu），还可以是其他通用处理器、数字信号处理器（digital signal processor，dsp）、专用集成电路（application specific integrated circuit，asic）、现成可编程门阵列（field-programmable gate array，fpga）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，上述处理器是上述终端设备的控制中心，利用各种接口和线路连接整个用户终端的各
个部分。
55.上述存储器可用于存储计算机程序和/或模块，上述处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现上述终端设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如信息采集模板展示功能、产品信息发布功能等）等；存储数据区可存储根据泊位状态显示系统的使用所创建的数据（比如不同产品种类对应的产品信息采集模板、不同产品提供方需要发布的产品信息等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（smart media card，smc），安全数字（secure digital，sd）卡，闪存卡（flash card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
56.终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例系统中的全部或部分模块/单元，也可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个系统实施例的功能。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、电载波信号、电信信号以及软件分发介质等。
57.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
58.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。