一种商标相似度识别方法、装置、电子设备及存储介质

1.本发明涉及信息处理技术领域，特别是涉及一种商标相似度识别方法、装置、电子设备及存储介质


背景技术：

2.商标检索是注册申请、商标审查、商标管理、商标维权等程序中的重要工作。传统的图形商标检索基本上是通过手工输入商标图形要素编码作为检索条件而实现检索目的。商标图形要素编码是依据《建立商标图形要素国际分类维也纳协定》所产生一种的商标图形要素划分工具，由商标图形要素按大类、小类及组分类的一览表组成，其中包括商标图形要素编号和商标图形要素名称构成。因此，每一商标图形要素编码代表了商标图形要素的内容意义。
3.目前，商标的图形要素和后续的管理工作主要是采用人工管理的方法，需要对检索人员进行长时间的培训，消耗大量的人力物力；而且人工识别带有一定的主观性，不同的人员对同一商标的识别存在差别，可能造成商标图形要素识别不准，相似度识别存在偏差等问题。


技术实现要素：

4.基于此，本发明的目的在于，提供一种商标相似度识别方法、装置、电子设备及存储介质，从商标的图形要素对商标进行相似度计算，因此训练能够识别商标图形所含有的图形要素，并将识别的商标图形要素用于提高近似商标查找的准确率，从而提高对商标的管理效率。
5.第一方面，本发明提供一种商标相似度识别方法，包括以下步骤：
6.获取待识别商标图像；
7.将所述待识别商标图像输入训练好的商标图形要素识别模型，识别出所述待识别商标图像中的图形要素，以及每个所述图形要素在所述待识别商标图像中的第一位置信息；
8.检索预先建立的商标图像识别特征数据库中的所有现有商标图像，根据所述现有商标图像与所述待识别商标图像含有相同图形要素的数量，计算所述现有商标图像与所述待识别商标图像的第一相似度；
9.针对所述第一相似度大于第一阈值的现有商标图像，获取所述图形要素在所述现有商标图像中的第二位置信息，并根据所述第一位置信息和所述第二位置信息，得到所述现有商标图像与所述待识别商标图像的第二相似度；
10.输出第二相似度大于第二阈值的所述现有商标图像。
11.进一步地，根据所述现有商标图像与所述待识别商标图像含有相同图形要素的数量，计算所述现有商标图像与所述待识别商标图像的第一相似度，包括：
12.当所述现有商标图像与所述待识别的商标图像不包含相同的图形要素，第一相似
度＝0；
13.当所述现有商标图像与所述待识别的商标图像包含相同的图形要素，第一相似度》0。
14.进一步地，针对所述第一相似度大于第一阈值的现有商标图像，获取所述图形要素在所述现有商标图像中的第二位置信息，并根据所述第一位置信息和所述第二位置信息，得到所述现有商标图像与所述待识别商标图像的第二相似度，包括：
15.针对与所述待识别的商标图像的第一相似度》0的现有商标图像，使用以下公式，计算每一个相同的图形要素的交并比iou：
16.iou＝a∩b/a∪b
17.其中，iou为某一个相同的图形要素在两个商标图形中的交并比，a为所述相同的图形要素在所述待识别的商标图像中标记框的面积，b为所述相同的图形要素在所述现有商标图像中标记框的面积；a∩b为所述相同的图形要素在两个商标图像中的标记框的交集的面积， a∪b为所述相同的图形要素在两个商标图像中的标记框的并集的面积；
18.根据每一个相同的图形要素的交并比iou，得到交并比iou＝0的图形要素数量为m1，交并比iou》0的图形要素的图像要素数量m2；
19.根据所有交并比iou＝0的图形要素，利用以下公式，计算所述待识别的商标图像和所述现有商标图像的第三相似度score1：
[0020][0021]
其中，m1为相同的图形要素中iou＝0的个数，m为所述待识别的商标图像和所述现有商标图像中所含有的相同的图形要素个数，表示某一个iou为0的图形要素对商标相似度得分的贡献度；pw1表示第一惩罚性权重值；
[0022]
根据所有交并比iou》0的图形要素，利用以下公式，计算所述待识别的商标图像和所述现有商标图像的第四相似度score2：
[0023][0024]
其中，i表示某一个图形要素在m2个图形要素中iou值的排名，即1≤i≤m2；ioui为第i个图形要素对应的交并比；m2为相同的图形要素中iou》0的个数，m为所述待识别的商标图像和所述现有商标图像中所含有的相同的图形要素个数，表示相同商标图形要素中iou》0的商标图形要素对商标相似度得分的贡献度；pw2表示第二惩罚性权重值；
[0025]
根据所述第三相似度和第四相似度，计算所述待识别的商标图像和所述现有商标图像的第二相似度。
[0026]
进一步地，当m＝m＝1时，pw1＝100，pw2＝100；其他情况下，pw1＝100*m1/m，pw2＝100 *m2/m；
[0027]
其中，m为所述待识别的商标图像中图形要素的个数。
[0028]
进一步地，获取待识别商标图像之后，还包括：
[0029]
调整所述待识别的商标图像的分辨率，将所述待识别的商标图像调整为416*416大小。
[0030]
进一步地，所述商标图形要素识别模型采用yolo v4算法；
[0031]
所述商标图形要素识别模型删除了原始的yolo v4算法中用于识别中型和小型目标的尺度，只保留识别大型目标的尺度。
[0032]
进一步地，所述商标图形要素识别模型的训练步骤包括：
[0033]
收集商标图像，并标注所述商标图像包含的图形要素，得到商标图形要素数据集；所述商标图形要素数据集包括记录图形要素类别名称以及该图形要素在商标图像中的相对位置的文件；
[0034]
将所述商标图形要素数据集划分为训练集与测试集；
[0035]
根据预设的batch_size，以所述训练集作为输入数据，每次将batch_size张商标图像同时加载到所述商标图形要素识别模型中进行训练；
[0036]
使用所述测试集对所述商标图形要素识别模型进行准确率的评估，得到训练好的所述商标图形要素识别模型。
[0037]
第二方面，本发明还提供一种商标相似度识别装置，包括：
[0038]
图像获取模块，用于获取待识别商标图像；
[0039]
要素识别模块，用于将所述待识别商标图像输入训练好的商标图形要素识别模型，识别出所述待识别商标图像中的图形要素，以及每个所述图形要素在所述待识别商标图像中的第一位置信息；
[0040]
第一相似度计算模块，用于检索预先建立的商标图像识别特征数据库中的所有现有商标图像，根据所述现有商标图像与所述待识别商标图像含有相同图形要素的数量，计算所述现有商标图像与所述待识别商标图像的第一相似度；
[0041]
第二相似度计算模块，用于针对所述第一相似度大于第一阈值的现有商标图像，获取所述图形要素在所述现有商标图像中的第二位置信息，并根据所述第一位置信息和所述第二位置信息，得到所述现有商标图像与所述待识别商标图像的第二相似度；
[0042]
结果输出模块，用于输出第二相似度大于第二阈值的所述现有商标图像。
[0043]
第三方面，本发明还提供一种电子设备，其特征在于，包括：
[0044]
至少一个存储器以及至少一个处理器；
[0045]
所述存储器，用于存储一个或多个程序；
[0046]
当所述一个或多个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如本发明第一方面任一所述的一种商标相似度识别方法的步骤。
[0047]
第四方面，本发明还提供一种计算机可读存储介质，其特征在于：
[0048]
所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本发明第一方面任一所述的一种商标相似度识别方法的步骤。
[0049]
本发明提供的一种商标相似度识别方法、装置、电子设备及存储介质，通过比较不同的商标图形是否含有相同的图形要素以及相同图形要素的位置信息，确定商标图形的相似程度，从而提高查找相似商标的查全率和查准率，为用户提供相似商标的查找方法。针对商标图像的组成元素制作数据集并训练生成商标图形要素识别模型，从而从图形要素的层次进行细粒度的识别并进行比较，提高相似标准判断的细腻度，能更好的量化商标图像的相似程度，从而提高相似商标的查全率和查准率。
[0050]
为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
[0051]
图1为本发明提供的一种商标相似度识别方法的流程示意图；
[0052]
图2为本发明在一个实施例中的流程示意图；
[0053]
图3为本发明在一个实施例中使商标图形要素识别模型的结构示意图；
[0054]
图4为本发明提供的一种商标相似度识别装置的结构示意图。
具体实施方式
[0055]
为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施例方式作进一步地详细描述。
[0056]
应当明确，所描述的实施例仅仅是本技术实施例一部分实施例，而不是全部的实施例。基于本技术实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本技术实施例保护的范围。
[0057]
在本技术实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术实施例。在本技术实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和 /或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0058]
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。在本技术的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本技术中的具体含义。
[0059]
此外，在本技术的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在 a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
[0060]
针对背景技术中的问题，本技术实施例提供一种商标相似度识别方法，如图1所示，该方法包括以下步骤：
[0061]
s01：获取待识别商标图像。
[0062]
在一个优选的实施例中，获取待识别商标图像之后，还包括：
[0063]
调整所述待识别的商标图像的分辨率，将所述待识别的商标图像调整为416*416大小。
[0064]
s02：将所述待识别商标图像输入训练好的商标图形要素识别模型，识别出所述待识别商标图像中的图形要素，以及每个所述图形要素在所述待识别商标图像中的第一位置信息。
[0065]
图形要素是指构成该商标图形若干的子图形，每个子图形构成一个独立的图形要素，每个图形要素与背景色一起，构成了一个完整的商标图形。图形要素指示商标是由哪些简单的图形构成的，或者这个商标图形的设计原型是什么。在进行图形商标的近似检索时，会选择图形商标里面可能包含的各种要素来综合检索。
[0066]
同时，每个要素对应一个边界框，表示该图形要素在该商标图像中的所在位置信
息。
[0067]
s03：检索预先建立的商标图像识别特征数据库中的所有现有商标图像，根据所述现有商标图像与所述待识别商标图像含有相同图形要素的数量，计算所述现有商标图像与所述待识别商标图像的第一相似度。
[0068]
在一个优选的实施例中，可以定义：
[0069]
1)当所述现有商标图像与所述待识别的商标图像不包含相同的图形要素，第一相似度＝0；
[0070]
2)当所述现有商标图像与所述待识别的商标图像包含相同的图形要素，第一相似度＝1。
[0071]
在其他实施例中，也可根据实际需求，定义其他计算方式，例如：
[0072]
1)当相同图形要素数量＝0，第一相似度＝0；
[0073]
2)当相同图形要素数量介于1-3之间，第一相似度＝1；
[0074]
3)当相同图形要素数量》3，第一相似度＝2。
[0075]
或者，根据相同图形要素数量与待识别商标图像中所有图形要素数量的比例，设置第一相似度的计算方式。
[0076]
具体的计算方式根据实际需求而定，不构成对本发明具体实施方式的限制。
[0077]
s04：针对所述第一相似度大于第一阈值的现有商标图像，获取所述图形要素在所述现有商标图像中的第二位置信息，并根据所述第一位置信息和所述第二位置信息，得到所述现有商标图像与所述待识别商标图像的第二相似度。
[0078]
具体的，包括以下子步骤：
[0079]
s041：针对与所述待识别的商标图像的第一相似度》0的现有商标图像，使用以下公式，计算每一个相同的图形要素的交并比iou：
[0080]
iou＝a∩b/a∪b
[0081]
其中，iou为某一个相同的图形要素在两个商标图形中的交并比，a为所述相同的图形要素在所述待识别的商标图像中标记框的面积，b为所述相同的图形要素在所述现有商标图像中标记框的面积；a∩b为所述相同的图形要素在两个商标图像中的标记框的交集的面积， a∪b为所述相同的图形要素在两个商标图像中的标记框的并集的面积。
[0082]
s042：根据每一个相同的图形要素的交并比iou，得到交并比iou＝0的图形要素数量为 m1，交并比iou》0的图形要素的图像要素数量m2；
[0083]
s043：根据所有交并比iou＝0的图形要素，利用以下公式，计算所述待识别的商标图像和所述现有商标图像的第三相似度score1：
[0084][0085]
其中，m1为相同的图形要素中iou＝0的个数，m为所述待识别的商标图像和所述现有商标图像中所含有的相同的图形要素个数，表示某一个iou为0的图形要素对商标相似度得分的贡献度；pw1表示第一惩罚性权重值；
[0086]
s044：根据所有交并比iou》0的图形要素，利用以下公式，计算所述待识别的商标图像和所述现有商标图像的第四相似度score2：
[0087][0088]
其中，i表示某一个图形要素在m2个图形要素中iou值的排名，即1≤i≤m2；m2为相同的图形要素中iou》0的个数，m为所述待识别的商标图像和所述现有商标图像中所含有的相同的图形要素个数，表示相同商标图形要素中iou》0的商标图形要素对商标相似度得分的贡献度；pw2表示第二惩罚性权重值。
[0089]
在一个优选的实施例中，当m＝m＝1时，pw1＝100，pw2＝100；其他情况下，pw1＝100*m1 /m，pw2＝100*m2/m；
[0090]
其中，m为所述待识别的商标图像中图形要素的个数。
[0091]
s045：根据所述第三相似度和第四相似度，计算所述待识别的商标图像和所述现有商标图像的第二相似度。
[0092]
在一个具体的实施例中，第二相似度score的计算公式为：
[0093]
score＝k1*score1 k2*score2
[0094]
其中，score为待识别的商标图像和现有商标图像的第二相似度，score1为待识别的商标图像和现有商标图像的第三相似度，score2为待识别的商标图像和现有商标图像的第四相似度，k1为第三相似度的权重值，k2为第四相似度的权重值。
[0095]
优选的，k1＝k2＝1。
[0096]
在其他的实施例中，k1和k2也可以根据实际需求另行取值。第二相似度也可以是通过其他加权方式计算得到，包括但不限于：
[0097][0098]
score＝k1*score12 k2*score22[0099]
等计算方式。具体的计算方式根据实际需求而定，不构成对本发明具体实施方式的限制。
[0100]
s05：输出第二相似度大于第二阈值的所述现有商标图像。
[0101]
在一个具体的实施例中，第二阈值可以为0，即输出所有与待识别的商标图像的第二相似度》0的现有商标图像。优选的，输出现有商标图像时，同时显示每张现有商标图像与待识别的商标图像的第二相似度的值，并按照第二相似度值的大小降序排列。
[0102]
在实际应用过程中，为防止输出商标图像过多，造成系统卡顿等情况，可以通过灵活设置第二相似度对应的第二阈值，例如设置只输出第二相似度》20的商标图像；或设置第二相似度的排序对应的第二阈值，例如设置只输出第二相似度排序前10位的商标图像。具体的阈值设置方式根据实际需求而定，不构成对本发明具体实施方式的限制。
[0103]
在一个优选的实施例中，本发明的完整流程如图2所示，分为3大部分，商标图形要素识别模型训练部分、商标图像识别特征数据库搭建部分和待检索商标图像的识别检索部分。
[0104]
在商标图形要素识别模型训练部分，包括以下子步骤：
[0105]
s11：制作商标图形要素数据集。
[0106]
制作商标图形要素数据集的工作内容包括：收集商标图像以及标注商标图像。首先，需要确定待识别的商标图形要素有哪些种类。然后有针对性的收集包含对应种类商标
图形要素的商标图像，每个种类的训练样本不少于200个；之后，借助标注工具，对收集到的商标图像进行标记，即将需要识别的图形要素用边界框将其框起来，为该图形要素选择正确的类别，并生成记录图形要素类别名称以及该图形要素在商标图像中的相对位置的文件，并将模型按照8：2划分为训练集与测试集，用于接下来的商标图形要素识别模型的训练与测试工作。
[0107]
s12：训练和测试商标图形要素识别模型。
[0108]
优选的，本发明所使用的商标图形要素识别模型采用yolo v4算法，删除了原始的 yolo v4算法中用于识别中型和小型目标的尺度，只保留识别大型目标的尺度。
[0109]
原始的yolo v4算法有3个预测尺度，分别对应大、中、小三个尺度。而在商标图形中，图形要素是商标的主要组成部分，不需要识别中型和小型目标，因此，为了加快模型训练工作，减少卷积操作，本方法删除了用于识别中型和小型目标的尺度，只保留识别大型目标的尺度，模型结构如图3所示。
[0110]
优选的，利用上述步骤s11收集制作的商标图形要素数据集，训练商标图形要素识别模型的步骤包括：
[0111]
s121：根据预设的batch_size，以所述训练集作为输入数据，每次将batch_size张商标图像同时加载到所述商标图形要素识别模型中进行训练。
[0112]
s122：使用所述测试集对所述商标图形要素识别模型进行准确率的评估，得到训练好的所述商标图形要素识别模型。
[0113]
在一个具体的实施例中，在设置好batch_size后，以上述划分好的训练集作为输入数据，每次将batch_size张商标图像同时加载到模型中进行训练，经过适当次数的迭代，获得能够识别商标图形要素的深度学习模型，模型以.pth格式进行保存，是一个以key-value形式保存模型所有参数的字典类型文件。然后用测试集对模型进行准确率的评估。
[0114]
基于上述训练好的商标图形要素识别模型，商标图像识别特征数据库搭建部分，包括以下子步骤：
[0115]
s21：对现有的商标图像进行预处理。
[0116]
由于后续判断商标图像是否相似时利用的是其所包含的图形要素名称以及所在位置，因此在预处理阶段，需要调整商标图像的分辨率，将所有需要输入到模型的商标图像调整到统一大小，本方法将商标图像调整为416*416大小，以便用于后续的商标相似比较。
[0117]
s21：将预处理过的现有商标图像输入上述训练好的商标图形要素识别模型，获得每一张商标图像所包含的商标图形要素的种类以及所在位置，得到商标图像识别特征数据库。
[0118]
商标图像识别特征数据库的建立需要将我们所有收集到的商标图像经过预处理阶段后输入到商标图形要素识别模型中，获得每一张商标图像所包含的商标图形要素的种类以及所在位置，并存储到数据库，从而建立好商标图像识别特征数据库，作为后续查找相似商标的依据。
[0119]
基于上述商标图像识别特征数据库，对待检索商标图像的识别检索部分，即为前述的一种商标相似度识别方法的步骤，在此不再赘述。
[0120]
本技术实施例还提供一种商标相似度识别装置，如图4所示，该商标相似度识别装置400 包括：
iou》0的商标图形要素对商标相似度得分的贡献度；pw2表示第二惩罚性权重值；
[0139]
第二相似度计算单元，用于根据所述第三相似度和第四相似度，计算所述待识别的商标图像和所述现有商标图像的第二相似度。
[0140]
优选的，当m＝m＝1时，pw1＝100，pw2＝100；其他情况下，pw1＝100*m1/m，pw2＝100 *m2/m；
[0141]
其中，m为所述待识别的商标图像中图形要素的个数。
[0142]
优选的，图像获取模块还包括：
[0143]
预处理单元，用于调整所述待识别的商标图像的分辨率，将所述待识别的商标图像调整为416*416大小。
[0144]
优选的，所述商标图形要素识别模型采用yolo v4算法；
[0145]
所述商标图形要素识别模型删除了原始的yolo v4算法中用于识别中型和小型目标的尺度，只保留识别大型目标的尺度。
[0146]
优选的，所述商标图形要素识别模型的训练步骤包括：
[0147]
收集商标图像，并标注所述商标图像包含的图形要素，得到商标图形要素数据集；所述商标图形要素数据集包括记录图形要素类别名称以及该图形要素在商标图像中的相对位置的文件；
[0148]
将所述商标图形要素数据集划分为训练集与测试集；
[0149]
根据预设的batch_size，以所述训练集作为输入数据，每次将batch_size张商标图像同时加载到所述商标图形要素识别模型中进行训练；
[0150]
使用所述测试集对所述商标图形要素识别模型进行准确率的评估，得到训练好的所述商标图形要素识别模型。
[0151]
本技术实施例还提供一种电子设备，包括：
[0152]
至少一个存储器以及至少一个处理器；
[0153]
所述存储器，用于存储一个或多个程序；
[0154]
当所述一个或多个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如前所述的一种商标相似度识别方法的步骤。
[0155]
本技术实施例还提供一种计算机可读存储介质，
[0156]
所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如前所述的一种商标相似度识别方法的步骤。
[0157]
本发明提供的一种商标相似度识别方法、装置、电子设备及存储介质，通过比较不同的商标图形是否含有相同的图形要素以及相同图形要素的位置信息，确定商标图形的相似程度，从而提高查找相似商标的查全率和查准率，为用户提供相似商标的查找方法。针对商标图像的组成元素制作数据集并训练生成商标图形要素识别模型，从而从图形要素的层次进行细粒度的识别并进行比较，提高相似标准判断的细腻度，能更好的量化商标图像的相似程度，从而提高相似商标的查全率和查准率。
[0158]
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。