一种基于深度学习技术的商标识别方法及系统与流程

本发明涉及计算机视觉与图像数据处理，特别是一种基于深度学习技术的商标识别方法及系统。

背景技术：

1、商标是区分商品或服务来源的重要标识。在商品流通监管、品牌保护、广告内容监测、知识产权侵权取证等应用场景中，需要对图像或视频中出现的商标进行自动定位与识别，商标自动识别技术具有广泛的应用需求。

2、传统的商标识别方法主要采用人工设计的局部特征描述子（如sift、surf等）提取图像特征，并结合模板匹配等方式实现商标的定位与识别。这类方法所依赖的特征为人工设计，在光照变化、尺度变化、部分遮挡和外观形变等情况下鲁棒性较差，难以适应真实场景中复杂多变的成像条件。

3、近年来，基于深度学习的目标检测技术被逐步应用于商标识别任务，通过在大规模标注数据上训练深度神经网络来自动学习图像特征，在常规场景下取得了较好的检测效果。然而，现有基于深度学习的商标识别方案在实际应用中仍存在以下不足：

4、其一，品牌扩展成本高。现有方案普遍将每个品牌作为一个独立的检测或分类类别，模型输出层的类别数与训练集中出现的品牌一一对应，模型可识别的品牌范围在训练阶段即被固定。当出现新的品牌时，需要重新采集该品牌的训练样本、重新标注并重新训练整个模型，整个过程耗时较长且标注投入大，难以满足商标品牌快速更迭的应用需求。

5、其二，识别效果受样本分布影响明显。在真实商标数据中，不同品牌的出现频率差异悬殊，部分长尾品牌样本数量十分有限，类别间样本数量严重不平衡，导致样本数量少的品牌识别准确率偏低。

6、其三，困难样本的定位精度不足。真实场景中商标的尺度差异大，小尺寸商标、与背景对比度低、边界模糊的商标普遍存在，现有检测方法对此类目标的定位准确性有限，容易造成漏检、误检，进而影响整体识别效果。

7、可见，现有商标识别技术在品牌扩展成本与复杂场景下的检测识别精度之间难以兼顾。如何以较低的成本适应品牌种类的动态变化，同时保证复杂场景下的检测与识别精度，是本领域亟待解决的技术问题。

技术实现思路

1、为了解决上述技术问题，本发明提供一种基于深度学习技术的商标识别方法及系统，旨在通过卷积神经网络分支与自监督视觉transformer分支并联的双分支主干网络，分别提取商标的局部细节特征与全局语义特征，以特征对齐损失显式监督两分支特征分布对齐并经卷积块注意力模块自适应融合，再由特征金字塔网络与路径聚合网络提取多尺度特征、由解耦检测头经距离分布期望解码输出水平边界框，同时将所有品牌统一标注为单一商标类别进行检测，并以按品牌求均值得到的原型特征图库结合余弦相似度与相似度阈值进行开集识别，实现复杂场景下商标的高精度定位与识别、对图库之外未知商标的自动拒识，以及新增品牌仅需追加图库原型而无需重新训练检测模型的低成本品牌扩展。

2、为实现上述目的，本技术提出一种基于深度学习技术的商标识别方法，包括以下步骤：

3、s1、对待识别图像，由商标检测模型以商标为单一类别进行检测，输出商标的水平边界框，并经非极大值抑制去除冗余边界框；其中，所述商标检测模型包括由并联的卷积神经网络分支与自监督视觉transformer分支构成的双分支主干网络、特征对齐模块、颈部网络和解耦检测头；所述卷积神经网络分支提取局部细节特征，所述自监督视觉transformer分支提取全局语义特征；所述局部细节特征与所述全局语义特征经所述特征对齐模块投影至同一特征空间，并以投影特征之间均方误差形式的特征对齐损失显式监督其分布对齐后融合；融合所得特征经所述颈部网络提取多尺度特征，由所述解耦检测头输出所述水平边界框；

4、s2、将各水平边界框对应区域在原图中裁剪后输入所述自监督视觉transformer分支提取深度特征并作l2归一化，与商标特征图库中各品牌的原型特征计算余弦相似度，取相似度最大的品牌作为候选识别结果；所述原型特征由各商标区域的深度特征经l2归一化后按品牌类别求均值并再次l2归一化得到；

5、s3、将最大相似度与预设的相似度阈值比较；若不小于所述相似度阈值，则输出对应的品牌名称；若小于所述相似度阈值，则判定为所述商标特征图库之外的未知商标，并输出未知商标标记。

6、作为更进一步的解决方案，在对待识别图像进行检测之前，还包括：采集包含商标的图像并以水平边界框标注商标位置，将所有品牌的商标统一标注为单一商标类别，构建检测数据集，同时保留各商标的品牌类别标签，并基于所述检测数据集训练所述商标检测模型。

7、作为更进一步的解决方案，构建所述商标特征图库时，依据所述品牌类别标签从训练集图像中裁剪各商标区域，输入所述自监督视觉transformer分支提取深度特征，对所述深度特征作l2归一化后按品牌类别求均值并再次l2归一化，得到各品牌的原型特征；

8、扩展新品牌时，仅需对新品牌的样本裁

9、剪商标区域后，输入所述自监督视觉transformer分支提取深度特征并作l2归一化，按品牌类别求均值并再次l2归一化得到其原型特征，并追加写入所述商标特征图库，无需重新训练所述商标检测模型。

10、作为更进一步的解决方案，所述卷积神经网络分支通过多级卷积与跨阶段部分连接模块提取1/8分辨率的浅层特征和1/16分辨率的中层特征；

11、所述自监督视觉transformer分支将输入图像划分为图像块，经线性投影后通过多层自注意力模块提取1/16分辨率的全局语义特征；其中，在自注意力计算中对查询矩阵与键矩阵施加旋转位置编码。

12、作为更进一步的解决方案，所述特征对齐模块将所述卷积神经网络分支提取的特征与所述全局语义特征分别经1×1卷积投影至同一特征空间，计算两投影特征之间的均方误差作为特征对齐损失，以显式监督两分支特征分布对齐；并将两投影特征在通道维度拼接后经卷积与卷积块注意力模块融合，得到对齐特征；训练所述商标检测模型的总损失由基于完全交并比的框回归损失、基于二元交叉熵的分类损失、基于距离分布的分布焦点损失以及所述特征对齐损失按预设权重加权求和构成。

13、作为更进一步的解决方案，训练所述商标检测模型时，冻结所述自监督视觉transformer分支中的图像块嵌入层、旋转位置编码以及前若干个自注意力模块的参数，仅微调最后若干个自注意力模块与最终归一化层的参数，且所述自监督视觉transformer分支的学习率取模型其余部分学习率的0.1倍。

14、作为更进一步的解决方案，所述解耦检测头采用无锚框设计，包括相互独立的框回归分支和分类分支，并分别作用于多个尺度的特征图；所述框回归分支对位于各尺度特征图网格单元中心的水平边界框左、上、右、下四条边的距离各输出由多个离散概率值构成的距离分布，先对经softmax归一化后的概率分布求期望得到连续距离值，再结合锚点坐标解码为所述商标的水平边界框；所述分类分支输出单一商标类别的置信度。

15、作为更进一步的解决方案，所述颈部网络采用特征金字塔网络与路径聚合网络相结合的结构，自顶向下生成多个尺度的特征图，自底向上将所述浅层特征回传，并在特征金字塔网络的各层级引入卷积块注意力模块。

16、作为更进一步的解决方案，所述相似度阈值通过在验证集上遍历候选阈值自适应确定，选取使已知品牌正确识别率与未知商标拒识率综合最优的候选阈值。

17、另一方面，本发明还提供一种基于深度学习技术的商标识别系统，用于执行如上任一项所述的一种基于深度学习技术的商标识别方法，包括：

18、商标检测模型，包括由并联的卷积神经网络分支与自监督视觉transformer分支构成的双分支主干网络、特征对齐模块、颈部网络和解耦检测头，用于以商标为单一类别进行检测，由所述卷积神经网络分支提取局部细节特征、由所述自监督视觉transformer分支提取全局语义特征，两分支特征经所述特征对齐模块投影至同一特征空间后融合，经所述颈部网络提取多尺度特征，由所述解耦检测头输出商标的水平边界框，并经非极大值抑制去除冗余边界框；

19、商标识别图库，用于依据品牌类别标签从训练集图像中裁剪各商标区域，输入所述自监督视觉transformer分支提取深度特征，对所述深度特征作l2归一化后按品牌类别求均值并再次l2归一化，得到各品牌的原型特征，构成商标特征图库；并用于将检测到的各商标区域在原图中裁剪后输入所述自监督视觉transformer分支提取深度特征并作l2归一化，与所述商标特征图库中各品牌的原型特征计算余弦相似度，取相似度最大的品牌作为候选识别结果；

20、识别结果输出模块，用于将所述候选识别结果的最大相似度与预设的相似度阈值比较；若不小于所述相似度阈值，则输出对应的品牌名称；若小于所述相似度阈值，则输出未知商标标记。

21、与相关技术相比较，本发明能提供的一种基于深度学习技术的商标识别方法及系统具备如下优势：

22、1、本发明通过卷积神经网络分支与自监督视觉transformer分支并联构成双分支主干网络，分别提取商标的局部细节特征与全局语义特征，并以特征对齐损失对两分支特征分布进行显式监督对齐后经卷积块注意力模块自适应融合，有效减小了异构特征空间之间的语义鸿沟，使融合特征同时具备局部细节感知能力与全局语义理解能力。

23、2、本发明的解耦检测头以无锚框方式将框回归建模为锚点到水平边界框四条边的距离分布，经softmax期望解码为连续距离值，相比直接回归单一数值能够更精细地表达水平边界框位置的不确定性，配合分布焦点损失对相邻离散位置的联合监督，提高了小尺寸商标以及边界模糊、与背景对比度较低的商标的定位精度。

24、3、本发明将商标定位与品牌识别解耦，检测模型仅以商标为单一类别进行检测，全部品牌样本共同参与训练，避免了长尾品牌样本稀缺导致的类别间不平衡问题，提高了商标检测的召回率；品牌识别通过商标特征图库匹配完成，新增品牌仅需对该品牌样本执行特征提取与均值归一化并将原型特征追加写入图库，整个过程在秒级完成，且在机制上支持单样本注册，无需重新训练检测模型，品牌扩展时间由小时至天级降低至秒级，扩展所需样本量由每个品牌数百至数千张降低至1张即可、5张以上推荐，显著降低了品牌扩展成本。

25、4、本发明通过相似度阈值对候选识别结果进行开集判定，对图库之外的未知商标自动拒识并输出未知商标标记，且相似度阈值可在验证集上自适应确定，兼顾对已知品牌的接受能力与对未知商标的拒识能力；测试集上未知商标拒识率达91.98%，使系统具备对训练集中未出现的新品牌的拒识能力，可应用于新品牌发现、侵权商标监测等场景。