一种基于图像分类的商品识别方法与流程

本发明涉及计算机视觉与商品智能识别，具体为一种基于图像分类的商品识别方法。

背景技术：

1、图像分类技术广泛应用于商品识别领域，通常采用卷积神经网络或视觉transformer对商品图像提取特征向量，再通过分类器输出商品所属类别的概率分布，为提升识别精度，现有技术进一步引入光学字符识别技术提取商品包装上的文字内容，并借助图文多模态预训练模型将图像特征与文本特征映射至同一语义空间，实现图文信息的联合利用；

2、与本发明最接近的现有技术为一种基于图文多模态预训练模型的商品分类方法，该方法利用图像编码器提取商品图像的全局视觉特征向量，利用光学字符识别引擎提取商品包装上的全部文字并按顺序拼接为一段连续字符串，将该字符串输入具有固定输入长度上限的文本编码器得到文本特征向量，再将视觉特征向量与文本特征向量进行融合后输入固定输出维度的分类层，取概率最高的类别作为识别结果；

3、上述现有技术存在如下缺陷：其一，文本编码器的输入序列长度存在固定上限，当商品包装文字总量超过该上限时，超出部分被直接截断丢弃，导致同品牌不同规格、不同口味商品所依赖的末段区分性文字信息丢失，造成细粒度误判，其二，文字拼接为连续字符串的处理方式未保留各文本框在包装版面上的空间排布关系，忽略了文字与图案之间的相对位置线索，其三，分类层的输出类别数量在网络结构确定后即已固化，商品目录新增类别时须对分类器进行重新训练，其四，同一商品身份通常仅对应单一外观特征分布，商品包装改版后易被误判为未知新品，为此，我们提出一种基于图像分类的商品识别方法。

技术实现思路

1、本发明的目的在于提供一种基于图像分类的商品识别方法。

2、本发明要解决的技术问题是：现有的图文多模态商品分类方法在文本编码时受限于固定输入长度，导致商品包装长文本被截断而丢失关键区分信息，造成细粒度商品误判，同时现有方法未能对商品身份与外观进行解耦表征，商品包装改版后易被误判为未知新品，此外，现有闭集分类器在商品目录新增类别时须进行全量重训练，且对确实未入库的商品缺乏可靠的拒识与自动迭代机制。

3、为解决上述技术问题，本发明提供一种基于图像分类的商品识别方法，包括：获取待识别商品图像，对所述商品图像进行视觉特征提取，得到视觉令牌序列，对所述商品图像进行文本检测与识别，得到多个文本框及各文本框对应的文本内容与位置坐标，根据各文本框的位置坐标构建空间邻接图，并采用图注意力网络对所述空间邻接图进行编码，得到文本节点特征序列，以所述视觉令牌序列作为查询向量，以所述文本节点特征序列作为键向量和值向量，进行跨模态交叉注意力计算，得到融合特征向量，将所述融合特征向量与向量数据库中存储的原型进行比对，所述向量数据库以商品sku身份为分组单位，每一分组下存储至少一个外观子原型，获取与所述融合特征向量之间马氏距离最近的原型作为候选原型，判断所述融合特征向量与所述候选原型之间的马氏距离是否超过所述候选原型所属分组对应的自适应拒识边界，在未超过所述自适应拒识边界的情况下，输出所述候选原型所属分组对应的商品身份识别结果，在超过所述自适应拒识边界的情况下，判定待识别商品图像为未知商品，将所述融合特征向量存入主动学习池。

4、采用上述技术方案，与现有技术相比，本发明的有益效果在于：

5、1.本发明将商品包装文字按空间位置组织为图结构并采用图注意力网络进行编码，避免了传统文本编码器固定输入长度导致的截断问题，实现了长文本及其排版信息的无损利用，提升了细粒度商品的区分能力；

6、2.本发明通过以商品sku身份为分组单位、支持每一分组下存在至少一个外观子原型的动态原型库结构，使商品包装改版后仍能被正确归属至原有sku身份，实现了商品身份与外观的解耦表征；

7、3.本发明通过向量数据库配合增量聚类机制，使新商品的加入无需对整个网络进行重训练，避免了闭集分类器的灾难性遗忘问题，通过按分组单独统计的自适应马氏距离拒识边界，配合未知商品自动路由至主动学习池并反哺向量数据库的闭环机制，使系统在不进行网络重训练的前提下实现商品目录的持续自我迭代。

1.一种基于图像分类的商品识别方法，其特征在于，包括：

2.根据权利要求1所述的一种基于图像分类的商品识别方法，其特征在于：对所述空间邻接图进行编码的步骤中，计算节点与其邻居节点之间的注意力系数时，同时考虑当前节点自身的特征、邻居节点的特征以及两节点之间的相对空间位置偏置编码。

3.根据权利要求1所述的一种基于图像分类的商品识别方法，其特征在于，所述跨模态交叉注意力计算包括：计算所述查询向量与所述键向量之间的相似度得分，对所述相似度得分进行缩放及归一化处理，得到注意力权重，将所述注意力权重与所述值向量相乘，得到视觉增强特征，将所述视觉增强特征与所述视觉令牌序列对应的原始视觉特征进行相加后进行归一化处理，得到所述融合特征向量。

4.根据权利要求1所述的一种基于图像分类的商品识别方法，其特征在于，所述向量数据库中每一分组对应的外观子原型通过如下方式动态生成：持续采集属于同一分组的历史样本的融合特征，周期性计算该分组历史样本的类内特征方差，在所述类内特征方差超过预设阈值的情况下，对该分组全部历史样本的融合特征进行聚类处理，将聚类得到的各簇中心向量作为该分组的外观子原型存入所述向量数据库。

5.根据权利要求4所述的一种基于图像分类的商品识别方法，其特征在于：对该分组全部历史样本的融合特征进行聚类处理时采用k均值聚类算法，聚类簇数量根据轮廓系数确定。

6.根据权利要求1所述的一种基于图像分类的商品识别方法，其特征在于，每一分组对应的自适应拒识边界通过如下方式确定：统计该分组内训练样本的融合特征到该分组对应原型的马氏距离分布，取该分布的第九十五百分位数作为该分组对应的自适应拒识边界。

7.根据权利要求1所述的一种基于图像分类的商品识别方法，其特征在于：存入所述主动学习池的融合特征经复核处理后用于更新所述向量数据库，所述复核处理包括人工复核处理和自动增量聚类处理，更新后的所述向量数据库中的内容包括新增的商品身份分组和更新后的外观子原型。

8.一种基于图像分类的商品识别装置，其特征在于，包括：

9.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，该计算机程序被处理器执行时实现权利要求1至7中任一项所述的一种基于图像分类的商品识别方法。