一种基于多模态特征识别的商品匹配方法及系统与流程

本发明涉及图像处理，尤其涉及一种基于多模态特征识别的商品匹配方法及系统。

背景技术：

1、随着物流仓储、商品质检等领域自动化水平的不断提升，基于视觉特征的商品快速识别与匹配技术日益成为核心环节，在实际作业场景中，需要匹配的商品往往在非固定角度下被拍摄获取图像，这要求商品匹配方法具备对不同拍摄视角的适应能力，同时，商品表面可能存在重复纹理、光照不均等复杂因素，使得单一角度的特征匹配难以保证准确性。

2、传统商品匹配方法通常采用单角度图像采集并结合局部特征点描述子进行最近邻匹配，该技术仅依赖单一拍摄角度的图像特征，当待匹配商品的拍摄角度与标准商品图像的采集角度不一致时，特征点匹配的准确性会下降。

技术实现思路

1、本发明提供一种基于多模态特征识别的商品匹配方法、计算机可读存储介质，其主要目的在于提高多角度拍摄条件下商品匹配的准确性，降低因视角变化导致的匹配错误率。

2、为实现上述目的，本发明提供的一种基于多模态特征识别的商品匹配方法，包括：

3、基于预获取的商品生产文件进行商品多模态特征构建，得到标准商品数据库；

4、对预获取的待匹配商品进行图像采集，得到原始商品图像，对原始商品图像进行特征提取，得到原始特征描述向量集及原始图像特征点集；

5、在标准商品数据库中依次提取标准商品数据，并将所提取的标准商品数据记为待匹配商品数据，其中，每个待匹配商品数据均对应唯一的标准商品id；

6、获取待匹配商品数据中的多个待匹配样本数据，在多个待匹配样本数据中依次提取待匹配样本数据；

7、基于所提取的待匹配样本数据、原始特征描述向量集及原始图像特征点集进行特征点匹配，得到多个目标匹配点对；

8、根据多个目标匹配点对进行匹配可信度分析，得到当前匹配可信度；

9、汇总每个待匹配样本数据对应的当前匹配可信度，得到多个当前匹配可信度，识别多个当前匹配可信度中的最优模态可信度；

10、汇总每个标准商品数据对应的最优模态可信度，得到多个最优模态可信度，基于多个最优模态可信度识别匹配商品id，完成待匹配商品的商品匹配。

11、可选地，所述基于预获取的商品生产文件进行商品多模态特征构建，得到标准商品数据库，包括：

12、根据商品生产文件获取标准商品样本集，其中，标准商品样本集包括多个标准商品样本；

13、在标准商品样本集中依次提取标准商品样本，获取所提取的标准商品样本的标准商品id；

14、对所提取的标准商品样本进行多角度图像采集，得到多个标准商品图像；

15、根据多个标准商品图像构建多模态样本数据，合并所述多模态样本数据及标准商品id，得到标准商品数据；

16、汇总每个标准商品样本对应的标准商品数据，得到标准商品数据库。

17、可选地，所述根据多个标准商品图像构建多模态样本数据，包括：

18、对多个标准商品图像中的每个标准商品图像均执行如下操作：

19、利用预设的角点检测算法对标准商品图像进行特征点提取，得到标准图像特征点集；

20、基于标准图像特征点集进行描述子识别，得到标准特征描述向量集，其中，标准特征描述向量与标准图像特征点一一对应；

21、根据标准特征描述向量集及标准图像特征点集构建单模态样本数据；

22、汇总每个标准商品图像对应的单模态样本数据，得到多模态样本数据。

23、可选地，所述基于所提取的待匹配样本数据、原始特征描述向量集及原始图像特征点集进行特征点匹配，得到多个目标匹配点对，包括：

24、获取待匹配样本数据中的待匹配特征描述向量集及待匹配图像特征点集；

25、根据原始特征描述向量集及待匹配特征描述向量集，对原始图像特征点集及待匹配图像特征点集进行初步特征点匹配，得到多个初步匹配点对；

26、对多个初步匹配点对进行匹配质量筛选，得到多个目标匹配点对。

27、可选地，所述根据原始特征描述向量集及待匹配特征描述向量集，对原始图像特征点集及待匹配图像特征点集进行初步特征点匹配，得到多个初步匹配点对，包括：

28、对原始图像特征点集中的每个原始图像特征点均执行如下操作：

29、基于原始图像特征点、原始特征描述向量集及待匹配特征描述向量集，在待匹配图像特征点集中进行正向匹配，得到正向匹配点对，汇总正向匹配点对，得到正向匹配点对集；

30、对原始图像特征点集及待匹配图像特征点集进行反向匹配，得到反向匹配点对集；

31、根据正向匹配点对集及反向匹配点对集进行交集识别，得到多个初步匹配点对。

32、可选地，所述对多个初步匹配点对进行匹配质量筛选，得到多个目标匹配点对，包括：

33、对原始商品图像进行分块，得到多个原始商品分块；

34、在多个原始商品分块中依次提取原始商品分块，利用多个初步匹配点对对原始商品分块进行特征判别，得到判别结果，其中，判别结果为：存在特征点或不存在特征点；

35、若判别结果为存在特征点，则将所提取的原始商品分块记为候选商品分块；

36、汇总候选商品分块，得到多个候选商品分块；

37、对多个候选商品分块中的每个候选商品分块均进行匹配质量计算，得到多个候选匹配质量；

38、利用多个候选匹配质量及预设的高质量阈值对多个初步匹配点对进行筛选，得到多个目标匹配点对。

39、可选地，所述对多个候选商品分块中的每个候选商品分块均进行匹配质量计算，得到多个候选匹配质量，包括：

40、对多个候选商品分块中的每个候选商品分块均执行如下操作：

41、识别候选商品分块中的多个候选特征点；

42、在多个候选特征点中依次提取候选特征点，基于所提取的候选特征点在多个初步匹配点对中识别候选匹配点对，其中，候选匹配点对包含所提取的候选特征点；

43、基于候选匹配点对识别当前匹配距离；

44、根据所提取的候选特征点在待匹配图像特征点集中进行第二距离匹配，得到第二匹配距离；

45、利用当前匹配距离及第二匹配距离计算当前匹配质量；

46、汇总每个候选特征点对应的当前匹配质量，得到多个当前匹配质量，对多个当前匹配质量进行均值计算，得到候选匹配质量；

47、汇总每个候选商品分块对应的候选匹配质量，得到多个候选匹配质量。

48、可选地，所述根据多个目标匹配点对进行匹配可信度分析，得到当前匹配可信度，包括：

49、根据预设的样本数目在多个目标匹配点对中进行随机抽取，得到多个样本匹配点对组，其中，每个样本匹配点对组均包含多个样本匹配点对；

50、对多个样本匹配点对组中的每个样本匹配点对组均执行如下操作：

51、对样本匹配点对组进行匹配质量排序，得到样本匹配点对序列；

52、在样本匹配点对序列中选取多个高质量匹配点对，根据多个高质量匹配点对进行坐标匹配，得到多个当前内点对；

53、统计多个当前内点对的当前内点对数量；

54、汇总每个样本匹配点对组对应的当前内点对数量，得到多个当前内点对数量；

55、根据多个当前内点对数量计算当前匹配可信度。

56、可选地，所述根据多个高质量匹配点对进行坐标匹配，得到多个当前内点对，包括：

57、利用多个高质量匹配点对进行变换矩阵构建，得到单应性变换矩阵；

58、在样本匹配点对组中依次提取样本匹配点对，识别所提取的样本匹配点对中的待投影特征点及库内特征点；

59、利用单应性变换矩阵对待投影特征点进行坐标转换，得到投影特征点；

60、根据投影特征点及库内特征点进行偏差计算，得到当前转换偏差；

61、若当前转换偏差小于预设的转换偏差阈值，则将所提取的样本匹配点对记为当前内点对；

62、汇总当前内点对，得到多个当前内点对。

63、为实现上述目的，本发明还提供一种基于多模态特征识别的商品匹配系统，包括：

64、商品图像采集模块，用于基于预获取的商品生产文件进行商品多模态特征构建，得到标准商品数据库，对预获取的待匹配商品进行图像采集，得到原始商品图像，对原始商品图像进行特征提取，得到原始特征描述向量集及原始图像特征点集；

65、商品数据提取模块，用于在标准商品数据库中依次提取标准商品数据，并将所提取的标准商品数据记为待匹配商品数据，其中，每个待匹配商品数据均对应唯一的标准商品id，获取待匹配商品数据中的多个待匹配样本数据，在多个待匹配样本数据中依次提取待匹配样本数据；

66、匹配质量计算模块，用于基于所提取的待匹配样本数据、原始特征描述向量集及原始图像特征点集进行特征点匹配，得到多个目标匹配点对，根据多个目标匹配点对进行匹配可信度分析，得到当前匹配可信度；

67、商品id匹配模块，用于汇总每个待匹配样本数据对应的当前匹配可信度，得到多个当前匹配可信度，识别多个当前匹配可信度中的最优模态可信度，汇总每个标准商品数据对应的最优模态可信度，得到多个最优模态可信度，基于多个最优模态可信度识别匹配商品id。

68、为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：

69、存储器，存储至少一个指令；

70、处理器，执行所述存储器中存储的指令以实现上述所述的基于多模态特征识别的商品匹配方法。

71、为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现上述所述的基于多模态特征识别的商品匹配方法。

72、本发明为解决背景技术所述问题，基于商品生产文件进行商品多模态特征构建，得到标准商品数据库，此步骤通过多角度图像采集构建标准商品数据库，使标准商品数据库能够覆盖商品在不同拍摄角度下的外观特征，减少了因待匹配商品拍摄角度非固定而导致的匹配误差，进一步的，本方案基于所提取的待匹配样本数据、原始特征描述向量集及原始图像特征点集进行特征点匹配，得到多个目标匹配点对，此步骤通过双向匹配消除单向匹配误差，再通过图像分块和匹配质量计算筛选出高质量的匹配点对，从而提高了特征点匹配的准确性，本方案还根据多个目标匹配点对进行匹配可信度分析，得到当前匹配可信度，此步骤通过随机抽样和单应性变换矩阵验证，计算出待匹配商品与标准商品样本之间匹配点对的整体可信程度，不同拍摄角度的匹配可信程度的计算降低了匹配过程中的漏检率，最后识别多个当前匹配可信度中的最优模态可信度，此步骤从多个不同拍摄角度的标准商品样本中选出可信度最高的匹配结果，确定了待匹配商品与哪个角度的标准商品样本最为相似。因此，本发明可提高多角度拍摄条件下商品匹配的准确性，降低因视角变化导致的匹配错误率。