一种物品识别方法、装置、电子设备及可读存储介质与流程

本申请属于计算机，具体涉及一种物品识别方法、装置、电子设备及可读存储介质。

背景技术：

1、随着物联网、人工智能系统的发展，无人售卖柜、自动售货机等智能零售设备通常配置图像识别系统，通过采集柜内商品图像并利用计算机视觉技术识别商品类别。在实际使用中，柜门玻璃内侧或商品表面容易产生冷凝水，严重干扰图像采集质量，降低识别准确率。

2、目前，通常采用后期算法修复方法减轻冷凝水干扰，也就是在冷凝水形成后，再对受损图像进行软件增强、去雾或深度学习修复，恢复被遮挡或被模糊的商品特征。然而，冷凝水会吸收和散射光线，导致原始物体的边缘、纹理、颜色等关键信息发生不可逆的损失，因此，在重度冷凝水干扰下，通过后期算法修复后的图像识别率依然会显著下降。又或者在柜内安装加热玻璃以防止冷凝水形成，或采用近红外成像试图穿透水雾。然而，这些手段仅对特定形态的冷凝水有效，缺乏自适应性，难以在各种复杂环境下保持稳定性。

3、因此，冷凝水导致的原始图像信息损失无法通过后期算法从根本上恢复，在冷凝水重度干扰下识别精度低，并且无法适应复杂冷凝水环境，稳定性低。

技术实现思路

1、本申请实施例的目的是提供一种物品识别方法、装置、电子设备及可读存储介质，能够在受到各种复杂冷凝水干扰的情况下，依然提取到高鲁棒性的特征，进而提升基于特征进行物品识别的准确度和稳定性。

2、第一方面，本申请实施例提供了一种物品识别方法，该方法包括：

3、采集待识别物品的第一图像，并确定所述第一图像受到冷凝水的干扰程度和干扰类型；

4、根据所述干扰程度和所述干扰类型，从第一成像模式、第二成像模式和第三成像模式中确定目标成像模式；所述第一成像模式为在可见光照射下采集图像的模式，所述第二成像模式为在不可见光照射下采集图像的模式，所述第三成像模式为将偏振片设置于至少两个不同角度的情况下采集图像的模式；

5、在所述目标成像模式下采集所述待识别物品的第二图像，并基于所述第二图像对应的目标特征向量确定所述待识别物品的物品类别。

6、第二方面，本申请实施例提供了一种物品识别装置，该装置包括：

7、图像评估模块，用于采集待识别物品的第一图像，并确定所述第一图像受到冷凝水的干扰程度和干扰类型；

8、成像模式确定模块，用于根据所述干扰程度和所述干扰类型，从第一成像模式、第二成像模式和第三成像模式中确定目标成像模式；所述第一成像模式为在可见光照射下采集图像的模式，所述第二成像模式为在不可见光照射下采集图像的模式，所述第三成像模式为将偏振片设置于至少两个不同角度的情况下采集图像的模式；

9、类别确定模块，用于在所述目标成像模式下采集所述待识别物品的第二图像，并基于所述第二图像对应的目标特征向量确定所述待识别物品的物品类别。

10、第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

11、第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

12、第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。

13、在本申请实施例中，先采集第一图像并确定冷凝水的干扰程度和干扰类型，然后根据所述干扰程度和干扰类型，从第一成像模式、第二成像模式和第三成像模式中确定目标成像模式，再在目标成像模式下采集第二图像并提取特征进行识别。将决策环节前置，当干扰程度较高时，主动舍弃单一成像模式中已受污染的可见光通道，切换至利用不可见光的第二成像模式或利用偏振片多角度的第三成像模式等不易受冷凝水影响的物理维度进行采集。其中，不可见光成像模式利用近红外光对水膜的强穿透性，从光谱维度获取几何特征；偏振片多角度成像模式利用偏振差分对镜面反射的抑制能力，从偏振维度获取增强纹理特征。这两种模式从采集源头规避了冷凝水的干扰，即使在重度冷凝水导致可见光图像信息严重丢失的情况下，依然能够提取出高鲁棒性的特征向量。根据干扰程度和干扰类型来确定目标成像模式，也就是说系统能够实时识别当前冷凝水的干扰程度和分布形态，并据此自适应地选择最有效的物理成像模式。这种针对不同冷凝水形态自动匹配最优图像采集方案，从而在复杂多变环境中始终保持稳定、高精度的识别性能，显著提升了系统的整体适应性。

1.一种物品识别方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述干扰程度和所述干扰类型，从第一成像模式、第二成像模式和第三成像模式中确定目标成像模式，包括：

3.根据权利要求2所述的方法，其特征在于，所述根据所述干扰类型，确定所述目标成像模式为第二成像模式或第三成像模式，包括：

4.根据权利要求2所述的方法，其特征在于，所述目标特征向量包括形状特征向量；所述在所述目标成像模式下采集所述待识别物品的第二图像，并基于所述第二图像对应的目标特征向量确定所述待识别物品的物品类别，包括：

5.根据权利要求2所述的方法，其特征在于，所述目标特征向量包括纹理特征向量；所述在所述目标成像模式下采集所述待识别物品的第二图像，并基于所述第二图像对应的目标特征向量确定所述待识别物品的物品类别，包括：

6.根据权利要求2所述的方法，其特征在于，所述目标特征向量包括第一特征向量、第二特征向量；所述在所述目标成像模式下采集所述待识别物品的第二图像，并基于所述第二图像对应的目标特征向量确定所述待识别物品的物品类别，包括：

7.根据权利要求6所述的方法，其特征在于，所述基于所述第一特征向量和所述第二特征向量，确定所述待识别物品的物品类别，包括：

8.根据权利要求1所述的方法，其特征在于，所述确定所述第一图像受到冷凝水的干扰程度和干扰类型，包括：

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

10.一种物品识别装置，其特征在于，所述装置包括：

11.一种电子设备，其特征在于，所述电子设备包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行如权利要求1至9中任一项所述的方法。

12.一种可读存储介质，其特征在于，当所述可读存储介质中的指令由电子设备的处理器执行时，使得所述处理器能够执行如权利要求1至9中任一项所述的方法。