基于单目视觉的材料识别方法、装置及设备与流程

本发明涉及人工智能，具体涉及机器人视觉技术与图像处理技术的交叉，更具体地涉及一种基于单目视觉的材料识别方法、装置、设备、介质及产品。

背景技术：

1、在木材、金属、塑料、橡胶、泡沫、复合板材及表面涂层的加工和分拣过程中，材料类别直接影响切削参数、主轴转速、进给速度、刀具选择和安全策略。桌面级cnc（computernumerical control）、智能仓储和柔性生产线通常希望在加工前自动判断工件材料。人工观察和经验判断一致性较差；近红外、高光谱或x射线设备成本较高；仅依赖普通rgb图像时，颜色相近、涂层覆盖、距离变化和照明变化容易导致误识别。

技术实现思路

1、鉴于上述问题至少之一，本发明的实施例旨在能够提供一种基于单目视觉的材料识别方法、装置、设备、介质及产品，从而提供了一种从同一目标表面提取一个或多个固定实际毫米尺寸纹理块，并由单目视觉网络进行材料分类的方案，将单目材料分类、未知材料拒识、目标跟踪和连续帧概率融合组合，实现稳定、安全且高效高精度识别输出。

2、本发明的实施例的一个方面提供了一种基于单目视觉的材料识别方法，其中，包括：基于待识别目标的单目视觉图像和测距测量点对应的关联目标区域的像素窗口数据，提取关联目标区域的视觉嵌入特征；通过关联目标区域的视觉质量评分对应的聚合权重数据，生成视觉嵌入特征的视觉聚合特征；通过视觉聚合特征，获取待识别目标针对预设类别属性的材料类别概率；以及基于材料类别概率和预生成的材料拒识输出判定条件，获取待识别目标的目标类别属性，完成材料识别。

3、根据本发明的一实施例，在基于待识别目标的单目视觉图像和测距测量点对应的关联目标区域的像素窗口数据，提取关联目标区域的视觉嵌入特征中，包括：针对关联目标区域的像素窗口数据所提取的归一化纹理块，通过预设视觉提取器对每个像素点提取对应的颜色视觉特征、纹理视觉特征、边缘视觉特征和光泽视觉特征，并对所述归一化纹理块提取区域级的颜色矩特征和灰度共生矩特征。

4、根据本发明的一实施例，光泽视觉特征包括联合高光特征，在针对关联目标区域的像素窗口数据所提取的归一化纹理块，通过预设视觉提取器对每个像素点提取对应的颜色视觉特征、纹理视觉特征、边缘视觉特征和光泽视觉特征，并对所述归一化纹理块提取区域级的颜色矩特征和灰度共生矩特征中，包括：根据像素点对应的像素亮度值、像素饱和度、局部梯度幅值和归一化纹理块对应高光候选区域的二值掩膜确定联合高光特征，其中，联合高光特征包括高光候选区域的高光面积占比、像素数、平均亮度、平均饱和度和平均局部梯度。

5、根据本发明的一实施例，在针对关联目标区域的像素窗口数据所提取的归一化纹理块，通过预设视觉提取器对每个像素点提取对应的颜色视觉特征、纹理视觉特征、边缘视觉特征、光泽视觉特征、颜色矩特征和灰度共生矩特征之前，还包括：根据像素窗口数据提取关联目标区域的实际像素区域；对实际像素区域进行预设网络输入尺寸的重采样处理，生成多尺度图像块作为归一化纹理块。

6、根据本发明的一实施例，在通过关联目标区域的视觉质量评分对应的聚合权重数据，生成视觉嵌入特征的视觉聚合特征之前，还包括：根据关联目标区域的归一化纹理块的清晰度、曝光值和区域有效面积，确定视觉质量评分；根据视觉质量评分和归一化纹理块的有效尺度集合确定聚合权重数据。

7、根据本发明的一实施例，在通过视觉聚合特征，获取待识别目标针对预设类别属性的材料类别概率中，包括：根据视觉聚合特征和预设分类器针对预设类别属性的逻辑输出值，生成材料类别概率。

8、根据本发明的一实施例，预生成的材料拒识输出判定条件包括预设目标模型架构针对预设类别属性的最大预测概率、输入能量逻辑值和/或聚合特征距离。

9、根据本发明的一实施例，在基于材料类别概率和预生成的材料拒识输出判定条件，获取待识别目标的目标类别属性之后，还包括：根据当前帧的第一单目视觉图像的第一材料类别概率和相邻帧的第二单目视觉图像的第一融合类别概率，结合预设融合系数进行概率指数融合，生成第二融合类别概率；根据第二融合类别概率和预设目标跟踪规则，从目标类别属性中确定待识别目标的材料识别结果。

10、本发明的实施例的另一个方面提供了一种基于单目视觉的材料识别装置，其中，包括特征提取模块、特征聚合模块、概率获取模块和材料识别模块。特征提取模块用于基于待识别目标的单目视觉图像和测距测量点对应的关联目标区域的像素窗口数据，提取关联目标区域的视觉嵌入特征；特征聚合模块用于通过关联目标区域的视觉质量评分对应的聚合权重数据，生成视觉嵌入特征的视觉聚合特征；概率获取模块用于通过视觉聚合特征，获取待识别目标针对预设类别属性的材料类别概率；以及材料识别模块用于基于材料类别概率和预生成的材料拒识输出判定条件，获取待识别目标的目标类别属性，完成材料识别。

11、本发明的实施例的另一个方面提供了一种电子设备，包括一个或多个处理器和存储器，存储器用于存储一个或多个程序，其中，当该一个或多个程序被该一个或多个处理器执行时，使得该一个或多个处理器执行上述基于单目视觉的材料识别方法。

12、本发明的实施例的另一个方面提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述基于单目视觉的材料识别方法。

13、本发明的实施例的另一个方面提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述基于单目视觉的材料识别方法。

14、本发明实施例提供的基于单目视觉的材料识别方法可以至少部分地解决相关技术中单目视觉检测基础上不同检测距离的纹理像素尺度会发生改变，导致网络实际观察物理尺寸不一致、连续帧稳定性差等共同造成的材料识别准确率和识别效率较差等问题至少之一，并因此可以至少实现如下技术效果之一：

15、（1）首先，基于未知材料类别拒识约束，可以实现对非目标材料的拒识效果，从而可以使得材料识别的范围更容易被限定，从而可以有效保证识别效率和准确率，以显著性提高cnc自动加工安全性。

16、（2）其次，通过多帧概率融合，可以实现当前帧的识别预测概率和相邻帧的融合类别概率之间的匹配，从而可以有效保证连续帧的识别结果的准确性更高，有效解决连续帧稳定差的问题，使得在多个固定毫米尺度上完成高效的单目视觉分类，实现结合未知材料拒识和多帧融合的高效高精度输出结果。

17、因此，在仅使用单目视觉图像（如rgb图像）和单点测距距离（如tof距离）的条件下，使不同拍摄距离对应的纹理采样具有一致的实际尺度，并确保该距离属于当前待识别表面。在此基础上，可以进一步基于单点测距的标关联、深度有效性判定和尺度换算过程，通过单目视觉完成特征提取和材料分类，并实现对训练集之外的非目标识别材料执行拒识。

18、其中，对于单目视觉的材料分类过程，首先通过单目视觉在一个或多个固定毫米尺度的纹理块基础上，进行提取颜色、纹理、边缘和光泽等视觉特征，并结合未知材料拒识及同一目标的多帧概率融合，输出稳定且可安全使用的高效高精度识别结果。其中，材料类别可以完全依据单目图像中可观测的颜色、纹理、边缘和光泽等视觉特征判断。

19、应了解的是，上述一般描述及以下具体实施方式仅为示例性及阐释性的，其并不能限制本发明所欲主张的范围。