一种基于深度神经网络的机器人材质识别方法及系统

技术特征：
1.一种基于深度神经网络的机器人材质识别方法，其特征在于：包括如下步骤：步骤s10、机器人通过安装于机械臂末端的电子皮肤，在不同工况下分批次采集大量的材质图像；步骤s20、基于结构相似性计算各批次的所述材质图像之间的相似度，基于各所述相似度构建数据集；步骤s30、基于深度神经网络创建一材质识别模型，利用所述数据集对材质识别模型进行训练；步骤s40、机器人利用训练后的所述材质识别模型，对新的工况下电子皮肤采集的图像进行实时的材质识别，并实时输出识别结果。2.如权利要求1所述的一种基于深度神经网络的机器人材质识别方法，其特征在于：所述步骤s10具体为：在机械臂末端与电子皮肤之间嵌入泡沫硅橡胶，机器人通过安装于机械臂末端的电子皮肤，采集若干种材质的若干张材质图像；依次调整机械臂关节角度、机械臂姿态、按压力度、移动速度、重新拆装电子皮肤，每次调整均分别采集若干种材质的若干张材质图像，以完成在不同工况下分批次采集大量的材质图像。3.如权利要求1所述的一种基于深度神经网络的机器人材质识别方法，其特征在于：所述步骤s20具体包括：步骤s21、随机从其中一个批次的材质图像中，选取不同材质的基准图像；步骤s22、依次计算各所述基准图像与各批次中，相同材质的其余图像的ssim值，并计算各批次的各所述ssim值的均值，作为该批次材质图像的不同材质的相似度；步骤s23、基于各所述相似度对材质图像进行分类，进而构建数据集。4.如权利要求3所述的一种基于深度神经网络的机器人材质识别方法，其特征在于：所述步骤s22中，所述ssim值的计算公式为：其中，μ
x
和μ
y
分别表示图像x和图像y的均值；和分别表示图像x和图像y的方差；σ
xy
表示图像x与图像y的协方差；c1和c2均表示常数。5.如权利要求1所述的一种基于深度神经网络的机器人材质识别方法，其特征在于：所述步骤s30具体包括：步骤s31、机器人基于深度神经网络创建一材质识别模型；所述材质识别模型基于densenet以及cbam构建；所述densenet包括3个稠密块以及2个过渡层；所述cbam包括1个通道注意力模块以及1个空间注意力模块；步骤s32、将所述数据集中批次1的数据按2：1的比例划分为训练集和验证集，将所述数据集中批次2和批次3的数据作为测试集，并预设一收敛条件以及一准确率阈值；步骤s33、利用所述训练集对材质识别模型进行训练，直至满足收敛条件，并保存训练过程中所述材质识别模型在验证集上的最佳权重；步骤s34、利用所述测试集对材质识别模型进行测试，判断识别准确率是否大于所述准
确率阈值，若是，则结束训练，并进入步骤s40；若否，则扩充所述训练集，并进入步骤s33。6.一种基于深度神经网络的机器人材质识别系统，其特征在于：包括如下模块：材质图像采集模块，用于机器人通过安装于机械臂末端的电子皮肤，在不同工况下分批次采集大量的材质图像；数据集构建模块，用于基于结构相似性计算各批次的所述材质图像之间的相似度，基于各所述相似度构建数据集；材质识别模型训练模块，用于基于深度神经网络创建一材质识别模型，利用所述数据集对材质识别模型进行训练；材质识别模块，用于机器人利用训练后的所述材质识别模型，对新的工况下电子皮肤采集的图像进行实时的材质识别，并实时输出识别结果。7.如权利要求6所述的一种基于深度神经网络的机器人材质识别系统，其特征在于：所述材质图像采集模块具体为：在机械臂末端与电子皮肤之间嵌入泡沫硅橡胶，机器人通过安装于机械臂末端的电子皮肤，采集若干种材质的若干张材质图像；依次调整机械臂关节角度、机械臂姿态、按压力度、移动速度、重新拆装电子皮肤，每次调整均分别采集若干种材质的若干张材质图像，以完成在不同工况下分批次采集大量的材质图像。8.如权利要求6所述的一种基于深度神经网络的机器人材质识别系统，其特征在于：所述数据集构建模块具体包括：基准图像选取单元，用于随机从其中一个批次的材质图像中，选取不同材质的基准图像；相似度计算单元，用于依次计算各所述基准图像与各批次中，相同材质的其余图像的ssim值，并计算各批次的各所述ssim值的均值，作为该批次材质图像的不同材质的相似度；材质图像分类单元，用于基于各所述相似度对材质图像进行分类，进而构建数据集。9.如权利要求8所述的一种基于深度神经网络的机器人材质识别系统，其特征在于：所述相似度计算单元中，所述ssim值的计算公式为：其中，μ
x
和μ
y
分别表示图像x和图像y的均值；和分别表示图像x和图像y的方差；σ
xy
表示图像x与图像y的协方差；c1和c2均表示常数。10.如权利要求6所述的一种基于深度神经网络的机器人材质识别系统，其特征在于：所述材质识别模型训练模块具体包括：材质识别模型创建单元，用于机器人基于深度神经网络创建一材质识别模型；所述材质识别模型基于densenet以及cbam构建；所述densenet包括3个稠密块以及2个过渡层；所述cbam包括1个通道注意力模块以及1个空间注意力模块；训练参数设定单元，用于将所述数据集中批次1的数据按2：1的比例划分为训练集和验证集，将所述数据集中批次2和批次3的数据作为测试集，并预设一收敛条件以及一准确率阈值；
模型训练单元，用于利用所述训练集对材质识别模型进行训练，直至满足收敛条件，并保存训练过程中所述材质识别模型在验证集上的最佳权重；模型验证单元，用于利用所述测试集对材质识别模型进行测试，判断识别准确率是否大于所述准确率阈值，若是，则结束训练，并进入材质识别模块；若否，则扩充所述训练集，并进入模型训练单元。

技术总结
本发明提供了机器人触觉感知技术领域的一种基于深度神经网络的机器人材质识别方法及系统，方法包括如下步骤：步骤S10、机器人通过安装于机械臂末端的电子皮肤，在不同工况下分批次采集大量的材质图像；步骤S20、基于结构相似性计算各批次的所述材质图像之间的相似度，基于各所述相似度构建数据集；步骤S30、基于深度神经网络创建一材质识别模型，利用所述数据集对材质识别模型进行训练；步骤S40、机器人利用训练后的所述材质识别模型，对新的工况下电子皮肤采集的图像进行实时的材质识别，并实时输出识别结果。本发明的优点在于：极大的提升了机器人材质识别的准确性、稳定性以及泛化能力。化能力。化能力。


技术研发人员：刘昆宏 杨千慧 姚俊峰 谢瑜 黄祥逸
受保护的技术使用者：厦门大学
技术研发日：2022.01.27
技术公布日：2022/5/20