基于目标检测的机器人视觉定位方法和装置与流程

1.本发明涉及工业运输领域领域，特别涉及基于目标检测的机器人视觉定位方法和装置。


背景技术：

2.对于自动叉车产品而言，如何实现工业托盘的快速与准确检测是必须面对的问题，这个问题在智能仓储领域普遍存在。
3.该领域中现存的绝大多数算法主要是基于点云处理，比如早期的pointnet，voxelinet。目前基于点云的处理方法的缺陷主要有：(1)运算成本昂贵，点云处理由于其稠密需要更大量的运算支持，在托盘检测阶段为实现实时化的检测必须支付更高的计算设备成本。(2)数据及价格昂贵，3d点云的标注价格是普通图像标注价格的10倍以上且标注难度高，影响产品迭代时间。(3)容易受环境影响，深度摄像头容易受到外界光，反射等因素影响，导致深度信息不稳定，对检测效果产生坏影响。
4.区别于现有技术，本技术提供一种基于目标检测的机器人视觉定位方法和装置，使用更易于部署的单阶段图像目标检测模型，检测托盘的支撑脚从而使机器人找到托盘的位置，再通过深度图像与检测结果的配合，评估托盘与叉车机器人之间的距离，进行规划路线实现托盘连同托盘上货物的叉取。


技术实现要素：

5.(一)发明目的
6.为克服上述现有技术存在的至少一种缺陷，本发明提供了一种基于目标检测的机器人视觉定位方法和装置，使用更易于部署的单阶段图像目标检测算法，检测托盘的支撑脚从而使机器人找到托盘的位置，再通过深度图像与检测结果的配合，评估托盘与叉车机器人之间的距离，进行规划路线实现托盘连同托盘上货物的叉取。
7.(二)技术方案
8.作为本发明的第一方面，本发明公开了基于目标检测的机器人视觉定位方法，包括：
9.图像获取步骤，实时记录叉车机器人叉取方向的ir图像和深度图像；
10.边缘计算步骤，根据所述ir图像检测出托盘的边框信息；
11.误检过滤步骤，根据先验知识对所述托盘的边框信息进行过滤操作，并建立边框内部联系；
12.距离确定步骤，根据所述边框内部联系和所述深度图像，对所述托盘进行视觉定位。
13.一种可能的实施方式中，所述托盘的边框信息包括：所述托盘的总外形边框和支撑脚边框。
14.一种可能的实施方式中，所述边缘计算步骤中包括单阶段目标检测模型；所述边
缘计算步骤将所述ir图像输入所述单阶段目标检测模型，并输出所述托盘的定位信息，从而根据所述托盘的定位信息获取到所述托盘的总外形边框和支撑脚边框。
15.一种可能的实施方式中，所述先验知识包括支撑脚之间的关系，以及总外形边框与支撑脚的关系；所述边框内部联系包括：所述总外形边框与支撑脚的连接。
16.一种可能的实施方式中，所述对所述托盘进行视觉定位包括：确定所述托盘相对于所述叉车机器人的距离和角度。
17.作为本发明的第二方面，本发明公开了基于目标检测的机器人视觉定位装置，包括：
18.图像获取模块，用于实时记录叉车机器人叉取方向的ir图像和深度图像；
19.边缘计算模块，用于根据所述ir图像检测出托盘的边框信息；
20.误检过滤模块，用于根据先验知识对所述托盘的边框信息进行过滤操作，并建立边框内部联系；
21.距离确定模块，用于根据所述边框内部联系和所述深度图像，对所述托盘进行视觉定位。
22.一种可能的实施方式中，所述托盘的边框信息包括：所述托盘的总外形边框和支撑脚边框。
23.一种可能的实施方式中，所述边缘计算模块包括单阶段目标检测模型；所述边缘计算模块将所述ir图像输入所述单阶段目标检测模型，并输出所述托盘的定位信息，从而根据所述托盘的定位信息获取到所述托盘的总外形边框和支撑脚边框。
24.一种可能的实施方式中，所述先验知识包括支撑脚之间的关系，以及总外形边框与支撑脚的关系；所述边框内部联系包括：所述总外形边框与支撑脚的连接。
25.一种可能的实施方式中，所述对所述托盘进行视觉定位包括：确定所述托盘相对于所述叉车机器人的距离和角度。
26.(三)有益效果
27.本发明提供的一种基于目标检测的机器人视觉定位方法和装置，通过图像获取模块实时记录叉车机器人叉取方向的ir图像和深度图像；边缘计算模块根据所述ir图像检测出托盘的边框信息；误检过滤模块根据先验知识对所述托盘的边框信息进行过滤操作，并建立边框内部联系；距离确定模块根据所述边框内部联系和所述深度图像，对所述托盘进行视觉定位。使用更易于部署的单阶段图像目标检测模型，检测托盘的支撑脚从而使机器人找到托盘的位置，再通过深度图像与检测结果的配合，评估托盘与叉车机器人之间的距离，进行规划路线实现托盘连同托盘上货物的叉取。
附图说明
28.以下参考附图描述的实施例是示例性的，旨在用于解释和说明本发明，而不能理解为对本发明的保护范围的限制。
29.图1是本发明提供的一种基于目标检测的机器人视觉定位方法的流程图。
30.图2是本发明提供的一种基于目标检测的机器人视觉定位装置的结构示意图。
具体实施方式
31.为使本发明实施的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行更加详细的描述。
32.需要说明的是：在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施例是本发明一部分实施例，而不是全部的实施例，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
33.在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，均仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制。
34.下面参考图1详细描述本发明提供的基于目标检测的机器人视觉定位方法的第一实施例。如图1所示，本实施例提供的基于目标检测的机器人视觉定位方法主要包括有：图像获取步骤、边缘计算步骤、误检过滤步骤和距离确定步骤。
35.本技术可用一阶段图像目标检测方法，检测工业托盘的支撑脚从而使叉车机器人找到托盘的位置，再通过深度图像与托盘位置的配合，评估托盘与叉车机器人之间的距离，便于后续规划路线实现货物的叉取。
36.图像获取步骤，实时记录叉车机器人叉取方向的ir图像和深度图像；图像获取步骤中包括深度摄像头，所述深度摄像头可安装在叉车机器人的叉耙中间偏上位置，并略微斜向地面，此时深度摄像头可实时记录叉取方向的ir图像与深度图像。
37.若深度摄像头获取的ir图像和深度图像为叉取方向的托盘正面图像，那么由此可观察到托盘的多个支撑脚以及完整的长方形插孔等。
38.在图像获取步骤中可通过机器人操作系统ros将所述ir图像发送到边缘计算步骤中。
39.边缘计算步骤，根据所述ir图像检测出托盘的边框信息；边缘计算步骤包括边缘计算设备，边缘计算设备可根据ir图像检测出托盘的边框信息。
40.其中，所述托盘的边框信息包括：所述托盘的总外形边框和支撑脚边框。
41.使用边缘计算设备检测出ir图像中的托盘的总外形边框和所述总外形边框内托盘的多个支撑脚边框，以便从ir图像中对托盘的位置进行确定。
42.其中，所述边缘计算步骤中包括单阶段目标检测模型；所述边缘计算步骤将所述ir图像输入所述单阶段目标检测模型，并输出所述托盘的定位信息，从而根据所述托盘的定位信息获取到所述托盘的总外形边框和支撑脚边框。
43.所述单阶段目标检测模型包括bp神经网络模型；预先训练的所述bp神经网络模型能够对托盘的定位信息进行提取。首先，单阶段目标检测模型将ir图像进行划分为多个网格，从而将划分为多个网格的ir图像输入bp神经网络模型，然后，由bp神经网络模型输出托盘的定位信息，可根据所述托盘的定位信息对ir图像内的托盘的总外形边框和支撑脚边框进行确定。
44.误检过滤步骤，根据先验知识对所述托盘的边框信息进行过滤操作，并建立边框内部联系；其中，所述先验知识包括支撑脚之间的关系，以及总外形边框与支撑脚的关系；所述边框内部联系包括：所述总外形边框与支撑脚的连接。所述支撑脚之间的关系可为三个支撑脚应成一直线；所述总外形边框与支撑脚的关系可为总外形边框应包括支撑脚的原则。
45.在误检过滤步骤中，可利用人为的先验知识过滤误检对象，根据所述三个支撑脚应成一直线，以及总外形边框应包含支撑脚的原则，过滤掉不合理的检测对象，并且建立起符合先验知识的支撑脚与其总外形边框的连接，以确定托盘的位姿及形状特征。所述不合理的检测对象即为不符合三个支撑脚应成一直线，以及不符合总外形边框应包含支撑脚的原则的所述托盘的总外形边框和支撑脚边框。
46.距离确定步骤，根据所述边框内部联系和所述深度图像，对所述托盘进行视觉定位。其中，所述对所述托盘进行视觉定位包括：确定所述托盘相对于所述叉车机器人的距离和角度。
47.根据总外形边框与支撑脚的连接可以确定托盘各个支撑脚的大小和各个支撑脚在图像中的位置；根据各个支撑脚在图像中的位置获取托盘在图像中的位置；
48.根据各个支撑脚在图像中的位置，结合深度图信息，确定出整个托盘与叉车机器人的距离；
49.根据各个支撑脚在图像中的位置，结合深度图信息，并根据支撑脚之间的关系，来获得托盘相对于叉车机器人的角度；
50.叉车机器人根据托盘与其自身的距离以及托盘相对于自身的角度，实现对托盘的视觉定位，并移动至适宜位置进行托盘的叉取操作，连同托盘内的货物一起运送至目的地。
51.本技术能够实时检测一系列具有不同形状特征，放置于不同空间位置的托盘，实现托盘的位置，位姿及形状特征的识别，从而为叉车机器人提供准确的视觉定位。
52.本技术使用基于ir图像的单阶段目标检测模型：能够针对多种的托盘快速训练，快速部署；使得ir图像在光照不稳定等仓库的不确定环境中有更高的鲁棒性；使用二维图像而非三维的点云信息，也能使检测速度更快，检测结果更加稳定。
53.本技术通过图像获取步骤实时记录叉车机器人叉取方向的ir图像和深度图像；边缘计算步骤根据所述ir图像检测出托盘的边框信息；误检过滤步骤根据先验知识对所述托盘的边框信息进行过滤操作，并建立边框内部联系；距离确定步骤根据所述边框内部联系和所述深度图像，对所述托盘进行视觉定位。本技术使用更易于部署的单阶段图像目标检测模型，检测托盘的支撑脚从而使机器人找到托盘的位置，再通过深度图像与检测结果的配合，评估托盘与叉车机器人之间的距离，进行规划路线实现托盘连同托盘上货物的叉取。
54.下面参考图2详细描述本发明提供的基于目标检测的机器人视觉定位装置的第一实施例。如图2所示，本实施例提供的基于目标检测的机器人视觉定位装置主要包括有：图像获取模块、边缘计算模块、误检过滤模块和距离确定模块。
55.本技术可用一阶段图像目标检测方法，检测工业托盘的支撑脚从而使叉车机器人找到托盘的位置，再通过深度图像与托盘位置的配合，评估托盘与叉车机器人之间的距离，便于后续规划路线实现货物的叉取。
56.图像获取模块，用于实时记录叉车机器人叉取方向的ir图像和深度图像；图像获
取模块包括深度摄像头，所述深度摄像头可安装在叉车机器人的叉耙中间偏上位置，并略微斜向地面，此时深度摄像头可实时记录叉取方向的ir图像与深度图像。
57.若深度摄像头获取的ir图像和深度图像为叉取方向的托盘正面图像，那么由此可观察到托盘的多个支撑脚以及完整的长方形插孔等。
58.图像获取模块可通过机器人操作系统ros将所述ir图像发送到边缘计算模块。
59.边缘计算模块，用于根据所述ir图像检测出托盘的边框信息；边缘计算模块包括边缘计算设备，边缘计算设备可根据ir图像检测出托盘的边框信息。
60.其中，所述托盘的边框信息包括：所述托盘的总外形边框和支撑脚边框。使用边缘计算设备检测出ir图像中的托盘的总外形边框和所述总外形边框内托盘的多个支撑脚边框，以便从ir图像中对托盘的位置进行确定。
61.其中，所述边缘计算模块包括单阶段目标检测模型；所述边缘计算模块将所述ir图像输入所述单阶段目标检测模型，并输出所述托盘的定位信息，从而根据所述托盘的定位信息获取到所述托盘的总外形边框和支撑脚边框。
62.所述单阶段目标检测模型包括bp神经网络模型；预先训练的所述bp神经网络模型能够对托盘的定位信息进行提取。首先，单阶段目标检测模型将ir图像进行划分为多个网格，从而将划分为多个网格的ir图像输入bp神经网络模型，然后，由bp神经网络模型输出托盘的定位信息，可根据所述托盘的定位信息对ir图像内的托盘的总外形边框和支撑脚边框进行确定。
63.误检过滤模块，用于根据先验知识对所述托盘的边框信息进行过滤操作，并建立边框内部联系；其中，所述先验知识包括支撑脚之间的关系，以及总外形边框与支撑脚的关系；所述边框内部联系包括：所述总外形边框与支撑脚的连接。所述支撑脚之间的关系可为三个支撑脚应成一直线；所述总外形边框与支撑脚的关系可为总外形边框应包括支撑脚的原则。
64.在误检过滤模块中，可利用人为的先验知识过滤误检对象，根据所述三个支撑脚应成一直线，以及总外形边框应包含支撑脚的原则，过滤掉不合理的检测对象，并且建立起符合先验知识的支撑脚与其总外形边框的连接，以确定托盘的位姿及形状特征。所述不合理的检测对象即为不符合三个支撑脚应成一直线，以及不符合总外形边框应包含支撑脚的原则的所述托盘的总外形边框和支撑脚边框。
65.距离确定模块，用于根据所述边框内部联系和所述深度图像，对所述托盘进行视觉定位。其中，所述对所述托盘进行视觉定位包括：确定所述托盘相对于叉车机器人的距离和角度。
66.根据总外形边框与支撑脚的连接可以确定托盘各个支撑脚的大小和各个支撑脚在图像中的位置；根据各个支撑脚在图像中的位置获取托盘在图像中的位置：
67.根据各个支撑脚在图像中的位置，结合深度图信息，确定出整个托盘与叉车机器人的距离；
68.根据各个支撑脚在图像中的位置，结合深度图信息，并根据支撑脚之间的关系，来获得托盘相对于叉车机器人的角度；
69.叉车机器人根据托盘与其自身的距离以及托盘相对于自身的角度，实现对托盘的视觉定位，并移动至适宜位置进行托盘的叉取操作，连同托盘内的货物一起运送至目的地。
70.本技术能够实时检测一系列具有不同形状特征，放置于不同空间位置的托盘，实现托盘的位置，位姿及形状特征的识别，从而为叉车机器人提供准确的视觉定位。
71.本技术使用基于ir图像的单阶段目标检测模型：能够针对多种的托盘快速训练，快速部署；使得ir图像在光照不稳定等仓库的不确定环境中有更高的鲁棒性；使用二维图像而非三维的点云信息，也能使检测速度更快，检测结果更加稳定。
72.本技术通过图像获取模块实时记录叉车机器人叉取方向的ir图像和深度图像；边缘计算模块根据所述ir图像检测出托盘的边框信息；误检过滤模块根据先验知识对所述托盘的边框信息进行过滤操作，并建立边框内部联系；距离确定模块根据所述边框内部联系和所述深度图像，对所述托盘进行视觉定位。本技术使用更易于部署的单阶段图像目标检测模型，检测托盘的支撑脚从而使机器人找到托盘的位置，再通过深度图像与检测结果的配合，评估托盘与叉车机器人之间的距离，进行规划路线实现托盘连同托盘上货物的叉取。
73.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。