一种料笼识别方法、设备及计算机可读存储介质与流程

1.本发明涉及仓储物流技术领域，尤其涉及一种料笼识别方法、设备及计算机可读存储介质。


背景技术：

2.在现有的仓储物流技术中，普遍采用rgb-d(深度相机)获取图像数据，并通过对图像数据做区域分割，生成料笼的包围盒，以此实现对料笼对象的检测。
3.但是，在应用rgb-d相机执行料笼识别时，存在数个缺陷：一是，采集的数据量较大，运算速度较慢；二是，图像数据本身的数据精度不够高；三是，rgb-d相机能够观测到的数据维度比较有限，多数情况仅是一个表面；四是，rgb-d相机本身具有较大的视野盲区和较小的视角，无法在近距离地对料笼进行检测。
4.因此，如何实现一种更为高效、精准以及稳定的料笼识别方案，成为目前亟待解决的技术问题。


技术实现要素：

5.为了解决现有技术中的上述技术缺陷，本发明提出了一种料笼识别方法，该方法包括：
6.在读取的激光雷达数据中根据所述激光雷达数据的点连续性和点线距离分别提取出第一点信息和第一线信息，并根据当前的料笼的目标物特征分别对所述第一点信息和所述第一线信息进行拟合，得到第二点信息和第二线信息；
7.在通过角柱特征检测出所述料笼时根据所述第二点信息执行图优化拟合，得到第一最优料笼姿态，以及在通过直线特征检测出所述料笼时根据所述第二线信息执行融合，得到第二最优料笼姿态；
8.对所述第一最优料笼姿态和所述第二最优料笼姿态执行一致性整合、世界坐标系转换、检测时间排序以及均值滤波，得到所述激光雷达数据当前帧的检测结果；
9.将所述检测结果中返回的存在于预设历史簇的多个值作为所述当前帧的输出，以及将所述检测结果中返回的不存在于所述历史簇的多个值进行簇更新。
10.可选地，所述在读取的激光雷达数据中根据所述激光雷达数据的点连续性和点线距离分别提取出第一点信息和第一线信息，并根据当前的料笼的目标物特征分别对所述第一点信息和所述第一线信息进行拟合，得到第二点信息和第二线信息，之前包括：
11.水平设置至少一个单线雷达；
12.在所述单线雷达的雷达扫描面与所述料笼的承载面平行时通过正装或倒装的所述单线雷达获取所述激光雷达数据。
13.可选地，所述在读取的激光雷达数据中根据所述激光雷达数据的点连续性和点线距离分别提取出第一点信息和第一线信息，并根据当前的料笼的目标物特征分别对所述第一点信息和所述第一线信息进行拟合，得到第二点信息和第二线信息，包括：
14.将所述料笼的角柱的矩形特征作为所述目标物特征；
15.通过对所述矩形特征的面上的雷达点信息进行矩形拟合，得到所述第二点信息和所述第二线信息。
16.可选地，所述在通过角柱特征检测出所述料笼时根据所述第二点信息执行图优化拟合，得到第一最优料笼姿态，以及在通过直线特征检测出所述料笼时根据所述第二线信息执行融合，得到第二最优料笼姿态，包括：
17.在通过角柱特征检测出所述料笼时，获取料笼的尺寸信息和所述角柱的分布信息，以及根据所述矩形拟合得到所述角柱的推测坐标；
18.根据所述尺寸信息和所述分布信息计算得到所述角柱的理论坐标，并根据所述理论坐标和所述推测坐标的欧式距离构建图优化问题并求解，得到理论最优的所述第一最优料笼姿态。
19.可选地，所述在通过角柱特征检测出所述料笼时根据所述第二点信息执行图优化拟合，得到第一最优料笼姿态，以及在通过直线特征检测出所述料笼时根据所述第二线信息执行融合，得到第二最优料笼姿态，还包括：
20.在通过直线特征检测出所述料笼时，获取与y轴平行的第一直线的第一约束和与x轴平行的第二直线的第二约束；
21.将包含所述第一约束和所述第二约束的检测结果融合为所述第二最优料笼姿态。
22.可选地，所述对所述第一最优料笼姿态和所述第二最优料笼姿态执行一致性整合、世界坐标系转换、检测时间排序以及均值滤波，得到所述激光雷达数据当前帧的检测结果，包括：
23.对所述第一最优料笼姿态和所述第二最优料笼姿态采用一致的数据结构进行存储，得到经整合后的检测结果；
24.根据当前的雷达坐标系在所述世界坐标系下的位姿将处于所述雷达坐标系下的所述检测结果转换至所述世界坐标系。
25.可选地，所述对所述第一最优料笼姿态和所述第二最优料笼姿态执行一致性整合、世界坐标系转换、检测时间排序以及均值滤波，得到所述激光雷达数据当前帧的检测结果，还包括：
26.按所述检测结果对应的检测时间对处于所述世界坐标系的所述检测结果进行排序；
27.按所述排序选择同一簇下的所述检测结果进行所述均值滤波，得到对应的稳定结果。
28.可选地，所述将所述检测结果中返回的存在于预设历史簇的多个值作为所述当前帧的输出，以及将所述检测结果中返回的不存在于所述历史簇的多个值进行簇更新，包括：
29.预设所述历史簇的前述簇数和当前簇的更新时长；
30.将存在于所述前述簇数的多个值作为所述当前帧的输出，将不存在于所述前述簇数的多个值作进行簇更新，删除所述更新时长内未更新的所述当前簇。
31.本发明还提出了一种料笼识别设备，该设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上任一项所述的料笼识别方法的步骤。
32.本发明还提出了一种计算机可读存储介质，该计算机可读存储介质上存储有料笼识别程序，料笼识别程序被处理器执行时实现如上述任一项所述的料笼识别方法的步骤。
33.实施本发明的料笼识别方法、设备及计算机可读存储介质，通过在读取的激光雷达数据中根据所述激光雷达数据的点连续性和点线距离分别提取出第一点信息和第一线信息，并根据当前的料笼的目标物特征分别对所述第一点信息和所述第一线信息进行拟合，得到第二点信息和第二线信息；在通过角柱特征检测出所述料笼时根据所述第二点信息执行图优化拟合，得到第一最优料笼姿态，以及在通过直线特征检测出所述料笼时根据所述第二线信息执行融合，得到第二最优料笼姿态；对所述第一最优料笼姿态和所述第二最优料笼姿态执行一致性整合、世界坐标系转换、检测时间排序以及均值滤波，得到所述激光雷达数据当前帧的检测结果；将所述检测结果中返回的存在于预设历史簇的多个值作为所述当前帧的输出，以及将所述检测结果中返回的不存在于所述历史簇的多个值进行簇更新。本发明实现了一种高效、稳定的料笼识别方案，降低了资源消耗，提升了识别精度，增强了仓储物流的生产力。
附图说明
34.下面将结合附图及实施例对本发明作进一步说明，附图中：
35.图1是本发明一个实施例提供的料笼识别方法的第一流程图；
36.图2是本发明一个实施例提供的料笼识别方法的第二流程图；
37.图3是本发明一个实施例提供的料笼识别方法的第三流程图；
38.图4是本发明一个实施例提供的料笼识别方法的第四流程图；
39.图5是本发明一个实施例提供的料笼识别方法的第五流程图；
40.图6是本发明一个实施例提供的料笼识别方法的第六流程图；
41.图7是本发明一个实施例提供的料笼识别方法的第七流程图；
42.图8是本发明一个实施例提供的料笼识别方法第的八流程图。
具体实施方式
43.应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
44.在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
45.图1是本发明一个实施例提供的料笼识别方法的第一流程图。一种料笼识别方法，该方法包括：
46.s1、在读取的激光雷达数据中根据所述激光雷达数据的点连续性和点线距离分别提取出第一点信息和第一线信息，并根据当前的料笼的目标物特征分别对所述第一点信息和所述第一线信息进行拟合，得到第二点信息和第二线信息；
47.s2、在通过角柱特征检测出所述料笼时根据所述第二点信息执行图优化拟合，得到第一最优料笼姿态，以及在通过直线特征检测出所述料笼时根据所述第二线信息执行融合，得到第二最优料笼姿态；
48.s3、对所述第一最优料笼姿态和所述第二最优料笼姿态执行一致性整合、世界坐
标系转换、检测时间排序以及均值滤波，得到所述激光雷达数据当前帧的检测结果；
49.s4、将所述检测结果中返回的存在于预设历史簇的多个值作为所述当前帧的输出，以及将所述检测结果中返回的不存在于所述历史簇的多个值进行簇更新。
50.在本实施例中，首先，在读取的激光雷达数据中根据所述激光雷达数据的点连续性和点线距离分别提取出相对粗略的第一点信息和相对粗略的第一线信息，并根据当前的料笼的目标物特征分别对所述第一点信息和所述第一线信息进行拟合，得到相对准确的第二点信息和相对准确的第二线信息；然后，在通过角柱特征检测出所述料笼时根据所述第二点信息执行图优化拟合，得到第一最优料笼姿态，以及在通过直线特征检测出所述料笼时根据所述第二线信息执行融合，得到第二最优料笼姿态；再然后，对所述第一最优料笼姿态和所述第二最优料笼姿态执行一致性整合和世界坐标系转换后，按位姿信息进行聚类、时间排序以及均值滤波，得到所述激光雷达数据当前帧的检测结果；最后，将所述检测结果中返回的存在于预设历史簇的多个值作为所述当前帧对应的最优簇的位姿输出，以及将所述检测结果中返回的不存在于所述历史簇的多个值进行簇更新。
51.可选地，在本实施例中，采用单线激光雷达获取上述激光雷达数据。
52.在本实施例中，将料笼本身的物理信息作为目标物特征，通过与目标物特征相应的数学模型计算雷达数据，从而推测出当前帧最优的拟合结果。
53.在本实施例中，通过结合检测结果中的历史多帧信息，使用基于滤波的处理，在极大的程度上抑制雷达数据本身波动带来的影响。
54.在本实施例中，通过上述基于单线激光雷达的计算方案，可有效解决仓储物流场景下的料笼识别问题。本实施例的料笼识别机制，相较于传统的基于深度相机的图像识别，能够有效地提升识别的准确率，且本实施例的料笼识别精准度能够逼近单线激光雷达本身数据的误差极限。其中，在料笼处于静止状态时，针对料笼识别的平移误差保持在 -5mm的范围，且角度误差保持在 -0.2
°
的范围。同时，相较于基于深度相机的图像运算耗时问题，本实施例在应用于个人计算机上时，可将单次识别的运算时间保持在2ms的范围，由此，更精准、高效且稳定地完成对料笼位姿的识别。
55.在本实施例中，在采用单线激光雷达数据进行料笼识别时，极大程度地降低了待处理的数据量，相较于图像识别机制，本实施例对处理资源的消耗量是明显降低的。
56.在本实施例中，在采用单线激光雷达数据进行料笼识别的过程中，充分结合历史多帧数据和滤波机制，可有效地提高料笼识别精度，极大程度的降低噪音影响，从而使得复杂环境下的料笼检测稳定性更高。
57.在本实施例中，由于采用单线激光雷达数据进行料笼识别，可以穿透较窄的仓储物流空间，即可观测到更多一个维度的空间信息，从而提高了料笼识别的精度和抗噪能力。
58.在本实施例中，在采用单线激光雷达数据进行料笼识别时，具有较大的视角和较小的视野盲区，使得料笼处于较近的位置、或者对料笼的检测空间受限时，依然能够对料笼进行有效地识别检测。
59.在本实施例中，考虑到上述所采用的单线激光雷达检测范围比深度相机的检测范围大得多，因此，本实施例可以在更多的位姿下进行料笼检测。
60.在本实施例中，在对料笼进行精准识别检测的基础上，还可实现对多个料笼的精准堆叠应用。
61.图2是本发明一个实施例提供的料笼识别方法的第二流程图，基于上述实施例，所述在读取的激光雷达数据中根据所述激光雷达数据的点连续性和点线距离分别提取出第一点信息和第一线信息，并根据当前的料笼的目标物特征分别对所述第一点信息和所述第一线信息进行拟合，得到第二点信息和第二线信息，之前包括：
62.s01、水平设置至少一个单线雷达；
63.s02、在所述单线雷达的雷达扫描面与所述料笼的承载面平行时通过正装或倒装的所述单线雷达获取所述激光雷达数据。
64.可选地，在本实施例中，由于单线激光雷达不能够获取完整的三维信息，因此，本实施例采用水平安装雷达的方式安装上述单线激光雷达。
65.可选地，在本实施例中，在单线激光雷达的雷达扫描面和料笼的承载地面平行时，可采用正装或者倒装的方法安装上述单线激光雷达。
66.图3是本发明一个实施例提供的料笼识别方法的第三流程图，基于上述实施例，所述在读取的激光雷达数据中根据所述激光雷达数据的点连续性和点线距离分别提取出第一点信息和第一线信息，并根据当前的料笼的目标物特征分别对所述第一点信息和所述第一线信息进行拟合，得到第二点信息和第二线信息，包括：
67.s11、将所述料笼的角柱的矩形特征作为所述目标物特征；
68.s12、通过对所述矩形特征的面上的雷达点信息进行矩形拟合，得到所述第二点信息和所述第二线信息。
69.可选地，在本实施例中，在根据雷达数据中的点的连续性和点线距离提取出相对粗略的点和线信息之后，再通过料笼的角柱实现料笼检测算法，得到相对准确的点和线信息。
70.可选地，在本实施例中，在通过料笼的角柱实现料笼检测算法时，由于角柱呈现出矩形，单线激光雷达理论上只能够扫描到角柱的菱形表面点，由此，本实施例根据上述表面上的雷达点信息执行矩形拟合，从而推测出角柱的菱形表面的矩形的中心。
71.图4是本发明一个实施例提供的料笼识别方法的第四流程图，基于上述实施例，所述在通过角柱特征检测出所述料笼时根据所述第二点信息执行图优化拟合，得到第一最优料笼姿态，以及在通过直线特征检测出所述料笼时根据所述第二线信息执行融合，得到第二最优料笼姿态，包括：
72.s21、在通过角柱特征检测出所述料笼时，获取料笼的尺寸信息和所述角柱的分布信息，以及根据所述矩形拟合得到所述角柱的推测坐标；
73.s22、根据所述尺寸信息和所述分布信息计算得到所述角柱的理论坐标，并根据所述理论坐标和所述推测坐标的欧式距离构建图优化问题并求解，得到理论最优的所述第一最优料笼姿态。
74.可选地，在本实施例中，通过上述角柱检测出料笼时，由于料笼本身的尺寸与角柱的分布信息是已知的，因此，本实施例可以得到角柱的理论坐标。
75.可选地，在本实施例中，将上述计算得到的角柱的理论坐标与推测出的角柱中心坐标的欧式距离，可以构建一个图优化问题并求解，从而得到理论上最优拟合结果。
76.图5是本发明一个实施例提供的料笼识别方法的第五流程图，基于上述实施例，所述在通过角柱特征检测出所述料笼时根据所述第二点信息执行图优化拟合，得到第一最优
料笼姿态，以及在通过直线特征检测出所述料笼时根据所述第二线信息执行融合，得到第二最优料笼姿态，还包括：
77.s23、在通过直线特征检测出所述料笼时，获取与y轴平行的第一直线的第一约束和与x轴平行的第二直线的第二约束；
78.s24、将包含所述第一约束和所述第二约束的检测结果融合为所述第二最优料笼姿态。
79.可选地，在本实施例中，在通过直线检测出料笼时，考虑到短边缘观测质量较好，因此，本实施例可以很好地约束x值和姿态。
80.可选地，在本实施例中，同样的，在通过直线检测出料笼时，考虑到y值并不能很好的约束，因此，本实施例当检测到第二条直线，即与x轴平行的直线，可以用来约束y值。最终，将两条直线的检测结果进行融合处理。
81.图6是本发明一个实施例提供的料笼识别方法的第六流程图，基于上述实施例，所述对所述第一最优料笼姿态和所述第二最优料笼姿态执行一致性整合、世界坐标系转换、检测时间排序以及均值滤波，得到所述激光雷达数据当前帧的检测结果，包括：
82.s31、对所述第一最优料笼姿态和所述第二最优料笼姿态采用一致的数据结构进行存储，得到经整合后的检测结果；
83.s32、根据当前的雷达坐标系在所述世界坐标系下的位姿将处于所述雷达坐标系下的所述检测结果转换至所述世界坐标系。
84.可选地，在本实施例中，不区分上述通过角柱或者通过直线识别的料笼检测结果，而采用一致的数据结构对整合后的检测结果进行存储。
85.可选地，在本实施例中，通过slam(simultaneous localization and mapping，即时定位与地图构建)算法获得当前雷达坐标系在世界坐标系下的位姿。
86.可选地，在本实施例中，考虑到上述检测算法均在雷达坐标系下完成，因此，本实施例再通过刚体运动学，实现将雷达坐标系下的检测结果转换至世界坐标系下。
87.图7是本发明一个实施例提供的料笼识别方法的第七流程图，基于上述实施例，所述对所述第一最优料笼姿态和所述第二最优料笼姿态执行一致性整合、世界坐标系转换、检测时间排序以及均值滤波，得到所述激光雷达数据当前帧的检测结果，还包括：
88.s33、按所述检测结果对应的检测时间对处于所述世界坐标系的所述检测结果进行排序；
89.s34、按所述排序选择同一簇下的所述检测结果进行所述均值滤波，得到对应的稳定结果。
90.可选地，在本实施例中，考虑到料笼在世界坐标系下理论是静止的，因此，本实施例将历史所有的检测结果按照时间排序。
91.可选地，在本实施例中，对同一个簇下的检测结果进行均值滤波，由此得到一个相对的稳定结果。
92.图8是本发明一个实施例提供的料笼识别方法的第八流程图，基于上述实施例，所述将所述检测结果中返回的存在于预设历史簇的多个值作为所述当前帧的输出，以及将所述检测结果中返回的不存在于所述历史簇的多个值进行簇更新，包括：
93.s41、预设所述历史簇的前述簇数和当前簇的更新时长；
94.s42、将存在于所述前述簇数的多个值作为所述当前帧的输出，将不存在于所述前述簇数的多个值作进行簇更新，删除所述更新时长内未更新的所述当前簇。
95.可选地，在本实施例中，当前检测结果中返回多个值，如果这多个值中与雷达最近的簇在此次检测中存在，则输出。
96.可选地，在本实施例中，当前检测结果中返回多个值，如果这多个值中与雷达最近的簇在此次检测中不存在，则不输出。
97.可选地，在本实施例中，如果某个簇长时间不更新，则删除该簇。
98.本实施例的有益效果在于，通过在读取的激光雷达数据中根据所述激光雷达数据的点连续性和点线距离分别提取出第一点信息和第一线信息，并根据当前的料笼的目标物特征分别对所述第一点信息和所述第一线信息进行拟合，得到第二点信息和第二线信息；在通过角柱特征检测出所述料笼时根据所述第二点信息执行图优化拟合，得到第一最优料笼姿态，以及在通过直线特征检测出所述料笼时根据所述第二线信息执行融合，得到第二最优料笼姿态；对所述第一最优料笼姿态和所述第二最优料笼姿态执行一致性整合、世界坐标系转换、检测时间排序以及均值滤波，得到所述激光雷达数据当前帧的检测结果；将所述检测结果中返回的存在于预设历史簇的多个值作为所述当前帧的输出，以及将所述检测结果中返回的不存在于所述历史簇的多个值进行簇更新。本实施例实现了一种高效、稳定的料笼识别方案，降低了资源消耗，提升了识别精度，增强了仓储物流的生产力。
99.基于上述实施例，本发明还提出了一种料笼识别设备，该设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上任一项所述的料笼识别方法的步骤。
100.需要说明的是，上述设备实施例与方法实施例属于同一构思，其具体实现过程详细见方法实施例，且方法实施例中的技术特征在设备实施例中均对应适用，这里不再赘述。
101.基于上述实施例，本发明还提出了一种计算机可读存储介质，该计算机可读存储介质上存储有料笼识别程序，料笼识别程序被处理器执行时实现如上述任一项所述的料笼识别方法的步骤。
102.需要说明的是，上述介质实施例与方法实施例属于同一构思，其具体实现过程详细见方法实施例，且方法实施例中的技术特征在介质实施例中均对应适用，这里不再赘述。
103.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
104.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
105.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
106.上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。