可移动机器人调整货架位姿的方法和装置与流程

1.本公开的实施例涉及计算机技术领域，具体涉及智慧仓库领域，尤其涉及一种可移动机器人调整货位姿的方法和装置。


背景技术：

2.可移动机器人在智慧仓库中的应用极为广泛，通常用来搬运货架。可移动机器人在搬运货架的过程中，可能会与周围的货架发生接触，导致周围的货架发生偏移。发生偏移的货架会影响到可移动机器人的搬运任务，为仓储的运营带来安全隐患。
3.相关技术中，通常由运营人员定期对货架进行观察，并对发生偏移的货架进行人为纠正。


技术实现要素：

4.本公开的实施例提出了可移动机器人调整货位姿的方法和装置。
5.第一方面，本公开的实施例提供了一种可移动机器人调整货位姿的方法，该方法包括：获取目标货架的货架标识图像，货架标识图像为图像采集装置在预设采集位置以预设采集姿态拍摄目标货架的货架标识得到的图像，货架标识包括目标货架的位姿标识；从货架标识图像识别出目标货架的位姿标识，并基于目标货架的位姿标识，确定目标货架的当前位姿；响应于目标货架的当前位姿与预设位姿的差值大于预设的偏差阈值，确定目标货架发生偏移；响应于确定目标货架发生偏移，基于目标货架的当前位姿与预设位姿的差值，生成搬运路径；将搬运路径发送至可移动机器人，以使可移动机器人按照搬运路径将目标货架的当前位姿调整至与预设位姿一致。
6.在一些实施例中，货架标识的中心点与目标货架的中心点在水平面内的投影重合；位姿标识包括货架的长度方向标识、货架的宽度方向标识和距离标识，距离标识包括均匀分布于货架标识区域内的多个区域标识，每个区域标识表征该区域标识所在的区域距离货架标识的中心点的相对位置；以及，目标货架的当前位姿经由如下步骤确定：基于货架标识图像中目标货架的长度方向标识和宽度方向标识，确定目标货架当前的长度方向和宽度方向，得到目标货架的当前姿态；从货架标识图像中的区域标识中识别出目标货架相对于所述图像采集装置的相对位置，并基于目标货架相对于图像采集装置的相对位置和预设采集位置，确定目标货架的当前位置；基于目标货架的当前姿态和当前位置，得到目标货架的当前位姿。
7.在一些实施例中，预设采集位置设置有预设采集位置标识，预设采集位置标识包括第一参考方向标识和第二参考方向标识；方法还包括：获取预设采集位置标识的图像；从预设采集位置标识的图像中识别出第一参考方向标识和第二参考方向标识；将第一参考方向标识指示的方向确定为目标货架的预设长度方向，将第二参考方向标识指示的方向确定为目标货架的预设宽度方向，得到目标货架的预设姿态；将预设采集位置标识的中心点确定为目标货架的预设位置；基于预设姿态和目标货架的预设位置，确定目标货架的预设位
姿。
8.在一些实施例中，该方法还包括：响应于确定货架标识图像中不存在目标货架的货架标识，发送报警信息。
9.第二方面，本公开的实施例提供了一种可移动机器人调整货架位姿的装置，装置包括：图像获取单元，被配置成获取目标货架的货架标识图像，货架标识图像为图像采集装置在预设采集位置以预设采集姿态拍摄目标货架的货架标识得到的图像，货架标识包括目标货架的位姿标识；图像识别单元，被配置成从货架标识图像识别出目标货架的位姿标识，并基于目标货架的位姿标识，确定目标货架的当前位姿；位姿确定单元，被配置成响应于目标货架的当前位姿与预设位姿的差值大于预设的偏差阈值，确定目标货架发生偏移；路径生成单元，被配置成响应于确定目标货架发生偏移，基于目标货架的当前位姿与预设位姿的差值，生成搬运路径；路径发送单元，被配置成将搬运路径发送至可移动机器人，以使可移动机器人按照搬运路径将目标货架的当前位姿调整至与预设位姿一致。
10.在一些实施例中，货架标识的中心点与目标货架的中心点在水平面内的投影重合；位姿标识包括货架的长度方向标识、货架的宽度方向标识和距离标识，距离标识包括均匀分布于货架标识区域内的多个区域标识，每个区域标识表征该区域标识所在的区域距离货架标识的中心点的相对位置；以及，图像识别单元进一步包括：当前姿态确定模块，被配置成基于货架标识图像中目标货架的长度方向标识和宽度方向标识，确定目标货架当前的长度方向和宽度方向，得到目标货架的当前姿态；当前位置确定模块，被配置成从货架标识图像中的区域标识中识别出目标货架相对于图像采集装置的相对位置，并基于目标货架相对于图像采集装置的相对位置和预设采集位置，确定所述目标货架的当前位置；当前位姿确定模块，被配置成基于目标货架的当前姿态和当前位置，得到目标货架的当前位姿。
11.在一些实施例中，预设采集位置设置有预设采集位置标识；预设采集位置标识包括第一参考方向标识和第二参考方向标识；装置还包括预设位姿确定单元，被配置成：获取预设采集位置标识的图像；从预设采集位置标识的图像中识别出第一参考方向标识和第二参考方向标识；将第一参考方向标识指示的方向确定为目标货架的预设长度方向，将第二参考方向标识指示的方向确定为目标货架的预设宽度方向，得到目标货架的预设姿态；将预设采集位置标识的中心点确定为目标货架的预设位置；基于预设姿态和预设位置，确定目标货架的预设位姿。
12.在一些实施例中，该装置还包括：报警单元，被配置成响应于货架标识图像中不存在目标货架的货架标识，发送报警信息。
13.第三方面，本公开的实施例还公开了一种可移动机器人，包括：第一图像采集装置、顶升装置和控制器，其中，第一图像采集装置固定设置于可移动机器人的车体上，被配置成竖直向上采集设置于货架底面的货架标识的图像；顶升装置包括竖直运动组件和旋转运动组件，竖直运动组件与旋转运动组件连接，竖直运动组件被配置成带动旋转运动组件沿竖直方向运动，旋转运动组件被配置成带动货架绕竖直方向转动；控制器与第一图像采集装置和顶升装置通信连接，被配置成执行上述可移动机器人调整货架位姿的方法中的步骤。
14.在一些实施例中，可移动机器人还包括固定设置于可移动机器人的车体上的第二图像采集装置，被配置成竖直向下采集设置于地面上的预设采集位置标识的图像；以及，控
制器还被配置成：识别预设采集位置标识的图像，以控制可移动机器人移动至预设采集位置。
15.在一些实施例中，旋转运动组件包括水平设置的托盘，托盘的底面与竖直运动组件连接，且托盘的中心区域设置有竖直通孔，竖直通孔的中心轴与托盘的转轴共线；以及，第一图像采集装置位于托盘在水平面内投影的通孔区域中。
16.第四方面，本公开的实施例还公开了一种搬运系统，包括：货架、无人搬运车和上述可移动机器人，其中，货架的底面中心设置有货架标识；无人搬运车可移动机器人调整货架位姿；可移动机器人被配置成检测货架是否发生偏移，以及，将发生偏移的货架的位姿调整至预设位姿。
17.在一些实施例中，该搬运系统至少包括第一可移动机器人和第二可移动机器人，被配置成：第一可移动机器人和第二可移动机器人分别检测货架是否发生偏移，并将第一可移动机器人和第二可移动机器人同时确定为发生偏移的货架确定为待调整货架；第一可移动机器人还被配置成将待调整货架的位姿调整至预设位姿；第二可移动机器人还被配置成检测待调整货架调整后的位姿是否发生偏移，以及，响应于确定待调整货架调整后的位姿发生偏移，发送报警信息。
18.本公开的实施例提供的可移动机器人调整货架位姿的方法和装置，可以基于货架标识确定目标货架的当前位姿，通过当前位姿与预设位姿的差值确定目标货架是否发生偏移。若目标货架发生偏移，则基于当前位姿与预设位姿的差值生成搬运路径，以指示可移动机器人将目标货架的位姿调整至与预设位姿一致，实现了货架位姿的自动检测和纠正，可以降低仓库的运营成本。
附图说明
19.通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显：
20.图1是根据本公开的可移动机器人调整货架位姿的方法的一个实施例的流程图；
21.图2是图1所示的可移动机器人调整货架位姿的方法的一个应用场景示意图；
22.图3是根据本公开的可移动机器人调整货架位姿的方法的又一个实施例的流程图；
23.图4是根据本公开的可移动机器人的一个实施例的结构示意图；
24.图5是根据本公开的可移动机器人调整货架位姿的装置的一个实施例的结构示意图；
25.图6是适于用来实现本公开的实施例的电子设备的结构示意图。
26.附图标记：401：第一图像采集装置；402：顶升装置；403：竖直运动组件；404：旋转运动组件。
具体实施方式
27.下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
28.需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
29.图1示出了根据本公开的可移动机器人调整货架位姿的方法的一个实施例的流程100。该流程包括以下步骤：
30.步骤101，获取目标货架的货架标识图像，货架标识图像为图像采集装置在预设采集位置以预设采集姿态拍摄目标货架的货架标识得到的图像，货架标识包括目标货架的位姿标识。
31.在本实施例中，位姿标识用于表征货架的在水平面内的姿态信息和位置信息。图像采集装置拍摄货架标识时的预设采集位置和预设姿态，用于预先确定图像采集装置的相机外参。如此，可移动机器人调整货架位姿的方法运行于其上的电子设备(例如可以是运行有wms(warehouse management system，仓储物流管理系统)的终端设备)可以通过网络获取图像采集装置采集的货架标识图像，并基于采集到的货架标识图像中位姿标识的像素坐标，通过图像处理领域中的坐标转换算法，结合图像采集装置的相机外参和相机内参，确定出目标货架在实际场景中的当前位姿。
32.作为示例，可以预先将货架标识固定在目标货架上(例如可以是货架的水平面上)，然后以货架标识的中心点表征目标货架的位置信息。例如，可以在货架标识中以图像(例如可以是箭头)的形式标记出货架的方向，并在货架标识中设置均匀分布的关键点，相邻两个关键点之间的距离均为预设的固定长度。如此，可移动机器人调整货架位姿的方法运行于其上的电子设备可以从货架标识图像中识别出目标货架的当前姿态；以及，通过对比货架标识图像中关键点之间的像素距离与预设的固定长度，确定货架标识图像的缩放系数，进而确定货架标识相对于图像采集装置的相对位置；再结合图像采集装置的预设采集位置，得到目标货架的当前位姿。
33.再例如，货架标识还可以采用间隔排列的黑白格图像作为目标货架的位姿标识，每个格子区域的边长均为标定长度，且边长的延伸方向与目标货架的长度方向或宽度方向平行，如此，可以通过格子图像同时表征目标货架的位置信息和姿态信息。
34.在一个具体的示例中，可移动机器人调整货架位姿的方法运行于其上的电子设备可以是agv(automated guided vehicle，无人搬运车)的控制器，该agv的车体上可以设置有图像采集装置。当agv行进至预设采集位置时，由图像采集装置以预设姿态拍摄目标货架上附着的货架标识，得到目标货架的货架标识图像，并将货架标识图像发送至agv的控制器。
35.步骤102，从货架标识图像识别出目标货架的位姿标识，并基于目标货架的位姿标识，确定目标货架的当前位姿。
36.在本实施例中，可移动机器人调整货架位姿的方法运行于其上的电子设备中可以从货架标识图像中识别出目标货架的位姿标识，确定出位姿标识的像素坐标，然后结合图像采集装置的相机外参、相机内参以及货架标识相对于目标货架的相对位姿，确定出目标货架的当前位姿，例如可以采用位姿矩阵的形式表征目标货架的当前位姿。
37.可以理解的是，当前位姿包括当前位置信息和当前姿态信息，例如可以通过坐标表征当前位置信息，通过方向向量表征当前姿态信息。
38.需要说明的是，基于图像的像素坐标、相机外参和相机内参，确定图像中各像素点
在实际场景中的位置是图像处理领域的成熟技术，本技术对此不做限制。
39.步骤103，响应于目标货架的当前位姿与预设位姿的差值大于预设的偏差阈值，确定目标货架发生偏移。
40.在本实施例中，当前位姿与预设位姿的差值包括姿态差值和位置差值，其中，姿态差值可以用方向夹角表示，例如当前位姿中目标货架的长度方向与预设位姿中目标货架的长度方向的方向夹角。相应地，偏差阈值也包括姿态差阈值和位置差阈值。
41.作为示例，可移动机器人调整货架位姿的方法运行于其上的电子设备中可以基于步骤103中得到的目标货架当前的gps(global positioning system，全球定位系统)坐标以及预设的gps坐标，两者的差值即为目标货架的位置差值；然后基于步骤103中得到的目标货架的方向向量与预设的方向向量的夹角确定出目标货架相对于预设姿态的偏转角度，即目标货架的姿态差值。之后，电子设备分别对比位置差值与位置差阈值以及姿态差值与姿态差阈值，如果两个差值均不大于阈值，则确定目标货架未发生偏移；如果两个差值有一个或两个大于阈值，则确定目标货架发生偏移。
42.步骤104，响应于确定目标货架发生偏移，基于目标货架的当前位姿与预设位姿的差值，生成搬运路径。
43.在本实施例中，搬运路径用于指示可移动机器人搬运货架以将货架的当前姿态调整至与预设姿态一致。
44.作为示例，可移动机器人调整货架位姿的方法运行于其上的电子设备在步骤103中确定出的目标货架的当前位姿与预设位姿的差值为：方向夹角为30
°
，第一方向上的距离为-10cm，第二方向上的距离为30cm，其中正负号表示参考方向。则电子设备生成的搬运路径用于指示可移动机器人执行如下动作：将目标货架在当前位置旋转-30
°
，之后将目标货架沿第一方向行进10cm，最后再沿第二方向的反方向行进30cm。
45.步骤105，将搬运路径发送至可移动机器人，以使可移动机器人按照搬运路径将目标货架的当前位姿调整至与预设位姿一致。
46.作为示例，可移动机器人调整货架位姿的方法运行于其上的电子设备可以是终端设备，该终端设备可以通过网络与执行搬运任务的可移动机器人进行数据交互，以将搬运路径发送至可移动机器人。
47.再例如，可移动机器人调整货架位姿的方法运行于其上的电子设备可以也可以是可移动机器人的控制器，如此，可移动机器人的控制器可以直接控制可移动机器人移动至目标货架的底部，然后由可移动机器人托举起目标货架，并按照搬运路径运动，以调整目标货架的姿态并将目标货架运送至预设位姿中指向的位置，完成目标货架的姿态纠正。
48.继续参考图2，图2是如1所示方法的一个应用场景示意图。首先参考图2(a)所示的场景，货架标识设置在目标货架201的底面，agv202的车体上装备有图像采集装置。当agv202行进至目标货架下方的预设采集位置之后，由图像采集装置拍摄货架标识得到目标货架201的货架标识图像。接着参考图2(b)，agv202通过网络将货架标识图像发送至终端设备203，由终端设备203对获取到的货架标识图像进行识别，确定出目标货架201的当前位姿，并确定出当前位姿与预设位姿的差值；然后，通过对比差值与预设偏差阈值确定目标货架201是否发生偏移，若确定目标货架201发生偏移，则基于当前位姿与预设位姿的差值生成搬运路径，并将搬运路径发送至agv202，以指示agv202按照搬运路径调整目标货架202的
位姿。如图2(c)所示，位姿调整完毕后的目标货架201的姿态与预设姿态一致。
49.本公开的实施例提供的可移动机器人调整货架位姿的方法和装置，可以基于货架标识确定目标货架的当前位姿，通过当前位姿与预设位姿的差值确定目标货架是否发生偏移。若目标货架发生偏移，则基于当前位姿与预设位姿的差值生成搬运路径，以指示可移动机器人将目标货架的位姿调整至与预设位姿一致，实现了货架位姿的自动检测和纠正，可以降低仓库的运营成本。
50.接下来参考图3，其示出了本公开的可移动机器人调整货架位姿的方法的又一个实施例的流程300。该可移动机器人调整货架位姿的方法的流程300，包括以下步骤：
51.步骤301，获取目标货架的货架标识图像。
52.在本实施例中，货架标识的中心点与目标货架的中心点在水平面内的投影重合；位姿标识包括货架的长度方向标识、货架的宽度方向标识和距离标识，距离标识包括均匀分布于货架标识区域内的多个区域标识，每个区域标识表征该区域标识所在的区域距离货架标识的中心点的相对位置。
53.在本实施中，货架标识的中心点在水平面内的位置可以表征目标货架的水平位置。
54.作为示例，可以在货架标识中以箭头图标的形式标记目标货架的长度方向和宽度方向，如此，可移动机器人调整货架位姿的方法运行于其上的电子设备只需识别出货架标识图像中的箭头图标的指向，即可确定目标货架的当前姿态。
55.在另一个示例中，还可以采用如下方式在货架标识中表征目标货架的姿态：以货架标识的中心点为原点，以目标货架的长度方向和宽度方向为坐标轴，建立货架坐标系，并在货架标识中以图像的形式标记出坐标轴。如此，可移动机器人调整货架位姿的方法运行于其上的电子设备可以从货架标识图像中识别出货架坐标系，并通过货架坐标系与图像坐标系确定目标货架相对于图像采集设备的相对位姿，再结合图像采集装置在实际场景中的预设采集位置和预设采集姿态，确定出目标货架的当前位姿。
56.在本实现方式中，可以预先对货架标识中各区域与货架标识中心点的相对位置信息进行编码，并生成区域标识。
57.作为示例，可以预先以货架标识中心点为原点，以目标货架的长度方向和宽度方向为坐标轴，建立货架坐标系。然后将各区域的中心点在货架坐标系中的坐标作为各区域的相对位置信息，并对相对位置信息进行编码，生成可以被图像识别模型识别的图像(例如可以直接将坐标数值嵌入区域标识中)，即得到各区域的区域标识。
58.在一个具体的示例中，可以采用二维码图像作为区域标识，每个二维码图像均为边长相等的正方形，且二维码图像的边长的延伸方向与目标货架的长度方向或宽度方向平行，之后将二维码图像所在区域的中心点相对于货架标识中心点的相对位置编码成二维码图像。如此，图像采集装置只需识别出位于货架标识图像中心区域的二维码表征的信息，即可确定出目标货架的中心点的像素坐标，即得到了目标货架相对于图像采集装置的相对位置；然后再以二维码图像边长的延伸方向确定目标货架的长度方向和宽度方向，以此，确定出目标货架的相对于图像采集装置的相对姿态，结合目标货架的相对位置以及相对姿态即可得到目标货架相对于图像采集装置的相对位姿。之后，结合图像采集装置的在实际场景中的预设采集位置和预设采集姿态，即可确定目标货架在实际场景中的当前姿态。
59.步骤302，基于货架标识图像中目标货架的长度方向标识和宽度方向标识，确定目标货架当前的长度方向和宽度方向，得到目标货架的当前姿态。
60.在本实施例中，可移动机器人调整货架位姿的方法运行于其上的电子设备可以采用图像识别模型从步骤301中得到的货架标识图像中识别出目标货架的长度方向和宽度方向，例如可以是识别出货架标识图像中用于表征目标货架长度方向和宽度方向的图像标记、坐标轴或区域的边长的延伸方向，如此可以确定目标货架相对于图像采集装置的相对姿态，然后结合图像采集装置的预设采集姿态，确定目标货架的当前姿态。
61.步骤303，从货架标识图像中的区域标识中识别出目标货架相对于所述图像采集装置的相对位置，并基于目标货架相对于图像采集装置的相对位置和预设采集位置，确定目标货架的当前位置。
62.在本实施例中，可移动机器人调整货架位姿的方法运行于其上的电子设备可以将货架标识图像中心区域的区域标识作为表征目标货架相对于图像采集装置的相对位置的目标区域标识，然后从该区域标识中识别出该区域相对于货架标识中心点(即目标货架的中心点)的相对位置，即可得到目标货架相对于图像采集装置的相对位置，再结合图像采集装置在实际场景中的位置(预设采集位置)，即可确定目标货架的当前位置。
63.步骤304，基于目标货架的当前姿态和当前位置，得到目标货架的当前位姿。
64.作为示例，可移动机器人调整货架位姿的方法运行于其上的电子设备可以以向量的形式表征步骤302和步骤303中得到的目标货架的当前姿态和当前位置，然后以位姿矩阵的规则对各个向量进行组合，得到的位姿矩阵即可表征目标货架的当前位姿。
65.本实施例中提供的可移动机器人调整货架位姿的方法中，可以采用步骤305至步骤309确定目标货架的预设位姿。
66.步骤305，获取预设采集位置标识的图像。
67.在本实施例中，预设采集位置设置有预设采集位置标识；预设采集位置标识包括第一参考方向标识和第二参考方向标识。
68.在本实施例的一些可选的实现方式中，图像采集装置的预设采集姿态可以基于第一参考方向标识和第二参考方向标识确定，使得图像采集装置的图像坐标系中坐标轴的方向与第一参考方向标识或第二参考方向标识所指示的方向平行。如此，货架标识图像中目标货架的长度方向与宽度方向相对于图像坐标系的夹角与目标货架的当前姿态相对于预设姿态的差值是线性相关的，可移动机器人调整货架位姿的方法运行于其上的电子设备只需结合图像采集装置的缩放系数，通过线性计算即可确定目标货架的当前姿态相对于预设姿态的差值。
69.作为示例，可移动机器人调整货架位姿的方法运行于其上的电子设备可以是agv的控制器，该agv装载有两个摄像头，两个摄像头生成的图像的图像坐标系与agv的行进方向平行或垂直。其中，第一摄像头的拍摄角度为竖直向上，用于拍摄目标货架的货架标识；第二摄像头的拍摄角度为竖直向下，用于拍摄预设采集位置标识。在agv向目标货架的行进过程中，当第二摄像头捕捉到的预设采集位置标识的中心点与第二摄像头的中心点重合时，表示agv已到达预设采集位置，agv停止移动。之后，agv的控制器从预设采集位置标识中识别出第一参考方向标识和第二参考方向标识，并基于第一参考方向标识和第二参考方向标识所指示的方向调整agv的姿态，例如可以将第一参考方向标识指示的方向作为agv的行
进方向。如此，实现了第一摄像头预设采集位置和预设采集姿态的确定，并且第一摄像头的图像坐标系中坐标轴的方向与目标货架的预设长度方向或预设宽度方向是平行或垂直的。
70.步骤306，从预设采集位置标识的图像中识别出第一参考方向标识和第二参考方向标识。
71.步骤307，将第一参考方向标识指示的方向确定为目标货架的预设长度方向，将第二参考方向标识指示的方向确定为目标货架的预设宽度方向，得到目标货架的预设姿态。
72.在本实施例中，可移动机器人调整货架位姿的方法运行于其上的电子设备可以通过步骤306与步骤307，从预设采集位置标识中确定出目标货架的预设姿态。
73.进一步地，若图像采集装置的预设姿态基于第一参考方向标识和第二参考方向确定的，则图像采集装置的图像坐标系与目标货架的预设姿态坐标系是平行的，有助于减少运算数据量，提高运算效率。
74.步骤308，将预设采集位置标识的中心点确定为目标货架的预设位置。
75.在本实施中，将图像采集装置采集图像时的预设采集位置确定为目标货架的预设位置，使得图像采集装置拍摄的图像的中心点与目标货架的预设位置在水平面内的投影是重合的，如此一来，货架标识的中心点相对于货架标识图像的中心点的相对位置与目标货架的当前位置与目标货架的预设位置的差值是线性相关的，可移动机器人调整货架位姿的方法运行于其上的电子设备只需结合图像采集装置的缩放系数即可确定目标货架的当前位置与目标货架的预设位置的差值，从而减少了运算量，提高运算效率。
76.步骤309，基于目标货架的预设姿态和目标货架的预设位置，确定目标货架的预设位姿。
77.本实施例中，经由步骤305至步骤309，可移动机器人调整货架位姿的方法运行于其上的电子设备可以从预设采集位置标识中识别出目标货架的预设位姿。
78.进一步结合步骤305中的示例进行说明，第一摄像头和第二摄像头的中心与agv的中心在竖直方向上共线，如此，agv在预设采集位置上调整至预设采集姿态时，第一摄像头的图像坐标系中坐标轴方向与目标货架的预设长度方向平行或垂直，如此，可移动机器人调整货架位姿的方法运行于其上的电子设备可以采用线性变换，基于目标货架在货架标识图像中的相对位姿确定出目标货架相对于预设位姿的差值。从而，降低了运算数据量，提高了运算效率。
79.步骤310，响应于目标货架的当前位姿与预设位姿的差值大于预设的偏差阈值，确定目标货架发生偏移。
80.步骤311，响应于确定目标货架发生偏移，基于目标货架的当前位姿与预设位姿的差值，生成搬运路径。
81.步骤312，将搬运路径发送至可移动机器人，以使可移动机器人按照搬运路径将目标货架的当前位姿调整至与预设位姿一致。
82.步骤310至步骤312与前述步骤103至105相对应，此处不再赘述。
83.从图3中可以看出，本实施例中的可移动机器人调整货架位姿的方法的流程300突出了如下内容：通过识别货架标识中目标货架的长度方向和宽度方向确定目标货架的当前姿态；通过识别区域标识确定目标货架的当前位置；通过识别预设采集位置标识确定目标货架的预设位姿。有助于降低运算量，提高运算效率。
84.在上述实施例的一些可选的实现方式中，可移动机器人调整货架位姿的方法还可以包括：响应于确定货架标识图像中不存在目标货架的货架标识，发送报警信息。
85.在本实现方式中，货架标识图像中不存在目标货架的货架标识表示目标货架的偏移距离过大，由此造成的安全风险也较大，此时，应通知运营人员进行查看，以排除安全隐患。
86.接下来参考图4，其示出了本公开的可移动机器人的一个实施例的结构示意图，如图4所示，可移动机器人400包括：第一图像采集装置401、顶升装置402和控制器(图中未示出)，其中，第一图像采集装置401固定设置于可移动机器人的车体上，被配置成竖直向上采集设置于货架底面的货架标识的图像；顶升装置402包括竖直运动组件403和旋转运动组件404，竖直运动组件403与旋转运动组件404连接，竖直运动组件403被配置成带动旋转运动组件404沿竖直方向运动，旋转运动组件404被配置成带动货架绕竖直方向转动；控制器与第一图像采集装置401和顶升装置402通信连接，被配置成执行上述可移动机器人调整货架位姿的方法中的步骤。
87.在本实施例中，可移动机器人可以是仓储agv，也可以是仓储amr(autonomous mobile robot，自主移动机器人)。可移动机器人的控制器中装载有上述实施例提供的可移动机器人调整货架位姿的方法，以此控制可移动机器人识别货架是否发生偏移，以及当货架发生偏移时，自动纠正货架的位姿，可以降低仓库的运营成本。
88.在一个示例中，可移动机器人为agv，agv车体的顶部设置有摄像头。agv可以通过内置的陀螺仪确定agv的实时位置和行进方向。当agv行进至目标货架的预设采集位置时，由控制器控制摄像头竖直向上拍摄货架底面的货架标识，并对得到的货架标识图像进行识别，以确定目标货架是否发生偏移。当确定目标货架发生偏移时，控制器基于目标货架当前位姿与预设位姿的差值生成搬运路径，并基于该搬运路径控制agv依次执行如下步骤：控制agv行进至目标货架底部的中心点；控制顶升装置中的竖直运动组件403上升以托起目标货架；控制旋转组件404带动目标货架转动，以将目标货架的姿态调整至与预设姿态一致；控制agv移动至目标货架的预设位姿所指向的位置；控制竖直运动组件下降，以将目标货架放置在地面上。完成目标货架的位姿纠正。
89.在本实施例的一些可选的实现方式中，可移动机器人还包括固定设置于可移动机器人的车体上的第二图像采集装置(图中未示出)，被配置成竖直向下采集设置于地面上的预设采集位置标识的图像；以及，控制器还被配置成：识别预设采集位置标识的图像，以控制可移动机器人移动至预设采集位置。
90.在本实现方式中，可以通过预设采集位置标识在仓库中标记出预设采集位置，如此，可移动机器人只需通过第二图像采集装置采集预设采集位置标识的图像，并由控制器对采集到的预设采集位置标识的图像进行识别，即可确定可移动机器人是否到达预设采集位置。
91.在本实施例的一些可选的实现方式中，旋转运动组件404包括水平设置的托盘，托盘的底面与竖直运动组件连接，且托盘的中心区域设置有竖直通孔，竖直通孔的中心轴与托盘的转轴共线；以及，第一图像采集装置401位于托盘在水平面内投影的通孔区域中。
92.在本实现方式中，托盘用于托举目标货架，在可移动机器人调整目标货架的姿态时，第一图像采集装置401可以通过托盘中心区域的通孔实时捕捉货架标识图像，以此，控
制器可以确定目标货架的当前姿态，并更新搬运路径，从而提高纠正货架姿态的准确度。
93.本公开的实施例提供的可移动机器人，可以通过第一图像采集装置采集目标货架的货架标识图像，以此识别出目标货架的当前姿态，并确定目标货架是否发生偏移。若确定目标货架发生偏移，则自动将目标货架的位姿调整至与预设位姿一致，可以降低运营成本。
94.本公开的实施例还提供了一种搬运系统，包括：货架、无人搬运车和上述可移动机器人，其中，货架的底面中心设置有货架标识；无人搬运车可移动机器人调整货架位姿；可移动机器人被配置成检测货架是否发生偏移，以及，将发生偏移的货架的位姿调整至预设位姿。
95.在本实施例中，无人搬运车用于执行日常的搬运任务，可移动机器人用于监控仓库中货架的位姿，若检测到货架的位姿发生偏移，则由可移动机器人自动将货架的位姿调整至与预设位姿一致，可以避免货架位姿偏移导致的安全隐患，并降低运营成本。
96.在本实施例的一些可选的实现方式中，该搬运系统至少包括第一可移动机器人和第二可移动机器人，被配置成：第一可移动机器人和第二可移动机器人分别检测货架是否发生偏移，并将第一可移动机器人和第二可移动机器人同时确定为发生偏移的货架确定为待调整货架；第一可移动机器人还被配置成将待调整货架的位姿调整至预设位姿；第二可移动机器人还被配置成检测待调整货架调整后的位姿是否发生偏移，以及，响应于确定待调整货架调整后的位姿发生偏移，发送报警信息。
97.在本实现方式中，通过第一可移动机器人与第二可移动机器人确定待调整的货架，并由第二可移动机器人检测待调整的货架调整后的位姿，可以提高可移动机器人调整货架位姿的容错性，避免可移动机器人发生故障导致货架位姿发生偏移，进一步降低风险。
98.进一步参考图5，作为对上述各图所示方法的实现，本公开提供了一种可移动机器人调整货架位姿的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
99.如图5所示，本实施例的可移动机器人调整货架位姿的装置500包括：图像获取单元501，被配置成获取目标货架的货架标识图像，货架标识图像为图像采集装置在预设采集位置以预设采集姿态拍摄目标货架的货架标识得到的图像，货架标识包括目标货架的位姿标识；图像识别单元502，被配置成从货架标识图像识别出目标货架的位姿标识，并基于目标货架的位姿标识，确定目标货架的当前位姿；位姿确定单元503，被配置成响应于目标货架的当前位姿与预设位姿的差值大于预设的偏差阈值，确定目标货架发生偏移；路径生成单元504，被配置成响应于确定目标货架发生偏移，基于目标货架的当前位姿与预设位姿的差值，生成搬运路径；路径发送单元505，被配置成将搬运路径发送至可移动机器人，以使可移动机器人按照搬运路径将目标货架的当前位姿调整至与预设位姿一致。
100.在本实施例中，货架标识的中心点与目标货架的中心点在水平面内的投影重合；位姿标识包括货架的长度方向标识、货架的宽度方向标识和距离标识，距离标识包括均匀分布于货架标识区域内的多个区域标识，每个区域标识表征该区域标识所在的区域距离货架标识的中心点的相对位置；以及，图像识别单元502进一步包括：当前姿态确定模块，被配置成基于货架标识图像中目标货架的长度方向标识和宽度方向标识，确定目标货架当前的长度方向和宽度方向，得到目标货架的当前姿态；当前位置确定模块，被配置成从货架标识图像中的区域标识中识别出目标货架相对于图像采集装置的相对位置，并基于目标货架相
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。
107.上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取目标货架的货架标识图像，货架标识图像为图像采集装置在预设采集位置以预设采集姿态拍摄目标货架的货架标识得到的图像，货架标识包括目标货架的位姿标识；从货架标识图像识别出目标货架的位姿标识，并基于目标货架的位姿标识，确定目标货架的当前位姿；响应于目标货架的当前位姿与预设位姿的差值大于预设的偏差阈值，确定目标货架发生偏移；响应于确定目标货架发生偏移，基于目标货架的当前位姿与预设位姿的差值，生成搬运路径；将搬运路径发送至可移动机器人，以使可移动机器人按照搬运路径将目标货架的当前位姿调整至与预设位姿一致。
108.可以以一种或多种程序设计语言或其组合来编写用于执行本公开的实施例的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
109.附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
110.描述于本公开的实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括图像获取单元、图像识别单元、位姿确定单元、路径生成单元和路径发送单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，图像获取单元还可以被
描述为“获取目标货架的货架标识图像的单元”。
111.以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。