货物拣选方法、装置和仓储系统与流程

本技术涉及仓储物流，尤其是涉及一种货物拣选方法、装置和仓储系统。

背景技术：

1、在仓储场景中，机器人可以将货箱或货架从库存区域搬运至工作站，再由工作站的拣选人员或拣选设备将订单所需的货物从货箱中拣出，并播种至播种墙上对应的订单箱中。当拣选人员执行拣选操作时，若仓储系统中订单数量较多，所需的人工成本较高，且拣选效率较低；当拣选设备执行拣选操作时，会出现拣选异常的情况，从而影响拣选效率。

技术实现思路

1、为了解决上述问题，本技术实施例提供了一种货物拣选方法、装置和仓储系统，能够提高仓储系统的拣选效率。具体地，本技术实施例公开了以下技术方案：

2、本技术实施例第一方面提供一种货物拣选方法，包括：在目标容器中确定待拣选的目标对象；确定取放装置，并确定取放装置上用于拾取目标对象的目标拾取机构；其中，取放装置包括多个拾取机构，目标拾取机构为多个拾取机构中的至少一个；基于图像采集装置采集到的包括目标对象的第一图像、目标对象的属性信息和目标对象对应的拾取提示信息中的至少一项，确定目标对象对应的第一目标拾取信息；基于第一目标拾取信息，控制目标拾取机构从目标容器中拾取目标对象并将目标对象转移至目标位置。

3、在一些实施例中，上述确定取放装置上用于拾取目标对象的目标拾取机构，包括：基于接收到的目标对象对应的拣选任务指示的至少一个候选拾取机构，确定目标拾取机构；或者，基于目标对象的属性信息，在多个拾取机构中确定目标拾取机构。

4、在一些实施例中，上述基于目标对象的属性信息，在多个拾取机构中确定目标拾取机构，包括：基于目标对象的属性信息，以及多个拾取机构中各拾取机构的设备参数，在多个拾取机构中确定目标拾取机构；其中，属性信息包括目标对象的类型、尺寸、重量和形状中的至少一项；设备参数包括拾取机构的尺寸、材质、硬度、拾取力度、形状和重量中的至少一项。

5、在一些实施例中，上述基于目标对象的属性信息，在多个拾取机构中确定目标拾取机构，包括：基于目标对象的属性信息和第一知识库中，在多个拾取机构中确定目标拾取机构；其中，第一知识库中包括多个对象的属性信息与多个拾取机构的设备参数之间的第一对应关系。

6、在一些实施例中，上述基于图像采集装置采集到的目标对象的第一图像、目标对象的属性信息和目标对象对应的拾取提示信息中的至少一项，确定目标对象对应的第一目标拾取信息，包括：基于第一图像、目标对象的属性信息和拾取提示信息，通过目标识别模型，确定目标对象对应的第一目标拾取信息；其中，拾取提示信息用于指示拾取目标对象的至少一个约束信息。

7、在一些实施例中，上述基于第一图像、目标对象的属性信息和拾取提示信息，通过目标识别模型，确定目标对象对应的第一目标拾取信息，包括：基于第一图像，通过目标识别模型中的视觉处理网络，得到目标对象对应的第一特征信息；其中，第一特征信息用于表征目标对象对应的分割结果、深度信息和堆叠关系信息中的至少一项；基于目标对象的属性信息和拾取提示信息，通过目标识别模型中的编码网络，得到属性信息对应的第二特征信息，以及拾取提示信息对应的第三特征信息；基于第一特征信息、第二特征信息和第三特征信息，通过目标识别模型中的特征融合网络，确定目标对象对应的第一目标拾取信息；其中，第一目标拾取信息包括拾取位置和拾取方向。

8、在一些实施例中，第一图像包括多路视觉图像；上述基于第一图像，通过目标识别模型中的视觉处理网络，得到目标对象对应的第一特征信息，包括：通过视觉处理网络中的图像分块模块对各路视觉图像进行分块处理，得到第一输出序列；其中，第一输出序列包括各路视觉图像对应的图像块；通过视觉处理网络中的位置编码模块对第一输出序列中各图像块进行位置编码，得到第二输出序列；通过视觉处理网络中的特征提取模块对第二输出序列进行特征提取处理，得到特征向量；将特征向量输入至视觉处理网络中的任务模块，得到第一特征信息。

9、在一些实施例中，上述基于目标对象的属性信息和拾取提示信息，通过目标识别模型中的编码网络，得到属性信息对应的第二特征信息，以及拾取提示信息对应的第三特征信息，包括：通过编码网络中的第一编码模块对目标对象的属性信息进行本文编码，得到第一特征信息；通过编码网络中的第二编码模块对拾取提示信息进行本文编码，得到第二特征信息。

10、在一些实施例中，上述基于第一特征信息、第二特征信息和第三特征信息，通过目标识别模型中的特征融合网络，确定目标对象对应的第一目标拾取信息，包括：通过特征融合网络中的拼接模块对第一特征信息、第二特征信息和第三特征信息进行拼接处理，得到联合特征；通过特征融合网络中的识别分析模块对联合特征进行处理，得到第一目标拾取信息。

11、在一些实施例中，上述基于图像采集装置采集到的目标对象的第一图像、目标对象的属性信息和目标对象对应的拾取提示信息中的至少一项，确定目标对象对应的第一目标拾取信息，包括：基于第一图像和第二知识库，确定目标对象对应的第一目标拾取信息；其中，第二知识库中包括多个对象的特征信息与多个拾取信息之间的第二对应关系，特征信息包括对象的图像和/或标识。

12、在一些实施例中，上述方法还包括：在第二知识库中不存在目标对象对应的第一目标拾取信息的情况下，基于第一图像、目标对象的属性信息和目标对象对应的拾取提示信息，通过目标识别模型确定目标对象对应的第一目标拾取信息。

13、在一些实施例中，上述方法还包括：在目标拾取机构基于第一目标拾取信息对目标对象拾取失败的情况下，控制目标拾取机构再次基于第一目标拾取信息拾取目标对象；在目标拾取机构基于第一目标拾取信息对目标对象拾取失败的次数达到第一预设次数的情况下，控制目标拾取机构对目标对象在目标容器中的位姿进行调整；获取图像采集装置采集到的调整后的包括目标对象的第二图像；基于第二图像、目标对象的属性信息和目标对象对应的拾取提示信息中的至少一项，确定目标对象对应的第二目标拾取信息；基于第二目标拾取信息，控制目标拾取机构从目标容器中拾取目标对象。

14、在一些实施例中，上述方法还包括：在第二知识库中不存在目标对象对应的拾取信息的情况下，基于第一图像和第一目标拾取信息，对第二知识库进行更新；或者，基于第二图像和第二目标拾取信息，对第二知识库进行更新。

15、在一些实施例中，上述方法还包括：在目标拾取机构基于第二目标拾取信息对目标对象拾取失败的情况下，控制输出设备输出异常提示信息；指示执行对象基于异常提示信息操作目标拾取机构，以使目标拾取机构对目标对象执行拾取操作；在目标拾取机构对目标对象拾取成功的情况下，基于拾取成功时目标对象的拾取信息对第二知识库进行更新。

16、在一些实施例中，上述方法还包括：在目标拾取机构对目标对象拾取失败的情况下，将目标对象标记为异常拣选对象，并在目标容器中确定下一个待拣选对象。

17、在一些实施例中，上述确定取放装置之后，该方法还包括：获取图像采集装置采集到的包括所述目标对象的第一图像；基于第一图像、目标对象的属性信息、目标对象对应的拾取提示信息，以及取放装置的多个拾取机构中各拾取机构的设备参数，通过目标识别模型，在多个拾取机构中确定目标拾取机构和目标对象对应的第一目标拾取信息；基于第一目标拾取信息，控制目标拾取机构从目标容器中拾取目标对象并将目标对象转移至目标位置。

18、在一些实施例中，上述基于第一图像、目标对象的属性信息、目标对象对应的拾取提示信息，以及取放装置的多个拾取机构中各拾取机构的设备参数，通过目标识别模型，在多个拾取机构中确定目标拾取机构和目标对象对应的第一目标拾取信息，包括：基于第一图像，通过目标识别模型中的视觉处理网络，得到目标对象对应的第一特征信息；其中，第一特征信息用于表征目标对象对应的分割结果、深度信息和堆叠关系信息中的至少一项；基于目标对象的属性信息、拾取提示信息和各拾取机构的设备参数，通过目标识别模型中的编码网络，得到属性信息对应的第二特征信息、拾取提示信息对应的第三特征信息，以及各拾取机构的设备参数对应的第四特征信息；基于第一特征信息、第二特征信息、第三特征信息和第四特征信息，通过目标识别模型中的特征融合网络，确定目标拾取机构和目标对象对应的第一目标拾取信息。

19、在一些实施例中，目标对象上设置有目标标识码，上述方法还包括：在目标拾取机构拾取到目标对象的情况下，通过图像采集装置采集包括目标对象的至少一个第三图像；在至少一个第三图像包括目标标识码的情况下，识别目标标识码；在目标标识码用于指示目标对象的情况下，对目标对象的库存信息进行更新；在目标标识码无法识别，或者，基于目标标识码无法确定目标对象的情况下，将目标对象标记为异常拣选对象，并将目标对象放回至目标容器，在目标容器中确定下一个待拣选对象。

20、在一些实施例中，上述方法还包括：在第三图像不包括目标标识码的情况下，控制取放装置对目标拾取机构的角度进行调整；其中，目标拾取机构调整角度的次数不超过第二预设次数；基于调整后的目标拾取机构，通过图像采集装置重新采集包括目标对象的至少一个第四图像。

21、在一些实施例中，上述方法还包括：在目标拾取机构从目标容器中拾取到目标对象后，通过图像采集装置采集包括目标对象的至少一个第五图像；基于至少一个第五图像，在确定目标拾取机构拾取了多个候选对象的情况下，确定目标拾取机构发生双拣异常；其中，多个候选对象包括目标对象和除目标对象外的至少一个其他对象；在确定目标拾取机构发生双拣异常的情况下，控制目标拾取机构将拾取的多个候选对象放回至目标容器，并控制目标拾取机构在基于第一目标拾取信息重新拾取目标对象。

22、在一些实施例中，上述方法还包括：在目标拾取机构将拾取到的目标对象转移至订单容器后，通过订单容器对应的重量采集装置确定订单容器的重量信息；其中，目标位置包括目标对象对应的订单容器；基于订单容器的重量信息和目标对象的重量信息，确定目标拾取机构是否存在双拣异常；在确定目标拾取机构发生双拣异常的情况下，将订单容器标记为异常订单容器，并控制输出设备输出异常提示信息，以指示执行对象对异常订单容器进行异常处理。

23、本技术实施例第二方面提供一种货物拣选装置，包括：第一确定模块、第二确定模块、第三确定模块和控制模块。其中：第一确定模块被配置为：在目标容器中确定待拣选的目标对象。第二确定模块被配置为：确定取放装置，并确定取放装置上用于拾取目标对象的目标拾取机构；其中，取放装置包括多个拾取机构，目标拾取机构为多个拾取机构中的至少一个。第三确定模块被配置为：基于图像采集装置采集到的目标对象的第一图像、目标对象的属性信息和目标对象对应的拾取提示信息中的至少一项，确定目标对象对应的第一目标拾取信息。控制模块被配置为：基于第一目标拾取信息，控制目标拾取机构从目标容器中拾取目标对象，并将目标对象转移至目标位置。

24、本技术实施例第三方面提供一种仓储系统，包括：取放装置和控制装置。其中：取放装置包括多个拾取机构，用于从容器中拾取待拣选对象。控制装置被配置为：在目标容器中确定待拣选的目标对象；确定取放装置，以及取放装置上用于拾取目标对象的目标拾取机构，目标拾取机构为多个拾取机构中的至少一个；基于图像采集装置采集到的目标对象的第一图像、目标对象的属性信息和目标对象对应的拾取提示信息中的至少一项，确定目标对象对应的第一目标拾取信息；基于第一目标拾取信息，生成拣选指令，并向取放装置发送拣选指令。取放装置被配置为：基于拣选指令，控制目标拾取机构从目标容器中拾取目标对象，并将目标对象转移至目标位置。

25、本技术实施例第四方面提供了一种电子设备，包括：处理器和存储器，所述存储器，用于存储计算机可执行指令；所述处理器，用于从所述存储器中读取所述指令，并执行所述指令以实现前述第一方面所述的货物拣选方法。

26、本技术实施例第五方面提供了一种计算机可读存储介质，所述存储介质存储有计算机程序指令，当计算机读取所述指令时，执行前述第一方面所述的货物拣选方法。

27、本技术实施例第六方面提供了一种计算机程序产品，该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，该计算机程序包括程序指令，当该程序指令被计算机执行时，使该计算机执行前述第一方面所述的货物拣选方法。

28、本技术实施例第七方面提供一种计算机程序，当该计算机程序被处理器执行时，可以实现前述第一方面所述的货物拣选方法。

29、本技术实施例提供的货物拣选方法、装置和仓储系统，通过在目标容器中确定待拣选的目标对象，并确定对目标对象执行拣选的取放装置，以及取放装置上用于拾取目标对象的目标拾取机构。在确定目标拾取机构后，进一步确定目标拾取机构拾取目标对象的第一目标拾取信息(如拾取位置和拾取方向)，目标拾取机构基于第一目标拾取信息拾取目标对象。由于第一目标拾取信息是基于目标对象对应的第一图像，目标对象的属性信息，以及目标对象对应的拾取提示信息确定的，第一目标拾取信息更加符合目标对象的拾取要求，从而便于取放装置(如目标拾取机构)能够更加准确高效地拾取到目标对象，提高了取放装置拣选的准确性和拣选效率。因此，本技术实施例可以提高取放装置的拣选效率和拣选准确性，以及仓储系统的整体工作效率。