物流分拣过程中包裹信息跟踪方法和装置、设备及介质与流程
本技术涉及仓储物流自动化,尤其涉及一种物流分拣过程中包裹信息跟踪方法和装置、设备及介质。
背景技术:
1、在物流自动分拣系统中,包裹经六面扫设备获取面单信息后落入分拣滑槽,后续需将包裹与面单信息进行关联,以便在装笼环节准确获知每个包裹的身份。物流分拣过程中包裹信息跟踪方法能够使后端装笼人员或自动化设备无需重新扫码即可获知堆叠包裹的面单信息,从而提升分拣效率。并且,提高包裹信息跟踪的准确性,可以有效避免因身份错误导致的错分、错装,降低物流差错率,实现分拣全流程的自动化与智能化。
2、目前,相关技术通常是在滑槽沿线部署单一视角的二维(2-dimension,2d)相机或三维(3-dimension,3d)相机,对分拣包裹进行动态位置检测,并将该标识与滑槽入口处绑定的面单信息进行关联。然而,当包裹在滑槽中发生堆叠或被严重遮挡时,包裹的姿态和外观会发生剧烈变化,相关技术所采用的方法容易导致目标丢失或动态位置检测错误,且包裹在不同相机视野间切换时容易丢失身份绑定,导致包裹跟踪失败。一旦包裹跟踪中断,系统无法自动准确地恢复包裹与面单的绑定关系,降低了分拣效率。
技术实现思路
1、本技术实施例的主要目的在于提出了一种物流分拣过程中包裹信息跟踪方法和装置、设备及介质,能够自动准确地保持包裹与面单的绑定关系,提高包裹信息跟踪的准确性,从而提高物流分拣效率。
2、为实现上述目的,本技术实施例的第一方面提出了一种物流分拣过程中包裹信息跟踪方法,该方法包括:
3、在包裹进入滑槽之前的分拣传送过程中,获取物流分拣场景中待检测包裹的多角度三维点云数据和面单数据;
4、基于所述多角度三维点云数据提取所述待检测包裹的第一多模态特征,并将所述多角度三维点云数据、所述面单数据、和所述第一多模态特征进行数据绑定,得到所述待检测包裹的包裹画像并存储至预设的画像数据库中;
5、当待检测包裹作为目标包裹进入滑槽入口,调用在所述滑槽入口设置的第一三维相机采集所述目标包裹的图像数据,并对所述图像数据进行特征提取,得到所述目标包裹的第二多模态特征;
6、基于所述第二多模态特征和所述画像数据库中的包裹画像进行相似度匹配,并根据匹配结果将所述目标包裹、匹配的包裹画像以及匹配的包裹画像中的面单数据进行绑定;
7、针对已绑定面单数据的所述目标包裹,调用沿滑槽分布设置的多个第二三维相机连续采集所述目标包裹的当前序列帧图像,并确定所述目标包裹在所述当前序列帧图像中的第一检测位置;
8、根据所述当前序列帧图像对应的上一帧图像,预测所述目标包裹在当前序列帧图像中的第二检测位置,并提取所述目标包裹在所述上一帧图像的历史点云特征和历史纹理特征;其中,所述上一帧图像为在采集当前序列帧图像之前同一目标包裹的上一序列帧图像;
9、基于所述第一多模态特征、目标包裹在当前序列帧图像的第一检测位置、所述第二检测位置、所述历史点云特征和所述历史纹理特征进行多特征融合匹配,得到综合匹配得分;
10、在连续采集序列帧图像的过程中,当根据所述综合匹配得分检测到所述目标包裹发生姿态变化时,对匹配的包裹画像和当前检测到的包裹点云特征进行点云配准,根据配准结果维持所述目标包裹与所述面单数据的绑定关系,并更新所述画像数据库中所述目标包裹的包裹画像。
11、为实现上述目的,本技术实施例的第二方面提出了一种物流分拣过程中包裹信息跟踪装置,该装置包括:
12、数据获取模块,用于在包裹进入滑槽之前的分拣传送过程中,获取物流分拣场景中待检测包裹的多角度三维点云数据和面单数据;
13、数据绑定模块,用于基于所述多角度三维点云数据提取所述待检测包裹的第一多模态特征,并将所述多角度三维点云数据、所述面单数据、和所述第一多模态特征进行数据绑定,得到所述待检测包裹的包裹画像并存储至预设的画像数据库中;
14、第一特征提取模块,用于当待检测包裹作为目标包裹进入滑槽入口,调用在所述滑槽入口设置的第一三维相机采集所述目标包裹的图像数据,并对所述图像数据进行特征提取,得到所述目标包裹的第二多模态特征;
15、画像匹配模块,用于基于所述第二多模态特征和所述画像数据库中的包裹画像进行相似度匹配,并根据匹配结果将所述目标包裹、匹配的包裹画像以及匹配的包裹画像中的面单数据进行绑定;
16、位置预测模块,用于针对已绑定面单数据的所述目标包裹,调用沿滑槽分布设置的多个第二三维相机连续采集所述目标包裹的当前序列帧图像,并确定所述目标包裹在所述当前序列帧图像中的第一检测位置;
17、第二特征提取模块,用于根据所述当前序列帧图像对应的上一帧图像,预测所述目标包裹在当前序列帧图像中的第二检测位置,并提取所述目标包裹在所述上一帧图像的历史点云特征和历史纹理特征;其中,所述上一帧图像为在采集当前序列帧图像之前同一目标包裹的上一序列帧图像;
18、融合匹配模块,用于基于所述第一多模态特征、目标包裹在当前序列帧图像的第一检测位置、所述第二检测位置、所述历史点云特征和所述历史纹理特征进行多特征融合匹配,得到综合匹配得分
19、更新模块,用于在连续采集序列帧图像的过程中,当根据所述综合匹配得分检测到所述目标包裹发生姿态变化时,对匹配的包裹画像和当前检测到的包裹点云特征进行点云配准,根据配准结果维持所述目标包裹与所述面单数据的绑定关系,并更新所述画像数据库中所述目标包裹的包裹画像。
20、为实现上述目的,本技术实施例的第三方面提出了一种电子设备,所述电子设备包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现上述第一方面实施例任一项所述的方法。
21、为实现上述目的,本技术实施例的第四方面还提出一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现上述第一方面实施例任一项所述的方法。
22、本技术实施例提出的物流分拣过程中包裹信息跟踪方法和装置、设备及介质,在对物流分拣场景的包裹信息跟踪时,可以基于待检测包裹的多角度三维点云数据提取第一多模态特征,并结合多角度三维点云数据和面单数据进行数据绑定,得到待检测包裹的包裹画像并存储至预设的画像数据库中;当待检测的目标包裹进入滑槽入口,可以调用在滑槽入口预设的第一三维相机采集图像数据,并对图像数据进行特征提取得到第二多模态特征;进一步地,基于第二多模态特征和存储在画像数据库中的包裹画像进行相似度匹配,并根据匹配结果将目标包裹、匹配的包裹画像以及面单数据进行绑定;针对已绑定面单数据的目标包裹,调用沿滑槽分布的多个第二三维相机连续采集目标包裹的当前序列帧图像,确定目标包裹在当前序列帧图像中的第一检测位置,即包裹的实际位置,并根据当前序列帧图像的上一帧图像,预测目标包裹在当前序列帧图像中的第二检测位置;之后,基于提取的目标包裹在上一帧图像的历史点云特征和历史纹理特征、第一多模态特征、第一检测位置以及第二检测位置进行多特征融合匹配,得到综合匹配得分;最后,在连续采集序列帧图像的过程中,当根据综合匹配得分检测到目标包裹发生姿态变化时,对匹配的包裹画像和当前检测到的包裹点云特征进行点云配准,根据配准结果维持目标包裹与面单数据的绑定关系,并更新画像数据库中目标包裹的包裹画像。由此可知,本技术实施例可以通过主线预生成包裹画像并在滑槽入口完成初始绑定,再结合帧间运动预测、历史特征以及初始画像特征进行多维度融合匹配,能够有效应对包裹在滑槽中因堆叠、部分遮挡导致的帧间匹配不稳定问题。如此,本技术实施例能够自动准确地保持包裹与面单的绑定关系,提高包裹信息跟踪的准确性,从而提高物流分拣效率。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com