一种基于三维空间计算与深度学习的仓储无人机盘点方法与流程

摘要: 本发明属于深度学习,具体涉及一种基于三维空间计算与深度学习的仓储无人机盘点方法。背景技术:1、随着物流行业的快速发展,仓储管理面临着库存规模大、盘点效率低、人工...
一种基于三维空间计算与深度学习的仓储无人机盘点方法与流程

本发明属于深度学习,具体涉及一种基于三维空间计算与深度学习的仓储无人机盘点方法。

背景技术:

1、随着物流行业的快速发展,仓储管理面临着库存规模大、盘点效率低、人工成本高等诸多挑战。传统仓储盘点方式主要依赖人工完成。而一个中等规模仓库(10000+sku)完成一次全面盘点通常需要3至7天,盘点准确率仅为95%至98%,且存在漏盘、错盘、重复盘等问题。为解决上述问题,业界先后提出了rfid批量盘点、固定摄像头盘点、移动机器人盘点等多种技术方案,但各自存在明显局限。

2、如公开号为cn114445469a的专利文献,公开了无人机自主调度的物料堆垛盘点装置、系统及其方法。其核心步骤包括:粗略扫描阶段:无人机对当前物料堆垛进行粗略扫描,获得粗略总体数据;变化区域确定阶段:基于所述粗略总体数据与总体索引数据进行对比,确定物料堆垛的变化区域;精细扫描阶段:对确定的变化区域进行精细扫描,获得精细总体数据;模型更新阶段:将精细总体数据与粗略总体数据进行配准,更新空间形态模型。该现有技术先粗扫定位变化区域,再精扫获取细节,在一定程度上减少了精细扫描的工作量,代表了仓储盘点领域从“全量盘点”向“定向盘点”的技术演进方向。

3、但是,该现有技术中所应用的总体索引数据仅为笼统的堆垛级别索引,未实现针对仓储中具体货架、层级、货位等精细化位置的关联,也缺乏具体业务与对应空间的双向绑定,未涉及体素级网格精确差分。因此导致无法逐级精确定位货位,无法实现精确差分检测,同时业务索引与空间数据割裂,导致盘点的时效性和精确性都难以保证的技术问题。

技术实现思路

1、本发明的目的是提供一种基于三维空间计算与深度学习的仓储无人机盘点方法,以解决现有技术中无法逐级精确定位货位,无法实现精确差分检测,同时业务索引与空间数据割裂,导致盘点的时效性和精确性都难以保证的技术问题。

2、所述的一种基于三维空间计算与深度学习的仓储无人机盘点方法,包括下列步骤:

3、包括下列步骤:

4、s1、设备初始化加载基准点云模型;

5、s2、无人机按预设航线自主巡航,激光雷达与摄像头同步采集点云与图像数据;

6、s3、执行点云预处理、与基准模型进行体素差分比对,通过rls三级空间索引聚合生成变化货位列表;

7、s4、边缘端轻量推理模型对变化货位优先识别,结构化稀疏化后传输至云端;

8、s5、云端执行高精度识别与语义标注;

9、s6、与仓储管理系统台账比对生成差异报告,差分更新基准模型,结果可视化展示。

10、优选的,步骤s1包括下列步骤:

11、s1.1、构建rls三级空间索引的数据结构, rls三级空间索引包括货架、层级、货位三级索引,货架、层级、货位属于仓储业务语义;rls三级空间索引将仓储业务语义编码与点云三维体素空间坐标进行显式双向绑定,使得差分运算的输出结果能直接定位到业务层面的具体货位;

12、s1.2、采集数据构建具有rls三级空间索引的基准点云模型。

13、优选的,步骤s1.2包括:

14、s1.2.1、检测出所有货架的三维边界框,同时获取每个货架的货架唯一编号;建立货架唯一编号与三维空间区域间的第一级映射关系;

15、s1.2.2、基于货架的三维点云,利用z轴方向点云密度峰值检测算法自动识别各层板位置,结合预设的货架层数将货架z轴范围划分为若干层级区间,建立相应货架下的层号与层级区间的第二级映射关系;

16、s1.2.3、在每个层级内,依据预设的货位行列数将该层的xy平面区间均匀划分为若干货位单元,建立货位唯一编号到货位精确三维包围盒的第三级映射关系;

17、s1.2.4、将整个仓库空间划分为体素网格边长均匀的三维体素网格,将三维包围盒内的所有体素的的坐标索引的加入货位对应的体素网格索引集合,建立货位唯一编号与体素网格索引集合之间的显式映射表;

18、s1.2.5、构建具有rls三级空间索引的基准点云模型。

19、优选的,步骤s3包括下列步骤:

20、s3.1、对采集的点云数据进点云预处理,包括噪声过滤和地面分割;

21、s3.2、货架提取:使用先验约束增强型多尺度仓储点云语义分割网络识别货架结构点云,实现语义级分割;

22、s3.3、与基准模型进行体素差分比对;

23、s3.4、精细扫描的动态优先级计算与实时更新;

24、s3.5、三维模型生成与语义标注;

25、s3.6、完成空间坐标计算。

26、优选的,步骤s3.2中,先验约束增强型多尺度仓储点云语义分割网络包括:

27、货架先验空间约束生成模块,用于计算每个货位的三维边界框,生成全局先验体素掩码,生成先验约束;

28、输入特征增强模块,用于处理原始点云数据,对每个点计算点级先验编码,与原始特征拼接得到增强输入特征;

29、三尺度集合抽象提取模块,用于处理增强输入特征得到局部特征、中间特征和全局特征,依次对应货位尺度、货架层级尺度和仓库全局尺度;

30、特征传播上采样模块,用于通过先验掩码约束仅对货物区域进行细粒度传播,输出融合特征;

31、多任务语义输出头,用于处理融合特征实现逐点语义分割标签、货位占用状态分类并进行货架层级识别。

32、优选的,输入特征增强模块中,对输入的每个点,计算其与最近的货位包围盒prior_bbox的空间关系编码,三尺度集合抽象提取模块的每个集合抽象层,对局部区域内的点对计算基于先验的注意力偏置;

33、三尺度集合抽象提取模块中的具体流程如下:

34、步骤1、局部邻域构建;对集合抽象层中的每个点,采用球形邻域查询找到半径内的多个邻居点,同时获取每个邻居点的增强特征,增强特征包含对应的点级先验编码和反射强度;

35、步骤2、联合注意力权重计算对邻域内的每个邻居点计算联合注意力权重;

36、步骤3、注意力加权特征聚合;用注意力权重对邻域特征进行加权求和,以替代原始最大池化操作;

37、步骤4、多尺度特征提取;提取了三个尺度的特征,包括货位尺度的局部特征、货架层级尺度的中间特征和仓库尺度的全局特征;

38、三个不同尺度的集合抽象层各自学习对应尺度的语义特征,联合注意力机制在每个集合抽象层内部独立运行。

39、优选的,特征传播上采样模块中,将三尺度特征融合并上采样至原始点数具体步骤如下:

40、步骤1、逐级上采样;采用pointnet++的插值特征传播从全局特征到中间特征再到局部特征,依次逐层上采样,每步使用k近邻插值和原特征拼接;

41、步骤2、先验掩码约束引导精化;在中间特征到局部特征的上采样阶段,引入先验空间约束掩码对特征传播施加空间约束:对于非货架区域、地面这些点,其特征传播直接使用轻量线性插值,不经过额外mlp精化;对于货位内部区域的点,执行完整mlp精化特征传播;

42、步骤3、特征融合:将上采样后的多尺度特征与增强输入特征拼接,通过2层共享mlp得到融合特征。

43、优选的,在多任务输出头基于融合特征执行三项并行任务:

44、逐点语义分割,输出每个点属于语义分类的概率分布;

45、货位占用分类,对每个货位包围盒内的点特征做平均池化,再进行分类,输出满载/空置/部分占用三类状态;

46、货架层级识别,对货架层高度区间内的点特征做全局平均池化,再进行分类,输出货架层级编号。

47、优选的,步骤s3.3包括下列子步骤:

48、s3.3.1、体素占用更新:无人机采集当前点云数据后,利用体素化函数计算全局体素占用矩阵;

49、s3.3.2、差分向量计算:对全局体素网格执行逐元素差分,得到全局差分矩阵;

50、s3.3.3、货位级变化量聚合;遍历所有货位,对于每一个货位,首先依据该货位预先绑定好的体素索引集合,检索出隶属于该货位空间范围内的全部体素网格;随后将这部分体素在当前采集点云与基准点云之间的全局差分矩阵进行累加求和,得出该货位的总体积变化量;对该货位的总体积变化量进行阈值比较:若超过阈值,则判定该货位的库存发生了实质性变化,将其id记录至变化货位列表中;同时基于该货位的具体变化量调用优先级评分函数,为该货位计算后续精细扫描的作业优先级,从而引导无人机优先处理变化最显著或业务价值最高的库位。

51、优选的,步骤s3.4包括:优先级评分公式:

52、

53、其中,为优先级评分,为归一化体素变化量,反映变化程度大小;为变化置信度,反映差分结果可靠性;为业务紧急程度,来自仓储管理系统的外部输入;为飞行路径代价,反映访问该货位的路径效率;依次为对应的权重系数;

54、优先级实时更新机制包括:

55、触发条件一:差分检测完成后的批量初始化;

56、触发条件二:无人机飞行位置更新时的路径代价重算;

57、触发条件三:精细扫描完成后的结果反馈更新;

58、触发条件四:仓储管理系统业务数据变化时的实时注入。

59、本发明具有以下优点:本发明将仓库货架的三维空间布局信息,即货架位置、层高、货位边界,作为先验知识嵌入点云分割过程,通过空间约束滤除货架结构区域点云,保留货物区域点云。同时提取货位级、货架层级、整体仓库级三个尺度的语义特征,实现粗粒度定位到细粒度识别的逐级精化,解决单一感受野下对堆叠货物边界模糊的问题。盘点过程中,对变化货位进行精细识别,相比全量扫描方式,无人机飞行时间和识别计算量大为减少。将具体业务与对应空间的双向绑定,可直接关联wms业务系统查询货位对应的sku信息,无需坐标逆推,实现了差分结果到业务货位的零延迟映射;同时以变量(变化货位)引导盘点,并实现体素级网格精确差分,兼顾了盘点的时效性和精确性。