基于注意力引导的可穿戴库存管理与辅助系统的制作方法

摘要: 本技术涉及图像识别与库存管理领域,尤其涉及一种基于注意力引导的可穿戴库存管理与辅助系统。背景技术:1、在现有仓储环境中,库存登记多采用手持条形码扫描仪或移动式扫...
基于注意力引导的可穿戴库存管理与辅助系统的制作方法

本技术涉及图像识别与库存管理领域,尤其涉及一种基于注意力引导的可穿戴库存管理与辅助系统。

背景技术:

1、在现有仓储环境中,库存登记多采用手持条形码扫描仪或移动式扫描设备,要求工作人员对准条码、按下触发键并等待解码结果,但此类系统存在特定局限:扫描设备占用操作人员双手,降低拣选及分拣效率,且扫描设备基于单次读取进行识别,在运动模糊、聚焦不良或密集条码场景下易产生误判,同时无法捕捉操作人员视觉注意力,条码出现在视野内不代表人员刻意识别,且缺乏任务背景与注意力状态的整合,难以提供精准智能引导。

2、部分智能眼镜仓储系统虽具备可视化拣选指引,但仍以条码可见性作为触发库存操作的依据,无法区分主动观察与偶然可见,亦无法充分验证观测结果的可靠性,且缺乏对污渍、形变等质量缺陷的精准记录与追溯,在碰撞事故发生后,系统难以快速定位受损产品及位置偏移量,在人员操作监控方面,无法通过姿态变化及注意力分布预判对货架及产品的潜在影响,致使堆叠安全风险无法提前识别,且摆放及取用过程中缺乏注意力引导的路径优化,易造成产品分隔摆放错乱进而导致仓储效率低下。

3、因此,设计一种通过机器视觉引导进行入库扫描、提升外观与性能监控质量、检测人员行为姿态及注意力焦点、预测碰撞风险并快速预警的可穿戴库存管理与辅助系统是很有必要的。

技术实现思路

1、本发明的目的在于提供基于注意力引导的可穿戴库存管理与辅助系统,以解决上述背景技术中提出的问题。

2、为了解决上述技术问题,本发明提供如下技术方案:基于注意力引导的可穿戴库存管理与辅助系统,所述系统的运行方法包括以下步骤:

3、采集视觉图像确认用户与产品的相对位置关系,同时采集所述用户瞳孔朝向信息对所述视觉图像进行投影,将所述投影覆盖区域标记为取景区域并划定取景框,对所述取景框内条形码进行识别;

4、根据所述产品特征点与所述条形码之间相对空间关系对所述条形码安装位置进行锁定,确认所述产品是否为初次入库并进行差异标注,对所述产品所在类别的所述安装位置与实际检测安装位置偏移情况进行更新记录;

5、对比所述产品与预设标准产品的外观特征与放置规则,根据异常产品像素点组建区域对应纹理边缘区域特征与预设特征库的相似度匹配结果确认所述产品的异常类型,从所述产品边缘轮廓向外发射射线并监控反射轨迹,根据所述轨迹异常情况确定产品堆积程度;

6、对用户姿态进行监控,根据所述用户关节点坐标与所述产品边缘距离及所述产品类别对应的碰撞参数分析出用户姿态对所述产品影响并进行预警,监控所述产品实时位移对碰撞事件进行预警。

7、根据上述技术方案,所述对所述取景框内条形码进行识别,包括:

8、采集包含用户视野场景的初始图像,分割所述初始图像获得区域图像,根据所述区域图像的外部特征进行相似度检索,将相似度位于特定阈值内的属性标记为产品属性,根据所述属性信息对所述初始图像进行信息标注;

9、对所述标注内容进行分析,提取所述用户在所述初始图像中的第一坐标及产品在所述初始图像中的第二坐标,根据所述第一坐标与所述第二坐标计算所述用户与所述产品之间的相对位置关系;

10、根据所述相对位置关系确定所述用户相对于所述产品的空间方位,采集所述用户在所述空间方位下的瞳孔朝向信息,依据所述瞳孔朝向信息对所述初始图像进行投影,将所述投影覆盖区域标记为取景区域并确定瞬时取景框,所述瞬时取景框面积小于所述取景区域并遵循视觉规律;

11、逐帧对比所述瞬时取景框,对重叠区域中被连续覆盖时长超过预设时长阈值的条形码执行识别操作,提取所述条形码所包含的产品类别、生产日期和体积参数。

12、根据上述技术方案,所述确认所述产品是否为初次入库并进行差异标注,包括:

13、当同一所述瞬时取景框内出现多个条形码时,对比各条形码对应的产品特征点与用户之间的向量距离,识别最低向量距离所在条形码;

14、根据所述条形码识别结果确定所述产品的特征点与所述条形码之间的第二相对空间关系,基于所述第二相对空间关系锁定所述条形码的相对安装位置并确认所述产品是否为初次入库;

15、若为初次入库,则将所述条形码对应的所述产品档案信息及区域位置信息进行上传标注,反之则将所述产品的存储日期更新为当前入库日期;

16、提取所述条形码在所述产品表面的相对安装位置,根据所述产品的类别调取该类产品对应的预设区域位置,将所述相对安装位置与所述预设区域位置进行比对;

17、判断所述相对安装位置是否落入所述预设区域范围内,若未落入,则将所述相对安装位置记录为区域偏移量,将所述区域偏移量连同所述产品的类别信息及条形码识别结果进行关联标注并进行上传,同时更新该类别产品对应的预设区域位置,反之则维持所述预设区域位置不变并完成当前入库操作。

18、根据上述技术方案,所述对比所述产品与预设标准产品的外观特征与放置规则,包括:

19、将所述取景区域图像中入库产品的外观特征与预设标准产品模型进行逐像素对比,将相似度低于特定阈值的像素点标记为异常像素点,对所述异常像素点组建异常区域进行特征提取,提取每一所述异常区域的纹理特征与边缘梯度特征,将所述纹理特征与所述边缘梯度特征分别与预设污渍特征库及预设形变特征库进行检索匹配,获得匹配结果;

20、若所述匹配结果指示所述异常区域的纹理特征与所述预设污渍特征库相匹配,则判定所述异常区域为污渍区域;

21、若所述匹配结果指示所述异常区域的边缘梯度特征与所述预设形变特征库相匹配,则判定所述异常区域为形变区域;

22、根据所述产品类别调取对应的敏感度等级,根据所述敏感度等级确定所述污渍区域或所述形变区域对产品性能的影响系数,根据所述影响系数对所述污渍区域或所述形变区域执行对应标记粒度的标注操作,生成已标注差异图像,将所述已标注差异图像反馈至用户终端。

23、根据上述技术方案,所述从所述产品边缘轮廓向外发射射线并监控反射轨迹,包括:

24、根据所述标注内容获取当前货架上所述产品的放置数量,根据所述放置数量及所述条形码识别结果判断是否存在遮挡堆叠;

25、若存在所述遮挡堆叠,则检测堆叠区域中库存产品的类别与间距,将所述间距与预设标准摆放间距进行比对以判断摆放方式是否合规;

26、若不合规,则生成摆放异常反馈并确定缺陷类型;将所述缺陷类型及对应的产品信息上传至云服务器,锁定缺陷位置并标记重点区域;

27、根据所述缺陷类型执行退换货判断并检索所述产品的预设摆放需求,根据所述摆放需求更新货架状态,确定单个产品的边缘轮廓,从所述边缘轮廓向外发射射线,当所述射线的反射轨迹超出预设区域范围时,标记所述异常反射轨迹所在位置为产品堆积区域并向用户发送通知;

28、当所述产品堆积区域的堆积程度超出预设阈值时,对并列或堆叠的产品根据其重量及所在货架位置进行安全承重建模预估,若堆叠数量超出安全阈值且产品位于货架外部,则生成位置更改预警。

29、根据上述技术方案,所述分析出用户姿态对所述产品影响并进行预警,包括:

30、实时采集用户眼睛与身体关节点坐标并计算监控距离,构建包含所述用户的身体姿态骨架、产品空间占位区域的三维动态模型;

31、识别所述用户的当前姿态类型,当任一身体关节点与所述产品边缘距离小于预设安全阈值时,提取当前关节角度与运动矢量,判断所述用户操作行为的动作类型,确定施力方向与趋势,预测所述产品下一时刻的受力偏移方向;

32、根据关节点相对位置变化计算所述用户身体重心偏移量,判断用户是否处于失稳姿态,若用户失稳,根据重心偏移方向预测其与所述产品的接触位置;

33、按所述产品类别调取对应易碎等级与耐受偏移阈值,叠加所述受力偏移方向与接触位置分析,得到产品预估受力分布,若超出所述耐受偏移阈值,生成与所述易碎等级正相关的危险预警等级,并将所述预警等级及对应信号转换为语音指令输出至用户终端。

34、根据上述技术方案,所述监控所述产品实时位移对碰撞事件进行预警,包括:

35、连续采集多帧所述瞬时取景框内的产品图像,提取每一帧所述产品图像中的边缘轮廓并逐帧进行像素对比,计算所述边缘轮廓位移矢量并记录对应的帧间时间差后将比值标记为实时偏移速率,根据所述易碎等级对所述位移矢量进行加权计算,获得加权偏移量;

36、对比所述加权偏移量与所述耐受偏移阈值,若所述加权偏移量超过所述耐受偏移阈值,则判定发生碰撞事件并生成差异碰撞危险度,所述差异碰撞危险度与所述易碎等级正相关;

37、记录所述碰撞事件对应的当前帧图像及时间戳,根据所述位移矢量确定所述产品在所述碰撞事件发生后的实际空间位置,对比所述实际空间位置与所述碰撞事件发生前的初始空间位置,获得所述产品的位置偏移量;

38、根据所述位置偏移量更新所述产品在库存管理系统中的存储坐标,同时根据所述位移矢量的方向判断所述产品是否超出货架边界,若超出所述货架边界则生成碰撞预警信号。

39、基于注意力引导的可穿戴库存管理与辅助系统,所述系统包括:

40、条码扫描模块,用于采集视觉图像确认用户与产品的相对位置关系,同时采集所述用户瞳孔朝向信息对所述视觉图像进行投影,将所述投影覆盖区域标记为取景区域并划定取景框,对所述取景框内条形码进行识别;

41、入库确认模块,用于根据所述产品特征点与所述条形码之间相对空间关系对所述条形码安装位置进行锁定,确认所述产品是否为初次入库并进行差异标注,对所述产品所在类别的所述安装位置与实际检测安装位置偏移情况进行更新记录;

42、产品监控模块,用于对比所述产品与预设标准产品的外观特征与放置规则,根据异常产品像素点组建区域对应纹理边缘区域特征与预设特征库的相似度匹配结果确认所述产品的异常类型,从所述产品边缘轮廓向外发射射线并监控反射轨迹,根据所述轨迹异常情况确定产品堆积程度;

43、安全控制模块,用于对用户姿态进行监控,根据所述用户关节点坐标与所述产品边缘距离及所述产品类别对应的碰撞参数分析出用户姿态对所述产品影响并进行预警,监控所述产品实时位移对碰撞事件进行预警。

44、本技术的第三个方面,提供一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,使所述电子设备实现如本技术第一个方面所述的方法。

45、本技术的第四个方面,提供一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行本技术第一个方面所述的方法。

46、与现有技术相比,本发明所达到的有益效果是:本发明,通过可穿戴设备监测人员视野内的视觉图像并通过对人员与产品相对位置、瞳孔朝向覆盖区域进行监控获得人员注意力聚焦区域并进行高效条码识别,高效捕捉人员注意力并提高了条码扫描效率,在聚焦区域出现密集条码时通过相对距离的测算选取距离最近条码进行扫描,有效避免误判场景,且对产品所在类别内条码与产品节点的位置关系进行归类记录,对条形码所在相对位置进行实时更新记录,提高了对条形码的位置定位与扫描效率,对产品的污渍和变形情况进行实时监控,提高了对于产品质量的监测与反馈效率,对产品在货架上的摆放及间距进行监控,有效避免错误摆放带来的安全隐患,同时对用户姿态与关节位置进行监控,根据对其动作与施力情况分析来对可能发生的碰撞情况进行预测并进行预警,提高对仓库的安全控制能力,且在碰撞后根据特定类别产品对应的碰撞情况来对产品的受损情况进行分析,有效提高对于事故风险的监控能力。