基于深度学习的多层包装作业SOP行为智能监测方法及系统与流程
本发明涉及工业视觉检测与智能包装,具体涉及一种基于深度学习的多层包装作业sop行为智能监测方法及系统。
背景技术:
1、在工业产品制造与包装环节中,产品装箱质量直接关系到产品运输安全与客户体验。特别是对于精密仪器类产品如工业打印设备,其包装箱通常采用多层缓冲泡沫结构,每层泡沫中放置不同类型的配件和耗材。
2、传统的包装完整性检测主要依赖人工目视检查,存在以下问题:
3、检测效率低:人工逐层检查耗时较长,难以满足流水线高速生产节拍要求;
4、漏检率高:工人长时间作业容易疲劳,导致物件遗漏或数量错误未被及时发现;
5、缺乏追溯性:人工检查过程无记录,发生质量问题时难以追溯责任和原因;
6、标准化困难:不同工人对检查标准的理解存在差异,检测结果一致性差;
7、无实时预警:发现缺失时往往已经进入下一道工序,无法及时纠正。
8、随着机器视觉的发展,机器视觉开始应用于工业产品制造与包装检测,然阿尔现有的基于机器视觉的包装检测方案存在以下技术局限:
9、第一,现有方案多采用单一目标检测模型对整箱进行一次性检测,无法处理多层包装的层级递进关系。实际包装作业是逐层进行的,每一层在完成前会被泡沫覆盖,无法在同一帧中同时观测到所有层物件,因此一次性检测方案无法适用于多层递进式包装场景。此外,现有方案缺乏对包装作业顺序的监测能力,无法判断操作人员是否按照sop规定的层级顺序完成包装。
10、第二,现有方案对同一层中需要多个数量的物件缺乏精确的计数验证机制,仅能判断物件是否存在,无法判断数量是否达标。采用目标跟踪进行计数时,存在计算开销大、目标id切换、遮挡后再出现导致跟踪失败等问题,不适合工业流水线的实时检测需求。
11、第三,现有方案对检测结果的利用仅停留在逐帧独立报告层面——这帧检测到就显示,下帧没检测到就消失。在工业现场,物件常因手部遮挡、角度变化、光照波动而在某些帧中暂时不可见,这种逐帧独立模式会导致检测结果频繁闪烁、反复触发误报警,严重影响系统可用性。
12、第四,现有方案的视频采集与推理采用串行模式,当单帧推理耗时较长时,视频帧会在缓冲队列中堆积,导致推理线程处理的始终是数秒前的旧帧,检测结果与实际操作严重不同步,无法实现真正的实时监测。
13、第五,现有方案缺乏与工业现场硬件设备的联动能力,检测结果仅停留在软件界面层面,无法对现场操作人员形成有效的声光提示和纠错引导。即使具备指示灯控制,也仅采用直接发送开关命令的简单模式,当串口通信异常或人员手动操作导致灯状态错乱时无法自动纠正。
14、为了解决以上存在的问题,人们一直在寻求一种理想的技术解决方案。
技术实现思路
1、基于此,有必要针对上述技术问题,提供一种基于深度学习的多层包装作业sop行为智能监测方法及系统。
2、为了实现上述目的,本发明第一方面提供一种基于深度学习的多层包装作业sop行为智能监测方法,包括以下步骤:
3、采用双线程架构获取包装作业区域的视频图像帧,基于目标检测模型对每帧视频图像进行目标物件识别;
4、将识别结果送入多层包装检测状态机,采用层级标识物件与层特征物件协同识别策略判定当前所处的包装层级,对当前活跃层中的每个物件执行帧级多计数聚合验证;并在同时检测到目标层的层级标识物件和层特征物件、当前活跃层为目标层的相邻前序层、且距离上次层级切换的时间间隔大于该层对应的预设防抖阈值时,判定发生层级切换;
5、当检测到层级切换后,回溯核查前一层的全部规定物件是否均已确认完成,并在存在规定物件完全缺失或数量不足时生成报警信息;
6、当所有层级的全部物件均确认完毕后,自动重置多层包装检测状态机进入下一轮检测周期。
7、进一步的,对当前活跃层中的每个物件执行帧级多计数聚合验证具体为:
8、对当前帧的检测结果按物件类别名称进行计数,得到各类物件在当前帧中的同时检测数量;
9、将所述同时检测数量与该物件的历史最大同时检测数量取较大值进行更新;
10、当历史最大同时检测数量大于或等于规定数量时,将物件状态标记为已确认完成并锁定。
11、可以理解,通过帧级counter计数和历史最大值聚合,无需目标跟踪即可实现对多数量物件的精确计数验证,计算开销极低且不受跟踪失败影响。对于已确认物件状态为锁定态,不受后续检测抖动影响,有效减少因手部遮挡或角度变化导致的反复报警,系统稳定性显著提升。
12、进一步的,若检测到非顺序的层级跳变,则将当前活跃层回退至上一有效层级进行修正。
13、所述目标检测模型采用yolov8n模型。为提升提升检测精度,所述yolov8n模型的推理输入分辨率设置为非正方形自适应分辨率,所述非正方形自适应分辨率的高度和宽度均为模型下采样步长的整数倍,且宽高比与所述视频图像帧的原始采集分辨率宽的高比一致,避免了方形输入缩放导致的物件宽高比畸变,细长形物件和小尺寸物件的检测精度显著提升。
14、进一步的,为降低误报率,本实施例中,所述yolov8n模型的推理置信度阈值设置为0.55至0.65,从而抑制工业环境噪声误检。
15、进一步的,本发明还包括二维码设备识别与录像联动步骤:通过独立串口线程实时监听二维码扫描器的输入数据,当接收到长度达到预设有效长度的设备编号字符串时,以设备编号为文件名创建视频录像文件并开始写入视频帧,同时语音播报录像开始提示;
16、当多层包装检测状态机判定检测周期结束时,自动停止录像并关闭文件,记录包装起止时间并计算耗时。
17、可以理解,本实施例通过二维码自动识别设备编号并以编号命名录像文件,实现每个产品包装全过程的视频追溯。系统自动统计合格率、ng频次排行和打包时长,为优化包装sop和培训操作人员提供数据支撑。
18、为了实现上述目的,本发明第二方面提供一种基于深度学习的多层包装作业sop行为智能监测系统,包括:
19、双线程视频采集模块,采用双线程架构获取包装作业区域的视频图像帧;
20、目标检测模块,基于目标检测模型对每帧视频图像进行目标物件识别;
21、状态机控制模块,将识别结果送入多层包装检测状态机,采用层级标识物件与层特征物件协同识别策略判定当前所处的包装层级,对当前活跃层中的每个物件执行帧级多计数聚合验证;并在同时检测到目标层的层级标识物件和层特征物件、当前活跃层为目标层的相邻前序层、且距离上次层级切换的时间间隔大于该层对应的预设防抖阈值时,判定发生层级切换;
22、多模态报警模块,在检测到层级切换后,回溯核查前一层的全部规定物件是否均已确认完成,在存在规定物件完全缺失或数量不足时生成报警信息;并在所有层级的全部物件均确认完毕后,自动重置多层包装检测状态机进入下一轮检测周期。
23、本发明的有益效果为:
24、本发明利用多层包装检测状态机实现sop顺序化监测:通过层级标识物件与层特征物件协同识别,配合层级跳变修正,实现了多层包装的严格顺序化检测,有效监测操作人员是否按照sop规定的顺序完成各层包装,检测准确率显著优于人工检查和一次性检测方案。
25、本发明利用层级切换回溯核查实现即时纠错:层级切换时自动核查前层物件完成情况,区分完全缺失和数量不足生成差异化报警,操作人员在切换瞬间即可获知缺失信息并及时补齐,大幅降低返工成本。
26、本发明利用双线程最新帧覆盖保证检测实时性:读帧线程覆盖写入共享缓冲区,推理线程始终处理最新帧,检测延迟控制在单帧推理时间内,有效消除帧堆积导致的检测延迟。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com