一种图书运输箱状态检测方法、装置、设备及介质与流程
本发明涉及计算机视觉与机器人调度,尤其涉及一种图书运输箱状态检测方法、装置、设备及介质。
背景技术:
1、目前,智能搬运机器人在执行图书上下架任务时,需要判断运输书箱内图书的装载状态,以便决定是否继续放书或调度新的运输机器人。现有技术主要采用以下几种方式:
2、在书箱底部安装称重传感器,根据总重量估算装载程度。在书箱内部布置光电开关或红外对射传感器进行局部遮挡判断。利用深度相机获取书箱内部高度信息估算容量。由人工目测确认书箱是否已满。
3、上述方式在实际应用中存在客观缺陷:增加专用传感器会提高系统成本;重量及光电检测方式适应性较差,容易受图书规格影响;现有方法通常只能输出“空箱”或“满箱”的离散状态,无法准确估计实际剩余容量,也无法对异常摆放状态进行识别;同时,现有检测结果无法直接为机器人调度系统提供精细化的容量评估信息。
技术实现思路
1、本申请提供一种图书运输箱状态检测方法、装置、设备及介质,以改善现有技术中硬件成本高、适应性差以及调度决策滞后的问题。
2、第一方面,本申请提供一种图书运输箱状态检测方法,包括:获取固定视觉检测工位上的视觉采集设备采集的原始图像;其中,所述原始图像为自动导引车将待检测的图书运输箱运送至所述固定视觉检测工位后拍摄获取的;对所述原始图像进行书箱定位与透视校正,获取标准图像,并建立所述标准图像对应的局部坐标系;采用目标检测与语义分割融合处理的方式,对所述标准图像进行分割,提取所述图书运输箱内部的图书占用区域;提取所述图书占用区域的多维视觉特征,基于所述多维视觉特征的融合计算,确定所述图书运输箱的容量状态及装载风险指标;根据所述容量状态及所述装载风险指标,向机器人调度系统发送对应的调度控制指令,以指示所述机器人调度系统对所述自动导引车执行协同调度操作。
3、优选地,对所述原始图像进行书箱定位与透视校正之前,所述方法还包括:对所述原始图像依次进行颜色空间转换、白平衡校正及亮度通道归一化处理,获取增强后的图像;所述对所述原始图像进行书箱定位与透视校正,包括:基于所述增强后的图像提取所述图书运输箱的角点信息。
4、优选地,对所述原始图像进行书箱定位与透视校正,获取标准图像,包括:提取所述原始图像中所述图书运输箱的实际角点坐标;根据所述实际角点坐标与预设的标准模板角点坐标,计算单应矩阵;利用所述单应矩阵对所述原始图像进行重映射,获取透视校正后的所述标准图像。
5、优选地,在所述获取透视校正后的所述标准图像之后,所述方法还包括:计算所述实际角点坐标与所述标准模板角点坐标之间的平均重投影误差;若所述平均重投影误差小于预设误差阈值,则判定透视校正满足精度要求,并触发执行所述提取所述图书运输箱内部的图书占用区域的步骤。
6、优选地,所述采用目标检测与语义分割融合处理的方式,对所述标准图像进行分割,提取所述图书运输箱内部的图书占用区域,包括:利用目标检测网络获取所述标准图像中候选图书的外接矩形区域;在所述外接矩形区域内进行像素级语义分割,生成初始分割掩膜;对所述初始分割掩膜执行形态学开运算去除孤立噪点,并执行形态学闭运算填补内部空洞,获取连续的连通区域;剔除面积小于预设面积阈值的连通区域,获取优化后的所述图书占用区域。
7、优选地,所述多维视觉特征至少包括:二维占据率、图书排列密度、纹理复杂度和书籍边缘遮挡率;所述基于所述多维视觉特征的融合计算,确定所述图书运输箱的容量状态,包括:对所述二维占据率、所述图书排列密度、所述纹理复杂度和所述书籍边缘遮挡率分别赋予对应的预设模型权重,并通过线性组合计算,获取书箱装载指数;将所述书箱装载指数与预设的容量等级区间进行匹配,确定所述图书运输箱当前的容量等级。
8、优选地,所述根据所述容量状态及所述装载风险指标,向机器人调度系统发送对应的调度控制指令,包括:获取所述图书占用区域对应的图书边界,确定所述图书边界超出预设书箱边界的突出距离,并计算所述图书占用区域内图书方向的离散度;综合所述突出距离、所述离散度以及所述容量状态计算所述装载风险指标;若所述装载风险指标大于预设风险阈值,则向所述机器人调度系统发送停止装载的控制指令;根据当前时刻的所述容量状态及单位时间内容量变化速率,预测任务完成后的剩余需求容量;当所述剩余需求容量不足时,向所述机器人调度系统发送调度空书箱的控制指令。
9、本发明第二方面还公开了一种图书运输箱状态检测装置,包括:图像获取模块,用于获取固定视觉检测工位上的视觉采集设备采集的原始图像;其中,所述原始图像为自动导引车将待检测的图书运输箱运送至所述固定视觉检测工位后拍摄获取的;定位校正模块,用于对所述原始图像进行书箱定位与透视校正,获取标准图像,并建立所述标准图像对应的局部坐标系;区域分割模块,用于采用目标检测与语义分割融合处理的方式,对所述标准图像进行分割,提取所述图书运输箱内部的图书占用区域;状态评估模块,用于提取所述图书占用区域的多维视觉特征,基于所述多维视觉特征的融合计算,确定所述图书运输箱的容量状态及装载风险指标;调度决策模块,用于根据所述容量状态及所述装载风险指标,向机器人调度系统发送对应的调度控制指令,以指示所述机器人调度系统对所述自动导引车执行协同调度操作。
10、本发明第三方面还公开了一种电子设备,包括:处理器和存储器;所述存储器用于存储计算机程序代码;所述处理器用于调用所述计算机程序代码,执行如上述任一项所述的方法。
11、本发明第四方面还公开一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序代码,当所述计算机程序代码被执行时,实现如上述任一项所述的方法。
12、有益效果
13、通过固定工位采集并计算单应矩阵进行透视校正,能够消除自动导引车停车误差及摄像机透视畸变,使不同状态下的书箱在统一坐标系下进行分析,提高了后续容量估计的一致性。
14、用多维视觉特征(如二维占据率、图书排列密度、纹理复杂度和书籍边缘遮挡率等)融合构建书箱装载指数,降低了不同尺寸图书、厚度差异以及局部遮挡对检测结果的干扰,提高了复杂场景下容量估计的准确性。
15、通过计算装载风险指标及预测未来容量,能够提前向机器人调度系统发送控制指令,改变了传统“满箱后再换箱”的被动调度方式,减少了机器人的等待时间,提高了自动化物流系统的作业效率。
1.一种图书运输箱状态检测方法,其特征在于,包括:获取固定视觉检测工位上的视觉采集设备采集的原始图像;其中,所述原始图像为自动导引车将待检测的图书运输箱运送至所述固定视觉检测工位后拍摄获取的;对所述原始图像进行书箱定位与透视校正,获取标准图像,并建立所述标准图像对应的局部坐标系;采用目标检测与语义分割融合处理的方式,对所述标准图像进行分割,提取所述图书运输箱内部的图书占用区域;提取所述图书占用区域的多维视觉特征,基于所述多维视觉特征的融合计算,确定所述图书运输箱的容量状态及装载风险指标;根据所述容量状态及所述装载风险指标,向机器人调度系统发送对应的调度控制指令,以指示所述机器人调度系统对所述自动导引车执行协同调度操作。
2.根据权利要求1所述的图书运输箱状态检测方法,其特征在于,对所述原始图像进行书箱定位与透视校正之前,所述方法还包括:对所述原始图像依次进行颜色空间转换、白平衡校正及亮度通道归一化处理,获取增强后的图像;所述对所述原始图像进行书箱定位与透视校正,包括:基于所述增强后的图像提取所述图书运输箱的角点信息。
3.根据权利要求1所述的图书运输箱状态检测方法,其特征在于,对所述原始图像进行书箱定位与透视校正,获取标准图像,包括:提取所述原始图像中所述图书运输箱的实际角点坐标;根据所述实际角点坐标与预设的标准模板角点坐标,计算单应矩阵;利用所述单应矩阵对所述原始图像进行重映射,获取透视校正后的所述标准图像。
4.根据权利要求3所述的图书运输箱状态检测方法,其特征在于,在所述获取透视校正后的所述标准图像之后,所述方法还包括:计算所述实际角点坐标与所述标准模板角点坐标之间的平均重投影误差;若所述平均重投影误差小于预设误差阈值,则判定透视校正满足精度要求,并触发执行所述提取所述图书运输箱内部的图书占用区域的步骤。
5.根据权利要求1所述的图书运输箱状态检测方法,其特征在于,所述采用目标检测与语义分割融合处理的方式,对所述标准图像进行分割,提取所述图书运输箱内部的图书占用区域,包括:利用目标检测网络获取所述标准图像中候选图书的外接矩形区域;在所述外接矩形区域内进行像素级语义分割,生成初始分割掩膜;对所述初始分割掩膜执行形态学开运算去除孤立噪点,并执行形态学闭运算填补内部空洞,获取连续的连通区域;剔除面积小于预设面积阈值的连通区域,获取优化后的所述图书占用区域。
6.根据权利要求1所述的图书运输箱状态检测方法,其特征在于,所述多维视觉特征至少包括:二维占据率、图书排列密度、纹理复杂度和书籍边缘遮挡率;所述基于所述多维视觉特征的融合计算,确定所述图书运输箱的容量状态,包括:对所述二维占据率、所述图书排列密度、所述纹理复杂度和所述书籍边缘遮挡率分别赋予对应的预设模型权重,并通过线性组合计算,获取书箱装载指数;将所述书箱装载指数与预设的容量等级区间进行匹配,确定所述图书运输箱当前的容量等级。
7.根据权利要求1所述的图书运输箱状态检测方法,其特征在于,所述根据所述容量状态及所述装载风险指标,向机器人调度系统发送对应的调度控制指令,包括:获取所述图书占用区域对应的图书边界,确定所述图书边界超出预设书箱边界的突出距离,并计算所述图书占用区域内图书方向的离散度;综合所述突出距离、所述离散度以及所述容量状态计算所述装载风险指标;若所述装载风险指标大于预设风险阈值,则向所述机器人调度系统发送停止装载的控制指令;根据当前时刻的所述容量状态及单位时间内容量变化速率,预测任务完成后的剩余需求容量;当所述剩余需求容量不足时,向所述机器人调度系统发送调度空书箱的控制指令。
8.一种图书运输箱状态检测装置,其特征在于,包括:图像获取模块,用于获取固定视觉检测工位上的视觉采集设备采集的原始图像;其中,所述原始图像为自动导引车将待检测的图书运输箱运送至所述固定视觉检测工位后拍摄获取的;定位校正模块,用于对所述原始图像进行书箱定位与透视校正,获取标准图像,并建立所述标准图像对应的局部坐标系;区域分割模块,用于采用目标检测与语义分割融合处理的方式,对所述标准图像进行分割,提取所述图书运输箱内部的图书占用区域;状态评估模块,用于提取所述图书占用区域的多维视觉特征,基于所述多维视觉特征的融合计算,确定所述图书运输箱的容量状态及装载风险指标;调度决策模块,用于根据所述容量状态及所述装载风险指标,向机器人调度系统发送对应的调度控制指令,以指示所述机器人调度系统对所述自动导引车执行协同调度操作。
9.一种电子设备,其特征在于,包括:处理器和存储器;所述存储器用于存储计算机程序代码;所述处理器用于调用所述计算机程序代码,执行如权利要求1至7任一项所述的图书运输箱状态检测方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序代码,当所述计算机程序代码被执行时,实现如权利要求1至7任一项所述的图书运输箱状态检测方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com