一种基于图像识别的货车入库装载管理方法与流程

本发明涉及物流管理，具体为一种基于图像识别的货车入库装载管理方法。

背景技术：

1、货车入库装载是仓储物流中衔接运输与存储的关键环节。在现有作业流程中，对于货车进入装载区域后的装载空间识别和货物放置规划，多依赖人工目测或基于固定参数的静态方案。一种常见的方式是利用固定安装的激光雷达或深度传感器对空载货箱进行一次扫描，获取货箱的内部轮廓尺寸后，调用预设的装载模板生成固定的货物堆码方案。该方式默认货车能够准确停靠在理想位置，且装载过程中货箱位置保持恒定。

2、上述现有技术方案存在明显缺陷。实际作业中，货车驾驶员很难一次性将车辆停靠在完全预设的标定位置，车辆停靠后其货箱的最终姿态与理论位置之间总会存在不可忽略的横向偏移、纵向偏移以及偏转角。同时，在货物逐件放入的过程中，车辆悬架因受力变化会产生微小沉降或侧倾，货箱原有的边界也会随之发生缓慢改变。静态扫描无法捕捉这些动态变化，导致后续装载规划所依据的空间数据从一开始就与实际可用空间存在偏差，使预先规划的装载位置在实际执行时可能出现货物超出边界、与箱壁发生刮擦，或预留间隙过大浪费空间的现象。此外，现有方案在生成货物放置顺序时通常仅依据货物的尺寸和重量进行简单排列，并未结合装载区域内各分区的实时可达性和相邻分区之间的空间约束关系来编排装载序列，易造成装载路径交叉拥堵或后期难以放入货物的被动局面。

3、针对上述问题，需解决的难题在于，如何有效捕捉货车进入装载区域过程中的实时位置变化并将其转化为动态的装载空间边界，从而摆脱对理想停靠位置的依赖；同时，还需解决在已获取动态装载空间的基础上，如何构建起货物装载顺序与分区空间尺寸、分区相对装载入口的间隔距离之间的动态匹配机制，使得生成的装载序列能够针对真实的车辆姿态和空间状态保持高效且合理的执行性。

技术实现思路

1、本发明的目的在于提供一种基于图像识别的货车入库装载管理方法，以解决现有技术中因货车停靠姿态不确定及装载过程中货箱位置漂移而导致装载空间识别偏差，以及货物装载序列无法动态适配实时空间可达性的问题。通过同步采集货箱入库全过程的图像序列并提取动态移位轨迹，结合安全距离约束动态确定有效装载空间并划分候选装载分区，同时根据分区空间尺寸与分区之间的间隔距离生成逐次装载序列，实现装载空间边界的实时更新和货物装载次序的动态优化。

2、为了实现上述目的，本发明提供如下技术方案：本发明提供一种基于图像识别的货车入库装载管理方法，包括以下步骤：在货车进入装载区域的过程中，利用部署于装载区域两侧的多个双目相机同步采集货车货箱的即时图像序列；对所述即时图像序列中的每一帧图像进行货箱边缘特征提取，确定货箱的装载边界线，并根据连续多帧图像中装载边界线的位置变化，建立货箱在装载区域内的动态移位轨迹；基于所述动态移位轨迹和预设的装载区安全距离阈值，确定装载区域中用于放置货物的有效装载空间，并在所述有效装载空间中划分出多个候选装载分区；获取待入库货物的外形尺寸数据，并根据每个候选装载分区的空间尺寸以及相邻候选装载分区之间的间隔距离，生成货物的逐次装载序列，所述逐次装载序列包括每个货物的目标装载分区和在该目标装载分区内的期望放置坐标。该方法通过双目视觉实时感知道路货车货箱的动态位置，准确界定装载安全边界，并自动规划装载分区与逐次装载顺序，从而在无需人工干预的情况下有效提升装载空间利用率和装载作业效率。

3、作为本发明的一个优选技术方案，对所述即时图像序列中的每一帧图像进行货箱边缘特征提取，确定货箱的装载边界线，具体为：对每一帧图像进行灰度化处理和滤波操作，得到预处理图像；对所述预处理图像进行基于局部梯度幅值的边缘点检测，得到初始边缘点集合；对所述初始边缘点集合进行基于hough变换的直线段提取，得到多条候选边缘线段；计算每条候选边缘线段与预设的货箱参考模板边缘之间的结构相似度，筛选出结构相似度大于预设阈值的候选边缘线段作为货箱边缘线段；对所有筛选出的货箱边缘线段进行端点连接和闭合处理，构建出货箱的装载边界线。该方式能够从复杂背景中精确地提取出真实的货箱边界，提高对遮挡和光照变化的鲁棒性。

4、进一步地，基于所述动态移位轨迹和预设的装载区安全距离阈值，确定装载区域中用于放置货物的有效装载空间，具体为：根据所述动态移位轨迹，确定货车在装载区域内停止时的最终停靠位置；获取所述最终停靠位置的货箱装载边界线，并以该装载边界线为基准，向货箱内部方向偏移一个装载区安全距离阈值，得到装载内边界线；以装载区域的固定地面边界和货箱的侧壁边界共同作为装载外边界线；将所述装载内边界线和所述装载外边界线所围合的三维空间，确定为有效装载空间。如此，通过在货箱内部预留安全距离，使得所确定的有效装载空间能够避免货物与货箱内壁发生刮擦或挤压，保障货物和车辆安全，同时为装载规划提供准确的可行空间。

5、作为本发明的优选方案，在所述有效装载空间中划分出多个候选装载分区，具体为：获取待装载货物的总数量以及每个货物的外形尺寸数据；根据每个货物的外形尺寸数据，计算所有货物的平均占用空间体积；根据所述平均占用空间体积和所述有效装载空间的总体积，计算初始分区数量；将所述有效装载空间的底面按照所述初始分区数量进行网格化分割，每个网格作为一个初始装载分区；根据每个货物的外形尺寸数据中的最大长度和最大宽度，对相邻初始装载分区之间的分隔线位置进行微调，使每个候选装载分区的长宽尺寸均不小于其所承接货物的外形尺寸。该划分方式基于货物统计特征生成初始分区并依据具体货物尺寸进行适应性调整，能够使分区结果与实际待装货物形状相匹配，避免出现尺寸不适配的无效分区。

6、进一步地，根据每个候选装载分区的空间尺寸以及相邻候选装载分区之间的间隔距离，生成货物的逐次装载序列，具体为：根据每个候选装载分区的空间尺寸中的高度数据，对所有候选装载分区进行由低到高的排序，形成分区高度序列；根据所述相邻候选装载分区之间的间隔距离，计算每个候选装载分区与装载区域入口之间的通行难度系数；根据所述分区高度序列和所述通行难度系数，建立一个优先级队列，其中优先级高的候选装载分区具有较低的高度值和较小的通行难度系数；遍历所述优先级队列，为当前优先级最高的候选装载分区分配一个与其外形尺寸匹配的货物，并将该货物的标识和对应的期望放置坐标记录入逐次装载序列；将被分配了货物的候选装载分区从所述优先级队列中移除，并重复上述分配过程，直至所有货物分配完毕。通过综合考量分区高度和通行难度对装载顺序进行优化，能够减少货物在装载过程中的搬运路径冲突和起升动作幅度，提高装载流畅性和操作节拍。

7、作为本发明的一种优选实施方式，所述方法还包括：在每一个货物按照所述逐次装载序列被放置到对应的目标装载分区后，重新获取货箱内部的实时图像，通过对比所述实时图像与期望装载图像之间的差异，识别已放置货物的实际位置和姿态，并更新所述有效装载空间中剩余候选装载分区的可用尺寸。该闭环反馈机制使得装载规划能够动态响应实际装载结果与预期之间的偏差，提高对货物摆放误差和位姿偏移的适应性，保证后续装载序列的准确性和空间利用率。

8、更优选地，通过对比所述实时图像与期望装载图像之间的差异，识别已放置货物的实际位置和姿态，具体为：计算所述实时图像与所述期望装载图像之间的像素级差分图像；对所述差分图像进行二值化处理，得到变化区域掩膜；在所述变化区域掩膜中，提取所有连通区域的轮廓，得到多个差异区域；对每个差异区域，提取其最小外接矩形，并计算该最小外接矩形中心点坐标和矩形主轴方向；将所述中心点坐标和所述矩形主轴方向分别作为已放置货物的实际位置和实际姿态角。通过基于图像差分和几何特征提取的位姿识别，能够快速且准确地获取货物实际占用状态，无需增设额外传感器。

9、更新所述有效装载空间中剩余候选装载分区的可用尺寸，具体为：获取已放置货物的实际位置和实际姿态角，并根据该货物的外形尺寸数据，计算其在所述有效装载空间内的实际占用长方体区域；从所述有效装载空间中减去所述实际占用长方体区域，得到更新后的有效装载空间；对所述更新后的有效装载空间的底面进行重新网格化分割，生成新的候选装载分区集合；计算每个新的候选装载分区在高度方向上的净空距离，将该净空距离作为所述新的候选装载分区的可用高度尺寸。依此实现在每次货物放置后对剩余可用空间的精确重构，为后续货物分配提供准确的实时空间约束，最大限度地减少空间浪费。

10、作为一种优选的工作方式，利用部署于装载区域两侧的多个双目相机同步采集货车货箱的即时图像序列，具体为：将多个双目相机按照等间距部署于装载区域两侧的支架上，每个双目相机的光轴朝向装载区域的中轴线；设定所有双目相机同步触发采集指令，使所有相机在同一时间点拍摄一帧图像，构成一帧全景拼接图的原始数据；重复执行所述同步触发采集指令，以固定的时间间隔连续获取多帧全景拼接图的原始数据，并将所述多帧全景拼接图的原始数据按时间顺序排列，得到即时图像序列。该多相机同步采集方式能够完整覆盖货箱侧面轮廓，形成无缝的视觉感知区域，为后续的边界提取和三维重建提供连续而全面的图像数据。

11、进一步地，根据连续多帧图像中装载边界线的位置变化，建立货箱在装载区域内的动态移位轨迹，具体为：提取每一帧全局深度图中对应货箱区域的深度值变化边界，作为该帧的货箱轮廓；获取与该帧全局深度图对应的装载边界线，并计算该装载边界线的多个关键特征点的世界坐标系坐标；将当前帧的多个关键特征点坐标与上一帧的多个关键特征点坐标进行点集配准，通过计算刚体变换矩阵，得到货箱从上一帧到当前帧的位移向量和旋转角度；将所有帧对应的位移向量和旋转角度按照时间顺序进行序列化存储，形成货箱的动态移位轨迹。该基于点集配准的动态移位轨迹构建方式，能够以较高的时空分辨率追踪货箱在入库过程中的微小位姿变化，为安全边界确定和停靠位置识别提供可靠依据，即使在低速或临时停顿时也能保持轨迹的连续性和准确性。

12、在上述技术方案中，本发明提供的技术效果和优点：

13、通过部署于装载区域两侧的双目相机同步采集货车进入及停靠过程中的即时图像序列，并对每一帧图像进行货箱边缘特征提取与装载边界线确定，再依据连续多帧图像中装载边界线的位置变化构建货箱的动态移位轨迹。在此基础上，基于动态移位轨迹与装载区安全距离阈值，以货箱停止时最终停靠位置所对应的装载边界线为基准，向内偏移安全距离得到装载内边界线，并以装载区域的固定地面边界和货箱侧壁边界为装载外边界线，二者围合形成有效装载空间。这一动态边界确定方式使得有效装载空间的划分直接关联于货车真实的停靠姿态以及入库过程中的实际移位情况，并非依赖理想化的固定标定框架，因而有效装载空间能够精确跟随货箱的实际位姿变化而调整，消除了因停靠偏差和悬架变形引起的空间识别错位，减少了货物放置时与箱壁发生干涉或过度浪费边角空间的问题。

14、在确定有效装载空间并划分出多个候选装载分区后，根据每个候选装载分区的空间尺寸中的高度数据对所有分区进行由低到高的排序，形成分区高度序列，同时根据相邻候选装载分区之间的间隔距离计算每个分区到装载区域入口的通行难度系数。基于分区高度序列和通行难度系数建立优先级队列，使高度较低且通行难度小的分区获得较高优先级，再遍历优先级队列为当前最高优先级分区匹配外形尺寸相适应的货物，并将货物标识和对应的期望放置坐标记入逐次装载序列。这种装载序列生成机制将货物的分配与分区的高度可达性、入口通达性直接关联，使得整个装载过程能够优先利用靠近装载口、高度适宜且周围无拥堵的分区，保证了后续货物不会因为先装货物阻挡而无法进入深层分区，整个装载流程的顺畅度和空间填充率均得到提升。