基于视觉识别的AGV故障定位牵引系统及方法与流程

本发明涉及计算机视觉，具体涉及基于视觉识别的agv故障定位牵引系统及方法。

背景技术：

1、在智能仓储和柔性制造场景中，agv通常依赖调度系统和自动导引控制系统沿预设通道执行搬运任务。受多车协同、通道狭窄、载货偏移、定位误差和车辆姿态扰动等因素影响，agv运行过程中可能出现停滞异常、姿态偏移或通道占压状态。若控制系统无法准确获取故障agv的实际位置、车体姿态、接口朝向和空间占用范围，后续路径控制、避障控制和故障处置控制将缺乏可靠依据，容易造成通道持续占用和局部调度阻塞。

2、现有agv故障识别方式多依赖车辆自身状态反馈、调度日志或单一定位坐标，难以结合运行场景图像对车体偏转、载货轮廓、通道边界和接口朝向进行统一解析。当故障agv处于偏斜、载货外扩或狭窄通道环境中时，仅依据车辆坐标生成控制路径，容易导致接近方向与实际接口姿态不匹配，增加接入偏差和控制风险。同时，现有自动导引控制方法在故障车辆转移场景中，通常侧重预设路径跟踪或静态避障，缺少对故障agv占用边界、通道剩余宽度、障碍邻近关系和牵引设备运动约束的协同建模，难以根据接入偏差、路径绕行代价、转角受限风险和通道占压风险优化执行路径。因此，亟需一种面向agv故障处置控制的视觉识别与自动导引协同方案，以提高故障定位、路径生成和动态牵引控制的可靠性。

技术实现思路

1、本发明针对现有技术存在的不足，提出基于视觉识别的agv故障定位牵引系统及方法。

2、实现本发明目的技术解决方案为：

3、一方面，基于视觉识别的agv故障定位牵引方法，包括以下步骤：

4、获取agv运行区域的场景图像和agv任务状态，对agv车体、通道边界、载货轮廓和牵引接口进行视觉解析并进行时序对齐，形成运行感知数据；

5、基于运行感知数据识别停滞异常、姿态偏移和通道占压状态，结合连续帧位移变化确定故障agv并提取位姿特征，形成故障位姿谱；

6、依据故障位姿谱重构牵引界面，将牵引接口朝向、车体偏转角度、通道剩余宽度和障碍邻近关系进行融合，计算牵引适配值；

7、基于牵引适配值构建牵引约束空间，以接入偏差、路径绕行代价、转角受限风险和通道占压风险为优化因子执行粒子群寻优，生成牵引执行走廊；

8、控制牵引设备依据牵引执行走廊完成视觉修正挂接姿态和动态牵引转移，形成故障牵引处置结果。

9、进一步的，故障位姿谱的形成，包括：

10、从运行感知数据中提取agv的连续时序数据序列，计算车体中心位移、车体偏转角度变化、牵引接口朝向变化、通道占压面积和任务执行进度变化，形成异常状态时序特征；

11、依据异常状态时序特征识别停滞异常、姿态偏移和通道占压状态，并结合异常状态出现前后的连续帧位移变化与任务状态变化确认故障agv；

12、提取故障agv的车体中心、偏转角度、接口朝向和占用边界，对提取结果进行精度校验和坐标标准化处理，形成故障位姿谱。

13、进一步的，占用边界的提取，包括：

14、根据故障agv的车体中心和偏转角度生成车体实际占用矩形，并根据载货轮廓中心和载货偏转角度生成载货实际占用矩形；

15、将车体实际占用矩形与载货实际占用矩形进行边界合并，得到包含车体外廓和载货外扩范围的占用边界；

16、依据相邻帧位姿变化对占用边界进行稳定性校验，将校验后的占用边界写入故障位姿谱。

17、进一步的，牵引适配值的计算，包括：

18、从故障位姿谱中提取车体中心、偏转角度、牵引接口中心、牵引接口朝向和占用边界，并从运行感知数据中提取通道边界和障碍物轮廓；

19、以牵引接口中心和牵引接口朝向建立牵引界面局部坐标系，将占用边界转换至牵引界面局部坐标系，重构牵引接口和牵引约束边界；

20、分别量化牵引接口朝向、车体偏转角度、通道剩余宽度和障碍邻近关系，按照牵引影响程度进行融合，得到牵引适配值。

21、进一步的，牵引界面的重构，包括：

22、依据牵引接口中心和牵引接口朝向确定局部坐标基准，将故障agv的占用边界映射为牵引约束多边形；

23、在牵引界面局部坐标系内表达牵引接口、车体外廓、载货外廓和障碍邻近区域，形成牵引方向与空间占用之间的对应关系；

24、根据牵引适配值筛选可行牵引方向，并确定最优牵引方向，形成用于牵引约束空间构建的牵引界面。

25、进一步的，牵引约束空间的构建，包括：

26、从牵引界面中提取最优牵引方向、牵引接口中心和牵引约束边界，并结合故障agv占用边界、牵引设备当前位置、牵引释放区域和通道拓扑信息确定基础约束参数；

27、基于基础约束参数构建几何约束层、适配性约束层、运动学约束层和安全约束层；

28、将低适配性区域、高风险区域、障碍物占用区域和通道边界外侧区域统一标记为不可通行区域，形成牵引约束空间。

29、进一步的，牵引执行走廊的生成，包括：

30、以牵引设备当前位置至牵引释放区域之间的路径点序列作为粒子编码，构建候选牵引路径；

31、根据接入偏差、路径绕行代价、转角受限风险和通道占压风险计算候选牵引路径的综合牵引代价；

32、在牵引约束空间内执行粒子群寻优，得到最优牵引路径，并对最优牵引路径进行平滑处理后生成牵引执行走廊。

33、进一步的，牵引执行走廊的生成，还包括：

34、以最优牵引路径为中心线，分别计算中心线两侧相对于通道边界和障碍物的允许偏移量；

35、依据允许偏移量生成牵引执行走廊的左右边界，并校验牵引执行走廊是否位于允许通行区域内；

36、将校验通过的牵引执行走廊按照边界顶点坐标、中心线坐标、路径长度、最大转角和综合牵引代价进行标准化输出。

37、进一步的，挂接姿态的修正，包括：

38、控制牵引设备沿牵引执行走廊接近故障agv，并在接近牵引接口时获取牵引接口区域图像；

39、对牵引接口区域图像进行关键点检测，得到牵引接口角点位置，并转换得到牵引接口相对于牵引设备的中心位置和朝向；

40、根据牵引设备挂接机构与牵引接口之间的横向偏差、纵向偏差和角度偏差修正牵引设备的挂接姿态。

41、第二方面，基于视觉识别的agv故障定位牵引系统，包括运行感知模块、位姿定位模块、适配计算模块、走廊优化模块和牵引控制模块：

42、运行感知模块获取agv运行区域的场景图像和agv任务状态，对agv车体、通道边界、载货轮廓和牵引接口进行视觉解析并进行时序对齐，形成运行感知数据；

43、位姿定位模块基于运行感知数据识别停滞异常、姿态偏移和通道占压状态，结合连续帧位移变化确定故障agv并提取位姿特征，形成故障位姿谱；

44、适配计算模块依据故障位姿谱重构牵引界面，将牵引接口朝向、车体偏转角度、通道剩余宽度和障碍邻近关系进行融合，计算牵引适配值；

45、走廊优化模块基于牵引适配值构建牵引约束空间，以接入偏差、路径绕行代价、转角受限风险和通道占压风险为优化因子执行粒子群寻优，生成牵引执行走廊；

46、牵引控制模块控制牵引设备依据牵引执行走廊完成视觉修正挂接姿态和动态牵引转移，形成故障牵引处置结果。

47、本发明与现有技术相比，其有益效果在于：

48、1、通过对agv车体、通道边界、载货轮廓和牵引接口进行视觉解析，并结合agv任务状态进行时序对齐，能够从停滞异常、姿态偏移和通道占压状态中综合确认故障agv，进一步提取车体中心、偏转角度、接口朝向和占用边界形成故障位姿谱，使故障定位结果不仅包含车辆位置，还包含与牵引接入直接相关的姿态和空间占用信息，提高了复杂运行场景下故障识别与牵引前位姿判断的准确性；

49、2、依据故障位姿谱重构故障agv的牵引界面，将牵引接口朝向、车体偏转角度、通道剩余宽度和障碍邻近关系融合为牵引适配值，并结合故障agv占用边界、牵引设备当前位置和牵引释放区域构建牵引约束空间，再以接入偏差、路径绕行代价、转角受限风险和通道占压风险为优化因子执行粒子群寻优，生成牵引执行走廊，能够在狭窄通道、姿态偏斜和障碍邻近场景下提高牵引接入的匹配性与转移过程的安全性。