基于机器视觉导航的柔性智能AGV物流小车

基于机器视觉导航的柔性智能agv物流小车
技术领域
1.本发明属于智能制造技术领域的一种物流小车，具体是涉及基于机器视觉导航的柔性智能agv物流小车。


背景技术：

2.第一台工业机器人自问世以来得到了迅速发展，在众多制造业中备受瞩目。目前，移动工业机器人领域的一些先进技术的发展进步已对许多工业生产和社会发展做出了巨大贡献。移动工业机器人应用最广泛的领域是汽车及其零部件制造业，并且正在不断地向诸如机械加工行业、电子电气行业、橡胶及塑料工业、食品工业、木材与家具制造业等领域拓展。近年来，因其柔性化程度高、工作范围广、易于实现智能加工，且较于机床有着更好的加工适应性，移动机器人技术在仓储领域的应用越来越广泛，仓储安全监测机器人已经成为智慧仓储的重要组成部分。
3.然而在实际的仓储环境下，不同规格的工件被大量混合宰了一起，通常需要牺牲大量的计算资源以及数据模型训练时间，极大降低了后续装配生产的效率和精度，准确分离摆放这些工件具有很重要的现实意义。在实际的运输轨迹中，曲线路径以及直线路径存在不同的特性，现有技术往往无法根据轨迹的自适应调整小车使用需求，以达到较精准的轨迹跟踪以及良好的车身稳定性。


技术实现要素：

4.为了解决背景技术中存在的问题和不足，本发明提供了基于机器视觉导航的柔性智能agv物流小车。
5.本发明在基于小车货物抓取的基础上，同时达到货物实时跟踪及按类存放的效果；此外根据不同的地面环境，小车可获得较为精准的轨迹跟随性能，在不同路段保持较好的车身稳定性，使得仓库存取货物的空间效率大大提高，节约企业成本，便于使用者存取搬运货物。
6.本发明采用的技术方案如下：
7.柔性智能agv物流小车包括agv小车、货架系统和agv工作平台；货架系统布置在地面上，货架系统安装于agv小车尾部，agv工作平台安装在agv小车上；
8.所述货架系统包括货架和光栅传感器，货架布置在地面上，货架用于存放物品，货架上设置光栅传感器；
9.所述的agv小车包括车体以及安装在车体上的车体机械结构、电力驱动模块、视觉导航模块和安全模块；
10.车体机械结构包括驱动轮和驱动电机，驱动轮和驱动电机均安装在车体底部，驱动电机的输出轴和驱动轮同轴连接，驱动轮用于带动车体移动；
11.视觉导航模块包括ccd相机，ccd相机安装在车体前部并朝向车体前方；
12.安全模块包括超声波传感器，超声波传感器安装在车体前部并朝向车体前方；
13.电力驱动模块包括车载工控机、单片机和plc，车载工控机分别和单片机、plc、ccd相机、超声波传感器连接。
14.所述agv工作平台安包括机械手、双目相机和红外线传感器；机械手的根部固定安装在车体顶面，双目相机、红外线传感器均安装在机械手上。
15.所述车体机械结构还包括车载蓄电池、电控制器和车载多功能电源插座；车载多功能电源插座和车载蓄电池均安装于车体内部，驱动电机通过电控制器后分别与车载多功能电源插座和车载蓄电池相连。
16.所述安全模块还包括用于实时检测工作区域二维码的二维码扫描仪，二维码扫描仪安装于车体车身尾部。
17.所述agv工作平台包括第一机械臂、第二机械臂、双目相机、机械臂夹具、红外线传感器、舵机、减速步进电机、转轴和承载底座；承载底座固定在agv小车的车体顶面，第三机械臂的底部经舵机安装在承载底座上，第二机械臂的一端和第三机械臂的顶端铰接，减速步进电机固定于第三机械臂顶部且与第二机械臂和第三机械臂之间的铰接轴同步连接，第一机械臂的一端和第二机械臂的另一端通过转轴铰接，第一机械臂的另一端上安装双目相机、机械臂夹具和红外线传感器。
18.所述第三机械臂的底部和舵机机体固定连接，舵机输出轴固定安装在承载底座上。
19.所述agv工作平台的舵机、减速步进电机和电力驱动模块的plc电连接。
20.所述货架系统中，货架的入口侧壁设置用于检测物品的光栅传感器，货架通过螺丝固定于agv小车的车体尾部。
21.本发明的有益效果是：
22.1.本发明的柔性智能agv物流小车利用智能机器人与机器视觉的结合，通过对所采集的图像预处理，调用训练好的深度学习网络模型进行目标检测，在实际的仓储环境下，节省大量的计算资源以及数据模型训练时间，极大提高了后续装配生产的效率和精度，对于准确分离摆放这些工件具有很重要的现实意义。
23.2.本发明中采用的视觉导航模块及安全模块，结构简单、操作方便，在实际的运输轨迹中，柔性智能agv物流小车能够实时获取周围环境信息，有效识别轨迹中曲线路径以及直线路径不同的特性，按照一定的方法实时更新路径，自适应调整小车使用需求，以达到较精准的轨迹跟踪以及良好的车身稳定性。
24.3.本发明将智能机器人、机器视觉、物流agv工作平台多种学科领域相结合，能够实现实时路径图像处理、抓取存放所需物品、自主导航等功能，一定程度实现了柔性存取货物，仓库空间效率大大提高，节约了企业成本，简单合理，效率高，便于使用者存取搬运货物。
附图说明
25.图1为本发明的整体结构示意图。
26.图2为智能物流小车主视图。
27.图3为智能物流小车车体内部结构图。
28.图4为机械手整体结构示意图。
29.图中：超声波传感器1，ccd相机2，车载工控机3，车载多功能电源插座4，驱动轮5，第一机械臂6，单片机7，电控制器8，车载蓄电池9，plc10，机械臂夹具11，双目相机12，光栅传感器13，货架14，二维码扫描仪15，舵机16，红外线传感器17，减速步进电机18，转轴19，承载底座20，第二机械臂21。
具体实施方式
30.下面结合附图及具体实施例对本发明作进一步详细说明。
31.如图1所示，具体实施中包括agv小车、货架系统和agv工作平台；货架系统布置在地面上，货架系统安装于agv小车尾部，agv工作平台安装在agv小车上；
32.货架系统包括货架和光栅传感器13，货架布置在地面上，货架用于存放物品，货架上设置光栅传感器13，光栅传感器13用于发送信号给红外线传感器17，控制机械手抓取；
33.agv小车包括车体以及安装在车体上的车体机械结构、电力驱动模块、视觉导航模块和安全模块；
34.车体机械结构包括驱动轮5和驱动电机，驱动轮5和驱动电机均安装在车体底部，同时在车体底部还安装有至少其他一个轮子进行支撑，驱动电机的输出轴和驱动轮5同轴连接，驱动轮5用于带动车体移动；
35.如图1和图2所示，视觉导航模块包括ccd相机2，ccd相机2安装在车体前部并朝向车体前方，ccd相机用于采集地面轨迹图像数据将信号发送给工控机；ccd相机实时获取环境信息，通过数据线将采集的图像发送给车载工控机3进行图像处理。
36.ccd相机2用于采集地面轨迹图像数据，通过数据线将采集的数据发送给车载工控机3进行图像处理，车载工控机3使用事先设定的分段控制方法，对agv小车的驱动轮5进行控制，按照设定路线移动前进。
37.ccd相机2采集预先贴在地面上的轨迹带进行采集。采集到的图像传入车载工控机3进行数字图像处理，对图像进行去噪与轨迹带提取。车载工控机3提取到轨迹带数据后计算出小车两驱动轮转速，将数据传入单片机7，单片机7根据车载工控机3传入的数据控制驱动电机，进而控制驱动轮5，完成小车的运动控制。
38.如图1和图2所示，安全模块包括超声波传感器1，超声波传感器1安装在车体前部并朝向车体前方，超声波传感器用于规避障碍物；当超声波传感器1检测到地面障碍时，控制agv小车的驱动轮5停止转动，使得agv小车停车等待。
39.电力驱动模块包括车载工控机3、单片机和plc，车载工控机3分别和单片机7、plc10、ccd相机2、超声波传感器1连接，车载工控机3用于发送信号给单片机7和plc10，单片机7控制驱动电机，plc10控制机械手的运动部件工作。
40.车载工控机3通过串口将采集的实时路径图像传输至单片机7，单片机7再根据车载工控机的转速数据计算出脉冲宽度调制pwm数值，控制驱动轮5的直流无刷电机转动，实现路径跟踪。
41.agv工作平台安包括机械手、双目相机12和红外线传感器17；机械手的根部固定安装在车体顶面，双目相机12、红外线传感器17均安装在机械手上。
42.机械手用于抓取目标物，双目相机12用于实时图像采集，红外线传感器17用于接收货架光栅传感器13发出的信号。
43.如图3所示，车体机械结构还包括车载蓄电池9、电控制器8和车载多功能电源插座4；车载多功能电源插座4和车载蓄电池9均安装于车体内部，驱动电机通过电控制器8后分别与车载多功能电源插座4和车载蓄电池9相连。车载多功能电源插座4与市电连接。车载蓄电池9为驱动轮5供电，利用驱动轮转速差来实现小车转向。
44.安全模块还包括用于实时检测工作区域二维码的二维码扫描仪15，二维码扫描仪15安装于车体车身尾部。
45.当agv小车到达指定的工作区域时，二维码扫码仪15采集工作区域预留的二维码位置信息，根据二维码位置信息完成抓取工作，将工作区域的物件抓取转移到货架上。
46.如图4所示，agv工作平台包括第一机械臂6、第二机械臂21、双目相机12、机械臂夹具11、红外线传感器17、舵机16、减速步进电机18、转轴19和承载底座20；承载底座20固定在agv小车的车体顶面，第三机械臂的底部经舵机16安装在承载底座20上，舵机16用于带动第三机械臂的任意角度旋转，进而驱动机械手旋转。第二机械臂21的一端和第三机械臂的顶端铰接，减速步进电机18固定于第三机械臂顶部且与第二机械臂21和第三机械臂之间的铰接轴同步连接，减速步进电机18用于带动第二机械臂绕铰接轴旋转，第一机械臂6的一端和第二机械臂21的另一端通过可调节旋转角度的转轴铰接，第一机械臂6的另一端上安装双目相机12、机械臂夹具11和红外线传感器17，机械臂夹具11安装于第一机械臂6另一端端面，双目相机12安装于靠近机械臂夹具11另一端端部处，红外线传感器17安装于机械臂夹具11另一端的侧面并和机械臂夹具11同向。
47.第三机械臂的底部和舵机16机体固定连接，舵机16输出轴固定安装在承载底座20上。
48.agv工作平台的舵机16、减速步进电机18和电力驱动模块的plc10电连接。
49.双目相机12采集到目标图像，通过数据线与车载工控机3相连，车载工控机3内置图像处理将双目相机12所采集的图像进行预处理，后调用训练好的深度学习网络模型进行目标检测，以此获得目标姿态，然后车载工控机3发送信号至plc10，plc10控制机械手利用机械臂夹具11抓取物品，另外通过舵机16实现机械手任意角度转动。
50.货架系统中，货架的入口侧壁设置用于检测物品的光栅传感器13，货架14通过螺丝固定于agv小车的车体尾部。当机械手转动到对应货架14上方，红外线传感器17接收到光栅传感器发出信号，机械臂夹具11松开，将所抓货物存放至货架上。
51.当机械手到达货架14上方特定位置，光栅传感器13内部发光器发射出发射特定频率的红外信号，由光栅传感器13内部受光器接收，形成保护光幕屏障，当是有物体进入保护屏障或被遮挡时，通过内部控制线路，受光器电路马上作出反应，输出一个信号给红外线传感器17，红外线传感器17将信号发送到plc10内部，控制机械臂夹具11松开，将所抓取物品存放于对应货架14。
52.本发明的具体操作过程如下：
53.当智能物流agv小车在实际仓储环境中行驶，agv小车前部ccd相机2实时采集地面轨迹图像数据，将获得的数据发送给车载工控机3进行图像处理，车载工控机3提取出路径数据，计算出两驱动轮5目标转速，通过串口发送到单片机7。单片机7再根据车载工控机3的转速数据计算出pwm数值，通过驱动电机控制驱动轮5的直流无刷电机转动，实现路径跟踪。
54.位于ccd相机2下方的超声波传感器1用于采集智能物流小车行驶过程中障碍数
据，当检测到障碍物时，控制驱动轮5停止转动，智能物流小车停止等待。
55.在智能物流小车的运动路径上贴有二维码，当物流小车到达指定工作区域时，车身尾部的二维码扫描仪15采集到该位置信息，根据位置信息完成目标物搬运工作。此外根据实际工作需求，搭载视觉系统的机械手，可以实现搬运、检测、追踪等任务。
56.智能物流小车到达指定工作位置后，第一机械臂6上方的双目相机12，实时采集区域内目标图像，车载工控机3内置的图像处理软件将双目相机12所采集的图像进行预处理，后调用训练好的深度学习网络模型进行目标检测，以此获得目标姿态，然后车载工控机3发送信号至plc10，控制机械手，减速步进电机用于控制第二机械臂转动，当小车识别所需货物，利用第二机械臂21上的机械臂夹具11进行抓取，另外通过舵机16可实现机械手任意角度转动。
57.当小车抓取所需物品后，舵机16转动机械手至货架14上方，根据抓取物品种类，红外线传感器17接收到对应光栅传感器13发出信号，机械臂夹具11松开，完成货物的存放。此外，根据实际工作需求，可通过更换机械臂夹具11，满足物流工作多种需求以及不同货物类型的搬运。
58.由此实施可见，本发明采用ccd相机实时采集路径图像，利用直线路段和曲线路段不同特性，采用不同的视觉引导方法，自适应调整小车使用需求，以达到较精准的轨迹跟踪以及良好的车身稳定性，同时采用装有视觉系统的三轴机械手，调用训练好的深度学习网络模型进行目标检测，可以节省大量的计算资源以及数据模型训练时间，极大提高了后续装配生产的效率和精度，对准确分离摆放如螺栓、螺帽等小型紧固件具有很重要的现实意义。同时为满足实际工作需求，三轴机械手可更换夹具实现对不同货物类型的搬运，为搬运、仓储、物流等相关行业提供了便利。