智能仓库中跨设备联动方法及视觉辅助联动系统与流程

1.本技术涉及智能仓库领域，具体而言涉及一种智能仓库中跨设备联动方法及视觉辅助联动系统。


背景技术：

2.智能仓储系统是由立体货架、有轨巷道堆垛机、出入库输送系统、信息识别系统、自动控制系统、计算机监控系统、计算机管理系统以及其他辅助设备组成的智能化系统。智能仓储是仓库自动化的产物。与智能家居类似，智能仓储可通过多种自动化和互联技术实现。这些技术协同工作以提高仓库的生产率和效率，最大限度地减少人工数量，同时减少错误。在手动仓库中，我们通常会看到工人随身携带清单，挑选产品，将产品装入购物车，然后将它们运送到装运码头；但在智能仓库中，订单会自动收到，之后系统确认产品是否有库存。然后将提货清单发送到机器人推车，将订购的产品放入容器中，然后将它们交给工人进行下一步。而智能仓储就完全解决了对人工的依赖问题，在智能仓储系统(如c-wms)的帮助下，自动接收，识别，分类，组织和提取货物。最好的智能仓储解决方案几乎可以自动完成从供应商到客户的整个操作，并且错误最少。
3.智能仓库能够节省劳动力，节约占地；在相同面积的土地上，建设智能化仓库达到的存储能力比建设普通仓库高出几倍甚至十几倍。智能化仓库出入库作业迅速、准确、有效缩短作业时间，同时作业准确率得到提高，仓库与供货单位、用户能够有机地协调，有利于缩短货物流通时间。智能化仓库有利于商品的保管，在自动化仓库中，可存放的商品多、数量大，品种多样。通过条码技术等，可准确跟踪货物的流向，实现货物的可追溯。
4.现有智能仓库中，通常用agv来取代人员搬运,将人从搬运作业中解脱出来。agv小车将货物输送到指定的上料机或下料机上面，实现从物料入仓到产线再到成品入仓出货的物流运输智能化和无人化。在大型智能仓库中则会使用大量的agv叉车来完成大型货物的搬运，在agv叉车日常工作的过程中，需要和智能仓库中的其他自动化设备和智能设备进行交互和联动，例如：和输送线的联动，当agv叉车把货物放到输送线上时，输送线进行传输工作。和四向车之间的联动，在货物传输完成后四向车进行货物入库或出库的操作。在这些交互和联动的过程中会现联动衔接不够紧密的情况。例如：传统情况下，只有货物在输送线传输完成后，四向车才去进行运货工作。此时，常常会因为仓库较大，仓位较多，四向车可能并不空闲，而导致输送线与四向车之间衔接过程花费较多的时间。大大降低的工作效率。另外，传统模式下，agv叉车把货物放到输送线上后，往往还需要人工操作来触发启动输送线才能完成货物的传输。这大大降低的仓库的自动化和智能化程度，同时又增加了人力成本。


技术实现要素：

5.本技术针对现有技术的不足，提供一种智能仓库中跨设备联动方法及视觉辅助联动系统，本技术通过计算机视觉服务系统实现智能仓库中跨设备联动，以提高仓库工作的效率，提高仓库的自动化和智能化程度，同时进一步降低人工成本。本技术具体采用如下技
术方案。
6.首先，为实现上述目的，提出一种智能仓库中跨设备联动方法，其步骤包括：接收视觉硬件模块所拍摄的装卸设备和货物的实时图像；计算并识别装卸设备和货物的实时坐标位置以及运输状态；根据装卸设备和货物的实时坐标位置以及运输状态，触发实时通信反馈模块向仓库中四向车、输送线及相应人员、设备下发指令以调整其工作状态，包括：在识别到装卸设备到达预设位置时触发将四向车调度至与该预设位置相匹配的转运区域，在识别到货物到达输送线运输位置时触发输送线运送货物，根据识别所获得的装卸设备的实时坐标位置触发将相应装卸设备、四向车、输送线和/或仓库中所设设备设置为禁止运行至与该实时坐标位置相关联的区域范围。
7.可选的，如上任一所述的智能仓库中跨设备联动方法，其中，计算并识别装卸设备实时坐标位置的具体步骤包括：接收设置于仓库上方的摄像头所采集的装卸设备的实时图像；标注装卸设备的实时图像，形成数据集，构建深度神经网络模型，然后通过深度神经网络模型识别数据集图像中的装卸设备，对深度神经网络模型进行训练，确定深度神经网络模型中出参数，然后由训练所得深度神经网络模型识别实时图像，获得装卸设备的位置方框像素坐标，根据该像素坐标以及摄像头拍摄参数计算装卸设备所对应的实时坐标位置。
8.可选的，如上任一所述的智能仓库中跨设备联动方法，其中，计算并识别货物运输状态的具体步骤包括：接收设置于装卸设备前方的双目或单目摄像头所采集的装卸设备前方货物托盘的实时图像；标注装卸设备前方双目或单目摄像头所采集的货物托盘的实时图像，形成数据集，构建深度神经网络模型，然后通过深度神经网络模型识别数据集图像中的货物托盘，对深度神经网络模型进行训练，确定深度神经网络模型中出参数，然后由训练所得深度神经网络模型识别实时图像，获得货物托盘正面的位置方框像素坐标，根据该像素坐标计算货物托盘与装卸设备前方正面距离，以确定货物托盘是否到达输送线运输位置开始运送货物。
9.可选的，如上任一所述的智能仓库中跨设备联动方法，其中，还在计算识别获得装卸设备和货物的实时坐标位置以及运输状态后还执行以下步骤：对计算识别所获得的装卸设备和货物的实时坐标位置以及运输状态进行误差分析、数学建模和误差缩小。
10.可选的，如上任一所述的智能仓库中跨设备联动方法，其中，对计算识别所获得的装卸设备和货物的实时坐标位置以及运输状态进行误差分析、数学建模和误差缩小的具体步骤包括：设装卸设备、货物的实时坐标位置与实际位置之间误差为e，计视觉硬件模块拍摄位置到实际位置之间距离为l，计视觉硬件模块摄像头畸变系数为t，构造误差函数，根据收集所获得的误差数据对上述误差函数进行拟合，确定误差函数参数，根据所确定的误差函数校准缩小计算识别所获得的装卸设备和货物的实时坐标位置的误差。
11.同时，为实现上述目的，本技术还提供一种智能仓库中视觉辅助联动系统，其包括：视觉硬件模块，其设置于仓库顶部和仓库中所运行的装卸设备上，用于拍摄装卸设备和货物的实时图像；目标检测模块，其接收装卸设备和货物的实时图像，计算并识别装卸设备和货物的实时坐标位置以及运输状态，根据装卸设备和货物的实时坐标位置以及运输状态触发仓库中四向车、输送线及相应人员、设备调整其工作状态；实时通信反馈模块，其通讯连接视觉硬件模块、目标检测模块、装卸设备、四向车、输送线及仓库中所设设备，在视觉硬件模块与目标检测模块之间传输装卸设备和货物的实时图像，根据目标检测模块的触发信
号向相应装卸设备、四向车、输送线及仓库中所设设备传送指令以调整其工作状态。
12.可选的，如上任一所述的智能仓库中视觉辅助联动系统，其中，目标检测模块根据装卸设备和货物的实时坐标位置以及运输状态触发仓库中四向车、输送线及相应人员、设备调整其工作状态包括：在识别到装卸设备到达预设位置时触发将四向车调度至与该预设位置相匹配的转运区域，在识别到货物到达输送线运输位置时触发输送线运送货物，根据识别所获得的装卸设备的实时坐标位置触发将相应装卸设备、四向车、输送线和/或仓库中所设设备设置为禁止运行至与该实时坐标位置相关联的区域范围。
13.可选的，如上任一所述的智能仓库中视觉辅助联动系统，其中，还包括误差分析模块，其对目标检测模块所获得的装卸设备和货物的实时坐标位置以及运输状态进行误差分析、数学建模和误差缩小。
14.可选的，如上任一所述的智能仓库中视觉辅助联动系统，其中，所述视觉硬件模块包括：设置于agv叉车前方的双目或单目摄像头，用于采集agv叉车前方货物托盘的实时图像；所述目标检测模块包括：设置于agv叉车上的小型服务器，用于标注agv叉车前方双目或单目摄像头所采集的货物托盘的实时图像，形成数据集，构建深度神经网络模型，然后通过深度神经网络模型识别货物托盘，获得货物托盘正面的位置方框像素坐标，根据该像素坐标计算货物托盘与agv叉车前方正面距离，在货物托盘到达输送线运输位置时触发实时通信反馈模块向输送线下达指令运送货物。
15.可选的，如上任一所述的智能仓库中视觉辅助联动系统，其中，所述视觉硬件模块还包括：设置于仓库上方的摄像头，用于采集agv叉车的实时图像；连接仓库上方摄像头的服务器，用于标注agv叉车的实时图像，形成数据集，构建深度神经网络模型，然后通过深度神经网络模型识别agv叉车，获得agv叉车的位置方框像素坐标，根据该像素坐标以及摄像头拍摄参数计算agv叉车所对应的实时坐标位置，在agv叉车到达预设位置时触发实时通信反馈模块向四向车下达指令将四向车调度至与该预设位置相匹配的转运区域，或根据agv叉车的实时坐标位置触发实时通信反馈模块向四向车、输送线和/或仓库中其他设备下达指令，禁止其运行至与该实时坐标位置相关联的区域范围。
16.有益效果
17.本技术通过设置于仓库顶部的摄像头拍摄仓库中装卸设备的实时图像，通过设置于装卸设备前方的双目或单目摄像头采集设备前方货物的实时图像，通过目标检测模块计算并识别装卸设备和货物的实时坐标位置以及运输状态，以相应触发仓库中四向车、输送线及相应人员、设备调整其工作状态。本技术通过视觉辅助技术自动实现智能仓库中跨设备的联动，从而在识别到装卸设备到达预设位置时触发将四向车调度至与该预设位置相匹配的转运区域，在识别到货物到达输送线运输位置时触发输送线运送货物，并实时根据装卸设备的实时坐标位置触发关联区域范围内设备避让。本技术能够通过计算机视觉服务系统实现智能仓库中跨设备联动，以提高仓库工作的效率，提高仓库的自动化和智能化程度，同时进一步降低人工成本。
18.本技术还设计有误差分析模块，其能够分析影响仓库平面二维坐标和托盘正面距离结果的各类因素，如摄像头成像的畸变系数、仓库摄像头到agv叉车的高度距离，agv叉车前方摄像头到货物托盘的实际正面距离等，然后分别以影响因素为自变量，以agv叉车仓库平面二维坐标误差和货物托盘正面距离误差为因变量，建立数学模型。基于仓库日常运转
维护过程中所收集到的大量的与影响因素有关的数据，以及大量的仓库平面二维坐标误差数据和货物托盘正面距离误差数据，对数学模型进行数据拟合，找到结果误差和影响因素之间较为符合的关系，进而用来减少目标检测模块识别、计算装卸设备和货物时所产生的误差。
19.此外，本技术的实时通信模块利用tcp或ip通信协议把目标检测模块所计算出的联动控制需求实时通过指令方式发送到相应的设备单元中，以在agv叉车到达某一特定位置时，提前调度四向车去入库口等待，这样当货物到达时，无需等待四向车由远处调度到达即可直接获取到货物。同时在入库过程中，本技术还可以把货物托盘距离输送线的位置距离实时发送至输送线的控制系统，当货物托盘距离达到一定值时判定agv叉车已经完全把货物放到输送线，这时自动触发输送线运动，减少入库过程中人工操作输送线的步骤，降低人力成本，提高仓库自动化和智能化程度。此外，本技术还也可以通过实时获取agv叉车在仓库中的准确位置来确定各agv叉车的工作区域，进而禁止仓库中工作人员和其他移动智能设备进入该区域，以提高仓库中设备和人员工作的安全性。出库过程中，可进一步根据agv叉车的实时位置，选择距离输送线最近的agv叉车提前到达输送线位置以在货物到达时迅速接收获取货物。本技术通过设备间的综合调度能够有效提高仓库入库、出库效率，并提高仓库运行环境的安全性。
20.本技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术而了解。
附图说明
21.附图用来提供对本技术的进一步理解，并且构成说明书的一部分，并与本技术的实施例一起，用于解释本技术，并不构成对本技术的限制。在附图中：
22.图1是本技术的智能仓库中视觉辅助联动系统的示意图；
23.图2是本技术系统中所采用的双目摄像头成像模型的示意图；
24.图3是本技术仓库上方摄像头所采集的装卸设备的实时图像的原理示意图。
具体实施方式
25.为使本技术实施例的目的和技术方案更加清楚，下面将结合本技术实施例的附图，对本技术实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本技术的一部分实施例，而不是全部的实施例。基于所描述的本技术的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
26.本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本技术所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
27.本技术中所述的“和/或”的含义指的是各自单独存在或两者同时存在的情况均包括在内。
28.本技术中所述的“连接”的含义可以是部件之间的直接连接也可以是部件间通过其它部件的间接连接。
29.本技术中所述的“上、下”的含义指的是使用者正对输送线前进方向时，由地面指向输送线上货物的方向即为上，反之即为下，而非对本技术的装置机构的特定限定。
30.图1为根据本技术的一种智能仓库中视觉辅助联动系统，其，包括：
31.视觉硬件模块，其针对要完成的功能进行视觉硬件的部署，比如，将摄像头、边缘计算服务器等相应设置于仓库顶部和仓库中所运行的agv叉车等装卸设备上，用于拍摄agv叉车等装卸设备运行状况及其所运载的货物的实时图像；
32.目标检测模块，其接收装卸设备和货物的实时图像，在视觉硬件的基础上计算并识别装卸设备和货物的实时坐标位置以及运输状态，根据设备联动需求自动由装卸设备和货物的实时坐标位置以及运输状态触发仓库中四向车、输送线及相应人员、设备调整其工作状态；
33.实时通信反馈模块，其通讯连接视觉硬件模块、目标检测模块、装卸设备、四向车、输送线及仓库中所设设备，用于在视觉硬件模块与目标检测模块之间传输装卸设备和货物的实时图像，并根据目标检测模块实时计算输出的触发信号通过tcp协议、ip协议等各类型通信协议发送至相应装卸设备、四向车、输送线及仓库中所设设备，使各设备能够根据其所接收到的联动指令调整工作状态，到达指定位置接收货物、或者避免进入特定区域以保障设备安全、或者启动调整运行状态实现货物传送。
34.考虑到实际应用中，机器视觉往往会受摄像头畸变、距离误差等因素影响对装卸设备和货物实时位置的准确判断，因此，本技术可还进一步的在上述系统中设置误差分析模块以对目标检测模块所获得的装卸设备和货物的实时坐标位置以及运输状态进行误差分析、数学建模和误差缩小。其具体工作过程可设置参考如下方式进行：
35.首先分析影响仓库平面二维坐标和托盘正面距离结果的因素，如摄像头成像的畸变系数、仓库摄像头到agv叉车的高度距离，agv叉车前方摄像头到货物托盘的实际正面距离等，然后分别以影响因素为自变量，以agv叉车仓库平面二维坐标误差和货物托盘正面距离误差为因变量，建立两个一次或二次常系数方程。收集大量的与影响因素有关的数据，以及大量的仓库平面二维坐标误差数据和货物托盘正面距离误差数据，进行数据拟合，确定上面建立的两个方程的系数，找到结果误差和影响因素之间较为符合的关系，进而通过上述误差方程修正检测误差，减少结果误差。比如，以修正agv叉车到货物托盘之间实时坐标距离与实际距离之间的误差e为例，该误差e的影响因素主要有视觉硬件模块拍摄位置到实际位置之间距离l(测试时发现l越大，误差越大)，agv前方摄像头畸变系数t，分别构造误差函数e＝al bt c和e＝al2 bt c，其中，a,b,c为常数。然后根据收集到的误差数据对上述误差函数进行拟合，确定效果较好的一种函数用来误差缩小，并明确误差函数中具体参数数值。上述误差函数的构造不局限这两种形式，可根据实际情况进行函数形式的调整。agv叉车仓库平面二维坐标误差的缩小方式同理，根据所确定的误差函数校准缩小计算识别所获得的装卸设备和货物的实时坐标位置的误差。上述误差缩小过程的重点是不断分析和测试影响误差大小的因素。
36.对于一般的智能仓库，入库过程中，其一般会将货物置于货物托盘上，先调取agv叉车在入库区域接收货物，通过agv叉车将货物运送到仓库输送线的相应位置后，触发输送线将货物运送到立体货架的入库口，再相应调取立体货架中运行的四向车，接收输送线上的货物并将其运送存放至立体货架上的相应货位上。出库过程与之对应，一般需先通过四
向车将立体货架中相应货位上的货物取出运送至输送线输出口，启动输送线，将输送线上所接收的货物运输至外侧出货位置，再通过agv叉车将货物取出实现出库。
37.此过程中，需要四向车、传输线、agv叉车等设备之间协同联动。为提高仓库吞吐量，尽可能地减少四向车、传输线、agv叉车运转过程中的等待时间，本技术可根据视觉硬件模块所采集的实时图像，将目标检测模块设置为按照以下方式进行联动控制：
38.接收视觉硬件模块所拍摄的装卸设备和货物的实时图像；
39.计算并识别装卸设备和货物的实时坐标位置以及运输状态；
40.根据装卸设备和货物的实时坐标位置以及运输状态，触发实时通信反馈模块向仓库中四向车、输送线及相应人员、设备下发指令以调整其工作状态，包括：在识别到装卸设备到达预设位置时触发将四向车调度至与该预设位置相匹配的转运区域，在识别到货物到达输送线运输位置时触发输送线运送货物，根据识别所获得的装卸设备的实时坐标位置触发将相应装卸设备、四向车、输送线和/或仓库中所设设备设置为禁止运行至与该实时坐标位置相关联的区域范围。
41.由此，本技术在货物入库过程中，可以把agv叉车的实时仓库位置发送给四向车调度系统，当agv叉车到达某一特定位置时，四向车调度系统可以提前调动四向车去入库口等待，这样当货物到达时，四向车无需等待直接就能获取到货物；如果按照传统方式，货物到达后，四向车调度系统才调动四向车前去取货，由于仓库货位较多，这一过程往往会花费相当一部分时间，在视觉辅助系统下大大提高了入库效率。此外，在入库过程中还可以把货物托盘距离实时发送到输送线控制系统，只有当货物托盘距离达到一定值时才可认为agv叉车已经完全把货物放到输送线，这时可自动通过实时通信反馈模块触发输送线运动，大大提高了入库安全性，并且减少入库过程中这输送线控制一环节中的所需的人力，进一步降低人力成本，提高仓库自动化和智能化程度。另外，上述过程还可以通过agv叉车的实时仓库位置来确定agv叉车的工作区域，进而禁止仓库中工作人员和其他移动的智能设备进入该区域，以提高仓库中设备和人员工作的安全性。在出库过程中，可以根据agv叉车的实时仓库位置，选择距离输送线最近的agv提前到达输送线获取货物；这种联动方式相比于传统方式，无需在货物到达输送线后等待调度agv叉车前去获取货物，可避免agv叉车过程所浪费的大量时间。本发明能够在视觉辅助系统的帮助下，大大提高出库、入库效率。
42.为减少检测盲区，提高对货物位置进行识别的准确度，本技术可具体将视觉硬件模块设置为：
43.根据出入库流程所需执行衔接联动操作的区域，而安装在仓库上方的摄像头，该顶部摄像头可同时布署服务器来进行图像处理，为目标检测模块实时反馈仓库动态，辅助多设备联动；
44.以及，安装在agv叉车前方的双目或单目摄像头，该摄像头可通过在agv叉车上部署的用于边缘计算的小型服务器进行图像处理，通过实时处理前方安装的摄像头的视频流，来完成agv叉车前方实时状况的分析和反馈，同样为目标检测模块实时反馈仓库动态，辅助多设备联动。
45.其中，agv叉车上的服务器主要用于输送链上货物托盘识别和计算agv叉车到托盘的距离。仓库上方摄像头主要用于对agv叉车这种大目标识别，识别货物托盘的话由于仓库摄像头较高，货物托盘目标较小，效果不好，实践中计算误差较大。所以货物实时位置的计
算主要通过agv叉车前方摄像头所拍摄的图像完成。对agv叉车目标和货物目标的识别可通过两组独立的摄像头与服务器实现。仓库上方摄像头图像可单独的服务器进行处理。
46.目标检测模块在针对视觉硬件模块所采集的图像进行对装卸设备和货物的实时坐标位置以及运输状态的识别时，具体可采用如下方式。
47.首先利用仓库上方的摄像头采集agv叉车的图片，然后对这些图片进行agv叉车位置标注，形成数据集，利用yolo系列目标检测算法构建深度神经网络模型，然后利用提前部署于仓库顶部的服务器完成深度神经网络模型的训练，确定神经网络模型中的参数，然后把训练完毕的模型部署到服务器上，通过实时获取仓库上方摄像头的视频流来完成仓库中工作的agv叉车的识别，得到在像素坐标系下的agv叉车的实时位置方框。该agv叉车的实时位置方框由像素坐标系下的四个二维点及其连线确定。通过取平均值的方法可求出该方框的中心点在像素坐标系下坐标。根据摄像头成像原理再利用摄像头的内部参数如焦距，分辨率等和该中心点的像素坐标系下的坐标计算出该中心点在世界坐标系的二维坐标(即agv叉车在仓库平面上的实时位置)。计算过程如下:
48.参考图3所示，世界坐标系(world coordinate system)为用户自己定义的三维世界的坐标系，为了描述目标物在真实三位空间的位置而被引入。世界坐标系中agv叉车在物点平面上的空间位置(xw，yw，zw)可对应于相机坐标系下以相机为坐标原点的一个空间位置(xc，yc，zc)。相机针孔成像后将其相机坐标系上的空间位置(xc，yc，zc)会被对应到图像平面上的一组像素坐标(x,y)。单位为m。
49.其中，相机坐标系(camera coordinate system)以相机为坐标原点建立，从相机的角度描述物体的空间位置。图像坐标系(image coordinate system)：以相机所拍摄的像素图像的中心为坐标原点，其x，y轴平行于图像两边，可以用(x,y)表示物体的坐标值，单位为m。图像坐标系中agv叉车对应于该图像像素坐标系(pixel coordinate system)中的像素坐标(u,v)。像素坐标系中可选以图像左上角为原点，x,y轴分别平行于图像两边的坐标系。像素坐标系中单位为像素数目。
50.基于上述的映射关系，首先进行从世界坐标系到相机坐标系的转换：空间中三维刚体的运动由一个旋转矩阵r和平移矩阵t组成，两个矩阵构成变换矩阵
51.世界坐标系到相机坐标系的关系如右式所示，世界坐标系到相机坐标系的关系如右式所示，其中，为世界坐标系下空间坐标，为相机坐标系下的坐标，这里使用的齐次坐标，lw为变换矩阵，引入齐次坐标的目的主要是合并矩阵运算中的乘法和加法，并且齐次坐标可以表示无穷远处的点。
52.然后进行相机坐标系到图像坐标系的转换：
53.根据图3所示相机的小孔成像原理：针孔面(相机坐标系)在图像平面(图像坐标
系)和物点平面(棋盘平面)之间，所成图像为倒立实像。
54.根据三角形相似原理获得相机坐标系下到图像平面映射关系为：其中，f表示相机焦距，拍摄时可通过相机参数确定。将其换成矩阵相乘的形式获得：
[0055][0056]
然后再进行从图像坐标系到像素坐标系的转换：
[0057]
由于定义的像素坐标系原点与图像坐标系原点不重合，假设图像坐标系原点在像素坐标系下的坐标为(u0，v0)，每个像素点在图像坐标系x轴、y轴方向的尺寸为：dx、dy，且像点在实际图像坐标系下的坐标为(x，y)，于是可得到像点在像素坐标系下的坐标为：
[0058][0059][0060]
将其换成矩阵相乘的形式为：
[0061][0062]
综合上述转换过程，可获得从世界坐标系到像素坐标系的映射关系应该如下：
[0063]
[0064]
其中，相机内参矩阵m为：在实际计算过程中相机内参m已知的，仓库高度是固定的，也就是说zc是已知的，当识别到agv叉车后我们就能获取到agv叉车的像素坐标，利用世界坐标系和像素坐标系的关系，我们可以求出agv叉车在世界坐标系下的位置。
[0065]
对于实时通信模块所需关联的其他设备，如agv叉车、四向车、输送线，其可利用本设备前方所设的摄像头采集设备前方货物托盘(主要为agv叉车前方需要运送到输送线上的货物托盘)的图片，然后对这些图片进行货物托盘位置标注，形成数据集，利用yolo系列目标检测算法构建深度神经网络模型，然后利用提前部署的服务器完成深度神经网络模型的训练，确定神经网络模型中的参数，然后把训练后所得模型部署到agv叉车等设备上所安装的边缘计算服务器上，通过实时获取agv叉车等设备前方摄像头的视频流来完成对货物托盘的识别，同样得到货物托盘的正面的位置方框。
[0066]
当agv叉车等设备前方所安装的摄像头为深度摄像头时，本技术可以根据该货物托盘位置方框在像素坐标下的坐标直接获取到agv叉车到输送线托盘的正面距离。如果agv叉车等设备前方所安装的摄像头为单纯的双目摄像头，则，可相应根据摄像头双目成像原理，通过计算双目视差的方法，利用该货物托盘位置方框在左右摄像头像素坐标下的坐标计算出agv叉车到输送线托盘的正面距离。
[0067]
对于双目摄像头所采集的图像进行双目视差法运算的具体过程可设置如下：
[0068]
根据图2双目深度相机成像模型,p为空间中的点，p1和p2是点p在左右像平面上的成像点，f是焦距，or和ot是左右相机的光心。由下图可见左右两个相机的光轴是平行的。xr和xt是两个成像点在左右两个像面上距离图像左边缘的距离。若两个相机已经校正完成即达到极线平行，两条光轴方向也平行。则视差和物体深度的关系式为：推导可得：其证明过程如下：
[0069]
已知图2中：左右图像宽度均为l，由相似三角形原理可得：其中b1可以用b、xr和xt表示为
[0070]
将这一推导进行变形，即可利用双目相机的双目视差求得深度距离，即agv到托盘的距离。
[0071]
对于深度相机所采集的图像，由于相机中含有激光测距硬件，因此，其可以直接获取指定像素点的深度。由此可直接通过图像数据识别到托盘就能直接得到agv到托盘的距
离。
[0072]
基于上述成像数据，本技术可相应判断agv小车或货物的实时位置以相应触发其他设备进行联动，准备接收相应货物，实现高效衔接，提高货物入库、出库效率。本技术通过在仓库上方及agv叉车前方安装摄像头，利用服务器识别各摄像头图像所对应的agv叉车的实时位置以及货物托盘的实时位置，从而根据agv叉车的实时位置以及货物托盘的实时位置进行综合调度，可实现：
[0073]
根据agv叉车的实时位置触发四向车提前调动至入库口进行等待；
[0074]
入库过程中，根据货物托盘的实时位置，在agv叉车已经完全把货物放到输送线时自动触发输送线运动；
[0075]
根据agv叉车的实时位置设置禁止区域，保障设备人员安全；
[0076]
出库过程中，根据agv叉车的实时位置选择距离最近的agv叉车获取货物。
[0077]
以上仅为本技术的实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些均属于本技术的保护范围。