基于场景固定摄像头的机器人集群控制及导航方法与流程

1.本发明涉及一种机器人集群控制方法，其所属技术领域包括机器人定位及导航，基于深度学习的物体识别，集群控制等。


背景技术：

2.目前机器人的定位及导航方法基于静态地图，传统的机器人定位方法包括激光slam定位以及视觉定位，这两种定位方法均基于场景中的特征点实现。对于激光slam定位方式来说，其对场景在不同时间段内的一致性要求较高，若场景中的固定物体位置变化，或存在动态移动的物体，则会影响其定位及导航效果。视觉定位也存在类似问题，且基于特征点的视觉定位易受环境光照的影响。
3.在当前模式识别方面的研究中，基于深度神经网络对场景中物体进行识别是普遍采用的方法。在参数经训练后的深度神经网络能够在各种光照条件下识别并标记出场景中的物体类型，识别率可达90%以上。深度神经网络针对场景中运动的物体同样具有可识别性。此外，采用固定于环境中的静态监控摄像头，配合相关算法能够大量识别出场景中的静态，及动态物体。
4.本发明即基于上述背景，提出了一种基于场景摄像头构建动态逻辑地图的方法，同时，基于逻辑地图及云服务器规划，实现对各机器人导航状态的实时控制。


技术实现要素：

5.下面结合附图和实施例对本发明进行进一步说明。
6.图1描述了该系统的硬件构成。硬件体系包括：1）多台置于场景中，自身具有一定运算功能的独立机器人，其中，每台机器人中均具有可旋转的摄像头；2）多台置于场景中，覆盖部分机器人导航区域的摄像头；3）与多台摄像头连接，且可与机器人之间进行通信的云端处理器。其中，机器人与云端处理器之间通过无线网络协议（如4g，5g，wifi）进行通信，每个机器人均具有独立的ip地址。
7.图2描述了系统的软件流程，其中包括1）在云处理器中实时生成动态逻辑地图；2）云处理器向机器人传输机器人视场中的物体类别；3）机器人通过自身的模式识别算法，判断机器人与物体的相对位置关系，同时结合其自身传感器的数据以及机器人本体在固定摄像头中呈现的位置及角度，利用卡尔曼滤波方式修正自身方位，上传至云处理器；4）云处理器根据各机器人的实时位置及其导航任务，规划全局交通指令集合，下发至每台机器人；5）每台机器人根据全局交通指令集合，规划其自身的局部路径及运动状态。
8.动态逻辑地图的生成过程是这样的：首先，云端处理器置于场景中，利用其内部的深度神经网络识别出场景中多种类别的物体，并利用识别出物体在其摄像头中呈现的像素坐标标定出该物体的位置，利用模式识别的方式判断出多个物体的姿态。例如：云端处理器中的神经网络算法能够识别出场景中的n类物体，每类物体的数量分别为xn,那么，云端处理器识别出来的物体总数 。其中每类物体都采用指定的结构体存储其独特的信息，所以云
服务器识别出的所有物体可用列表进行标记：公式1 list=[id=1,(x1, y1, z1,类型，属性)]，[id=2,(x2, y2, z2,类型，属性)]，
…
[id=n,(xn, yn, zn,类型，属性)]，在公式中，list即代表列表，n代表识别出的物体总数；中括号中的每一行均代表一个独立物体的属性。属性包括位置信息（x-γ）以及物体的特有信息（classindex），特有信息包括该物体的形状，受到光照状态，是否为动态物体，移动速度等。
[0009]
该列表描述了一幅逻辑地图，图3即示出了这种描述方法。即基于该地图可构建出一幅完整的三维空间还原场景。云端处理器处理每个摄像头读取的相关数据，时刻生成逻辑地图，并根据各个摄像头的局部数据对局部逻辑地图进行组合，形成一副具基于多摄像头采样生成的全局逻辑地图。
[0010]
该逻辑地图存储于云服务器的指定路径，系统中的各个机器人通过网络对该动态地图进行实时访问。
[0011]
机器人获取自身位置的方式是这样的：首先，机器人向云端处理器发送其自身的位置估计，云端处理器根据机器人的位置估计，向机器人发送其可能感知到的物体类别数据；机器人根据该数据对其自身内部算法进行参数调节；并对场景中的物体进行识别。如果机器人不能够有效识别相关物体或识别到的物体数量不足，则控制其摄像头进行旋转以寻找更多可识别物体。机器人在对物体进行识别后，将该物体标记为特征区块，并根据特征区块以及视觉slam的方式，确定摄像头与特征区块之间的相对位置。由于特征区块在逻辑地图中的位置是确定的，进而机器人在地图中的位置也能够被确定。
[0012]
云端处理器控制多台机器人进行导航的方法如附图4所示，具体实现过程是这样的：首先，在应用场景中认为标定若干条节点，每个节点均有独立且唯一的id。节点与相邻的节点能够以线段进行连接，多个节点之间的多个线段的连线被称为机器人的主路径。
[0013]
对于每一台机器人，都能够收到来自服务器的目标点任务；例如：机器人α需要导航至a点。
[0014]
首先，云端处理器通过前述方式确定机器人α的位置，记为α*，并获取距离a点最近的节点位置，记为a*。
[0015]
云端处理器向机器人发送“由α点导航至α*点”的命令，机器人采用自身定位及导航算法导航至α*点。
[0016]
云端处理器利用a星算法规划由α*到a*的最短路径，向机器人发布应当驶向的第一个节点id。
[0017]
机器人沿主路行驶式至第一个节点。
[0018]
机器人根据当前各个路径上的机器人状态，根据机器人车速等状态预判可能与机器人α发生路径冲突的机器人。若其他机器人优先级小于α，则α维持原路径不变，其他机器人修改路径避开α机器人。若其他机器人的优先级高于α，则采用迪杰斯特拉算法重新规划α
的路径，使其避开优先级更高的机器人。并向机器人发布下一个导航的目标节点。
[0019]
机器人根据服务器不断发送的目标节点，导航至a*（离目标点最近的主路径节点）。
[0020]
服务器向机器人发送a（最终目标）点。
[0021]
机器人导航至a点。
[0022]
由此便完成了在集群环境条件下，一台机器人由某一点导航至另一点的过程。
附图说明
[0023]
图1为系统的硬件构成，其中：1-1为固定在场景中的视频监控模块1-2为机器人1-3为机器人上的摄像头传感器1-4为场景内障碍物1-5为云服务器图2为系统的软件流程图图3为逻辑地图的示意图，其中：3-1为实际场景中的物体（如桌椅）3-2为实际场景中的机器人3-3为逻辑地图中对应某一物体的id3-4为逻辑地图中对应某一物体的位置3-5为逻辑地图中对应某一物体的类型3-6为逻辑地图中对应某一物体的属性图4为服务器的全局路径规划，及机器人的导航方法示意图，其中：4-1为机器人当前位置4-2为节点4-3为主路径4-4为机器人运动到第一个节点的路线4-5为机器人脱离最后一个节点的路线4-6为机器人的目标位置该发明的有益效果为：采用逻辑地图作为地图信息的交互方式，将图像数据变为逻辑上的列表，减小了网络传输所需的带宽，提升了网络信息交互的效率，增加了控制信号的时效性。采用固定摄像头对场景环境的地图进行时刻重构，并将动态地图信息实时同步给各机器人，增加了机器人导航的智能性及鲁棒性。机器人基于云端处理器根据机器人的各位置输出基于全局的交通信息指令集，机器人基于交通指令进行其自身的局部路径规划，有效的分配了体系内的运算负载，使得系统中可容纳的机器人数量增加。
[0024]
基于场景摄像头与逻辑地图的机器人集群控制方法，包括如下步骤：如图3，该描述方法是基于地图可构建出一幅完整的三维空间还原场景。云端处理器处理每个摄像头读取的相关数据，时刻生成逻辑地图，并根据各个摄像头的局部数据对
局部逻辑地图进行组合，形成一副具基于多摄像头采样生成的全局逻辑地图。该逻辑地图存储于云服务器的指定路径，系统中的各个机器人通过网络对该动态地图进行实时访问。
[0025]
如图4，云端处理器控制多台机器人进行导航的方法，首先，在应用场景中认为标定若干条节点，每个节点均有独立且唯一的id。节点与相邻的节点能够以线段进行连接，多个节点之间的多个线段的连线被称为机器人的主路径。对于每一台机器人，都能够收到来自服务器的目标点任务；例如：机器人α需要导航至a点。首先，云端处理器通过前述方式确定机器人α的位置，记为α*，并获取距离a点最近的节点位置，记为a*。云端处理器向机器人发送“由α点导航至α*点”的命令，机器人采用自身定位及导航算法导航至α*点。云端处理器利用a星算法规划由α*到a*的最短路径，向机器人发布应当驶向的第一个节点id。机器人沿主路行驶式至第一个节点。机器人根据当前各个路径上的机器人状态，根据机器人车速等状态预判可能与机器人α发生路径冲突的机器人。若其他机器人优先级小于α，则α维持原路径不变，其他机器人修改路径避开α机器人。若其他机器人的优先级高于α，则采用迪杰斯特拉算法重新规划α的路径，使其避开优先级更高的机器人。并向机器人发布下一个导航的目标节点。机器人根据服务器不断发送的目标节点，导航至a*（离目标点最近的主路径节点）。服务器向机器人发送a（最终目标）点。机器人导航至a点。由此便完成了在集群环境条件下，一台机器人由某一点导航至另一点的过程。
[0026]
本发明说明书中未作详细描述的内容属本领域技术人员的公知技术。