一种基于视觉目标检测的移动机器人跟随行人方法、系统及介质与流程

1.本发明属于机器人控制的技术领域，具体涉及一种基于视觉目标检测的移动机器人跟随行人方法、系统及介质。


背景技术：

2.近年来，机器人技术发展极为迅速，前沿技术层出不穷，并不断应用于实际的生产生活当中，诞生了许多智能化的服务类机器人，如在商场、家庭、餐厅等场景中进行服务的机器人，这些智能化的机器人主要目的是控制机器人平稳安全地跟随目标行人移动，移动机器人的控制器的实现往往需要获取目标行人的位置、速度信息，这就给控制器的设计带来了困难。一种可行的方法是为移动机器人和目标行人都安装通讯设备，使他们可以通过通讯来获取自己所需的信息，进而计算出机器人自身的控制信号，然而这种方法会增加系统的硬件成本。随着机器视觉的发展，利用视觉反馈来控制移动机器人系统成为控制工程领域的一个重要课题。基于视觉的移动机器人行人跟随系统融合了目标检测、跟踪与运动控制的技术，具有广阔的应用前景，其主要包括两个任务，一是目标行人的检测和跟踪，二是移动机器人的运动控制。
3.随着深度学习的兴起，目标检测与目标跟踪迅速发展，在移动机器人跟随行人的过程中，首先要进行行人目标检测与跟踪。现有目标检测主要可分为two-stage和one-stage方法。two-stage方法要先得到候选框区域，然后对每个候选框进行分类，而one-stage方法没有生成候选区域的过程，直接把问题转化成为回归问题，这一流程区别使得one-stage方法拥有更快检测速度，而在定位精度和检测准确率上，two-stage方法则略胜一筹。two-stage的结构主要有r-cnn、fast-rcnn、mask r-cnn等。one-stage的结构主要以yolo(you only look once)为代表，one-stage在速度上提升，然而准确度有所下降，在移动机器人跟随行人的过程中，目标行人多数情况下处于运动过程中，因此实时性尤为重要，然而如何在确保实时性的前提下，又确保检测的准确度满足需求是个极具挑战的问题。
4.另一方面，一般而言，目标跟踪技术可以分为单目标跟踪和多目标跟踪两大类。单目标跟踪算法是在视频的每帧图片里只跟踪一个目标，单目标跟踪算法主要原理是跟踪目标的自身外观，然后计算历史帧的跟踪目标和现在帧的候选区域的相似度或匹配误差，跟踪结果为相似度最大的候选区域或者是匹配误差最小的候选区域。而多目标跟踪要跟踪每个目标在视频序列中的位置，而且还要维持每个目标的识别身份不发生变化。得益于深度学习目标检测的快速发展，基于检测的跟踪性能更为优异，该方法把任务分解为数据关联和目标检测，检测由检测器完成，然后优化检测结果关联成目标的轨迹；当前常用的多目标算法有sort、deep sort等。相较于单目标跟踪的算法，采用多目标跟踪的移动机器人跟随算法具有更大的应用价值，可以清楚视野范围内多个目标的情况，使机器人跟随指定编号的目标。在多目标跟踪领域，如何优化检测器的性能，以及如何将检测结果更好地与目标的轨迹相关联是一个很大的挑战。
5.移动机器人跟随行人可以将行人视为“领导者”，机器人视为“跟随者”，因此研究机器人运动控制可以参考领导者-跟随者的编队方法。移动机器人的运动控制是机器人跟随行人的基础，为了实现基于视觉反馈的行人跟随运动控制算法，相机捕捉到的图像信息是必不可少的。然而，由于相机的视场是有限的，如果不做干预，目标很可能在移动机器人运动的过程中离开相机的视场。这一问题通常被称为相机的视场约束。一旦相机拍摄不到目标，那么控制器就失去了反馈信息，控制任务也会随之失败。因此，如何满足视场约束是视觉反馈控制最基础的问题。近年来，预设性能控制也被用来解决各种约束控制问题。最初，预设性能控制被用来保证控制误差能够满足预先给定的性能指标，如最大超调量、收敛速度、稳态误差等，这也是它被叫做预设性能控制的原因。预设性能控制将性能指标描述为对系统误差的约束，通过设计相应的误差转换函数，将有约束的系统转换为无约束的等价系统，然后再为等价的无约束系统设计控制器。只要控制器可以保证无约束的系统稳定，原有的约束就能被满足。在实际场景中，由于系统建模不完善、系统模型中经常包含未知的参数或动态变量，同时包括移动机器人运动跟随过程中的避障问题，这些都为移动机器人的控制器设计带来了更多的挑战。


技术实现要素：

6.本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于视觉目标检测的移动机器人跟随行人方法、系统及介质，本方法通过改进目标检测算法的结构，提高检测的准确度；改进多目标跟踪算法，提升目标跟踪的准确度；借助预设性能控制的方法，引入转换误差函数，设计带有避障功能的移动机器人控制器，保证移动机器人安全平稳地跟随目标行人。
7.为了达到上述目的，本发明采用以下技术方案：
8.本发明一方面提供了一种基于视觉目标检测的移动机器人跟随行人方法，包括下述步骤：
9.改进目标检测算法搭建行人检测模型，对行人目标进行检测得到行人目标检测框的坐标；
10.改进多目标跟踪算法，对行人目标进行跟踪；
11.构建非完整移动机器人运动学模型，以及移动机器人与行人之间的角度和距离；
12.确定角度和距离的约束条件，定义角度误差和距离误差；
13.基于预设性能控制的方法，设计与障碍物位置有关的预设性能函数，构建误差转换函数；
14.将转换误差函数引入李雅普诺夫函数，设计基于视觉的跟随避障控制器及速度观测器。
15.作为优选的技术方案，所述行人检测模型是采用基于yolov5改进的目标检测算法搭建而成，在yolov5主干网络backbone的尾部加入selayer通道注意力机制层，在head的尾部加入fcanet频域通道注意力机制层，对行人目标进行实时检测，并获取行人目标检测框的坐标。
16.作为优选的技术方案，所述多目标跟踪算法是基于deepsort算法改进的；deepsort算法包括检测器、卡尔曼滤波算法及匈牙利匹配；所述检测器采用所述目标检测
模型的网络结构；所述卡尔曼滤波算法的线性系统进行ut变换扩展。
17.作为优选的技术方案，所述构建非完整移动机器人运动学模型，具体为：
18.在大地坐标系中，构建非完整移动机器人运动学模型，表示为：
[0019][0020]
其中，(xf，yf)表示移动机器人在大地坐标系中的位置；ψf为移动机器人在大地坐标系中的航向角；vf和ωf分别为该移动机器人相当于大地坐标系运动时的线速度和角速度；
[0021]
所述行人检测模型中得到的行人目标检测框的坐标为(u
p
，v
p
)，通过针孔相机模型转换得到相机坐标系下行人的三维坐标根据相机坐标系和大地坐标系的几何关系，得到行人在大地坐标系中的坐标(x
p
，y
p
)，关系式为：
[0022][0023]
根据行人在大地坐标系中的位置坐标(x
p
，y
p
)，计算移动机器人与行人之间的角度θf和距离df：
[0024][0025][0026][0027]
其中，df表示行人与机器人之间的距离，θf表示行人与机器人之间的角度；为中间参量。
[0028]
作为优选的技术方案，所述确定角度和距离的约束条件，定义角度误差和距离误差，具体为：
[0029]
根据移动机器人的视角约束，确定角度和距离的约束条件：
[0030][0031][0032]
其中，df、为移动机器人与行人的最小、最大距离，为深度相机的最大视角；
[0033]
定义相应的距离误差e
df
与角度误差e
θf
：
[0034]edf
＝d
f-d
des，f
[0035]eθf
＝θ
f-θ
des，f
[0036]
其中，d
des，f
为设定的机器人与行人之间的期望距离值，θ
des，f
为设定的机器人与行人之间的期望夹角；
[0037]
则根据角度和距离的约束条件，距离误差e
df
与角度误差e
θf
满足如下关系式：
[0038][0039]
[0040]
作为优选的技术方案，所述与障碍物位置有关的预设性能函数的微分形式，定义为：
[0041][0042]
其中，*∈{du，d
l
，θu，θ
l
}，与表示距离误差e
df
的上下界，与表示角度误差e
θf
的上下界，∈为很小的正常数；
[0043]
根据设定的机器人与行人之间的期望距离值和期望夹角，与ρ
*
的定义为：
[0044][0045][0046][0047][0048][0049][0050][0051][0052]
其中，ρ
d，∞
和ρ
θ，∞
分别是距离和角度的性能函数稳态值；
[0053]
则所述性能函数的微分形式关于时间t的积分ρ
*
(t)满足关系式：
[0054][0055]
的具体形式为：
[0056][0057][0058][0059][0060]
其中，md＝d
des，f-df，b，cu，ld，l
θ
为设定的参数，v表示移动机器人的线速度；d1和d2分别为移动机器人与行人连线之间的左右两侧障碍物的最短距离；sw1，sw2，sw
1,2
，swu的定义由为：
[0061]
sw1＝sw(λ1 δ
λ
，0，δ
λ
)-sw(λ1，1，δ
λ
)
[0062]
sw2＝sw(λ2 δ
λ
，0，δ
λ
)-sw(λ2，1，δ
λ
)
[0063][0064]
swu＝sw(v，0，δu)
[0065][0066][0067]
其中，λ1，λ2分别代表移动机器人与行人连线中左右障碍物到机器人的投影距离，δu，，δ
λ
，δ
1，2
均为很小的正常数。
[0068]
作为优选的技术方案，所述构建误差转换函数，具体为：
[0069]
根据距离误差与角度误差及对应的性能函数，构建误差转换函数，表示为：
[0070][0071]
其中，e
jf
(t)为距离d与角度θ的误差；
[0072]
对误差转换函数求导得：
[0073][0074]
其中，p
jf
、q
jf
为中间参量，表示为：
[0075][0076][0077]
a是常数。
[0078]
作为优选的技术方案，所述设计基于视觉的跟随避障控制器，具体为：
[0079]
将误差转换函数引入李雅普诺夫函数，所述李雅普诺夫函数为：
[0080][0081]
其中为的估计误差，为的估计值；z
df
与z
θf
分别为距离与角度的误差转换函数；
[0082]
利用李雅普诺夫直接法，将移动机器人基于视觉的跟随避障控制器设计为：
[0083][0084][0085]
其中，与为控制器的设计参数，ζi为常数；
[0086]
设计的速度观测器为：
[0087][0088]
其中，σ
p
为大于零的设计参数。
[0089]
本发明另一方面提供了一种基于视觉目标检测的移动机器人跟随行人系统，应用于上述的基于视觉目标检测的移动机器人跟随行人方法，包括行人目标检测模块、行人目标跟踪模块、运动学模型构建模块、误差条件定义模块、误差转换构建模块及控制器设计模块；
[0090]
所述行人目标检测模块改进目标检测算法搭建行人检测模型，对行人目标进行检测得到行人目标检测框的坐标；
[0091]
所述行人目标跟踪模块用于设计多目标跟踪算法，对行人目标进行跟踪；
[0092]
所述运动学模型构建模块用于构建非完整移动机器人运动学模型，以及移动机器人与行人之间的角度和距离；
[0093]
所述误差条件定义模块用于确定角度和距离的约束条件，定义角度误差和距离误差；
[0094]
所述误差转换构建模块基于预设性能控制的方法，设计与障碍物位置有关的预设性能函数，构建误差转换函数；
[0095]
所述控制器设计模块将转换误差函数引入李雅普诺夫函数，设计基于视觉的跟随避障控制器及速度观测器。
[0096]
本发明还一方面提供了一种计算机可读存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现上述的基于视觉目标检测的移动机器人跟随行人方法。
[0097]
本发明与现有技术相比，具有如下优点和有益效果：
[0098]
1、本发明基于视觉目标检测与跟踪，移动机器人仅依靠自身传感器获取的信息就可以计算出自己的控制量，不需要和目标行人之间有任何通讯，减少消耗通讯硬件资源、且避免一些场合通讯信号弱等因素，具有较大的应用范围。
[0099]
2、本发明改进了基于yolov5的目标检测结构，在结构的合适区域分别加入selayer通道注意力机制和fcanet频域注意力机制，神经网络能够自动给每个通道分配不同的权重，让网络关注更重要的特征，抑制不重要的特征，从而提升模型的检测准确度。
[0100]
3、本发明改进了deepsort多目标跟踪算法，将deepsort里的检测器换成改进的yolov5结构，将deepsort算法里用卡尔曼滤波算法的预测部分进行ut变化扩展，即ukf滤波算法，该算法能较好的处理跟随行人场景下可能出现的非线性问题，同时改进后的算法也对部分遮挡问题更加鲁棒。
[0101]
4、本发明通过使用预设性能控制的方法，控制系统的跟踪误差被约束在指定的上、下界性能函数之间，保证了控制系统的超调量、误差收敛速度及稳态误差等暂态和稳态性能可以满足设计要求。
[0102]
5、本发明引入误差转换函数，使用李雅普诺夫方法，结合速度观测器，设计与障碍物有关的性能函数，考虑了机器人跟随过程中的避障问题，保证移动机器人安全平稳地跟随目标行人。
附图说明
[0103]
为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他
的附图。
[0104]
图1为本发明实施例中基于视觉目标检测的移动机器人跟随行人方法的流程示意图；
[0105]
图2为本发明实施例中改进目标检测算法的结构图；
[0106]
图3为本发明实施例中移动机器人与行人、障碍物在坐标系的位置关系图；
[0107]
图4为本发明实施例中移动机器人跟随行人的matlab仿真轨迹图；
[0108]
图5为本发明实施例中控制误差变量e
df
的matlab仿真图；
[0109]
图6为本发明实施例中伺服控制误差变量e
θf
的matlab仿真图；
[0110]
图7(a)、(b)为本发明实施例中不同时刻在gazebo仿真软件下的效果图；
[0111]
图8(a)、(b)为本发明实施例中不同时刻在gazebo仿真软件下的效果图；
[0112]
图9(a)-(c)为本发明实施例中移动机器人跟随行人的实物示意图；
[0113]
图10为本发明实施例中基于视觉目标检测的移动机器人跟随行人系统的结构示意图；
[0114]
图11为本发明实施例中计算机可读存储介质的结构示意图。
具体实施方式
[0115]
为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0116]
在本技术中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本技术所描述的实施例可以与其它实施例相结合。
[0117]
如图1所示，本实施例提供了一种基于视觉目标检测的移动机器人跟随行人方法，包括下述步骤：
[0118]
s1、改进目标检测算法搭建行人检测模型，对行人目标进行检测得到行人目标检测框的坐标，具体为：
[0119]
如图2所示，行人检测模型是采用基于yolov5改进的目标检测算法搭建而成，在yolov5主干网络backbone的尾部加入selayer通道注意力机制层，在head的尾部加入fcanet频域通道注意力机制层，对行人目标进行实时检测，并获取行人目标检测框的坐标。
[0120]
本实施例中的行人检测模型在inria行人数据集上进行训练，改进后的目标检测算法能够自动给每个通道分配不同的权重，让网络关注更重要的特征，抑制不重要的特征，提升模型的检测准确度。
[0121]
s2、改进多目标跟踪算法，对行人目标进行跟踪，具体为：
[0122]
多目标跟踪算法是基于deepsort算法改进的；deepsort算法主要包括检测器、卡尔曼滤波算法及匈牙利匹配等部分；检测器更换为上述构建的目标检测模型的网络结构；由于卡尔曼滤波算法是一种针对线性环境的最优估计方法，不完全适用于行人的运动轨迹状态，因此将卡尔曼滤波算法的线性系统进行ut变换扩展，得到ukf滤波算法；
[0123]
ut变换的核心思想是通过少数样本模拟预测目标的状态空间，方法是在原先分布中选取(2n 1)个sigmoid点(n为状态变量的维数)，采样点使用与原系统状态分布相同的均值和协方差，将采样点进行非线性变换，最后通过加权运算得到新的均值和协方差矩阵。ukf算法能较好的处理跟随行人场景下可能出现的非线性问题，同时改进后的算法也对部分遮挡问题更加鲁棒。
[0124]
s3、构建非完整移动机器人运动学模型，以及移动机器人与行人之间的角度和距离，具体为：
[0125]
在大地坐标系中，构建非完整移动机器人运动学模型，表示为：
[0126][0127]
其中，(xf,yf)表示移动机器人在大地坐标系中的位置；ψf为移动机器人在大地坐标系中的航向角；vf和ωf分别为该移动机器人相当于大地坐标系运动时的线速度和角速度；
[0128]
如图3为在大地坐标系下移动机器人与目标行人的位置关系图，虽然移动机器人跟随目标的行人可以按任意轨迹“行走”，且移动机器人可以避开任意位置的障碍物，但为了方便后续matlb对控制器进行仿真验证，在本实例中，假设一个障碍物的位置坐标为(55,-0.2)，假设跟踪的目标行人按照如下轨迹运动：
[0129][0130]
其中t
′
＝0.02(t-35)，t
″
＝0.02(t-192)；则移动机器人跟随目标行人且完成避障的matlab仿真运动轨迹如图4所示。
[0131]
为获得行人在大地坐标系中的位置坐标，需要将行人检测模型中得到的行人目标检测框的坐标(u
p
，v
p
)进行转换，转换步骤如下：
[0132]
已知针孔相机模型为：
[0133][0134]
其中，(u，v)表示空间点对应的像在图像平面上的像素坐标，(xc，yc，zc)为空间点在相机坐标系中的三维位置坐标，a为相机的内参矩阵，它的形式为：
[0135][0136]
其中，au和av分别为图像平面x轴和y轴的比例因子，a
uv
代表x轴和y轴间的畸变因子，(u0，v0)表示图像平面中心点的像素坐标，相机内参矩阵a为相机固有的已知参数；
[0137]
通过针孔相机模型转换得到行人在相机坐标系下的三维坐标为
[0138]
再根据相机坐标系和大地坐标系的几何关系，得到行人在大地坐标系中的坐标(x
p
，y
p
)，关系式为：
[0139][0140]
根据行人在大地坐标系中的位置坐标(x
p
，y
p
)，计算移动机器人与行人之间的角度θf和距离df：
[0141][0142][0143][0144]
其中，df表示行人与机器人之间的距离，θf表示行人与机器人之间的角度；为中间参量。
[0145]
s4、确定角度和距离的约束条件，定义角度误差和距离误差，具体为：
[0146]
在实际环境下，移动机器人的视角范围以及深度传感器都有一定限制值，且移动机器人在跟随行人的过程中必须注意避免碰撞；因此根据移动机器人的视角约束，确定角度和距离的约束条件：
[0147][0148][0149]
其中，df、为移动机器人与行人的最小、最大距离，为深度相机的最大视角；
[0150]
本实施例中，df＝0.5米，
[0151]
定义相应的距离误差e
df
与角度误差e
θf
：
[0152]edf
＝d
f-d
des，f
[0153]eθf
＝θ
f-θ
des，f
[0154]
其中，d
des，f
为设定的机器人与行人之间的期望距离值，θ
des，f
为设定的机器人与行人之间的期望夹角；本实施例中，d
des，f
＝3.0米，θ
des，f
＝0rad。
[0155]
则根据角度和距离的约束条件，距离误差e
df
与角度误差e
θf
满足如下关系式：
[0156][0157][0158]
s5、基于预设性能控制的方法，设计与障碍物位置有关的预设性能函数，构建误差转换函数，具体为：
[0159]
与障碍物位置有关的预设性能函数的微分形式，定义为：
[0160][0161]
其中，*∈{du，d
l
，θu，θ
l
}，与表示距离误差e
df
的上下界，与表示角度误差e
θf
的上下界，∈为很小的正常数；
[0162]
根据设定的机器人与行人之间的期望距离值和期望夹角，与ρ
*
的定义为：
[0163][0164][0165][0166][0167][0168][0169][0170][0171]
其中，ρ
d，∞
和ρ
θ，∞
分别是距离和角度的性能函数稳态值；
[0172]
则性能函数的微分形式关于时间t的积分ρ
*
(t)满足关系式：
[0173][0174]
的具体形式为：
[0175][0176][0177][0178][0179]
其中，md＝d
des，f-df，b，cu，ld，l
θ
为设定的参数，v表示移动机器人的线速度；如图3中标注所示，d1和d2分别为移动机器人与行人连线之间的左右两侧障碍物的最短距离；sw1，sw2，sw
1,2
，swu的定义由为：
[0180]
sw1＝sw(λ1 δ
λ
，0，δ
λ
)-sw(λ1，1，δ
λ
)
[0181]
sw2＝sw(λ2 δ
λ
，0，δ
λ
)-sw(λ2，1，δ
λ
)
[0182][0183]
swu＝sw(v，0，δu)
[0184][0185][0186]
其中，λ1，λ2分别代表移动机器人与行人连线中左右障碍物到机器人的投影距离，根据图3标注所示，d
o1
为移动机器人与行人连线中左障碍物到机器人的
投影距离，d
o2
为移动机器人与行人连线中右障碍物到机器人的投影距离，δu，，δ
λ
，δ
1，2
均为很小的正常数。
[0187]
本实施例中，性能函数的参数中∈＝0.01，b＝10，ld＝0.1，l
θ
＝0.5，ρ
d，∞
＝0.1，ρ
θ，∞
＝0.1，cu＝0.003，δ
λ
＝20，δ
1，2
＝20，δu＝20。
[0188]
根据距离误差与角度误差及对应的性能函数，构建误差转换函数，表示为：
[0189][0190]
其中，e
jf
(t)为距离d与角度θ的误差；
[0191]
对误差转换函数求导得：
[0192][0193]
其中，p
jf
、q
jf
为中间参量，表示为：
[0194][0195][0196]
a是常数。本实施例中a＝0.1。
[0197]
s6、将转换误差函数引入李雅普诺夫函数，设计基于视觉的跟随避障控制器及速度观测器，具体为：
[0198]
考虑如下李雅普诺夫函数：
[0199][0200]
其中为的估计误差，为的估计值；z
df
与z
θf
分别为距离与角度的误差转换函数；
[0201]
利用李雅普诺夫直接法，将移动机器人基于视觉的跟随避障控制器设计为：
[0202][0203][0204]
其中，与为控制器的设计参数，ζi为常数；
[0205]
设计的速度观测器为：
[0206][0207]
其中，σ
p
为大于零的设计参数。在本实例中，σ
p
＝0.08，ζi＝1。
[0208]
以上述实例中的参数，当移动机器人与目标行人按图4轨迹运动时，通过matlab仿真记录该过程控制误差变量e
df
与e
θf
的情况如图5、图6所示；且图5、图6展现出移动机器人在跟随、避障过程中性能函数的变化情况。
[0209]
本实例在gazebo仿真软件下完成目标行人按任意轨迹“行走”，保证移动机器人平稳跟随、避障的实验过程，如图7与图8所示。图7(a)中可以看出有多个行人出现，且包含多个障碍物，图7(b)为当前时刻搭载在移动机器人上深度相机的彩色图像，移动机器人始终跟随编号为1的目标行人，不受其他行人的干扰。在图8(a)中，移动机器人进行避障过程，图8(b)为当前时刻搭载在移动机器人上的深度相机的彩色图像，仍然保持跟随编号为1的目标行人。
[0210]
本实例进行实物实验测试，采用pioneer 3-at移动机器人，搭载小觅深度相机与激光雷达，如图9所示，图9(a)与图9(c)为移动机器人跟随目标行人与避障的实验过程图，图9(b)为小觅相机返回的彩色图像，图中检测出了行人，将其编号为1。
[0211]
需要说明的是，对于前述的各方法实施例，为了简便描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。
[0212]
基于与上述实施例中的基于视觉目标检测的移动机器人跟随行人方法相同的思想，本发明还提供基于视觉目标检测的移动机器人跟随行人系统，该系统可用于执行上述基于视觉目标检测的移动机器人跟随行人方法。为了便于说明，基于视觉目标检测的移动机器人跟随行人系统实施例的结构示意图中，仅仅示出了与本发明实施例相关的部分，本领域技术人员可以理解，图示结构并不构成对装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0213]
如图10所示，本发明另一个实施例提供了一种基于视觉目标检测的移动机器人跟随行人系统，包括以下几个模块：
[0214]
行人目标检测模块改进目标检测算法搭建行人检测模型，对行人目标进行检测得到行人目标检测框的坐标；
[0215]
行人目标跟踪模块用于设计多目标跟踪算法，对行人目标进行跟踪；
[0216]
运动学模型构建模块用于构建非完整移动机器人运动学模型，以及移动机器人与行人之间的角度和距离；
[0217]
误差条件定义模块用于确定角度和距离的约束条件，定义角度误差和距离误差；
[0218]
误差转换构建模块基于预设性能控制的方法，设计与障碍物位置有关的预设性能函数，构建误差转换函数；
[0219]
控制器设计模块将转换误差函数引入李雅普诺夫函数，设计基于视觉的跟随避障控制器及速度观测器。
[0220]
需要说明的是，本发明的基于视觉目标检测的移动机器人跟随行人系统与本发明的基于视觉目标检测的移动机器人跟随行人方法一一对应，在上述基于视觉目标检测的移动机器人跟随行人方法的实施例阐述的技术特征及其有益效果均适用于基于视觉目标检测的移动机器人跟随行人系统的实施例中，具体内容可参见本发明方法实施例中的叙述，此处不再赘述，特此声明。
[0221]
此外，上述实施例的基于视觉目标检测的移动机器人跟随行人系统的实施方式中，各程序模块的逻辑划分仅是举例说明，实际应用中可以根据需要，例如出于相应硬件的配置要求或者软件的实现的便利考虑，将上述功能分配由不同的程序模块完成，即将所述基于视觉目标检测的移动机器人跟随行人系统的内部结构划分成不同的程序模块，以完成
以上描述的全部或者部分功能。
[0222]
如图11所示，在一个实施例中，提供了一种计算机可读存储介质，存储有程序于存储器中，所述程序被处理器执行时，实现所述的基于视觉目标检测的移动机器人跟随行人方法，具体为：
[0223]
改进目标检测算法搭建行人检测模型，对行人目标进行检测得到行人目标检测框的坐标；
[0224]
改进多目标跟踪算法，对行人目标进行跟踪；
[0225]
构建非完整移动机器人运动学模型，以及移动机器人与行人之间的角度和距离；
[0226]
确定角度和距离的约束条件，定义角度误差和距离误差；
[0227]
基于预设性能控制的方法，设计与障碍物位置有关的预设性能函数，构建误差转换函数；
[0228]
将转换误差函数引入李雅普诺夫函数，设计基于视觉的跟随避障控制器及速度观测器。
[0229]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0230]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0231]
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。