一种智能跟随设备及其跟随方法与流程

1.本发明涉及智能用品技术领域，具体为一种智能跟随设备及其跟随方法。


背景技术：

2.现在市场上已出现越来越多的智能跟随设备，这些智能跟随设备可以方便人们的出行、工作和生活，但是由于目前的智能跟随技术存在一些缺陷，智能跟随的设备并没有得到大量的应用。
3.当前的智能跟随技术主要分为以下几种：
4.(1)基于视觉的人体检测跟踪跟随技术。该方法需要对人体进行实时的检测和跟踪，图像处理量巨大，一般计算机无法完成运算，对计算设备的算力要求较高，计算平台成本高，实时性较差且受光线条件限制较大。
5.(2)基于定向信号源的智能跟随技术，如超声波跟随技术和红外线跟随技术，该技术原理是利用接收阵列接收到信号(如超声波信号、红外线信号)的时间差异来计算信号源的角度，再通过信号的传播时间和传播速度定位距离。该跟随方式一是可能会受到附近信号源信号的干扰，二是在工作时，信号发射源必须要时刻对准信号接收端，当信号发射端被遮挡的时候，会跟随失败，由于在实际的跟随场景下，信号发射端常常受到室内障碍物和人体自身的遮挡，所以该跟随技术用户体验不佳。
6.(3)uwb定位跟随，uwb最初的定义是来自于60年代兴起的脉冲通信技术，又称为脉冲无线电(impulse radio)技术，它是现今室内定位跟随技术中发展前景较高的一种，具有穿透力强、功耗低、抗多径效果好、安全性高、系统复杂度低、能提供精确定位精度等优点，但是该跟随系统至少需要一个发射模块和两个接收模块，实现成本高。
7.当前的智能跟随技术主要存在以下缺点：
8.1、智能跟随容易因为跟随目标被障碍物遮挡而导致跟随失败，使用不够方便灵活，无法适应复杂场景。智能跟随技术首先要对跟随目标进行定位，在很多复杂场景下，如火车站、商场中，行人、墙壁等障碍物也比较多，跟随目标很可能被行人、墙壁遮挡，在跟随目标被遮挡时，当前的智能跟随技术因为无法对跟随目标进行定位，从而无法正常跟随，导致人在使用跟随设备时，需要常常关心跟随目标是否被遮挡，所以不够方便灵活。虽然目前有些智能跟随设备采用的目标定位技术可以不受障碍物的影响，如uwb技术，但是实现成本高。
9.2、在智能跟随异常时，缺少简单直观的人工控制方式。比如当误判跟丢时，需要让跟随设备回到正确的方向；基于视觉技术的跟随方式在图像处理失败时，需要人来控制跟随设备运动；当周围障碍物过多导致跟随设备停止不动或者乱转时，需要让跟随设备按照人的意图来运动以摆脱困境。因为需要人来控制跟随设备运动，而且使用智能跟随设备的主流群体是中老年人，所以提供简单直观的人工控制方式就尤为重要了。但是目前的智能跟随技术缺乏跟随异常时方便直观的人工控制方式。
10.3、缺乏安全感：跟随设备是在人体的后方或者侧后方，人在正常行走时，跟随设备
处于人的视线之外，人与跟随设备是分离的。当人在专心行走时，此时如果跟随设备被人搬走了，或者跟错了目标，或者跌落到台阶下等情况出现时，不能及时发现。
11.因此，当前需要一种实现成本低、跟随目标定位不受障碍物影响、使用方便灵活、跟随异常时能简单直观地进行人工控制、具有安全感的智能跟随技术。


技术实现要素：

12.本发明的目的在于提供一种智能跟随设备及其跟随方法，以解决上述背景技术中提出的问题。
13.为实现上述目的，本发明提供如下技术方案：一种智能跟随设备，包括运动装置，所述运动装置的内部固定安装有微型电脑和陀螺仪，所述运动装置的顶部一侧固定安装有操作台，所述操作台的顶部固定安装有拉力方向感知器件，所述拉力方向感知器件的探测端设置有牵引绳，所述陀螺仪用于测量运动装置前方朝向的绝对角度。
14.优选的，所述操作台位于拉力方向杆感知器件的正下方嵌入固定安装有摄像头，所述摄像头用于将运动装置前方画面传递给微型电脑，微型电脑对摄像头画面进行图像处理，检测图像中牵引绳位置。
15.优选的，所述运动装置面朝运动方向的表面嵌入固定安装有测距传感器，所述测距传感器可以测量出运动装置与前方障碍物的距离，并将测量得到的距离数据实时不间断地传送给微型电脑。
16.优选的，所述运动装置的顶部一体成型设置有储物仓室，且储物仓室的形状为顶部矩形面积大于底部矩形面积的锥形。
17.优选的，所述运动装置的底部两侧皆对称开设有凹槽，且凹槽的内侧皆活动安装有滚轮。
18.优选的，所述运动装置的底部活动安装有转向座，且转向座的底部转动安装有转向轮。
19.优选的，所述拉力方向感知器件、摄像头、陀螺仪和测距传感器均与微型电脑通过导线双向电性连接，且所述微型电脑、拉力方向感知器件、摄像头、陀螺仪和测距传感器的输入端皆通过导线与自带的蓄电池输出端电性连接。
20.一种智能跟随设备的跟随方法，包括如下步骤：
21.s1、启动微型电脑，本装置自动进入自动跟随模式，拉力方向感知器件感知牵引绳的拉动动作和拉力相对于运动装置前方的角度，并将测量结果传送给微型电脑，同时通过陀螺仪测量运动装置当前朝向的绝对角度，并将数据传递给微型电脑，从而微型电脑控制运动装置转向，且微型电脑不断读取前方摄像头画面，实时地计算出摄像头前方是否有牵引绳和牵引绳的位置；
22.s2、将牵引绳偏向摄像头左前方，微型电脑控制运动装置往左转，在运动装置往左转的过程中，牵引绳会逐渐趋向摄像头的中间区域，并且最终将会位于摄像头正前方，当牵引绳不再位于摄像头左前方时，运动装置不再左转；
23.s3、将牵引绳偏向摄像头右前方，微型电脑控制运动装置往右转，在运动装置往右转的过程中，牵引绳会逐渐趋向摄像头的中间区域，并且最终将会位于摄像头正前方，当牵引绳不再位于摄像头右前方时，运动装置不再右转；
24.s4、将牵引绳放于摄像头前方中间位置，微型电脑控制运动装置前进，直到运动装置往前运动一定的距离，或者与前方障碍物的距离小于一个阈值，然后停止前进，在运动装置往前运动的过程中，牵引绳会依然处于摄像头的前方中间区域；
25.s5、将牵引绳移出摄像头前方画面，微型电脑控制运动装置停止运动。
26.优选的，所述步骤s1中摄像头前方是否有牵引绳的判断方法具体为：
27.统计牵引绳的轨迹区域的像素数目，统计得到的像素数目大于或等于一个阈值，即认为摄像头前方有牵引绳，否则则认为摄像头前方没有牵引绳；
28.所述步骤s1中牵引绳区域所在位置的判断方法具体为：
29.计算牵引绳轨迹区域的所有像素列坐标的均值mean_y，如果mean_y与摄像头画面中心列坐标的差的绝对值小于或等于阈值t，即说明牵引绳的轨迹位于摄像头画面的中间；如果mean_y小于摄像头画面中心的列坐标减去阈值t的结果，即说明牵引绳的轨迹位于摄像头画面的左边；如果mean_y大于摄像头画面中心列坐标加上阈值t的结果，即说明牵引绳的轨迹位于摄像头画面的左边。
30.优选的，所述牵引绳轨迹区域的计算方法具体如下：
31.a、确定牵引绳在hsv颜色空间中的颜色范围r1；
32.b、读取摄像头画面图像i1；
33.c、将图像i1从rgb颜色空间转换为hsv颜色空间，得到图像i2；
34.d、对图像i2进行颜色分割，保留hsv颜色在范围r1的区域，得到图像i3，具体地i3为一个单通道图像；i2中的颜色在颜色范围r1中的像素，其在i3中对应的像素值为255，显示时颜色为白色；i2中的颜色不在颜色范围r1中的像素，其在i3中对应的像素值为0，显示时颜色为黑色；
35.e、i3中颜色为白色的区域，即为分割得到的区域，可作为牵引绳的轨迹区域。
36.与现有技术相比，本发明的有益效果是：
37.该一种智能跟随设备，在进行日常使用的过程中，能够实现成本低，牵引绳作为跟随目标，不用担心跟随目标被障碍物遮挡，使用方便灵活，且通过摄像头便于用户实时分辨牵引绳位置状态，智能跟随异常时通过拉力方向感知器件配合牵引绳操作方便人工控制，人工控制跟随设备转向精度较高，并且通过有线牵引更有安全感。
附图说明
38.图1为本发明的整体结构示意图；
39.图2为本发明的电性连接示意图；
40.图3为双轴摇杆拉动幅度和偏移方向计算方法示意图。
41.图中：1、牵引绳；2、拉力方向感知器件；3、摄像头；5、运动装置；6、测距传感器；7、转向轮；8、滚轮；9、储物仓室；10、转向座；11、操作台。
具体实施方式
42.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他
实施例，都属于本发明保护的范围。
43.请参阅图1-3，本发明提供一种技术方案：一种智能跟随设备，包括运动装置5，运动装置5的内部固定安装有微型电脑和陀螺仪，陀螺仪可以测量出运动装置5前方的角度，并且与微型电脑连接，将测量结果传送给微型电脑，运动装置5的顶部一侧固定安装有操作台11，操作台11的顶部固定安装有拉力方向感知器件2，拉力方向感知器件2的探测端设置有牵引绳1，操作台11位于拉力方向感知器件的正下方嵌入固定安装有摄像头3，摄像头的视野朝向运动装置的正前方，摄像头3将前方的画面传给微型电脑，微型电脑对摄像头3画面进行图像处理，计算出图像中牵引绳1的轨迹，实时检测图像中牵引绳的位置，且通过拉力方向感知器件以测量出牵引绳1是否被拉动，和被拉动时拉力相对于运动装置5前方的角度，并且将测量的结果传送给微型电脑，运动装置5面朝运动方向的表面嵌入固定安装有测距传感器6，可以测量出运动装置5与前方障碍物的距离，并且与微型电脑连接，将测量得到的距离数据实时不间断地传送给微型电脑，测距传感器6可以通过超声波传感器、红外测距传感器，或者激光雷达等方式来实现，运动装置5的顶部一体成型设置有储物仓室9，且储物仓室9的形状为顶部矩形面积大于底部矩形面积的锥形，可方便进行任意物品的投放储存，避免投放的过程中物品掉落损坏。
44.运动装置5的底部两侧皆对称开设有凹槽，且凹槽的内侧皆活动安装有滚轮8，运动装置5的底部活动安装有转向座10，且转向座10的底部转动安装有转向轮7，拉力方向感知器件2、摄像头3、陀螺仪和测距传感器6均与微型电脑通过导线双向电性连接，可方便器件之间进行信号的传导输送，进而通过指令控制部件进行协调运行，微型电脑、拉力方向感知器件2、摄像头3、陀螺仪和测距传感器6的输入端皆通过导线与自带的蓄电池输出端电性连接，可为器件运行提供独立且充足的电力能源，从而确保器件能够正常进行运行，本设备以牵引绳为跟随目标，跟随牵引绳既可以达到跟随人的目的，如果在图像中，牵引绳出现在摄像头的正前方，那么跟随目标就出现在摄像头的正前方，如果牵引绳轨迹出现在摄像头的左前方，那么跟随目标就出现在摄像头的左边，如果牵引绳轨迹出现在摄像头的右前方，那么跟随目标就出现在摄像头的右边。
45.将牵引绳偏向摄像头左前方，微型电脑控制运动装置往左转。在运动装置往左转的过程中，牵引绳会逐渐趋向摄像头的中间区域，当牵引绳不再位于摄像头左前方时，运动装置停止左转。
46.将牵引绳偏向摄像头右前方，微型电脑控制运动装置往右转。在运动装置往右转的过程中，牵引绳会逐渐趋向摄像头的中间区域，当牵引绳不再位于摄像头右前方时，运动装置停止右转。
47.将牵引绳放于摄像头前方中间位置，微型电脑控制运动装置前进，直到运动装置往前运动一定的距离，或者与前方障碍物的距离小于一个阈值，然后停止前进。在运动装置往前运动的过程中，牵引绳会依然处于摄像头的前方中间区域。
48.将牵引绳移出摄像头前方画面，微型电脑控制运动装置停止运动。
49.当智能跟随出现异常时，可以通过如下的方式对跟随设备进行控制：
50.当人拉动牵引索，拉力方向感知器件会感知到拉动动作，和拉力相对于运动装置前方的角度，并将测量结果传送给微型电脑，然后微型电脑根据当前运动装置前方朝向的绝对角度，拉力相对于运动装置前方的角度，计算出拉力方向的绝对角度，进行如下的判断
和对应的控制：
51.如果拉力相对于运动装置前方的角度不大，则控制运动装置往前方移动，直到往前移动一段时间，或者与前方障碍物的距离小于一个阈值，然后停止前进；
52.如果拉力相对于运动装置前方的角度比较大,则控制运动装置转向至拉力反向的绝对角度，在转向过程中会不断测量运动装置当前朝向的绝对角度，然后计算出当前朝向绝对角度与拉力方向绝对角度的偏差，然后根据该偏差控制运动装置转向，直到该偏差足够小，然后停止运动。
53.拉力方向感知器件可以通过双轴摇杆来实现。双轴摇杆可以是双轴电位器摇杆，也可以是双轴霍尔摇杆，双轴电位器摇杆具有两轴(x轴,y轴)模拟输出，两个电位器随着摇杆扭转角度分别输出x、y轴上对应的电压值。双轴电位器摇杆不动时，电位器值在电位器标称值中点；双轴电位器摇杆被摇动时，微型电脑可以计算出摇杆被摇动的偏移程度和偏移角度，具体的计算方法是：微型电脑读取摇杆当前x轴电位器和y轴电位器的电压值，并将读取到的当前x轴电位器的电压值与中间位置的电压值的差v1，作为摇杆在x轴方向的偏移程度的度量；将当前y轴电位器的电压值与中间位置的电压值的差v2，作为摇杆在y轴方向的偏移程度的度量。然后根据勾股定理可以计算出摇杆相对于原点的偏移程度v3，和摇杆相对于x轴的偏移角度θ，如图3所示。
54.微型电脑实时检测计算摇杆的偏移程度v3和偏移角度θ。当摇杆运动到v3大于一个阈值时，可以判定为摇杆被拉动，如果v3小于等于一个阈值，即摇杆没有被拉动。
55.微型电脑可以根据摄像头画面，计算出牵引绳的轨迹。计算原理为在hsv颜色空间中，根据牵引绳的颜色的颜色范围，对图像进行颜色分割，分割得到的图像区域即可作为牵引绳的轨迹区域，具体计算过程如下：
56.确定牵引绳在hsv颜色空间中的颜色范围r1；读取摄像头画面图像i1；将图像i1从rgb颜色空间转换为hsv颜色空间，得到图像i2，对图像i2进行颜色分割，保留hsv颜色在范围r1的区域，得到图像i3，具体的i3为一个单通道图像，i2中的颜色在颜色范围r1中的像素，其在i3中对应的像素值为255，显示时颜色为白色，i2中的颜色不在颜色范围r1中的像素，其在i3中对应的像素值为0，显示时颜色为黑色；i3中颜色为白色的区域，即为分割得到的区域，可作为牵引绳的轨迹区域。
57.判断摄像头前方是否有牵引绳的方法为：统计牵引绳的轨迹区域的像素数目，统计得到的像素数目大于或等于一个阈值，即认为摄像头前方有牵引绳，否则则认为摄像头前方没有牵引绳。
58.判断牵引绳区域所在位置的方法为：先计算牵引绳轨迹区域的所有像素列坐标的均值mean_y，如果mean_y与摄像头画面中心列坐标的差的绝对值小于或等于阈值t，即说明牵引绳的轨迹位于摄像头画面的中间；如果mean_y小于摄像头画面中心的列坐标减去阈值t的结果，即说明牵引绳的轨迹位于摄像头画面的左边；如果mean_y大于摄像头画面中心列坐标加上阈值t的结果，即说明牵引绳的轨迹位于摄像头画面的左边。
59.工作原理：当微型电脑启动后，即自动进入自动跟随模式，此时微型电脑会不断地读取前方摄像头画面，然后通过上文的方法，实时地计算出摄像头前方是否有牵引绳以及牵引绳的位置。此时用户可以通过控制牵引绳来控制运动装置运动，具体控制方式包括以
下几种：(1)将牵引绳偏向摄像头左前方，微型电脑控制运动装置往左转。在运动装置往左转的过程中，牵引绳会逐渐趋向摄像头的中间区域，并且最终将会位于摄像头正前方，当牵引绳不再位于摄像头左前方时，运动装置不再左转，跟随设备具体工作过程如下：微型电脑对每一帧摄像头画面，都实时检测画面中是否有牵引绳以及牵引绳的位置。如果检测到牵引绳位于摄像头画面的左边，则会给运动装置发送一个驱动运动装置以一定速度左转的指令。运动装置会不断的循环接收微型电脑发来的指令，当运动装置接收到微型电脑最新发来的左转指令时，会取消之前的运动指令，然后控制运动装置左转一小段时间，微型电脑会循环对每一帧摄像头画面都进行实时处理，从而不停地给运动装置发送控制指令，直到牵引绳不再位于摄像头画面的左侧，此时微型电脑不再给运动装置发送左转指令，运动装置很快就会停止左转。(2)将牵引绳偏向摄像头右前方，微型电脑控制运动装置往右转，在运动装置往右转的过程中，牵引绳会逐渐趋向摄像头的中间区域，并且最终将会位于摄像头正前方。当牵引绳不再位于摄像头右前方时，运动装置不再右转，跟随设备具体工作过程如下：微型电脑对每一帧摄像头画面，都实时检测画面中是否有牵引绳以及牵引绳的位置。如果检测到牵引绳位于摄像头画面的右边，则会给运动装置发送一个驱动运动装置以一定速度右转的指令，运动装置会不断的循环接收微型电脑发来的指令，当运动装置接收到微型电脑最新发来的右转指令时，会取消之前的运动指令，然后控制运动装置右转一小段时间，微型电脑会循环对每一帧摄像头画面都进行实时处理，从而不停地给运动装置发送控制指令，直到牵引绳不再位于摄像头画面的右侧，此时微型电脑不再给运动装置发送右转指令，运动装置很快就会停止右转。(3)将牵引绳放于摄像头前方中间位置，微型电脑控制运动装置前进，直到运动装置往前运动一定的距离，或者与前方障碍物的距离小于一个阈值，然后停止前进。在运动装置往前运动的过程中，牵引绳会依然处于摄像头的前方中间区域，跟随设备具体工作过程如下：微型电脑对每一帧摄像头画面，都实时检测画面中是否有牵引绳以及牵引绳的位置。如果检测到牵引绳位于摄像头画面的中间区域，然后读取测距传感器测得的前方障碍物的距离数值，如果该距离数值大于或等于一个阈值，则给运动装置发送一个驱动运动装置以一定速度前进的指令，运动装置会不断的循环接收微型电脑发来的指令，当运动装置接收到微型电脑最新发来的前进指令时，会取消之前的运动指令，然后控制运动装置前进一小段时间，微型电脑会循环对每一帧摄像头画面都进行实时处理，从而不停地给运动装置发送控制指令，直到牵引绳不再位于摄像头画面的中心区域，或者测距传感器测得的前方障碍物的距离数值小于一个阈值，此时微型电脑不再给运动装置发送前进的运动指令，运动装置很快就会停止前进。(4)将牵引绳移出摄像头前方画面，微型电脑控制运动装置停止运动，跟随设备具体工作过程如下：微型电脑对每一帧摄像头画面，都实时检测画面中是否有牵引绳以及牵引绳的位置。如果在摄像头画面中没有有检测到牵引绳，则不会给运动装置发送运动指令，所以运动装置不会运动，微型电脑会循环对每一帧摄像头画面都进行实时处理，如果一直检测不到牵引绳，那么运动装置将会一直保持停止运动的状态。
60.当智能跟随出现异常时，可以通过如下的方式对跟随设备进行控制：
61.用户拉动牵引绳，如果拉动方向来自跟随设备的正前方，那么运动装置将会往前移动，直到往前移动一段时间，或者距离前方障碍物的距离小于一个阈值，然后停止运动，跟随设备具体工作过程如下：当人拉动牵引索，拉力方向感知器件会感知到拉动动作，和拉
力相对于运动装置前方的角度，并将测量结果传送给微型电脑。如果拉力相对于运动装置前方的角度小于一个阈值，则认为拉力来自运动装置的正前方，此时微型电脑会读取当前运动装置与前方障碍物的距离进行判断，如果与前方障碍物的距离小于一个阈值，则给运动装置发送停止运动的指令，否则控制运动装置往前方移动，运动装置会不断的循环接收微型电脑发来的指令，当运动装置接收到微型电脑最新发来的前进指令时，会立即取消之前的运动指令，然后控制运动装置前进一段时间(如前进2秒)。当运动装置接收到微型电脑最新发来的停止指令时，会立即取消之前的运动指令，然后控制运动装置停止运动。
62.用户拉动牵引绳，如果拉力方向不是来自跟随设备的正前方，那么微型电脑会控制运动装置转向，直到运动装置的前方朝向拉力方向，然后停止运动，当人拉动牵引绳，拉力方向感知器件会感知到拉动动作，和拉力相对于运动装置前方的角度，并将测量结果传送给微型电脑。如果拉力相对于运动装置前方的角度大于等于一个阈值，则认为拉力不是来自运动装置的正前方，那么微型电脑根据当前陀螺仪测量得到的运动装置前方朝向的绝对角度，和拉力相对于运动装置前方的角度，计算出拉力方向的绝对角度。然后微型电脑控制运动装置转向，如果拉力方向来自运动装置的左边，则控制运动装置左转；如果拉力方向来自运动装置的右边，则控制运动装置右转。在运动装置转向的过程中，微型电脑会不断读取陀螺仪测量得到运动装置当前朝向的绝对角度，然后实时计算出当前朝向的绝对角度与拉力方向绝对角度的偏差，当该偏差足够小时，微型电脑控制运动装置停止运动，运动装置会不断的循环接收微型电脑发来的指令，当运动装置接收到微型电脑最新发来的转向指令时，会立即取消之前的运动指令，然后控制运动装置转向一小段时间。当运动装置接收到微型电脑最新发来的停止指令时，会立即取消之前的运动指令，然后控制运动装置停止运动。
63.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
64.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。