智能割草机以及智能割草系统的制作方法

1.本发明涉及一种割草机及割草系统，特别是，智能割草机及智能割草系统。


背景技术：

2.随着智能家居的兴起和普及，智能割草机的技术日趋进步，被家庭接受的程度逐步提高。因为不需要人力的推动和跟随，大大减轻了用户的劳动辛苦，节约了用户的时间。现有智能割草机的导航定位一般利用普通定位精度的gps做分区域识别，利用边界线信号以及惯性测量单元imu实现准确位置的推算，但这种方案通常定位精度较低，不能实现实时的定位导航，难以得到高效的路径规划和完全的区域覆盖。而高精度的定位方案，比如基于卫星信号的rtk方案，或者是基于无线电信号的uwb方案等等，这些方案的硬件成本以及系统可靠性一直是限制其应用的瓶颈。此外，对于自主工作的智能割草机来说，即使不计成本获得了高精度的定位，也是远远不够的，由于缺乏对于周边环境的深度理解，割草机无法自如地应对路面、障碍物、光照等方面的复杂情形。


技术实现要素：

3.为了解决现有技术的不足，本公开的主要目的在于提供一种低成本、同时具有更高定位精度、对周边环境理解更加深入的智能割草机。
4.为实现上述目的，本公开采用如下的技术方案：一种智能割草系统，包括智能割草机和移动终端。其中，移动终端包括：接口，用于与智能割草机连接，实现数据传输；传感器，用于采集智能割草机周围的环境数据；处理器，被配置为根据传感器采集的智能割草机周围的环境数据生成控制导航和割草的指令并通过有线连接发送给智能割草机。智能割草机包括：主体；固定装置，设置于主体，用于将所述移动终端固定安装至智能割草机；接口，用于与移动终端连接，实现数据传输；控制器，与所述接口电连接，当智能割草机的接口与移动终端的接口连接时，根据移动终端的指令控制智能割草机的行为。
5.可选地，所述固定装置包括弹性夹持机构，能够夹持尺寸为4英寸至12英寸的移动终端。
6.可选地，所述固定装置设置于主体的上表面。
7.可选地，所述智能割草机的接口设置于固定装置上，直接与所述移动设备的接口配合。
8.可选地，所述智能割草机的接口设置于主体的上表面，并通过数据线与所述移动终端的接口连接。
9.可选地，所述智能割草机还包括设置于主体的容纳腔，所述固定装置包括可伸缩的支撑结构，当所述支撑结构处于第一状态时，固定装置全部位于所述容纳腔以内，当所述支撑结构处于第二状态时，固定装置部分位于所述容纳腔以外。
10.可选地，所述容纳腔顶部有用于防水防尘的盖板，所述盖板有闭合状态和打开状
态；当所述盖板处于闭合状态时，所述支撑结构处于第一状态；当所述支撑结构处于第二状态时，所述盖板处于打开状态。
11.可选地，所述智能割草机的接口设置于所述容纳腔，并通过数据线与所述移动终端的接口连接。
12.可选地，所述智能割草机的接口为usb接口，并通过数据线与所述移动终端的接口连接。
13.可选地，所述智能割草机的接口与所述移动终端的接口连接时，可以为移动终端充电。
14.可选地，所述智能割草机还包括第一电量阈值，仅当所述智能割草机的剩余电量大于第一电量阈值时，使用所述智能割草机的剩余电量为所述移动终端充电。
15.可选地，智能割草机的接口是短距离无线通信接口，移动终端的接口也是短距离无线通信接口。
16.可选地，智能割草机的接口是蓝牙，移动终端的接口也是蓝牙。
17.可选地，智能割草机的接口是zigbee，移动终端的接口也是zigbee。
18.可选地，所述移动终端的多个传感器至少包括摄像头和惯性测量单元，所述处理器融合摄像头获取的视觉数据和惯性测量单元获取的位姿数据，进行所述智能割草机的即时定位与地图构建，并生成导航和割草动作指令。
19.可选地，所述智能割草系统还包括云端服务器，所述移动终端还包括无线通信设备，所述移动终端通过无线通信设备将所述传感器采集的环境数据上传到云端服务器进行运算，再根据云端服务器返回的运算结果生成控制导航和割草的指令并发送给智能割草机。
20.一种智能割草系统，包括智能割草机，移动终端，和云端服务器：其中，移动终端包括：无线连接设备，用于与云端服务器连接，实现数据传输；多个传感器，用于采集智能割草机周围的环境数据；处理器，被配置为将多个传感器采集的环境数据通过无线连接设备上传至云端服务器。云端服务器被配置为配对移动终端和智能割草机，对移动终端上传的多个传感器采集的环境数据进行传感器融合运算，生成控制导航和割草的指令并通过有线连接发送给智能割草机。智能割草机包括：主体；固定装置，设置于主体，用于将所述移动终端固定安装至智能割草机；无线连接设备，用于与云端服务器连接，实现数据传输；控制器，被配置为通过无线连接设备，从云端服务器获取指令以控制智能割草机的行为。
21.可选地，所述移动终端的多个传感器至少包括摄像头和惯性测量单元，所述云端服务器融合摄像头获取的视觉数据和惯性测量单元获取的位姿数据，进行所述智能割草机的即时定位与地图构建，并生成控制导航和割草的指令。
22.可选地，所述移动终端相对于所述主体可上下移动。
23.本发明的有益之处在于通过将移动终端与智能割草机固定并连接，在节约智能割草机生产成本的同时，充分地将移动终端的多重传感器和处理器在定位、环境理解、运算能力等方面的优势为智能割草机所用。
附图说明
24.图1是本技术一实施例的智能割草机的侧视图；
图2是本技术一实施例的智能割草机的侧视图；图3a是图2所示的智能割草机的摄像头的可伸缩支架的立体图；图3b是图3a所示的智能割草机的摄像头的可伸缩支架的剖面图；图3c是图3a所示的智能割草机的摄像头的可伸缩支架在伸缩变换时的剖面图；图4a是本技术一实施例的智能割草机在非工作状态的侧视图；图4b是图4a所示的智能割草机在工作状态的侧视图；图5a是本技术一实施例的智能割草机在非工作状态的侧视图；图5b是图5a所示的智能割草机在工作状态的侧视图；图6是图1所示的智能割草机的惯性测量单元的示意图；图7是本技术一实施例的智能割草机的双惯性测量单元的示意图；图8是本技术一实施例的智能割草机的系统示意图；图9是本技术一实施例的即时定位与地图构建（slam）算法流程图；图10是本技术一实施例的传感器融合算法流程图；图11a是本技术一实施例的一种边界辨认模式下的显示界面；图11b是本技术一实施例的另一种边界辨认模式下的显示界面；图12是本技术一实施例的路面识别与选择功能的示意图；图13a是本技术一实施例的障碍物识别功能的示意图；图13b是本技术一实施例的障碍物识别功能的另一示意图；图14是本技术一实施例的避障算法的流程图；图15是本技术一实施例的设置虚拟障碍物时的显示界面；图16是本技术另一实施例的智能割草机与设置于场景的摄像头的示意图；图17a是图16所示的智能割草机与设置于场景的摄像头的一种数据传输架构图；图17b是图16所示的智能割草机与设置于场景的摄像头的另一种数据传输架构图；图17c是图16所示的智能割草机、设置于场景的摄像头和云端服务器的数据传输架构图；图18是本技术另一实施例的智能割草系统的侧视图；图19a是图18所示的智能割草机的固定装置的侧视图；图19b是图19a所示的智能割草机的固定装置的夹头在收缩时的侧视图；图19c是图19a所示的智能割草机的固定装置的夹头在伸长时的侧视图；图20是本技术另一实施例的智能割草系统中的智能割草机的侧视图；图21a是本技术另一实施例的智能割草系统中的移动终端的惯性测量单元的示意图；图21b是本技术另一实施例的智能割草系统中的移动终端的摄像头的示意图；图21c是本技术另一实施例的智能割草系统中的移动终端的接口的示意图；图22a是本技术另一实施例的智能割草系统的第一种数据传输架构图；图22b是本技术另一实施例的智能割草系统的第二种数据传输架构图；图22c是本技术另一实施例的智能割草系统的第三种数据传输架构图；图22d是本技术另一实施例的智能割草系统的第四种数据传输架构图；
图22e是本技术另一实施例的智能割草系统的第五种数据传输架构图。
具体实施方式
25.以下结合附图和具体实施例对本发明作具体的介绍。
26.如图1所示，本技术提出了一种智能割草机110，包括：切割刀片112，用于切割草；主体113，用于安装所述切割刀片112；车轮114，可以转动并且支撑主体113；照明灯119，用于照明；位于摄像头组件120，用于采集割草机的周围环境的图像信息；惯性测量单元（inertial measurement unit，imu）122，用于采集割草机的位姿信息；处理器（图1中未示出），与摄像头组件120和惯性测量单元122电连接，用于计算处理通过摄像头组件120和惯性测量单元122采集到的信息；存储器（图1中未示出），用于存储控制智能割草机110工作的控制程序145。所述处理器可以调用控制程序145融合摄像头组件120采集的割草机的周围环境的图像信息和惯性测量单元122采集的割草机的位姿信息数据实现割草机的即时定位与地图构建（simultaneous localization and mapping，slam），并根据预设的逻辑和实时的数据生成相应的导航和割草指令以控制智能割草机110的行为。
27.可选地，摄像头组件120可以安装在智能割草机110的前部，参见图1。安装在割草机110前部的摄像头组件120可以较好地采集智能割草机110前方的环境的图像信息，相较于割草机的侧、后方的图像信息，割草机的前方的图像信息在导航、避障等方面更具备参考价值。可选地，摄像头组件120还可以通过支架123被安装在割草机的前上方，如图2所示。通过支架123的提升，摄像头组件120与地面的垂直距离增大，使得摄像头组件120的视野范围增大且视线更不容易受到杂草等近地面障碍物的遮蔽。
28.可选地，支架123是可伸缩装置。如图3a-3c所示的支架123由销钉392伸缩套管组成。销钉392伸缩套管的管体部分包括内外两根中空的管子，摄像头组件120的电线从两根管子中间的空腔穿过。外管394上多个有沿外管394的长度方向依次排开的孔395。内管391上有一个孔，内管391腔内垂直于该孔的方向上有一个头部圆滑的销钉392，销钉392连接至一个弹片393，弹片393的一端固定在内管391内壁上，另一端连接销钉392的底部，并始终给销钉392一个向外的力，使得销钉392的头部在未受其他外力推挤时，穿过内管391的孔向外伸出。当外管394套在内管391上，将外管394的多个依次排开的孔395中的一个与内管391的孔对齐，无外力推挤时，销钉392的头部会依次穿过内管391的孔和外管394上的与内管391的孔对齐的孔395并向外伸出，以闩的方式将外管394相对于内管391固定。对支架123的长度调节通过改变销钉392伸缩套管的外管394相对于内管391的位置实现：首先克服弹片393自身的作用力将销钉392的头部往内管391里按，在销钉392的头部大致与外管394上的孔395处于同一平面时，迅速滑动外管394至理想位置，重新将外管394的另一个孔395与内管391的孔对齐，再使得销钉392自然释放至头部伸出内管391的孔和外管394上的与内管391的孔对齐的另一个孔395，此时销钉392将外管394相对于内管391固定在新的位置。可伸缩的支架123使得摄像头组件120的位置调整更加便利，同时增强了对摄像头组件120的防护，延长了其工作寿命。支架123也可以通过其他结构实现伸缩，或者，可伸缩的结构并非纯机械结构，而是机电结合，与智能割草机110的处理器电连接，处理器可以根据摄像头组件120采集到的图像信息，自主调节支架123的长度以调节摄像头组件120的高度。本技术不对具体的实施方式加以限制，只要摄像头组件120的支架123可以伸缩，即落入本技术的保护范
围。
29.进一步地，与可伸缩的支架123相配合，智能割草机110的主体113可以设有一个向内凹陷的容纳腔115，参见图4a-4b。容纳腔115的顶部开口位于割草机主体113的上表面，支架123通过螺丝螺母等紧固机构固定在容纳腔115内，容纳腔115顶部有一个盖板118，盖板118可以打开和关闭。例如，盖板118铰接在容纳腔115顶部开口的一侧，包括打开时的第一位置（图4b）和关闭时的第二位置（图4a）。或者，盖板118由可以来回滑动的滑盖和滑盖导轨组成，包括覆盖容纳腔115顶部开口的第一位置和暴露容纳腔115开口的第二位置。容纳腔115和盖板118配合可伸缩支架123的好处是，在不使用智能割草机110时，缩短支架123，关闭盖板118，使得摄像头组件120隐藏收纳于割草机主体113内，一方面比较整洁美观，另一方面可以防水防尘防光照，减少对摄像头的清洁频次并延缓老化。在智能割草机110工作前，打开盖板118，拉长支架123，使得摄像头组件120伸出智能割草机110的容纳腔115以便采集智能割草机110周围的图像。容纳腔115和盖板118的具体形态在本技术中不设限制；此外，容纳腔115的具体位置，可以根据智能割草机110的电机、pcb板等装置的位置来决定，以方便采集智能割草机110周围的图像信息，并对智能割草机110的主体113内部各元件的排布影响最小化为宜，在本技术中不设限制，图4只是示例性展示。
30.此外，支架123也可以被配置为可折叠的构造，参见图5a-5b，在智能割草机110的主体113的上表面，设置了可以容纳支架123和摄像头组件120的凹槽117。支架123与智能割草机110的主体113的顶面的一点铰接，使得支架123可以以铰接点为旋转点，在人手的搬动下，克服一定的摩擦力，绕旋转点旋转。非工作时间，将支架123绕旋转点旋转至放平，收纳于智能割草机110的主体113的顶面的凹槽117内，如图5a，提高了美观度与整洁度，减少了收纳智能割草机110时需要占用的空间，同时增强了对摄像头的防护，延长了其工作寿命。工作时间，将支架123立起，如图5b，并可根据需要调节支架的站立角度。更进一步地，支架123与摄像头组件120之间，可以采用阻尼转轴结构、滚珠结构等可旋转的连接机构，这样，使用者在开启智能割草机110之前，可以自由地根据需要调整摄像头组件120的角度；或者，可旋转的连接机构并非纯机械结构，而是机电结合，与智能割草机110的处理器电连接，处理器可以根据摄像头组件120采集到的图像信息，自主调节摄像头组件120的角度。需要注意的是，以上摄像头组件120的支架123的伸缩、折叠、转动设计皆为示例，并不限定于示例中的具体实施方式，不应当根据示例限缩本技术的保护范围。
31.摄像头组件120可以包括单个或双（多）个摄像头。在测距原理上，单目摄像头与双（多）目摄像头截然不同。双（多）目摄像头类似人类的双眼，主要通过同一时间两（多）个摄像头分别采集的两（多）幅图像的视差计算来确定距离。因而双（多）目摄像头可以在静止的时候不依赖其他传感设备进行深度估计，但其深度量程和精度受双目的基线（两个摄像头光心之间的距离）与分辨率所限，且视差的运算相当消耗资源，存在配置复杂，运算量大，耗能高的缺点。单目摄像头采集的图像帧是三维空间的二维投影，丢失了环境的深度信息，只有移动摄像头时，才能通过物体在图像上的运动形成的视差来计算距离的远近。这个缺点可以通过融合惯性测量单元采集的位姿数据得到一定程度的缓解。例如，单目视觉融合惯性测量系统(vins-mono)的算法，由于其成本低，体积小，功耗低，广泛应用例如在机器人，无人机等依赖定位的设备上。vins-mono可以根据摄像头拍摄到的前后帧之间特征点的偏移，再融合imu数据计算出摄像头本身的移动和旋转，且不像 gps 传感器受信号干扰等限
制。因而，本技术中也不对摄像头组件120所包含的摄像头的具体数目做出严格限制。
32.除了普通的单、双（多）目摄像头以外，摄像头组件120也可以包括深度相机，又称rgb-d相机。rgb-d相机的最大特点是可以通过红外结构光或飞行时间（time-of-flight，tof）原理，像激光传感器一样通过主动向物体发射光并接收返回的光，测出物体与rgb-d相机之间的距离。相比于双（多）目摄像头通过软件计算，rgb-d相机通过物理的测量手段获得深度，节省了大量的计算。目前常用的rgb-d相机有微软公司的kinect、英特尔公司的realsense等。但受限于传感器的精度以及测量范围，深度相机还存在测量范围窄、噪声大、视野小、易受日光干扰、无法测量透射材质等诸多问题，因此通常应用于室内场景多于室外场景。若想在智能割草机110上应用rgb-d相机，则离不开与其他传感器的融合，并且适宜在日光照射并不强烈时使用。
33.惯性测量单元122至少包括加速度计和陀螺仪。加速度计是用来测量线性加速度的传感器。刚体相对于地球的静止状态时，线性加速度为0，但由于受到重力影响，使用加速度计测量刚体的线性加速度时，在竖直向下指向地心的轴线上会有读数约为9.81m/s2；同理，在重力的作用下，当刚体上的加速度计的读数为 0 时，刚体处于自由落体状态，实际上有竖直向下9.81m/s2的实际加速度。微电子机械系统（micro-electro-mechanical system，mems）传感器被广泛应用在智能家电中，mems的加速度计的内部为弹簧-质量块的微结构，即在微弹簧-质量块的形变轴线上有加速度时，会使得微弹簧产生形变。使用微电子的方式测量微弹簧的形变，即可取得测量出轴线上的加速度。由于这样的结构，mems加速度计不能测量刚体的实际加速度，只能给出沿其测量轴的加速度测量值。在实际使用中，通常使用三套 mems 测量系统，共同组成正交的三轴测量系统，分别测量实际加速度在三个正交测量轴上的加速度分量，通过三个正交测量轴上的加速度分量解算出实际的加速度。陀螺仪是用来测量刚体旋转角速度的传感器。与 mems 加速度计类似的，mems 陀螺仪也只能测量绕单个测量轴旋转的角速度分量，故使用时也是集成封装为具有三个正交测量轴的三轴陀螺仪，分别测量刚体旋转角速度在三个测量轴上的旋转分量，最终合成刚体的实际旋转角速度。通常的x-y-z 坐标系中，规定绕参考坐标系 x 轴旋转的角为滚转角（roll），绕 y 轴旋转为俯仰角（pitch），绕 z 轴旋转为偏航角（yaw）。
34.一般情况下，一个惯性测量单元122包含三个单轴的加速度计和三个单轴的陀螺仪，测量物体在三维空间中的角速度和加速度，并以此解算出物体的姿态。进一步地，惯性测量单元122还可以包括磁力计。磁力计也叫地磁、磁感器，可用于测试磁场强度和方向，定位设备的方位，磁力计的原理跟指南针原理类似，可以测量出当前设备与东南西北四个方向上的夹角。六轴或九轴传感器作为集成化传感器模块，减少了电路板和整体空间。集成化传感器的数据准确度除了器件本身的精度外，还涉及到焊接装配后的矫正，以及针对不同应用的配套算法。合适的算法可以将来自多种传感器的数据融合，弥补了单个传感器在计算准确的位置和方向时的不足。一般而言，imu传感器最好设置在物体重心；所以优选地，惯性测量单元122可以设置在智能割草机110的重心g上，如图6所示。由于惯性测量单元122成本低廉，在一实施例中，也可以设置双惯性测量单元122来提高imu数据的精度和稳定性，如图7所示。一方面，可以根据两个惯性测量单元122输出的差异得到目标物与运动参考系之间的相对角速度和相对加速度；另一方面，双双惯性测量单元122的冗余设计，通过实时监测两个惯性测量单元122的状态，在一个惯性测量单元122出现异常时，系统立即切换到另
一个惯性测量单元122，保证定位的稳定性。
35.智能割草机110的系统图如图8所示，包括电源模块701，传感器模块702，控制模块703，以及驱动模块704和执行机构705。其中，电源模块701向驱动模块704、控制模块703和传感器模块702供电。为了适应智能割草机110的自主移动的工作需求，优选地，电源模块701包括电池包，提供直流电。传感器模块702至少包括：摄像头组件120和惯性测量单元122。智能割草机110还可能配备了其他传感器诸如gps传感器、碰撞传感器、跌落传感器等，其他传感器采集的信息，亦可在运算处理时综合参考。控制模块703包括：输入模块141，用于接受传感器模块702采集或检测到的各种原始数据；处理器142，用于逻辑运算，可以为cpu或较高数据处理速度的微控制器；存储器144，用于存储各种数据和控制程序145；输出模块143，用于将控制指令转化为成电机驱动命令，并发送给电机驱动开关的驱动控制器161。驱动模块704包括电机驱动开关电路162，驱动控制器161和电机163。图8中所示的电机驱动开关电路162中使用的是最为常见的mosfet开关，驱动控制器161通过向mosfet开关的栅极施加电压以控制mosfet开关的通断。mosfet开关的有序通断致使电机绕组的有序导通，从而驱动电机163转动。图8仅展示了一种常见的电机驱动电路，本揭示并不限制电机驱动电路的具体实施方式。电机163的转动继而直接或者通过传动机构间接驱动执行机构705。智能割草机110的执行机构705主要包括刀片112和轮子114，可选地，刀片112和轮子114分别由独立的电机163驱动。可选地，左右两个后轮114也可以分别由独立的电机163驱动，从而实现更灵活的转弯和姿态调整。存储于存储器144上的控制程序145主要由两大模块组成，分别是定位建图模块146和功能应用模块147，其中定位建图模块146的是功能应用模块147的基础。定位建图模块146解决了智能割草机110在哪里，地图是什么，周边环境如何的基础问题，在智能割草机110移动时跟踪它的位置和构建对现实世界的理解，也就是即时定位与地图构建（slam）；基于基础问题的解决，功能应用模块147才可能实现诸如割草区域边界划定、智能避障、路面识别与选择、导航组合、智能照明等具体的功能。当然，这个分类主要是便于理解和阐述，具体实现中，定位建图模块146和功能应用模块147并不是完全割裂的两个部分，实现功能应用模块147的过程本身也加深了对于现实世界的理解，其结果也会反馈给定位建图模块146，从而不断完善地图。
36.对于智能割草机110来说，即时定位与地图构建（slam）的实现，需要融合来自摄像头组件120的图像数据以及来自惯性测量单元122的位姿数据（又称，传感器融合）。其原因在于，以摄像头为例的视觉传感器在大多数纹理丰富的场景中效果很好，但是如果遇到玻璃，白墙等特征较少的场景，基本上无法工作。惯性测量单元虽然可以测得角速度和加速度，但为了得到物体位置或姿态必须对其进行时间积分，再者，基于微电子机械系统（mems）的惯性部件都不可避免的存在系统偏差，两者叠加，长时间下来有非常大的累积误差/漂移，但是对于短时间内的快速运动，其相对位移数据有很高的精度。快速运动中，摄像头会出现运动模糊，或者两帧之间重叠区域太少以至于无法进行特征匹配，有了惯性测量单元，即使在摄像头数据无效的那段时间内，也能得到一个较好的位姿估计。如果摄像头放在原地固定不动，那么根据视觉信息得到的位姿估计也是固定不动的。所以，慢速运动中，视觉数据可以有效地估计并修正惯性测量单元读数中的漂移，使得在慢速运动后的位姿估计依然有效。由此可见，视觉数据和imu数据的互补性很强，融合摄像头组件120和惯性测量单元122两者的数据，能够提高定位和建图的精度和稳定性。
37.因为摄像头组件120和惯性测量单元122测量的数据类型（视觉测量物体在像素平面上投影的坐标，而惯性测量单元测量的是物体的三维加速度和转动角速度）和测量速率（视觉受制于帧率和图像处理速度，摄像头采样率只能达到几十帧每秒，惯性测量单元则可以轻松达到数百甚至上千帧每秒的采样率）都存在较大差异，对两者数据进行融合时无论是将惯性测量单元测量到的运动量转换为物体坐标（积分时偏差累积）或是把视觉量转变为运动量（微分时由于定位偏差导致计算出的加速度大幅度震荡）都会引入额外的误差，因此数据融合过程中需要引入检测与优化。一般来说，比起对视觉量做微分，融合中通常选择将惯性测量单元检测到的运动量积分为物体坐标后与视觉量进行融合。例如图9所示,整个流程图中的重点模块可以分解为以下部分：图像和imu数据预处理、初始化、局部优化、建图、关键帧提取，回环检测和全局优化。各个模块的主要作用是：图像和imu数据预处理：对摄像头组件120采集的图像帧，提取特征点，利用klt金字塔进行光流跟踪，为后面仅视觉初始化求解智能割草机110的位姿做准备。对惯性测量单元122采集的imu数据，进行预积分，得到当前时刻的位姿、速度、旋转角，同时计算在后端优化中将要用到的相邻帧间的预积分增量，及预积分的协方差矩阵和雅可比矩阵。
38.初始化：初始化中，首先进行仅视觉的初始化，解算出智能割草机110的相对位姿；然后再与imu预积分进行对齐求解初始化参数。
39.局部优化：对于滑动窗口进行视觉惯导局部优化，即将视觉约束和imu约束放在一个大目标函数中进行非线性优化；这里的局部优化只优化当前帧及之前的n帧（例如，n为4）的窗口中的变量，局部优化输出较为精确的智能割草机110的位姿。
40.建图：通过得到的位姿，采用三角法计算相应特征点的深度，同步进行当前环境地图的重建。在slam模型中，地图是指所有路标点的集合。一旦确定了路标点的位置，就可以说完成了建图。
41.关键帧提取：关键帧就是筛选出来的能够记录下来但又避免冗余的图像帧，关键帧的选择标准是当前帧和上一帧之间的位移超过一定阈值或匹配的特征点数小于一定阈值。
42.回环检测：回环检测，又称闭环检测，是将前面检测的图像关键帧保存起来，当智能割草机110再回到原来经过的同一个地方，通过特征点的匹配关系，判断是否已经来过这里。
43.全局优化：全局优化是在发生回环检测时，利用视觉约束和imu约束，再加上回环检测的约束，进行非线性优化。全局优化在局部优化的基础上进行，输出更为精确的智能割草机110的位姿，并对地图进行更新。
44.以上算法中，局部优化是滑动窗口内图像帧的优化，全局优化是所有关键帧的优化。仅用局部优化精度低，全局一致性差，但是速度快，imu利用率高；仅用全局优化精度高，全局一致性好，但是速度慢，imu利用率低；两者结合，可以优势互补，使得定位结果更加精准。输出的位姿是6个自由度（6dof）的位姿，指的是智能割草机110在 x-y-z 方向上的三维运动（移动）加上俯仰／偏转／滚动（旋转）。在融合过程中，通过对齐imu 估计的位姿序列和视觉估计的位姿序列可以估计出智能割草机110的轨迹的真实尺度，而且imu 可以很好地预测出图像帧的位姿以及上一时刻特征点在下帧图像的位置，提高特征跟踪算法匹配速度和应对快速旋转的算法鲁棒性，最后imu 中加速度计提供的重力向量可以将估计的位置转
为实际导航需要的世界坐标系中。
45.相较于全球卫星定位系统（gps）输出的精确度较差（以米为单位）的2d/3d位置，slam输出的精确度较高（以厘米为单位）的6个自由度的位姿，且不依赖于卫星信号的强弱、不受其他电磁信号的干扰。但是slam的过程，比起低运算低功耗的gps定位，存在耗能大的问题，且由于智能割草机110在户外工作，摄像头传感器需要经常清理，如果清理不及时，可能会导致采集的图像帧模糊，不能提供有效的视觉数据。而且，为精确求解slam问题，智能割草机110需对相同区域进行重复观测，既实现闭环运动，因此系统不确定性不断累加直到闭环运动的发生。尤其当草坪广阔，周边空旷，缺乏特征参照物时，智能割草机110进行大闭环运动，系统不确定性将可能导致闭环检查的失败，使得slam全局优化失败，定位偏差大。而在草坪广阔、周边空旷的环境里，卫星信号干扰少，通常gps定位结果较为稳定与准确，且gps目前已被普遍使用，价格低廉，因此智能割草机110也可以配备gps传感器，采用gps slam组合导航。
46.由摄像头组件120、惯性测量单元122、gps这三种传感器共同构成的组合定位方式可以参见图10，首先判断各传感器数据的可靠性，当所有传感器都失效时，停止行进并发出维修提醒；当有两种传感器失效时，使用剩下的一种传感器定位导航一个较短的时间段，例如3s，并在此期间持续检测失效传感器的数据有效性是否恢复，并将恢复的传感器数据加入后续定位导航计算中，如果在这个较短的时间段内，没有其他传感器恢复，则就地停止，并发出维修提醒；当仅有一种传感器失效，使用剩下的两种传感器进行定位导航，如果是gps传感器失效，则使用ar融合视觉惯性slam进行定位导航，如果是摄像头失效，则用imu数据验证gps结果的自洽性，并对无法自洽的绝对定位数据进行滤波和修正，如果是imu失效，则进行仅视觉的即时定位与地图构建（vslam）并在每处理完一帧图像后将vslam的结果与此时的gps定位结果同时送入卡尔曼滤波器，并且持续检测失效传感器的数据有效性是否恢复，并将恢复的传感器数据加入后续定位导航计算中，如果割草工作完成，回到充电站后，仍有传感器未恢复，则发出异常提醒；当三个传感器都正常工作，利用gps定位结果对ar融合视觉惯性slam生成的位姿和环境地图进行滤波校正。
47.在实际应用中，可以通过开源的ar软件包实现即时定位与地图构建（slam）的过程并调用不同的应用程序接口（api）实现丰富的功能，例如，arcore是谷歌公司推出的搭建增强现实应用程序的软件平台，以融合图像数据和imu数据实现即时定位与地图构建（slam）为基础，其三大功能将虚拟内容与通过摄像头看到的现实世界实现整合：1.运动跟踪：让机器可以理解和跟踪它相对于现实世界的位置和姿态；2.环境理解：让机器可以通过特征点聚类来检测各类表面（例如地面、桌面、墙壁等水平或垂直的表面），知晓其边界、大小和位置；3.光照估计：让机器可以估测环境当前的光照条件。除了谷歌公司的arcore以外，苹果公司的arkit，华为公司的ar engine也是可以提供相似功能的软件包。
48.在一实施例中，智能割草机110的控制程序145的功能应用模块147可以根据图像帧中的二维平面的特征点，对照草地的纹理特征，区分草地与非草地，如果割草机当前所在的工作表面不是草地，停止刀片112转动；并且沿着草地和非草地的界线，结合arcore等软件包的运动跟踪功能自动生成割草区域边界。进一步地，智能割草机110还可以配合互动显示界面，将构建的地图和割草区域边界通过互动显示界面展示，并让用户确认修改。在确认过程中，为了便于用户更加直观与仔细地辨认边界线，可以设定两种辨认模式。一种辨认模
式是在互动显示界面上展示二维地图上的割草区域的边界线，参见图11a，二维地图中，草坪222位于房子223和道路224之间，割草区域的边界线221以粗虚线表示。用户可以手动调整互动显示界面上的二维地图中的边界线221，例如，上下左右拖动某一段边界线221，或者删除，新增（用手指画）一段边界线221。如果用户愿意，用户也可以选择直接进入这种辨认模式，用手指在互动显示界面上的二维地图上画出所有的边界线221。另一种辨认模式是在互动显示界面上展示的摄像头组件120实时采集的现实图像上叠加虚拟围栏211图标，参见图11b，这种辨认模式下，智能割草机110自动生成的边界线会以虚拟围栏211图标的形式展现出来，用户可以手动调整互动显示界面上的现实图像上叠加的虚拟围栏211图标的位置，例如，将虚拟围栏211拉近或者推远，用户也可以删除，新增一段虚拟围栏211。并且，借助arcore等软件包的运动跟踪功能，用户可以在摄像头组件120移动、切换角度的过程中，从各个角度检查虚拟围栏211的恰当性。相较于二维地图上的边界线221，叠加在现实图像上的虚拟围栏211图标更加直观与精确，便于用户依据具体的地面情况（例如，地形，植被类型）决定虚拟围栏211（即边界线）的精确位置。在确认过程中，用户可以将两种模式结合，先整体查看二维地图上的边界线是不是符合预期，对于不符合的进行调整，再对于有特别需要注意的边界处，查看现实图像上叠加的虚拟围栏211图标，对于有需要的进行精修。当割草区域边界由用户确认后，智能割草机110会将确认的边界线（包括虚拟围栏211）以的离散的锚点坐标的形式存储下来，该边界线（离散的锚点）的位置不会随智能割草机110的移动而变化，智能割草机110进行路径规划时，被限制在割草区域边界范围内工作。值得注意的是，所述的互动显示界面，既可以是智能割草机110上的部件，也可以是独立的显示设备，也可以是能与智能割草机110进行数据交互的手机、平板等移动终端的互动显示界面。
49.在一实施例中，智能割草机110的控制程序145的功能应用模块可以识别不同平面的材质。除了识别草坪与非草坪，智能割草机110还可以分析摄像头组件120采集的图像帧里的二维平面的特征点，根据平面纹理（即特征点分布规律）的不同，对照控制程序145预设的常见类型平面的纹理特征，识别出不同类型的地面（包括水面）。如果智能割草机110同时跨不同材质的地面行走，由于不同硬度、不同材质的地面对智能割草机110的轮子114的支撑力和摩擦力等不同，易导致智能割草机110颠簸、倾斜、方向打歪等问题。所以，当智能割草机110行走在非草坪上，例如，从一块草坪行走至另一块草坪的途中，且识别到正前方区域212内有特征点纹理不同（即硬度不同）的多种地面，则选择在其中一个硬度较大的地面行走。参见图12，当智能割草机110检测到正前方区域212内有多种路面：水泥路面和泥土路面，其中，水泥路面位于左侧，泥土路面位于右侧，控制程序145的路面选择程序将规划路径，控制智能割草机110调整方向向左前方行驶直至检测到正前方区域128内都是水泥路面，再调整方向至原定方向行驶，这种路面选择有利于智能割草机110的行进控制、机器维护和安全保障。在路面选择程序中，可以借助arcore等软件包的环境理解功能将不同材质的表面加以划分，也可以引入常见平面的纹理特征进行比对，从而辅助智能割草机110做出平面类型的判断。得到平面类型的判断后，再根据存储器中存储的地面类型-硬度对照表，选择硬度较大的地面并控制据此智能割草机110的行进方向。此外，通过与常见平面的纹理特征的比对，和平面与平面之间位置关系的判断，智能割草机110可以识别出水面、台阶、悬崖等可能使智能割草机110有跌落损坏风险的地形，使自动生成割草区域边界的功能更加完善。
50.在一实施例中，智能割草机110的控制程序145的功能应用模块还可以包括 ai 物体识别程序，从摄像头组件120获取的图像数据中，计算出障碍物的类别信息，从而实现智能割草机110的主动智能避障，对不同类别的障碍物采用不同的避障策略和恰当的避让距离，以兼顾割草覆盖度和避障成功率。如图13a-13b,对于一个框选物体，物体识别程序会输出一个类别及其对应的置信概率（c:p），其中，置信概率p的取值范围在0到1之间。控制程序145还可以包括一个置信阈值p1，例如，p1=0.7，采纳大于置信阈值的判断并进入避障策略的选择，如图13a中的(bird：0.99)；而对于小于等于置信阈值的判断不予采纳，如图13b中的(bird：0.55)和(bird：0.45)，此时如果障碍物与智能割草机110之间的距离d大于识别阈值距离d3，则继续正常行驶，并使用下一帧或者下n帧图片进行物体识别，等待控制程序145在智能割草机110靠近障碍物的过程中作出置信概率更高的物体识别判断，如果障碍物与智能割草机110之间的距离d小于等于识别阈值距离d3，则采取远距离避让策略，例如，以0.5m为距绕开障碍物行驶。
51.如图14所示，根据障碍物的类别采取不同避障策略，如果被检测到的障碍物是落叶、树枝、松果、甚至动物排泄物这些可以被刀片112切割的并且可以自然腐化的物质，则智能割草机110可以忽略这些障碍物，按照原定路径行驶。其中，虽然动物排泄物很可能弄脏智能割草机110的刀片112和底盘，但是和泥土类似，这些脏污在频繁的切割中多多少少会被清理掉，所以不需要躲避。如果被检测到的障碍物是动物，例如人、鸟、松鼠、狗等，那么可以预设第一阈值距离d1和第二阈值距离d2，当智能割草机110与检测到的动物障碍物之间的距离d大于第一阈值距离d1时，按照原定路径正常行驶；当智能割草机110与检测到的动物障碍物之间的距离d小于等于第一阈值d1距离且大于第二阈值距离d2时，放慢速度行驶并发出警示音，提示人、鸟、松鼠、狗之类的动物发现智能割草机110并主动避让；当智能割草机110与检测到的动物障碍物之间的距离d小于等于第二阈值距离d2时，为了避免不慎对人和动物造成伤害，采取远距离避让策略。如果被检测到的障碍物是塑料玩具、铲子、绳索等可移动的（临时性的）小体积物品，为了避免不慎对这些小体积物品造成损害，智能割草机110可以保持一定距离避让，或者说，采取远距离避让策略，并向用户发出清理提示，提示用户清理草坪上的小体积物品。此外，对于动物障碍物和可移动的（临时性的）障碍物，智能割草机110可以在采取避让行动的同时储存障碍物的坐标和避让区域的坐标，在割草结束之前，如果摄像头组件120采集的图像数据显示该障碍物坐标处的障碍物已移除，则规划返回路径、补割之前避让的区域。如果被检测到的障碍物是树木、园林家具（例如，长椅、秋千）等不可移动的（永久性的）大体积物品，智能割草机110可以采取近距离避让策略，即放慢速度并尽量靠近障碍物，以尽量提高割草覆盖度，例如，以0.1m为距绕开障碍物行驶，或者，当智能割草机110配备了碰撞传感器时，慢速时轻微的碰撞对这些大体积物品不会造成什么损害，因此可以通过碰撞传感器实现最近距离的避让。同时，智能割草机110可以将实际避让路径存储起来并在处理器142空闲时进行优化，使得下一次避让同一障碍物时，保持割草覆盖度的同时提高规避路径的效率。
52.除了从摄像头组件120获取的图像中识别出真实的障碍物，用户也可以手动在互动显示界面上展示的摄像头组件120实时采集的现实图像上叠加虚拟障碍物215，并调整虚拟障碍物215的朝向、尺寸、大小，如图15所示。借助arcore等软件包的运动跟踪功能，用户可以在摄像头组件120移动、角度变换的过程中，从各个角度检查虚拟障碍物215的恰当性。
虚拟障碍物215的位置、大小信息将被以锚点的方式记录，该虚拟障碍物215不会随着智能割草机110的移动而改变。这样当智能割草机110在真实的工作区域行走时，可以根据自己当前位置，实时与虚拟障碍物215的位置信息进行比对，并进行避障，避免“碰撞”到虚拟障碍物215。虚拟障碍物215的功能方便了用户根据具体情况定制特殊的割草范围，例如，草坪上有一片没有围挡的花圃，这片花圃在有的季节看起来就像一块普通的草坪，为了避免智能割草机在割草时误踏入这片花圃，用户可以在互动显示界面上展示的摄像头组件120实时采集的花圃图像上添加一个底面积与实际花圃面积相同的虚拟障碍物215。再比如，草坪上有一个狗屋，体积较大的狗屋会被如上所述的控制程序145自动判定为不可移动的大体积物品，并采取近距离避障策略以提高割草覆盖度。但考虑到狗有可能会在狗屋里，为了避免智能割草机110的运行对狗造成打扰与惊吓，用户可以在互动显示界面上展示的摄像头组件120实时采集的狗屋图像的周边，叠加虚拟障碍物215或者虚拟围栏211以围出一圈面积较大的非工作区域。进一步地，由于arcore会随着时间的推移，跟踪例如平面和特征点的可跟踪对象，因此也可以将虚拟障碍物锚定到特定的可跟踪对象，确保虚拟障碍物与可跟踪对象之间的关系保持稳定。例如，将虚拟障碍物215锚定到狗屋上，那么后期挪动狗屋时，虚拟障碍物215会跟踪狗屋的移动，而不需要用户重新设定虚拟障碍物。
53.在一实施例中，智能割草机110的控制程序145的功能应用模块可以检测周围环境的光照状态。借助arcore等软件包的光照估计功能，智能割草机110可以得知周围环境的光照强度l并据此调节智能割草机110的照明灯119。控制程序145可以预设第一光照强度阈值l1，当周围环境的光照强度l小于第一光照强度阈值l1时，智能割草机110开启照明灯119补光。除此之外，还可以设定不同的工作模式，根据光照强度及方向，合理安排割草的时间并选择不同的工作模式。例如，当检测到周围环境的光照非常弱，例如，当周围环境的光照强度l小于第二光照强度阈值l2时（l2《l1），如果用户没有命令立即割草，则返回充电站，进入充电模式或者待机模式，因为没有光照时，草坪最容易被真菌和病虫害损害；如果用户命令立即割草，则开启照明灯119并以静音模式割草，以减少割草机噪声对安静夜晚的打扰。当检测到周围环境的光照十分强烈，例如，当周围环境的光照强度l大于第三光照强度阈值l3时（l3》l1），如果用户没有命令在此时割草，则返回充电站，进入充电模式或者待机模式，因为强烈的阳光容易将断草晒死；如果用户命令立即割草，则以快速模式割草，减少割草机暴露在烈日下的时间以减少uv照射造成的老化。当检测到周围环境的光照适宜，例如，当周围环境的光照强度l大于等于第一光照强度阈值l1且小于等于第三光照强度阈值l3时，可以以常规模式割草。
54.除了环境的光照状态，摄像头组件120所采集的图像数据，结合 ai 物体识别运算也可以作为割草时间和模式选择的判断依据。例如，当检测到植被上有露水时，如果用户没有命令立即割草，则返回充电站，进入充电模式或者待机模式，因为露水会降低切割效率，甚至引起堵转，此外，潮湿的草坪等容易留下车辙，影响美观。当检测到植被上有霜冻或冰雪，如果用户没有命令立即割草，则返回充电站，进入充电模式或者待机模式，因为寒冷的天气也不利于断草切口的恢复。
55.值得一提的是，诸如arcore的ar软件包本身通常并没有良好的物体识别能力，比如，arcore的环境理解功能本身是通过平面上的特征点聚类来检测、区分、划定2d表面，而不是通过物体识别去判断物体的表面是什么，即使智能割草机110的控制程序145引入了一
些常见类型的平面的纹理特征以辅助平面类型判断，但是这与真正的物体识别还有很大差距。所以在实际运用中，障碍物识别、环境识别等功能的实现还需要依赖其他具备物体识别功能的ai软件包，例如，谷歌公司的tensorflow，其中，tensorflow lite是一组工具，可帮助开发者在移动设备、嵌入式设备和 iot 设备上运行 tensorflow 模型。它支持设备端机器学习推断（无需在设备与服务器之间来回发送数据），延迟较低，并且二进制文件很小。当然，智能割草机110也可以包括无线网络连接设备150，将物体识别的工作交给云端服务器200，由于云端服务器200拥有强大的云存储和云计算功能，可以使用tensorflow框架不断完善训练集和模型，从而给出更加精准的判断。
56.事实上，当智能割草机110包括无线网络连接设备150时，控制程序145可以将视觉数据与imu数据的融合运算，乃至整个定位建图模块146和功能应用模块147的运算任务都发送给云端服务器200进行。云端服务器200根据预设程序对上传的数据进行融合、定位、建图、判断并生成导航和割草指令。这时，智能割草机110的控制程序145，在本地只用负责从摄像头120和惯性测量单元122获取数据、对获取的数据进行预处理和上传，以及从云端服务器200下载指令和输出，而不用进行运算复杂度高的ar和/或ai运算，降低了对于智能割草机110的处理器142的要求，节约了芯片成本。类似地，当智能割草机110包括无线网络连接设备150时，控制程序145也可以将视觉数据与imu数据的融合运算，乃至整个定位建图模块146和功能应用模块147的运算任务都发送给能与智能割草机110进行无线数据传输的其他设备，例如，移动终端的应用程序进行。这时，智能割草机110的控制程序145可以理解为提供了一个应用程序接口（api），实现智能割草机110与移动终端的通信功能并且定义智能割草机110与移动终端的应用程序之间的数据通信协议与格式等。通过这个应用程序接口，移动终端的应用程序能够获取来自智能割草机110的图像和位姿数据，并根据预设程序，在经过一系列运算复杂度较高的ar和/或ai运算后，生成导航和割草指令数据，再通过这个应用程序接口将指令数据回传给智能割草机110，由此实现了移动终端对智能割草机110的控制。移动终端的应用程序还可以提供可供用户选择、修改的参数，例如，割草时间偏好，割草高度偏好等，方便用户根据自己的需求获取对智能割草机110的定制化的智能控制。因此，在智能割草机110上预留应用程序接口，不仅降低了对于智能割草机110的处理器142的要求，节约了芯片成本，而且方便了用户通过其他设备实现对智能割草机110的控制。
57.在另一实施例中，用于采集图像信息的摄像头还可以被安装于环境场景。例如，参见图16，智能割草机210本身不具备摄像头，作为替代地，一个或多个摄像头190被安装在屋顶和/或充电桩180的顶部。由于不需要安装支架或者预留收纳腔，智能割草机210的机壳构造更加灵活，例如，图16所示的智能割草机210使用了动力头的外观设计，现代靓丽。设置于场景中的一个或多个摄像头190具备无线连接设备191，用于与智能割草机210无线连接，或者是连接到无线网络，例如，用户的家庭wifi网络，以将采集到的图像数据上传到云端服务器200。一个或多个摄像头190可以采用市面常见上的可旋转摄像头，从而获得更宽广的视角和更精确的定位。智能割草机210的主要部件与智能割草机110相似，这里对于两者相同的组件不再重复，两者的不同主要在于：智能割草机210没有直接设置于主体上或者通过支架等连接机构安装到主体上从而跟随智能割草机210同步移动的摄像头；而且，智能割草机210具备无线连接设备250，可以接收一个或多个摄像头190发送的图像数据，或者可以接入互联网与云端服务器200实现数据交互。值得注意的是，对于上一实施例中的智能割草机
110而言，由于传感器（摄像头组件120、惯性测量单元122等）集成至割草机主体113，传感器与控制模块之间采用有线连接，所以无线连接设备150不是必须，但是出于提升运算能力、升级便利、运用大数据、降低芯片成本等考虑，智能割草机110也可以具备例如无线网卡、移动网络接收器等无线连接设备150。而对于本实施例中的智能割草机210而言，由于摄像头190与智能割草机210主体分离，彼此之间的数据传输依赖于无线连接，因此，一个或多个摄像头190与智能割草机210都依赖无线连接设备（摄像头190包括无线连接设备191，智能割草机210包括无线连接设备250）来实现无线传输，例如，一个或多个摄像头190分别将采集到的图像数据发送给智能割草机210进行运算处理。
58.智能割草机210的控制模块的高阶架构可以参照上一实施例的智能割草机110，但是，由于设置在场景中的一个或多个摄像头190采集的图像信息与位于智能割草机110上的摄像头组件120采集的图像信息的视角不同，智能割草机210的控制程序245也与智能割草机110的控制程序145不同：智能割草机210的控制程序245主要利用视觉目标跟踪算法估计智能割草机210在摄像头可见区域中的位置，并据此生成导航和割草指令。一个或多个摄像头190可以将原始的图像数据或者经过一定处理的数据发送给智能割草机210。当仅有一个摄像头190时，智能割草机210的控制程序245采用单视角目标跟踪算法估计自身的位置；当有多个摄像头190时，智能割草机210的控制程序245采用多视角目标跟踪算法估计自身的位置。多视角目标跟踪算法包括集中式的多视角目标跟踪算法和分布式的多视角目标跟踪算法：集中式技术下，多个摄像头190和智能割草机之间的数据传递方式如图17a；分布式技术下，多个摄像头190和智能割草机之间的数据传递方式如图17b。图17a中的智能割草机210，实际上担任了集中式的多视角目标跟踪算法中的融合中心（fusion center）的角色，各摄像头190分别将采集到的图像数据发送给智能割草机210进行运算处理。图17b中，各摄像头190在本地完成视频数据的采集和处理,并通过网络与其它视角的摄像头190进行信息的交互和融合。例如，每个摄像头190融合其自身采集的图像计算得到的位置估计和从相邻摄像头190获得的位置估计得到新的位置估计，并将新的位置估计发送给下一个相邻摄像头190，直到达到期望的精度，再由达到期望的精度的摄像头190将位置估计发送给智能割草机210。智能割草机210的控制程序245根据得到的位置估计，结合自身其他传感器的信息（如果有的话），生成导航和割草指令。与集中式技术相比,分布式技术具有带宽需求低、系统功耗小、实时性高、可靠性强等优势。分布式的多视角目标跟踪算法，降低了对于智能割草机210的处理器芯片的要求，但是对于摄像头190的数据处理能力的要求有所提升，适用于草坪较大，场景较为复杂时使用摄像头190数目较多的情况；而集中式的多视角目标跟踪算法，在草坪较小，场景较为简单时使用摄像头190数目较少的情况。
59.或者，一个或多个摄像头190与智能割草机210都具备例如无线网卡、移动网络接收器等可以接入互联网的无线连接设备191，并通过云端服务器200实现来自多台设备的数据的整合计算。一个或多个摄像头190、智能割草机210与云端服务器200可以以图17c的架构进行数据交互。一个或多个摄像头190各自将采集到的原始的图像数据或者经过预处理的数据上传到云端服务器200。云端服务器200根据得到的一个或多个摄像头190的数据，选择单视角目标跟踪算法或者多视角目标跟踪算法，并在计算得到智能割草机210的实时位置估计后，将对应的定位估计和地图信息发送给智能割草机210，再由智能割草机210的控制程序245综合其他传感器的数据（如果有的话），生成导航和割草指令；或者，智能割草机
210也将自身的其他传感器采集到的数据通过无线网络上传至云端服务器200，云端服务器200在计算得到智能割草机210的实时位置估计后，再根据储存在云端服务器200的预设程序和智能割草机210上传的其他传感器数据，直接做出对应当前情形的导航和割草行为指令并发送给智能割草机210。
60.本技术还提出一种成本较低的解决方案，即智能割草系统100，包括智能割草机310和移动终端130。移动终端130可以是手机，平板电脑，或者手环等具备摄像头，惯性测量单元（imu），和计算单元的设备。由于移动终端130提供了摄像头和惯性测量单元，智能割草机310本身则不需要包括摄像头或者惯性测量单元，降低了生产成本。智能割草机310和移动终端130之间可以通过有线通信或者无线通信，实现数据传输。如图18所示，智能割草系统100可以采用智能割草机310，包括：切割刀片312，用于切割草；主体313，用于安装所述切割刀片312；车轮314，可以转动并且支撑主体313；固定装置316，设置于主体313，用于将移动终端130固定安装至智能割草机310；接口311，设置于主体313，用于与移动终端130的接口131配合形成有线连接，实现数据传输；控制器（未示出），与接口311电连接，当接口311与移动终端130连接时，根据接口311接收的指令数据控制智能割草机310的行为。
61.在一实施例中，固定装置316的结构参见图19a-19c，图19a中，该固定装置316包括第一挡板381，第二挡板382，支撑板383，支撑杆384和底座385。其中，第一挡板381和第二挡板382平行，分别位于支撑板383的两端且从支撑板383的同侧向外突出并形成相对的倒钩，从而便于将手机、平板等移动终端130固定在第一挡板381和第二挡板382之间。具体地，支撑板383、第一挡板381、第二挡板382的与手机、平板等移动终端130接触的表面还布有硅胶内衬，增大支撑板383、第一挡板381、第二挡板382与手机、平板等移动终端130之间的摩擦力，防止手机、平板等移动终端130在智能割草机310行进过程中因诸如地面不平的原因造成的颠簸而抖落。同时，硅胶内衬也具有一定的弹性，可以在颠簸过程中缓冲手机、平板等移动终端130和支撑板383、第一挡板381、第二挡板382之间的碰撞，减少手机、平板等移动终端130和支撑板383、第一挡板381、第二挡板382的磨损，提升使用寿命。此文不对支撑板383和第一挡板381、第二挡板382的内衬材料加以限制，只要起到防滑和缓冲作用，各种硅胶、橡胶等材料均可。
62.如图19b-19c所示，未安装移动终端130时，第一挡板381和第二挡板382之间的距离为l1，例如，为适配市面上常见的手机、平板等移动终端130的尺寸（目前绝大部分手机、平板等移动终端在4英寸至12英寸之间），l1可以为10cm，并且，第一挡板381和第二挡板382之间的距离可以改变，换句话说，第二挡板382可以相对于第一挡板381平移，或者第一挡板381可以相对于第二挡板382平移，使得两挡板之间的距离发生变化，从而牢固地夹持不同尺寸的手机、平板等移动终端130。例如，通过在支撑板383背面设置拉簧386和延长杆387，可以使得第一挡板381向远离或靠近第二挡板382的方向平移。为便于描述，将第一挡板381向远离第二挡板382的方向平移的运动称为向外拉伸，将第一挡板381向靠近第二挡板382的方向平移的运动称为向内收缩。具体地，第二挡板382固定连接至支撑板383，而第一挡板381固定连接至支撑板383背面的延长杆387的远离第二挡板382的顶端。拉簧386的一端连接第二挡板382，另一端连接延长杆387的靠近第二挡板382的一端，因此拉簧386的拉力始终将延长杆387向第二挡板382拉动，即使延长杆387向内收缩。由支撑板383、伸缩机构和第一、第二挡板382构成的整体也可以称为夹头。
63.未安装移动终端130时，拉簧386将延长杆387拉向第二挡板382，直至第一挡板381抵触支撑板383的端部，此时，第一挡板381在拉簧386的拉力和支撑板383的端部的接触面的反作用力下，固定在与支撑板383的端部相抵触的第一位置。需要安装手机、平板等移动终端130时，需要用户首先抓住第一挡板381将延长杆387向外拉伸，然后将手机、平板等移动终端130平放在支撑板383上、第一挡板381和第二挡板382之间，再松开第一挡板381，使第一挡板381和延长杆387，在拉簧386拉力的作用下，向内收缩，直至第一挡板381抵触移动终端130的边缘，此时第一挡板381在拉簧386的拉力和移动终端130的边缘的接触面的反作用力下，固定在与移动终端130的边缘相抵触的第二位置。可以理解的是，夹持不同尺寸的移动终端130时，会有多个具体位置不完全相同的第二位置，在此我们统称这些固定在与移动终端130的边缘相抵触的位置为第一挡板381的第二位置。第一挡板381和第二挡板382之间的最大距离是l2，l2和l1的差距是δl，δl表示了该固定装置316的夹头的伸缩量。举例来说，l2可以是19cm，那么δl就是9cm，这个移动终端130的固定装置316可以固定住宽度或长度为10cm到19cm之间的手机、平板等移动终端130。实际上，在实际使用中，如果移动终端130尺寸较小，例如手机，则可以将手机竖向夹在第一挡板381和第二挡板382之间，即第一挡板381和第二挡板382夹住手机较长的边；如果移动终端130尺寸较大，例如平板电脑，则可以将平板电脑横向夹在第一挡板381和第二挡板382之间，即第一挡板381和第二挡板382夹住平板电脑较短的边。目前市面上有诸多在售的夹头，结构虽有所差异，但其中不少都能牢固夹持尺寸不同的移动终端130，由于使用广泛，价格低廉，本技术不对夹头的具体结构做出限制，只要是能固定夹持尺寸不同的移动终端130即可。
64.固定装置316的底座385可以直接通过螺丝螺母等紧固机构固定在智能割草机310主体313的表面，如图18所示，这种设计对现有智能割草机的结构改动小，成本低；但在美观程度和整洁程度上有所欠缺。可选地，如图20，智能割草机310主体313设有一个向内凹陷的容纳腔315，容纳腔315的顶部开口位于智能割草机310主体313的上表面，固定装置316的底座385通过螺丝螺母等紧固机构固定在容纳腔315内，容纳腔315顶部有一个盖板318，盖板318可以打开和关闭。例如，盖板318铰接在容纳腔315顶部开口的一侧，包括打开时的第一位置和关闭时的第二位置。或者，盖板318由可以来回滑动的滑盖和滑盖导轨组成，包括覆盖容纳腔315顶部开口的第一位置和暴露容纳腔315开口的第二位置。容纳腔315和盖板318的好处是，在不使用智能割草机310时，将固定装置316隐藏收纳于智能割草机310主体313内，一方面比较整洁美观，另一方面可以防水防尘防光照，减少固定装置316的清洁需求并延缓老化。如图20所示，接口311也可以设置在容纳腔315的内壁上，从而减少灰尘、水等物质入侵。容纳腔315和盖板318的具体形态在本技术中不设限制；此外，容纳腔315的具体位置，可以根据智能割草机310的电机、pcb板等装置的位置来决定，以方便采集智能割草机310周围的图像信息，对智能割草机310的主体313的内部各元件的排布影响最小化为宜，在本技术中不设限制，图20只是示例性展示。
65.非工作时间，移动终端130的固定装置316隐藏收纳于智能割草机310主体313内；因此，在智能割草机310搭载移动终端130工作前，需要将固定装置316的夹头伸出智能割草机310主体313之外以便于移动终端130的摄像头132采集智能割草机310周围的图像信息。为了实现这个目的，可以将固定装置316的支撑杆384设计成可伸缩的结构，例如，参考第一实施例中支架123的内外双管结构。在智能割草机310搭载移动终端130工作前，将支撑杆
384的内管向外拉出，使得整个支撑杆384的长度加长，从而使得夹头伸出至智能割草机310主体313之外。在智能割草机310不工作时或者不搭载移动终端130工作时，将支撑杆384的内管向里推回，使得整个支撑杆384的长度缩短，从而完全收纳于智能割草机310的容纳腔315中。本技术不对固定装置316的支撑杆384的具体伸缩结构加以限制，能达到伸长和缩短的效果即可。其他达到类似效果的结构，比如挠性或者可折叠的支撑杆384，也落在本技术的保护范围内。
66.从图19a中还可以看出，支撑杆384和夹头之间，通过阻尼转轴结构或者滚珠结构388形成了可旋转的连接。这样做的好处是，在智能割草机310装载移动终端130时，用户可以根据实际工况的需要和移动终端130的摄像头132的具体位置，自由调节夹头的角度，也即移动终端130被固定的角度，即移动终端130的摄像头132采集智能割草机310周围的环境的图像信息时的角度。本技术不对旋转连接的具体结构加以限制，能实现旋转的效果即可。在一些例子中，支撑杆384由多节依次连接的短杆组成，既可以折叠省空间，又可利用短杆之间的铰接点，调节夹头的角度。借助所述固定装置316，当移动终端130被固定在智能割草机310的主体313上，移动终端130的位置相对于智能割草机310静止，可以认为，移动终端130的摄像头132采集的周围环境的图像信息即智能割草机310的周围环境的图像信息，移动终端130的惯性测量单元133采集的位姿信息即智能割草机310的位姿信息。
67.参见图21a-21c，移动终端130包括：摄像头132，用来采集智能割草机310周围环境的图像数据；惯性测量单元133，用于检测智能割草机310的位置和姿态数据；接口131，至少用于数据传输，也可用于充电；存储器（未示出），用于存储控制智能割草机310工作的应用程序135；处理器（未示出），与摄像头132和惯性测量单元133电连接，用于调用应用程序135，计算处理通过摄像头132和惯性测量单元133采集到的信息。所述处理器可以调用所述应用程序135融合摄像头132和惯性测量单元133获取的数据实现智能割草机310的即时定位与地图构建（slam），并根据预设的逻辑和实时的数据生成相应的导航和割草指令以控制智能割草机310的行为。市面上常见的手机、平板等移动终端130有的包括单目摄像头132，有的包括双（多）目摄像头132。在测距原理上，单目摄像头132与双（多）目摄像头132截然不同。双（多）目摄像头132类似人类的双眼，主要通过两幅图像的视差计算来确定距离，可以在静止的时候进行深度估计，使数据的准确度更优，但视差的运算相当消耗资源，存在运算量大，耗能高的缺点。单目摄像头132采集的图像帧虽然丢失了环境的深度信息，但这个缺点可以通过融合惯性测量单元133采集的位姿数据得到一定程度的缓解，例如，根据单目摄像头132拍摄到的前后帧之间特征点的偏移，再融合惯性测量单元133采集的位姿数据计算出摄像头本身的移动和旋转。因而，本技术中也不对移动终端130具有的摄像头132的数目做出严格限制。
68.惯性测量单元133至少包括加速度计和陀螺仪，进一步地，还可以包括磁力计。以安卓手机为例，其imu数据包括加速度计（3轴）、陀螺仪（3轴）、磁力计（3轴）共9项数据。一般情况下，imu被放置在物体的重心位置，但是被固定在固定装置316上的移动终端130的惯性测量单元133与智能割草机310的重心g一般存在几十厘米（例如，30厘米）的直线距离，为了缓解这个问题，可以在应用程序135进行imu数据处理时设置传感器位置偏移补偿参数，传感器位置偏移补偿参数可以包括3轴数据（x，y，z）。其中，x表示移动终端130的惯性测量单元133和智能割草机310的重心g的前后距离，数值为正表示智能割草机310的重心g在移动
终端130的惯性测量单元133的前方，数值为负表示智能割草机310的重心g在移动终端130的惯性测量单元133的后方。y表示移动终端130的惯性测量单元133和智能割草机310的重心g的左右距离，正值表示智能割草机310的重心g在移动终端130的惯性测量单元133的右侧，负值表示表示智能割草机310的重心g在移动终端130的惯性测量单元133的左侧。z表示移动终端130的惯性测量单元133和智能割草机310的重心g的上下距离，正值表示智能割草机310的重心g在移动终端130的惯性测量单元133的下方，负值表示智能割草机310的重心g在移动终端130的惯性测量单元133的上方。
69.除了摄像头132和惯性测量单元133，移动终端130还可以包括例如gps传感器等其他传感器，并在应用程序135中预设相应的传感器融合（sensor fusion）的逻辑代码。应用程序135进行视觉惯性融合slam的过程，以及涉及更多传感器融合的过程，包括涉及割草区域边界生成、路面选择、智能避障、虚拟围栏和虚拟障碍物设定、智能照明、割草时机选择等具体功能的应用，由于与智能割草机110的控制程序145类似，这里不再赘述。
70.实现智能割草机310和移动终端130之间的通信的方式多种多样，参见图22a-22e。在本技术中，智能割草机310和移动终端130之间的具体的通信方式不受限制，例如，固定装置316的第二挡板382上可以设置一个公type c接口，当移动终端130固定在固定装置316时，将移动终端的母type c接口插在固定装置316公type c接口上，即可实现移动终端130与智能割草机310之间的数据传输。但是这种连接方式限制了接口的类型，如果用户的移动终端130的接口类型和智能割草机310的预设的接口类型不同的话，则需要使用转接头。采用独立的数据线连接两个接口可以解决接口不适配的问题，如图22a，智能割草机310有一个usb数据传输接口311，如果移动终端130有一个type c数据传输接口131，通过一根usb-type c数据线，一头连接智能割草机310的usb数据传输接口311，一头连接移动终端130的type c数据传输接口131，即可实现移动终端130与智能割草机310之间的数据传输。而如果用户的移动终端130的数据传输接口131是安卓数据接口，则需要一根usb-安卓数据线，一头连接智能割草机310的usb数据传输接口311，一头连接移动终端130的安卓数据传输接口131，即可实现移动终端130与智能割草机310之间的数据传输。采用独立的数据线传输的好处还在于，可以适应固定装置316的伸缩或者转动。此外，例如手机、平板等移动终端130的充电头普遍使用usb传输接口，也就是说，手机、平板等移动终端130的充电线的与充电头连接的一端基本都是usb传输接口，这样不仅提高了智能割草机310的usb数据传输接口311的普适性，而且因为这根数据线即手机、平板等移动终端130的充电线，所以也可以由用户自备，进一步降低智能割草机310的成本。
71.采取有线连接时，移动终端130的应用程序135调用摄像头132采集的图像数据和惯性测量单元133采集的位姿数据，并融合两类数据进行即时定位与地图构建（slam），这个过程可以调用开源的ar资源包，例如，针对于苹果移动终端130开发的应用程序135可以调用arkit开发工具集合，针对于安卓移动终端130开发的应用程序135可以调用arcore开发工具集合。移动终端130的应用程序135根据即时定位与地图构建（slam）输出的结果，依照预设程序生成具体的导航和割草指令，返回给智能割草机310，如图22a中的实线箭头所示。预设程序具体可以包含多个应用功能，例如，自动生成割草边界，虚拟围栏设定，路面识别，智能避障，虚拟障碍物设定等；预设程序也可以调用具备物体识别功能的资源包，例如tensorflow lite来实现物体识别功能。或者，考虑到智能割草机310自身可能还包括诸如
碰撞传感器、跌落传感器等其他传感器，智能割草机310可以将这些传感器采集的数据发送至移动终端130, 如图22a中的虚线箭头所示。由移动终端130的应用程序135统筹后，根据预设程序生成具体的导航和割草指令，再通过有线传输将指令传达给智能割草机310，如图22a中的实线箭头所示。
72.更进一步地，在上述智能割草机310和移动终端130之间的通信的基础上，如图22b所示，移动终端130还包括无线网络连接设备134，可以与云端服务器200实现数据传输，这样移动终端130的应用程序135无需将所有的运算都在移动终端130本地完成，而是部分或全部在云端服务器200完成，例如，在即时定位与地图构建（slam）过程中，将摄像头132采集的所有图像数据和惯性测量单元133采集的角速度与加速度数据全部上传到云端服务器200进行融合；或者，先在移动终端130本地进行数据预处理，例如，图像帧的特征点提取等，然后将经过预处理的数据发送到云端服务器200进行融合，以减少对无线通信速率的依赖。除了即时定位与地图构建（slam），云端服务器200还可以运行其他程序逻辑，借助于云计算和云存储方面的能力，云端服务器200可以在障碍物识别、边界识别、路面识别、路径规划等功能应用上发挥优势。移动终端130还可以将用户的设置与偏好一起上传至云端服务器200，例如，割草高度偏好，草坪打印锚点等；云端服务器200也可以自主从互联网获取例如天气季节等相关信息，从而生成导航和割草指令以控制智能割草机310的行为。移动终端130的应用程序135从云端服务器200获取指令后，再通过有线传输将指令传达给智能割草机310。
73.或者，智能割草机310和移动终端130之间也可以采用无线数据传输。如图22c，因为智能割草机310搭载移动终端130工作时，智能割草机310和移动终端130之间的距离始终很近，因此智能割草机310和移动终端130之间可以实现短距离无线通信，例如蓝牙、zigbee、nfc等，这种方案需要智能割草机310和移动终端130两者具备匹配的短距离无线通信设备，例如智能割草机310和移动终端130都具备蓝牙。与图22a-22b所示的有线通信相比，采取短距离无线通信的方案，其实质上只是将智能割草机310和移动终端130之间的有线接口改成无线接口，其他方面（传输内容、系统架构等）并无差异。
74.或者，移动终端130具备无线网卡或wlan模块等无线网络连接设备134，且智能割草机310具备无线网卡或wlan模块等无线网络连接设备350，如图22d。当用户的草坪被无线网络全面覆盖时，移动终端130和智能割草机310都可以通过无线网络连接云端服务器200。移动终端130的应用程序135可以将摄像头132采集的所有图像数据和惯性测量单元133采集的角速度与加速度数据全部上传到云端服务器200进行ar融合；或者，在移动终端130本地进行例如特征点提取等数据预处理，然后将预处理过后的数据发送到云端服务器200进行ar融合，以减少对于通信速率的依赖。同时，智能割草机310也可以将诸如碰撞传感器、跌落传感器等其他传感器采集的信息（如果有的话，图22d中以虚线箭头表示）上传到云端服务器200，这些信息也可以作为参数参与到云端服务器200的运算决策过程中去。云端服务器200根据上传的各种数据和内置程序做出导航和割草行为的指令后，将结果直接返回给智能割草机310。相较于图22b中，云端服务器200将计算结果返回给移动终端130再由移动终端130返回给智能割草机310，云端服务器200直接将结果返回给智能割草机310具有减少延迟的好处。
75.当用户的草坪由于面积过大等原因而未能实现无线网络的全面覆盖时，上述方案
还有一个弥补性的落实方法，参见图22e。由于手机等移动终端130普遍具有移动网络接收137和wifi热点138功能，可以将移动终端130接收到的移动网络信号转化为wifi信号发出去，而智能割草机310具有无线网卡或wlan模块等无线网络连接设备350，可以通过移动终端130的wifi热点138发出的wifi网络与云端服务器200实现无线通信。当智能割草机310与移动终端130不处在同一wifi网络时，例如，智能割草机310通过移动终端130的热点网络上网，而移动终端130通过移动网络上网，云端服务器200可能无法自动识别出智能割草机310和移动终端130的配对，此时应用程序135和智能割草机310上传数据时可以增加智能割草机310的id作为识别码，智能割草机310获取指令时可以以智能割草机310的id为凭证。
76.相比于第一实施例，上述将智能割草机310与移动终端130集成的智能割草系统100，减少了对于智能割草机310的硬件需求，不仅节省了摄像头132和惯性测量单元133的成本，还通过将对于计算资源需求较高的ar运算转嫁到移动终端130的应用程序上的方式，降低了对于智能割草机310的处理芯片的要求，从而节省了芯片成本。另外，日常情况下，人们使用移动终端130更为频繁；移动终端130上的应用程序135，借助于各种应用市场的平台，其升级、维护、拓展都更加便捷，例如，应用程序135 v1.0.0版可以是纯本地运算，应用程序135 v1.2.0版可以主要依赖于本地运算，但将需要进行物体识别计算的图片上传至云端服务器200，借助大数据更精准地判断障碍物类型。当然，从另一个角度来说，将移动终端130与智能割草机310在智能割草机310工作时固定，也会为用户带来一定程度的不便，因为很多人如今习惯了手机不离手，只在充电的时候才使手机离开一会。为了尽量缓解手机分离为用户带来的焦虑，也为了防止移动终端130剩余电量过少，不足以完成一次完整的割草任务，可以将智能割草机310配置为：连接移动终端130时，使用智能割草机310的电池包为移动终端130的电池充电。同时，为了避免智能割草机310自身的电量不足时仍然坚持为移动终端130充电而造成诸如工作时间骤减、电池包过度放电等问题，可以设定一个充电阈值，例如70%。即，如果智能割草机310的电池包的剩余电量大于等于70%，则给连接的移动终端130充电；如果智能割草机310的电池包的剩余电量小于70%，则不给连接的移动终端130充电。需要注意的是，此处，70%只是示例，并不限制本案的保护范围，只要是设定一个智能割草机310的剩余电量的阈值来决定智能割草机310是否为连接的移动终端130充电的方案，均落在本技术的保护范围内。
77.以上显示和描述了本技术的基本原理、主要特征和优点。本行业的技术人员应该了解，上述实施例不以任何形式限制本技术，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本技术的保护范围内。