基于实时目标检测框架的驱鸟机器人及驱鸟方法与流程

1.本发明涉及驱鸟领域，具体地，涉及一种基于实时目标检测框架的驱鸟机器人及驱鸟方法。


背景技术：

2.野生鸟类的繁衍、活动对农田作物以及果园等环境产生了不同程度的影响。目前大部分农民都是通过人工手段或搭稻草人等低效手段进行驱鸟，上述方法驱鸟效果差，耗费人力成本高。
3.目前常见的驱鸟方法有三种，包括超声波驱鸟、气味驱赶、天敌驱赶。在飞机上与机场中常使用超声波驱鸟的方式，其驱鸟相对可行性最高。但目前在田地中使用固定超声波发生装置在调查后发现仍存在一些问题：在一定的范围内几乎不间断的发射超声波，长期来看耗费资源，且缺乏针对性，在鸟类适应后效果将明显减弱；并且，只使用超声波一种驱鸟的方式，比较单一，驱鸟效果有提升空间；此外，固定式安装需要大量的设备才能实现覆盖，并且市场上其外形为一个太阳能板与方铁盒，缺乏灵活性。
4.在公开号为cn112335647a的中国专利文献中，公开了一种超声波驱鸟方法、装置、驱鸟器和存储介质。该方法包括：根据预设的第一驱鸟时间段、第二驱鸟时间段和第三驱鸟时间段，确定当前时刻所处的目标驱鸟时间段；根据该目标驱鸟时间段、前一天的历史温度和预设的映射关系集合，确定该目标驱鸟时间段对应的驱鸟器启动间隔时长t1；接着每隔该驱鸟器启动间隔时长t1触发驱鸟器工作t2时长。也就是说，根据鸟类活动的频繁度设置不同的驱鸟时间段，在不同的驱鸟时间段内，根据不同的温度设置不同的驱鸟器启动间隔时长t1；通过不同的驱鸟器启动间隔时长t1触发驱鸟器工作t2时长。但是该专利文献只涉及到超声波驱鸟方法，针对性不强，在鸟类适应后效果将明显减弱。


技术实现要素：

5.针对现有技术中的缺陷，本发明的目的是提供一种基于实时目标检测框架的驱鸟机器人及驱鸟方法。
6.根据本发明提供的一种基于实时目标检测框架的驱鸟机器人，包括机器人本体，所述机器人本体的头部设置有摄像头，所述机器人本体上位于嘴巴位置处设置有电子鞭炮，所述机器人本体的胸腔位置设置有超声波发生器，所述机器人本体的头部与躯干转动连接，包括上下俯仰转动和左右转动，所述机器人本体的大臂与躯干转动连接，所述机器人本体的肘部与大臂转动连接，所述机器人本体的躯干中设置有控制系统。
7.优选的，所述摄像头采用1080p分辨率、90度广角的双摄像头，分别安装在机器人本体的双眼位置。
8.优选的，所述机器人本体颈部安装有第一舵机，所述第一舵机的转动轴上固定安装有第一u型舵机，所述机器人本体的头部固定安装在第一u型舵机的摇臂上。
9.优选的，所述机器人本体的大臂通过转动舵机与机器人本体的躯干转动连接，所
述机器人本体的肘部通过第二u型舵机与机器人本体的大臂转动连接。
10.优选的，所述第一舵机和转动舵机的转动轴与机器人本体通过pom轴承转动连接。
11.优选的，所述机器人本体包括行走装置，所述行走装置为履带车，所述履带车包括减速电机和电子调速器，所述电子调速器控制减速电机的转动，减速电机驱动履带车进退和转向。
12.优选的，所述行走装置为轨道轮胎，在地面上固定安装有与轨道轮胎对应配合的行车轨道。
13.根据本发明提供的一种基于实时目标检测框架的驱鸟机器人的驱鸟方式，包括以下步骤：
14.步骤s1：建立深度网络学习模型，并采用带有鸟类照片训练网络模型；
15.步骤s2：机器人启动，摄像头进行自由检测；
16.步骤s3：根据摄像头拍照到的鸟类照片进行距离检测，根据机器人本体和被检测鸟的距离执行不同的驱鸟操作；
17.步骤s4：当判定机器人本体和被检测鸟的距离大于20米时，行走装置驱动机器人本体靠近鸟类，当判定机器人本体和被测鸟的具体大于10米且不超过20米时，采用超声波驱鸟，当判定机器人本体和被测鸟的距离大于5米且不超过10米时，播放鞭炮声驱鸟，当判定机器人本体和被测鸟的距离不超过5米时，机器人本体挥动手臂驱鸟；
18.步骤s5：当连续60帧未捕捉到鸟类的图像时，判定驱赶成功。
19.优选的，所述步骤s1中采用yolo v3模型，使用单一鸟类训练集进行训练,利用labelimag软件将图片标注成pascal voc格式的数据集，将所有数据划分为训练集与测试集，利用yolo v3自带的训练程序对数据集进行训练。
20.优选的，所述步骤s3中，通过双摄像头进行拍照，采用python内opencv中的双目测距法进行测距。
21.与现有技术相比，本发明具有如下的有益效果：
22.1、本发明通过摄像头识别鸟类，判断驱鸟的有效距离，并根据距离实行三种有效驱鸟方式以达到最好的驱鸟效果。
23.2、机器人基于鸟类图像识别、目标跟踪、双目测距等核心算法实现了可以通过自由移动来覆盖更大范围的区域进行驱鸟，不仅提高了准确率，而且节约了成本。
24.3、在控制系统中使用yolo v3的模型，并通过自己标记的数据集对模型进行特定训练，在保证准确率与识别范围的情况下，解决了由于开发板性能问题导致的识别帧数低的问题。
附图说明
25.通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
26.图1为本发明实施例驱鸟机器人的结构示意图；
27.图2为本发明实施例超声波发射示意图；
28.图3为本发明实施例驱鸟机器人剖视图；
29.图4为本发明实施例中控制系统的电路关系图；
30.图5为本发明实施例中驱鸟方法选择流程图；
31.图6为本发明实施例摄像头视野范围随机检测鸟类示意图；
32.图7为本发明实施例中驱鸟过程示意图。
33.附图标记说明：
34.摄像头1
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
第一u型舵机5
35.电子鞭炮2
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
转动舵机6
36.超声波发生器3
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
第二u型舵机7
37.第一舵机4
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
pom轴承8
具体实施方式
38.下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
39.一种基于实时目标检测框架的驱鸟机器人，如图1所示，包括机器人本体，机器人本体的头部设置有摄像头1，使用两个1080p、90度广角的雷登-c01摄像头1按照仿真人设计，分别设置在机器人左右眼位置。机器人本体上位于嘴巴位置处设置有电子鞭炮2，电子鞭炮2设置为两个，机器人本体的胸腔位置设置有超声波发生器3，超声波发生器3采用太阳能插电二合一的驱鸟器，超声波有效半径在60m内，能发出120db的超声波，将其安装于稻草人的胸腔内，并在胸前与背部各安装了两个发射装置，如图2所示俯视图。
40.稻草人的模型设计方面，头部关节能够实现转动和点头动作，左右手臂可升起和摆动。按照黄金分割法绘制机器人身体，总高度为1400mm，身体部分474mm，下半身772mm，头部高度174mm。
41.参照图3，机器人本体的头部与躯干采用第一舵机4连接来完成头部水平摆动，第一舵机4的型号为tbs-k20数字舵机，在tbs-k20数字舵机上安装有第一u型舵机5，用于驱动头部上下俯仰的旋转，机器人本体的头部安装在第一u型舵机5的摇臂上。第一u型舵机5平放固定在头部转动支架上，驱动头部左右转动的第一舵机4固定在胸部平台之上，通过单片机控制两个舵机的驱动可实现3s内摄像头1水平扫摄270
°
。本实施例中的所有舵机均采用扭力20kg
·
cm的金属齿轮数字舵机。
42.在机器人本体胸腔处设置一道平台，用于布置左右手臂与头部转动的舵机，在腰部设置一平台，平台上再设有4层设备搭载平台，搭载所有的用电器；按照层分好，便于后期调试、维护和升级。在脖颈处、肩部都设置一个pom轴承8，用于支撑和限位转动结构，轴承尺寸为(35*62*14mm)。建模后将模型3d打印并组装，并确保总重小于15kg。机器人本体的肩部通过转动舵机6与机器人本体的躯干转动连接，转动舵机的型号为mg995mg996r舵机，机器人本体的肘部通过第二u型舵机7与机器人本体的大臂转动连接，第二u型舵机7的型号为tbs-k20舵机。肘部转动的第二u型舵机7的支架与大臂连接采用螺丝连接，可拆卸调整角度。
43.稻草人具有行走装置，陆地常规运动方式为腿足式、轮式、履带式三种。考虑到稻草人须在田间行走，我们决定采用适宜崎岖地形的工作环境的履带运动。行走装置为履带
车，履带车包括减速电机和电子调速器，电子调速器控制减速电机的转动，从而带动履带车前进后退以及转向，履带车选取ts700金属履带车。该底盘尺寸360mm
×
240mm
×
100mm，最大载重15kg，履带车底盘由550减速电机驱动，运动速度0.8m/s，可完成进退与转向。
44.行走装置还可以是轨道轮胎，在地面上固定安装有与轨道轮胎对应配合的行车轨道。行车轨道采用25mm的单根铁管，行车轨道宽度约为35cm，能实现0.8m～1m的转弯半径，采用圆弧形转弯方式。
45.机器人本体的躯干中设置有控制系统，控制系统采用lattepanda板，在该板上完成图像识别、测算深度等的算法开发，并使用该板控制机器人进行相关操作。控制系统与其他零件的电路连接关系如图4所示。
46.基于实时目标检测框架的驱鸟机器人的驱鸟方式，如图5所示，包括以下步骤：
47.步骤s1：建立深度网络学习模型，并采用带有鸟类照片训练网络模型，从而能够识别出图像中的鸟类信息；
48.采用yolo v3模型，使用单一鸟类训练集进行训练,利用labelimag软件将图片标注成pascal voc格式的数据集，对于每单个数据来说，对应成一张原图文件与图片中物体信息的xml文件，然后，将所有数据划分为训练集与测试集，随后利用yolov3自带的训练程序(yolo_train.py)对我们自身的数据集进行训练。
49.步骤s2：机器人启动，摄像头1进行自由检测；
50.如图5所示，s1为地面，s2为竖直于地面的平面，c为摄像头1，o1、o2分别为所在矩形a/b的点。当摄像头1向下转动角度β变大时(β2《β1)，所检测到的范围也变小(sb》sa)。
51.假设当稻草人低头的角度变为β1。设定头部水平转动的角速度为α，则上下摆动的角速度至少为ω＝180α/β1(rad/s)，才能在摄像头1水平旋转中，保证最大的俯仰角。通过缩小实际视距大小，确保实际计算后能够实现全覆盖监测。
52.因此设定机器人以每次水平旋转30度，然后垂直进行扫描的方式周期性摆动头部检测，如果在连续5帧内有3帧识别到了鸟，那么头部将锁定鸟的位置，直到连续5帧内都不再识别到鸟。
53.步骤s3：根据摄像头1拍照到的鸟类照片进行距离检测，根据机器人本体和被检测鸟的距离执行不同的驱鸟操作；
54.通过双摄像头1进行拍照，采用python内opencv中的双目测距法进行测量。首先，摄像头1的内参与外参及相关信息需要通过校准获得，使用usb摄像头1在电脑上通过opencv的stereorectify()函数进行校准，进行相机标定，在校准后，对所得图像即可进行测距。测距后，判定距离在5m，10m，20m的哪个区间，以给机器人相应的摆动手臂、电子鞭炮2、超声波三种应对方式。如果大于20m，则朝目标方向移动机器人，再进行判定操作。
55.步骤s4：当判定机器人本体和被检测鸟的距离大于20米时，行走装置驱动机器人本体靠近鸟类，当判定机器人本体和被测鸟的具体大于10米且不超过20米时，采用超声波驱鸟，当判定机器人本体和被测鸟的距离大于5米且不超过10米时，播放鞭炮声驱鸟，当判定机器人本体和被测鸟的距离不超过5米时，机器人本体挥动手臂驱鸟；
56.步骤s5：当连续60帧未捕捉到鸟类的图像时，判定驱赶成功。
57.在测试时，我们需要判断鸟类有没有被驱赶成功，与识别鸟类类似，有连续60帧未捕捉到鸟类的图像，则判定驱赶成功。而在此期间，我们需要通过判断鸟与画面中心点的相
互关系，对鸟类进行镜头跟踪，使得鸟保持在离画面中心较近的位置，如图5所示。
58.为了达到镜头追踪的效果，摄像头1在机器人移动时无法同步继续执行识别操作。所以，引入python多线程，使得机器人在运动的过程中，能够持续进行鸟类识别。
59.硬件方面，机器人身体部位采用四个舵机完成相关驱鸟动作，通过在田边部署轨道的方式，使得机器人的移动不会受限于地形原因，头部能达到水平360度，垂直方向近180度的活动范围，再次确保了机器人的视距宽广。
60.软件方面，使用yolo v3的模型，并通过自己标记的数据集对模型进行特定训练，在保证准确率与识别范围的情况下，解决了由于开发板性能问题导致的识别帧数低的问题。应用多线程的逻辑，在保证了机器人拥有开阔的视野范围的同时，做到了对于周围环境的实时扫描与驱动稻草人移动两者的同步,初步证明了搭建的识别模型的可行性。
61.本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
62.在本技术的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本技术的限制。
63.以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本技术的实施例和实施例中的特征可以任意相互组合。