一种基于图像识别的葡萄疏花疏果智能机器人及方法与流程

1.本技术涉及农业设备技术领域，具体涉及一种基于图像识别的葡萄疏花疏果智能机器人及方法。


背景技术：

2.葡萄生长过程中，如果葡萄开花过多，养分供给不足，会长出许多小果及次果，并导致次年葡萄减产。而且葡萄果实过多容易使葡萄品相不足，销售价格降低。因此，葡萄疏花疏果是葡萄种植过程当中一个重要的环节，所谓的葡萄疏花疏果，指的是通过去除葡萄花穗中过多的花和葡萄，以利于葡萄后续的生长。通过对葡萄疏花疏果，能够保持葡萄营养供应充分，保证葡萄长势良好。
3.传统技术中，葡萄疏花疏果的方式主要依靠人工进行，多采用手动工具，如果树剪刀，去除整株葡萄中多余的小穗。或采用半自动的手工工具进行，如手持式电动疏花疏果器，虽然相比于手工工具效率有所提高，但仍然需要寻找到各个小穗穗柄进行去除，长时间作业极易产生疲劳，工作效率低。
4.因此，亟需一种能够代替人工完成葡萄疏花疏果的装置，以实现提高葡萄疏花疏果的工作效率。


技术实现要素：

5.本技术为了解决上述技术问题，提出了如下技术方案：第一方面，本技术实施例提供了一种基于图像识别的葡萄疏花疏果智能机器人，包括：行走装置，设置在所述行走装置上的控制器和疏花疏果装置，所述控制器分别与所述行走装置和所述疏花疏果装置通信连接，所述疏花疏果装置上设置有图像采集设备和执行机构；所述行走装置行走过程中，所述控制器根据所述图像采集设备采集的葡萄花朵和果实处图像，确定具有第一特征信息的第一位置，控制执行机构对葡萄植株第一位置的葡萄花穗进行切除。
6.采用上述实现方式，当需要对葡萄进行疏花疏果作业时，控制行走装置在葡萄园内行走，通过图像采集设备和控制器对需要进行切除的葡萄花穗进行定位，然后控制执行机构进行切除作业，提高了葡萄疏花疏果的作业效率。
7.结合第一方面，在第一方面第一种可能的实现方式中，所述行走装置包括：履带底盘，所述控制器设置在所述履带底盘的底面上，所述履带底盘两侧分别设置有驱动轮和导向轮，所述驱动轮和导向轮通过履带传动连接，对应两侧的驱动轮分别设置有第一电机和第二电机，所述第一电机和所述第二电机均与所述控制器电连接。控制器控制第一电机和第二电机同步启动，带动两侧的驱动轮转动，驱动轮转动时带动履带转动实现行走装置的行走。行走装置采用履带式驱动，可以实现机器人在果园中行走时可以顺利越过障碍，适合于各种山地、丘陵等复杂环境下作业。
8.结合第一方面第一种可能的实现方式，在第一方面第二种可能的实现方式中，所
述执行机构包括设置在所述履带底盘上的机械手，所述机械手的活动端设置有末端执行件，所述末端执行件用于将多余的葡萄花朵和果实进行切除，所述图像采集设备设置在所述末端执行件上。通过机械手控制末端执行件的位置，进行实现对多余的葡萄花穗的切除。
9.结合第一方面第二种可能的实现方式，在第一方面第三种可能的实现方式中，所述机械手包括机械手底座，所述机械手底座固定设置在所述履带底盘上，所述机械手底座上设置有第一机械臂，所述第一机械臂的第一端与所述机械手底座转动连接，所述第一机械臂转动角度为 360 度；与所述第一机械臂的第二端铰接的第二机械臂和与所述第二机械臂铰接的第三机械臂，所述末端执行件固定设置在所述第三机械臂的末端。机械手的多关节多维度设置，结构紧凑，具有定位准确、重心低、安装稳定等特点。机械手可以将末端执行件送达至需要作业的位置，进而可以准确的将多余的葡萄花穗进行切除。
10.结合第一方面第三种可能的实现方式，在第一方面第四种可能的实现方式中，所述末端执行件包括运动控制机构，所述运动控制结构包括第一导轨，设置在所述第一导轨一侧的第一步进电机和设置在所述导轨内的丝杠，所述第一步进电机的转动输出端与所述丝杠固定连接，所述丝杠与所述第一导轨的两端转动连接，所述丝杠上设置有第一滑块，所述第一滑块与所述丝杠螺纹连接，所述图像采集设备固定设置在所述第一步进电机的外壳上，所述第一滑块上固定设置有剪切机构。第一步进电机通过正转和反转可以控制第一滑块沿着丝杠上下运动，从而带动剪切机构实现上下运动，可以实现对剪切机构位置的微调。
11.结合第一方面第四种可能的实现方式，在第一方面第五种可能的实现方式中，所述剪切机构包括支撑座，所述支撑座固定设置在所述第一滑块上，所述支撑座水平方向的两端滑动设置有第一刀具支架和第二刀具支架，所述第一刀具支架和第二刀具支架上设置有刀具。
12.结合第一方面第五种可能的实现方式，在第一方面第六种可能的实现方式中，所述支撑座垂直方向的两端内侧设置有第二导轨和第三导轨，对应所述第二导轨和所述第三导轨分别平行设置有第一齿条和第二齿条，所述第一齿条和所述第二齿条之间设置有齿轮，所述第一齿条和所述第二齿条均与所述齿轮啮合连接，对应所述齿轮设置有第二步进电机，所述第二步进电机的转动输出端与所述齿轮固定连接；所述第二导轨和所述第三导轨两端均滑动设置有滑块，所述第一刀具支架与对应一侧的滑块和第一齿条固定连接，所述第二刀具支架与另一侧的滑块和第二齿条固定连接。第二步进电机旋转带动齿轮转动，实现第一齿条和第二齿条相向运动，从而使第一刀具支架、第二刀具支架上的刀具相对靠近并夹持住葡萄花穗柄部。在丝杠导轨的带动下，第一刀具支架、第二刀具支架开始向下方运动，具体的移动距离，可以通过控制第一步进电机的旋转来完成。通过刀具切削刃切除多余的葡萄花穗，从而完成整个疏花疏果过程。
13.结合第一方面第六种可能的实现方式，在第一方面第七种可能的实现方式中，所述第二导轨和所述第三导轨的两端设置有限位螺钉，所述限位螺钉用于限制设置在导轨上的滑块脱落。
14.结合第一方面第六种可能的实现方式，在第一方面第八种可能的实现方式中，所述第一步进电机和所述第二步进电机均与所述控制器电连接。控制器可以控制第一步进电机和所述第二步进电机的启停和转动量，进而可以实现对末端执行件的精确控制。第二方面，本技术实施例提供了一种基于图像识别的葡萄疏花疏果方法，采用第一方面或第一方
面任一可能实现方式的机器人，所述方法包括：行走装置在葡萄园行走过程中图像采集设备对葡萄花朵和果实处图像进行实时获取；控制器接收来自图像采集设备发送的图像信息，将所述图像信息导入预先建立的图像识别模型，所述图像识别模型为通过将批量未疏花疏果的葡萄图像和经过疏花疏果的葡萄图像进行训练获得；根据所述图像识别模型对图像信息进行识别，确定出图像信息中的第一特征信息，所述第一特征信息对应的需要切除的葡萄花穗；确定需要切除的葡萄花穗的第一位置信息，控制执行机构对第一位置的葡萄花穗进行切除。
附图说明
15.图 1 为本技术实施例提供的一种基于图像识别的葡萄疏花疏果智能机器人的结构示意图；图 2 为本技术实施例提供的末端执行件的结构示意图；图 3 为本技术实施例提供的剪切机构的结构示意图；图 4 为本技术实施例提供的刀具的结构示意图；图 5 为本技术实施例提供的一种基于图像识别的葡萄疏花疏果方法的流程示意图；图 1
‑
5 中，符号表示为：1
‑
控制器，2
‑
图像采集设备，3
‑
履带底盘，4
‑
驱动轮，5
‑
导向轮，6
‑
履带，7
‑
第一电机，8
‑
第二电机，9
‑
末端执行件，10
‑
机械手底座，11
‑
第一机械臂，12
‑
第二机械臂，13
‑
第三机械臂，14
‑
第一导轨，15
‑
第一步进电机，16
‑
丝杠，17
‑
第一滑块，18
‑
支撑座，19
‑
第一刀具支架，20
‑
第二刀具支架，21
‑
刀具，22
‑
第二导轨，23
‑
第三导轨，24
‑
第一齿条，25
‑
第二齿条，26
‑
齿轮，27
‑
第二步进电机。
具体实施方式
16.下面结合附图与具体实施方式对本方案进行阐述。
17.图 1 为本技术实施例提供的一种基于图像识别的葡萄疏花疏果智能机器人的结构示意图，参见图 1，本技术实施例提供的基于图像识别的葡萄疏花疏果智能机器人包括：行走装置，设置在所述行走装置上的控制器 1 和疏花疏果装置，所述控制器 1 分别与所述行走装置和所述疏花疏果装置通信连接，所述疏花疏果装置上设置有图像采集设备 2 和执行机构。所述行走装置行走过程中，所述控制器 1 根据所述图像采集设备 2 采集的葡萄花朵和果实处图像，确定具有第一特征信息的第一位置，控制执行机构对葡萄植株第一位置的葡萄花穗进行切除。
18.当需要对葡萄进行疏花疏果作业时，控制行走装置在葡萄园内行走，通过图像采集设备 2 和控制器 1 对需要进行切除的葡萄花穗进行定位，然后控制执行机构进行切除作业，提高了葡萄疏花疏果的作业效率。
19.进一步参见图 1，所述行走装置包括：履带底盘 3，所述控制器 1 设置在所述履带底盘 3 的底面上，所述履带底盘 3 两侧分别设置有驱动轮 4 和导向轮 5，所述驱动轮 4 和导向轮 5 通过履带 6 传动连接，对应两侧的驱动轮 4分别设置有第一电机 7 和第二电机 8，所述第一电机 7 和所述第二电机 8 均与所述控制器 1 电连接。
20.控制器 1 控制第一电机 7 和第二电机 8 同步启动，带动两侧的驱动轮 4转动，驱动轮 4 转动时带动履带 6 转动实现行走装置的行走。行走装置采用履带 6 式驱动，可以实现机器人在果园中行走时可以顺利越过障碍，适合于各种山地、丘陵等复杂环境下作业。
21.进一步地，所述执行机构包括设置在所述履带底盘 3 上的机械手，所述机械手的活动端设置有末端执行件 9，所述末端执行件 9 用于将多余的葡萄花穗进行切除，所述图像采集设备 2 设置在所述末端执行件 9 上。通过机械手控制末端执行件 9 的位置，进行实现对多余的葡萄花穗的切除。
22.本实施例中，所述机械手包括机械手底座 10，所述机械手底座 10 固定设置在所述履带底盘 3 上，所述机械手底座 10 上设置有第一机械臂 11，所述第一机械臂 11 的第一端与所述机械手底座 10 转动连接，所述第一机械臂11 转动角度为 360 度。与所述第一机械臂 11 的第二端铰接的第二机械臂 12和与所述第二机械臂 12 铰接的第三机械臂 13，所述末端执行件 9 固定设置在所述第三机械臂 13 的末端。
23.机械手的多关节多维度设置，结构紧凑，具有定位准确、重心低、安装稳定等特点。机械手可以将末端执行件 9 送达至需要作业的位置，进而可以准确的将多余的葡萄花穗进行切除。
24.参见图 2，所述末端执行件 9 包括运动控制机构，所述运动控制结构包括第一导轨 14，设置在所述第一导轨 14 一侧的第一步进电机 15 和设置在所述导轨内的丝杠 16，所述第一步进电机 15 的转动输出端与所述丝杠 16 固定连接，所述丝杠 16 与所述第一导轨 14 的两端转动连接，所述丝杠 16 上设置有第一滑块 17，所述第一滑块 17 与所述丝杠 16 螺纹连接，所述图像采集设备 2 固定设置在所述第一步进电机 15 的外壳上，所述第一滑块 17 上固定设置有剪切机构。第一步进电机 15 通过正转和反转可以控制第一滑块 17 沿着丝杠 16 上下运动，从而带动剪切机构实现上下运动，可以实现对剪切机构位置的微调。
25.参见图 2 和图 3，所述剪切机构包括支撑座 18，所述支撑座 18 固定设置在所述第一滑块 17 上，所述支撑座 18 水平方向的两端滑动设置有第一刀具支架 19 和第二刀具支架 20，所述第一刀具支架 19 和第二刀具支架 20 上设置有刀具 21。参见图 4，本实施例中的刀具 21 形状半圆形，工作时平动合在一起。
26.进一步地，所述支撑座 18 垂直方向的两端内侧设置有第二导轨 22 和第三导轨 23，对应所述第二导轨 22 和所述第三导轨 23 分别平行设置有第一齿条 24 和第二齿条 25。所述第一齿条 24 和所述第二齿条 25 之间设置有齿轮26，所述第一齿条 24 和所述第二齿条 25 均与所述齿轮 26 啮合连接。对应所述齿轮 26 设置有第二步进电机 27，所述第二步进电机 27 的转动输出端与所述齿轮 26 固定连接。所述第二导轨 22 和所述第三导轨 23 两端均滑动设置有滑块，所述第一刀具支架 19 与对应一侧的滑块和第一齿条 24 固定连接，所述第二刀具支架 20 与另一侧的滑块和第二齿条 25 固定连接。
27.第二步进电机 27 旋转带动齿轮 26 转动，实现第一齿条 24 和第二齿条25 相向运动，从而使第一刀具支架 19、第二刀具支架 20 上的刀具相对靠近并夹持住葡萄花穗柄部。在丝杠 16 导轨的带动下，第一刀具支架 19、第二刀具支架 20 开始向下方运动，具体的移动距离，可以通过控制第一步进电机15 的旋转来完成。通过刀具 21 切削刃切除多
余的葡萄花穗，从而完成整个疏花疏果过程。
28.本实施例中，所述第二导轨 22 和所述第三导轨 23 的两端设置有限位螺钉，所述限位螺钉用于限制设置在导轨上的滑块脱落。
29.所述第一步进电机 15 和所述第二步进电机 27 均与所述控制器 1 电连接。控制器 1 可以控制第一步进电机 15 和所述第二步进电机 27 的启停和转动量，进而可以实现对末端执行件 9 的精确控制。
30.与上述实施例提供的一种基于图像识别的葡萄疏花疏果智能机器人相对应，本技术还提供了一种基于图像识别的葡萄疏花疏果方法的实施例，参见图 5，所述基于图像识别的葡萄疏花疏果方法包括：s101，行走装置在葡萄园行走过程中图像采集设备对葡萄花朵和果实处图像进行实时获取。
31.s102，控制器接收来自图像采集设备发送的图像信息，将所述图像信息导入预先建立的图像识别模型，所述图像识别模型为通过将批量未疏花疏果的葡萄图像和经过疏花疏果的葡萄图像进行训练获得。
32.根据预先采集的葡萄花穗照片建立数据集，对需要进行疏花疏果的葡萄进行未处理前图像获取，然后进行疏花疏果后再次进行图像获取，采用改进的 yolo v5 算法进行葡萄花穗模型训练。训练后的模型可以实现对图信息中的葡萄花穗进行甄别，将需要切除的葡萄花穗进行标记出来。
33.s103，根据所述图像识别模型对图像信息进行识别，确定出图像信息中的第一特征信息，所述第一特征信息对应的需要切除的葡萄花穗。
34.本实施例中的第一特征信息为图像中葡萄花穗中长势较弱，且会影响其周边其他葡萄花穗的生长对应的葡萄花穗图像特征信息。
35.s014，确定需要切除的葡萄花穗的第一位置信息，控制执行机构对第一位置的葡萄花穗进行切除。
36.具体地，执行机构中第二步进电机旋转带动齿轮转动，实现第一齿条和第二齿条相向运动，从而使第一刀具支架、第二刀具支架上的刀具相对靠近并夹持住葡萄花穗柄部。在丝杠导轨的带动下，第一刀具支架、第二刀具支架开始向下方运动，具体的移动距离，可以通过控制第一步进电机的旋转来完成。通过刀具切削刃切除多余的葡萄花穗，从而完成整个疏花疏果过程。
37.需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
38.当然，上述说明也并不仅限于上述举例，本技术未经描述的技术特征可以通过或采用现有技术实现，在此不再赘述；以上实施例及附图仅用于说明本技术的技术方案并非是对本技术的限制，如来替代，本技术仅结合并参照优选的实施方式进行了详细说明，本领
域的普通技术人员应当理解，本技术领域的普通技术人员在本技术的实质范围内所做出的变化、改型、添加或替换都不脱离本技术的宗旨，也应属于本技术的权利要求保护范围。