基于视觉识别和运动控制的智能除草方法、装置和设备与流程

1.本发明涉及自动控制技术领域，尤其涉及一种基于视觉识别和运动控制的智能除草方法、装置和设备。


背景技术：

2.近几年自动控制行业飞速发展，很多工厂已经或者正在实现自动化控制，自动化生产。在这种大环境下，农业生产也在向机械化，去人力自动化方向发展，目前已经有联合收割机，自动播种机等通用大型农业自动化设备，但是对于一些其他类型的农产品还没有相应的自动化设备来替代人力，比如，针对中草药种植中的除草过程。
3.由于中草药和普通的农产品不同，中草药在种植过程中，需要不断的清除掉药田中杂草才能保证药材的正常生长，而目前对于这种除草工作只有通过人力日复一日的拔出，很累且效率很低。


技术实现要素：

4.本发明提供了一种基于视觉识别和运动控制的智能除草方法、装置和设备，以解决现有技术中人工除草导致效率低和人工成本高的技术问题，实现了简单快捷地进行自动化除草，提高了除草效率以及降低了人工成本。
5.根据本发明的一方面，提供了一种基于视觉识别和运动控制的智能除草方法，包括：
6.通过视觉识别算法识别目标除草机所对应实际覆盖总区域内其中一个待除草子区域内的全部杂草坐标位置；其中，所述待除草子区域为目标除草机单次所覆盖的区域；
7.控制机械手对所述全部杂草坐标位置对应的杂草进行清除，并在清除完成后生成对应的清除完成信号；
8.将清除完成信号传输至视觉识别系统，以使所述视觉识别系统对所述待除草子区域进行二次识别，生成对应的清除完成确认信号；
9.响应于所述清除完成确认信号，控制目标除草机移动至下一个待除草子区域，并返回通过视觉识别算法识别目标除草机所对应实际覆盖总区域内其中一个待除草子区域内的全部杂草坐标位置的步骤，直至完成待除草总区域内杂草的清除。
10.根据本发明的另一方面，提供了一种基于视觉识别和运动控制的智能除草装置，包括：
11.第一识别模块，用于通过视觉识别算法识别目标除草机所对应实际覆盖总区域内其中一个待除草子区域内的全部杂草坐标位置；
12.控制模块，用于控制机械手对所述全部杂草坐标位置对应的杂草进行清除，并在清除完成后生成对应的清除完成信号；
13.第二识别模块，用于将清除完成信号传输至视觉识别系统，以使所述视觉识别系统对所述待除草子区域进行二次识别，生成对应的清除完成确认信号；
14.执行模块，用于响应于所述清除完成确认信号，控制目标除草机移动至下一个待除草子区域，并返回通过视觉识别算法识别实际覆盖总区域内其中一个待除草子区域内的全部杂草坐标位置的步骤，直至完成待除草总区域内杂草的清除。
15.根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：
16.至少一个处理器；以及
17.与所述至少一个处理器通信连接的存储器；其中，
18.所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的基于视觉识别和运动控制的智能除草方法。
19.根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的基于视觉识别和运动控制的智能除草方法。
20.本发明实施例的技术方案，通过视觉识别算法识别实际覆盖总区域内其中一个待除草子区域内的全部杂草坐标位置；并根据全部杂草坐标位置控制机械手对待除草子区域内的杂草进行清除，并在完成该待除草子区域内杂草的清除之后，将清除完成信号传输至视觉识别系统，以使视觉识别系统对待除草子区域进行二次识别，生成对应的清除完成确认信号，并控制目标除草机移动至下一个待除草子区域，并进行杂草清除工作，直至完成待除草总区域内杂草的清除工作，解决现有技术中人工进行除草所导致的效率低和人工成本高的技术问题，实现了简单快捷地进行自动化除草，提高了除草效率以及降低了人工成本。
21.应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
22.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
23.图1为本发明实施例提供的一种基于视觉识别和运动控制的智能除草方法的流程图；
24.图2为本发明实施例提供的一种除草机的结构示意图；
25.图3为本发明实施例提供的另一种基于视觉识别和运动控制的智能除草方法的流程图；
26.图4为本发明实施例提供的又一种基于视觉识别和运动控制的智能除草方法的流程图；
27.图5为本发明实施例提供的一种实际覆盖总区域的显示示意图；
28.图6为本发明实施例提供的另一种实际覆盖总区域的显示示意图；
29.图7为本发明实施例提供的又一种实际覆盖总区域的显示示意图；
30.图8为本发明实施例提供的一种基于视觉识别和运动控制的智能除草装置的结构示意图；
31.图9为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
32.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
33.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“原始”、“目标”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
34.在一实施例中，图1为本发明实施例提供的一种基于视觉识别和运动控制的智能除草方法的流程图，本实施例可适用于自动进行除草的情况，该方法可以由基于视觉识别和运动控制的智能除草装置来执行，该自基于视觉识别和运动控制的智能除草装置可以采用硬件和/或软件的形式实现，该自基于视觉识别和运动控制的智能除草装置可配置于除草机中的电子设备。在实施例中，图2为本发明实施例提供的一种除草机的结构示意图，如图2所示，本实施例中的除草机包括：控制器210、机械手220、摄像头230和无人机240。其中，摄像头230用于对除草机当前所处位置对应的除草区域进行拍照；机械手220用于根据控制指令对待除草子区域进行除草；无人机240用于根据控制指令对待除草总区域进行图像拍摄；控制器210用于向摄像头230、机械手220和无人机240发送控制指令。其中，摄像头230与视觉识别系统相对应。可以理解为，摄像头230为硬件设备，而视觉识别系统为软件系统。
35.如图1所示，该方法包括：
36.s110、通过视觉识别算法识别目标除草机所对应实际覆盖总区域内其中一个待除草子区域内的全部杂草坐标位置。
37.其中，待除草子区域为目标除草机单次所覆盖的区域。在实施例中，待除草总区域可以理解为实际需要进行除草的区域；实际覆盖总区域指的是目标除草机在对待除草总区域内的杂草进行清除过程中所需要覆盖的区域。可以理解为，实际覆盖总区域至少包含待除草总区域，即实际覆盖总区域的占用面积大于或等于待除草总区域的占用面积。可以理解为，实际覆盖总区域是为了保证目标除草机能实现对待除草总区域的全面覆盖。
38.其中，待除草子区域指的是目标除草机单次所覆盖的区域。可以理解为，目标除草机中机械手的长度是有限的，在实际除草操作过程中，在目标除草机不移动的情况下，机械手所能触到的区域作为一个待除草子区域。在实施例中，实际覆盖总区域的占用面积与一个待除草子区域的占用面积的比值，为一个正整数。示例性地，假设目标除草机单次所覆盖区域为2m*2m，则待除草子区域的占用面积为4m2。需要说明的是，实际覆盖总区域的占用面积与待除草子区域的占用面积之间的比值为正整数，即实际覆盖总区域包括多个待除草子
区域，则确定目标除草机进行除草的第一个待除草子区域，并控制目标除草机移动至第一个待除草子区域所对应的位置，以通过视觉识别算法识别出该第一个待除草子区域内全部杂草的坐标位置。
39.在实施例中，可以通过目标除草机中的摄像头对第一个待除草子区域进行拍照，并通过视觉识别算法识别出该待除草子区域内的植物区域，以及每个植物的坐标位置；然后通过预先存储的药材特征对植物区域进行筛选，即可得到待除草子区域内的杂草坐标位置。
40.s120、控制机械手对全部杂草坐标位置对应的杂草进行清除，并在清除完成后生成对应的清除完成信号。
41.其中，清除完成信号用于表征机械手已完成该待除草子区域内所有杂草的清除工作。在实施例中，在识别出实际覆盖总区域内其中一个待除草子区域内全部杂草的坐标位置之后，通过控制器向目标除草机中的机械手发送控制指令，以使根据控制指令控制机械手移动至杂草所处位置，并对该位置的杂草进行清除，直至完成该待除草子区域内所有杂草的清除，以生成对应的清除完成信号。
42.s130、将清除完成信号传输至视觉识别系统，以使视觉识别系统对待除草子区域进行二次识别，生成对应的清除完成确认信号。
43.在接收到机械手发送的清除完成信号之后，将清除完成信号发送至视觉识别系统。视觉识别系统响应于该清除完成信号，则对该待除草子区域进行二次识别，以确认清除完成信号的准确性，若确认已清除完成，则生成对应的清除完成确认信号。
44.s140、响应于清除完成确认信号，控制目标除草机移动至下一个待除草子区域，并返回通过视觉识别算法识别目标除草机所对应实际覆盖总区域内其中一个待除草子区域内的杂草坐标位置的步骤，直至完成待除草总区域内杂草的清除。
45.在实施例中，在目标除草机完成该第一个待除草子区域内全部杂草的清除任务，移动至第二个待除草子区域，并通过视觉识别算法识别该第二个待除草子区域内全部杂草的坐标位置，并控制机械手对杂草执行清除操作，依次类推，直至完成待除草总区域内所有杂草的清除为止。
46.本实施例的技术方案，通过视觉识别算法识别实际覆盖总区域内其中一个待除草子区域内的全部杂草坐标位置；并根据全部杂草坐标位置控制机械手对待除草子区域内的杂草进行清除，并在完成该待除草子区域内杂草的清除之后，将清除完成信号传输至视觉识别系统，以使视觉识别系统对待除草子区域进行二次识别，生成对应的清除完成确认信号，并控制目标除草机移动至下一个待除草子区域，并进行杂草清除工作，直至完成待除草总区域内杂草的清除工作，解决现有技术中人工进行除草所导致的效率低和人工成本高的技术问题，实现了简单快捷地进行自动化除草，提高了除草效率以及降低了人工成本。
47.在一实施例中，图3为本发明实施例提供的另一种基于视觉识别和运动控制的智能除草方法的流程图，本实施例是在上述实施例的基础上，对待除草总区域中的每个顶点位置坐标和形状类型的确定过程进行说明。如图3所示，本实施例中的基于视觉识别和运动控制的智能除草方法包括如下步骤：
48.s310、根据预先获取的区域总面积、区域形状和相机拍摄角度确定相机拍摄高度，以使相机按照相机拍摄高度和相机拍摄角度对待除草总区域进行拍摄，得到对应的拍摄图
像。
49.在实际操作过程中，自动除草机可以在接收到开机指令之后，开始进行除草工作。其中，开机指令指的是用于触发目标除草机执行开机以及初始化操作的指令。可以理解为，开机指令用于启动目标除草机的本体，对目标除草机中的控制器进行初始化，以及对目标除草机中的机械手执行复位操作。其中，机械手的复位操作，指的是将机械手在目标除草机的位置恢复到初始位置。示例性地，假设机械手的初始位置为目标除草机的左下角位置，并且，机械手的当前位置在目标除草机的中间位置，则在接收到开机指令时，自动控制机械手从中间位置移动至左下角位置。当然，机械手的初始位置可根据实际情况进行设定，对此并不进行限定。
50.需要说明的是，待除草总区域的区域形状只是用于表征待除草总区域所对应的边数量，并无法准备表征待除草总区域的具体轮廓。在实施例中，区域形状与待除草总区域的顶点位置坐标有关。示例性地，在顶点位置坐标为三个的情况下，待除草区域的区域形状类型为三角形；在顶点位置坐标为四个的情况下，待除草区域的形状类型为四边形；在顶点位置坐标为五个的情况下，待除草区域的形状类型为五边形，依次类推。在实施例中，区域总面积指的是待除草总区域所占用的面积大小。
51.在实施例中，可以根据预先获取的区域总面积和区域形状确定最大对角线长度；根据最大对角线长度和相机拍摄角度确定相机拍摄高度；向无人机发送拍摄指令，以使无人机中的相机按照相机拍摄高度和相机拍摄角度对待除草总区域进行拍摄，得到对应的拍摄图像；其中，拍摄指令中携带相机拍摄高度和相机拍摄角度。可以理解为，最大对角线长度用于确定目标除草机中无人机内相机所需要对焦的最大长度；根据最大对角线长度和相机拍摄角度调整相机拍摄高度，以使相机尽可能覆盖整个待除草总区域，然后控制器向无人机发送携带相机拍摄高度和相机拍摄角度的拍摄指令，以使无人机在接收到拍摄指令时，根据相机拍摄高度和相机拍摄角度调整自身的目标飞行姿态和飞行目的位置，在达到飞行目的位置之后，对待除草总区域进行拍摄，得到对应的拍摄图像。
52.s320、根据拍摄图像中的区域轮廓和区域形状确定待除草总区域的拍摄完整性。
53.其中，区域轮廓指的拍摄图像中待除草总区域的轮廓。可以理解为，区域轮廓用于具体表征待除草总区域的形状构造。比如，区域轮廓可以为矩形，也可以为梯形，也可以为三角形等。拍摄完整性用于表征拍摄图像是否完全包含待除草总区域。在实施例中，将区域轮廓和区域形状进行比对，即可确定拍摄图像是否完全包含待除草总区域。
54.s330、在拍摄完整性为区域拍摄完整的情况下，根据相机拍摄高度和相机拍摄角度确定拍摄图像比例。
55.在实施例中，在拍摄完整性为区域拍摄完整的情况下，即拍摄图像完全包含待除草总区域，根据相机拍摄高度和相机拍摄角度即可确定拍摄图像与实际地理位置之间的比例。示例性地，假设拍摄图像比例为1:10,则在拍摄图像中待除草总区域的尺寸为45*45，则待除草总区域的尺寸为450*450。
56.s340、根据拍摄图像比例和区域轮廓确定待除草总区域中的每个顶点位置坐标和形状类型。
57.在实施例中，为了便于确定每个顶点位置坐标，可以以拍摄图像中的某一个点作为原点，构建一个坐标系，以确定拍摄图像中待除草总区域的各个顶点位置坐标。示例性
地，可以根据拍摄图像中待除草总区域的一个顶点作为原点构建坐标系；然后根据待除草总区域在拍摄图像中的位置，以及拍摄图像比例确定待除草总区域中每个顶点的实际地理位置，以及根据区域轮廓和每个顶点位置坐标可以准确地确定出待除草总区域的形状类型。当然，也可以直接建立一个坐标系，然后直接将待除草总区域对应的拍摄图像放在坐标系中，并确定待除草总区域对应的每个顶点位置坐标。当然，对此并不进行限定，可根据实际情况进行设定。
58.s350、根据预先确定的待除草总区域的顶点位置坐标和形状类型，以及待除草子区域所占面积确定实际覆盖总区域。
59.需要说明的是，至少由三个顶点位置才可构建一个区域，即待除草区域至少包含三个顶点位置坐标。在实际操作过程中，待除草总区域的形状类型与待除草总区域内的每个顶点位置坐标有关。示例性地，待除草总区域的形状类型可以包括：规则形状和非规则形状。其中，规则形状指的是无需对待除草总区域执行补全操作的形状；非规则形状指的是需要对待除草总区域执行补全操作的形状。
60.在目标除草机接收到开机指令之后，启动目标除草机的本体，对目标除草机中的控制器进行初始化，以及对目标除草机中的机械手执行复位操作；然后，获取待除草总区域的顶点位置坐标和形状类型，以及一个待除草子区域所占面积，并根据待除草总区域的顶点位置坐标和形状类型确定是否需要对待除草总区域执行补全操作，若需要执行补全操作，则对待除草总区域执行补全操作，以得到规则形状的区域；然后确定补全得到的规则形状的区域所占面积与一个待除草子区域所占面积之间的比值是否为整数，若为非整数，则对补全得到的规则形状进行再次补全，以能够完全整除一个待除草子区域所占用面积，并将可以整除一个待除草子区域所占用面积的区域作为实际覆盖总区域。
61.s360、通过视觉识别算法识别目标除草机所对应实际覆盖总区域内其中一个待除草子区域内的全部杂草坐标位置。
62.s370、控制机械手对全部杂草坐标位置对应的杂草进行清除，并在清除完成后生成对应的清除完成信号。
63.s380、将清除完成信号传输至视觉识别系统，以使视觉识别系统对待除草子区域进行二次识别，生成对应的清除完成确认信号。
64.s390、响应于清除完成确认信号，控制目标除草机移动至下一个待除草子区域，并返回通过视觉识别算法识别目标除草机所对应实际覆盖总区域内其中一个待除草子区域内的杂草坐标位置的步骤，直至完成待除草总区域内杂草的清除。
65.本实施例的技术方案，在上述实施例的基础上，通过向目标除草机中的无人机发送携带相机拍摄高度和相机拍摄角度的拍摄指令，以使无人机中的相机对待除草总区域进行拍摄，得到对应的拍摄图像，并根据拍摄图像比例和区域轮廓确定待除草总区域中的每个顶点位置坐标和形状类型，保证了对待除草总区域的形状类型和顶点位置坐标进行获取的准确性，进而保证了后续控制目标除草机对待除草子区域进行自动除草的有效性。
66.在一实施例中，图4为本发明实施例提供的又一种基于视觉识别和运动控制的智能除草方法的流程图，本实施例是在上述实施例的基础上，对实际覆盖总区域的确定过程、实际覆盖总区域内全部杂草坐标位置的识别过程，以及采用目标除草机对实际覆盖总区域内杂草进行自动清除过程进行进一步地细化说明。如图4所示，该方法包括：
67.s410、根据预先确定的待除草总区域的顶点位置坐标和形状类型，以及待除草子区域所占面积确定实际覆盖总区域。
68.在一实施例中，在待除草总区域的形状类型为非规则形状的情况下，s410包括：识别并提取待除草总区域的最近点坐标和最远点坐标；根据最近点坐标和最远点坐标确定目标覆盖总区域；根据目标覆盖总区域和待除草子区域所占面积确定实际覆盖总区域。其中，最近点坐标指的是与坐标系中原点离的最近的一个点的坐标；最远点坐标指的是与坐标系中原点离的最远的一个点的坐标。图5为本发明实施例提供的一种实际覆盖总区域的显示示意图。如图5所示，建立一个坐标系，并将待除草总区域对应的拍摄图像放在该坐标系中；然后提取该拍摄图像中待除草总区域对应的每个顶点位置坐标；按照每个顶点位置坐标得到一个以原点为参照的最近点坐标和最远点坐标。示例性地，如图5所示，待除草总区域(即采用线条1组成的区域)的左下顶点位置坐标为(1，1)、左上顶点位置坐标为(1.5，4.5)、右下顶点位置坐标为(8，1)、右上顶点位置坐标为(7.8，5)，那么根据这四个点可以确定一个最近点坐标(1，1)，一个最远点坐标(8，5)；以最近点和最远点坐标为基础画一个矩形即可完成补全，得到如图5所示的目标覆盖总区域(即采用线条2组成的区域)；然后以目标覆盖总区域为基准进行覆盖寻路，并根据目标覆盖总区域的占用面积与一个待除草子区域(即采用线条3组成的一个区域)的占用面积之间的比值确定是否再次对目标覆盖总区域进行补全，若目标覆盖总区域的占用面积与待除草子区域的占用面积之间的比值为正整数，则目标覆盖总区域即为实际覆盖总区域，以完成对整个待除草总区域的完全全部覆盖。
69.图6为本发明实施例提供的另一种实际覆盖总区域的显示示意图。图6是在图5的基础上对目标覆盖总区域和实际覆盖总区域的关系做进一步的说明，在图5所示的基础上，若目标覆盖总区域的占用面积与待除草子区域的占用面积之间的比值为非正整数，则再次对目标覆盖总区域进行补全，以得到实际覆盖总区域。如图6所示，每次使目标除草机覆盖图6所示的一个待除草子区域所对应的区域，然后将该目标覆盖总区域持续推进以覆盖整个待除草总区域。比如，目标除草机的行进方向可以为以y轴方向覆盖，向x轴方向推进。首先，确定目标覆盖总区域的y轴长度与待除草子区域的y轴长度之间的比值，以确定每次在y轴方向所需行进的次数，即目标覆盖总区域的y轴长度与待除草子区域的y轴长度之间的比值为正整数，则该比值为行进次数；若该比值不为正整数，则该比值加一的数值为行进次数，如图5所示，目标覆盖总区域的y轴长度与待除草子区域的y轴长度之间的比值不为正整数，则目标除草机在y轴的行进次数为6次。在完成一次y轴方向的覆盖之后，按照设定的x周方向继续推进，比如，如图6所示的箭头方向，以完成待除草总区域的完全覆盖。
70.一般来说，待除草总区域均为四边形或少部分存在三边性或者五边形，上述实施例可只针对大部分形状(四边形)的待除草区域进行寻路算法开发。
71.在一实施例中，在待除草总区域的形状类型为非规则形状的情况下，s410包括：识别并提取待除草总区域中至少一条目标边上的至少一个关键点坐标；根据关键点坐标、待除草总区域的顶点位置坐标和待除草子区域所占面积确定实际覆盖总区域。其中，关键点坐标指的是一个待除草子区域与待除草总区域内其中一条边之间的交点坐标。图7为本发明实施例提供的又一种实际覆盖总区域的显示示意图。如图7所示，待除草总区域的区域形状为三角形，则以每一行中第一个待除草子区域与待除草总区域内其中一条边之间的交点作为关键点。假设目标除草机以a点作为起点，则a点、b点、c点和d点均为关键点，并获取每
个关键点的坐标，并根据关键点坐标、顶点位置坐标和待除草子区域所占面积形成一个实际覆盖总区域。如图7所示，由14个待除草子区域所组成的作为实际覆盖总区域，以完成对待除草总区域的完全覆盖。
72.需要说明的是，在待除草总区域为三角形的情况下，直接采用图7所示的确定实际覆盖总区域的实现方式，并非采用图5所示的确定实际覆盖总区域的实现方式，实现了在保证待除草总区域的完全覆盖的基础上，避免了目标除草机的无用区域的行驶和覆盖。
73.s420、获取目标除草机所对应实际覆盖总区域内其中一个待除草子区域内的原始植物图像。
74.其中，原始植物图像指的是其中一个待除草子区域内所包含的所有植物的原始拍摄图像。需要说明的是，在目标除草机移动，并固定至其中一个待除草子区域之后，识别该待除草子区域内的所有植物，并不需要辨别植物种类，只需要区分植物区域和非植物区域。可以理解为，通过目标除草机中的摄像头拍摄该待除草子区域，并使用简单的灰度对比分析算法和经典的贝叶斯抠图算法区分植物区域和非植物区域，并将非植物区域对应的图像进行分割筛选，以得到待除草子区域内的所有植物图像。
75.s430、采用视觉识别算法对原始植物图像进行处理，以识别待除草子区域内所有植物坐标位置。
76.在一实施例中，s430包括：采用视觉识别算法对目标除草子区域内的原始植物图像进行去畸变和归一化平面处理，得到对应的目标植物图像；采用像素坐标比例算法对目标植物图像进行分析，确定所有植物坐标位置。在实施例中，对原始植物图像进行单株分割之后，使用视觉识别算法对原始植物图像进行去畸变和归一化平面处理，并通过植物在拍摄图像中的坐标，以及拍摄图像比例确定植物在实际地理中的坐标位置。
77.在实施例中，为了实现对植物的准备识别，可以采用更高准确度的识别算法。传统的植物识别算法，需要人工提取植物的根茎叶特征录入，人力消耗大且由于参考特征少识别准确性会很低。近年来，卷积神经网络深度学习算法高速发展，可以自动提取图像特征且无需人工干预，克服了传统植物叶片识别依靠人工提取特征的缺陷。
78.需要说明的是，视觉识别算法的每部分基础功能要求都相对简单，如果使用已有的开源库，会浪费大部分设备性能和是增加识别时间，则可以选择自主开发专用算法。
79.并且，对于识别的准确性要求较高的情况，若单独开发识别算法的时间成本和人力成本过高，可以直接使用主流视觉识别库实现，将主流视觉识别库的优略势进行收集对比择优使用。
80.s440、按照预先存储的药材特征对所有植物坐标位置进行筛选，得到全部杂草坐标位置。
81.在实施例中，在确定所有植物的坐标位置之后，将所有植物的坐标位置和特征数据存储在目标缓存位置中，以便于后续调用；然后将目标缓存位置中的所有药材特征与待除草子区域内的所有植物进行对比，以将符合药材特征的植物的坐标位置数据删除，即可得到该待除草子区域内所有杂草的坐标位置。
82.s450、根据全部杂草坐标位置和首个杂草坐标位置确定机械手的最优运动路线。
83.其中，首个杂草坐标位置指的是待除草子区域内需要清除的第一个杂草的坐标位置。在实施例中，根据全部杂草坐标位置规划机械手的运动轨迹，以确定机械手在该待除草
子区域内的最优运动路线。其中，最优运动路线可以理解为，在完成该待除草子区域内所有杂草所需要行驶的最短距离。
84.s460、按照最优运动路线控制机械手对待除草子区域内的杂草进行清除。
85.在实施例中，根据最优运动路线驱动目标除草机中的机械手依次对待除草子区域内的杂草进行清除，直至完成该待除草子区域内的所有杂草的清除工作。
86.s470、将清除完成信号传输至视觉识别系统，以使视觉识别系统对待除草子区域进行二次识别，生成对应的清除完成确认信号。
87.s480、响应于清除完成确认信号，控制目标除草机移动至下一个待除草子区域，并返回通过视觉识别算法识别目标除草机所对应实际覆盖总区域内其中一个待除草子区域内的杂草坐标位置的步骤，直至完成待除草总区域内杂草的清除。
88.本实施例的技术方案，在上述实施例的基础上，通过在待除草总区域为非规则形状的情况下，根据待除草总区域的区域形状确定实际覆盖总区域的实现方式，并采用该实现方式确定对应的实际覆盖总区域，从而实现了根据待除草总区域的区域形状和形状类型选择确定实际覆盖总区域最合适的实现方式，避免目标除草机在无用区域上进行行驶，提高了目标除草机的除草效率，以及间接地延长了目标除草机的使用寿命。
89.在一实施例中，图8为本发明实施例提供的一种基于视觉识别和运动控制的智能除草装置的结构示意图。如图8所示，该装置包括：第一识别模块810、控制模块820、第二识别模块830和执行模块840。
90.其中，第一识别模块810，用于通过视觉识别算法识别目标除草机所对应实际覆盖总区域内其中一个待除草子区域内的全部杂草坐标位置；
91.控制模块820，用于控制机械手对所述全部杂草坐标位置对应的杂草进行清除，并在清除完成后生成对应的清除完成信号；
92.第二识别模块830，用于将清除完成信号传输至视觉识别系统，以使所述视觉识别系统对所述待除草子区域进行二次识别，生成对应的清除完成确认信号；
93.执行模块840，用于响应于所述清除完成确认信号，控制目标除草机移动至下一个待除草子区域，并返回通过视觉识别算法识别实际覆盖总区域内其中一个待除草子区域内的全部杂草坐标位置的步骤，直至完成待除草总区域内杂草的清除。
94.在一实施例中，在所述通过视觉识别算法识别目标除草机所对应实际覆盖总区域内其中一个待除草子区域内的全部杂草坐标位置之前，基于视觉识别和运动控制的智能除草装置，还包括：
95.第一确定模块，用于根据预先确定的待除草总区域的顶点位置坐标和形状类型，以及待除草子区域所占面积确定实际覆盖总区域。
96.在一实施例中，在根据预先确定的待除草总区域的顶点位置坐标和形状类型，以及待除草子区域所占面积确定实际覆盖总区域之前，基于视觉识别和运动控制的智能除草装置，还包括：
97.第二确定模块，用于根据预先获取的区域总面积、区域形状和相机拍摄角度确定相机拍摄高度，以使相机按照相机拍摄高度和相机拍摄角度对待除草总区域进行拍摄，得到对应的拍摄图像；
98.第三确定模块，用于根据拍摄图像中的区域轮廓和区域形状确定待除草总区域的
拍摄完整性；
99.第四确定模块，用于在拍摄完整性为区域拍摄完整的情况下，根据相机拍摄高度和相机拍摄角度确定拍摄图像比例；
100.第五确定模块，用于根据拍摄图像比例和区域轮廓确定待除草总区域中的每个顶点位置坐标和形状类型。
101.在一实施例中，在待除草总区域的形状类型为非规则形状的情况下，第一确定模块，包括：
102.第一识别提取单元，用于识别并提取待除草总区域的最近点坐标和最远点坐标；
103.第一确定单元，用于根据最近点坐标和最远点坐标确定目标覆盖总区域；
104.第二确定单元，用于根据目标覆盖总区域和待除草子区域所占面积确定实际覆盖总区域。
105.在一实施例中，在待除草总区域的形状类型为非规则形状的情况下，第一确定模块，包括：
106.第二识别提取单元，用于识别并提取待除草总区域中至少一条目标边上的至少一个关键点坐标；
107.三确定单元，用于根据关键点坐标、待除草总区域的顶点位置坐标和待除草子区域所占面积确定实际覆盖总区域。
108.在一实施例中，第一识别模块810，包括：
109.获取单元，用于获取目标除草机所对应实际覆盖总区域内其中一个待除草子区域内的原始植物图像；
110.识别单元，用于采用视觉识别算法对原始植物图像进行处理，以识别待除草子区域内所有植物坐标位置；
111.筛选单元，用于按照预先存储的药材特征对所有植物坐标位置进行筛选，得到全部杂草坐标位置。
112.在一实施例中，识别单元，包括：
113.处理子单元，用于采用视觉识别算法对待除草子区域内的原始植物图像进行去畸变和归一化平面处理，得到对应的目标植物图像；
114.分析子单元，用于采用像素坐标比例算法对目标植物图像进行分析，确定所有植物坐标位置。
115.在一实施例中，控制模块820，包括：
116.第四确定单元，用于根据全部杂草坐标位置和首个杂草坐标位置确定机械手的最优运动路线；
117.控制单元，用于按照最优运动路线控制机械手对待除草子区域内的杂草进行清除。
118.本发明实施例所提供的基于视觉识别和运动控制的智能除草装置可执行本发明任意实施例所提供的基于视觉识别和运动控制的智能除草方法，具备执行方法相应的功能模块和有益效果。
119.在一实施例中，图9为本发明实施例提供的一种电子设备的结构示意图。如图9所示，示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示
各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
120.如图9所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(rom)12、随机访问存储器(ram)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(rom)12中的计算机程序或者从存储单元18加载到随机访问存储器(ram)13中的计算机程序，来执行各种适当的动作和处理。在ram 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、rom 12以及ram 13通过总线14彼此相连。输入/输出(i/o)接口15也连接至总线14。
121.电子设备10中的多个部件连接至i/o接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
122.处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如基于视觉识别和运动控制的智能除草方法。
123.在一些实施例中，基于视觉识别和运动控制的智能除草方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由rom 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到ram 13并由处理器11执行时，可以执行上文描述的基于视觉识别和运动控制的智能除草方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行基于视觉识别和运动控制的智能除草方法，包括：通过视觉识别算法识别目标除草机所对应实际覆盖总区域内其中一个待除草子区域内的全部杂草坐标位置；其中，待除草子区域为目标除草机单次所覆盖的区域；控制机械手对全部杂草坐标位置对应的杂草进行清除，并在清除完成后生成对应的清除完成信号；将清除完成信号传输至视觉识别系统，以使视觉识别系统对待除草子区域进行二次识别，生成对应的清除完成确认信号；响应于清除完成确认信号，控制目标除草机移动至下一个待除草子区域，并返回通过视觉识别算法识别目标除草机所对应实际覆盖总区域内其中一个待除草子区域内的全部杂草坐标位置的步骤，直至完成待除草总区域内杂草的清除。
124.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器
可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
125.用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
126.在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
127.为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
128.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)、区块链网络和互联网。
129.计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务中，存在的管理难度大，业务扩展性弱的缺陷。
130.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
131.上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明
的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。