一种虚拟远程水果采摘系统及方法

1.本发明属于水果采摘技术领域，涉及一种虚拟远程水果采摘系统及方法。


背景技术：

2.水果采摘不仅仅是农业生产非常重要的一部分，同时也是人们休闲娱乐的一种方式。随着科技的发展，利用科技手段对现实世界进行虚拟化可以对我们的农业生产和用户体验带来巨大的改变。传统的水果采摘需要人们在果园中采摘，劳动量大，人工成本高，即使是同一种水果在成熟时间上会存在差异，采用传统的水果采摘方式不但费时费力，同时难以保证水果品质在比较好的时候被采摘。
3.发明专利“水果采摘系统”(公开号为cn109526396a)，其采摘方式主要通过振动的方式对水果进行采摘，虽然提高了水果采摘的效率，但是对水果品质鉴定以及水果保护方面做得不够好；发明专利“基于虚拟机器人与真实机器人集成的采摘系统及方法”(授权号为cn104067781b)，其利用虚拟技术与真实机器人结合对水果实现采摘，可以准确的定位水果进行采摘，提高水果采摘效率，但是对水果品质鉴定不足，并且无法适用于远距离，大数据的水果采摘。
4.总体上，现有的水果采摘系统没有对水果质量进行鉴定，同时对水果的保护不够，无法针对不同用户个体需求采摘水果，无法带给用户足够的水果采摘体验感短板。


技术实现要素：

5.有鉴于此，本发明的目的在于提供一种虚拟远程水果采摘系统及方法。
6.为达到上述目的，本发明提供如下技术方案：
7.一方面，本发明提供一种虚拟远程水果采摘系统，包括前端水果采摘装置，后端虚拟交互设备和云平台服务器；
8.所述前端水果采摘装置用于采集并识别水果图像，上传至云平台服务器，并执行云平台服务器的水果采摘命令，还用于对采摘的水果进行品质判断和编号计数；
9.所述后端虚拟交互设备用于模拟前端水果采摘装置所处的环境空间，在虚拟空间中实时展示当前的前端水果采摘装置状态信息、其周围的环境和水果的信息以及采摘下来的水果信息；
10.所述云平台服务器用于对前端水果采摘装置和后端虚拟交互设备交互的信息进行管理、转发和存储。
11.进一步，所述前端水果采摘装置包括底座、设置在所述底座上的摄像头支架、ai嵌入式设备、机械臂底座旋转关节和无线通信设备，在所述机械臂底座旋转关节上通过机械臂转动轴铰接有机械臂，所述机械臂包括机械臂第一连杆、机械臂第二连杆、机械臂第三连杆、机械臂第四连杆、机械臂第五连杆、机械臂第六连杆；所述机械臂第一连杆、机械臂第二连杆、机械臂第三连杆依次铰接；所述机械臂第四连杆、机械臂第五连杆、机械臂第六连杆依次铰接；所述机械臂第三连杆与机械臂第四连杆之间通过机械臂旋转关节旋转连接；所
述机械臂第六连杆还铰接有末端抓手连杆，所述末端抓手连杆通过末端抓手旋转关节连接有末端抓手手指，所述末端抓手手指上设有柔性力传感器；所述摄像头支架上设有双目摄像头，其朝向机械臂末端抓手手指方向；在底座下方还设有转动轮；所述ai嵌入式设备与所述双目摄像头、机械臂底座旋转关节、机械臂、无线通信设备电性连接。
12.进一步，所述前端水果采摘装置使用双目摄像头对水果图像信息实时采集，送入部署有深度学习模型的ai嵌入式设备进行处理，获取目标水果的空间位置信息以及外观特征信息；所述ai嵌入式设备使用无线通信设备将双目摄像头参数信息，双目摄像头采集的图像信息，获取到的目标水果的空间位置信息以及外观特征信息，机械臂状态信息发送到云平台服务器；所述ai嵌入式设备根据云平台的水果采摘命令，控制机械臂对目标水果进行采摘；所述前端水果采摘装置使用机械臂末端的柔性力传感器构建受力模型，对力反馈信息进行解耦，计算目标水果的重量；所述ai嵌入式设备根据采摘水果的外观信息和柔性力传感器的反馈对水果品质做出综合判断，再根据当前时间对水果编号和计数，然后控制机械臂把水果放置在相应品质的水果存储箱内；所述ai嵌入式设备将水果的外观信息、重量、品质等级、编号、数量以及水果采摘完成信号通过无线网络上传到云平台服务器。
13.进一步，所述ai嵌入式设备所述的深度学习模型为引入坐标注意力机制的yolov4神经网络，通过将空间注意力分解为两个沿着不同方向聚合特征的1d特征编码，在识别水果的图像中沿着x(y)空间方向捕获长程依赖的时候能够沿着y(x)空间方向保留精确的位置信息，使得在识别水果的同时能够更加准确的获取水果位置信息。
14.进一步，所述后端虚拟交互设备包括虚拟环境构建模块，用户控制模块，数据分析模块以及无线通信模块；所述的无线通信模块用于后端虚拟交互设备与云平台的信息交互；所述数据分析模块用于将从云平台服务器接收的数据进行分类并存储，将接收到的环境图像信息和机械臂自身状态信息进行信息融合，过滤掉图像信息中机械臂无法到达的位置所对应的图像信息，融合后的信息用于构建虚拟空间环境；所述虚拟环境构建模块用于构建虚拟空间环境，所述虚拟空间幻境中只包括前端水果采摘装置双目摄像头采集到的图像形成的空间中机械臂能够到达的空间；所述用户控制模块用于获取用户在虚拟空间中的操作信息，通过对用户操作信息的采集计算用户希望采摘的水果的信息并通过无线通信模块发送到云平台服务器；所述虚拟空间环境构建模块还通过无线通信模块从云平台服务器获取目标水果采摘完成的信号，然后从云平台服务器获取已经采摘的水果信息并显示在虚拟空间环境中。
15.另一方面，本发明提供一种虚拟远程水果采摘方法，包括以下步骤：
16.s1：ai嵌入式设备实时接收来自双目摄像头的图像信息，将图像采集模块的图像信息进行预处理后，利用深度学习网络模型实时推理计算获取图像中所有水果的外观信息和空间信息；
17.s2：ai嵌入式设备通过无线通信设备将图像采集模块的原始图像信息、摄像头参数以及机械臂状态信息分别以不同的帧头帧尾发送到云平台服务器，云平台服务器接收到信息后对信息进行存储，分类和转发；
18.s3：后端虚拟交互设备从云平台服务器获取原始图像信息和机械臂状态信息后，进行信息融合，根据融合后的信息构建虚拟空间；
19.s4：后端虚拟交互设备根据用户的操作获取到相应的操作信息，利用获取的操作
信息确定用户需要采摘的目标水果的信息，通过无线通信模块发送到云平台服务器，云平台服务器接收后将信息存储，分类和转发；
20.s5：ai嵌入式设备根据从云平台服务器接收的水果采摘信息控制机械臂对水果进行采摘；
21.s6：ai嵌入式设备使用机械臂末端的柔性力传感器构建受力模型，对力反馈信息进行解耦，计算目标水果的重量；
22.s7：ai嵌入式设备综合所有传感器采集的目标水果信息综合判断水果品质，对水果进行计数和编号后控制机械臂将水果放在对应的水果存储箱；
23.s8：ai嵌入式设备采摘的水果信息和采摘后的环境信息发送到云平台服务器；
24.s9：云平台服务器将更新后采摘的水果信息和环境信息同步到后端虚拟交互设备，从而更新虚拟环境信息，将采摘的水果信息显示到虚拟空间中。
25.进一步，步骤s1中，所述的ai嵌入式使用引入注意力机制的yolov4网络推理计算水果信息，首先需要将双目摄像头获取的两幅图片融合拼接成为一幅图片，将图片预处理为模型输入的数据格式，然后将图片送入训练好的深度学习模型之中进行推理，在进行推理的时候不能改变模型的具体参数，推理结束之后经过处理得到水果的外观信息以及空间信息。
26.进一步，步骤s3中，所述后端虚拟交互设备从云平台服务器接收前端水果采摘装置发送的环境信息后，首先把信息进行解析分类，然后结合双目摄像头参数对原始图像信息进行拼接融合，计算出图像信息所表达3d空间，由于摄像头采集的环境空间存在机械臂无法到达的空间，所以利用机械臂当前的状态信息和原始图像进行信息融合，过滤掉机械臂无法到达的空间对应的原始图像信息，再根据融合后的信息构建虚拟空间。
27.进一步，步骤s5中，所述ai嵌入式设备接收到采摘信息后，首先确定需要采摘的水果的空间信息，然后使用bp神经网络结合动态规划算法寻找所有机械臂路径中的最短路径完成对目标水果的采摘，确定需要采摘水果的空间位置之后，通过旋转机械臂底座旋转关节，使机械臂正对目标水果，控制机械臂的多个连杆将末端抓手手指移动到目标水果下方，移动过程中通过机械臂旋转关节调整末端抓手手指姿态以及躲避路径上的障碍物，收缩末端抓手手指采摘水果。
28.进一步，步骤s6中，通过将末端抓手调整为水平姿态，利用末端抓手手指上的柔性力反馈传感器的信息进行信息解耦计算完成对水果重量的计算。
29.本发明的有益效果在于：
30.本发明利用在yolov4网络的主干网络引入注意力机制能够更加准确的提取目标水果的空间信息；本发明采用虚拟技术作为后端交互设备，使用远程的方式对果园的水果进行采摘，能够极大的增强用户的体验感；本发明利用原始图像信息与机械臂自身状态信息进行信息融合，过滤掉机械臂无法到达空间对应的原始图像信息，极大的减少了虚拟设备构建虚拟空间的无用信息量，提高了构建虚拟空间的效率；本发明使用云平台作为前后端信息交互的中转站，可以增加系统中前后端设备的数量，降低经济成本；本发明在对水果采摘的同时对水果的品质进行鉴定，对水果的重量进行估计，减少了后期水果分类的工作量，简化了水果采摘流程。
31.本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并
且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
32.为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
33.图1为虚拟远程水果采摘系统示意图；
34.图2为前端水果采摘装置结构示意图；
35.图3为虚拟远程水果采摘方法流程图；
36.图4为引入坐标注意力机制的yolov4网络结构图；
37.图5为引入yolov4的坐标注意力模块；
38.图6为路径划分图；
39.图7为bp神经网络路径预测示意图。
40.附图标记：底座22、摄像头支架23、双目摄像头24、ai嵌入式设备25、机械臂底座旋转关节26、机械臂转动轴27、机械臂第一连杆28、机械臂第二连杆29、机械臂第三连杆210、机械臂旋转关节211、机械臂第四连杆212、机械臂第五连杆213、机械臂第六连杆214、末端抓手连杆215、末端抓手旋转关节216、末端抓手手指217。
具体实施方式
41.以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
42.其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
43.本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
44.请参阅图1～图5，本发明提供一种虚拟远程水果采摘系统，其特征在于，所述的虚拟远程水果采摘系统包括前端基于深度学习的水果采摘装置，后端虚拟交互设备，连接前端和后端的云平台服务器；
45.所述的前端基于深度学习的水果采摘装置包括ai嵌入式设备，机械臂，双目摄像头以及无线通信设备，前端水果采摘设备将摄像头采集的图像信息和机械臂自身状态信息通过上传到云平台，同时从云平台接收水果采摘信息，执行水果采摘，完成采摘后将已经采摘的水果信息上传到云平台，包括以下步骤：
46.a1：使用双目摄像头对水果图像信息实时采集，送入部署有深度学习模型的前端ai嵌入式设备进行处理，获取目标水果的空间位置信息以及外观特征信息；具体包括以下步骤：
47.(1)使用双目摄像头获取各种水果的数据集，按照4:1把数据集划分为训练集和测试集；获取的数据集具体包括获取不同角度、不同品质、不同的环境背景下的水果图片；
48.(2)构建引入坐标注意力机制的yolov4神经网络，该网络在yolov4网络的主干网络引入注意力机制，在本实施例中，作为一种优选，采用的yolov4神经网络是cspdraknet53，如图4所示，在cspdraknet53中引入坐标注意力模块ca，提高网络的对目标的空间感知力，具体ca模块如图5所示，通过将空间注意力分解为两个沿着不同方向聚合特征的1d特征编码，在识别水果的图像中沿着x(y)空间方向捕获长程依赖的时候能够沿着y(x)空间方向保留精确的位置信息，使得在识别水果的同时能够更加准确的获取水果位置信息；
49.(3)将步骤(1)的训练数据集送入步骤(2)构建的深度学习网络模型进行训练；
50.(4)将步骤(3)训练好的模型部署到前端ai嵌入式设备；
51.(5)实时获取双目摄像头拍摄的图像，使用步骤(4)部署的深度学习模型对图片信息进行推理，获取图片中水果的外观信息以及空间信息；
52.a2：前端ai嵌入式设备使用无线网络将双目摄像头采集的图像信息，摄像头参数信息，水果采摘机械臂状态信息发送到云平台服务器。
53.a3：前端ai嵌入式设备获取目标水果的位置和大小信息后使用bp神经网络结合动态规划算法寻找机械臂运动的最优路径，实现最短路径采摘水果；
54.a4：机械臂末端柔性抓手抓取目标水果之后，获取柔性抓手的姿态信息，利用柔性抓手的姿态信息和反馈的力建立水果与柔性抓手的受力模型，对不同力反馈信息进行解耦之后，计算出水果的重量；
55.a5：前端ai嵌入式设备根据采摘水果的外观信息和柔性力传感器的反馈对水果品质做出综合判断，再根据当前时间对水果编号和计数，然后机械臂把水果放置在相应品质的水果存储箱内；
56.a6：前端ai设备将水果采摘信号，水果外观信息，重量，品质等级，编号，各品质水果的数量和设备运行状况分别以不同的帧头和帧尾发送到云平台服务器。
57.所述后端虚拟交互设备包括无线通信模块和虚拟场景模拟设备，后端虚拟交互设备使用无线通信模块与云平台进行数据交互，虚拟场景模拟设备将接收到的信息实时的显示到虚拟空间之中，同时获取用户在虚拟空间中需要采集的水果信息发送到云平台，包括以下步骤：
58.b1：后台虚拟交互设备从云平台获取信息，按照不同信息的帧头帧尾不同对信息进行分类，然后根据将机械臂状态信息和图像信息融合，过滤掉图像信息中机械臂无法到达的空间所处图像信息，然后根据融合后的信息模拟出虚拟果园环境空间，该空间的所有
位置都是机械臂能够到达的；
59.b2：后台虚拟交互设备能够获取用户对虚拟空间中的水果的操作信息，将这些操作信息使用无线网络发送到云平台；
60.b3：后台虚拟交互设备在获取目标水果采摘完成的信号后，在虚拟空间之中模拟虚拟界面显示采摘水果的外观信息，重量，品质等级，编号；同时，更新采摘水果之后的虚拟空间；
61.所述连接前端和后端的云平台服务器对前端水果采摘装置和后端虚拟交互设备交互的信息进行管理和存储。
62.在本实施例中，所述前端水果采摘装置包括底座22、设置在所述底座22上的摄像头支架23、ai嵌入式设备25、机械臂底座旋转关节26和无线通信设备，在所述机械臂底座旋转关节26上通过机械臂转动轴27铰接有机械臂，所述机械臂包括机械臂第一连杆28、机械臂第二连杆29、机械臂第三连杆210、机械臂第四连杆212、机械臂第五连杆213、机械臂第六连杆214；所述机械臂第一连杆28、机械臂第二连杆29、机械臂第三连杆210依次铰接；所述机械臂第四连杆212、机械臂第五连杆213、机械臂第六连杆214依次铰接；所述机械臂第三连杆210与机械臂第四连杆212之间通过机械臂旋转关节211旋转连接；所述机械臂第六连杆214还铰接有末端抓手连杆215，所述末端抓手连杆215通过末端抓手旋转关节216连接有末端抓手手指217，所述末端抓手手指217上设有柔性力传感器；所述摄像头支架23上设有双目摄像头24，其朝向机械臂末端抓手手指217方向；在底座下方还设有转动轮21；所述ai嵌入式设备25与所述双目摄像头24、机械臂底座旋转关节26、机械臂、无线通信设备电性连接。
63.在水果采摘的过程中ai嵌入式设备可以通过柔性传感器的力反馈调节末端结构的抓取姿势。云平台可以支持多个前端水果采摘和后端虚拟交互设备，每一个前端水果采摘设备与后端虚拟交互设备一一对应且彼此之前信息交互互不干扰。
64.本发明还提供一种虚拟远程控制水果采摘方法，包含以下顺序步骤：
65.s1:ai嵌入式设备实时接收来图像采集模块的图像信息，将图像采集模块的图像信息进行预处理后，利用深度学习网络模型实时推理计算获取图像中所有水果的外观信息和空间信息；
66.s2:ai嵌入式设备通过无线通信模块将图像采集模块的原始图像信息以及机械臂状态信息发送到云平台，云平台接收到信息后对信息进行存储，分类和转发；
67.s3:后端虚拟设备从云平台获取原始图像信息和机械臂状态信息后，进行信息融合，根据融合后的信息构建虚拟空间；
68.s4：后端虚拟设备根据用户的操作获取到相应的操作信息，利用获取的操作信息确定用户需要采摘的目标水果的信息，通过无线通信模块发送到云平台，云平台接收后将信息存储，分类和转发；
69.s5:ai嵌入式设备根据从云平台接受的水果采摘信息控制机械臂对水果进行采摘；
70.s6:ai嵌入式设备使用机械臂末端的柔性力传感器构建受力模型，对力反馈信息进行解耦，计算目标水果的重量；
71.s7:ai嵌入式设备综合所有传感器采集的目标水果信息综合判断水果品质，对水
果进行计数和编号后控制机械臂将水果放在对应的水果存储箱；
72.s8:ai嵌入式设备采摘的水果信息和采摘后的环境信息发送到云平台；
73.s9:后端虚拟交互设备更新虚拟环境信息，将采摘的水果信息显示到虚拟空间中。
74.具体的，所述的前端水果采摘装置的深度学习方法通过在yolov4网络的主干网络引入注意力机制提高网络的对目标的空间感知力。
75.具体的，所述的ai嵌入式使用深度学习推理计算水果信息，首先需要将双目摄像头获取的两幅图片融合拼接成为一幅图片，将图片预处理为模型输入的数据格式，然后将图片送入训练好的深度学习模型之中进行推理，在进行推理的时候不能改变模型的具体参数，推理结束之后经过处理得到水果的外观信息以及空间信息。
76.具体的，所述的机械臂状态信息需要在发送信息前实时获取机械臂当前的状态信息，然后通过无线网络将原始图像信息，摄像头参数信息以及机械臂状态信息分别以不同的帧头帧尾发送到云平台，以便云平台对信息进行分类。
77.具体的，所述的云平台在管理前端水果采摘设备和后端虚拟交互设备发送的信息时，保证各个设备之间信息在云平台中相互独立，互不干扰以防止信息在转发过程中出现混乱。
78.具体的，所述的后端虚拟交互设备从云平台接收前端水果采摘装置发送的环境信息后，首先把信息进行解析分类，然后结合摄像头参数对原始图像信息进行拼接融合，计算出图像信息所表达3d空间，由于摄像头采集的环境空间存在机械臂无法到达的空间，所以利用机械臂当前的状态信息和原始图像进行信息融合，过滤掉机械臂无法到达的空间对应的原始图像信息，后端虚拟环境构建模块根据融合后的信息构建虚拟空间。
79.具体的，所述的后端虚拟交互设备可以根据用于对虚拟空间的操作确定用户需要采摘的水果，例如：用户的手势，用户在虚拟空间之中的触碰。
80.具体的，所述的前端水果采摘装置接收到采摘信息后，首先确定需要采摘的水果的空间信息，然后使用bp神经网络结合动态规划算法寻找所有机械臂路径中的最短路径完成对目标水果的采摘，采摘过程：确定需要采摘水果的空间位置之后，通过旋转机械臂底座旋转关节26使得机械臂正对目标水果，控制控制机械臂第一连杆28、机械臂第二连杆29、机械臂第三连杆210、机械臂第四连杆212、机械臂第五连杆213、机械臂第六连杆214将末端抓手移动到目标水果下方，移动过程中通过旋转关节211调整末端抓手姿态以及躲避路径的障碍物，末端抓手通过收缩末端抓手手指217采摘水果。
81.具体的，所述的bp神经网络结合动态规划算法包括：首先将到达目标位置这一任务划分为若干个小段的路径规划，把复杂问题简单化，然后寻找所有规划中的最优路径；如图6中a,b两点之间可以根据实际情况划分为若干个中途停留目标点，各个中途停留目标点之间可以规划出小段的路径，使用bp神经网络从产生的路径中寻找出最优路径。
82.具体的，所述的bp神经网络结合动态规划算法通过使用训练好的bp神经网络直接预测在动态规划之中某一小段的代价函数值，从而加快路径规划的速度，有效避免路径规划陷入局部最优解导致路径规划失败，如图6中a,b两点之间的路径可以划分为多个小段，可以使用如图7所示的bp神经网络直接预测某一小段路径的代价函数值，以当前位置、下一次需要移动的位置以及影响因素为输入，使用bp神经网络进行运算直接输出某小段路径的代价函数值，从而快速搜索出a,b之间的最优路径。
83.具体的，所述的前端水果采摘装置采摘水果后通过将末端抓手调整为水平姿态，利用末端柔性力反馈传感器的信息进行信息解耦计算完成对水果重量的计算。
84.具体的，所述的前端水果采摘装置完成对水果的采摘之后，需要将新的环境信息和采摘的水果信息发送到云平台，后端虚拟交互设备及时更新虚拟环境空间。同时在屏幕或者虚拟空间中显示采摘水果的品质信息，编号和重量。
85.最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。