猕猴桃自动授粉方法、装置、授粉设备及存储介质与流程

1.本发明属于智能智能控制技术领域，具体涉及一种猕猴桃自动授粉方法、装置、授粉设备及存储介质。


背景技术：

2.猕猴桃在自然条件下，主要是靠昆虫传粉，在劳力资源较充足和管理精细的果园里，人工辅助授粉也是重要的农业措施之一，大量的人工授粉实践表明，授粉愈好，果实的种子愈多，果个愈大，品质亦佳。
3.猕猴桃授粉是猕猴桃种植过程中重要的环节，授粉作业的效果直接关系到猕猴桃的座果率，影响产量，如果依赖自然风媒或虫媒，授粉效果是无法保证的，因此目前主要采用人工授粉的方式，而人工授粉需要针对每朵雌花，通过点或喷洒的办法对其施粉；
4.由于猕猴桃种植环境，人工授粉在低矮的棚架下进行，行动不便且费力，因此通过人工逐一为每朵雌花授粉的方法存在效率低下的问题。


技术实现要素：

5.为了克服现有技术的上述缺点，本发明的目的在于提供一种猕猴桃自动授粉方法、装置、授粉设备及存储介质，旨在解决现有人工逐一为每朵雌花授粉方法效率低下的技术问题。
6.本发明为达到其目的，所采用的技术方案如下：
7.一种猕猴桃自动授粉方法，包括以下步骤：
8.获取含画图像；
9.将所述含画图像输入至目标神经网络；
10.所述目标神经网络根据所述含画图像输出雌花中心点标识图像；
11.根据所述雌花中心点标识图像确定授粉位置信息；
12.将所述授粉位置信息转换至世界坐标系中；
13.根据所述世界坐标系中的授粉位置信息为每个雌花进行授粉。
14.进一步地，将所述含画图像输入至目标神经网络的步骤之前，还包括步骤：
15.构建初始神经网络；
16.将包含雄花、雌花和叶子的训练样本传输至所述初始神经网络，所述初始神经网络输出雌花中心点标识图像；
17.若所述预设神经网络模型的雌花中心点标识图像未达到预设精度，则调节所述神经网络模型的连接权值，并反复利用所述训练样本对所述初始神经网络模型进行训练，直至所述预设神经网络模型输出的雌花中心点标识图像精度达到预设精度为止，获得训练完成的所述目标神经网络模型。
18.进一步地，所述目标神经网络包括输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层以及输出层；
19.所述第一卷积层与所述第二卷积层之间设有第一池化层；所述第二卷积层与所述第三卷积层之间设有第二池化层，所述第三卷积层与所述第四卷积层之间依次设有第一上采样层和第一拼接层，所述第四卷积层与所述第五卷积层之间依次设有第二上采样层和第二拼接层，所述第五卷积层与所述输出层之间依次设有尺寸变换层和激活函数层；
20.其中，所述输入层用于输入原始rgb图像，所述输出层用于输出雌花中心点标识图像。
21.进一步地，所述获取含画图像的步骤中包括：
22.通过精准识别传感器获取含画图像。
23.进一步地，所述将所述授粉位置信息转换至世界坐标系中的步骤中，根据如下公式进行转换：
[0024][0025]
其中，k为所述精准识别传感器的内参；为所述精准识别传感器的外参，得到所述精准识别传感器相对所述世界坐标系的旋转矩阵r和平移矩阵t，zc为所述精准识别传感器相对成像目标的距离，xw，yw，zw为世界坐标系的坐标，u与v为所述精准识别传感器的像素坐标。
[0026]
进一步地，所述根据所述世界坐标系为每个雌花进行授粉的步骤中，还包括如下步骤：
[0027]
将所述世界坐标系下的授粉位置信息传给执行装置；
[0028]
所述执行装置为每个雌花进行授粉。
[0029]
进一步地，所述执行装置包括机械臂和花粉喷头；所述执行装置为每个雌花进行授粉的步骤中，还包括如下步骤：
[0030]
作业装置根据世界坐标系的位置信息驱动机械臂，将花粉喷头转移置于雌花中心点下方开始喷施花粉。
[0031]
对应地，一种猕猴桃自动授粉装置，包括：
[0032]
获取模块，用于获取含画图像；
[0033]
输入模块，用于将所述含画图像输入至目标神经网络；
[0034]
神经网络模块，用于所述目标神经网络根据所述含画图像输出雌花中心点标识图像；
[0035]
位置模块，用于根据所述雌花中心点标识图像确定授粉位置信息；
[0036]
坐标模块，用于将所述授粉位置信息转换至世界坐标系中；
[0037]
授粉模块，用于根据所述世界坐标系为每个雌花进行授粉。
[0038]
对应地，本发明还提出一种授粉设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的猕猴桃自动授粉程序，所述猕猴桃自动授粉程序配置为实现如上述的猕猴桃自动授粉方法的步骤。
[0039]
对应地，本发明还提出一种存储介质，其上存储有猕猴桃自动授粉程序，所述猕猴桃自动授粉程序被处理器执行时实现如上述的猕猴桃自动授粉方法的步骤。
[0040]
与现有技术相比，本发明的有益效果是：
[0041]
本发明提出的猕猴桃自动授粉方法，获取含画图像；将含画图像输入至目标神经网络；目标神经网络根据含画图像输出雌花中心点标识图像；根据雌花中心点标识图像确定授粉位置信息；将授粉位置信息转换至世界坐标系中；根据世界坐标系为每个雌花进行授粉；通过提取含画图像中的雌花中心点信息，并结合世界坐标系进行标注对应的授粉位置信息，再利用包括授粉位置信息的世界坐标系，进行精准的定位和靶向授粉，最终实现了准确有效的为每一朵雌花进行授粉的效果。
附图说明
[0042]
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0043]
图1为本发明实施例方案涉及的硬件运行环境的授粉设备结构示意图；
[0044]
图2为本发明一实施例中猕猴桃自动授粉方法的流程示意图；
[0045]
图3为本发明一实施例中猕猴桃自动授粉方法获取的实际照片示意图；
[0046]
图4为本发明一实施例中猕猴桃自动授粉方法中雌花中心点标识图像的示意图；
[0047]
图5为本发明一实施例中猕猴桃自动授粉装置的结构示意图。
[0048]
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0049]
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行详细描述。需要说明的是，在不冲突的情况下，本发明的实施方式及实施方式中的特征可以相互组合。在下面的描述中阐述了很多具体细节以便于充分理解本发明，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
[0050]
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本发明。
[0051]
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的授粉设备的结构示意图。
[0052]
本发明实施例的授粉设备可以是一种冰箱、冰柜等具有存储功能的终端设备。
[0053]
如图1所示，该授粉设备可以包括：处理器1001，例如cpu，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选的用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1005可以是高速ram存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
[0054]
本领域技术人员可以理解，图1中示出的授粉设备并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0055]
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及猕猴桃自动授粉程序。
[0056]
在如图1所示的授粉设备中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要包括输入单元比如键盘，键盘包括无线键盘和有线键盘，用于连接客户端，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的猕猴桃自动授粉程序，并执行下述任一实施例中的猕猴桃自动授粉方法中的操作。
[0057]
基于上述硬件结构，提出本发明猕猴桃自动授粉方法实施例。
[0058]
参照图2，本发明一实施例提供一种猕猴桃自动授粉方法，包括以下步骤：
[0059]
步骤s100，获取含画图像；
[0060]
具体地，由于猕猴桃一般是蔓延在棚架上的，因此猕猴桃的花朵通常是向下垂挂在棚架上的，所以本实施例中获取的含画图像是需要由下往上获取花朵的正面图像，同时，也只有获取到花朵正面的图像才能进行后续分辨出雌花做基础。
[0061]
步骤s200，将含画图像输入至目标神经网络；
[0062]
具体地，本实施例通过目标神经网络对含画图像进行分析提取预设的信息数据，例如本发明需要对猕猴桃的雌花进行授粉，则通过目标神经网络分析提取含画图像中的雌花信息。
[0063]
步骤s300，目标神经网络根据含画图像输出雌花中心点标识图像；
[0064]
具体地，对雌花进行授粉时往往只需向雌花的雌蕊进行授粉即可，而雌蕊是位于雌花的中心位置，因此本实施例通过采用目标神经网络对含画图像进行分析确定雌花中心的位置，进而输出雌花中心点标识图像，雌花中心点标识图像即是在原有的含画图像信息中分析提取出雌花中心点位置，消除其余干扰信息，仅保留雌花中心点的图像信息。
[0065]
步骤s400，根据雌花中心点标识图像确定授粉位置信息；
[0066]
具体地，获取含画图像会自带一个图像坐标系，通过目标神经网络对含画图像进行分析提取出雌花中心点，并输出雌花中心点标识图像，根据图像坐标系确定各个雌花中心点对应的图像坐标信息，图像坐标信息即授粉位置信息。
[0067]
步骤s500，将授粉位置信息转换至世界坐标系中；
[0068]
具体地，经过步骤s40获取到了各个雌花中心点对应的图像坐标信息，但是图像坐标信息是无法对花蕊的实体位置进行确定的，因此需要将授粉位置信息转换至世界坐标系中，其中，世界坐标系(world coordinate system)是在环境中还选择一个参考坐标系来描述摄像机和物体的位置，该坐标系称为世界坐标系；即将授粉位置信息在世界坐标系中进行标注，进而可以具体的明确花蕊的具体位置。
[0069]
步骤s600，根据世界坐标系中的授粉位置信息为每个雌花进行授粉。
[0070]
具体地，经过步骤s50后可以获得标注有授粉位置信息的世界坐标系，根据世界坐标系中的授粉位置信息对每个雌花进行授粉，以此通过提取含画图像中的雌花中心点信息，并结合世界坐标系进行标注对应的授粉位置信息，再利用包括授粉位置信息的世界坐标系，进行精准的定位和靶向授粉，最终实现了准确有效的为每一朵雌花进行授粉的效果。
[0071]
进一步地，将含画图像输入至目标神经网络的步骤之前，还包括步骤：
[0072]
构建初始神经网络；
[0073]
将包含雄花、雌花和叶子的训练样本传输至初始神经网络，初始神经网络输出雌花中心点标识图像；
[0074]
若预设神经网络模型的雌花中心点标识图像未达到预设精度，则调节神经网络模型的连接权值，并反复利用训练样本对初始神经网络模型进行训练，直至预设神经网络模型输出的雌花中心点标识图像精度达到预设精度为止，获得训练完成的目标神经网络模型。
[0075]
进一步地，目标神经网络包括输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层以及输出层；
[0076]
第一卷积层与第二卷积层之间设有第一池化层；第二卷积层与第三卷积层之间设有第二池化层，第三卷积层与第四卷积层之间依次设有第一上采样层和第一拼接层，第四卷积层与第五卷积层之间依次设有第二上采样层和第二拼接层，第五卷积层与输出层之间依次设有尺寸变换层和激活函数层；
[0077]
其中，输入层用于输入原始rgb图像，输出层用于输出雌花中心点标识图像。
[0078]
具体地，本实施例中目标神经网络结构如下：
[0079]
输入层，用于输入猕猴桃雌花和雄花以及叶片的原始rgb的图像，并标准化为统一分辨率；
[0080]
第一卷积层，用于对该图像进行两次3*3空间卷积操作，记录结果；
[0081]
第一池化层，用于对上一层的输出进行2*2池化操作；
[0082]
第二卷积层，用于对上一层的输出进行两次3*3卷积操作，记录结果；
[0083]
第二池化层，用于对上一层输出进行2*2池化操作；
[0084]
第三卷积层，用于对上一层输出进行两次3*3的卷积操作，记录结果；
[0085]
第一上采样层，用于对上一层的输出进行上2*2上采样操作；
[0086]
第一拼接层，用于对上一层的结果和第六层的输出结果进行矩阵横向拼接；
[0087]
第四卷积层，用于对上一层的操作进行两次3*3的空间卷积操作；
[0088]
第二上采样层，用于对上一层的结果进行2*2上采样操作；
[0089]
第二拼接层，用于对上一层的结果和第四层的输出结果进行矩阵横向拼接操作；
[0090]
第五卷积层，用于对上一层的结果进行两次3*3卷积操作；
[0091]
尺寸变换层，用于对上一层的结果进行尺寸变换操作，大小恢复为原始图像大小；
[0092]
激活函数层，用于使用softmax激活函数；
[0093]
输出层，用于输出雌花中心点标识图像。
[0094]
基于上述结构的神经网络，使用一定数量的猕猴桃花的图像样本进行训练学习，样本中需要包含雄花、雌花和叶子以及和其他杂物等内容；并设置一个预设精度，若预设神经网络模型的雌花中心点标识图像未达到预设精度，则调节神经网络模型的连接权值，并反复利用训练样本对初始神经网络模型进行训练，直至预设神经网络模型输出的雌花中心点标识图像精度达到预设精度为止，获得训练完成的目标神经网络模型；
[0095]
然后使用训练完成后的目标神经网络模型进行处理含画图像并生成雌花中心点标识图像；
[0096]
通过分析雌花中心点标识图像，计算每一个雌花的分割图像的几何中心位置，雌
花中心点在图像中的位置标识出来，在实际拍摄图片中标识出雌花中心点位置。如图4。
[0097]
进一步地，将授粉位置信息转换至世界坐标系中的步骤中，根据如下公式进行转换：
[0098][0099]
其中，k为精准识别传感器的内参；为精准识别传感器的外参，得到精准识别传感器相对世界坐标系的旋转矩阵r和平移矩阵t，zc为精准识别传感器相对成像目标的距离，xw，yw，zw为世界坐标系的坐标，u与v为精准识别传感器的像素坐标。
[0100]
进一步地，获取含画图像的步骤中包括：
[0101]
通过精准识别传感器获取含画图像。
[0102]
进一步地，根据世界坐标系为每个雌花进行授粉的步骤中，还包括如下步骤：
[0103]
将世界坐标系下的授粉位置信息传给执行装置；
[0104]
执行装置为每个雌花进行授粉。
[0105]
进一步地，执行装置包括机械臂和花粉喷头；执行装置为每个雌花进行授粉的步骤中，还包括如下步骤：
[0106]
作业装置根据世界坐标系的位置信息驱动机械臂，将花粉喷头转移置于雌花中心点下方开始喷施花粉。
[0107]
具体地，执行装置为可移动的小车以及安装于小车上方的机械臂，机械臂的末端安装有花粉喷头；
[0108]
精准识别传感器部署在可移动小车前进方向的前方，精准识别传感器垂直向上拍摄猕猴桃棚架下方，获取含画图像，精准识别传感器以每秒若干帧的速率不停的拍摄照片，实际照片内容如图3所示；
[0109]
机械臂和花粉喷头部署在精准识别传感器后方，根据精准识别传感器提供的授粉位置信息，控制机械臂移动花粉喷头到雌花下方，进行精准喷施花粉作业，因此仅需要根据世界坐标系中的授粉位置信息为每个雌花进行授粉，同时，授粉位置信息为雌花的中心点位置，由于执行装置中花粉喷头的喷洒具有一定的范围，在一定距离下喷洒出一个圆形的区域，因此只对准中心，即可完整覆盖整个雌花，以此实现了对雌花花蕊的授粉效果。
[0110]
对应地，参考图5，一种猕猴桃自动授粉装置，包括：
[0111]
获取模块，用于获取含画图像；
[0112]
输入模块，用于将含画图像输入至目标神经网络；
[0113]
神经网络模块，用于目标神经网络根据含画图像输出雌花中心点标识图像；
[0114]
位置模块，用于根据雌花中心点标识图像确定授粉位置信息；
[0115]
坐标模块，用于将授粉位置信息转换至世界坐标系中；
[0116]
授粉模块，用于根据世界坐标系为每个雌花进行授粉。
[0117]
对应地，本发明还提出一种授粉设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的猕猴桃自动授粉程序，猕猴桃自动授粉程序配置为实现如上述的猕猴桃自动授粉方法的步骤。
[0118]
对应地，本发明还提出一种存储介质，其上存储有猕猴桃自动授粉程序，猕猴桃自动授粉程序被处理器执行时实现如上述的猕猴桃自动授粉方法的步骤。
[0119]
需要说明的是，关于上述实施例中的猕猴桃自动授粉装置，其中各个模块或单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，本领域技术人员可以理解，此处不再赘述。
[0120]
对应地，本发明一实施例还提供一种存储介质，其为计算机可读的存储介质，其上存储有猕猴桃自动授粉程序，猕猴桃自动授粉程序被处理器执行时实现上述任一实施例中的猕猴桃自动授粉方法的步骤。
[0121]
在本实施例中，上述存储介质可以包括但不限于任何类型的盘(包括软盘、硬盘、光盘、cd-rom、和磁光盘)、rom(read-only memory，只读存储器)、ram(random accessmemory，随机存储器)、eprom(erasable programmable read-only memory，可擦写可编程只读存储器)、eeprom(electrically erasable programmable read-only memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片等各种可以存储程序代码的介质。
[0122]
显然，本领域的技术人员应当理解，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
[0123]
需要说明的是，本发明公开的猕猴桃自动授粉方法、装置、授粉设备及存储介质的其它内容可参见现有技术，在此不再赘述。
[0124]
以上，仅是本发明的可选实施例而已，并非对本发明作任何形式上的限制，故凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何修改、等同变化与修饰,均仍属于本发明技术方案的范围内。