一种基于数据库的农业采摘物的识别算法

1.本发明属于图像识别技术领域，具体涉及一种基于数据库的农业采摘物的识别算法。


背景技术：

2.水果采摘注意事项多，采摘步骤繁琐，而我国很多地区在水果的采摘上依然主要靠人工，极大程度上没有实现生产机械化、模式化。单纯的依靠人工不仅效率低，而且水果成品质量得不到保障。这样的采摘方式耗时耗力，并且需要多人进行合作才能完成。现有技术中的采摘机械，大多数不能在采摘过程中按照水果的成熟度和大小进行分类装箱，通常是在果园里摘下来用车运到分拣场地，再用人工或机械分拣，其弊端是：运输环节多，作业中不能避免水果磕碰，降低了水果质量，直接影响到水果品相、销售价格和冷藏期限。
3.现有技术中，水果以箱体状态通过托盘转运在仓储系统中实现出入库。入库时仓储工作人员，会在水果箱上贴上仓储系统的二维码，出入库时通过扫描二维码实现出入库状态的监控，目的是提升仓储系统的管理。生鲜类的水果在以往的操作中一般是按照先进先出的原则进行出入库的管理。但是同一批次的水果，受成熟度的不同，以及托盘放置区域中环境温度的影响，会造成成熟状态的不一致。甚至由于，先入批次的水果放置区域的冷气比后入批次的水果放置区域的冷气足，造成后入批次的水果优先成熟。此时按先进先出的出入库管理，无疑会影响用户对水果有品尝体验。
4.在现代化的立体式草莓大棚中，草莓的颜色差别细微、大小差别较小，因此，需要研发一种人工智能化水果状态识别检测系统，能够对采摘过程中的水果进行检测判断其成熟度，考虑冷藏和运输过程的时间差，辅助仓储工作人员进行出入库的操作，提升出入库系统管理的精准性和准确性，目前相关文献还鲜有报道。


技术实现要素：

5.本发明旨在提供一种基于数据库的农业采摘物的识别算法，克服现有技术的不足，采用的人工智能图像识别技术，以卷积神经网络（cnn）为深度学习架构，通过卷积、池化等操作得到图片的特征值，进而完成识别功能，对水果的颜色和大小进行识别和归类，配合机械臂的移动，将水果放到对应的收纳箱中，当收纳箱满后，将收纳箱运送到指定仓储区，整个过程均可实现无人操作。
6.为解决上述技术问题，本发明的技术方案是：一种基于数据库的农业采摘物的识别算法，其特征在于，电脑依据待采摘水果的颜色、大小、褶皱等多个指标与成熟度高度相关联的特征设定成熟度指标，将水果的成熟程度与储存时间建立模型，电脑对采摘机器人采集的水果图片进行人工智能识别，并将水果类别与坐标信息传输给采摘机器人的运动控制单元，最终实现抓取、分拣以及避障行走，其具体操作步骤如下：1）根据市场需求将水果的成熟度划分为多个等级，应用人工智能图像识别技术对
待摘取水果的成熟程度的识别特征形成模型文件并保存在数据库中；2）采摘机器人采用uwb定位技术以自主或跟随形式沿采摘通道移动，通过双目摄像头采集水果图片以及位置的x、y、z轴坐标数据，并将水果图片回传发送给电脑做对照识别；3）电脑控制采摘机器人的机械臂根据水果的成熟程度实现分类采摘和分拣，并装入不同包装盒中；4）当包装盒装满后，采摘机器人移动到储存区，由质检人员卸货并更换新的包装盒；5）采摘机器人重复步骤2）至步骤4），实现全自动无人采摘。
7.所述数据库中，模型文件的文档中标签all表示为全成熟的水果，标签half表示为将要成熟的水果。
8.所述采摘机器人采取群体控制方式，可通过一台电脑远程控制多个采摘机器人进行作业。
9.所述水果为草莓、水蜜桃、葡萄、石榴、杏、圣女果、枇杷中的任一种。
10.所述人工智能图像识别技术以卷积神经网络（cnn）为架构，通过卷积、池化和聚类计算得到图片的特征值，进而实现识别功能，其中卷积操作一般用正方形卷积核，遍历图像上的像素点，图像与卷积核重合区域内，图像的像素值与卷积核内相对应点的权重的乘积和，再加上偏置值，得到输出图像中的像素值；其中池化操作分为最大池化或平均池化，最大池化即取局部接受域中值最大的点，平均池化即取局部接受域中值的平均值；最后应用聚类计算求出识别框数据，经过多次训练测试验证后即得到模型文件，用于采摘机器人的行为判断。
11.所述数据库中保存有双目摄像头拍摄的水果图片，该图片数据以标注文件形式保存。
12.所述双目摄像头通过websocket协议将其采集的图片无线传输给电脑。
13.所述步骤1）中市场需求是指根据邮寄和销售地区的远近选择采摘水果的成熟程度。
14.与现有技术相比，本发明的有益效果为：1）可以根据市场需求将草莓的成熟度划分为多个等级，仓储时间长或运输距离远的采摘的成熟度要略低一些，从而可根据成熟程度选择邮寄和销售地区的远近，从而降低运输中草莓的损耗，提高销售产品质量，扩展销售区域，提高经济效益。
15.2）本发明适用于草莓、水蜜桃、葡萄、石榴、杏、圣女果、枇杷等那些对仓储时间和运输时间敏感的水果，通过人工智能深度学习，识别准确率可以达到98%以上，抓取准确率可以达到100%。通过根据水果外在的特征实现对成熟度的精准识别，实现分类采摘和包装，实现为不同需求口味的消费者提供更加精准的服务，实施差异化销售，从而改善用户体验，增加销售量，提高经济效益。
16.3）采摘机器人采取群体控制方式，可通过一台电脑远程控制多个机器人同时作业，比单体机器人设计制造的成本更加低廉，工作效率更高，适用范围也更广，可以更加适合复杂环境的草莓的差异化采摘和自动分拣工作，能够替代人工劳作节省人工成本，从而提高经济效益。
17.4）本发明在采摘、分拣、装盒过程中全程自动化，可大大降低疫情期间因人员接触水果而造成的病毒传播风险，我国是草莓等水果种植大国，该发明适用范围广泛，有很好的市场前景。经过实地测试及与果农进行人机对比实验得出，相同时间内本发明一台采摘机器人的工作产能等同于4到5名熟练采摘工的工作产能，且不存在疲劳期可以持续高效运行，从而大大节省人力、提高效率。
18.5）本发明具有uwb定位技术，能够按照预先设定工作路线行走，也能自动跟随工作人员行走，采摘机器人的使用更加方便灵活，在实现采摘分拣后还能完成自动搬运工作。
19.6）依据相关机构的研究结果，在未来的几年时间里，全球农业机器人的出货量将快速增加，有望从2018年的每年6万台，快速长到2025年的72.7万台。相关机构估计到2025年，农业机器人的全球商场价值将达到879亿美元。由此可见农业机器人领域在未来有广大的发展空间和市场潜力。
附图说明
20.图1是本发明实施例控制逻辑流程图；图2是本发明实施例中池化处理示意图；图3是本发明实施例数据库中的标注文件；图4是本发明实施例中测试验证的过程参数，显示用模型文件驱动采摘机器人并记录的相关数据；图5是本发明实施例中采摘机器人收集水果图片并回传给电脑；图6是本发明实施例中电脑对采摘机器人回传的图片进行识别并标记。
21.具体实施方式
22.下面将结合本发明中的具体实施例，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
23.文中术语：卷积神经网络（convolutional neural networks, cnn）是一类包含卷积计算且具有深度结构的前馈神经网络（feedforward neural networks），是深度学习（deep learning）的代表算法之一。卷积神经网络具有表征学习（representation learning）能力，能够按其阶层结构对输入信息进行平移不变分类（shift-invariant classification），因此也被称为“平移不变人工神经网络（shift-invariant artificial neural networks, siann）”。随着深度学习理论的提出和数值计算设备的改进，卷积神经网络得到了快速发展，并被应用于计算机视觉、自然语言处理等领域。卷积神经网络仿造生物的视知觉（visual perception）机制构建，可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化（grid-like topology）特征，例如像素和音频进行学习、有稳定的效果且对数据没有额外的特征工程（feature engineering）要求。
24.是一种在单个tcp连接上进行全双工通信的协议。websocket通信协议于2011年被
ietf定为标准rfc 6455，并由rfc7936补充规范。websocket api也被w3c定为标准。websocket使得客户端和服务器之间的数据交换变得更加简单，允许服务端主动向客户端推送数据。在websocket api中，浏览器和服务器只需要完成一次握手，两者之间就直接可以创建持久性的连接，并进行双向数据传输。
25.定位技术，超宽带（uwb，ultra wide band）技术是一种新型的无线通信技术。它通过对具有很陡上升和下降时间的冲激脉冲进行直接调制，使信号具有ghz量级的带宽。超宽带技术解决了困扰传统无线技术多年的有关传播方面的重大难题，它具有对信道衰落不敏感、发射信号功率谱密度低、低截获能力、系统复杂度低、能提供数厘米的定位精度等优点。超宽带（uwb）在早期被用来应用在近距离高速数据传输，近年来国外开始利用其亚纳秒级超窄脉冲来做近距离精确室内定位。
26.见图1－图6，是本发明一种基于数据库的农业采摘物的识别算法效果示意图，本发明中电脑依据待采摘水果的颜色、大小、褶皱等多个指标与成熟度高度相关联的特征设定成熟度指标，将水果的成熟程度与储存时间建立模型，电脑对采摘机器人采集的水果图片进行人工智能识别，并将水果类别与坐标信息传输给采摘机器人的运动控制单元，最终实现抓取、分拣以及避障行走，以实现为不同需求口味的消费者提供更加精准的服务，实施差异化销售，从而改善用户体验，增加销售量，提高经济效益的目的。
27.本发明具体操作步骤如下：1）根据市场需求将水果的成熟度划分为多个等级，应用人工智能图像识别技术对待摘取水果的成熟程度的识别特征形成模型文件并保存在数据库中，此模型文件通过多次训练测试验证最终确定；2）采摘机器人采用uwb定位技术以自主或跟随形式沿采摘通道移动，通过双目摄像头采集水果图片以及位置的x、y、z轴坐标数据，并将水果图片回传发送给电脑做对照识别，确定可采摘目标；电脑的数据库中保存有双目摄像头拍摄的水果图片，该图片数据以标注文件形式保存。双目摄像头通过websocket协议将其采集的图片无线传输给电脑。3）电脑控制采摘机器人的机械臂根据水果的成熟程度实现分类采摘和分拣，并装入不同包装盒中，包装盒由采摘机器人携带；4）当包装盒装满后，采摘机器人移动到储存区，由质检人员卸货并更换新的包装盒，该包装盒内装水果的成熟度和大小，可根据市场需求设计；5）采摘机器人重复步骤2）至步骤4），实现全自动无人采摘。
28.本发明电脑的数据库中，模型文件的文档中标签all表示为全成熟的水果，标签half表示为将要成熟的水果，实现差异化销售，改善用户体验。
29.本发明实施例中，多个采摘机器人可采取群体控制方式，可通过一台电脑远程控制多个采摘机器人进行作业。
30.本发明尤其适用于草莓、水蜜桃、葡萄、石榴、杏、圣女果、枇杷等对保存期和运输距离敏感的水果，并且成熟度与外在颜色具有一致性，需要根据邮寄和销售地区的远近选择采摘水果的成熟程度。对于那些成熟度与颜色相关度不大的水果则使用效果不明显。
31.本发明是以人工智能图像识别技术以卷积神经网络（cnn）为架构，通过卷积、池化和聚类计算得到图片的特征值，进而实现识别功能，其中卷积操作一般用正方形卷积核，遍历图像上的像素点，图像与卷积核重合区域内，图像的像素值与卷积核内相对应点的权重的乘积和，再加上偏置值，得到输出图像中的像素值；其中池化操作分为最大池化或平均池化，最大池化即取局部接受域中值最大的点，平均池化即取局部接受域中值的平均值；最后
应用聚类计算求出识别框数据，经过多次训练测试验证后即得到模型文件，用于采摘机器人的行为判断。
32.显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。