用于储存期间谷物中昆虫活动的实时监测和早期检测系统

用于储存期间谷物中昆虫活动的实时监测和早期检测系统


背景技术：

1.储存谷物的昆虫侵染(infestation)对储存谷物的等级产生负面影响，增加谷物温度，并促进导致腐坏的微生物的生长，从而进一步降低谷物质量。因此，侵染会给谷物种植者和加工者带来巨大的经济损失。因此，对昆虫侵染的早期检测是谷物产业的重要需求。


技术实现要素：

2.根据一个方面，一种用于对昆虫进行实时监测的系统包括诱捕器和图像处理器。诱捕器包括：具有穿孔的室，该穿孔的大小设置成允许昆虫进入智能诱捕器的内部；位于智能诱捕器内的收集室；以及用于捕获包括智能诱捕器的收集室的图像的成像系统。图像处理器被配置为接收由智能诱捕器捕获的图像，并基于对接收到的图像进行的图像分析来确定收集室内的昆虫的计数，其中，图像分析包括：在接收到的图像内识别与收集室的边界相对应的区域；将接收到的图像裁剪至所识别的区域以产生裁剪后的图像；对裁剪后的图像的至少一个特征进行修改以产生经修改的裁剪后的图像；并基于经修改的裁剪后的图像来确定昆虫的计数。
3.根据另一方面，一种用于检测昆虫的诱捕器包括：具有开口的穿孔室，该开口的大小设置成允许昆虫进入诱捕器的内部；位于智能诱捕器内、用于收集被允许的昆虫的收集室；以及被配置为覆盖穿孔室的覆盖件，该覆盖件容置电子系统，该电子系统包括成像系统以捕获收集室的图像。
4.根据另一方面，一种对捕获到的图像中的昆虫进行计数的方法包括：对捕获到的图像进行裁剪和掩蔽(mask，用蔽光框修改)，以产生仅包含捕获到的图像中与收集室相关的区域的第一经处理图像；对第一经处理图像的至少一个特征进行修改以产生第二经处理图像；以及通过对第二经处理图像执行粒子检测算法来确定捕获到的图像中昆虫的计数。
附图说明
5.本书面公开内容描述了非限制性且非穷举性的例示性实施方式。请参考图中所描述的例示性实施方式，其中：
6.图1示出了昆虫检测系统的实施方式。
7.图2a至图2b是根据本公开内容的一些实施方式的智能诱捕器的视图。图2a是智能诱捕器的示意图。图2b是根据本公开内容的一些实施方式的诱捕器的图片。
8.图3是根据本公开内容的一些实施方式的智能诱捕器的系统的框图。
9.图4是根据本公开内容的一些实施方式的智能诱捕器的主板的模块的框图。
10.图5是根据本公开内容的一些实施方式的防护板的模块的框图。
11.图6是根据本公开内容的一些实施方式的相机板的框图。
12.图7示出了用于智能诱捕器的系统的布置的示例性实施方式。
13.图8a至图8b示出了主板的示例性实施方式，示出了(a)主板的第一面和(b)主板的第二面。
14.图9a至图9c是防护板的示例性实施方式，示出了(a)防护板的第一面；(b)防护板的第二面；和(c)用于防护板的模块的示例性连接示意图。
15.图10a至图10b示出了相机板的示例性实施方式，示出了(a)相机板的第一面和(b)相机板的第二面。
16.图11是根据本公开内容的一些实施方式的对图像中昆虫的数量进行计数的算法的流程图。
17.图12是根据本公开内容的一些实施方式的对图像中昆虫的数量进行计数的算法的流程图。
18.图13是用于确定捕获到的图像中与收集室相对应的区域的示例性子例程的流程图。
19.图14是用于修改第一经处理的图像的一个或更多个特征的示例性子例程的流程图。
20.图15是根据本公开内容的一些实施方式的示例性子例程粒子检测算法的流程图。箭头表示在进行该方法的下一步骤之前可以至少重复一次步骤。
21.图16是示出了在根据本公开内容的一些实施方式的昆虫系统的实验室和商业测试期间检测第一只昆虫出现的时间的图表。
具体实施方式
22.早期昆虫检测被认为是一种有效的技术来确定最佳的害虫管理实践，以消除侵染风险并维持谷物的储存寿命、质量、等级和安全性。谷物中昆虫检测的当前方法不具备对储存谷物中昆虫活动进行实时监测和早期检测的能力。此外，当前的方法不准确、耗时、并且需要训练有素的人员来识别昆虫风险。本公开内容的实施方式描述了用于早期检测储存谷物中的昆虫和/或用于实时检测/监测储存谷物中的昆虫活动的系统和方法。
23.如本文所述的昆虫检测系统100具有很高的可靠性，并且提供了高度准确的昆虫计数。例如，在本文所述的昆虫检测系统100的实验室测试中，在侵染浓度为0.5只/kg、1只/kg、2只/kg和3只/kg时，分别在19分钟、18分钟、20分钟和20分钟内检测到第一只昆虫的出现。昆虫检测系统100的平均图像计数准确性为94.3％。此外，在本文所述的昆虫检测系统100的商业测试中，在十二分钟内检测到昆虫活动，并且计数准确性为91.3％。
24.除了是低成本的系统外，本文所述的昆虫检测系统100还能降低劳动成本，提高害虫管理实践的效率，能够在损害变得严重之前采取早期干预/纠正措施，提高储存谷物的质量、等级和/或安全性，和/或减少谷物种植者和加工者的经济损失。
25.现在参考图1，描述了根据本公开内容的一些实施方式的昆虫检测系统100。昆虫检测系统100包括至少一个智能诱捕器110、至少一个服务器120、和至少一个用户接口/显示装置130，它们经由通信通道140彼此通信地耦接。在一个方面，智能诱捕器110被用于对储存谷物的设施中的数据进行收集。任何合适的无线通信协议可以被用于智能诱捕器110、服务器120和/或用户装置130之间的通信。在一个方面，智能诱捕器110与服务器120和/或用户装置130之间的通信是加密的。在一个示例中，超文本传输协议(http)被用于昆虫检测系统100的部件110、120、130之间的通信。数据和/或指令的通信可以作为捆绑进行或单独进行。数据可以被保存到存储器中和/或由服务器120和/或用户装置130处理。
26.服务器120包括能够接收、产生、存储、处理和/或提供信息的一个或更多个装置。例如，服务器120可以包括服务器、数据中心、工作站计算机、在云计算环境中实现的虚拟机(vm)、或类似类型的装置。
27.用户装置130包括能够接收、产生、存储、处理和/或提供下述信息的一个或更多个装置，该信息与用户装置130的用户同用户接口的交互相关联，该用户接口被设置用于经由与用户装置130相关联的显示器进行显示。例如，用户装置130可以包括台式计算机、移动电话(例如智能手机、无线电话等)、笔记本电脑、平板电脑、手持式电脑、游戏装置、虚拟现实装置、可穿戴通信装置(例如智能腕表、成副的智能眼镜等)、或类似类型的装置。尽管示例昆虫检测系统100将服务器120和用户装置130示出为单独的部件，但服务器120和用户装置130可以是单个部件/装置。
28.昆虫检测系统100还包括服务器120和/或用户装置130上的用户接口，用于对昆虫检测系统100进行远程操作。可以实现任何合适的用户接口，该用户接口允许操作者与用户接口进行交互。例如，用户接口可以是图形用户接口(gui)、网页和/或用于智能手机或平板电脑的应用。与用户接口元件的交互包括选择用户接口上的按钮、经由文本框输入文本、切换控制件等。
29.为了实时监测储存谷物的昆虫侵染，将至少一个智能诱捕器100插入谷物堆中。在一个方面，系统100中使用的智能诱捕器110的数量取决于要监测的谷物堆的大小。在一个示例中，在商业谷物储存设施中实施的系统100使用10个至20个智能诱捕器110。智能诱捕器110收集与监测昆虫侵染有关的数据，例如，智能诱捕器110内部的图像和/或关于环境状况的数据。在一些实施方式中，用户装置130将一个或更多个指令传送至诱捕器110。指令包括对图像进行捕获的按需请求、和/或用于数据收集的时间表。用于数据收集的一个示例性时间表是每小时捕获一次图像。指令还可以包括将未分配的诱捕器分配给注册用户和/或将新的诱捕器添加到系统中。
30.收集到的数据可以由位于智能诱捕器110、服务器120和/或用户装置130中的微控制器211进行处理。经处理的数据可以存储在服务器120和/或用户装置130的存储器中。存储的数据可以通过用户接口被检索和/或查看。例如，用户接口可以用于访问智能诱捕器的数据库或列表。当操作者选择一智能诱捕器时，将显示关于该智能诱捕器的信息。可以显示的信息包括诱捕器id、诱捕器位置、每个时间段检测到的昆虫、和传感器读数。在一个方面，用户装置可以用于对通过智能诱捕器110收集到的数据进行可视化。在另一方面，对收集到的数据进行分析，以确定昆虫出现与温度和相对湿度之间的相关性。
31.图2a是智能诱捕器110的示意图，以及图2b是智能诱捕器110的示例性实施方式的图片。智能诱捕器110具有覆盖件200，该覆盖件覆盖穿孔筒状件300的顶部开口并形成智能诱捕器110的顶部。覆盖件200容置电子系统204，该电子系统包括具有镜头的相机242。在一个方面，智能诱捕器110具有可以附接至覆盖件200的电源。在一个示例中，电源是电池218，该电池由电池夹保持，并附接至覆盖件200(图2b)。
32.穿孔筒状件300形成智能诱捕器110的本体。在一个示例中，环形件将穿孔室300连接到覆盖件200。穿孔室300的直径和长度是基于将诱捕器插入谷物堆和/或提供适当的深度所需的适当力来选择的，以便将智能诱捕器110放置在谷物堆中昆虫活动的地方。穿孔的大小设置成允许昆虫进入智能诱捕器110，在智能诱捕器处昆虫落入收集室400中。在一个
方面，穿孔的大小允许昆虫进入智能诱捕器110，但防止谷物填充智能诱捕器110。
33.收集室400具有基部410、锥形端部420，并且收集室附接至穿孔室300的底部以形成智能诱捕器110的底部。在一个示例中，环形件将收集室400连接到穿孔室300。收集室400可以是可拆卸的。在一个示例中，收集室400具有螺纹连接件。相机242被指向收集室400，并对收集室具有无障碍的观察。
34.在一个方面，智能诱捕器110的尺寸和形状提供了用于吸引昆虫的有效特征，并使得能够容易地将智能诱捕器110插入谷物堆中(例如直径、长度、穿孔直径、锥形端部)。在收集室400中逮住的昆虫的图像是由相机242捕获的。在另一方面，收集室400的基部410是白色的，以增加捕获到的图像的对比度和/或亮度。在另一方面，锥形鼻部420减少了将智能诱捕器110插入谷物堆中所需的力的量。收集室400可以被拆下，使得在收集室400中捕获到的昆虫可以被丢弃。将电子系统204放置在覆盖件200中允许系统100的操作者能够容易地修理和/或更换整个电子系统204或与电子系统204相关联的一个或更多个单独的模块或板。
35.智能诱捕器110的一些合适材料的示例包括聚氯乙烯(pvc)和不锈钢。在一个示例中，覆盖件200是聚氯乙烯覆盖件配件。在一个具体示例中，覆盖件200具有2.4英寸的内直径。穿孔室300可以通过与穿孔室内直径相匹配的pvc环形件连接到覆盖件200和收集室400。在另一示例中，穿孔室300是由不锈钢制成的。
36.在形成收集室400的一个示例性方法中，公件在底部处用在车床上切割成形状的固体pvc鼻部密封，并在连接处添加橡胶o型圈。在一个示例中，收集室400是由直螺纹聚氯乙烯(pvc)连接件制造的。
37.使用电池作为电源为智能诱捕器110提供了较长的使用寿命。另一优点是每个智能诱捕器110都具有独立的电源。在一个具体示例中，每次昆虫检测系统100捕获图像并将图像发送到服务器120时都会使用240mah的能量。表1示出了基于通过成像系统拍摄图像的频率来测量不同类型电池的使用寿命的测试结果。
38.表1.根据图像捕获频率的电池使用寿命
[0039][0040]
图3是电子系统204的框图。在一些实施方式中，电子系统204包括主板210、防护板220和/或相机板240，它们通过一个或更多个通信通道150彼此以通信的方式联接。每个板210、220、240被配置为执行至少一个通信协议。合适的通信协议的示例包括互连集成电路(i2c)协议和串行外设接口(spi)协议。在一个示例中，i2c协议被用于主板210和防护板220之间的通信150，以及spi协议被用于主板210和相机板240之间的通信150。在一个方面，每个板210、220和240附接至另一板。在一个示例中，主板210连接到防护板220，该防护板220连接至相机板240(参见例如图7)。
[0041]
为了对储存谷物中的昆虫活动进行实时监测和早期检测，电子系统204被配置为：捕获一个或更多个图像；在图像捕获期间提供照明；用于测量温度和相对湿度的传感器；将模拟数据转换为数字数据；处理图像以对捕获到的图像中的昆虫的数量进行计数；处理环境数据；显示数据/使数据可视化；存储数据和/或通信信息(例如数据和/或指令)。在一些实施方式中，主板210将模拟数据转换为数字数据，处理捕获到的图像，处理数据，和/或与防护板220、相机板240、服务器120和/或用户装置130进行通信。在一些实施方式中，防护板210收集针对环境状况的传感器数据、在图像捕获期间提供照明和/或与主板210进行通信。在一些实施方式中，相机板240捕获一个或更多个图像和/或与主板210进行通信。
[0042]
图4是主板210的框图。主板210包括微控制器211、通信模块212、时钟模块214、和/或电源模块216，该电源模块包括持久的电源诸如电池。在一个具体示例中，主板210是mcu esp8266板。
[0043]
在一个方面，微控制器211将指令通信至系统204的其他模块。例如，在捕获图像后，微控制器211将指令通信150至重置系统204，使得系统204准备好拍摄另一张图像。在另一方面，微控制器211处理数据。例如，微控制器211将模拟传感器读数转换为数字值。微控制器还可以对通过成像系统240、242、244、246捕获到的图像进行处理。在另一方面，微控制器对服务器120和用户装置130之间的通信进行控制。在另一方面，微控制器211可以被编程为通过指令仅在接收到新命令时才为系统204供电。在这个示例中，接收到的指令被添加到指令队列中，在指令被接受后，成像系统240、242、244、246和传感器模块224被激活以收集请求的数据。
[0044]
在一个方面，时钟模块214协助实施与时间有关的例程诸如图像捕获时间表、或省电例程诸如深度睡眠模式，以节省电力并增加智能诱捕器110的使用寿命。
[0045]
图5是防护板220的框图。在一些实施方式中，防护板220包括照明模块222、传感器模块224、和防护通信模块226。在通过相机242、244捕获图像时，照明模块222使灯指向收集室400。照明模块222具有与收集室400垂直的至少一个灯。该灯可以是平坦的。一个或更多个发光二极管(led)可以用于照明模块222。照明模块222可以接收来自微控制器211的指令，以打开、捕获图像、和/或将图像保存到主板210上的临时文件。在一些实施方式中，传感器模块224具有至少一个传感器，用于监测和/或记录环境状况，诸如温度和/或相对湿度。在一些实施方式中，防护通信模块226被用来提供与主板210的通信。例如，防护通信模块226可以从微控制器211接收指令、打开照明模块222、或从传感器模块224收集传感器数据。在一个方面，防护通信模块是端口扩展器。在一个示例中，端口扩展器是mcp23008端口扩展器。
[0046]
图6是相机板240的框图。相机板240包括相机接口246、图像传感器244、以及具有镜头和快门的相机242。在一个示例中，相机板240是arducam 2mega pixel ov2640相机。相机242连接至相机板240。在一个方面，相机242是个高分辨率相机。在另一方面，相机接口246接收来自主板210的指令，以使快门在预定的时间内保持打开。此外，防护通信模块226可以提供对灯光被打开的确认和/或通过传感器模块224收集到的传感器数据。相机242捕获收集室400的图像。在一个方面，捕获到的图像是彩色的(rgb)图像。
[0047]
图7至图10b示出了本文所述的昆虫检测系统100的示例性实施方式。图7示出了板210、220、240的示例性布置。在该示例中，防护板220被定位在主板210和相机板240之间。主
板210是顶部板，以及相机板240是底部板。板210、220、240由竖向支撑件连接(见左后方)。位于防护板222上的照明模块222(如图5所示)和相机242的镜头被定向在相同方向上，使得当防护板222被附接至智能诱捕器的覆盖件时(如图2a所示)，照明模块222和相机242被指向收集室400。图8a至图8b示出了示例性主板210。在该示例中，用于主板210的电源模块216包括电池插座217，该电池插座从至少一个电池218接收电源。电池插座217和wifi模块212位于主板210的第一面上(图8a)。在一些实施方式中，当主板210被容置在覆盖件200中时，主板210的第一面可以面向上。图9a至图9c示出了防护板220的示例性实施方式。在该示例中，照明模块位于防护板220的第一面上，并且包括多个光源223，例如led(图9a)。在一些实施方式中，通信模块226和传感器模块224位于防护板220的第二面上，如图9b所示。在该示例中，四个led灯形成了照明模块222。图9c示出了用于示例性防护板220实施方式的迹线。图10a至图10b示出了示例性相机板240。相机242、244被附接至第一面(图10a)。
[0048]
综上所述，本文所公开的昆虫检测系统100被配置为在黑暗环境中获取高分辨率、高质量的图像。对高分辨率、高质量的图像进行分析可以提高昆虫计数的准确性。首先，高分辨率相机产生较高质量的图像。此外，白色基部410为捕获到的图像中的昆虫提供较高对比度的背景，从而产生较高质量的图像。另外，在成像过程期间通过照明模块222提供的均匀照明提高了图像质量。此外，保持快门打开预设时间的指令被发送到相机板240，使得图像传感器244可以吸收较多的光。
[0049]
在另一方面，捕获到的图像是有时间戳的。用于图像的文件名可以包括识别信息，诸如诱捕器id以及捕获图像的日期和时间。在一个方面，数据库被用来组织捕获到的图像和/或经处理的图像。
[0050]
图11是流程图，例示了对通过智能诱捕器110捕获到的图像进行分析的方法500。在一些实施方式中，算法500确定每个捕获到的图像中昆虫的数量。在一些实施方式中，算法500可以由图像处理器执行。图像处理器可以是位于诱捕器110、服务器120和/或用户装置130中的微控制器211。在一个示例中，算法500是可以由微控制器211执行的宏/功能。在步骤600中，对捕获到的图像进行裁剪和掩蔽，以形成第一经处理图像。
[0051]
在一个方面，对捕获到的图像600进行裁剪和掩蔽移除了捕获到的图像中没有关联的区域和细节，使得仅对捕获到的图像中与收集室400相对应的区域进行进一步处理和分析。因此，用于圆形收集室400的第一经处理图像比捕获到的图像小，并且仅包括与预期的昆虫位置相对应的区域。
[0052]
在步骤700中，对裁剪后/掩蔽的图像进行处理以修改图像的一个或更多个特征。在一些实施方式中，对裁剪后/掩蔽的图像的至少一个特征进行修改可以减少噪点，最小化或消除细小颗粒和/或不相干的细节，和/或将裁剪后/掩蔽的图像转换为二进制图像。单独或结合在一起的这些修改增加了昆虫的计数的准确性。修改包括将裁剪后/掩蔽的图像变换为单色图像(例如灰度)，调整图像的亮度和/或对比度，对图像进行二进制化，和/或减少图像的噪点和/或图像的细节。二进制化通过将像素图像转换为二进制图像和/或减少图像中的噪点来创建二进制图像。二进制化可以仅在暗色区区上或在整个图像上进行。步骤700形成第二经处理图像，该第二经处理图像是经处理裁剪后的图像。
[0053]
在步骤800中，对经处理裁剪后的图像进行分析以确定图像中昆虫的计数。昆虫的计数是谷物侵染的量度。可以对昆虫计数和传感器数据进行分析，以确定昆虫出现与环境
状况(例如温度和/或相对湿度)之间的相关性。
[0054]
图12是流程图，例示了对通过智能诱捕器110捕获到的图像进行分析的方法502。在一些实施方式中，算法502确定每个捕获到的图像中昆虫的数量。在一些实施方式中，算法502可以在微控制器211、服务器120和/或用户装置130上执行。在一个示例中，算法502是可以由微控制器211执行的宏。
[0055]
在步骤610中，对捕获到的图像进行分析，以确定图像中与收集室400相对应的区域。在步骤630中，对捕获到的图像进行裁剪并对捕获到的图像进行掩蔽以形成第一经处理图像，该第一经处理图像仅包含与收集室400相对应的区域。在一个示例中，步骤630包括重新加载捕获到的图像，裁剪捕获到的图像以适配边界框，并掩蔽边界框的角部以产生圆形图像。在步骤700中，对裁剪后/掩蔽的图像进行处理以修改图像的一个或更多个特征。在一些实施方式中，对裁剪后/掩蔽的图像的至少一个特征进行修改可以减少噪点，最小化或消除细小颗粒和/或不相干的细节，和/或将裁剪后/掩蔽的图像转换为二进制图像。单独或结合在一起的这些修改增加了昆虫的计数的准确性。修改包括将裁剪后/遮蔽的图像转化为单色图像(例如灰度)，调整图像的亮度和/或对比度，对图像进行二进制化，和/或减少图像的噪点和/或图像的细节。二进制化通过将像素图像转换为二进制图像和/或减少图像中的噪点来创建二进制图像。二进制化可以仅在黑暗区域上或在整个图像上进行。步骤700形成第二经处理图像，该第二经处理图像是经处理的裁剪图像。在步骤820中，将粒子检测算法应用于经处理裁剪后的图像。在步骤830中，对经处理的剪裁图像进行分析以确定图像中昆虫的计数。昆虫的计数是谷物侵染的量度。可以对昆虫计数和传感器数据进行分析，以确定昆虫出现与环境状况(例如温度和/或相对湿度)之间的相关性。
[0056]
在一个示例中，算法502的步骤610、630、820和830是图11所示的算法500的子例程，其中步骤610和630是对捕获到的图像进行裁剪和掩蔽600的子例程，以及步骤820和830是对昆虫计数进行确定800的子例程。
[0057]
图13是示例性方法610的流程图，用于对捕获到的图像中与收集室400相对应的区域进行确定。在步骤612中，将捕获到的图像转换为灰度。在步骤614中，从捕获到的图像中移除噪点。在一个示例中，步骤614包括应用平均方法，该平均方法在保留边缘的同时移除噪点。合适的平均方法的示例是中位模糊法。在步骤616中，将捕获到的图像转换为二进制图像。在步骤618中，对捕获到的图像应用转换方法，以限定与收集室400相对应的区域。在一个示例中，步骤618应用霍夫圆(hough circle)变换。霍夫圆变换识别捕获到的图像的至少一个圆形区域。每个已识别的区域都由边界框划定。所有识别到的边界框的平均值被用来确定捕获到的图像中与收集室400相对应的区域的中心。在一个方面，霍夫圆变换被应用于二进制图像。
[0058]
图14是对图像700的一个或更多个特征进行修改以形成经处理裁剪后的图像的示例性方法的流程图。在步骤714中，将裁剪后的图像转化为单色图像(例如灰度)。在步骤716中，对裁剪后的图像的亮度和/或对比度进行调整。在步骤718中，对裁剪后的图像的暗色区域进行二进制化。在步骤720中，将裁剪后的图像中的噪点和/或精细细节的数量减少。在一个实施方式中，步骤720包括应用高斯模糊和非锐化掩蔽。可以应用高斯模糊和非锐化掩蔽的多种应用。高斯模糊法减少了图像噪点/细节，而非锐化掩蔽法增加了清晰度。在步骤722中，再次对裁剪后的图像的亮度和/或对比度进行调整。在步骤724中，对整个裁剪后的图像
进行二进制化。
[0059]
图15是颗粒检测算法820的示例性方法的流程图。昆虫数量是通过运行python代码确定的。该代码通过使用昆虫计数算法(imagej)来处理图像，以对每张图像中的昆虫进行计数并保存数据。为了对昆虫的数量进行计数，imagej被用来细化图像以消除背景中的任何颗粒，并通过以下步骤来突出深色的昆虫。在步骤822中，识别至少一个边界框。在一个示例中，识别至少一个边界框822包括在经处理裁剪后的图像中识别感兴趣的区域，并用边界框划定每个感兴趣的区域，并且将边界框放置在成组边界框中。在步骤824中，对该成组边界框进行限制/过滤，以消除不太可能包含昆虫的边界框和/或保留有可能包含昆虫的边界框。例如，边界框可以围绕不包含昆虫的不相干区域。在昆虫的计数中待分析的边界框可以包括某个区域带内的边界框、仅包含黑色像素的边界框、包括具有指定偏心率的物体的边界框、和/或具有椭圆形物体的边界框。通过对边界框的子集830中的昆虫进行计数，确定经处理裁剪后的图像中昆虫数量的计数。在另一方面，昆虫计数数据可以被保存至服务器120上的存储器中，并通过使用用户接口进行可视化，以便进行进一步分析。包括移动应用的用户接口被设计为允许用户轻松地看到与昆虫数量、温度和相对湿度有关的数据。此外，还可以使用图表来对昆虫数量随时间的变化进行可视化。移动应用还具有允许用户查看过去数据的附加功能。
[0060]
可以使用任何合适的编程语言来实现用于昆虫检测系统100、算法500和用户接口的指令。一些示例包括python、c 、html5、css3和/或javascript。
[0061]
在实验室环境和商业环境中评估了本文所述昆虫检测系统100的有效性和准确性。对该昆虫检测系统的有效性、恢复速率和昆虫计数准确性进行了检查。此外，在测试期间还测量了储藏室内外环境空气的温度和相对湿度、以及稻米水分。
[0062]
实验室环境是柱形容器，其中填充有被赤拟谷盗(red flour beetle)侵染的稻米。柱形容器的直径为20cm，高度为48cm，并装有8kg被侵染的稻米。该系统在不同的侵染浓度(4只昆虫/8kg稻谷、8只昆虫/8kg稻谷、16只昆虫/8kg稻谷、和24只昆虫/8kg稻谷)下进行测试，这些浓度相当于(0.5只/kg、1只/kg、2只/kg和3只/kg)。每个浓度都进行了三次测试。
[0063]
表2示出了该系统的有效性和恢复速率。在侵染浓度为0.5只/kg、1只/kg、2只/kg和3只/kg的情况下，该系统可以分别在19分钟、18分钟、20分钟和20分钟内检测到第一只昆虫的出现(表2)。24小时后，对应的总昆虫恢复速率为83％、75％、73％和76％。对于副本1、副本2和副本3，在昆虫浓度为0.5只昆虫/kg时，系统分别在12分钟、16分钟和29分钟内检测到第一只昆虫的出现(表2)。总昆虫恢复速率的对应数值分别为75％、100％和75％。对于副本1、副本2和副本3，在昆虫浓度为1只昆虫/kg的情况下，系统分别在33分钟、17分钟和4分钟内检测到第一只昆虫的出现(表2)。总昆虫恢复速率的对应数值分别为75％、75％和75％。对于副本1、副本2和副本3，在浓度为3只昆虫/千克的情况下，系统分别在29分钟、18分钟和13分钟内检测到第一只昆虫的出现。总昆虫恢复速率的对应数值分别为80％、71％和80％。
[0064]
表2.实验室测试期间系统的有效性和恢复速率
[0065][0066]
恢复速率是指24小时后检测到的昆虫与被害稻米中昆虫总数量的百分比。昆虫总数量的恢复速率可以使用以下等式来计算：
[0067][0068]
其中rr是恢复速率(％)，nid24hr是24小时后检测到的昆虫的数量，以及tni8kg是侵害8kg稻米的昆虫的总数量。
[0069]
表3示出了在实验室测试期间该系统的昆虫计数准确率。昆虫计数准确率是指目视计数的昆虫数量与系统计数的昆虫数量之间的差异。系统达到了很高的计数准确率，对于1只/kg和2只/kg分别为93％和95.6％(表3)。平均图像计数准确率为94.3％。
[0070]
表3.实验室测试期间系统的昆虫计数准确性
[0071][0072]
昆虫计数准确率可以使用以下等式来计算：
[0073][0074]
其中icar是图像计数准确率(％)，δd是目视计数的昆虫数量与系统计数的昆虫数量之间的差异，以及nivc是目视计数的昆虫数量。
[0075]
表4提供了实验室测试期间由系统和温度计记录的温度和相对湿度的平均数和标准偏差。系统记录的温度和相对湿度的总体平均值和标准偏差分别为26.5
±
0.6℃和30
±
0.7％。温度计记录的对应值分别为24.5
±
1.0℃和32.5
±
0.8％(表4)。
[0076]
表4.实验室测试期间由系统和温度计记录的温度和相对湿度的平均数和标准偏差
[0077]
[0078][0079]
商业环境是存放稻米的商业储存设施。在安装三个诱捕器之前以及在安装三个诱捕器之后，对商业储存设施中的稻米进行目视检查。对商业储存设施的目视检查包括从九个不同的地方取样，使用筛选方法检查样品，以确定稻米没有被侵染。在商业环境中的测试是一式三份的。对于每个副本，安装系统并放置一周。在此期间，对昆虫活动进行远程监测。7天后，检查诱捕器，并且对诱捕到的昆虫进行目视计数，然后将其与系统检测到的昆虫进行比较。
[0080]
表5提供了与昆虫系统在商业环境中对昆虫活动的有效性和早期检测有关的数据。对于1号诱捕器，该系统能够在10分钟、40分钟和130分钟内发现第一只、第二只和第三只昆虫的出现(表5)。2号诱捕器和3号诱捕器的对应值分别为11分钟、42分钟、120分钟以及15分钟、43分钟、130分钟(表5)。
[0081]
表5.商业储存测试期间昆虫活动的有效性和早期检测
[0082][0083]
表6示出了系统在商业环境中的昆虫计数准确性。对数据的分析显示，检测昆虫活动仅需要12分钟且计数准确性为91.3％。对于1号诱捕器，结果显示，第一次、第二次和第三次测试的计数准确性分别为100％、91.7％和90％(表6)。2号诱捕器和3号诱捕器的对应值分别为75％、100％、88.9％以及88.9％、87.5％、100％(表6)。
[0084]
表6.系统在商业储存测试中的昆虫计数准确性
[0085]
诱捕器编号检测到的昆虫测试1测试2测试31目视计数71210 系统计数7119 准确性(％)10091.7902目视计数869 系统计数668 准确性(％)7510088.93目视计数9812 系统计数8712 准确性(％)88.987.5100
[0086]
表7示出了在商业储存测试期间，通过系统和温度计记录的温度和相对湿度的平均值和标准偏差。对于1号、2号和3号诱捕器，通过系统传感器记录的温度的总体平均值和标准偏差分别为31.2
±
4.5、30.9
±
5.0和31.7
±
3.8℃(表7)。温度计记录的对应值分别为30.5
±
4.0、29.3
±
2.1和30.1
±
3.1℃。而对于1号、2号和3号诱捕器，通过系统传感器记录的相对湿度的总体平均值和标准偏差分别为49.5
±
11、50
±
10和50
±
12％(表7)。温度计记录的对应值分别为49
±
10、48
±
11和48
±
10％。储藏室内外的平均环境温度分别为25.7
±
4.6℃和28.1
±
8.6℃。相对湿度的对应值为46.9
±
5.3％和45.4
±
12.6％。储存的稻米的平均水分含量分别为11.8
±
0.5％。
[0087]
表7.在商业储存测试期间通过系统和温度计记录的温度和相对湿度的平均值和标准偏差
[0088][0089]
从数据中可以看出，从商业储存设施获得的结果与从实验室测试环境获得的结果一致。
[0090]
综上所述，本文所述的系统可以在20分钟内检测出实验室测试期间和商业储存试验期间的昆虫活动且计数准确性超过90％(图16)。具体地，系统在商业设置测试期间在12分钟内检测到昆虫活动且计数准确性为91.3％。
[0091]
对可能实施方式的讨论
[0092]
根据一个方面，一种用于对昆虫进行实时监测的系统包括诱捕器和图像处理器。诱捕器包括：具有穿孔的室，该穿孔的大小设置成允许昆虫进入智能诱捕器的内部；位于智能诱捕器内的收集室；以及用于捕获图像的成像系统，该图像包括智能诱捕器的收集室。图像处理器被配置为接收由智能诱捕器捕获的图像，并基于对接收到的图像进行的图像分析来确定收集室内的昆虫的计数，其中，图像分析包括：在接收到的图像内识别与收集室的边界相对应的区域；将接收到的图像裁剪至所识别的区域以产生裁剪后的图像；对裁剪后的图像的至少一个特征进行修改以产生经修改的裁剪后的图像；以及基于经修改的裁剪后的图像来确定昆虫的计数。
[0093]
前一段的系统可以选择性地包括以下特征、配置和/或附加部件中的一者或更多者，另外地和/或替代性地包括以下特征、配置和/或附加部件中的任一者。
[0094]
例如，在一些实施方式中，图像处理器被包括作为智能诱捕器的一部分。
[0095]
在一些实施方式中，系统还包括相对于智能诱捕器远程地定位服务器，其中，该服务器与智能诱捕器以通信的方式联接以接收来自智能诱捕器的数据。
[0096]
在一些实施方式中，图像处理器位于服务器上，并且其中，从智能诱捕器接收到的数据包括由智能诱捕器捕获的图像。
[0097]
在一些实施方式中，其中，在接收到的图像内识别与收集室的边界相对应的区域包括：对捕获到的图像应用霍夫圆变换以在接收到的图像中识别与收集室的边界相对应的区域。
[0098]
在一些实施方式中，其中，对裁剪后的图像的至少一个特征进行修改包括以下项中的一项或更多项：将裁剪后的图像转换为灰度；对裁剪后的图像的亮度/对比度进行调整；对裁剪后的图像的暗色区域进行二进制化；减少裁剪后的图像的图像/噪点；以及对裁剪后过图像进行二进制化。
[0099]
在一些实施方式中，其中，基于经修改的裁剪后的图像来确定昆虫的计数包括对经修改的裁剪后的图像应用粒子检测算法。
[0100]
在一些实施方式中，其中，应用粒子检测算法包括：针对第二经处理图像中每个感兴趣的区域识别边界框；将该边界框放置到边界框集中；将该边界框集过滤为边界框子集；
对该边界框子集中的昆虫进行计数，以确定捕获到的图像中昆虫的计数。
[0101]
在一些实施方式中，其中，将边界框集过滤包括将该集中的边界框限制为基于以下项中的一项或更多项的边界框：边界框的位置在某个区域带内；边界框内存在黑色像素；存在具有指定偏心率的物体；和/或存在具有椭圆形物体的物体。
[0102]
在一些实施方式中，其中，粒子检测算法从边界框子集中确定昆虫的计数，每个边界框对经修改的裁剪后的图像中感兴趣的区域进行识别。
[0103]
根据另一方面，一种用于检测昆虫的诱捕器包括：具有开口的穿孔室，该开口的大小设置成允许昆虫进入诱捕器的内部；位于智能诱捕器内、用于收集被允许的昆虫的收集室；以及被配置为覆盖穿孔室的覆盖件，该覆盖件容置电子系统，该电子系统包括成像系统以捕获收集室的图像。
[0104]
前一段的诱捕器可以选择性地包括以下特征、配置和/或附加部件中的一者或更多者，另外地和/或替代性地包括以下特征、配置和/或附加部件中的任一者。
[0105]
在一些实施方式中，电子系统还包括照明模块，该照明模块用于在成像系统捕获图像时对收集室进行照明。
[0106]
在一些实施方式中，电子系统还包括传感器模块，该传感器模块用于对关于一个或更多个环境状况的数据进行收集。
[0107]
在一些实施方式中，成像系统包括相机板，该系统还包括具有微控制器和通信模块的主板以及具有照明模块的防护板；其中，主板、防护板和相机板是水平堆叠的，其中防护板位于主板与相机板之间。
[0108]
在一些实施方式中，微控制器被配置为向防护板和相机板提供指令，其中，指令包括用于照明模块以对智能诱捕器内部进行照明的指令以及用于相机板以捕获智能诱捕器内部的图像的指令。
[0109]
根据另一方面，一种对捕获到的图像中的昆虫进行计数的方法包括对捕获到的图像进行裁剪和掩蔽，以产生仅包含捕获到的图像中与收集室相关的区域的第一经处理图像，对第一经处理图像的至少一个特征进行修改以产生第二经处理图像，并通过对第二经处理图像执行粒子检测算法来确定捕获到的图像中昆虫的计数。
[0110]
前一段的方法可以选择性地包括以下特征、配置和/或附加部件中的一者或更多者，另外地和/或替代性地包括以下特征、配置和/或附加部件中的任一者。
[0111]
在一些实施方式中，对捕获到的图像进行裁剪和掩蔽包括应用霍夫圆变换来限定该区域。
[0112]
在一些实施方式中，对第一经处理图像的至少一个特征进行修改使得第一经处理图像中的任何昆虫较为明显，从而较容易通过粒子检测算法进行识别。
[0113]
在一些实施方式中，对第一经处理图像的至少一个特征进行修改包括以下项中的一项或更多项：将第一经处理图像转换为灰度；对第一经处理图像的亮度/对比度进行调整；对第一经处理图像的暗色区域进行二进制化；减少第一经处理图像的图像/噪点；以及对第一经处理图像进行二进制化。
[0114]
在一些实施方式中，粒子检测算法包括从边界框子集中确定昆虫的计数，每个边界框对第二经处理图像中感兴趣的区域进行识别。
[0115]
在一些实施方式中，粒子检测算法还包括：针对第二经处理图像中每个感兴趣的
区域确定边界框；将该边界框放置到边界框集中；将该边界框集过滤为边界框子集；以及对该边界框子集中的昆虫进行计数，以确定捕获到的图像中昆虫的计数。
[0116]
在一些实施方式中，将边界框集过滤包括将该集中的边界框限制为基于以下项中的一项或更多项的边界框：边界框的位置在某个区域带内；边界框内存在黑色像素；存在具有指定偏心率的物体；和/或存在具有椭圆形物体的物体。
[0117]
本公开内容的其他实施方式也是可能的。尽管上述描述包含很多具体内容，但这些不应被解释为对本公开内容范围的限制，而仅仅是提供本公开内容的一些目前优选实施方式的例示。我们还考虑到可以对实施方式的具体特征和各方面进行各种组合或次级组合，并且仍然落入本公开内容的范围内。应理解的是，所公开的实施方式的各种特征和各方面可以相互结合或替换，以形成各种实施方式。因此，本公开内容内容的至少一部分的范围不应受到上述特定公开实施方式的限制。
[0118]
因此，本公开内容的范围应由所附权利要求及其法律上的等效物来确定。因此，将理解的是，本公开内容的范围完全包括对本领域技术人员来说可能变得显而易见的其他实施方式，并且本公开内容的范围相应地仅受所附权利要求的限制，其中对单数形式的元件的提及除非明确说明并不意在“一个且仅有一个”，而是“一个或更多个”。本领域普通技术人员已知的与上述优选实施方式中的各元件的所有结构上、化学上和功能上的等效物都通过引用明确纳入本文，并意在被本权利要求所涵盖。此外，装置或方法不一定要解决本公开内容所要解决的每一个问题才会被本权利要求所涵盖。此外，本公开内容中的任何元件、部件或方法步骤都不意在专用于公众，无论该元件、部件或方法步骤是否在权利要求中明确提及。
[0119]
前面对本公开内容的各种优选实施方式的描述是为了例示和描述的目的。它并非意在穷举或意在将公开内容限制在精确的实施方式中，显然根据上述教导，许多修改和变化是可能的。如上所述，选择和描述示例性实施方式是为了最佳地地解释本公开内容的原理及其实际应用，从而使本领域的其他技术人员能够在各种实施方式中最佳地利用本公开内容，并进行适合所设想的特定用途的各种修改。意在由所附的权利要求来限定本发明的范围。
[0120]
已经描述了各种示例。这些示例和其他示例都在所附权利要求的范围内。