一种基于多模态数据融合的隐蔽性害虫低成本检测系统

本发明涉及智慧农业，尤其涉及一种基于多模态数据融合的隐蔽性害虫低成本检测系统。

背景技术：

1、农业害虫的有效监测与防控对于保障粮食产量和品质具有重要意义。在众多农业害虫类型中，隐蔽性害虫的防治尤为困难。以玉米象、米象、麦蛾和谷蠹为代表的隐蔽性害虫，在其生活史的关键阶段选择性地藏匿于作物茎秆内部、叶片夹层或土壤根系深处，这类害虫的危害具有显著的隐蔽性特征，常规的田间调查方法难以实现早期发现，待作物表现出明显受害症状时，危害往往已造成不可逆的损失，严重威胁农业生产效益。

2、在现有技术中，农户主要依赖肉眼观察或经验判断进行害虫检测，这种方式准确性低且具有明显的滞后性，仅能识别已产生外部症状的受害作物，难以在害虫活动早期进行有效监测。虽然目前已存在一些高精度的检测设备，如实验室级光谱仪或专业声学探测装置等高端产品，能够提供较为准确的检测结果，但这些设备价格昂贵、操作复杂，完全不适合中小农户使用。此外，部分技术方案仅基于单一类型传感器进行检测，如仅依靠光学图像或仅依靠声音信号进行判断，这些方案对于隐蔽于作物组织内部的危害识别能力有限，误判率居高不下。

技术实现思路

1、本发明的目的在于提出一种基于多模态数据融合的隐蔽性害虫低成本检测系统，以解决现有技术中存在的隐蔽性害虫检测困难、准确率低、设备成本高昂以及单一传感器方案误判率高等缺陷。

2、为实现上述目的，本发明提出一种基于多模态数据融合的隐蔽性害虫低成本检测系统，包括数据采集模块、数据分析模块和用户交互模块；

3、数据采集模块用于采集作物生长状态的多模态数据，包括手持式探测终端和至少一个田间声音监测桩；手持式探测终端的壳体上集成有光学摄像头、近红外光谱传感器和第一声波传感器；田间声音监测桩的内部集成有第二声波传感器；

4、数据分析模块与数据采集模块通信连接，用于接收并融合处理来自数据采集模块的多模态数据，输出害虫识别结果；

5、用户交互模块与数据分析模块通信连接，用于向用户呈现害虫识别结果。

6、进一步的，手持式探测终端的壳体前端设置有声音耦合结构，声音耦合结构用于与作物茎秆或叶片表面贴合，实现物理接触式声学耦合；第一声波传感器的接收端位于声音耦合结构内。

7、进一步的，声音耦合结构由软质硅胶材料制成。

8、进一步的，光学摄像头、近红外光谱传感器及第一声波传感器通过通用接口模块与手持式探测终端内部的主控制器连接；通用接口模块采用标准化的通信协议和物理接口。

9、进一步的，田间声音监测桩包括太阳能供电单元和无线通信单元；太阳能供电单元包括太阳能电池板和小容量蓄电池；无线通信单元采用低功耗广域网技术，将采集的声波数据周期性发送至数据分析模块。

10、进一步的，数据分析模块执行以下步骤进行多模态数据融合识别：对近红外光谱传感器采集的数据进行成分变化分析，采用savitzky-golay滤波算法进行平滑处理，采用标准正态变量变换进行基线漂移抑制，利用偏最小二乘回归模型预测作物组织的纤维素含量与水分含量，识别内部成分异常并量化为第一数值置信度。

11、进一步的，当检测部位的纤维素含量低于健康基准值百分之十五以上或水分含量低于健康基准值百分之二十以上时，系统判定该区域存在内部成分异常。

12、进一步的，数据分析模块对第一声波传感器和第二声波传感器采集的音频数据进行害虫特征声音频谱分析，采用五十赫兹工频陷波滤波器消除电网干扰，采用一百赫兹至八千赫兹的带通滤波保留害虫活动声音的主要频段，提取梅尔频率倒谱系数、频谱质心及子频带能量比声纹特征向量，生成第二数值置信度。

13、进一步的，数据分析模块对光学图像数据进行外部特征分析，采用基于深度学习的图像分割模型分割作物叶片区域，使用卷积神经网络提取多尺度视觉特征，识别虫孔、病斑、潜叶痕迹或蜜露虫粪类残留物，生成第三数值置信度。

14、进一步的，数据分析模块采用基于自适应加权机制的置信度融合算法对第一数值置信度、第二数值置信度和第三数值置信度进行融合计算；当第二数值置信度大于第二阈值且第一数值置信度大于第一阈值而第三数值置信度小于第三阈值时，系统激活早期隐蔽检测模式，增大声学模态的调整幅度系数。

15、与现有技术相比，本发明的优势之处在于：

16、1、 本发明通过将光学摄像头、近红外光谱传感器与声波传感器相结合，融合图像、光谱、声音三种模态数据，实现了对玉米象、米象、麦蛾和谷蠹等藏匿于作物内部或土壤中的害虫的非破坏性检测与早期识别，显著提高了识别的准确性与时效性，为精准防治提供了可靠依据。

17、2、本发明通过提供便携与长期监测相结合的灵活监测模式，系统集成手持式探测终端与田间固定监测桩，既支持人工巡检的快速点状检测，又能实现无人值守的长期面状监测，满足不同场景、不同阶段的害虫监测需求，显著提升了监测的覆盖范围和连续性。

18、3、本发明通过显著降低技术成本与使用门槛，采用低成本近红外传感器、普通光学摄像头，通过模块化设计实现传感器集成，配合通用接口模块，大幅降低了硬件成本。系统操作简便，无需专业培训，使中小农户能够负担并便捷使用，有效解决了传统高精度设备价格昂贵、操作复杂的问题。

19、4、本发明通过有效避免单一传感器检测的局限性，多模态数据融合系统能够综合利用外部形态、内部成分和活动特征三类信息进行交叉验证与联合判断，克服了仅依赖图像易忽略内部危害、仅依赖声音易受环境干扰的缺点，大幅提升了检测的可靠性。

20、5、本发明通过实现早期预警，系统能够在害虫造成明显外部症状或严重内部破坏之前，通过内部成分异常和特征声音进行早期识别与预警，使防治窗口期大幅提前，避免或显著减轻因虫害导致的作物生长受阻、产量下降等不可逆损失。

21、6、本发明通过具备对地下与地上害虫的协同监测能力，系统包含便携式手持终端与固定式田间监测桩，可分别对地上茎叶内部害虫与地下根系层害虫活动进行持续或定点监测，实现了对作物全生育期、全空间维度的立体化虫情监测，扩展了系统的适用场景。

1.一种基于多模态数据融合的隐蔽性害虫低成本检测系统，其特征在于，包括数据采集模块、数据分析模块和用户交互模块；

2.根据权利要求1所述的基于多模态数据融合的隐蔽性害虫低成本检测系统，其特征在于，所述手持式探测终端的壳体前端设置有声音耦合结构，所述声音耦合结构用于与作物茎秆或叶片表面贴合，实现物理接触式声学耦合；所述第一声波传感器的接收端位于所述声音耦合结构内。

3.根据权利要求2所述的基于多模态数据融合的隐蔽性害虫低成本检测系统，其特征在于，所述声音耦合结构由软质硅胶材料制成。

4.根据权利要求1所述的基于多模态数据融合的隐蔽性害虫低成本检测系统，其特征在于，所述光学摄像头、所述近红外光谱传感器及所述第一声波传感器通过通用接口模块与所述手持式探测终端内部的主控制器连接；所述通用接口模块采用标准化的通信协议和物理接口。

5.根据权利要求1所述的基于多模态数据融合的隐蔽性害虫低成本检测系统，其特征在于，所述田间声音监测桩包括太阳能供电单元和无线通信单元；所述太阳能供电单元包括太阳能电池板和小容量蓄电池；所述无线通信单元采用低功耗广域网技术，将采集的声波数据周期性发送至所述数据分析模块。

6.根据权利要求1所述的基于多模态数据融合的隐蔽性害虫低成本检测系统，其特征在于，所述数据分析模块执行以下步骤进行多模态数据融合识别：对所述近红外光谱传感器采集的数据进行成分变化分析，采用savitzky-golay滤波算法进行平滑处理，采用标准正态变量变换进行基线漂移抑制，利用偏最小二乘回归模型预测作物组织的纤维素含量与水分含量，识别内部成分异常并量化为第一数值置信度。

7.根据权利要求6所述的基于多模态数据融合的隐蔽性害虫低成本检测系统，其特征在于，当检测部位的纤维素含量低于健康基准值百分之十五以上或水分含量低于健康基准值百分之二十以上时，系统判定该区域存在内部成分异常。

8.根据权利要求1所述的基于多模态数据融合的隐蔽性害虫低成本检测系统，其特征在于，所述数据分析模块对所述第一声波传感器和所述第二声波传感器采集的音频数据进行害虫特征声音频谱分析，采用五十赫兹工频陷波滤波器消除电网干扰，采用一百赫兹至八千赫兹的带通滤波保留害虫活动声音的主要频段，提取梅尔频率倒谱系数、频谱质心及子频带能量比声纹特征向量，生成第二数值置信度。

9.根据权利要求1所述的基于多模态数据融合的隐蔽性害虫低成本检测系统，其特征在于，所述数据分析模块对光学图像数据进行外部特征分析，采用基于深度学习的图像分割模型分割作物叶片区域，使用卷积神经网络提取多尺度视觉特征，识别虫孔、病斑、潜叶痕迹或蜜露虫粪类残留物，生成第三数值置信度。

10.根据权利要求1所述的基于多模态数据融合的隐蔽性害虫低成本检测系统，其特征在于，所述数据分析模块采用基于自适应加权机制的置信度融合算法对第一数值置信度、第二数值置信度和第三数值置信度进行融合计算；当第二数值置信度大于第二阈值且第一数值置信度大于第一阈值而第三数值置信度小于第三阈值时，系统激活早期隐蔽检测模式，增大声学模态的调整幅度系数。