一种种苗冻害早期检测方法、装置及电子设备

本发明属于农业智能监测与计算机视觉，具体涉及一种种苗冻害早期检测方法、装置及电子设备。

背景技术：

1、育苗阶段种苗极易受低温影响产生胁迫或不可逆冻害，冻害初期外观特征微弱，依靠人工巡检识别滞后，易造成大面积种苗损耗。现有单一可见光图像检测方案易受温室光照不均、雾气遮挡干扰，难以捕捉种苗低温引发的细微温度异常；单纯热红外检测缺少植株形态特征，识别准确率偏低。

2、现有双模态图像检测方案适配通用户外场景，未针对温室复杂环境设计配套图像处理流程，图像匹配对齐精度较差；常规卷积神经网络模型参数量大、推理速度慢，难以适配温室现场嵌入式终端部署需求，同时现有检测模型仅能简单判断种苗是否受损，无法区分可逆低温胁迫与不可逆冻害，模型训练过程缺少贴合育苗监测场景的优化策略，整体识别精度与实时性难以满足育苗冻害早期精准监测的实际使用需求。

技术实现思路

1、本发明提供一种种苗冻害早期检测方法，包括：在预设时间段对育苗区域种苗同步采集成对的可见光图像和热红外成像图像，成对图像满足同一时刻同一视角同一植株冠层；对所述可见光图像进行温室场景定制化预处理，对所述热红外成像图像进行抗环境干扰定制化预处理，并将两者进行亚像素级刚性配准，获得像素一一对应的双模态配准图像对；将所述双模态配准图像对输入预设的改进轻量化cnn模型，输出种苗生长状态的分类概率向量；根据所述分类概率向量判别所述种苗生长状态，完成种苗冻害早期识别。

2、根据本发明的一个实施方式，所述对所述可见光图像进行温室场景定制化预处理，进一步包括：对所述可见光图像进行光照归一化处理；进行自适应去雾处理；执行高斯去噪处理。

3、根据本发明的一个实施方式，所述对所述热红外成像图像进行抗环境干扰定制化预处理，进一步包括：对所述热红外成像图像进行自适应高斯时空滤波去噪处理，去除所述热红外成像图像自带的热噪声、椒盐噪声，同时根据像素灰度动态调整滤波参数；进行热红外灰度值与温度值的线性映射处理；进行环境基线温度校正处理；进行温度场梯度计算处理。

4、根据本发明的一个实施方式，对所述可见光图像和所述热红外成像图像进行亚像素级刚性配准，进一步包括：分别提取所述可见光图像和所述热红外成像图像的尺度不变特征变换关键点；对两类关键点进行匹配，筛选出正确的特征点匹配对；基于该匹配对求解刚性仿射变换矩阵，利用所述刚性仿射变换矩阵将所述热红外成像图像映射至所述可见光图像；对所述可见光图像与映射后得到的热红外温度场图像进行尺寸统一。

5、根据本发明的一个实施方式，还包括构建所述改进轻量化cnn模型的步骤，包括：构建可见光特征提取支路与热红外特征提取支路的双支路结构；在所述可见光特征提取支路中加入多尺度弱特征增强模块；在所述热红外特征提取支路中加入热异常敏感注意力模块；采用跨模态双向稠密融合模块融合双支路输出特征；将融合特征接入定制的分类输出层。

6、根据本发明的一个实施方式，还包括对所述改进轻量化cnn模型进行训练的步骤，包括：构建种苗可见光图像和热红外成像图像双模态配准图像对；对每组所述双模态配准图像对标注对应种苗状态标签；汇总所有完成标注的双模态配准图像对，构建种苗双模态训练数据集；将所述种苗双模态训练数据集输入所述改进轻量化cnn模型，执行前向传播计算；采用定制化损失函数计算所述改进轻量化cnn模型输出的预测结果与真实状态标签之间的误差；依据计算得到的误差执行反向传播操作，更新所述改进轻量化cnn模型的网络参数；循环迭代前向传播、损失计算、反向传播，更新所述网络参数，直至所述改进轻量化cnn模型达到收敛条件。

7、根据本发明的一个实施方式，所述根据所述分类概率向量判别所述种苗生长状态，进一步包括：提取所述分类概率向量中分别对应正常种苗、可逆低温胁迫种苗、不可逆冻害种苗的三类概率数值；对比三类概率数值，选取数值最大的概率对应的种苗状态作为当前种苗判定状态；判定状态为可逆低温胁迫种苗或不可逆冻害种苗时，执行种苗冻害早期预警信息输出操作。

8、根据本发明的一个实施方式，所述同步采集成对的可见光图像和热红外成像图像，进一步包括：采用同步触发控制器分别连接可见光成像设备与热红外成像设备，通过所述同步触发控制器输出同步脉冲信号，控制两类成像设备同步完成图像采集。

9、本发明还提供一种种苗冻害早期检测装置，包括：图像采集单元，包含可见光成像设备、热红外成像设备以及同步触发控制器；所述同步触发控制器分别电连接所述可见光成像设备、所述热红外成像设备，输出同步脉冲信号，控制两类设备同步采集同一时刻、同一视角、同一植株冠层的成对可见光图像和热红外成像图像；本地预处理单元，用于对所述可见光图像执行温室场景定制化预处理，对所述热红外成像图像执行抗环境干扰定制化预处理；图像配准单元，与所述本地预处理单元相连，对预处理后的两类图像执行亚像素级刚性配准；轻量化cnn推理单元，存储训练完成的改进轻量化cnn模型，接收所述双模态配准图像对并输出种苗生长状态的分类概率向量；状态判别预警单元，与所述轻量化cnn推理单元连接，提取所述分类概率向量中正常种苗、可逆低温胁迫种苗、不可逆冻害种苗三类状态对应的概率数值，选取最大值对应种苗状态；判定状态为可逆低温胁迫种苗或不可逆冻害种苗时，执行种苗冻害早期预警信息输出操作。

10、本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施方式的种苗冻害早期检测方法。

11、本发明借助同步触发控制器实现两类成像设备同步采集图像，所得图像在拍摄时间拍摄视角拍摄范围上保持统一，保障可见光图像与热红外成像图像能够精准匹配，为双模态信息融合识别提供稳定原始数据。本发明分别设置适配温室环境的图像处理流程，可见光图像依次执行光照归一化、自适应去雾、高斯去噪处理，热红外成像图像依次执行自适应高斯时空滤波、灰度-温度线性映射、环境基线温度校正、温度场梯度计算处理，能够有效消除温室光照、雾气、环境温度偏移带来的干扰，降低环境噪声对识别结果的干扰程度。

12、本发明提取尺度不变特征变换关键点完成图像匹配并求解刚性仿射变换矩阵，实现亚像素级刚性配准，提升两类图像像素对齐精度，同步利用植株形态特征与温度特征开展识别，改善单一模态图像识别特征缺失识别准确度不足的问题。本发明搭建包含两条特征提取支路的轻量化网络，两条支路分别配置多尺度弱特征增强模块与热异常敏感注意力模块，轻量化网络结构可以部署在温室嵌入式设备完成本地推理，模型依靠标注完整的双模态训练数据集结合定制损失函数迭代训练，能够区分种苗可逆低温胁迫状态与不可逆冻害状态，实现冻害早期预警。

13、本发明设置一体化检测装置，整合图像采集、图像预处理、图像配准、网络推理、状态判别、预警输出全部功能，配套电子设备可独立运行整套检测流程，全程无需云端算力参与，数据处理实时性满足温室现场长时间自动化监测需求。

1.一种种苗冻害早期检测方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述对所述可见光图像进行温室场景定制化预处理，进一步包括：

3.根据权利要求1所述的方法，其特征在于，所述对所述热红外成像图像进行抗环境干扰定制化预处理，进一步包括：

4.根据权利要求1所述的方法，其特征在于，对所述可见光图像和所述热红外成像图像进行亚像素级刚性配准，进一步包括：

5.根据权利要求1所述的方法，其特征在于，还包括构建所述改进轻量化cnn模型的步骤，包括：

6.根据权利要求1所述的方法，其特征在于，还包括对所述改进轻量化cnn模型进行训练的步骤，包括：

7.根据权利要求1所述的方法，其特征在于，所述根据所述分类概率向量判别所述种苗生长状态，进一步包括：

8.根据权利要求1所述的方法，其特征在于，所述同步采集成对的可见光图像和热红外成像图像，进一步包括：

9.一种种苗冻害早期检测装置，其特征在于，包括：

10.一种电子设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述种苗冻害早期检测方法。