基于专家知识语义的作物生育期监测方法、系统、装置与流程

本发明属于农作物生育期图像识别，具体涉及一种基于专家知识语义的作物生育期监测方法、系统、装置。

背景技术：

1、随着智慧农业技术持续发展，基于计算机视觉的作物生育期自动识别已经成为精准耕作体系中的关键环节。当前作物生育期视觉识别方案多采用卷积神经网络，进行图像特征提取与分类识别。但是，现有技术仍存在以下缺陷：

2、其一，现有卷积神经网络仅学习像素级统计特征，在面对田间泥土、杂草、阴影等复杂背景时，易误将非目标特征误判为作物特征，造成识别错误；

3、其二，纯视觉识别结果属于黑盒模型,为引入作物生长发育的生物学先验知识，存在输出违背作物生长时序规律识别结果的风险。例如判定作物先进入成熟期，再出现吐丝特征等不符合农学常识的预测；

4、其三，田间图像设备采集多样，且不同拍摄角度(近距离手机与远距离摄像头)容易造成视觉尺度巨大差异,依靠固定卷积核结构难以适应尺度变化、难以保证识别稳定性。

技术实现思路

1、本发明的目的在于提供一种基于专家知识语义的作物生育期监测方法、系统、装置，以解决现有作物生育期视觉识别因背景干扰、缺少农学逻辑纠错导致的识别精度低等问题。

2、为了实现上述目的，本发明的技术方案如下。

3、一种基于专家知识语义的作物生育期监测方法，包括以下步骤：

4、s1、获取作物生育期多源图像，对所述多源图像进行预处理，得到标准图像；

5、s2、将标准图像输入至两路并行分支，其中视觉子分支对标准图像提取第一空间视觉特征图；语义子分支将标准图像作为视觉模态、将专家知识语义向量作为文本语义模态，通过跨模态编码处理将视觉模态和文本语义模态进行注意力交互，得到第一图像语义特征图；

6、s3、将第一空间视觉特征图与第一图像语义特征图维度对齐，分别得到第二空间视觉特征图和第二图像语义特征图；基于第一空间视觉特征图生成归一化热力图，基于归一化热力图生成权重矩阵，用权重矩阵对第二图像语义特征图进行逐像素自适应加权，得到第三图像语义特征图；

7、s4、基于第二空间视觉特征图生成视觉查询向量、基于第三图像语义特征图生成专家语义键向量，结合专家知识语义向量对第二空间视觉特征图和第三图像语义特征图进行交叉注意力融合，得到融合特征；

8、s5、基于融合特征得到初步生育期预测结果，结合预测结果对应的专家知识语义向量，计算与第三图像语义特征图的相似度，相似度高于阈值时，自适应调节专家知识语义向量干预强度，输出最终预测结果。

9、优选的，交叉注意力融合包括以下操作：

10、，

11、其中，为融合特征，为视觉查询向量，是专家语义键向量的转置向量，表示专家知识语义向量，表示特征维度缩放因子。

12、优选的，自适应调节专家知识语义向量干预强度，包括以下操作：

13、将融合特征与特征变换权重矩阵相乘，经激活函数后，得到未经专家知识语义向量逻辑纠偏的初步生育期预测置信度；同时，基于置信补偿项调整专家知识干预强度，结合纠缠因子，对初步生育期预测置信度进行修正，得到最终置信度评分。

14、优选的，基于第一空间视觉特征图生成归一化热力图，包括以下操作：

15、结合视觉分支对特定生育期类别的预测得分，和第一空间视觉特征图在特定通道和空间位置的特征值的偏导，计算该特定生育期类别在该特定通道下的平均梯度权重；基于平均梯度权重计算所有通道的加权特征，得到该特定生育期类别对应的未归一化原始热力图；对原始热力图执行归一化操作，得到归一化热力图。

16、优选的，基于归一化热力图生成权重矩阵包括以下操作：

17、依据归一化热力图各像素响应强度划分区间，为不同区间分配对应的像素级引导系数；将引导系数进行维度扩展，得到与第二图像语义特征图维度一致的权重矩阵。

18、优选的，逐像素自适应加权包括以下操作：

19、基于权重矩阵构建权重调节项，将权重调节项与第二图像语义特征图进行逐元素相乘，得到第三图像语义特征图。

20、优选的，专家知识语义向量通过以下操作得到：

21、预先构建专家知识库，包含各生育期对应的生育期描述与核心生理证据提示词；将生理证据提示词进行编码，作为专家知识语义向量。

22、优选的，预测结果对应的专家知识语义向量：

23、通过专家知识库中建立的生育期与生理证据关联关系，获取与预测的生育期相匹配的核心生理证据提示词对应的专家知识语义向量，作为预测结果对应的专家知识语义向量。

24、一种基于专家知识语义的作物生育期监测系统，包括以下模块：

25、预处理模块，获取作物生育期多源图像，对所述多源图像进行预处理，得到标准图像；

26、特征提取模块，将标准图像输入至两路并行分支，其中视觉子分支对标准图像提取第一空间视觉特征图；语义子分支将标准图像作为视觉模态、将专家知识语义向量作为文本语义模态，通过跨模态编码处理将视觉模态和文本语义模态进行注意力交互，得到第一图像语义特征图；

27、热力图加权模块，将第一空间视觉特征图与第一图像语义特征图维度对齐，分别得到第二空间视觉特征图和第二图像语义特征图；基于第一空间视觉特征图生成归一化热力图，基于归一化热力图生成权重矩阵，用权重矩阵对第二图像语义特征图进行逐像素自适应加权，得到第三图像语义特征图；

28、注意力融合模块，基于第二空间视觉特征图生成视觉查询向量、基于第三图像语义特征图生成专家语义键向量，结合专家知识语义向量对第二空间视觉特征图和第三图像语义特征图进行交叉注意力融合，得到融合特征；

29、判别输出模块，基于融合特征得到初步生育期预测结果，结合预测结果对应的专家知识语义向量，计算与第三图像语义特征图的相似度，相似度高于阈值时，自适应调节专家知识语义向量干预强度，输出最终预测结果。

30、一种基于专家知识语义的作物生育期监测装置，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现本发明所述基于专家知识语义的作物生育期监测方法。

31、采用本发明提供的技术方案，与现有技术相比，具有如下有益效果：

32、基于归一化热力图生成权重矩阵，对图像语义特征进行残差加权，弱化田间复杂背景干扰，减少背景带来的误判；

33、依托专家知识库设置生理证据仲裁门控与自适应置信补偿机制，拦截不符合农学规律的预测结果，实现视觉识别结果智能纠偏；

34、采用视觉和语义双分支进行特征提取，结合跨模态编码器实现图像信息与专家文本语义耦合，有效提升多拍摄角度下生育期识别稳定性与准确性。

1.一种基于专家知识语义的作物生育期监测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述一种基于专家知识语义的作物生育期监测方法，其特征在于s4中交叉注意力融合包括以下操作：

3.根据权利要求1所述一种基于专家知识语义的作物生育期监测方法，其特征在于s5中自适应调节专家知识语义向量干预强度，包括以下操作：

4.根据权利要求1所述一种基于专家知识语义的作物生育期监测方法，其特征在于s3基于第一空间视觉特征图生成归一化热力图，包括以下操作：

5.根据权利要求1所述一种基于专家知识语义的作物生育期监测方法，其特征在于s3基于归一化热力图生成权重矩阵包括以下操作：

6.根据权利要求1所述一种基于专家知识语义的作物生育期监测方法，其特征在于s3中逐像素自适应加权包括以下操作：

7.根据权利要求1所述一种基于专家知识语义的作物生育期监测方法，其特征在于s2中专家知识语义向量通过以下操作得到：

8.根据权利要求1所述一种基于专家知识语义的作物生育期监测方法，其特征在于s5中预测结果对应的专家知识语义向量：

9.一种基于专家知识语义的作物生育期监测系统，其特征在于，包括以下模块：

10.一种基于专家知识语义的作物生育期监测装置，其特征在于，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如权利要求1-8任一项所述基于专家知识语义的作物生育期监测方法。