一种基于知识增强与空间位置编码的开放词汇虫害检测方法及系统

摘要: 本发明属于农业视觉检测领域,具体涉及一种基于知识增强与空间位置编码的开放词汇虫害检测方法及系统。背景技术:1、开放词汇目标检测成为农业视觉识别领域重点研究方向。...
一种基于知识增强与空间位置编码的开放词汇虫害检测方法及系统

本发明属于农业视觉检测领域,具体涉及一种基于知识增强与空间位置编码的开放词汇虫害检测方法及系统。

背景技术:

1、开放词汇目标检测成为农业视觉识别领域重点研究方向。该技术摆脱固定虫害类别集合限制,可通过文本描述指令动态指定待检测虫害类别,能够识别训练数据中从未出现的未知虫害,与农业场景新发虫害、未知虫害检测需求高度匹配。开放词汇目标检测的核心技术难点,是构建稳定鲁棒的视觉 - 语言跨模态对齐空间,实现图像视觉特征与植保文本语义特征深度融合。

2、目前行业内已形成多款成熟开放词汇目标检测基础算法框架,例如视觉语言引导检测框架、基于对比学习的开放域检测模型,为跨模态特征融合、开放类别目标识别奠定基础;同时,大规模视觉语言模型依托海量通用图文数据预训练,习得通用物体知识、物体属性、场景上下文语义逻辑,具备极强的图像理解、跨模态推理能力,成为开放词汇检测技术新发展方向。

3、但将现有开放词汇检测模型、通用视觉语言模型直接迁移至农田虫害检测场景后,暴露出一系列无法规避的技术瓶颈:

4、第一,现有主流方案仅完成视觉、文本特征浅层拼接对齐,无法学习农田专属场景语义、虫害空间分布规律、多种虫害共生依存关系等行业深层逻辑,未建模田间空间上下文、虫害共生分布关系,对新发、未知虫害泛化识别能力弱,模型对未知虫害泛化识别准确率低;

5、第二,现有视觉语言检测模型仅输出单目标粗粒度分类标签,忽略害虫、农作物、植株部位、多种虫害之间的空间上下文关联,图文匹配仅停留在表层特征;

6、第三,农业虫害普遍存在体型微小、外观相似度高、藏匿于叶片 / 茎秆内部隐蔽性强、成片密集分布等特点,低分辨率输入会丢失虫体斑纹、触角等细粒度判别特征;若直接对高分辨率图像分块处理,会将单只虫害拆分至不同图像块,造成目标截断、连续语义断裂,无法同步兼顾局部细节与全局场景信息,难以识别微小、密集分布虫害;

7、第四,传统一维旋转位置编码仅适配一维文本序列或无分块完整二维图像,无法对 “全局完整视图 + 多张子局部分块” 构成的多视图图像做跨尺度多维空间建模,多视图特征融合后丢失像素级空间定位信息,微小虫害、隐蔽虫害边界框定位误差大。

8、现有视觉语言检测模型迁移至农业场景时普遍采用全量参数训练,训练过程会覆盖预训练阶段学习到的通用语义知识,出现知识遗忘问题,无法同时兼顾植保语义理解能力与虫害目标定位能力。

技术实现思路

1、为了克服上述现有技术存在的问题,本发明的目的在于提供一种基于知识增强与空间位置编码的开放词汇虫害检测方法及系统,构建两阶段训练范式,第一阶段冻结大语言模型完成视觉与植保文本深层对齐,第二阶段剥离大语言模型,采用低秩适配微调实现虫害定位;引入全局-局部多视图重组同步提取虫害细节与田间全局特征;设计三维旋转位置编码,从分块尺度、横纵坐标维度重建多视图空间关联;能够精准识别田间未知、微小及隐蔽虫害,提升开放词汇虫害检测精度与边界框定位准确率,适用于大田作物虫害智能监测场景。

2、为了实现上述目的,本发明采用如下技术方案:

3、一种基于知识增强与空间位置编码的开放词汇虫害检测方法,包括:

4、第一阶段视觉语言知识对齐预训练:预训练权重初始化视觉主干网络、大语言模型、编码器、解码器;全程冻结大语言模型全部参数,通过植保领域的多任务联合监督训练,实现植保领域视觉特征与文本语义深层对齐;在编码器输出端、解码器输出端分别设置轻量级全连接投影模块,将视觉特征映射至与大语言模型文本嵌入向量统一的语义维度;

5、第二阶段虫害定位适配微调:剥离大语言模型及配套投影模块,复用第一阶段训练完成的视觉编码器与解码器,新增检测头,所述检测头包含分类分支和回归分支;

6、检测推理阶段,执行以下步骤:获取田间虫害原始图像,对原始图像执行全局-局部多视图重组操作,得到由多张局部子图像与全局缩略视图组成的复合输入;

7、将复合输入送入视觉主干网络,分别提取局部子图像视觉特征序列与全局视图视觉特征序列;通过交叉注意力融合模块,按照原始空间坐标对应关系融合局部特征与全局特征,得到融合特征序列;

8、将融合特征序列输入编码器,并采用全局-局部多视图三维旋转位置编码进行空间编码;编码后的特征输入解码器,得到解码特征;

9、将解码特征输入检测头,分类分支计算解码特征与虫害类别文本嵌入向量之间的余弦相似度,实现开放词汇虫害类别识别,回归分支输出虫害目标边界框参数,完成虫害定位。

10、所述多任务联合监督训练包括图像描述任务、农业视觉问答任务、虫害指代表达理解任务、虫害区域视觉定位任务;其中图像描述任务、农业视觉问答任务分配至编码器进行训练,虫害指代表达理解任务、虫害区域视觉定位任务分配至解码器进行训练;所述虫害区域视觉定位任务,指根据输入的虫害图像和虫害类别文本,输出图像中对应虫害目标的边界框坐标;四类任务同步并行训练,总损失为四项任务独立损失加权求和。

11、其中,图像描述任务指的是:输入虫害图像,输出植保描述文本;在编码器进行训练的目标是:使编码器提取的视觉特征能够支持生成与人工标注的虫害专业描述文本相匹配的图像描述,实现视觉与文本全局语义对齐。

12、农业视觉问答任务指的是:输入虫害图像和植保问题文本,输出对应答案文本;在编码器进行训练的目标是:使编码器建立图像与问题文本之间的跨模态关联,提取能够回答植保问题的视觉特征,以标准植保问答答案文本为监督标签优化特征表达。

13、虫害指代表达理解任务指的是:输入虫害图像和虫害描述文本,输出对应的虫害目标区域及虫害类别;在解码器进行训练的目标是:使解码器根据视觉特征和指代文本精准定位目标虫害,以图像标注虫害标签和人工标注目标框为监督标签,实现细粒度跨模态目标理解。

14、所述全局-局部多视图重组操作具体包括:

15、将原始田间虫害图像统一缩放至第一预设分辨率,按照n×n无重叠网格均匀切分,得到多张尺寸统一的局部子图像;同步将原始图像下采样,生成单张全局缩略视图;局部子图像尺寸与视觉主干网络原生输入尺寸匹配。

16、所述第一预设分辨率为672×672,n=2,切分得到4张336×336局部子图像,全局缩略视图尺寸为336×336。

17、所述三维旋转位置编码中,将一维旋转位置编码扩展为三维结构,从分块尺度、横向坐标、纵向坐标三个维度构建三维旋转位置矩阵;空间坐标索引直接映射至原始高分辨率图像的绝对坐标;对于局部子图特征,分块尺度索引取所属分块编号;对于全局视图特征,根据绝对坐标落入的网格区域分配对应分块编号。

18、基于旋转角度系数

θk构建单特征三维旋转块,扩展得到分块对角形式的三维旋转位置矩阵;

19、三维旋转位置编码的多视图索引规则为:所有特征的横向坐标、纵向坐标直接映射至原始高分辨率图像的绝对坐标;对于局部子图特征,分块尺度索引取所属分块编号;对于全局视图特征,根据绝对坐标落入2×2网格区域分配对应的分块尺度索引。

20、第二阶段微调过程中:新增检测头全部参数参与训练、全量更新;编码器、解码器采用低秩适配方式进行轻量化微调;视觉主干网络全程冻结。

21、第二阶段微调过程中:新增检测头全部参数参与训练、全量更新;编码器、解码器采用低秩适配方式进行轻量化微调;视觉主干网络全程冻结。

22、所述分类分支采用交叉熵损失与对比学习损失联合优化;回归分支采用平滑l1损失与交并比损失联合优化。

23、所述虫害类别文本嵌入向量通过冻结权重的文本编码器生成;待检测虫害类别文本支持动态输入,文本编码器对输入的虫害类别文本实时编码生成文本嵌入向量;或者,预先将各类虫害文本输入冻结权重的文本编码器,离线生成文本嵌入向量并存储,推理阶段调用存储的文本嵌入向量完成相似度匹配。

24、一种基于知识增强与空间位置编码的开放词汇虫害检测系统,全局-局部多视图重组模块,用于执行图像分块与全局视图生成;

25、视觉主干网络,用于提取局部子图像与全局视图视觉特征;

26、特征融合模块,用于通过交叉注意力融合局部特征与全局特征;

27、编码器与解码器,用于对融合特征执行三维旋转位置编码与特征解码;

28、检测头,包含分类分支与回归分支,用于输出虫害类别与边界框;

29、文本编码模块,内置权重冻结的文本编码器,用于生成虫害类别文本嵌入向量。

30、现有开放词汇虫害检测模型仅实现视觉与文本浅层特征拼接对齐,难以建模农田场景语义、虫害空间分布与共生关系,对未知新发虫害泛化能力不足;采用低分辨率图像输入会丢失虫体细粒度特征,直接对高分辨率图像分块则易造成虫害目标截断、场景语义断裂;传统一维旋转位置编码无法适配全局视图与局部分块构成的多视图图像,特征融合后丢失空间定位信息,微小、隐蔽虫害边界框定位误差较大;现有模型全量微调训练容易覆盖预训练通用语义知识,出现知识遗忘问题。

31、针对上述问题,本发明的有益效果如下:

32、1、构建两阶段训练范式,第一阶段依托视觉语言模型完成植保知识增强,设置多任务联合监督实现视觉与植保文本深层跨模态对齐,第二阶段剥离大语言模型并采用低秩适配轻量化微调,在优化虫害定位能力的同时保留预训练习得的语义知识,有效缓解知识遗忘,提升未知、新发虫害识别准确率。

33、2、提出全局-局部多视图重组方案,同步输入多张局部子图像与全局缩略视图,独立提取虫体细粒度特征并融合田间全局上下文,兼顾局部细节与全局场景信息,缓解高分辨率图像分块带来的目标截断、语义断裂问题,改善微小虫害、密集虫害识别效果。

34、3、设计全局-局部多视图三维旋转位置编码机制,从分块尺度、横向坐标、纵向坐标三个维度构建空间编码,配合原始图像绝对坐标索引,修复多视图特征序列化后的空间定位缺失,强化虫害空间分布关系建模,降低虫害边界框定位误差。

35、4、整体方案无需改动视觉主干网络原有结构,可适配多种网络架构,训练算力消耗更低,能够部署于田间巡检设备,适用于玉米、小麦等大田作物开放词汇虫害自动化监测场景。