一种基于农艺监督塑形和显著子空间对齐的可迁移植物生长坐标构建方法及其应用

摘要: 本发明涉及计算机视觉,尤其涉及一种基于农艺监督塑形和显著子空间对齐的可迁移植物生长坐标构建方法及其应用。背景技术:1、植物表型监测、设施农业环境控制和植物生长预...
一种基于农艺监督塑形和显著子空间对齐的可迁移植物生长坐标构建方法及其应用

本发明涉及计算机视觉,尤其涉及一种基于农艺监督塑形和显著子空间对齐的可迁移植物生长坐标构建方法及其应用。

背景技术:

1、植物表型监测、设施农业环境控制和植物生长预测均需要从连续采集的图像中获得能够表征植物当前发育状态的数值。现有图像表型方法通常针对鲜重、干重、株高、冠幅、叶面积、器官数量或胁迫类别分别训练预测模型。此类模型的输出对应预先选定的单一任务,模型一旦更换作物种类、品种、栽培方式、摄像机视角或光照条件,往往需要重新采集标签并重新训练,难以形成可供时序预测、异常判断和控制算法重复使用的统一状态变量。

2、农业标签的获得成本较高。鲜重和干重等指标通常需要破坏性取样,叶面积、株高和冠幅也需要人工测量或专用设备,难以达到普通rgb图像的采集频率。生产场景中因此常见“图像多、标签少”的数据结构。直接回归模型虽然能够利用少量标签预测特定性状,但其最终输出仍被限定在该性状上,不能自然描述植物在多种性状共同变化下的整体发育进程。

3、通用视觉基础模型可以从rgb图像中提取高维特征,主成分分析(principalcomponent analysis,pca)等无监督方法也可从高维特征中提取主要变化方向。但若直接对未经任务塑形的视觉特征实施主成分分析,其第一主成分可能主要反映背景、照明、视角、容器、品种差异或植株身份,而不一定集中表示生长发育。手工构造的绿色面积、轮廓、周长、圆度和边缘密度等指标同样容易受遮挡、冠层重叠、成像尺度和颜色漂移影响,难以稳定形成跨场景的发育坐标。

4、另一方面,不同作物、品种和采集系统之间存在显著域偏移。目标场景通常缺少与源场景一致的农艺标签,无法直接采用有监督微调。现有域适配方法多面向分类任务,依赖分类熵、伪标签或全特征空间统计匹配;对于连续性状回归及其潜在空间,真正与植物发育有关的信息往往只集中于部分方向,盲目对齐全部特征可能削弱原有发育结构。

5、因此,本领域的技术人员致力于开发一种基于农艺监督塑形和显著子空间对齐的可迁移植物生长坐标构建方法及其应用。

技术实现思路

1、有鉴于现有技术的上述缺陷,本发明所要解决的技术问题是开发一种能够在无目标域标签条件下跨场景迁移的植物生长坐标构建方法。

2、为实现上述目的,本发明提供了一种基于农艺监督塑形和显著子空间对齐的可迁移植物生长坐标构建方法及其应用。

3、进一步地,一种基于农艺监督塑形和显著子空间对齐的可迁移植物生长坐标构建方法,包括如下步骤:

4、s1、采集带有农艺性状标签的源域植物rgb图像,采用冻结视觉编码器提取图像空间标记;

5、s2、对于输出空间标记的视觉编码器,去除所述空间标记中包含的cls标记、寄存器标记或其他非空间标记,对保留的空间标记分别执行归一化并进行平均池化;对于输出特征图或图像级向量的视觉编码器,采用全局池化、展平或对应的图像级聚合方式,得到图像级特征;

6、s3、将图像级特征输入源域非线性投影器,输出紧凑潜在特征;

7、s4、采用单任务或多任务农艺性状预测头监督训练源域非线性投影器;

8、s5、待源域非线性投影器训练收敛后固定全部参数,舍弃农艺性状预测输出,仅保留经农艺监督塑形后的中间潜在特征;

9、s6、使用源域训练集的中间潜在特征拟合pca模型,将样本在pca第一主方向上的投影得分定义为植物生长坐标。

10、进一步地,所述步骤s1中,所述rgb图像需缩放并中心裁剪至固定分辨率后完成像素归一化;

11、所述冻结视觉基础模型选用dinov2、clip、mae、resnet或视觉自编码器中的一种。

12、进一步地,所述步骤s3中,所述非线性投影器为带有gelu激活的多层感知机。

13、进一步地,所述步骤s4中,采用均方误差损失开展监督训练;

14、所述农艺性状选自鲜重、干重、株高、冠幅、叶面积、叶片数、含水率、营养品质中的一种或多种,所述农艺性状预测头为线性层或轻量回归网络。

15、进一步地,所述步骤s6中,得到在pca第一主方向上的投影得分后,依据采集时间信息或者非破坏性锚点校正坐标正负方向,并按需对坐标执行z-score归一或0至1区间归一化处理。

16、进一步地,还包括目标域显著子空间轻量对齐,具体步骤如下:

17、步骤一,对经农艺监督塑形后的中间潜在特征执行pca,保留前个主方向并记录各主方向方差;

18、步骤二,计算各主方向的显著权重:若为单任务农艺性状预测分支,取对应农艺性状预测头的权重向量;若为多任务分支,将各性状预测头权重逐元素取绝对值后求均值;基于所述单任务预测头权重向量或多任务预测头的均值权重向量,计算各源域主方向的未归一化权重,再对全部主方向权重归一化;

19、步骤三,在所述冻结视觉编码器之后、源域非线性投影器之前设置低秩残差适配器,所述适配器按照下式对目标域图像级特征进行残差变换:

20、

21、其中,为目标域图像级特征,为适配后的目标域图像级特征,为参数为的低秩残差适配器,为降维映射,为升维映射,为图像级特征维度,为低秩维度且,为可学习的残差尺度。

22、步骤四,采集无农艺性状标签的目标域植物rgb图像,采用冻结视觉编码器提取图像空间标记,经低秩残差适配器及经训练收敛并固定参数的源域非线性投影器得到目标潜在特征,将目标潜在特征映射至源域显著子空间后分批次统计各主方向均值和方差,对各pca主方向分别计算源域、目标域特征分布的双向kl散度,并采用前述归一化显著权重对各主方向对应的kl散度进行加权,得到无标签对齐损失函数完成模型训练优化;训练阶段仅更新目标域适配参数;

23、步骤五,训练完成后,对适配后的目标潜在特征独立拟合目标域pca并提取植物生长坐标,目标域农艺性状标签不参与对齐训练与坐标拟合。

24、进一步地,所述步骤四中,所述目标域适配参数包括低秩残差适配器的参数以及源域非线性投影器中layernorm层的缩放参数和偏置参数,所述视觉编码器、农艺性状预测头及源域非线性投影器的其余参数均不参与参数更新。

25、进一步地,还包括无同类农艺性状标签目标域下的作物时间推进监测步骤:

26、对作物连续生长图像执行无标签显著子空间对齐适配并提取植物生长坐标,将同一植株的作物图像依据采集时间排序;基于坐标差值与采集时间的相关性、坐标时序排序一致性、坐标轨迹平滑程度,量化表征作物相对发育推进进度,实现无同类农艺性状标签条件下跨物种作物生长时序监测。

27、进一步地,一种作物长势分析调控方法,包括以下步骤:

28、a、通过多台固定摄像机采集作物时序rgb图像,采用权利要求1至8中任一项所述方法对各时间点图像进行处理并完成坐标定向,得到植物生长坐标;

29、b、将全部时序坐标划分为扰动前序列与扰动后序列;以经过天数作为自变量,利用扰动前序列的坐标拟合生长基线,并将该基线外推至扰动后时段;所述生长基线采用拟合二次趋势模型、线性回归模型、样条插值模型、指数模型或状态空间模型中的一种;

30、c、针对扰动后每一个观测时点计算归一化回退量;

31、d、对单台摄像机扰动后全部时点的归一化回退量求取平均值,得到单摄像机平均回退幅度;再对多台摄像机对应的单摄像机平均回退幅度求均值和标准差;可依据历史正常批次设置报警阈值,或将归一化回退幅度直接输入环境控制器完成长势分析调控。

32、进一步地,一种基于农艺监督塑形和显著子空间对齐的可迁移植物生长坐标构建系统,包括图像获取模块、视觉特征提取模块、源域监督塑形模块、目标域适配模块、坐标提取模块、时序分析模块及应用接口模块

33、在本发明的较佳实施方式1中,详细说明源域植物生长坐标的构建过程。

34、在本发明的另一较佳实施方式2中,详细说明无标签目标域的显著子空间对齐与跨物种迁移过程。

35、在本发明的另一较佳实施方式3中,详细说明无同类农艺标签目标域的时间推进监测过程。

36、在本发明的另一较佳实施方式4中,详细说明基于植物生长坐标的灌溉中断偏离检测过程。

37、在本发明的另一较佳实施方式5中,详细说明植物生长坐标构建系统组成和生产部署方式过程。

38、技术效果:

39、1、本发明方法能够生成一维连续植物生长坐标,作为统一状态变量支撑生长曲线绘制、处理组对比、成熟度排序、时序预测、智能环境调控等多种上层任务。生菜源域验证结果显示,单任务方案下坐标对鲜重和干重的绝对子类加权差分相关分别达到0.958、0.964;多任务方案对株高、冠幅和叶面积的达到0.934、0.898、0.966,性能显著优于传统手工视觉指标。将本发明坐标与绿色面积、周长、圆度、hu矩、边缘密度等手工特征融合后,五项农艺性状的验证r2仍可提升0.464至0.601,证明该坐标包含手工表型指标之外的发育相关信息。

40、2、本发明方法可实现无标签条件下跨物种、跨场景迁移。生菜向番茄跨域迁移实验中,多任务搭配显著子空间对齐方案对鲜重、株高和叶面积的绝对子类加权差分相关分别为0.768、0.810、0.816,显著优于未开展适配的多任务表征方案。在缺少同源农艺标签的小松菜数据集上,多任务+ssa方案的时间差分相关为0.759、排序准确率为0.930、轨迹平滑度为0.533,可稳定保持跨物种时间推进结构。

41、3、本发明方法可量化连续发育偏离,用于发育偏离检测或异常预警。在24路固定摄像机生菜灌溉中断试验中,全部摄像机样本均输出正向回退量;多任务+ssa方案平均归一化回退幅度为0.579±0.086,相比原始dinov2特征具备更高的发育偏离识别敏感性。

42、4、本发明工程落地门槛低,有效降低标注成本。源域训练仅需要一批带有农艺标签的参考样本,线上部署阶段可舍弃性状预测头;目标域适配全程无需人工标注,能够显著降低新作物、新品种、新生长周期、新相机系统上线的标注工作量。低秩适配器的秩远小于输入特征维度,参与更新的参数量、训练算力开销远低于全模型微调,支持离线批量方式快速冷启动适配。本方案仅依靠普通rgb相机、既有图像数据库以及通用gpu或服务器即可运行,无需三维扫描设备、专业光谱仪器,也无需持续性破坏性取样操作。

43、5、本发明不强制要求不同作物的植物生长坐标绝对数值保持一致,优先保证单一域内坐标随发育有序平滑变化、与多项农艺性状具备相关性;跨系统需要统一标尺时,能够借助源域pca基向量、少量锚点样本、播种时间、非破坏性尺寸测量实现线性标定。整套流程基于图像采集、神经网络推理、矩阵分解、统计对齐等成熟模块开发,能够通过处理器执行计算机可读介质内的程序实现,可封装为云端服务、边缘推理设备程序、植物工厂控制器组件、农业管理平台软件模块,具有产业转化价值,适用于温室、植物工厂、育苗基地、育种平台规模化表型监测场景。

44、以下将结合实施例和说明书附图对本发明的构思、具体结构及产生的技术效果作进一步说明,以充分地了解本发明的目的、特征和效果。