单目RGB与IMU融合的大豆叶片倾角预测方法

本发明涉及作物表型测量，具体涉及一种单目rgb与imu融合的大豆叶片倾角预测方法。

背景技术：

1、叶片倾角是指叶片叶面与水平面之间的夹角。大豆在密植条件下，上层叶片的倾立程度会影响太阳辐射向冠层内部的传递，并进一步影响不同叶层的受光状况。因此，能够在田间快速取得单片叶片的倾角数据，对于株型评价、冠层监测和育种材料筛选具有实际意义。现有测量方式主要包括量角器或倾角仪测量、在叶片表面贴附惯性测量单元、半球摄影或间隙率反演、激光雷达点云处理以及多视图三维重建等。

2、接触式测量需要逐叶操作，效率较低，并可能对叶片姿态产生扰动；半球摄影和间隙率反演通常得到冠层平均量，难以给出单叶倾角；激光雷达和多视图重建虽然能够获得三维几何信息，但设备和标定流程较为复杂。单目rgb图像采集方便，但从单帧图像恢复叶片三维姿态存在深度与法向歧义，田间叶片遮挡、边界对比度低、光照变化和背景杂乱还会放大预测误差。因而，需要一种在不依赖激光雷达、多相机阵列和推理阶段贴叶传感器的情况下，能够由单帧rgb图像与相机姿态得到单叶绝对倾角的预测方法。

技术实现思路

1、本发明所要解决的技术问题是：针对单目图像难以直接恢复叶片三维姿态、分割边界和自阴影区域法向预测不稳定以及像素级异常法向易向最终倾角结果传播的问题，提供一种单目rgb与相机imu融合的大豆叶片倾角预测方法，在田间采集条件下输出各可见叶片的绝对倾角。

2、为解决上述技术问题，本发明采用如下技术方案：

3、s1、获取大豆植株的单帧rgb图像以及与所述rgb图像对应的相机imu姿态数据，建立与重力方向对齐的世界坐标系，并确定相机坐标系；

4、s2、对所述rgb图像进行叶片实例分割，得到各可见叶片对应的二值实例掩膜；

5、s3、将所述rgb图像输入潜空间扩散法向估计模型，分别获得零样本法向预测和经大豆域lora适配后的法向预测；在实例掩膜腐蚀后保留的内部区域中，选取两种法向预测之间的角距不超过预设阈值的像素，并对对应法向进行归一化凸组合，得到融合稠密法向场；

6、s4、针对每个有效实例掩膜，按照所述有效实例掩膜的面积确定腐蚀半径，并对所述有效实例掩膜进行自适应形态学腐蚀；对腐蚀后保留区域内的融合稠密法向场中的像素法向进行基于四分位距的离群像素剔除以及反距离加权归一化聚合，得到相机坐标系下的单叶单位法向；

7、s5、根据相机imu姿态数据按zyx欧拉角顺序构造相机坐标系到世界坐标系的旋转矩阵，将所述单叶单位法向变换至世界坐标系，并根据变换后的叶片法向与世界坐标系竖直轴之间的夹角确定叶片倾角。

8、在本发明中，世界坐标系与重力方向对齐，其轴指向竖直向上方向，平面与水平面重合；相机坐标系采用相机光轴为轴、图像右方向为轴、图像下方向为轴的坐标约定。

9、叶片倾角定义为叶片叶面与水平面之间的夹角。设为转换至世界坐标系并进行l2归一化后的叶片单位法向，为世界坐标系的竖直单位向量，则叶片倾角按照下式计算：

10、

11、其中，绝对值用于消除叶面外法向和内法向取向不一致产生的符号歧义；当叶片处于水平状态时，，当叶片处于竖直状态时，。

12、与现有技术相比，本发明提供了单目rgb与imu融合的大豆叶片倾角预测方法，具备以下有益效果：

13、1、本发明在预测阶段只需要普通单目rgb相机和刚性安装在相机上的imu，不需要逐叶贴附传感器，也不依赖激光雷达或多相机同步阵列，采集方式适合移动式或手持式田间作业。

14、2、本发明先对叶片进行实例级分割，再在各叶片掩膜内完成法向估计和几何求解，输出对象为图像中的单片可见叶片，而不是冠层平均倾角，能够保留叶片之间的姿态差异。

15、3、本发明利用合成rgb-法向像素对对扩散法向估计模型进行lora适配，并保留零样本预测；仅在掩膜内部且两种预测一致性满足阈值的位置进行受限融合，减少了叶片边缘、自阴影边界及背景残留对法向场的干扰。

16、4、本发明采用自适应腐蚀、基于四分位距的离群像素剔除和反距离加权聚合的连续处理方式。腐蚀尺度随叶片掩膜面积变化，能够兼顾大小叶片；离群剔除和加权聚合进一步削弱异常像素对单叶主法向的影响。

17、5、本发明将相机imu提供的姿态用于相机坐标系与重力对齐世界坐标系之间的转换，使不同拍摄俯仰、滚转和偏航条件下得到的叶片法向能够统一到世界坐标系中，从而获得具有明确物理含义的绝对倾角。

1.一种单目rgb与imu融合的大豆叶片倾角预测方法，其特征在于，包括： 获取大豆植株的单帧rgb图像以及与所述单帧rgb图像对应的相机imu姿态数据，建立与重力方向对齐的世界坐标系，并确定相机坐标系； 对所述单帧rgb图像进行叶片实例分割，得到各可见叶片对应的实例掩膜； 将所述单帧rgb图像输入潜空间扩散法向估计模型，分别得到零样本法向预测和经大豆叶片域低秩适配后的法向预测，在所述实例掩膜腐蚀后保留的内部区域中，选取所述零样本法向预测与经大豆叶片域低秩适配后的法向预测之间的角距不超过预设角差阈值的像素，并对所选像素处的两种法向预测进行归一化凸组合，得到融合稠密法向场； 针对每个有效实例掩膜，按照所述有效实例掩膜的面积确定腐蚀半径，并对所述有效实例掩膜进行自适应形态学腐蚀；对腐蚀后保留区域内的所述融合稠密法向场中的像素法向进行基于四分位距的离群像素剔除以及反距离加权归一化聚合，得到相机坐标系下的单叶单位法向； 根据所述相机imu姿态数据按zyx欧拉角顺序构造相机坐标系到世界坐标系的旋转矩阵，将所述单叶单位法向变换至世界坐标系，并根据变换后的单叶单位法向与世界坐标系竖直方向之间的夹角确定对应叶片的倾角。

2.根据权利要求1所述的单目rgb与imu融合的大豆叶片倾角预测方法，其特征在于，所述叶片实例分割采用yolov11m-seg网络，并在所述yolov11m-seg网络的三个颈部特征层中分别注入通道注意力与空间注意力顺序连接的cbam注意力模块；分割训练图像在训练前采用unsharp masking锐化处理。

3.根据权利要求2所述的单目rgb与imu融合的大豆叶片倾角预测方法，其特征在于，所述三个颈部特征层为第16层、第19层和第22层，对应通道宽度分别为256、512和1024；所述yolov11m-seg网络采用两阶段迁移学习，第一阶段冻结前10层骨干网络并训练检测头和分割头，第二阶段解冻全部网络进行微调。

4.根据权利要求1所述的单目rgb与imu融合的大豆叶片倾角预测方法，其特征在于，所述大豆叶片域低秩适配使用像素对齐的合成rgb—法向数据进行训练；所述合成rgb—法向数据通过大豆植株三维模型在不同相机方位、俯仰、视场、植株配置和光照参数下进行物理渲染，同步获得rgb渲染图和相机坐标系单位法向图，所述低秩适配仅作用于潜空间扩散法向估计模型的unet高层模块。

5.根据权利要求4所述的单目rgb与imu融合的大豆叶片倾角预测方法，其特征在于，设零样本法向预测为，经大豆叶片域低秩适配后的法向预测为，所述归一化凸组合按照进行，其中，为数值稳定项；仅当像素位于实例掩膜腐蚀后的内部区域且与之间的角距不大于预设角差阈值时，采用作为该像素的融合表面法向；对于不满足所述内部区域条件或角距条件的像素，采用所述零样本法向预测作为该像素的表面法向。

6.根据权利要求5所述的单目rgb与imu融合的大豆叶片倾角预测方法，其特征在于，在生成所述零样本法向预测和经大豆叶片域低秩适配后的法向预测的过程中，对裁剪图像进行零填充并缩放至固定推理分辨率，将推理结果回贴至原图画布；对水平翻转或垂直翻转的测试时增强图像同步改变对应法向分量的符号，对多次推理结果求平均并进行l2归一化；在实例掩膜内基于rgb图像的sobel幅值进行边缘感知滤波，在实例掩膜外填充背景法向(0,0,1)。

7.根据权利要求1所述的单目rgb与imu融合的大豆叶片倾角预测方法，其特征在于，所述实例掩膜按照置信度阈值和交并比阈值进行筛选，删除像素数小于预设面积阈值的实例掩膜，并根据各实例掩膜的质心坐标按照二级空间键进行排序，以确定叶片编号。

8.根据权利要求1所述的单目rgb与imu融合的大豆叶片倾角预测方法，其特征在于，所述自适应形态学腐蚀的腐蚀半径满足：

9.根据权利要求8所述的单目rgb与imu融合的大豆叶片倾角预测方法，其特征在于，所述基于四分位距的离群像素剔除包括：计算各像素法向到逐分量中位法向的距离，保留满足的像素，其中和分别为所述距离的25%分位数和75%分位数；所述反距离加权归一化聚合中像素权重为，其中，为数值稳定项，并对进行l2归一化，得到所述单叶单位法向。

10.根据权利要求1所述的单目rgb与imu融合的大豆叶片倾角预测方法，其特征在于，所述相机坐标系到世界坐标系的旋转矩阵为：