基于鱼眼图像的叶面积指数测算方法

1.本发明属于农作物表型监测技术领域，具体是指通过智能手机搭载超广角摄像头拍摄植物冠层的鱼眼图像，并基于机器视觉技术进行图像处理，测算作物叶面积指数的方法。


背景技术：

2.植被冠层的叶面积指数(leaf area index，lai)是研究植物生长状态和生理特征的重要参考指标，其不仅体现了植被群体性形态结构，也反映了冠层对外界环境变化的响应。因此，lai的精准测量对评价农作物长势、识别农田环境胁迫以及探究植物生长规律具有重要意义。
3.lai在数值上被定义为在冠层深度上对叶面积密度的积分(式1)，即不同高度水平面上叶片分布情况，概念上相当于单位土地面积上所有叶片的上表面积和(受光面)。
[0004][0005]
式中，h为指定的冠层高度，l(h)为h高度处的叶面积密度函数。
[0006]
传统的lai测量方法有破坏性采样法、凋落物法和点斜样方法等，这些方法需要人工采集作物叶片，工作量较大且对植物的破坏导致不能获得同一植被覆盖区域的连续观测数据。在间接测量技术方面，光学仪器的应用十分广泛，常用的仪器包括li-cor冠层分析仪、trac仪和accupar设备等，它们具有无损检测、便捷高效的特点，被广泛运用于lai的地面测量实践中。但是目前成熟的测量仪器仍然存在一些应用上的问题：(1)受仪器镜头低分辨率和光圈不可调节的影响，仪器的测量只能在太阳高度角低于15-20
°
时进行，每天可进行测量作业的时间有限；(2)基于光学原理设计的仪器需要伸入作物冠层下方水平朝向天空拍摄测量，这导致仪器无法检测株型低矮的植被或苗期的作物(冠层深度不够仪器进入)；(3)主流的lai测量仪器价格高昂，依赖进口并且需要专业人士操作使用，难以向田间推广应用。


技术实现要素：

[0007]
针对现有技术存在的问题，本发明提供了一种基于鱼眼图像的叶面积指数测算方法，通过智能手机搭载超广角镜头拍摄植物冠层鱼眼图像的方式，基于机器视觉技术进行农田叶面积指数的测算。
[0008]
本发明的设计要点包括将手机 鱼眼相机的拍摄模式应用于作物冠层，对鱼眼图像进行高效图像处理，利用lai的定义与积分公式设计简洁快速的lai差分计算方法。基于lai的定义和光学测量原理，本发明设计了一种智能手机搭载鱼眼镜头的延伸拍摄方法，利用智能手机的后置摄像头和轻量级外置镜头构建一套便捷鱼眼图像采集装置，并通过机器视觉算法对图像的优化处理，实现手机实时监测农田作物叶面积指数的功能。该方法适用于多种场景，精度较高、稳定性强且成本低廉，对于实现大规模、高通量农作物表型监测和
长势评价有重要意义。
[0009]
本发明采用的技术方案为：基于鱼眼图像的叶面积指数测算方法，包括如下步骤：
[0010]
步骤1，采集不同类型冠层的鱼眼图像；
[0011]
步骤2，基于图像处理技术对采集的鱼眼图像进行处理，降低背景噪声，得到无畸变、可计算的像素矩阵；
[0012]
步骤3，将处理后的鱼眼图像切分成无限个圆环，每个圆环上的像素近似地处于同一高度的平面上，计算圆环中的植被接触频率并积分，即得到叶面积指数值。
[0013]
进一步的，步骤1中通过智能手机与鱼眼镜头采集不同类型冠层的鱼眼图像，首先将智能手机与拍摄杆进行蓝牙连接，将鱼眼镜头对准智能手机后摄主镜头并固定，即组成简易的测量杆，完成镜头搭载后，根据拍摄的植物类型和发育程度确定相机角度，拍摄时远离边缘长势不均匀的冠层，并保持相机水平。
[0014]
进一步的，鱼眼镜头的成像感光平面为一个与相机靶面内切的圆，以圆心为坐标原点建立坐标系，即可以通过式2计算图像中每点处的视角θ：
[0015][0016]
式中，x,y为像元坐标，r为图像的半径。
[0017]
进一步的，步骤2的具体实现方式如下；
[0018]
(21)采用降采样方法等比例缩小图像分辨率以加快运行速度，借助图像裁剪程辑包切割图像四周无效区域；
[0019]
(22)基于hsv颜色空间阈值进行植被像元分类，提取每个圆环中的植被占比和间隙分数，根据拍摄视角不同将采用不同的分割方式：通过算法将rgb图像转化为hsv图像，设定阈值上下限，超出界限的像素被分类为非植被像元不计入接触分数计算，当图像为冠层内部向上拍摄时，则以天空像元为分割主体，去除天空像元后得到植被像元；当拍摄视角为俯拍时，则以植被为分割主体，直接得到植被覆盖度。
[0020]
进一步的，步骤3中基于pil程辑包进行图像圆环区域切分，得到0-15
°
观测天顶角范围内的中心圆，以及15-30
°
、30-45
°
、45-60
°
和60-75
°
范围内的同心圆环，考虑到75
°
以外的区域接近采样边缘，畸变严重且噪声较多，因此仅计算75
°
内的部分。
[0021]
进一步的，步骤3的具体实现方式如下；
[0022]
根据lai的概念以及式(1)的定义，提出了基于接触频率和间隙分数的泊松计算模型，接触频率由warren wilson提出，是指太阳光入射冠层时与冠层内植被元素想接触的几率，而间隙分数是指自然光束直接入射至参考平面的概率，在叶片不透明的假设下，图像分析中测得的叶片覆盖度就是单向接触分数；
[0023][0024]
式中，h为冠层高度，l(h)为h高度处的叶面积密度函数；
[0025]
在h的冠层高度下，平均接触分数作为每一叶层单向接触分数的株高积分值，其计算公式为：
[0026]
[0027]
式中h为冠层高度，l(h)表示植物的冠层每一个高度h都对应相应层的叶面积密度，即冠层单位体积上的叶面积，指的是观测位置的方向向量，θv为观测方向的天顶角，为观测方向的方位角，g为高h处的叶面积投影函数，将式(1)带入可得：
[0028][0029]
(4)表示了lai与接触频率的相关性，其中由式(5)、(6)联立可得：
[0030][0031][0032]
引入为叶片倾斜角度分布模型的概率密度函数，其中，θ
l
为叶片倾斜方向的天顶角，为叶片倾斜的方位角，并通过式(7)、(8)进行归一化条件约束：
[0033][0034][0035]
上述公式联合，可以得到冠层间隙分数平均接触分数以及lai之间的关系，由nilson优化为式(9)中的指数关系：
[0036][0037]
其中，与相同，基于鱼眼图像的圆形视场，不考虑入射光线的方位，假设间隙分数测量仅取决于观测天顶角θv，即光线入射方向相对于冠层底部光传感器的法向量夹角，则计算叶面积指数lai
cal
的计算公式可以整理为：
[0038][0039]
welles提出了基于多视角观测的针对积分式(10)的离散数值解析法，采用多个天顶观测角划分圆环，分割每个圆环中的平均植被间隙分数将积分式(10)做差分处理：
[0040][0041]
式中si(θv)为cosiθ
v-1
，而wi为sinθvdθ，i表示划分的角度，根据所取分环角度的不同，系数有所差异。
[0042]
进一步的，采用5个天顶观测角划分圆环，分别为0-15
°
，15-30
°
，30-45
°
，45-60
°
，60-75
°
，分别对应i＝1至i＝5。
[0043]
本发明是在植物表型和光学遥感领域对叶面积指数无损监测的多年研究成果的基础上进行了应用性开发，相较于其他同类别仪器和软件，本发明取得了一些新的进展和优势：
[0044]
(1)采用智能手机搭载镜头，配合延伸杆的拍摄方式，简化了测量操作，通过智能
手机的操作优化了数据存储和传输过程，并显著降低了成本，适合推广到田间管理层面。
[0045]
(2)基于python进行图像处理和积分计算，后端代码简单易写，方便修改，并且适合单张图像调试和大量图像批量处理，通过预处理降低了天气、光照对间隙分数测量的影响，为运行调试提供了全程可视化条件。
[0046]
(3)根据不同作物和不同田间场景设计了俯拍和仰拍两种视角，弥补了lai仪器无法监测低矮冠层的缺点，消除了光线较强时无法使用仪器测量的限制。
[0047]
(4)算法中通过读取手机图像的exif信息(位置、时间)，加入了实时太阳天顶角计算函数，可以对lai计算结果进行修正。
[0048]
(5)完成本发明的过程中，进行了大规模的采样实验，在水稻、玉米、小麦等常见农作物田间与传统方法和常用仪器进行了对比实验，验证了本发明的实用性和精确度。
附图说明
[0049]
图1：鱼眼镜头成像原理示意图；
[0050]
图2：手机 鱼眼镜头 延伸拍摄杆组合样式(示例)；
[0051]
图3：冠层鱼眼图像采集方法与流程；
[0052]
图4：观测天顶角定义与鱼眼图像分环计算示意；
[0053]
图5：鱼眼图像处理与计算流程；
[0054]
图6：水稻仰拍测试结果精度验证(右图中横坐标为鱼眼相机算法计算得到的lai，纵坐标为仪器测量的lai值)；
[0055]
图7：不同场景(天气)下水稻仰拍测试结果验证(右图中横坐标为鱼眼相机算法计算得到的lai，纵坐标为仪器测量的lai值)；
[0056]
图8：水稻俯拍测试结果验证(右图中横坐标为鱼眼相机算法计算得到的lai，纵坐标为专业软件测量的lai值)；
[0057]
图9：不同生育阶段小麦俯拍测试结果验证(右图中横坐标为鱼眼相机算法计算得到的lai，纵坐标为倾斜摄影方法测量的lai值)；
[0058]
图10：小麦俯拍测试结果验证(右图中横坐标为鱼眼相机算法计算得到的lai，纵坐标为倾斜摄影方法测量的lai值)。
具体实施方式
[0059]
下面结合图和实施例对本发明的技术方案作进一步说明。本发明提供的一种基于鱼眼图像的叶面积指数(lai)测算方法，包括如下步骤：
[0060]
步骤1，基于鱼眼成像技术采集不同类型冠层的鱼眼图像；
[0061]
目前主流的光学仪器均是通过测量冠层内部的光线透射程度来采集测量lai，因此，视场角度越广，对应能够获取的冠层深度范围越大，测算的lai越准确，摄影学中的鱼眼镜头(fish-eye lens)可以被应用于这一场景，对应发展出了叶面积指数的半球图像摄影测量法(digital hemispherical photography，dhp)。与一般相机镜头不同的是，鱼眼镜头具有更小的焦距和更广的视场，外界光线在凸起的透镜处发生大幅折射，使得与相机所处平面夹角很小的入射光线都可以落在成像靶面上，达到获取180
°
半球图像的效果，其成像感光平面为一个与相机靶面内切的圆，以圆心为坐标原点建立坐标系即可以通过式2计算
图中每点(像素)处的视角θ(图1)：
[0062][0063]
式中，x,y为像元坐标，r为图像的半径(相机靶面高度的1/2，如分辨率为1920
×
1080的图像高度为1080，半径为540)。
[0064]
本发明实施例通过智能手机与鱼眼镜头采集不同类型冠层的鱼眼图像。智能手机的拍摄功能和分辨率可以满足冠层图像的采集要求，根据图2的方式完成鱼眼镜头的搭载和延伸杆的组装，首先手机与拍摄杆进行蓝牙连接，将鱼眼镜头对准手机后摄主镜头并固定，即组成简易的测量杆，这种组装模式可以有效避免广角视场下路面、人像等噪声的入镜，减少边缘效应对计算结果的影响。完成镜头搭载后，根据图3示意的流程采集不同类型冠层的鱼眼图像。首先根据拍摄的植物类型和发育程度确定相机角度，图3中以抽雄期玉米(冠层内部仰拍)和苗期水稻(冠层上方俯拍)为例，拍摄时远离边缘长势不均匀的冠层，并保持相机水平。
[0065]
步骤2，基于图像处理技术对采集的鱼眼图像进行处理，降低背景噪声，得到无畸变、可计算的像素矩阵；
[0066]
完成鱼眼图像的采集后，需要将其处理成可计算的图像形式，基于机器视觉的图像处理技术将实现图像到lai数值的一系列操作与计算。图像预处理技术是利用视觉算法对原始图像的色彩空间、亮度感知以及拓扑结构等属性进行调整和均衡的过程，目的是突出图中的参考主体(植被)，降低噪声，消除因外界光线变化、相机光圈调整带来的图像亮度不一致等问题，将图像色彩空间标准化、亮度色域参数化，为后续视觉特征的提取和计算提高精度和速度。主体分割技术是图像处理中重要一环，冠层鱼眼图像分为前景和背景，分割技术将植物像元从背景中提取出来。基于阈值的图像分割方法是一种区域并行技术，用一个或几个设定阈值将图像的灰度直方图分为几类，认为图像中灰度处于同一区间范围内的属于一类物体。直接利用图像的灰度特性使得这类方法运算效率高，适用性强。图像后处理技术是对剔除背景的植被部分进行像素统计和几何变换，以提取冠层间隙分数，最终计算得到lai。
[0067]
(21)完成图像采集后，进行图像的预处理，采用降采样方法等比例缩小图像分辨率以加快运行速度，借助图像裁剪程辑包切割图像四周无效区域，鱼眼图像是一幅与相机矩形采集面内切的部分，因此四角存在被遮挡的无效部分需要裁除。
[0068]
(22)基于hsv颜色空间阈值进行植被像元分类，提取图像中中的植被占比和间隙率，根据拍摄视角不同将采用不同的分割方式。hsv色彩空间(hue-色调、saturation-饱和度、value-明暗)将亮度从色彩中分解出来，以便更好地感知图像中不同对象的颜色、亮度差异。通过算法将rgb图像转化为hsv图像后，设定阈值上下限，超出界限的像素被分类为非植被像元不计入接触分数计算。当图像为冠层内部向上拍摄时(仰拍)，则以天空像元为分割主体，去除天空像元后得到植被像元；当拍摄视角为俯拍时，则以植被为分割主体，直接得到植被覆盖度。
[0069]
(23)基于pil程辑包进行图像圆环区域切分，得到0-15
°
观测天顶角范围内的中心圆，以及15-30
°
、30-45
°
、45-60
°
和60-75
°
范围内的同心圆环，考虑到75
°
以外的区域接近采
样边缘，畸变严重且噪声较多，因此仅计算75
°
内的部分。
[0070]
对(23)中切分的每个圆环进行步骤(3)的分割操作，得到每个圆环上植被和非植被像元分割结果，最后根据每环的分割计算结果，包括植被像元占比、单向间隙分数等，联立式(11)计算得到lai的值。
[0071]
步骤3，将hsv分割处理后的鱼眼图像切分成无限个圆环，每个圆环上的像素对应的植被单元近似地处于同一高度的平面上，根据每个植被和非植被像元分割结果计算圆环中的植被接触频率(覆盖度)并积分，即得到lai的值。
[0072]
lai是描述某一高度处冠层叶面积密度情况的变量，根据lai的概念以及式(1)的定义，研究者提出了基于接触频率和间隙分数的泊松计算模型(poison model)，接触频率由warren wilson提出，是指太阳光入射冠层时与冠层内植被元素想接触的几率，而间隙分数是指自然光束直接入射至参考平面的概率，在叶片不透明的假设下，图像分析中测得的叶片覆盖度(比值)就是单向接触分数。在h的冠层高度下，平均接触分数作为每一叶层单向接触分数的株高积分值，其计算公式为：
[0073][0074]
式中h为冠层高度，l(h)表示植物的冠层每一个高度h都对应相应层的叶面积密度，即冠层单位体积上的叶面积，指的是观测位置的方向向量(v——view)，θv为观测方向的天顶角，为观测方向的方位角，g为高h处的叶面积投影函数，将式(1)带入可得：
[0075][0076]
(4)表示了lai与接触频率的相关性，其中由式(5)、(6)联立可得：
[0077][0078][0079]
引入为叶片倾斜角度(高度角、方位角)分布模型的概率密度函数(l——leaf)，其中，θ
l
为叶片倾斜方向的天顶角，为叶片倾斜的方位角，并通过式(7)、(8)进行归一化条件约束：
[0080][0081][0082]
上述公式联合，可以得到冠层间隙分数平均接触分数以及lai之间的关系，由nilson优化为式(9)中的指数关系：
[0083][0084]
其中，与相同，基于鱼眼图像的圆形视场，可以不考虑入射光线的方位，假设间隙分数测量仅取决于观测天顶角θv，即光线入射方向相对于冠层底部光传感器的法向量夹角，则本例中的计算叶面积指数lai
cal
的计算公式可以整理为：
[0085][0086]
p0(θv)与相同，welles提出了基于多视角观测的针对积分式(10)的离散数值解析法，采用5个天顶观测角划分圆环，分割每个圆环中的平均植被间隙分数将积分式(10)做差分处理：
[0087][0088]
式中si(θv)为cosiθ
v-1
，而wi为sinθvdθ，根据所取分环角度的不同，系数有所差异。本发明将根据上述推导过程和差分式(11)计算lai
cal
值，图4示意了观测天顶角的定义以及分环计算的原理。以冠层高h处一点q为例，q点在鱼眼图像中所处位置距离圆心(天顶)距离为rq，整圆半径为r，则q点的观测天顶角sinθv＝rq/r，从而可以计算出每一点处wi和si(θv)的值。本发明划分圆环采用的天顶观测角度分别为0-15
°
，15-30
°
，30-45
°
，45-60
°
，60-75
°
，对应i＝1-5的情况。
[0089]
在本发明的设计过程中，不断进行田间作物冠层鱼眼图像的采集和lai仪器测量，以对照验证图像处理方法的结果准确度，并测试该方法应用在不同场景下的适用性。本发明的测试作物包括水稻和小麦，测试场景包括试验田、实际农田，应用天气包括日出、日落、晴天以及阴天，而在作物生长的不同时期也进行了图像采集测试。
[0090]
下面通过设计田间实验对本发明方法的结果进行测试。表1显示了验证实验的详细信息，在不同场景中应用本发明的方式以及验证方法。在相关作物的试验田或野外实际农田完成选点后，携带鱼眼相机和lai专业测量仪器进行测量，在仰拍的情况下，相机与仪器的角度一致，选择冠层内部同一位置进行测量，仪器由左至右采集四个点取平均lai，相机则拍摄6-10张鱼眼图像进行后续处理。在俯拍的情况下，相机的取景范围较大，因此辅以其他专业软件的测量结果进行验证。在验证实验中，仪器选择为li-cor-lai-2200冠层分析仪，专业软件采用法国农科院基于mcr开发的can-eye。
[0091]
表1本发明验证实验的应用场景
[0092][0093]
本发明在多个田间和实验场景中得以应用，与传统仪器和专业软件的测量结果进行了精度验证。图6显示的结果为在拔节孕穗时期的水稻田间仰拍得到的图像示意以及经本发明算法处理计算得到的lai
cal
值与仪器测量结果lai
mea
的精度比较，相关系数r为
0.6332，均方根误差rmse为0.1216，效果良好。在进行验证实验的135个采样点中，我们选取了一天中的不同时间段以及不同天气场景进行拍摄和测量(表1)，图7显示了各种场景下的鱼眼图像示例以及与仪器测量结果的验证精度，其中阴天(overcast)场景是仪器测量常用的时段，仪器在这一时段的测量结果较稳定，而本发明的算法计算结果相关系数r为0.6283，均方根误差rmse为0.1785，误差较小，而在晴天和日落时分，算法的误差较高，达到0.3081和0.3419，雨天时，水滴在镜头上对图像分割造成了影响，因此rmse也有0.2378。在水稻田间仰拍的测试中，算法能够适应不同的天气和环境，阴天的误差较稳定，而晴天和雨天测量值与实际值也具有良好的相关性。
[0094]
在水稻株高低矮的生育前期(主要为苗期和分蘖期)，仪器无法进入冠层进行测量，一般采用倾斜摄影或采样扫描的方法，本发明的测试过程中，应用在水稻幼苗期时采用俯拍的视角，如图8，计算值与其他方法的测量值具有r＝0.9049的高相关性，而均方根误差rmse仅有0.0223，结果表明，俯拍条件下本发明既可以避免仪器无法进场的限制，也具有良好的精度和稳定性。
[0095]
在旱地作物小麦的应用中，我们主要验证了俯拍视角与仪器和其他方法测量的相关性和精度，并且在小麦各个生育期进行了拍照和取样。根据图9，在小麦比较低矮的苗期和分蘖期，测试结果的误差为0.0333和0.0316，精度较高，而小麦逐渐封垄的拔节孕穗期，相关系数r达到0.9909，rmse为0.1840，与传统方法实测值具有良好的相关性。
[0096]
根据不同场景和不同作物的测试结果，本发明的具体实施过程可以得出以下几点结论：
[0097]
(1)本发明的设备和算法可以有效地适应不同场景的lai测量任务，针对水田和旱地具有良好的精确度和稳定性。
[0098]
(2)本发明有效避免了传统方法费时费力的问题，并且在各类作物株高较矮的生育前期，为lai测量提供了精确的解决方案，填补了作物发育初期lai监测的空白。