基于点云的植物叶绿素含量三维空间立体分布可视化方法与流程

1.本发明涉及图像分析领域，更具体的涉及基于点云的植物叶绿素含量三维空间立体分布的可视化方法。


背景技术：

2.植物进行生理生化参数分析时，通过计算机视觉技术采集植物图像并分析图像数据中的颜色信息与生理生化含量测量仪检测到参数建立数学估算模型是常用的方法。其中利用可见光相机采集二维图像具有成本低廉、较易获取的优点，是计算机视觉领域较为常用的方法。二维植物图像只能进行植物单侧成像分析，然而植物拥有复杂的空间形态结构，生长过程中有明显的形态结构与生理生化变化，拓扑结构普遍比较复杂。仅从二维图像分析难以得到精确的测量值，不能获得植物完整的形态结构信息，例如植物弯曲叶面的叶面积、被部分枝叶遮挡的器官参数等。通过建立植物三维空间立体模型，精确的分析出植物各器官的颜色信息，可用于探寻植物全生长周期过程中植物各器官的生理生化参数变化规律，对植物施肥管理、表型监测、病虫害识别研究具有重要价值。
3.植物在进行光合作用时，叶绿素对光能的吸收和利用起着重要的作用。植物叶绿素含量分布情况，可作为植物是否缺少营养或者受到环境影响的依据。植物叶绿素含量跟氮含量具有相关性，叶绿素含量可以作为植物氮肥的精准化管理的重要指标。通过叶绿素含量来指导植物施肥，不仅可以有效减少肥料浪费，而且可以避免过量施肥。然而传统的叶绿素含量测定只能在特定时间或生长阶段对植株进行，有的甚至以折断、摘离、切割等方式将叶片与植物分割离体进行破坏性测量，工作量大、效率低，且只能针对单叶片上的单点进行测量。


技术实现要素：

4.本发明所要解决的技术问题是针对上述现有技术的不足提供基于点云的植物叶绿素含量三维空间立体分布的可视化方法，本基于点云的植物叶绿素含量三维空间立体分布的可视化方法解决了目前植物表型信息提取存在的无法大批量、快速、准确、无损的测量叶绿素含量的问题，实现了植物叶绿素含量三维空间分布的可视化，以便直观的观测植物叶绿素含量分布情况。
5.为实现上述技术目的，本发明采取的技术方案为：
6.基于点云的植物叶绿素含量三维空间立体分布的可视化方法，包括以下步骤：
7.s1、标定可见光相机色彩信息参数并采集植物叶片的彩色图像数据；
8.s2、通过叶绿素含量测量仪检测采集的植物叶片叶绿素含量；
9.s3、对采集到的植物叶片的彩色图像数据进行处理，提取色彩因子；
10.s4、将叶绿素含量测量仪检测到的叶绿素含量与上述处理后提取到的色彩因子进行相关性分析，建立叶绿素含量的最佳回归模型；
11.s5、采集多视角下植物的彩色图像数据；
12.s6、使用尺度和旋转不变性算法，提取多视角下采集到的植物彩色图像中的特征点信息；
13.s7、将上述s6中每张植物彩色图像中的特征点通过邻近搜索，进行特征点匹配；
14.s8、通过运动恢复结构算法得到具有颜色信息的植物三维模型；
15.s9、将上述s4建立的叶绿素含量的最佳回归模型应用在上述s8重建的植物三维模型上，得到所有点相应的叶绿素含量值，通过伪彩色处理后实现植物叶绿素含量三维空间分布可视化。
16.作为本发明进一步改进的技术方案，所述的步骤s1中可见光相机色彩信息参数标定具体包括以下步骤：
17.s11、首先通过可见光相机采集红、绿、蓝三基色色卡图像，其中红色色卡的rgb色彩通道值分别为(255，0，0)，绿色色卡的rgb色彩通道值分别为(0，255，0)，蓝色色卡的rgb色彩通道值分别为(0，0，255)；
18.s12、从红色色卡图像提取出r通道，从绿色色卡图像提取出g通道，从蓝色色卡图像提取出b通道，计算出r通道下的平均像素点的值，记为y_r，计算出g通道下的平均像素点的值，记为y_g，计算出b通道下的平均像素点的值，记为y_b，其中平均像素点的值计算公式如下所示：
[0019][0020]
其中，y_x为x通道下的平均像素点的值，f
x
(i,j)为x通道下i行j列的值；
[0021]
s13、对步骤s12中得到的各个通道下的平均像素点的值与理论值进行运算，得到r通道下的色彩校正比例系数z_r、g通道下的色彩校正比例系数z_g以及b通道下的色彩校正比例系数z_b，其中色彩校正比例系数的计算函数如下所示：
[0022][0023]
其中，z_x为x通道下的色彩校正比例系数，y_x为x通道下的平均像素点的值；
[0024]
s14、将步骤s13得到的各个通道下的色彩校正比例系数应用到之后可见光相机采集的所有的彩色图像中进而实现色彩校正。
[0025]
作为本发明进一步改进的技术方案，所述的步骤s2中通过叶绿素含量测量仪检测采集的植物叶片叶绿素含量具体为：
[0026]
s21、将叶绿素含量测量仪进行校准处理；
[0027]
s22、测量采集到的单个植物叶片上三个不同处的叶绿素含量，将三个不同处的叶绿素含量的平均值作为该植物叶片的叶绿素含量。
[0028]
作为本发明进一步改进的技术方案，所述的步骤s3具体包括：
[0029]
s31、首先将采集到的植物叶片彩色图像转变为灰度图像；
[0030]
s32、对转变后的灰度图像进行二值化处理，实现植物叶片与背景之间分割；
[0031]
s33、若二值化处理后的植物叶片图像存在一定的噪点，则进行图像降噪处理；
[0032]
s34、通过图像掩模算法对步骤s1采集到的图像与步骤s33降噪处理后的二值图像进行掩模处理，所述的掩模处理是指：将步骤s33降噪处理后的二值图像中的白色像素区域作为感兴趣区域roi，将感兴趣区域roi与步骤s1采集到的图像进行位运算，进行位运算后，
得到的仍然是自身数值，其他区域的图像数值变为0，实现图像中植物叶片部分与背景的完全分离；
[0033]
s35、将步骤s34中掩模处理后的植物叶片图像转换到不同的色彩空间，不同的色彩空间包括rgb色彩空间、la*b*色彩空间、hsv色彩空间，从不同的色彩空间提取色彩因子，所述的色彩因子包括r、g、b、h、s、v、l、a、b；计算出植物叶片所占像素点个数以及单通道下色彩因子的总和，将单通道下色彩因子的总和除以植物叶片所占像素点个数作为植物叶片在该通道下的色彩因子的数值；
[0034][0035]
其中f
x
(i,j)为x通道下i行j列的值，s为计算出的植物叶片所占像素点个数，f
x
为植物叶片在x通道下的色彩因子的数值；x通道分别指rgb色彩空间中的r、g、b色彩因子、hsv色彩空间中的h、s、v色彩因子或者la*b*色彩空间中的l、a、b色彩因子；
[0036]
计算色彩因子组合值，所述色彩因子组合值包括g2；
[0037]
s36、将步骤s35中各通道得到的色彩因子的数值以及色彩因子组合值进行归一化处理，把原有的数值区间[0，255]内的数值转换到范围[0，1]区间。
[0038]
作为本发明进一步改进的技术方案，所述的步骤s4具体包括：
[0039]
将步骤s3中得到的不同色彩空间中不同通道提取的色彩因子以及色彩因子组合值与步骤s2中通过叶绿素含量测量仪检测的植物叶片叶绿素含量值进行线性、非线性的多项式回归模型建立，利用多种模型评价指标选择拟合表现最好的模型作为叶绿素含量的最优回归模型。
[0040]
作为本发明进一步改进的技术方案，所述的步骤s5具体包括：
[0041]
将可见光相机不动，植物放置在托盘上转动，或者植物不动，可见光相机放置在平台上以植物为中心转动，对每一株植物以18
°
为旋转角度间隔进行图像采集，一个圆周采集20张植物的彩色图像数据。
[0042]
作为本发明进一步改进的技术方案，所述的步骤s9具体包括：
[0043]
a91、将步骤s4中的叶绿素含量的最优回归模型应用在步骤s8中重建的植物三维模型的归一化处理后的色彩信息上，使得三维模型的归一化处理后的色彩信息转换为叶绿素含量的估算值；
[0044]
a92、步骤a91中的叶绿素含量估算值分布范围为[0，100]，将叶绿素含量估算值分布范围拉伸至[0，255]，得到植物叶绿素含量的全灰度值区间分布情况；
[0045]
a93、将步骤a92中的处理后的植物三维模型进行伪彩色处理，使得植物叶绿素含量按空间分布呈现可视化效果。
[0046]
本发明的有益效果为：
[0047]
基于点云的植物叶绿素含量三维空间立体分布的可视化方法，通过建立叶绿素含量与植物色彩因子及色彩因子组合间的回归模型以及重建植物三维模型，将回归模型应用在点云上并进行伪彩色处理，实现植物叶绿素含量三维空间分布的可视化，解决了目前植物表型信息提取存在的无法大批量、快速、准确、无损的测量叶绿素含量的问题，实现了植物叶绿素含量三维空间分布的可视化，以便直观的观测植物叶绿素含量分布情况，可以作
为植物的生长监测、产量估算、精确施肥管理、衰老程度评判提供指导依据；可随时对植株进行叶绿素含量的测量，且可对植物叶片任意一点的叶绿素含量进行测量并进行可视化。
附图说明
[0048]
图1为本发明基于点云的植物叶绿素含量三维空间立体分布的可视化方法流程示意图。
[0049]
图2为本发明基于点云的植物叶绿素含量三维空间立体分布的可视化方法中植物叶片图像处理流程示意图。
[0050]
图3为本发明基于点云的植物叶绿素含量三维空间立体分布的可视化方法中叶绿素含量空间可视化处理流程示意图。
[0051]
图4中(a)为本发明基于点云的植物叶绿素含量三维空间立体分布的可视化方法中叶绿素含量空间可视化应用实例中拟南芥三维点云模型示意图。
[0052]
图4中(b)为本发明基于点云的植物叶绿素含量三维空间立体分布的可视化方法中叶绿素含量空间可视化应用实例中拟南芥叶绿素含量空间分布可视化示意图。
[0053]
图4中(c)为本发明基于点云的植物叶绿素含量三维空间立体分布的可视化方法中叶绿素含量空间可视化应用实例中桂花树叶片三维点云模型示意图。
[0054]
图4中(d)为本发明基于点云的植物叶绿素含量三维空间立体分布的可视化方法中叶绿素含量空间可视化应用实例中桂花树叶片叶绿素含量空间分布可视化示意图。
[0055]
图5中(a)为图4中(a)的灰度图。
[0056]
图5中(b)为图4中(b)的灰度图。
[0057]
图5中(c)为图4中(c)的灰度图。
[0058]
图5中(d)为图4中(d)的灰度图。
具体实施方式
[0059]
下面根据附图对本发明的具体实施方式作出进一步说明：
[0060]
如图1所示，为基于点云的植物叶绿素含量三维空间立体分布的可视化方法的实施例提供的流程示意图，该图像分析方法包括：
[0061]
s1，标定可见光相机色彩信息参数并采集植物叶片的彩色图像数据。
[0062]
s2，通过叶绿素含量测量仪检测采集的植物叶片叶绿素含量。
[0063]
s3，将采集到的植物叶片的彩色图像数据输入到图像处理程序中，对植物叶片图像进行处理提取图像色彩因子，包括r、g、b、g*g、h、s、v、l、a、b，其中r、g、b、h、s、v、l、a、b属于单通道下的色彩因子，g*g、为组合后的色彩因子，也可称作色彩因子组合。
[0064]
s4，将叶绿素含量测量仪检测到的植物叶片叶绿素含量与上述处理后提取到的色彩因子建立回归模型。
[0065]
s5，旋转拍摄(可见光相机不动、植物放置在托盘上转动或植物不动，可见光相机放置在平台上以植物为中心转动)，采集多视角下植物的彩色图像数据，以18
°
为旋转角度
间隔进行图像采集，一个圆周采集20张植物的彩色图像数据。
[0066]
s6，使用尺度和旋转不变性算法(scale
‑
invariant feature transform，sift)，提取多视角下采集到的植物彩色图像中的特征点信息。
[0067]
s7，将上述s6每张植物彩色图像中的特征点通过邻近搜索，进行特征点匹配。
[0068]
s8，通过运动恢复结构算法(structure from motion，sfm)得到具有颜色信息的植物三维模型。
[0069]
s9，将上述s4建立的回归模型应用在上述s8重建的植物三维模型上，得到所有点相应的叶绿素含量值并拉伸至[0，255]区间范围中，通过伪彩色处理后实现植物叶绿素含量三维空间分布可视化。
[0070]
其中步骤s1中的植物叶片的彩色图像数据通过可见光相机采集，保证光环境、可见光相机位置等条件一致，采集前先对可见光相机色彩参数进行标定，可见光相机色彩参数标定包括步骤：
[0071]
s11首先通过可见光相机采集红、绿、蓝三基色色卡图像，其中红、绿、蓝三张色卡的rgb色彩通道值分别为(255，0，0)、(0，255，0)、(0，0，255)。
[0072]
s12从采集到的红色色卡图像中提取出r通道，从采集到的绿色色卡图像中提取出g通道，从采集到的蓝色色卡图像中提取出b通道，计算出r通道下的平均像素点的值y_r，计算出g通道下的平均像素点的值y_g，计算出b通道下的平均像素点的值y_b，其中平均像素点计算公式如下所示：
[0073][0074]
其中，y_x为x通道下平均像素点的值，f
x
(i,j)为x通道下i行j列的值。
[0075]
s13对上述s12中得到的各个通道下的平均像素点的值与理论值进行运算，得到r通道下的色彩校正比例系数z_r、g通道下的色彩校正比例系数z_g以及b通道下的色彩校正比例系数z_b，其中色彩校正比例系数的计算函数如下所示：
[0076][0077]
其中，z_x为x通道下的色彩校正比例系数，y_x为x通道下平均像素点的值。
[0078]
s14将上述s13得到的各个通道色彩校正比例系数应用到之后所有的彩色图像用于色彩校正。
[0079]
其中步骤s2中的叶绿素含量测量仪采集时，首先对测量仪进行校准处理，校准处理完成后，将植物叶片(避开叶脉)插入并合上测量探头，在植物叶片上寻找三个不同处重复此操作，取三次测量值的平均值作为s1中采集的叶片叶绿素含量。
[0080]
如图2所示，其中步骤s3中的对植物叶片图像进行处理提取图像色彩因子的图像处理算法包括步骤：
[0081]
s31首先将植物叶片彩色图像转变为灰度图像，转换函数如下所示：
[0082][0083]
其中，i为灰度值，f
x
(i,j)为x通道下i行j列的值。
[0084]
s32对上述s31转变后的灰度图像进行二值化处理，实现植物叶片与背景之间分
割。
[0085]
s33若上述s32阈值处理后的植物叶片图像存在一定的噪点，则设定采用图像形态学中的开运算算法并设定合适的卷积核进行图像降噪处理，开运算函数如下所示：
[0086][0087]
其中a为图像集合，b为卷积核，d为膨胀运算，e为腐蚀运算。
[0088]
s34通过图像掩模算法将上述s1中的图像与上述s33降噪处理后的二值图像进行掩模处理，所述掩模处理是指将s33处理后的二值图像中的白色像素区域作为感兴趣区域roi(re gion of interest)与s1中的图像进行位运算，s1的图像中的数值与感兴趣区域进行位运算时，得到的仍旧是自身数值，其他部分图像数值变为0，实现图像中植物叶片部分与背景完全分离。
[0089]
s35将上述s34中掩模处理后的植物叶片图像转换到不同的色彩空间，所述不同色彩空间包括rgb(red,green,blue)色彩空间、la*b*(lab color space)色彩空间、hsv(hue,satura tion,value)色彩空间，如表1所示为从不同色彩空间提取色彩因子及其组合。计算出植物叶片所占像素点个数与单通道下色彩因子的总和，单通道下色彩因子的总和除以植物叶片所占像素点个数作为植物叶片在该通道下的色彩因子的数值。
[0090][0091]
其中f
x
(i，j)为x通道下i行j列的值，s为计算出的植物叶片所占像素点个数，f
x
为x通道下的色彩因子的数值，x通道分别指rgb色彩空间中的r、g、b色彩因子、hsv色彩空间中的h、s、v色彩因子、la*b*色彩空间中的l、a、b。
[0092]
将r、g、b三个色彩因子进行组合计算，考虑能体现绿色程度的色彩分量，转换成另4个常见的色彩因子(即g2，g2为组合后的色彩因子，也可称作色彩因子组合)。
[0093]
表1：
[0094][0095]
s36将上述s35中各通道得到的色彩因子的数值以及色彩因子组合值进行归一化处理，把原有的数值区间[0，255]内的数值转换到范围[0，1]区间。
[0096]
其中步骤s4中将上述s3中得到的不同色彩空间中不同通道提取的色彩因子以及色彩因子组合与上述s2中通过叶绿素含量测量仪检测的植物叶片叶绿素含量值进行线性、非线性的多项式回归模型建立；具体地，是从表1中所有的色彩因子中随机选取单个或者多个色彩因子，将这些色彩因子与叶绿素含量测量仪检测的植物叶片叶绿素含量值进行相关系分析，从而建立线性、非线性的多项式回归模型。利用多种模型评价指标选择拟合表现最好的模型作为最优回归模型。其中多种模型评价指标包括均方根误差rmse、决定系数r2。
[0097][0098]
上述公式为建立的回归模型统一表达式，其中y为回归模型得到的叶绿素含量，x1、x2…
x
n
为n个不同色彩空间中各通道的色彩因子及色彩因子组合，即表1中n个色彩因子，n大于等于1，小于等于13，w1、w2…
w
n
为权重系数，a1、a2…
a
n
为对数的底数，b为偏重系数，a、b、c
…
n为次数项，如表2为不同色彩空间下色彩因子回归模型。表2中所述rmse表示与测量
值相比的平均预测误差，数值越低准确率越高。r2表示模型拟合效果，由算法模型解释的测量方差的百分比，取值范围为[0，1]，r2越大，模型拟合效果越好。
[0099][0100][0101]
其中y
real
为手持叶绿素测量仪夹取到的真实值，无量纲单位；y
pred
为多色彩因子相关模型预测的值，无量纲单位；m为数据个数，单位为组；y
mean
为所有多色彩因子相关模型预测值的平均值，无量纲单位。
[0102]
表2：
[0103][0104][0105]
表2中编号1
‑
5为建立的线性回归模型，6
‑
15为建立的非线性回归模型，从表中可以看出由色彩因子lg(g)、r、g、b、g/r、g/b构建的回归模型14与色彩因子lg(g)、r、g、b、g/(r b)构建的回归模型15，其决定系数r2都高达0.73，但加入g/r和g/b色彩因子的模型14误差更小(rmse＝2.16<2.21)，因此回归模型14：y＝
‑
8.51*lg(g) 11.68*r
‑
26.48*g 18.30*b 2.81*g/r 3.85*g/b 40与spad值拟合程度最好，呈最显著回归性，为最佳叶绿素含量拟合模型。g/r和g/b在线性回归模型中就已证明比g/(r b)色彩因子能更好的反映植物叶片的绿色程度，编号7
‑
10的二次项回归模型和编号11
‑
15对数项回归模型的效果也印证了g/r和
g/b作为两个参数能分开调整，从而更好地拟合出植物叶片的相对绿色程度。
[0106]
其中步骤s5中采集多视角下植物的彩色图像数据的具体实施为，将可见光相机不动、植物放置在托盘上转动或植物不动，可见光相机放置在平台上以植物为中心转动。精准控制装置圆周旋转，对每一株植物以18
°
为旋转角度间隔进行图像采集，一个圆周采集20张植物的彩色图像数据。
[0107]
其中步骤s6中植物图像特征检测使用的是sift算法，sift算法通过不同尺寸的高斯滤波器计算得到特征点的位置信息(x,y)，同时还提供一个描述子descriptor信息，在一个特征点周围的方格直方图中，每一个直方图包含梯度方向，得到多维的特征向量，实现植物图像的特征检测。
[0108]
其中步骤s7中的特征匹配，通过邻近搜索算法设定最近邻的距离为d1，再找到第二近的匹配对点之间距离为d2，如果两个距离d1和d2之比小于一个阈值，就可以判定为可接受的匹配对，对匹配点采用采样一致性算法(random sample consensus,ransc)计算基础矩阵，剔除不满足基础矩阵的匹配对。特征点匹配原理函数如下：
[0109][0110]
其中f
d1
为特征点，f
d2
为图像上的另一特征点，f
nn
为最近邻的特征向量，f(j)为图像j。
[0111]
如图3所示，其中s9中叶绿素含量三维空间分布可视化包括步骤：
[0112]
s91将上述s4中的叶绿素含量回归模型应用在上述s8中重建的植物三维模型的归一化处理后的色彩信息上，使得三维模型的归一化处理后的色彩信息转换为叶绿素含量的估算值。
[0113]
s92上述s91中的叶绿素含量估算值范围为[0，100]，将叶绿素含量估算值分布范围拉伸至[0，255]，得到植物叶绿素含量的全灰度值区间分布情况。
[0114]
s93将上述s92中的处理后的植物三维模型进行伪彩色处理，使得植物叶绿素含量按空间分布呈现可视化效果。
[0115]
r(i，j＝t
r
[f(i，j)]
[0116]
g(i，j＝t
g
[f(i，j)]
[0117]
b(i,j＝t
b
[f(i,j)]
[0118]
其中r(i,j、g(i，j、b(i，j分别是伪彩色图像红、绿、蓝三种分量的数值，f(i，j是原始图的灰度级，t
r
、t
b
、t
g
分别为代表灰度级与r、g、b三基色的线性映射关系。其中t
r
线性映射关系是指灰度级低于h
max
/2的均被映射成最暗的红色；灰度值在h
max
/2～3h
max
/4之间的，红色的亮度随着灰度级作线性增加；灰度值在3h
max
/4～h
max
之间的，红色保持在最亮的等级上不变；t
b
、t
c
与上述t
r
映射关系相同，其中h
max
为最大灰度值255。
[0119]
图4为本发明基于点云的植物叶绿素含量三维空间立体分布的可视化方法中叶绿素含量空间可视化应用实例(拟南芥、桂花树叶片)的示意图。其中图4中(a)为按照步骤s5
‑
s8搭建的拟南芥三维点云模型示意图。图4中(b)为按照步骤s9建立的拟南芥叶绿素含量空间分布可视化示意图。图4中(c)为按照步骤s5
‑
s8搭建的桂花树叶片三维点云模型示意图。
[0120]
图4中(d)为按照步骤s9建立的桂花树叶片叶绿素含量空间分布可视化示意图。图5为图4的灰度图。
[0121]
本发明通过对植物叶片图像进行处理，提取出植物叶片的色彩因子及其组合，建立植物叶片的色彩因子及其组合与叶绿素含量测量仪得到的叶绿素含量之间的回归模型并将该回归模型应用于植物三维模型上，获得全部点云的叶绿素含量并进行归一化与伪彩色处理后，得到植物叶绿素含量空间鲜明分布。整株植物的叶绿素含量以不同颜色在植物三维结构上展示，能够在“肉眼看到变化”之前看到变化，并进行量化分析。
[0122]
基于点云的植物叶绿素含量三维空间立体分布的可视化方法为植物的生长监测、产量估算、精确施肥管理、衰老程度评判提供指导依据，具有非常重要的意义。
[0123]
本发明的保护范围包括但不限于以上实施方式，本发明的保护范围以权利要求书为准，任何对本技术做出的本领域的技术人员容易想到的替换、变形、改进均落入本发明的保护范围。