一种多模态表型特征融合方法及系统

摘要: 本发明涉及图像识别,尤其涉及一种多模态表型特征融合方法及系统。背景技术:1、图像识别技术领域涉及从可见光、多光谱、红外及其他成像数据中提取目标区域的颜色、纹理、...
一种多模态表型特征融合方法及系统

本发明涉及图像识别,尤其涉及一种多模态表型特征融合方法及系统。

背景技术:

1、图像识别技术领域涉及从可见光、多光谱、红外及其他成像数据中提取目标区域的颜色、纹理、形态、光谱响应和温度分布特征,并基于不同视觉信息之间的空间对应关系形成描述。其中,传统作物种质资源鉴定依赖田间自然胁迫或人工气候箱处理后的破坏性取样,通过测定电解质渗漏率、丙二醛(mda)、脯氨酸含量等生理指标进行评价。该方法通量低(每批次通常不超过20份)、周期长(单次鉴定需2-4周)、无法实现单株动态追踪,取样后植株无法继续用于后续实验,难以满足百份级种质资源的批量鉴定需求。

2、现有温室表型采集设备主要存在以下技术缺陷:

3、(1)传感器配置单一或需串行切换;

4、(2)挂轨系统传感器单一,缺乏多模态协同;

5、(3)地面移动结构在密植苗床环境下机动性差;

6、(4)软件方法与硬件采集脱节;

7、(5)针对种质资源胁迫耐受性的专用动态评价体系缺失。

8、导致表型胁迫评价通常围绕单一或少量传感特征开展,不同采集时相和不同量纲指标往往分别处理,特征间关联难以统一表达,环境波动容易混入种质真实响应,指标筛选依赖单一路径时易受模型偏好影响,多源高维数据还易产生信息冗余和共线性,聚类分群与综合排序之间缺少相互校验,导致关键耐逆表型识别不充分,种质胁迫响应差异难以形成一致可靠的量化依据,影响种质分级的客观性和可重复性。。

技术实现思路

1、本发明旨在提供一种多模态表型特征融合方法及系统,通过对同一种质在正常状态、胁迫期及恢复期的多光谱特征、rgb特征、热红外特征、叶绿素荧光特征和环境协变量进行时间对应、胁迫指数构建、多模态特征融合、核心指标筛选、聚类及多方法综合评价,使不同模态、不同量纲及不同采集阶段的表型信息能够在统一的数据处理框架下进行关联分析,并利用多种特征筛选结果及综合评价结果之间的一致性确定综合胁迫指数,以实现对不同种质胁迫响应的综合表征和种质分级。

2、为了实现上述目的,本发明采用了如下技术方案,一种多模态表型特征融合方法,包括以下步骤:

3、s1、获取同一种质在正常状态、胁迫期及恢复期的多光谱特征、rgb特征、热红外特征、叶绿素荧光特征和环境协变量,并按照采集时间点形成表型特征;

4、s2、基于所述表型特征,分别计算各特征的胁迫值与正常状态下对应基线值的比值,得到各特征的胁迫指数,将所述胁迫指数对应的多光谱特征、rgb特征、热红外特征、叶绿素荧光特征和环境协变量进行特征拼接,进行主成分分析并进行降维处理得到融合向量;

5、s3、针对所述融合向量,分别采用随机森林gini重要性排序、lasso正则化回归和基于支持向量机的递归特征消除进行特征筛选,并将三种特征筛选结果的交集确定为核心指标集;

6、s4、基于所述核心指标集进行层次聚类和k-means聚类,并采用隶属函数法、topsis法和熵权法分别进行综合评价;

7、s5、对三种综合评价结果进行spearman秩相关验证,在秩相关系数满足设定条件时,根据三种综合评价结果确定综合胁迫指数,并基于所述综合胁迫指数确定种质分级。

8、具体来说,s1中,所述表型特征的形成过程中:

9、获取同一种质在正常状态、胁迫期及恢复期采集的多光谱特征、rgb特征、热红外特征、叶绿素荧光特征和环境协变量,以及各特征对应的采集时间点;

10、按照所述采集时间点,分别确定正常状态、胁迫期及恢复期中处于同一采集时间点的多光谱特征、rgb特征、热红外特征、叶绿素荧光特征和环境协变量;

11、将同一采集时间点对应的多光谱特征、rgb特征、热红外特征、叶绿素荧光特征和环境协变量进行对应,并按照正常状态、胁迫期及恢复期的采集时间点进行排列,得到所述表型特征。

12、具体来说,s2中,所述胁迫指数的计算过程中:

13、获取同一种质在正常状态下的多光谱特征、rgb特征、热红外特征、叶绿素荧光特征和环境协变量,获取正常状态下各特征的特征值作为对应特征的基线值;

14、获取同一种质在胁迫期的多光谱特征、rgb特征、热红外特征、叶绿素荧光特征和环境协变量,将胁迫期各特征的特征值作为对应特征的胁迫值;

15、分别计算各特征的所述胁迫值与对应的所述基线值的比值,将计算得到的比值作为对应特征的所述胁迫指数。

16、具体来说,所述基线值的确定过程中:

17、获取同一种质在正常状态下各采集时间点对应的多光谱特征、rgb特征、热红外特征、叶绿素荧光特征和环境协变量;

18、针对同一特征,对正常状态下各采集时间点对应的特征值进行平均处理,得到对应特征在正常状态下的平均特征值,分别将各特征对应的所述平均特征值作为各特征对应的所述基线值。

19、具体来说,s2中,所述融合向量的获得过程中:

20、获取多光谱特征、rgb特征、热红外特征、叶绿素荧光特征和环境协变量分别对应的胁迫指数,将各所述胁迫指数按照对应的特征进行拼接,得到拼接后的特征;

21、对所述拼接后的特征进行主成分分析,确定保留的主成分,并根据保留的主成分对所述拼接后的特征进行降维处理,得到所述融合向量;

22、其中,对所述拼接后的特征进行主成分分析时,确定各主成分对应的方差贡献率,按照所述方差贡献率由高至低对各主成分进行排列,从方差贡献率最高的主成分开始依次选取主成分,并对已选取主成分的所述方差贡献率进行累计,当累计方差贡献率达到预设阈值时停止选取,将已选取的主成分确定为保留的主成分。

23、具体来说,对所述所述拼接后的特征进行降维处理时:

24、将所述拼接后的特征输入深度自动编码器,通过深度自动编码器的编码过程降低所述拼接后的特征的特征维度,并通过深度自动编码器的解码过程对编码后的特征进行重构;

25、根据重构后的特征与所述拼接后的特征对深度自动编码器进行训练,将训练后的深度自动编码器输出的降维特征作为所述融合向量。

26、具体来说,s3中,所述核心指标集的确定过程中:

27、获取所述融合向量中的特征,分别采用随机森林gini重要性排序、lasso正则化回归和基于支持向量机的递归特征消除对所述特征进行筛选,得到三种特征筛选结果,对所述三种特征筛选结果中的特征进行比对,选择同时存在于所述三种特征筛选结果中的特征,确定为所述核心指标集;

28、其中,采用随机森林gini重要性排序进行特征筛选时,获取融合向量中的特征,根据随机森林中各特征对应的gini重要性对所述特征进行排序,按照所述gini重要性由高至低的顺序选取特征,将选取的所述特征作为随机森林gini重要性排序对应的特征筛选结果;

29、采用lasso正则化回归进行特征筛选时,获取融合向量中的特征,对所述特征进行lasso正则化回归,得到各特征对应的回归系数,保留回归系数不为0的特征,将保留的所述特征作为lasso正则化回归对应的特征筛选结果;

30、采用基于支持向量机的递归特征消除进行特征筛选时,获取融合向量中的特征,对所述特征进行支持向量机训练,根据训练结果确定各特征的重要性,并按照所述重要性由高至低对各特征进行排序,删除位于末位的特征,并对剩余的特征重新进行支持向量机训练,根据重新训练的结果确定剩余各特征的重要性并重新进行排序,按照每次去除当前排序中位于末位的特征并对剩余特征重新进行支持向量机训练和排序的方式进行递归特征消除,将停止递归特征消除时保留的特征作为基于支持向量机的递归特征消除对应的特征筛选结果。

31、具体来说,s4中,进行层次聚类、k-means聚类和综合评价的过程中:

32、获取各种质对应的所述核心指标集,分别根据所述核心指标集中各核心指标的特征值确定种质之间的距离,根据所述种质之间的距离对各种质进行层次聚类,得到层次聚类结果,并以相同的所述核心指标集中各核心指标的特征值对各种质进行k-means聚类,得到k-means聚类结果;

33、分别记录所述层次聚类结果和所述k-means聚类结果中各种质对应的聚类类别,得到各种质的聚类结果,并采用隶属函数法、topsis法和熵权法分别对所述聚类结果进行综合评价;

34、其中,采用隶属函数法进行综合评价时,获取各种质对应的所述核心指标集,根据各核心指标的数值大小与胁迫程度之间的关系,分别确定各核心指标对应的隶属度,根据各核心指标对应的所述隶属度,确定同一种质在各核心指标下的评价结果,将同一种质对应的各核心指标的所述评价结果确定隶属函数法对应的综合评价结果;

35、采用topsis法进行综合评价时,获取各种质对应的所述核心指标集,根据各种质在各核心指标下的特征值确定各核心指标对应的正理想值和负理想值;分别确定各种质的各核心指标与所述正理想值以及所述负理想值之间的距离,并根据各种质对应的两个距离确定各种质与正理想值的接近程度,将各种质对应的所述接近程度确定topsis法对应的综合评价结果;

36、采用熵权法进行综合评价时,获取各种质对应的所述核心指标集,根据各种质在同一核心指标下的特征值确定各核心指标的信息熵;根据各核心指标对应的所述信息熵确定各核心指标的权重;其中,信息熵较小的核心指标对应较大的权重,信息熵较大的核心指标对应较小的权重;根据各核心指标对应的所述权重以及各种质在各核心指标下的特征值确定各种质的评价值,并根据所述评价值确定熵权法对应的综合评价结果。

37、具体来说,s5中,确定种质分级过程中:

38、分别按照隶属函数法、topsis法和熵权法得到的综合评价结果对各种质进行排序,得到三种综合评价结果分别对应的种质排序,分别对所述三种综合评价结果中任意两种综合评价结果对应的种质排序进行spearman秩相关分析,得到三个秩相关系数,将三个所述秩相关系数分别与设定条件进行比较,当三个所述秩相关系数均满足设定条件时,确定所述三种综合评价结果通过spearman秩相关验证;

39、其中,满足设定条件具体指,各所述秩相关系数均大于等于0.85;

40、确定同一种质在所述三种综合评价结果中的评价值,对同一种质对应的三个所述评价值进行平均处理,得到该种质对应的平均评价值,将各种质对应的所述平均评价值作为各种质的所述综合胁迫指数;

41、按照所述综合胁迫指数的数值大小对各种质进行排序,根据预先确定的种质分级区间,将各种质对应的所述综合胁迫指数分别与所述种质分级区间进行比较,确定各所述综合胁迫指数对应的种质等级,得到所述种质分级结果。

42、本发明还提供一种多模态表型特征融合系统,包括采集模块、融合模块、筛选模块、聚类评价模块和分级模块。

43、所述采集模块用于获取同一种质在正常状态、胁迫期及恢复期的多光谱特征、rgb特征、热红外特征、叶绿素荧光特征和环境协变量,并按照采集时间点形成表型特征。

44、所述融合模块与采集模块连接,用于基于所述表型特征,分别计算各特征的胁迫值与正常状态下对应基线值的比值,得到各特征的胁迫指数,将所述胁迫指数对应的多光谱特征、rgb特征、热红外特征、叶绿素荧光特征和环境协变量进行特征拼接,进行主成分分析并进行降维处理,得到融合向量。

45、所述筛选模块与融合模块连接,用于针对所述融合向量,分别采用随机森林gini重要性排序、lasso正则化回归和基于支持向量机的递归特征消除进行特征筛选,并将三种特征筛选结果的交集确定为核心指标集。

46、所述聚类评价模块与筛选模块连接,用于基于所述核心指标集进行层次聚类和k-means聚类,并采用隶属函数法、topsis法和熵权法分别进行综合评价。

47、所述分级模块与聚类评价模块连接,用于对三种综合评价结果进行spearman秩相关验证,在秩相关系数满足设定条件时,根据三种综合评价结果确定综合胁迫指数,并基于所述综合胁迫指数确定种质分级。

48、与现有技术相比,本发明的优点和积极效果在于:

49、本发明中,围绕正常状态胁迫期恢复期的表型响应统一组织多光谱rgb热红外叶绿素荧光及环境协变量,以相对基线构建胁迫指数削弱量纲差异和环境波动干扰,经特征拼接与主成分降维凝聚跨模态互补信息并抑制冗余,通过随机森林gini重要性、lasso正则化回归及支持向量机递归特征消除的交集约束筛出稳定核心指标,在聚类刻画种质差异基础上融合隶属函数topsis和熵权评价,以spearman秩相关检验评价一致性,降低单一路径偏好影响,形成可靠的综合胁迫指数和种质分级依据。