基于多模态图像识别的古树病虫害分级诊断方法及系统与流程

摘要: 本发明涉及古树健康监测,特别是基于多模态图像识别的古树病虫害分级诊断方法及系统。背景技术:1、古树是重要的自然与历史文化资源,其健康状况直接关系生态安全、文化遗...
基于多模态图像识别的古树病虫害分级诊断方法及系统与流程

本发明涉及古树健康监测,特别是基于多模态图像识别的古树病虫害分级诊断方法及系统。

背景技术:

1、古树是重要的自然与历史文化资源,其健康状况直接关系生态安全、文化遗产保护及公共安全。古树受树龄、生长环境和抗逆能力影响,易发生腐烂、虫孔、枝叶失绿及组织坏死等病虫害,若未及时发现和分级处置,可能造成病变扩展、枝干断裂甚至整株死亡。因此,对古树病虫害进行持续、准确的分级诊断具有重要意义。

2、目前古树病虫害主要依靠人工巡查或单一rgb图像识别,存在以下不足:其一,古树天然裂纹、树瘤、苔藓和历史伤口易被误判为病害,通用健康样本难以反映不同古树的个体差异;其二,不同巡检时刻的图像缺少稳定的空间对应关系,难以准确判断病变新增、扩展和持续状态;其三,单一图像容易受到光照、遮挡和季节变化干扰,诊断可靠性不足;其四,现有分级多依据当前病斑面积,无法综合反映扩展速度和持续时间。因此,亟需一种基于同株古树历史基线和多模态图像变化分析的分级诊断方法,以提高病虫害识别及发展程度评估的准确性。

技术实现思路

1、鉴于上述现有存在的问题,提出了本发明。

2、因此,本发明提供了基于多模态图像识别的古树病虫害分级诊断方法及系统,解决古树固有特征易被误判、跨时序病变难以追踪及病虫害分级准确性不足的问题。

3、为解决上述技术问题,本发明提供如下技术方案:

4、第一方面,本发明提供了基于多模态图像识别的古树病虫害分级诊断方法,其包括,

5、建立古树个体巡检记录,按照固定位置同步采集并校验rgb、多光谱、热红外和深度数据,形成当前及历史多模态图像组;

6、建立固定空间基准模型,将各次巡检数据配准至该模型,并划分固定诊断单元,建立跨巡检空间对应关系;

7、基于各诊断单元对应的多模态数据,提取颜色纹理、光谱反射、表面温度和三维形态特征,根据诊断单元的历史特征,分别建立固定个体基线和近期自适应基线;

8、计算当前特征相对于固定个体基线和近期自适应基线的变化程度,通过多模态联合判断确定异常单元并合并形成异常区域;

9、对异常区域进行病虫害分类和病变分割,获得病虫害类别、识别概率及各诊断单元的病变比例,并结合当前与历史诊断结果,区分新增、扩展和持续病变,并计算病变面积及异常持续时间;

10、计算当前损伤比例、扩展速度和持续时间计算发展指数,确定各类病虫害等级及古树整体等级。

11、作为本发明所述基于多模态图像识别的古树病虫害分级诊断方法的一种优选方案,其中:所述建立古树个体巡检记录,按照固定位置同步采集并校验rgb、多光谱、热红外和深度数据,形成当前及历史多模态图像组指使用多模态采集终端采集古树多模态图像,对古树进行采集时,由采集终端生成古树唯一编号;

12、建立与对应的古树个体巡检记录,包括古树唯一编号、树种、巡检时刻、第个采集位置的编号、rgb图像、多光谱图像、热红外图像、深度点云、图像质量标志、本次病虫害诊断结果;

13、在首次巡检时,以树干基部中心为圆心设置8个环绕采集位置,相邻采集位置的方位角相差45°,将各采集位置相对于树干基部中心的方向和距离记录为采集位置编号;

14、进行古树多模态图像时间同步;

15、在开始环绕采集前,分别采集标准白板图像和遮光暗场图像,对于多光谱图像中第个光谱通道、第个像素,将原始像素值转换为相对反射率;

16、对当前多模态图像执行图像质量检验,并输出当前有效多模态图像组。

17、作为本发明所述基于多模态图像识别的古树病虫害分级诊断方法的一种优选方案,其中:所述建立固定空间基准模型,将各次巡检数据配准至该模型,并划分固定诊断单元,建立跨巡检空间对应关系指首先根据采集终端记录的采集位置对8组深度点云进行初始变换,再利用相邻点云中的重叠区域执行点到面icp配准,对各组点云之间的空间位置偏差进行校正,并将配准后的8组深度点云统一至同一古树坐标系下进行拼接,得到当前巡检时刻对应的完整古树三维点云;

18、将该株古树第一次通过质量检验的完整点云作为初始空间基准点云,通过三角网格重建形成固定空间基准模型;

19、从当前点云和固定空间基准模型中提取树干分叉点、一级枝连接点和局部曲率极值点,利用ransac剔除错误匹配并完成粗配准,随后使用点到面icp进行精配准;

20、在固定空间基准模型的表面按照连通关系划分诊断单元集合;

21、将rgb、多光谱和热红外图像中的像素投影至固定空间基准模型,根据投影位置,将各像素分配给对应诊断单元。

22、作为本发明所述基于多模态图像识别的古树病虫害分级诊断方法的一种优选方案,其中:所述基于各诊断单元对应的多模态数据,提取颜色纹理、光谱反射、表面温度和三维形态特征指将每个诊断单元的rgb局部图像转换至lab颜色空间,提取亮度均值、红绿色度均值、黄蓝色度均值、颜色标准差、灰度纹理熵和边缘像素比例,构成rgb特征向量;

23、计算诊断单元内红光、红边和近红外通道的平均反射率,分别记为、 和,进一步计算红边归一化差异指数,并形成多光谱特征向量。

24、作为本发明所述基于多模态图像识别的古树病虫害分级诊断方法的一种优选方案,其中:所述根据诊断单元的历史特征,分别建立固定个体基线和近期自适应基线指计算当前全部有效可见诊断单元的温度中位数,对于诊断单元计算其平均温度相对于当前树体温度中位数的差值;

25、进一步计算诊断单元内部的温度标准差,形成热红外特征向量;

26、对于诊断单元中的每个当前点,计算该点到固定空间基准模型对应表面的有符号距离,取全部有符号距离的中位数作为表面位移,取有符号距离的标准差作为表面粗糙度,形成深度特征向量;

27、对于每个诊断单元,选取最早三次有效巡检的特征建立固定个体基线,对于诊断单元的第种模态的第个特征,计算固定基线值;

28、计算固定基线波动尺度;

29、对每个诊断单元保存最近5次被确认正常的特征值,并采用中位数和中位绝对偏差建立近期自适应基线及其波动尺度。

30、作为本发明所述基于多模态图像识别的古树病虫害分级诊断方法的一种优选方案,其中:所述计算当前特征相对于固定个体基线和近期自适应基线的变化程度,通过多模态联合判断确定异常单元并合并形成异常区域指对于诊断单元和模态,计算当前特征相对于固定个体基线的变化程度;

31、同样计算当前特征相对于近期自适应基线的变化程度;

32、设置模态变化阈值,根据诊断单元的综合模态变化程度判断是否发生异常变化;

33、统计诊断单元中达到变化阈值的有效模态数量,并进一步确定异常单元;

34、对空间相邻的确认异常单元执行连通区域合并,形成当前确认异常区域集合。

35、作为本发明所述基于多模态图像识别的古树病虫害分级诊断方法的一种优选方案,其中:所述对异常区域进行病虫害分类和病变分割,获得病虫害类别、识别概率及各诊断单元的病变比例指将确认异常区域的当前图像、固定基线图像和绝对差异图输入病虫害识别模型;

36、模型通过softmax分类层输出第个诊断单元属于第类病虫害的概率;

37、取概率最大的类别作为候选类别;

38、模型病变分割层输出诊断单元内每个有效像素的病变概率,将病变概率不低于0.50的像素确定为病变像素,并计算局部病变比例。

39、作为本发明所述基于多模态图像识别的古树病虫害分级诊断方法的一种优选方案,其中:所述结合当前与历史诊断结果,区分新增、扩展和持续病变,并计算病变面积及异常持续时间指对于第类病虫害,将当前属于该类别的确认异常单元集合记为,将上一次有效巡检中对应集合记为;

40、记录新增病变单元集合、持续病变单元集合、所有扩展单元构成集合;

41、计算第类病虫害的当前有效病变面积、新增病变面积、扩展病变面积;

42、对于持续病变单元,查找其在连续有效巡检中第一次被确认属于当前病虫害类别的时刻,计算连续异常持续时间。

43、作为本发明所述基于多模态图像识别的古树病虫害分级诊断方法的一种优选方案,其中:所述计算当前损伤比例、扩展速度和持续时间计算发展指数,确定各类病虫害等级及古树整体等级指统计当前巡检和上一次巡检中均有效可见的诊断单元,计算其总面积;

44、计算第类病虫害的当前损伤比例;

45、计算当前巡检与上一次有效巡检的时间间隔;

46、计算第类病虫害的扩展速度;

47、按照各持续异常单元的实际病变面积进行加权,得到第类病虫害的面积加权持续时间;

48、在实施前的病虫害训练样本中,按照病虫害类别统计专业人员标注为重度及以上的历史病例,分别取其当前损伤比例、扩展速度和持续时间90%分位值,得到第类病虫害的损伤参考值、扩展速度参考值 和持续时间参考值 ;

49、计算第类病虫害的发展指数,并根据发展指数确定第类病虫害的等级。

50、第二方面,本发明提供了基于多模态图像识别的古树病虫害分级诊断系统,包括,

51、数据采集模块,用于建立古树个体巡检记录,按照固定采集位置同步采集rgb、多光谱、热红外和深度数据,形成当前及历史多模态图像组;

52、空间基准模块,用于融合多位置深度点云建立固定空间基准模型,将各次巡检数据配准至固定空间基准模型,并划分固定诊断单元;

53、特征基线模块,用于提取各诊断单元的颜色纹理、光谱反射、表面温度和三维形态特征,根据历史多模态特征建立固定个体基线和近期自适应基线;

54、异常识别模块,用于计算当前多模态特征相对于固定个体基线和近期自适应基线的变化程度,通过多模态联合判断确定异常诊断单元,并合并形成确认异常区域;

55、病变分析模块,用于识别确认异常区域的病虫害类别和病变比例,结合历史诊断结果区分新增、扩展和持续病变,并计算病变面积及异常持续时间;

56、分级诊断模块,用于根据当前损伤比例、病变扩展速度和异常持续时间计算病虫害发展指数,并确定各类病虫害等级及古树整体病虫害等级。

57、本发明有益效果为:本发明通过构建固定空间基准模型并划分固定诊断单元,实现了同株古树不同巡检时刻多模态图像的空间统一与准确对应;通过提取颜色纹理、光谱反射、表面温度和三维形态特征,并建立固定个体基线与近期自适应基线,实现了古树长期累计变化和近期异常变化的协同识别;通过多模态联合判断确定异常区域,并区分新增、扩展和持续病变,为病虫害类别识别、病变面积计算和发展指数生成提供可靠基础,最终降低了古树固有特征及环境干扰造成的误判,提高了病虫害时序识别与分级诊断的准确性。