一种基于计算机视觉的园林绿地智能巡检方法及系统与流程

本发明涉及计算机视觉，具体涉及一种基于计算机视觉的园林绿地智能巡检方法及系统。

背景技术：

1、大型园林绿地中混合种植常绿乔木、落叶乔木、花灌木和冷暖季型草坪等多种植物类群，各类群的物候节律存在明显差异。目前，机载实时异常检测通常采用统一的色彩基准对整幅航拍图像执行异常判别。然而，不同物种在同一时期因物候节律差异呈现出不同的色彩表现，统一色彩基准无法区分物种间的自然物候差异与真实病虫害引起的色彩偏离。这导致物候正常的色彩对比区域被误判为病害异常区域，驱使无人机航路频繁偏转至误触发区域，消耗有限的飞行电量和时间资源。与此同时，被误触发航路挤占资源后，乔木冠层遮挡形成的中下层植被覆盖盲区无法得到及时覆盖。能够支持物种区分的完整语义分割网络计算量超出机载边缘计算平台的实时处理能力，无法直接部署于机载端。

技术实现思路

1、本发明提供一种基于计算机视觉的园林绿地智能巡检方法及系统，解决相关技术中园林绿地巡检过程中因忽视物种物候色彩差异导致病虫害误检率高、航拍覆盖盲区难以自适应消除的技术问题。

2、本发明公开了一种基于计算机视觉的园林绿地智能巡检方法，包括以下步骤：

3、获取目标园林绿地的物种物候色彩先验数据，生成物种色彩先验表并加载至机载边缘计算模块；

4、对当前帧航拍图像中每个像素的色彩值，利用所述物种色彩先验表进行快速匹配，将各像素标注为对应物种类群或未知类别，生成实时类群归属标注图；

5、将已归属像素的色彩特征值与其所属物种类群在当前物候阶段的预期色彩分布范围进行比对，计算标准化残差，将残差超出物种内自然波动阈值的区域标记为真实疑似病虫害异常区域；

6、对所述真实疑似病虫害异常区域执行连通域分析，基于异常验证优先级权重在剩余航线中动态插入异常验证补充航点，输出自适应航路规划指令。

7、进一步地，所述获取目标园林绿地的物种物候色彩先验数据，生成物种色彩先验表并加载至机载边缘计算模块，还包括：获取目标园林绿地的历史植物种类空间分布数据和当前巡检日历时间，查询各物种类群的物候参数表，获取每个物种在当前物候阶段于hsv色彩空间中以色相均值与色相标准差定义的色相区间、以饱和度均值与饱和度标准差定义的饱和度区间以及以亮度均值与亮度标准差定义的亮度区间；计算相邻物种类群之间的预期色彩差异值 ：

8、

9、其中， 为第  类物种在色彩通道  上的分布均值， 为第  类物种在色彩通道  上的分布均值， 为色彩通道  的权重系数，三个通道的权重系数之和为1，各通道分布均值在输入计算前执行z-score标准化处理；将  超出预设色彩差异阈值的区域标记为高概率物候误触发区域，将物种色彩先验表和高概率物候误触发区域标记图加载至机载边缘计算模块。

10、进一步地，所述利用所述物种色彩先验表进行快速匹配，将各像素标注为对应物种类群或未知类别，包括：提取当前帧航拍图像中每个像素在hsv色彩空间中的色相值、饱和度值和亮度值，对各通道观测值执行z-score标准化处理；计算像素  相对于第 类物种的马氏距离 ：

11、

12、其中， 为像素  在色彩通道  上经z-score标准化后的观测值， 为第  类物种在当前物候阶段于色彩通道  上的分布均值， 为第  类物种在当前物候阶段于色彩通道  上的分布标准差；将马氏距离最小且低于分类置信阈值的物种类群作为该像素的归属类群标注结果；若所有物种类群的马氏距离均超出分类置信阈值，则将该像素标注为未知类别。

13、进一步地，所述标注为未知类别的像素在后续异常检测中采用全物种统一的保守色彩基准进行残差计算，所述保守色彩基准为所有物种类群色彩分布范围的并集外包络。

14、进一步地，还包括：以滑动窗口方式获取最近连续采集的多帧倾斜航拍图像，所述滑动窗口包含的图像帧数取值范围为5至15帧；利用增量式运动恢复结构算法对滑动窗口内图像执行实时特征匹配与三角化，通过光束平差法联合优化各帧相机位姿和三维点坐标，生成局部增量三维点云；采用迭代最近点算法将局部增量三维点云变换至全局坐标系下，与已累积的全局点云进行坐标配准和融合，输出实时更新的累积三维点云。

15、进一步地，还包括：对所述累积三维点云中所有点的高度值计算频率直方图，对频率直方图执行多峰检测，以相邻波谷位置作为高度分层阈值，将累积三维点云划分为乔木层、灌木层和地被层三个高度分层子集；针对各分层点云在水平参考面上生成当前有效覆盖掩膜，计算有效覆盖掩膜与该层理论覆盖范围的差值区域，对差值区域执行连通域分析，获取每个连通盲区的面积、质心坐标和遮挡方向向量；其中，所述遮挡方向向量的确定方式为：确定盲区连通域质心坐标在水平面上的投影位置，识别位于该盲区连通域正上方的上层点云密集区域的中心坐标，从盲区连通域质心指向上层遮挡区域中心的水平分量方向为遮挡方向，该遮挡方向的反方向为消除该盲区连通域所需的最佳观测进入方向；输出各层实时盲区空间分布图及对应的盲区观测需求参数。

16、进一步地，所述输出自适应航路规划指令，还包括：将真实疑似病虫害异常区域集合与各层覆盖盲区空间分布图共同作为航路规划的输入；基于各异常连通区域的标准化残差均值计算异常验证优先级权重，基于盲区面积和所属植被层级计算盲区覆盖优先级权重；利用带权重约束的贪心路径插入算法，按照异常验证优先级权重和盲区覆盖优先级权重在剩余航线中动态插入补充观测航点，其中异常验证航点配置低空垂直俯视采集参数，盲区覆盖航点根据遮挡方向向量配置对应的倾斜角度和进入方位参数；输出兼顾异常验证和盲区消除的自适应航路规划指令。

17、进一步地，所述盲区覆盖优先级权重  的计算方式为：

18、

19、其中， 为该盲区连通域经基于极差的均值归一化处理后的面积值， 为所属植被层级对应的基础权重系数，地被层对应的  最大，灌木层次之，乔木层最小。

20、进一步地，还包括：将补充航点采集的图像纳入增量式运动恢复结构算法重建流程，更新各层有效覆盖掩膜和各层实时盲区空间分布图；对异常验证航点采集的低空图像执行精细病虫害特征分类，确认或排除真实疑似病虫害异常区域；当确认为真实病虫害时，将该区域的色彩偏离模式记录为该物种类群的已确认病害色彩特征；当排除时，将该区域的色彩分布信息纳入物种色彩先验表的正常波动范围中；重新评估剩余盲区面积占比和未验证异常区域数量，当各层盲区面积占比均低于预设覆盖阈值且未验证异常数低于预设异常阈值时，终止航点插入流程，输出经物候甄别的病虫害异常检测结果和各层植被全覆盖健康状态评估数据。

21、本发明公开了一种基于计算机视觉的园林绿地智能巡检系统，用于执行上述基于计算机视觉的园林绿地智能巡检方法，包括：

22、物候先验加载模块，用于获取目标园林绿地的物种物候色彩先验数据，生成物种色彩先验表并加载至机载边缘计算模块；

23、轻量级像素分类模块，用于利用物种色彩先验表对当前帧航拍图像中各像素的色彩值进行快速匹配，生成实时类群归属标注图；

24、物候校正异常检测模块，用于基于实时类群归属标注图计算各像素偏离所属物种类群预期色彩分布范围的标准化残差，识别真实疑似病虫害异常区域；

25、航路规划模块，用于对真实疑似病虫害异常区域执行连通域分析，基于异常验证优先级权重在剩余航线中动态插入异常验证补充航点，输出自适应航路规划指令；

26、增量三维重建模块，用于以滑动窗口方式对连续采集的多帧倾斜航拍图像执行增量式运动恢复结构算法，输出实时更新的累积三维点云；

27、高度分层盲区分析模块，用于对累积三维点云执行高度直方图聚类分割并生成各层覆盖盲区空间分布图及对应的盲区观测需求参数；

28、反馈更新模块，用于将补充采集图像纳入增量式运动恢复结构算法重建流程更新各层实时盲区空间分布图，对异常验证图像执行精细病虫害特征分类以确认或排除真实疑似病虫害异常区域，并动态更新物种色彩先验表中对应区域的异常基线参数。

29、本发明具有以下有益效果：

30、通过预计算各物种在当前物候阶段的典型色彩分布范围并以物种色彩先验表形式加载至机载端，轻量级像素分类无需依赖完整语义分割网络即可完成物种类群归属判定，所需计算量适配机载边缘计算平台的实时处理能力。

31、以各像素所属物种类群的色彩分布参数作为独立基准计算标准化残差，将异常判定从全局统一色彩基准转换为物种内个体偏差评估。物候差异引发的正常色彩对比在各物种各自的基准下标准化残差处于正常范围内，不被标记为异常，从而消除物候误触发对航路的干扰，有限的飞行电量和时间资源得以保留用于真实异常验证和覆盖盲区消除。

32、联合航路优化将经物候甄别后的真实异常验证需求与各层植被覆盖盲区消除需求纳入统一的优先级加权贪心路径插入框架，按照异常验证优先级权重和盲区覆盖优先级权重分配航点插入顺序和飞行资源，使病虫害异常筛查确认和中下层植被覆盖盲区消除能够在单次飞行任务中同步完成，无需安排额外补飞航次。