基于深度学习的绿化施工杂草自动识别方法与流程

摘要: 本发明涉及机器视觉、深度学习目标检测及园林绿化智能养护,尤其涉及基于深度学习的绿化施工杂草自动识别方法。背景技术:1、当前市政道路、公园、小区等各类绿化施工与养...
基于深度学习的绿化施工杂草自动识别方法与流程

本发明涉及机器视觉、深度学习目标检测及园林绿化智能养护,尤其涉及基于深度学习的绿化施工杂草自动识别方法。

背景技术:

1、当前市政道路、公园、小区等各类绿化施工与养护作业中,杂草排查仍高度依赖人工徒步巡检模式,存在诸多难以规避的短板,人工巡查依靠肉眼区分杂草与绿化植被,林下、苗木间隙、路沿等隐蔽区域杂草极易被遮挡,整体漏检率常超 30%;高温、阴雨等户外工况下人工作业效率低下,大面积巡查耗费大量人力,养护成本居高不下,传统图像识别手段适配性不足,户外光照不均、浮尘水渍、枝叶遮挡等环境干扰易造成色彩、纹理失真,未做标准化预处理的图像直接输入模型会引发大量错检、漏检;现有杂草识别网络多为重型模型,算力需求高,难以部署车载、手持等移动巡检终端,无法实现现场离线实时检测。

2、同时现有识别技术缺少误差校验与自主优化闭环,仅能单次输出识别结果,无法量化错检率、漏检率,也不能自动定位识别偏差成因;模型更新需重新采集海量样本、完整重训,迭代成本高,难以适配四季杂草形态变化、多场景绿化植被混杂的复杂工况,难以支撑精细化定点除草作业。

3、常规识别设备与系统缺少全流程数据存储能力,无法留存杂草位置、生长密度、巡检时空信息,难以形成长期杂草生长数据库,养护人员无法依据量化数据制定差异化除草方案,常采用全域大面积喷施除草剂,既浪费药剂,也易对景观花卉、原生绿化植被造成药害,不利于绿化区域生态养护。

技术实现思路

1、本发明的目的是为了解决现有技术中存在的缺点,而提出的基于深度学习的绿化施工杂草自动识别方法。

2、为了实现上述目的,本发明采用了如下技术方案:

3、基于深度学习的绿化施工杂草自动识别方法,包括以下步骤:

4、s1、图像采集:全域固定参数标准化图像采集,构建带时空标签原始数据集,采用可见光高清工业相机作为图像采集终端,统一硬件采集参数:拍摄高度恒定50~80cm,镜头焦距固定2.8mm,成像帧率30帧/秒,单帧原始图像分辨率1920×1080,从硬件层面消除拍摄距离、焦距差异带来的图像畸变问题;

5、采集覆盖全部绿化施工区域,细分三大作业场景:市政绿化草坪、园林苗木绿化带、道路绿化隔离带,针对苗木间隙、草坪边角、路沿隐蔽区域做重点重复采集,杜绝区域漏拍;采集过程同步绑定gps区域坐标、精确采集时间戳,将单帧图像与空间、时间信息一一关联存储;

6、分时段、分季节完成样本采集,覆盖正午强光、早晚弱光、阴天漫反射、雨后带水渍、叶面浮尘等多种户外工况,丰富原始图像数据集的场景多样性,从源头降低后续环境噪声对识别结果的干扰;

7、s2、图像预处理:多算法联合标准化处理,消除多维度图像干扰,对s1输出的原始植被图像依次执行三层标准化处理流程,全部算法参数固化,保障输入模型的图像规格统一:

8、1)高斯滤波降噪:选用5×5尺寸滤波窗口,平滑滤除图像内浮尘斑点、树叶细小光影杂点、雨水水渍噪点,完整保留杂草与绿化植被的叶片轮廓、纹理细节,避免大尺寸滤波造成特征丢失;

9、2)rgb色彩均衡校正:针对强光下叶片泛白、阴雨天画面偏暗、树荫下色彩偏绿等色差问题,对rgb三通道像素值做均衡拉伸,还原杂草、草坪、苗木原生色彩区分度,解决色彩偏差导致的模型错检问题;

10、3)尺寸归一化缩放:将降噪、校色完成后的图像统一缩放至640×640标准尺寸,采用等比例缩放搭配边缘填充方式,不裁剪植株主体特征,消除原始图像长宽、分辨率差异对模型特征提取的影响,生成可直接输入深度学习网络的标准化预处理图像;

11、s3、模型识别检测:轻量化改进yolov8模型智能识别检测,输出量化杂草初始识别结果,将标准化预处理图像输入预先完成离线训练的轻量化杂草识别深度学习模型,模型采用改进yolov8基础网络+shufflenetv2轻量化主干+通道注意力特征增强模块组合架构,兼顾检测速度与识别精度,可部署于低算力移动巡检终端:

12、1)数据集离线训练阶段:构建绿化施工专用杂草标注数据集,数据集涵盖四季植被样本、多光照、多遮挡、多绿化场景,人工标注杂草边界框、品类标签、植株覆盖像素面积,划分训练集、验证集、测试集完成模型基础训练,通道注意力模块自动强化杂草细小叶片、低矮杂草的浅层特征权重,弱化土壤、石子等背景无效特征;

13、2)实时推理识别流程:模型对预处理图像分层完成浅层纹理提取、中层植株轮廓融合、高层语义分类匹配,自动区分草坪、景观苗木等目标绿化植被与各类杂草植株;

14、3)初始识别结果输出内容:逐株生成杂草像素坐标边界框、杂草具体品类、单株杂草像素覆盖面积,汇总计算当前采集区域杂草总覆盖率,完整留存单帧图像所有识别目标数据,形成结构化初始识别结果文件;

15、s4、识别误差分析:多维度误差分析校验,量化识别偏差并定位干扰根源,搭建独立误差分析模块,模块内置标准化绿化植被特征数据库,数据库预先录入本地常用绿化植被的形态轮廓、rgb色彩区间、叶片纹理、植株尺寸等固定参数,作为识别校验基准:

16、1)逐帧数据比对校验:将s3输出的初始识别结果与数据库内标准绿化植被特征逐目标匹配比对,区分两类识别错误:一是错检(将绿化苗木判定为杂草),二是漏检(画面内杂草未被模型识别标注);

17、2)误差指标量化计算:统计单位采集区域内错检数量、漏检数量,同步计算模型当前识别准确率、错检率、漏检率三大核心评价指标;

18、3)偏差成因分类判定:通过特征差异对比自动划分识别误差来源:①图像层面干扰:强光畸变、枝叶相互遮挡、杂草形态变异、土壤背景混淆;

19、②模型层面偏差:特定杂草样本训练不足、特征权重适配性差、检测阈值设置不合理;

20、4)生成标准化误差报告:汇总误差数量、各项误差指标、误差成因分类、对应疑难图像编号,输出可直接用于模型优化的标准化误差分析报告;

21、杂草识别准确率为整体识别精度指标,属于s4核心量化指标,公式表达式如下:

22、;

23、其中,tp(truepositive,真阳性):图像中真实存在杂草,模型成功识别标注的杂草植株数量;

24、tn(truenegative,真阴性):图像内仅为绿化植被、无杂草,模型判定无杂草的区域像素/植株数量;

25、fp(falsepositive,假阳性,专利定义错检):无杂草绿化苗木被模型误判为杂草的植株数量;

26、fn(falsenegative,假阴性,专利定义漏检):画面内真实杂草未被模型识别的植株数量;

27、acc:杂草识别整体准确率(%);

28、杂草漏检率为重点关注误差指标,公式表达式如下:

29、;

30、其中,为杂草漏检率(%);

31、、同上述公式定义;

32、杂草错检率为绿化植被误判指标,公式表达式如下:

33、;

34、其中,为杂草错检率(%);

35、、同上述公式定义;

36、s5、模型迭代优化:闭环模型迭代优化,持续提升复杂场景识别适配能力,依托s4误差分析报告开展三步式模型迭代优化,形成“识别-误差分析-模型调优”闭环自更新机制,无需重新采集大批量基础样本:

37、1)疑难样本筛选校正:提取报告中对应错检、漏检的疑难图像样本,人工重新精准标注杂草与绿化植被边界、品类标签,剔除标注错误样本,将校正后的疑难图像新增至模型优化样本集,补充模型稀缺场景样本;

38、2)模型参数定向调优:根据误差成因针对性调整网络参数:针对漏检问题上调目标检测置信度阈值、优化浅层特征提取权重;针对绿化植被错检问题下调非极大值抑制阈值、强化绿化植被特征区分权重;针对遮挡场景优化通道注意力模块权重分配规则;

39、3)模型微调重训固化:设定固定小幅学习率与限定迭代次数,使用优化样本集对基础模型开展微调训练,训练完成后固化全部更新后的网络权重、阈值参数,得到优化后的高精度杂草识别模型;使用优化模型重新推理图像,输出无明显错漏检的精准绿化施工杂草识别结果,同时更新本地模型文件用于下一轮巡检识别。

40、一种基于深度学习的绿化施工杂草自动识别系统,其适用于上述任意一项所述的基于深度学习的绿化施工杂草自动识别方法,包括图像采集模块、图像预处理模块、智能识别模块、误差分析模块、模型优化模块和数据存储模块;

41、各模块通过总线通信连接,协同完成绿化施工杂草自动识别全流程作业。

42、进一步的,所述图像采集模块:搭载固定参数可见光工业相机与gps定位单元,支持车载、手持巡检两种部署方式,自动按照预设高度、焦距、帧率完成全域图像采集,同步封装图像、采集时间、区域坐标三元组数据,批量传输至图像预处理模块,保障绿化区域全覆盖无遗漏采集;

43、所述图像预处理模块内置高斯滤波、rgb色彩均衡、尺寸归一化三套固化算法程序,接收原始图像后自动流水线完成降噪、校色、缩放处理,剔除无效噪声、统一图像输入规格,将标准化预处理图像推送至智能识别模块,同时缓存预处理图像副本至数据存储模块;

44、所述智能识别模块:本地部署轻量化改进yolov8杂草识别模型,支持离线实时推理,不依赖云端算力,接收标准化图像后自动完成特征提取、目标检测、杂草数据统计,输出结构化初始识别数据,一方面推送至误差分析模块做精度校验,另一方面备份识别原始结果至数据存储模块;

45、所述误差分析模块内置本地绿化植被标准特征数据库与误差量化计算程序,接收初始识别数据后自动完成特征比对、错漏检统计、误差指标计算、偏差根源判定,自动生成标准化误差分析报告,将报告与对应疑难图像一并下发至模型优化模块;

46、所述模型优化模块集成样本标注工具、网络参数调优程序、模型轻量化微调训练单元,接收误差报告后自动筛选疑难样本,支持人工校正标注,定向调整模型权重与阈值参数,完成轻量化重训后生成新版本优化模型,同步覆盖更新智能识别模块内推理模型文件,实现模型本地自主迭代升级;

47、所述数据存储模块采用分级存储架构,划分原始图像存储区、预处理图像存储区、识别结果存储区、误差报告存储区、模型参数存储区五大分区,完整留存全流程原始数据、中间处理文件、分析报告、新旧版本模型参数,支持按采集时间、绿化区域、模型版本检索调取,实现全作业流程数据溯源、重复复用,为后续模型持续优化、绿化养护大数据统计提供数据支撑。

48、与现有的技术相比,本发明的有益效果是:

49、1、本发明通过标准化图像采集与预处理,从源头降低环境干扰,统一相机焦距、拍摄高度、帧率等硬件参数,搭配分时段多工况采集丰富数据集;再通过高斯滤波、rgb色彩校正、尺寸归一化消除粉尘、光影、分辨率差异干扰,规避图像层面错漏检诱因,为模型提供高质量标准化输入,大幅减少户外复杂环境带来的识别误差;

50、2、本发明通过轻量化改进yolov8模型,兼顾识别精度与落地便携性,采用shufflenetv2轻量化主干搭配通道注意力模块,无需云端算力,可部署车载、手持等边缘终端离线推理,注意力机制强化低矮杂草浅层特征,弱化土壤石子无效背景,既能快速输出杂草位置、品类、覆盖率量化数据,又适配移动巡检低算力设备,拓宽场景适用范围;

51、3、本发明通过误差闭环分析+模型自主迭代,持续提升识别精准度,搭建独立误差分析模块量化准确率、漏检率、错检率,区分图像遮挡、样本不足两类偏差根源,依托疑难样本校正、定向参数调优、轻量化重训形成闭环优化,无需大批量重新采集样本,三次实施例优化后识别准确率均提升至94%以上,显著降低漏检、错检问题;

52、4、本发明通过模块化完整系统+分级数据存储,支撑绿化精细化养护,六大模块协同完成采集到模型更新全流程作业,分级存储图像、报告、模型参数实现全流程数据溯源,可输出杂草分布坐标、分区覆盖率热力图,指导定点除草,减少大面积除草剂使用,同时积累杂草生长大数据,辅助养护排班与季度方案调整,大幅降低人工养护成本;

53、综上所述,该方法从图像输入、轻量化检测、闭环迭代、全流程系统存储四层构建杂草识别方案,解决传统人工巡查漏检率高、效率低的痛点,多场景实测下模型精度显著提升,适配道路、公园、小区多类绿化作业,依靠本地离线推理与自主迭代降低算力、样本成本,兼顾生态环保与人力节约,可实现绿化杂草智能化、精细化巡检养护。