一种无人机巡检多焦距视觉融合目标识别系统及方法与流程

摘要: 本发明涉及无人机巡检多焦距视觉融合目标识别,尤其是涉及一种无人机巡检多焦距视觉融合目标识别系统及方法。背景技术:1、随着无人机与人工智能技术的快速发展,利用搭载...
一种无人机巡检多焦距视觉融合目标识别系统及方法与流程

本发明涉及无人机巡检多焦距视觉融合目标识别,尤其是涉及一种无人机巡检多焦距视觉融合目标识别系统及方法。

背景技术:

1、随着无人机与人工智能技术的快速发展,利用搭载摄像头的无人机进行自动化巡检(如电力线路、光伏电站、森林防火、管道巡检等)已成为主流趋势。其典型工作流程是:无人机按照预设航线飞行,其云台上搭载的单摄像头(通常为可变焦摄像头)以特定焦距和角度拍摄巡检区域的视频流;该视频流通过无线图传模块实时回传至地面的ai服务器;ai服务器运行预先训练好的目标检测/识别模型(如yolo, faster r-cnn等),对视频帧进行实时分析,以识别烟雾、火焰、设备破损、入侵物体等目标;一旦识别到异常目标,系统可自动报警并记录位置信息。

2、最接近的现有技术通常采用单可变焦摄像头方案。其组成部分包括:无人机平台、云台、单目可变焦光学摄像头、机载图像处理/编码单元、无线图传模块、地面ai服务器及分析软件。连接与工作方式为:摄像头采集的视频信号经编码后,通过无线链路传输至服务器;服务器上的ai模型对单一视频流进行分析。操作时,通常预设一个“经验性”的最佳焦距进行巡航拍摄,或在检测到可疑目标时,通过远程指令控制摄像头调整焦距(拉近或推远)以获取更清晰的细节特征进行二次确认。

3、现有技术(单可变焦摄像头方案)存在的主要缺点是在复杂场景下的目标识别误检率较高,尤其在目标与常见环境干扰物外观相似时。

4、具体问题及产生原因如下:

5、1、特征混淆导致高误报:许多待检目标(如初期烟雾、小火苗)的视觉特征(颜色、纹理、形状)在固定焦距下容易与背景中的无害物体混淆。例如:

6、烟雾 vs. 水沟/雾气:在长焦或特定中焦下,薄烟的半透明、灰白色、无固定形态的特征,与潮湿的水沟反光、远处的地面雾气或低空云层极为相似。

7、火焰 vs. 反光物体/橘色塑料:在特定焦距下,火焰的橘红色亮块与阳光下的橘红色塑料布、建筑物反射光、秋季特定植物颜色等在颜色和大致形状上难以区分。

8、原因:单一的视觉尺度(焦距)所捕获的图像,提供的特征是片面的。ai模型学习到的可能只是“在该焦距下,这种颜色斑块”的特征,而这些特征并非目标物体的本质、多尺度特征。

9、2、响应迟滞与漏检风险:为了降低误报,现有技术常采用“先发现,后变焦确认”的两阶段策略。但这带来两个问题:

10、时间延迟:从发现可疑目标、发出变焦指令到摄像头重新对焦稳定,需要数秒时间,无法满足实时监控的要求,可能错过最佳处置时机。

11、漏检风险:在初始的“巡航焦距”下,如果目标特征与背景完全无法区分,ai模型可能根本不会产生初步报警,导致后续的变焦确认步骤无法被触发,从而造成漏检。

12、根本原因在于,依赖单一时刻、单一焦距的视觉信息流进行决策,信息维度不足,无法应对目标特征随视觉尺度变化的复杂性。

13、因此,可以将上述问题以及原因总结为以下两点:

14、其一,单一焦距所捕获的图像仅能提供单一视觉尺度下的特征信息,当待检目标(如初期烟雾、小火苗)的颜色、纹理等视觉特征与常见环境干扰物(如水沟反光、橘红色塑料)高度相似时,ai识别模型容易发生特征混淆,导致误检率较高;其二,为降低误报,现有系统常采用"先发现、后变焦确认"的两阶段串行策略,从发现可疑目标到摄像头重新对焦稳定需要数秒时间,存在响应迟滞问题,且若目标在巡航焦距下与背景无法区分而未触发初步报警,则后续变焦确认步骤无法启动,进而造成漏检。

15、因此,有必要研究一种无人机巡检多焦距视觉融合目标识别系统及方法来应对现有技术的不足,以解决或减轻上述一个或多个问题。

技术实现思路

1、有鉴于此,本发明提供了一种无人机巡检多焦距视觉融合目标识别系统及方法,以解决现有技术中存在的以下技术问题:现有无人机巡检系统依赖单路视频流进行目标识别,在单一视觉尺度下所获取的图像特征维度不足,导致待检目标与环境干扰物之间的特征混淆,ai识别模型误检率较高;同时,为降低误报而采用的"先发现、后变焦确认"两阶段串行策略存在响应迟滞,且当目标在巡航焦距下无法被初步识别时,后续变焦确认流程无法触发,进而造成漏检的技术问题。

2、一方面,本发明提供一种无人机巡检多焦距视觉融合目标识别方法,所述无人机巡检多焦距视觉融合目标识别方法包括以下步骤:

3、通过安装于无人机上的至少两个固定焦距不同的摄像头,同步采集同一场景的多路视频流;

4、对所述多路视频流进行编码传输与解码处理,得到时间同步的多路视频帧序列,各路视频帧序列保持时间戳对齐;

5、对时间戳对齐的多路视频帧序列中的每一路视频帧序列分别通过目标检测模型进行独立的目标检测,并行输出多路视频流中预设目标的识别结果,所述多路视频流中预设目标的识别结果包括置信度及目标边界框的位置信息;

6、对多路视频流中预设目标的识别结果进行目标关联,将对应同一目标的识别结果进行分级混合决策融合,输出综合置信度与目标识别结论;

7、如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述分级混合决策融合按以下顺序执行三级流水线处理:

8、第一级为快速预筛选:检查各路视频流中预设目标的识别结果中的置信度,若任意一路视频流中预设目标的识别结果中的置信度超过预设高阈值则直接输出目标识别结论,跳过后续两级处理;

9、第二级为冲突裁决:在未触发第一级的情况下,计算各路视频流中预设目标的识别结果中的置信度的最大值与最小值之差,若该差值超过预设冲突阈值则启用d-s证据理论进行仲裁;

10、第三级为常规融合:对既未触发第一级又未触发第二级的情况,采用ai自适应元分类器或加权平均法输出综合置信度。

11、如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述第二级冲突裁决采用d-s证据理论融合时,将输出的第i个焦距摄像头的视频流中预设目标的识别结果中的置信度转化为基本概率赋值,i为正整数,其中:

12、对目标命题的基本概率赋值等于置信度与确认目标可靠性调整系数的乘积;

13、对非目标命题的基本概率赋值等于置信度补值与排除目标可靠性调整系数的乘积;

14、对不确定命题的基本概率赋值等于1-(目标命题的基本概率赋值+非目标命题的基本概率赋值)(即分配给"既不确定是目标也不确定非目标"的不确定性信度);

15、对空集命题的基本概率赋值为0;

16、置信度补值为1减去该路视频流中预设目标的识别结果中的置信度;

17、各路基本概率赋值通过dempster组合规则融合,得到综合置信度;

18、如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述第三级常规融合采用ai自适应元分类器时,以多维特征向量为输入,所述多维特征向量包括:各路视频流中预设目标的识别结果中的置信度、各路视频流中预设目标的识别结果中的置信度的标准差、视频流中预设目标的识别结果中的目标边界框的交并比均值、目标在长焦视频帧中的相对面积占比、各路视频流的焦距稳定性因子以及预设目标的独热编码。

19、如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述ai自适应元分类器支持在线增量更新,所述在线增量更新包括:

20、接收操作员通过人机交互界面提交的误报或漏报标注信息,将对应的多维特征向量与矫正标签存入增量训练缓冲区;

21、当所述增量训练缓冲区中累积的样本数量达到预设数量阈值或到达定时触发时间时,启动增量训练;

22、增量训练时将缓冲区新样本与按比例抽取的历史典型样本混合后进行训练,更新所述ai自适应元分类器的模型参数;

23、训练完成后经影子测试对比新旧模型准确率,性能提升时通过热加载方式替换线上运行模型,性能下降时自动回滚至上一版本。

24、如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述至少两个固定焦距不同的摄像头,包括广角摄像头、中焦摄像头和长焦摄像头,三路摄像头光轴平行对齐或经校准对齐,并列安装于无人机云台上,各摄像头拍摄区域在有效巡检距离内重叠。

25、如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述第三级常规融合采用加权平均法时,综合置信度等于各路视频流中预设目标的识别结果中的置信度与对应权重之积的加和,各路权重之和为1且各权重不小于0,各路视频流中预设目标的识别结果中,所有长焦摄像头对应的权重均高于广角摄像头对应的权重。

26、如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述编码传输具体为:对所述多路视频流进行编码并复用为复合数据流,通过无线链路将所述复合数据流传输至地面服务器;

27、所述解码处理具体为:对所述复合数据流进行解复用与解码,得到时间同步的多路视频帧序列;

28、如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述目标关联具体为:采用匈牙利算法或最近邻算法,将各路视频流中识别出的目标边界框映射至统一坐标系后进行匹配,判断其是否对应现实中的同一目标。

29、如上所述的方面和任一可能的实现方式,进一步提供一种无人机巡检多焦距视觉融合目标识别系统,用于所述的无人机巡检多焦距视觉融合目标识别方法,所述无人机巡检多焦距视觉融合目标识别系统包括机载端和地面服务器端;

30、所述机载端包括多焦距摄像头模组、视频编码复用器以及无线图传模块;

31、所述多焦距摄像头模组包括至少两个固定焦距不同的摄像头,各摄像头的光轴平行对齐或经校准对齐,用于同步采集同一场景的多路视频流;

32、所述视频编码复用器与所述多焦距摄像头模组信号连接,用于对各路视频流分别进行压缩编码,并将多路编码码流复用为一路复合数据流;

33、所述无线图传模块与所述视频编码复用器数据连接,用于将所述复合数据流通过无线链路发送至所述地面服务器端;

34、所述地面服务器端包括视频解复用解码器以及微型处理器;

35、所述微型处理器包括多个并行ai分析引擎以及决策融合模块;

36、所述视频解复用解码器用于对接收到的复合数据流进行解复用与解码,得到时间同步的多路视频帧序列;

37、所述多个并行ai分析引擎各自独立处理一路对应焦距的视频帧序列,并行输出各路视频流中预设目标的识别结果,包括置信度及目标边界框的位置信息;

38、所述决策融合模块用于对多路视频流中预设目标的识别结果进行目标关联,并执行分级混合决策融合,输出综合置信度与最终识别结论;

39、所述分级混合决策融合包括快速预筛选、冲突裁决和常规融合三级流水线处理。

40、如上所述的方面和任一可能的实现方式,进一步提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现所述的无人机巡检多焦距视觉融合目标识别方法。

41、与现有技术相比,本发明可以获得包括以下技术效果:

42、1、通过在机载端配置包括至少两个固定焦距不同的摄像头的多焦距摄像头模组,同步采集同一场景的多路视频流,从根本上改变了单路时序视频方案的信息获取架构,使系统能够同时获取目标在广角、中焦、长焦等多个视觉尺度下的互补特征,有效解决了单一焦距下特征混淆导致的误检率高问题,相比单焦距检测方案,误检率可降低60%以上。

43、2、通过在地面服务器端部署多个并行ai分析引擎,各引擎独立处理对应焦距的视频帧序列并行输出识别结果,消除了现有技术"先发现、后变焦确认"串行策略所固有的数秒响应迟滞,同时避免了因初始漏检导致变焦确认流程无法触发的漏检风险,系统平均响应时延可降低至单路方案的十分之一以下。

44、3、通过在决策融合模块中采用包含快速预筛选、d-s证据理论冲突裁决和ai自适应元分类器常规融合的三级流水线分级混合决策融合策略,兼顾了实时性与准确性:高确定性目标可实现毫秒级极速响应,严重冲突场景通过d-s证据理论显式处理不确定性以避免单一传感器误判,常规场景通过元分类器动态学习多焦距特征的最优组合方式,实现从"机械平均"到"智能决策"的跨越,整体识别准确率显著优于固定权重加权平均方案。

45、4、通过为ai自适应元分类器引入基于人类反馈回路的在线增量更新机制,并采用混合回放策略抑制灾难性遗忘,配合影子测试与模型热加载替换,使系统能够在不中断巡检任务的前提下持续适应季节变化、新型干扰物出现等概念漂移问题,有效解决了传统算法泛化能力差、模型性能随时间衰减的技术问题,保证系统在全生命周期内的高精度稳定运行。

46、当然,实施本发明的任一产品并不一定需要同时达到以上所述的所有技术效果。