一种基于无人机的江豚目标自动检测与变焦追踪监测系统的制作方法
本发明涉及野生动物智能监测领域,具体为一种基于无人机的江豚目标自动检测与变焦追踪监测系统。
背景技术:
1、长江江豚作为长江流域的旗舰物种和生态环境指示生物,其种群动态与行为生态学研究对水域生态保护具有重要意义。然而,江豚体型较小、行动敏捷,且多栖息于江河开阔水域或复杂河口水域,传统监测手段面临严峻挑战。现有江豚无人机监测技术主要依赖人工辅助巡航或无人机广角/定焦航拍观测,存在显著局限性:
2、第一,人工观测效率低、漏检率高。完全依赖飞手肉眼识别屏幕中的目标并手动操控云台变焦追踪。在江面强光反射、波浪杂波干扰下,人眼极易因视觉疲劳导致漏检;数据采集效率低下且主观性强,不同飞手操作差异导致数据标准不统一。
3、第二,广角模式下小目标检测精度不足。虽可覆盖大范围水域,但受限于传感器分辨率,江豚在图像中目标极小,现有通用目标检测算法对小目标特征提取能力有限,且江面波光、浪花等背景干扰极易造成误检,难以实现高精度实时识别,更无法支持江豚姿态等行为级分析,仅能提供粗略的数量统计。
4、第三,定焦模式下监测范围与追踪稳定性矛盾。为获取高清图像需降低飞行高度或缩小视场角,导致监测范围急剧缩小,无人机巡检架次增加、目标易丢失,漏检率高。尤其江豚潜水时长远大于出水时长,下潜后视野内目标消失,定焦模式下难以重新捕获目标,严重制约长期连续追踪观测,难以满足科研级数据采集需求。
5、第四,缺乏针对水生哺乳动物生物特性的专用追踪控制逻辑。现有通用目标追踪算法直接应用于江豚监测时,未考虑江豚潜水及出水呼吸的行为规律,目标短暂消失即判定丢失并终止追踪,导致追踪中断频繁;同时变焦过程中镜头移动引发水面波纹折射变化,进一步加剧目标丢失概率。
6、此外,现有技术无人机飞控与视觉检测系统多为独立运行,缺乏闭环反馈机制,无法实现广角检测、追踪、变焦、高清识别的自主协同控制,操作依赖人工干预,难以满足野外江豚生态监测的自动化与标准化需求。
技术实现思路
1、为解决上述技术问题,本发明提供一种基于无人机的江豚目标自动检测与变焦追踪监测系统,包括以下技术方案:
2、视频采集模块:搭载于无人机云台,通过实时流传输协议获取江面环境的广角与变焦双视角视频流数据,支持双视角动态切换;
3、目标检测模块:采用基于单阶段目标检测架构深度优化的轻量化卷积神经网络模型,所述模型以跨阶段局部连接堆叠结构为骨干网络,结合空间金字塔快速融合与双向特征金字塔颈部特征融合结构,并在特征融合阶段引入水面背景抑制注意力机制,实现对江豚小目标的多尺度特征提取与高精度实时检测,输出目标类别、边界框坐标及置信度评分;
4、状态控制模块:集成八状态机控制逻辑,根据目标检测结果及预设阈值动态切换系统工作模式,所述八种状态依次为:广角扫描状态、变焦准备状态、确认状态、分步放大状态、变焦追踪状态、分步缩小状态、等待浮出状态及恢复广角状态,各状态的阈值参数与停留时长均匹配江豚出水呼吸的生物节律进行标定,分步变焦采用多档位渐进式调节以抑制水面折射扰动;
5、飞控与云台协同模块:基于状态机控制指令,实现无人机飞行姿态控制与云台镜头变焦的联动响应,包括航线暂停与恢复、广角与变焦镜头切换、焦距渐进调节及目标居中控制,并建立目标运动预测模型,在江豚下潜期间基于历史轨迹预测其浮出位置,提前调整云台朝向。
6、为实现上述目的,本发明提供如下技术方案:包括视频采集模块,搭载于无人机云台,用于通过实时流传输协议获取江面环境的广角与变焦双视角视频流数据,支持双视角动态切换;
7、目标检测模块,采用基于单阶段目标检测架构深度优化的轻量化卷积神经网络模型,所述模型以跨阶段局部连接堆叠结构为骨干网络,结合空间金字塔快速融合与双向特征金字塔颈部特征融合结构,并在特征融合阶段引入水面背景抑制注意力机制以过滤波浪反光干扰,实现对江豚小目标的多尺度特征提取与实时检测,输出目标类别、边界框坐标及置信度评分;
8、状态控制模块,集成八状态机控制逻辑,根据目标检测结果及预设阈值动态切换系统工作模式,所述八种状态依次为:广角扫描状态、变焦准备状态、确认状态、分步放大状态、变焦追踪状态、分步缩小状态、等待浮出状态及恢复广角状态,其中等待浮出状态匹配江豚出水呼吸的生物节律设置等待时长,分步放大与分步缩小采用多档位渐进式变焦以抑制水面折射扰动导致的检测失效;
9、飞控与云台协同模块,基于状态机控制指令,实现无人机飞行姿态控制与云台镜头变焦的联动响应,包括航线暂停与恢复、广角与变焦镜头切换、焦距渐进调节及目标居中控制,并建立目标运动预测模型,在江豚下潜期间基于历史轨迹预测浮出位置并提前调整云台朝向;
10、作为本技术方案的进一步优选的:所述目标检测模块的轻量化卷积神经网络模型输入图像尺寸为640×640×3,经多级卷积与特征融合后由三路检测头分别基于80×80、40×40、20×20三种尺度进行多尺度预测,输出经非极大值抑制后处理合并,得到最终检测结果;
11、作为本技术方案的进一步优选的:所述状态控制模块的八状态机控制逻辑中:
12、广角扫描状态下,系统以广角镜头巡航搜索江豚目标,设置冷却期和镜头稳定期过滤误检目标,该状态下检测算法以低算力模式运行,仅输出高置信度候选目标,当检测到置信度超过预设阈值的有效目标时,切换至变焦准备状态;
13、变焦准备状态下,暂停当前航线,切换至变焦镜头,云台位移补偿对准目标中心,切换过程中执行渐变式曝光补偿避免明暗突变,切换至确认状态;
14、确认状态下,焦距调至预设确认倍率,进行二次检测验证目标真伪,验证成功则进入分步放大状态,连续多帧失效则退出至广角扫描状态;
15、分步放大状态下,按预设序列渐进变焦,每档变焦后预留画面稳定时长再执行检测,每级检测并执行云台微调确保目标被捕获,达到预设最高倍率且目标稳定时进入变焦追踪状态;
16、变焦追踪状态下,在高倍焦距下持续跟踪江豚目标,执行云台对准,并基于历史多帧检测结果对目标位置进行时序平滑预测;预测公式:
17、;
18、式中:为t时刻预测目标中心位置;为0-1范围内的平滑权重系数;为本帧实际检测位置;为上一帧检测位置;为上一时刻目标运动速度;代表帧间时间间隔;
19、当连续多帧目标丢失或超时时,主动进入分步缩小状态;
20、分步缩小状态下,按逆序缩小视野扩大搜索范围,每缩小一档同步扩大云台扫描角度,形成视野扩大与角度扫描的双重搜索机制,重捕目标则进入分步放大状态,缩小至广角仍未检测到则进入等待浮出状态;
21、等待浮出状态下,等待目标重新浮出水面,等待期间基于目标最后出现位置及水流速度进行扇形预判扫描,重捕目标则进入分步放大状态,超时未检出则恢复至广角扫描状态;
22、恢复广角状态下,切换回广角镜头,恢复航线,并设置冷却及稳定期;
23、作为本技术方案的进一步优选的:所述飞控与云台协同模块包括:
24、权限动态管理子模块,状态机触发追踪流程时向飞控发送高优先级指令抢占航线控制权,任务结束自动释放权限并恢复原航线,权限切换时记录航线断点坐标,恢复时从断点处继续巡航,确保监测区域无遗漏;
25、镜头-云台联动子模块,变焦过程中同步计算目标偏移量,驱动云台进行像素级位置补偿,确保目标始终处于画面中心区域,并建立变焦倍率与云台灵敏度映射关系,映射公式:
26、;
27、式中:代表变焦倍率z对应的云台运动灵敏度;为广角基准灵敏度;k为灵敏度衰减系数;z为当前变焦倍率;高倍率下降低云台运动速度提升稳定性,低倍率下提高响应速度扩大搜索范围;
28、安全熔断子模块,指令执行超时或云台异常时自动转入恢复广角状态,无人机电量低于预设阈值时优先保障返航;
29、作为本技术方案的进一步优选的:所述视频采集模块通过rtmp协议或rtsp协议实时拉取无人机云台摄像头视频流,获取实时视频帧并送入目标检测模块进行处理;
30、作为本技术方案的进一步优选的:所述目标检测模块的轻量化卷积神经网络模型采用解耦检测头,将分类分支与边界框回归分支分离,经非极大值抑制后处理输出最终江豚目标的类别、归一化边界框及置信度评分,颈部网络的特征融合阶段设置通道注意力单元,对各特征通道的权重进行自适应校准,计算公式:
31、;
32、;
33、式中:为第i个通道特征向量;gap为全局平均池化;为两层全连接层;relu为线性整流激活函数;代表sigmoid激活函数;为第i通道注意力权重;为加权之后的输出特征向量;通过上述注意力机制对高频水面反光特征通道进行权重抑制,强化江豚轮廓纹理特征通道的响应权重;
34、作为本技术方案的进一步优选的:所述确认状态的预设确认倍率为2倍光学变焦,所述连续多帧为连续5帧,所述超时为60秒,其中60秒等待超时匹配长江江豚典型潜水时长的统计数据;
35、作为本技术方案的进一步优选的:所述镜头-云台联动子模块的响应延迟小于100毫秒;
36、作为本技术方案的进一步优选的:所述安全熔断子模块的指令执行超时阈值为5秒;
37、作为本技术方案的进一步优选的:系统执行以下步骤:
38、步骤s1:通过视频采集模块获取江面环境的实时视频流数据;
39、步骤s2:通过目标检测模块对视频帧进行江豚目标识别,结合水面背景抑制注意力机制过滤波浪反光干扰,输出目标类别、边界框坐标及置信度评分;
40、步骤s3:通过状态控制模块依据检测结果动态切换八种工作状态,其中等待浮出状态匹配江豚生物节律执行预判扫描,分步变焦采用多档位渐进调节抑制水面扰动,生成控制指令序列;
41、步骤s4:通过飞控与云台协同模块解析指令并驱动无人机飞行姿态与镜头变焦的联动响应,结合目标运动预测与变焦灵敏度映射实现精准追踪,实现全闭环自主追踪监测。
42、与现有技术相比,本发明的有益效果是:
43、1、检测精度高:通过跨阶段局部连接骨干网络与双向特征金字塔颈部结构的协同优化,结合水面背景抑制注意力机制,显著增强对江面小目标江豚的多尺度特征表达能力,有效抑制波浪、反光等复杂背景干扰,提升检测准确率;
44、2、追踪稳定性强:八状态机控制逻辑实现了从目标发现到高清追踪的全流程抗干扰与自恢复控制,匹配江豚生物节律的等待浮出机制与分步变焦的波纹抑制设计,避免频繁误触发与镜头震荡,确保目标在画面中持续可见;
45、3、自动化程度高:构建检测-决策-控制闭环系统,无需人工干预即可完成江豚目标的自动识别、变焦追踪与行为记录,大幅提升野外监测效率,降低对飞手操作经验的依赖,实现标准化数据采集;
46、4、数据质量优:支持行为级高清图像采集,满足江豚姿态分析、个体识别等科学研究需求,推动长江生态监测的标准化与智能化发展。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com