基于无人机影像与深度学习的长江江豚非接触式体表参数测量方法与流程

摘要: 本发明属于水生野生动物遥感监测及深度学习图像分割,特别涉及一种基于无人机航拍影像与yolo26-obb、sam2双模型协同的长江江豚无接触体表形态自动测量方法。...
基于无人机影像与深度学习的长江江豚非接触式体表参数测量方法与流程

本发明属于水生野生动物遥感监测及深度学习图像分割,特别涉及一种基于无人机航拍影像与yolo26-obb、sam2双模型协同的长江江豚无接触体表形态自动测量方法。

背景技术:

1、

2、长江江豚(neophocaena asiaeorientalis)是白鱀豚功能性灭绝后长江流域仅存的淡水鲸类旗舰物种,其体表体长、体宽、体表面积、体宽剖面等形态参数,可直观反映个体发育阶段、营养状况与健康水平,是开展个体健康评估、长期种群动态监测、长江水生态系统评价的核心基础数据。长江江豚处于水域食物链高营养级,生存受鱼类资源、水文环境、栖息地破坏、人类活动多重胁迫,精准、低干扰获取其体表形态参数对物种保护与流域生态管理具备关键支撑作用。现有江豚体表形态参数获取手段分为接触式捕捞测量、近距离人工观测两类,实施时需捕捞固定个体或近距离抵近操作,不仅野外作业成本高昂,还极易对江豚产生应激刺激,无法实现野外自由活动个体长期、重复、规模化连续监测,存在明显应用局限。

3、无人机航拍技术可实现江豚非接触式影像采集,具备低干扰、部署灵活、覆盖范围广、正射观测视角稳定、成像分辨率高等优势,能够完整记录江豚自然出水时的躯体轮廓与体轴走向,为形态参数量化提供影像数据源。但仅依靠原始航拍影像无法直接计算体表参数,野外监测存在多重技术难点:一是江豚野外出水频次低,完整呈现吻端至尾柄全部轮廓的有效样本稀缺;二是航拍大幅面水域影像内江豚目标占比小、边缘模糊,水面波纹、日光耀斑、浑浊水体、浪花等复杂背景易造成目标漏检、轮廓分割偏移、体表边界识别失真;三是江豚出水姿态多变,部分身体露出水面、转向侧翻等场景下,轮廓完整性、体轴角度偏差会直接降低后续体长、体宽等指标测算精度。因此,如何自动筛选航拍影像内江豚目标、稳定提取可量化的完整体表轮廓,是非接触式自动化形态监测亟待解决的核心技术难题。深度学习模型为航拍野生动物影像自动识别提供技术支撑,yolo系列检测模型凭借检测速度快、复杂环境适配性强的优势,广泛用于野生动物定位与种群计数,可快速从海量水域航拍图中框选江豚候选目标,大幅降低人工筛选成本。但目标检测仅能输出粗略包围框,无法输出像素级精细体表边界,难以满足体表面积、体宽剖面等精细化形态指标的计算需求。图像分割模型可提取目标精准轮廓,其中sam2通用分割模型支持框、前景/背景点多类型提示输入,适配小样本、复杂背景下的生物轮廓提取。目前现有鲸豚无人机监测相关研究大多仅聚焦目标检测、个体计数与空间分布统计,缺少从目标识别到体表形态参数量化的一体化完整技术流程;针对长江江豚航拍影像目标微小、出水轮廓不完整的特有场景,单纯依靠检测框或通用分割模型,轮廓提取稳定性差、测算误差大,且未区分完整出水、局部出水样本设计差异化测算方案,影像样本利用率低,难以满足野外大规模生态监测需求。

4、基于上述现有技术存在的缺陷,本发明以长江 - 鄱阳湖水系长江江豚为研究对象,提出一套基于无人机航拍影像的非接触式江豚体表形态参数全自动提取框架,弥补现有技术无法一体化完成目标定位、精细轮廓分割、分场景精准量测的不足,为极危淡水鲸豚无损伤健康监测、种群生态信息自动化采集提供可靠技术方案。

技术实现思路

1、

2、本发明提出一种基于无人机影像与深度学习的长江江豚非接触式体表参数测量方法,旨在解决传统江豚体表参数测量易造成江豚应激、难以规模化长期监测,无人机影像存在水面干扰、江豚小目标完整轮廓样本稀缺,单一深度学习模型无法实现定位、分割、参数量测一体化处理,且未区分完整与局部出水样本导致影像利用率低、测量误差大的技术问题。

3、本发明是通过以下技术方案实现的:

4、基于无人机影像与深度学习的长江江豚非接触式体表参数测量方法,具体包括如下操作步骤:

5、步骤s1.水域无人机航测与多源数据采集

6、选用固定翼无人机,搭载全画幅可见光航摄相机,在长江-鄱阳湖水系典型水域开展航测;飞行高度稳定在水面以上170m,巡航速度16m/s,拍摄间隔1s,航向重叠80%~90%;同步记录pos位置姿态原始数据,飞行后采用jopps软件后差分解算,修正杆臂、相位、姿态误差,完成逐帧影像正射校正、辐射校正,建立像素-实际距离换算基准。

7、步骤s2.江豚小目标obb检测数据集构建

8、原始航拍单幅分辨率9504×6336,将原图统一裁剪为 1024×1024图像块,人工剔除无江豚纯水面样本;采用有向包围框obb标注江豚,精准贴合细长躯体并记录体轴倾角;数据集 7:1:2 划分训练、验证、测试集,采用 mosaic、mixup数据增强扩充水面背景、目标尺度多样性,训练yolo26-obb定向检测模型;

9、步骤s3.航拍影像批量目标定向检测

10、将校正后的航拍切片批量输入训练完成的yolo26-obb模型,并设置目标置信阈值过滤虚检,输出每头江豚的有向包围框,包含目标中心坐标、长宽、体轴倾斜角度,为后续分割提供几何约束与裁剪基准。

11、步骤s4.obb多提示驱动sam2 体表精细分割

12、以obb中心为基准裁剪512×512局部roi,目标贴近图像边缘时适度扩大裁剪范围,保证江豚全部出水区域完整纳入;将obb旋转框转换外接水平框作为sam2 框提示;人工规则生成前景内点(江豚躯体中心)、背景点(周边波纹/耀斑区域),三类提示联合输入sam2通用分割模型;模型输出二值掩膜,精准分离江豚体表与复杂水面背景,消除反光、浪花造成的边界外溢、误分割;

13、步骤s5.分出水类型差异化体表参数计算

14、依据分割掩膜轮廓两端是否完整覆盖吻端、尾柄,划分两类样本。

15、步骤s6.尺度换算与监测结果输出

16、利用无人机航高、相机像元尺寸建立像素与米级实际尺寸换算关系,将所有像素形态指标转换为真实体表参数;输出参数数据集,用于个体体况打分、种群健康评估。

17、作为优选实施例,所述步骤s1中的无人机固定翼机型为cw-15,搭载 ca103全画幅航摄相机,传感器尺寸35.7mm×23.8mm,摄相机像素为6100为万,像元尺寸为3.76μm,镜头焦距为35mm,所述长江-鄱阳湖水系典型水域包括安庆长江干流子区、都昌开阔湖区子区、康山河湖过渡子区。

18、作为优选实施例,所述步骤s1中,原始pos数据采用jopps软件开展后差分处理,统一改正天线-相机杆臂偏移、仪器高、曝光时间延迟、天线相位中心偏移四类误差项,航向重叠度控制为85%~90%,影像完成正射校正同时执行辐射校正,消除水面反光、水体浑浊带来的亮度不均干扰。

19、作为优选实施例,所述步骤s2构建得到的有效标注图像块共653 幅,其中训练集454幅、验证集65幅、测试集134幅,图像块筛选规则为:仅保留包含完整/局部江豚躯体的切片,全部无目标纯水面切片直接剔除;标注采用旋转有向包围框,框体长边贴合江豚躯体长轴以记录体轴倾角,训练阶段同时启用mosaic、mixup两种数据增强算法,随机图像翻转、缩放、叠加模拟水面波纹、阳光耀斑噪声,提升模型复杂水域泛化能力,所述yolo26-obb模型的backbone模块依次串联conv基础卷积层、c3k2 纹理增强模块、sppf 空间金字塔池化模块、c2psa 注意力特征增强模块组成;c2psa 模块用于强化水面微小江豚目标浅层特征提取,neck多尺度特征融合;head分支同步输出目标置信度、水平坐标、旋转角度,实现江豚定向定位。

20、作为优选实施例,所述步骤s3设置目标置信度阈值0.5,低于阈值的检测框直接判定为虚检并丢弃,仅保留高置信江豚目标 obb 框用于后续分割。

21、作为优选实施例,所述步骤s4中裁剪roi的规则:以obb几何中心为基准裁剪固定512×512尺寸图像;若江豚躯体超出裁剪边界,则同步向外扩大裁剪区域,保证江豚全部出水躯体完整置于roi内部;江豚躯体中心自动生成单点前景点;在roi内水面波纹、耀斑、浪花区域批量生成背景点,三类提示同步输入sam2模型,sam2仅在单张512×512局部 roi内执行分割推理,不对整张航拍大图全图分割,降低整体算力消耗,sam2仅使用yolo26-obb输出提示完成分割,无需额外重训练,仅在检测框局部 roi 内执行分割运算,降低全图分割算力消耗。

22、作为优选实施例,所述步骤s5中两类样本包括:

23、①完整体态样本:掩膜包含完整躯体轮廓,沿主轴计算总长度 tl、最大体宽wmax、距吻端位置体宽剖面,积分计算体表投影面积;

24、②部分出水样本:吻端或尾柄缺失,仅提取可见区域最大体宽 wmax,vis;利用完整样本数据集拟合得到体长-体宽比例系数r,通过 tl=r×wmax,vis估算个体体长,充分利用局部出水影像。

25、作为优选实施例,所述步骤s5中比例系数r由全部完整体态样本的体长tl与最大体宽wmax线性拟合得到,完整体态样本的分级体宽提取位置为沿躯体主轴距吻端20%、30%、40%、50%、60%五个固定比例位置;比例系数r获取方式:使用全部完整体态样本的实测体长tl与最大体宽wmax进行线性拟合,得到固定比例系数用于局部出水样本体长估算,完整体态样本体长自动测量平均绝对百分比误差仅1.93%,局部出水样本最大可见体宽平均绝对百分比误差控制在 12% 以内。

26、作为优选实施例,所述步骤s6中尺度换算公式由航高、相机焦距、像元尺寸联合推导,将掩膜内像素长度、像素面积统一转换为米级实际物理尺寸,所述输出参数数据集包含:拍摄水域编号、拍摄时间、江豚编号、实际体长、20%~60% 分段体宽、最大体宽、体表投影面积、样本完整度标签。

27、一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述参数测量方法。

28、有益效果:本发明基于无人机影像与深度学习的长江江豚非接触式体表参数测量方法,采用无人机无接触遥感长期监测江豚,依托yolo26-obb 减负算力、改善小目标检测,多点提示sam2消除水面干扰、精准提取轮廓,可利用局部影像估测体长,全流程自动化输出标准化指标,为江豚与水生态定量评估提供工具,具体表现在以下方面:

29、(1)全程无人机无接触遥感,无需捕捞、近距离抵近,彻底消除江豚应激干扰,支持月度、季度长期规模化野外监测;

30、(2)yolo26-obb前置定向筛选,大幅减少sam2全图分割算力消耗,旋转框提供体轴先验,解决小目标漏检、方向测算偏差问题;

31、(3)框、前景、背景多点联合提示sam2分割,有效抑制水面耀光、波纹干扰,体表轮廓像素级提取精度显著提升;

32、(4)区分完整/局部出水样本差异化测算,局部影像可参与体长估算,野外航拍样本利用率大幅提高;

33、(5)整套流程自动化,无需人工逐帧勾勒轮廓,输出标准化形态指标,为长江江豚保护、长江水生态评估提供定量工具。