一种融合多模态特征的视觉大模型鸟类识别系统及方法

摘要: 本发明涉及图像识别,特别涉及一种融合多模态特征的视觉大模型鸟类识别系统及方法。背景技术:1、图像识别技术领域涉及对图像或视频流中目标的检测、定位、跟踪、轮廓提取...
一种融合多模态特征的视觉大模型鸟类识别系统及方法

本发明涉及图像识别,特别涉及一种融合多模态特征的视觉大模型鸟类识别系统及方法。

背景技术:

1、图像识别技术领域涉及对图像或视频流中目标的检测、定位、跟踪、轮廓提取、姿态分析和类别判别,通常通过输入解码、去畸变、色彩归一化、小目标裁片训练、边界框匹配、掩码分割、轮廓点提取和类别推断等方法处理视觉对象;其中,传统鸟类识别是指对机场视频或图像流中的鸟类目标进行定位、连续跟踪、轮廓姿态分析、振翅频率提取和物种判别,通常采用小目标裁片与重采样生成训练样本,将预测框与真实框交并比进行检测匹配,采用卡尔曼预测框与当前检测框进行轨迹关联,采用鸟类目标图像区域、翼展比、振翅频率、拍摄时间和地点信息输入视觉语言大模型进行物种判别。

2、传统机场鸟类识别依赖小目标裁片重采样、交并比匹配、卡尔曼预测关联和单帧区域特征判别,远距离鸟体在视频帧中占比小,裁片放大后轮廓边缘与翼尖细节易模糊,遮挡和光照变化会放大检测框抖动,交并比和匀速预测面对急转、俯冲、盘旋等高机动飞行时关联稳定性偏弱,翼展比、振翅频率、时间地点等信息多以并列输入参与判别,难以对视觉表征形成有效约束,置信度偏低时仍停留在原视角识别,误分和漏分风险升高。

技术实现思路

1、本发明的目的在于提供一种融合多模态特征的视觉大模型鸟类识别系统及方法,使机场视频中的远小鸟类目标能够在目标增强、轨迹延续、时序动力学提取、环境先验约束和低置信度补采闭环的协同作用下完成鸟种识别,从而使鸟类识别过程由单帧外观判别转化为外观、运动与环境信息共同参与的识别过程,并适应机场场景中远距离成像、目标高机动飞行、遮挡和光照变化等识别条件。

2、为实现上述目的,本发明提供一种融合多模态特征的视觉大模型鸟类识别系统,包括采集模块、轨迹模块、时空模块、融合模块和控制模块。

3、采集模块用于接收机场视频帧并提取目标框,将目标框面积小于同帧目标面积中位数的设定倍数的图像区域标记为待增强的远小目标区域。

4、其中,所述设定倍数为用于表征远小目标面积占比的预设系数,所述设定倍数的取值大于0且小于1。所述同帧目标面积中位数的设定倍数,是指同帧目标面积中位数与该设定倍数相乘后得到的面积判断阈值。也就是说,当某一目标框的像素面积低于所述面积判断阈值时,表明该目标框相对于同帧目标中的中等面积目标明显偏小,将其对应图像区域标记为待增强的远小目标区域。通过上述设定,使远小目标筛选过程能够基于同帧目标面积分布进行自适应判断,避免将“设定倍数”理解为大于1的放大倍数。

5、其中,所述远小目标是指在机场视频帧中已被检测为鸟类候选目标、但其目标框像素面积相对于同一机场视频帧内目标面积分布明显偏小的目标。所述“远”用于表征目标在当前成像条件下呈现出的低成像占比状态,并不限定为通过测距设备获得的实际物理距离;所述“小”用于表征目标框在像素面积、轮廓宽度或翼尖细节上的成像尺度偏小,并不限定为鸟类真实体型较小。所述远小目标区域是指该远小目标对应目标框所覆盖的图像区域,其作为后续超分辨重建、轮廓提取和飞行动力学特征提取的输入区域。

6、采集模块可包括帧接收子模块、面积计算子模块和区域标记子模块;帧接收子模块接收机场视频流并按帧时序输出机场视频帧,面积计算子模块对机场视频帧中的目标框进行像素面积计算,并以同一机场视频帧内全部目标框的像素面积排序结果确定目标面积中位数;

7、区域标记子模块将每个目标框的像素面积与目标面积中位数对应的设定倍数阈值进行比较,当目标框的像素面积小于设定倍数阈值时,将对应目标框对应的图像区域标记为待增强的远小目标区域。

8、进一步地,设定倍数阈值可由机场场景配置表提供,机场场景配置表存储有拍摄焦距区间、成像分辨率区间与面积倍数之间的对应关系,面积计算子模块依据机场视频帧的成像分辨率和摄像机焦距信息读取面积倍数,并将目标面积中位数与读取的面积倍数关联生成设定倍数阈值。

9、轨迹模块用于提取相邻帧目标框的中心点距离、面积变化率和长宽比变化率,加权生成关联代价矩阵,完成高机动目标匹配并建立轨迹缓冲队列。轨迹模块可包括中心距离子模块、形变计算子模块、代价生成子模块和队列建立子模块;中心距离子模块获取相邻帧目标框的中心点坐标并计算中心点距离,形变计算子模块基于相邻帧目标框的像素面积和长宽比计算面积变化率与长宽比变化率,代价生成子模块将中心点距离、面积变化率和长宽比变化率按匹配权重进行加权计算,生成关联代价矩阵,队列建立子模块依据关联代价矩阵确定匹配目标框并写入轨迹缓冲队列。

10、进一步地,匹配权重可由轨迹匹配策略表提供,轨迹匹配策略表存储有目标速度区间、目标框面积区间与中心距离权重、面积变化权重、长宽比变化权重之间的对应关系,代价生成子模块根据上一帧目标框的中心点位移确定目标速度区间,根据当前帧目标框的像素面积确定目标框面积区间,并读取对应的匹配权重对中心点距离、面积变化率和长宽比变化率进行加权计算,生成关联代价矩阵。

11、时空模块用于对待增强的远小目标区域执行超分辨重建并提取目标轮廓,基于同轨迹时序轮廓得到滑翔姿态、振翅间隔和翼展值。时空模块可包括重建子模块、轮廓子模块、姿态子模块和翼形子模块;重建子模块获取待增强的远小目标区域,并按照目标框像素面积与同帧目标面积中位数之间的面积差距确定超分辨重建尺度,生成增强目标图像;轮廓子模块对增强目标图像执行前景分离和边缘闭合处理,生成目标轮廓;姿态子模块基于同一轨迹缓冲队列内连续目标轮廓计算主轴角度方差和前景占比的周期波谷时差,生成滑翔姿态与振翅间隔;翼形子模块依据目标轮廓的外接多边形横向宽度生成翼展值。

12、进一步地,超分辨重建尺度的确定过程可包括:获取目标框像素面积与同帧目标面积中位数之间的面积差距,并将面积差距与预设面积差距区间进行比较,当面积差距落入第一面积差距区间时采用第一重建尺度,当面积差距落入第二面积差距区间时采用高于第一重建尺度的第二重建尺度,并将选定的重建尺度写入重建参数记录,生成重建尺度参数。

13、融合模块用于提取关键帧组的视觉特征向量,将滑翔姿态、振翅间隔和翼展值编码为飞行动力学向量,将拍摄时间与目标方位编码为环境先验向量,并通过交叉注意力机制调制融合后输出鸟种识别结果。融合模块可包括视觉提取子模块、动力编码子模块、先验编码子模块和调制解码子模块;视觉提取子模块获取关键帧组并提取视觉特征向量,动力编码子模块将滑翔姿态、振翅间隔与翼展值编码为飞行动力学向量,先验编码子模块将拍摄时间与目标方位编码为环境先验向量,调制解码子模块利用交叉注意力机制使飞行动力学向量和环境先验向量对视觉特征向量进行条件调制融合,并将融合后的特征输入大模型解码,输出鸟种识别结果。

14、控制模块用于在鸟种识别结果的识别置信度低于置信度阈值时,依据目标方位与轨迹缓冲队列生成云台偏转与变倍指令,驱动摄像机局部特写补采形成控制闭环。控制模块可包括置信判定子模块、方位预测子模块、指令生成子模块和回传子模块;置信判定子模块获取鸟种识别结果对应的识别置信度,并将识别置信度与置信度阈值进行比较,当识别置信度低于置信度阈值时,方位预测子模块读取目标方位和轨迹缓冲队列中的末端轨迹点,生成目标补采方位,指令生成子模块依据目标补采方位和目标框面积生成云台偏转与变倍指令,回传子模块接收摄像机返回的局部特写补采帧并写入机场视频帧输入队列。

15、本发明还提供一种融合多模态特征的视觉大模型鸟类识别方法,由上述系统执行,包括:

16、接收机场视频帧并提取目标框,将目标框面积小于同帧目标面积中位数的设定倍数的图像区域标记为待增强的远小目标区域;

17、提取相邻帧目标框的中心点距离、面积变化率和长宽比变化率,并对中心点距离、面积变化率和长宽比变化率加权形成关联代价矩阵,当关联代价矩阵中的关联代价值满足匹配条件时完成高机动目标匹配并建立轨迹缓冲队列,当关联代价值不满足匹配条件时生成新的轨迹缓冲队列;

18、对待增强的远小目标区域执行超分辨重建后提取目标轮廓,基于同一轨迹缓冲队列内的时序轮廓计算主轴角度方差以得到滑翔姿态,提取前景占比的周期波谷时差以得到振翅间隔,并利用外接多边形宽度得到翼展值;

19、将关键帧组提取为视觉特征向量,将滑翔姿态、振翅间隔与翼展值编码为飞行动力学向量,将拍摄时间与目标方位编码为环境先验向量,通过交叉注意力机制使飞行动力学向量和环境先验向量对视觉特征向量进行条件调制融合,并输入大模型解码输出鸟种识别结果;

20、当鸟种识别结果的识别置信度低于置信度阈值时,依据目标方位与轨迹缓冲队列生成云台偏转与变倍指令,驱动摄像机局部特写补采并将补采得到的机场视频帧重新输入,形成控制闭环。

21、本发明具有如下有益效果:

22、1.本发明中,通过以同帧目标面积中位数筛选远小目标并超分辨重建,使轮廓边缘和翼尖跨度在低像素场景中保持可分性,减少远距离鸟体占比过小造成的细节模糊和识别偏差。

23、2.本发明中,通过结合中心距离、面积变化和长宽比变化形成轨迹关联约束,增强急转、俯冲、盘旋过程中的目标延续性,降低遮挡和光照变化引发的检测框抖动对轨迹匹配的影响。

24、3.本发明中,基于同轨迹轮廓序列提取主轴角度波动、前景占比波谷时差和外接多边形宽度,并以时间方位先验对视觉表征进行条件调制,使鸟种判别由单帧外观扩展为外观、运动、环境协同推理,结合低置信度状态下的特写补采,降低误分和漏分风险。