一种基于序列图像的端到端微小暗弱目标检测方法
本发明属于光学图像处理,涉及一种暗弱运动目标检测方法,特别是一种面向空海跨域复杂场景的遥感序列图像中微小暗弱目标的时空特征提取与检测的方法。
背景技术:
1、随着低空经济的快速崛起以及海洋态势感知需求的日益增长,对无人机及海上舰船目标执行空海空海防撞、协同编队及安防拦截及海上搜救任务中的实时探测与精准感知提出了严苛要求。相较于雷达与激光雷达等高成本、大载荷的有源传感器,视觉传感器因其被动探测、隐蔽性强及信息量大等优势,成为空海遥感探测平台首选的感知手段。然而,基于遥感序列图像的空海空海跨域微小目标检测是一项极具挑战的计算机视觉任务,现有技术在实际应用中主要面临以下技术瓶颈:
2、1、目标显著性极低与复杂环境干扰问题:远距离弱小目标(如高空无人机、远海小艇、漂浮物)在图像中占比极低,属于典型的“微小暗弱”目标。加之遥感平台(机载、星载或船载)的高频振动与目标产生高速相对运动,引发严重的运动模糊效应,此外,场景不仅面临云层、地物干扰,还深受海面波涛起伏、海杂波及阳光耀斑的影响,导致目标极易淹没在高度动态变化的复杂背景噪声中。
3、2、通用空间特征提取架构对微小目标的结构性失配:当前主流目标检测模型在骨干网络中普遍依赖下采样操作与最大池化机制以压缩特征图尺度并增强高层语义表达。此类设计虽适用于常规尺度目标,却在处理亚像素级空海目标时引发严重的特征退化问题——关键几何细节在多次下采样过程中被不可逆地滤除,导致深层特征图中目标响应近乎“湮灭”,致使检测头无法有效激活或定位海天背景下的微弱目标区域。
4、3、时序信息利用不足与推理延迟高:现有绝大多数检测方法仅基于单帧图像进行空间维度特征分析,未能充分利用视频序列中目标运动的连续性与时序一致性以增强弱目标辨识能力。特别是在海浪翻涌或云层流动的动态背景下,单帧检测极易产生虚警。尽管少数时空联合方法尝试引入时间维度建模,但其架构通常依赖连通域分析、非线性滤波等非可微分组件,不仅破坏了模型的端到端可训练性,还引入额外的计算开销与误差累积。此类多阶段流水线设计导致推理延迟高、吞吐量低,难以满足边缘计算嵌入式平台对低功耗、高实时性的严苛部署要求。
5、因此,开发一种基于时空联合建模、摒弃信息有损下采样且支持端到端高效推理的序列图像目标检测方法,是解决当前空海跨域复杂场景下微小暗弱目标感知难题的关键所在。
技术实现思路
1、本发明的目的是在传统目标检测框架的基础上,提供一种基于序列图像的端到端微小暗弱目标检测方法。该方法针对空海遥感探测场景中亚像素级目标检测的核心挑战(亚像素级目标(<0.07%),平台震动或目标高速运动引发的运动模糊、以及云层与海杂波等复杂动态背景干扰),将视频流目标检测建模为时空特征联合优化问题,提出一种基于时空transformer的端到端视频目标检测框架,通过空间细节保真提取与时空上下文动态建模的协同优化,实现对空中及水面微小暗弱目标的高精度定位与边缘设备级推理效率的统一。
2、本发明的目的是通过以下技术方案实现的:
3、一种基于序列图像的端到端微小暗弱目标检测方法,包括如下步骤:
4、步骤1、构建基于时间一致性约束的数据预处理模块:
5、对输入的连续视频帧序列进行采样,并对同一时间窗口内的所有帧施加完全相同的随机几何与光度变换,在增强数据多样性的同时严格保持视频序列内在的时间动态一致性,以保留空海场景中目标运动的物理真实性,防止因帧间增强差异导致的时序特征被破坏,从而确保海浪起伏或云层流动等环境动态特征的真实性,具体步骤如下:
6、步骤1-1、时序采样与剪辑构建:
7、设输入空海场景的遥感视频流,定义时间窗口长度为,为像素空间坐标,从视频流中采样一组连续帧,构建采样剪辑;
8、步骤1-2、随机变换矩阵的生成与同构映射:
9、生成一个随机增强参数,包含透视变换、区域剪除及颜色抖动(用于模拟海面光照闪烁及云影变化)几何与光度变换参数,对于采样剪辑中的每一帧,均应用完全相同的变换矩阵,经过增强后的网络输入剪辑满足:
10、;
11、步骤2、基于cspdarknet-53主干网络进行多尺度空间特征提取:
12、采用cspdarknet-53作为骨干网络构建特征提取器,利用步长卷积与空间金字塔池化模块生成多尺度特征金字塔,对于输入剪辑中的每一帧,分别提取三个不同尺度的空间特征层,该方法在深层特征提取过程中有效抑制了分辨率退化,在保留高保真空间几何信息的同时,为后续基于video swin transformer的空海复杂环境时空联合建模提供了鲁棒的特征基底;
13、步骤3、构建基于video swin transformer的空海跨域时空联合建模模块:
14、将步骤2提取的多尺度空间特征序列输入videoswin transformer分支,通过3d移动窗口多头自注意力机制(3d shifted window attention)在三维时空域内捕捉帧间的长程时序依赖与局部运动轨迹(包括飞行轨迹或舰船航迹),生成时空增强特征图,该机制通过窗口位移策略(shifted window)建立跨窗口连接,从而在目标发生运动模糊或被背景遮挡时,动态融合全局时间上下文以强化特征表征鲁棒性,具体步骤如下:
15、步骤3-1、3d patch嵌入与维度重塑:
16、步骤3-1-1、序列化张量重构:接收步骤2输出的连续时间步长的空间特征序列:
17、
18、其中,为时间窗口长度,代表空间像素坐标;
19、步骤3-1-2、3d patch划分:将特征图划分为尺寸为的3d立方体块;
20、步骤3-1-3、线性投影嵌入:通过一个可学习的线性投影层,将每个3d patch映射为高维特征向量,此操作将输入的4d张量重塑并嵌入为序列化的3d嵌入张量,其维度满足transformer 输入要求;
21、步骤3-2、基于位移窗口的层级式自注意力编码:
22、通过堆叠的video swin transformer block进行特征编码,每个block包含两个连续的子层,通过交替的窗口机制实现局部与全局信息的交互,具体步骤如下:
23、步骤3-2-1、3d窗口多头自注意力-局部时空聚焦:将特征图进一步划分为互不重叠的局部窗口,窗口尺寸为,在每个窗口内部独立计算多头自注意力,以捕获局部区域内的时空相关性;
24、步骤3-2-2、3d移动窗口多头自注意力-全局轨迹关联:为了打破局部窗口的物理隔离并实现跨窗口的信息交互,在执行完上述3d窗口自注意力计算后,紧接着执行基于移动窗口机制的注意力计算子层。该步骤通过将窗口分区网格向右下角移动位移矢量,在上一层窗口的边界处建立新的连接,这种交替执行策略使得特征信息能够跨越窗口限制进行传播,从而在保持计算复杂度不变的前提下,有效捕捉全视频序列的全局运动轨迹与时空依赖;
25、步骤4、通过检测头与多任务联合损失函数实现端到端的精准检测:
26、将经由时空融合增强的特征图映射为目标边界框序列,并基于包含物体置信度损失、分类损失与定位损失的联合损失函数进行优化,结合非极大值抑制(nms)策略,在边缘计算设备上输出高吞吐量的空中及海面微小暗弱目标检测结果,其中:
27、置信度损失用于计算网格中是否存在目标的置信度误差,计算公式如下:
28、
29、其中,为网格单元总数,表示每个网格预测的边界框数量,为网格单元的索引,为边界框预测器的索引,为真实置信度,为预测置信度,是目标指示函数,当中的第个边界框包含目标时为1,否则为0;是权重超参数,用于惩罚不包含目标的背景区域的预测误差;
30、分类损失用于计算目标所属类别的目标概率误差,计算公式如下:
31、
32、其中,c为可以检测到的目标,和分别为真实和预测到类别c的概率的类别概率;
33、定位损失用于计算预测框与真实框的坐标及尺寸差异,计算公式如下:
34、
35、其中,为网络预测出的边界框参数(基于变换后坐标系),为经过几何映射处理后的真值分量,为坐标权重损失系数。
36、相比于现有技术,本发明具有如下优点:
37、1、提出一种保留细粒度几何信息的多尺度特征提取范式。针对海空场景中亚像素级目标在深层特征提取过程中因传统最大池化操作导致几何细节退化与信号湮灭问题,本发明提出基于cspdarknet-53与空间金字塔池化(spp)的免下采样特征提取架构。该架构通过摒弃传统卷积网络中分辨率降维策略,采用多层级空间金字塔池化模块生成高保真特征图,在维持原始空间分辨率的前提下,显著抑制了微弱目标在深层网络中的像素级结构模糊效应,确保了微弱目标轮廓特征的完整性。
38、2、构建基于三维移位窗口自注意力机制的时空transformer建模框架。针对目标高速运动或随波起伏导致的运动模糊、外观突变以及云层、地物、海浪杂波及阳光耀斑等背景干扰问题,本发明引入了三维移动窗口自注意力机制处理视频特征序列。该方法通过捕捉帧与帧之间长程的时空上下文信息,有效区分无序的环境动态噪声与有序的目标运动特征,使得算法在单帧特征模糊、被海浪遮挡或受遮挡时,仍能依据运动轨迹和时序关联性精准定位目标,大幅增强了复杂动态场景下的检测鲁棒性。
39、3、创建端到端可微分的空海跨域视觉目标检测架构,并融合时间一致性的视频增强策略,彻底摒弃了传统多阶段流水线中依赖非可微组件的级联范式,不仅消除了跨模块误差传播与训练-推理不一致问题,更大幅提升了模型在资源受限边缘设备上的推理吞吐量与部署鲁棒性,为实时空中防撞、海上搜救及海事监管等严苛应用场景提供了可行的技术路径。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com