基于轻量化神经网络的红外空中目标检测方法、系统及介质
本发明涉及人工智能与嵌入式视觉探测,具体涉及基于轻量化神经网络的红外空中目标检测方法、系统及介质。
背景技术:
1、随着低空经济的飞速发展及无人机技术的普及,针对空中目标的监视与探测已成为保障低空域安全的核心需求。红外成像技术由于其具有被动工作、全天候探测、抗光干扰能力强等天然优势,在复杂环境下的空中目标识别中扮演着不可替代的角色。然而,在实际工程应用,尤其是将深度学习算法部署于资源受限的嵌入式边缘端时,仍面临多重严峻挑战。
2、首先,红外图像与通用视觉算法之间存在显著的物理特性失配。目前主流的通用目标检测模型(如yolo系列)多是基于三通道rgb可见光图像设计的。红外探测器获取的是目标的热辐射分布信息,其数据本质上具有单通道属性。现有的处理方式往往直接将单通道红外图像复制为三通道进行训练,这不仅造成了计算资源的严重冗余,还可能引入不必要的伪彩色噪声,干扰了通用目标检测模型对真实热辐射特征的提取。
3、其次,轻量化模型在复杂探测任务中的表征能力严重受限。为了满足嵌入式开发板(如国产rk3588平台)的实时性要求,轻量化模型通常需要选用参数量极少的纳米级(nano)模型架构。然而,纳米级模型受限于极小的参数容量,在处理红外图像时极易出现特征“塌陷”现象。由于红外目标普遍缺乏纹理、对比度极低且常表现为“弱小目标”,纳米级模型很难在有限的感受野内准确区分出几何轮廓相似的目标(如旋翼机与固定翼机的微弱结构差异),导致分类精度低、虚警率高。
4、再者,通用的数据增强方案难以适配红外探测的收敛需求。传统训练流程中常采用mosaic和mixup等强力数据增强手段,虽能提升泛化性,但在红外弱小目标探测场景下,此类增强手段在训练后期往往会掩盖真实热源的物理边缘。这使得轻量化模型在收敛阶段难以锁定稳定的目标形态,从而导致部署后的轻量化模型在处理连续视频流时出现检测框剧烈抖动、定位不准等问题。
5、最后,算法与国产芯片底层架构的协同优化仍显不足。嵌入式平台npu算力有限,如何通过软硬协同优化,在保证高推理帧率的同时最大限度地保留红外特征精度,并实现轻量化模型从fp32到int8的无损量化,依然是当前红外探测领域亟待解决的工程化痛点。
6、综上所述,开发一种既能充分挖掘红外物理特性、又能适配国产边缘端算力的轻量化检测方案,具有极高的科研与应用价值。
技术实现思路
1、本发明的目的在于提供:
2、一种基于轻量化神经网络的红外空中目标检测方法,及其相关技术,以解决“传统的通用目标检测模型多针对三通道rgb可见光图像设计,直接迁移至红外领域存在严重的通道计算冗余与物理特性失配;同时,边缘侧嵌入式平台(如国产rk3588芯片)算力资源极其受限,若采用纳米级(nano)轻量化模型进行红外探测,由于其参数量受限,在面临低对比度、边缘模糊的红外弱小目标及相似空中目标(如旋翼机与固定翼机)时,极易产生特征空间坍缩、分类混淆,分类错误率高,以及由于过度几何增强导致的检测框(bbox)在视频流中剧烈抖动、定位不准等瓶颈”技术问题之一或其组合。
3、鉴于此,本技术提供了基于轻量化神经网络的红外空中目标检测方法、系统及介质,通过引入红外单通道物理先验、亮度辐射自适应扰动约束以及二阶段时域解耦训练机制,在有效降低网络输入层计算开销的同时,强化了轻量化目标检测网络模型对红外弱小目标的分类精度与形态收敛性。配合高适配性的硬件感知量化策略,在保障极高推理帧率的前提下,实现了在国产嵌入式端的无损、高鲁棒性实时部署。
4、术语说明:
5、除非另有定义,否则本文所有科技术语具有的涵义与本发明所属领域技术人员通常理解的涵义相同。
6、应理解,上述简述和下文的详述为示例性且仅用于解释,而不对本发明的主题作任何限制。在本发明中,除非另有具体说明,否则使用单数时也包括复数。还应注意,除非另有说明,否则所用“或”、“或者”表示“和/或”。此外,所用术语“包括”以及其他形式,例如“包含”、“含”和“含有”并非限制性。
7、本文所用的术语“单通道红外图像”,指:属于单通道灰度图像,每个像素仅用0-255的单一亮度值记录对应位置的热辐射强度,不携带色彩信息,直接反映场景内物体的温度分布差异。单通道红外图像是构成单通道原始灰度热辐射图像流的最小基本单元。
8、本文所用的术语“单通道原始灰度热辐射图像流”,指:是大量单帧单通道红外图像按时间顺序拼接形成的动态序列;保留了帧间的时间维度关联,完整记录了场景热辐射随时间变化的动态过程,可提供运动目标的连续运动线索。
9、本文所用的术语“红外空中目标单通道原始数据集”,指:是面向空中红外探测任务,经过定向采集、整理的专项数据集合,其核心组成单元就是符合要求的单通道原始灰度热辐射图像流,同时还会配套对应的目标标注信息、场景参数等任务相关元数据。
10、本文所用的术语“clahe算法”,指:对比度受限的自适应直方图均衡化(contrastlimited adaptive histogram equalization),即先将图像划分为若干子块,对各子块分别进行直方图均衡化,同时对直方图高度设定裁剪阈值以限制对比度增益、抑制噪声放大的图像增强算法,常用于低对比度红外图像的预处理。
11、本文所用的术语“yolo11n纳米级模型”,指:yolo11 目标检测网络系列中体量最小的 nano(纳米级)变体,其参数量与计算量在该系列中最低、权重文件体积最小,在保证基本检测精度的前提下满足边缘端实时推理需求。
12、本文所用的术语“coco”,指:common objects in context,即微软发布的包含 80个目标类别的大规模目标检测基准数据集,提供目标检测、实例分割等任务的标注,是目标检测领域通用的训练与评测数据集。
13、本文所用的术语“轻量化模型”,指:通过精简网络结构、减少参数量与计算量(flops)等方式设计或压缩得到的模型,在保持一定精度的同时显著降低模型体积与推理延迟,适用于嵌入式、移动端等资源受限平台部署。
14、本文所称“纳米级小模型”,是指模型规模达到 nano 级别的轻量化小型网络模型,其参数量通常为数百万量级,模型权重文件大小通常为数兆字节,具有参数量少、计算复杂度低和存储开销小等特点,适于部署在算力和存储资源受限的边缘计算平台,并可实现实时或准实时推理。
15、本文所用的术语“硬标签”,指:由0和1构成的离散独热编码形式的标准监督标签,真实类别对应位置取值为1,其余位置取值为0,不包含类别间概率分布信息。
16、本文所用的术语“软标签”,指:以概率分布形式表示的标签,而非离散的 0/1 独热编码,可携带类别间的相似度信息,通常由模型预测概率或知识蒸馏等过程产生。
17、本文所用的术语“分类损失权重补偿”,指:在计算分类损失时,针对样本数量不均衡或难以分类的类别赋予不同权重系数,以补偿各类别对损失贡献的差异,增强模型对少数类及小目标类别的学习能力。
18、本文所用的术语“标签平滑正则化”,指:一种正则化技术,将硬标签中取值为 1的位置替换为略小于 1 的值(如 1ε),并将剩余概率 ε 均匀分配给其余类别,以抑制模型对训练标签的过度自信、提升泛化能力。
19、本文所用的术语“红外特异性亮度空间增强算子”,指:针对红外图像亮度分布特征设计的、在亮度空间对图像进行特异性增强处理的操作算子,用于突出目标与背景之间的亮度差异,改善红外图像对比度低、目标边缘模糊的问题。
20、本文所用的术语“随机亮度增益因子”,指:在数据增强过程中随机生成的亮度缩放系数,用于对图像整体亮度进行随机的增益放大或缩小,增强模型对亮度变化的鲁棒性。
21、本文所用的术语“亮度随机波动算子”,指:对图像亮度实施随机上下波动处理的增强算子,用于模拟实际红外场景中亮度随时间或环境变化的情况,提高模型在不同亮度条件下的适应性。
22、本文所用的术语“最大亮度波动幅度系数”,指:亮度随机波动算子中用于限制亮度波动最大范围的系数,用以约束亮度增强的幅度,防止过度波动造成目标信息丢失。
23、本文所用的术语“空间几何增强因子”,指:用于控制图像空间几何变换(如缩放、旋转、平移、裁剪、仿射等)强度或幅度的参数,在数据增强中调节几何变换的程度,以提升模型的尺度与视角鲁棒性。
24、本文所用的术语“mosaic”,指:一种数据增强方法,将 4 张训练图像经随机缩放、裁剪后拼接为一张合成图像进行训练,以丰富目标的上下文信息与尺度多样性,提升模型特别是小目标的检测能力。
25、本文所用的术语“mixup”,指:一种数据增强方法,将两张训练图像及其对应标签按一定比例线性加权混合,生成新的训练样本,以平滑决策边界、抑制过拟合、提升模型泛化能力。
26、本文所用的术语“pipeline”,指:处理流程或流水线,即按固定顺序串联的多个处理环节所构成的完整链路。
27、本文所用的术语“fp32”,指:浮点型32位。
28、本文所用的术语“int8”,指:定点整数型8位。
29、本文所用的术语“国产rk3588开发平台”,指:基于国产瑞芯微(rockchip)rk3588八核 soc 芯片构建的嵌入式边缘计算开发平台,该芯片集成高算力npu(算力约 6 tops),支持在板端部署轻量化深度学习模型并进行实时推理。
30、本文所用的术语“npu”,指:神经网络处理器(neural-network processingunit),即专为加速神经网络推理计算而设计的专用处理器,具备高算力、低功耗的特点,常用于边缘端设备的端侧 ai 推理加速。
31、本文所用的术语“非对称映射机制”,指:在量化过程中对浮点数值到定点整数的映射不要求零点(zero point)为 0 的映射方式,即量化零点可为非零值,从而更充分地利用数值表示范围、降低量化误差的机制。
32、本文所用的术语“硬件感知量化算法”,指:在量化过程中充分考虑目标硬件(如npu)所支持的量化方式、位宽与算子特性,通过数据校准等手段确定量化参数的量化算法。
33、本文所用的术语“增强轮数”,指:在模型训练过程中,对输入样本执行数据增强处理(如亮度随机波动、空间几何变换、mosaic、mixup 等)的重复执行次数,用于控制增强样本的多样性与覆盖程度;增强轮数的取值需与总训练轮次相协调,过少则增强效果不足,过多则可能引入噪声、影响收敛。
34、本文所用的术语“算子融合(operator fusion)”,指:将神经网络中相邻的多个计算算子(如卷积、批归一化、激活函数等)合并为一个等效算子的模型优化技术,通过减少中间张量的内存读写与计算开销来提升推理速度,是在 rk3588 等边缘端硬件部署轻量化模型时常用的优化手段。
35、第一方面,本发明提供了:一种基于轻量化神经网络的红外空中目标检测方法,包括:
36、s1.构建红外空中目标单通道原始数据集,并对所述数据集进行预处理,得到符合物理热辐射特性的单通道特征图序列;
37、s2.构建面向嵌入式部署的轻量化红外目标检测网络模型,所述模型主干网络采用通道卷积,将步骤s1所述单通道特征图序列作为所述模型输入,修改所述模型的首层卷积层的输入通道数,将输入的物理热辐射特性映射为单通道物理热辐射特征,并重构首层卷积核的初始化权重,获得轻量化目标检测网络模型;
38、s3.配置训练超参数,采用非对称调优训练策略,对步骤s2的输出重构首层卷积核的初始化权重的轻量化目标检测网络模型进行训练约束;
39、s4.采用二阶段解耦训练策略,在训练初期开启空间几何增强算子进行全局特征学习,在训练末期指定的精修轮数内关闭空间几何增强算子,使轻量化目标检测网络模型参数收敛于稳定的红外辐射形态学特征,输出轻量化目标检测网络模型的浮点型模型权重;
40、s5.对所述浮点型模型权重进行硬件感知量化处理,将其转换为ai芯片npu算力的定点化推演格式,获得量化后的定点型模型权重,将网络参数为定点型模型权重的轻量化目标检测网络模型编译后部署于ai硬件开发平台执行实时推演,所述轻量化目标检测网络模型对输入单通道特征图序列进行特征提取及目标预测,解析处理后得到目标类别、置信度及目标框位置信息。
41、第一项优先方案:步骤s1中,预处理过程具体包括:将原始3通道红外图像按特定的物理投影权重进行通道剥离,转化为单通道灰度矩阵:
42、
43、其中,分别为原始红外图像在红、绿、蓝三个通道的像素值,且权重系数满足限制条件。
44、第二项优先方案:步骤s1中,预处理过程具体还包括:
45、对所述单通道灰度矩阵,采用自适应局部对比度受限直方图均衡化算法进行动态范围调整,抑制红外背景中的热杂波干扰。
46、第三项优先方案:在所述步骤s2中,重构首层卷积核的初始化权重,具体为:
47、将预训练轻量化模型中原始3通道卷积核权重矩阵记为,其中为输出通道数,k为卷积核大小;
48、构建轻量化目标检测网络模型适配的适配单通道输入的新卷积核权重矩阵,其映射重构关系定义为:
49、
50、其中,代表原始第c通道的权重分量,映射权重因子设定范围为0.25至0.40,且满足,以实现从预训练rgb特征空间向单通道红外物理辐射特征空间的无损知识迁移。
51、第四项优先方案:步骤s3中,非对称调优训练策略,包括:引入分类损失增益增强机制、标签平滑正则化策略以及红外特异性亮度空间增强算子。
52、第五项优先方案:引入分类损失增益增强机制,对分类损失权重补偿,所述分类损失增益增强机制是指:在总损失函数中,提高分类损失项的增益系数;
53、所述分类损失项表达为:
54、
55、其中,k为红外空中目标的总类别数,为第i个类别的平滑监督标签分量,为轻量化目标检测网络模型对第i个类别的预测概率;所述增益系数设定范围扩充为1.8至2.5。
56、第六项优先方案:所述标签平滑正则化策略是指:引入平滑因子,将原始离散的硬标签转换为分布式的软标签:
57、
58、其中,平滑因子设定范围为0.1至0.2;k为红外空中目标的总类别数。
59、第七项优先方案:所述红外特异性亮度空间增强算子是指:在数据增强阶段,关闭通用训练中的色度与饱和度增强,仅开启针对亮度通道的增益变换:
60、
61、其中,为原始像素灰度值;为增强后的像素灰度值;为限幅函数,为亮度随机波动算子,且满足,其最大亮度增强系数设定范围为0.3至0.5。
62、第八项优先方案:在所述步骤s4中,所述二阶段解耦训练策略具体为:设定总训练轮数为e,当前训练轮数为t;定义空间几何增强因子的时间阶跃函数关系为:
63、
64、当时,激活空间几何增强算子的空间几何数据增强;
65、当时,进入精修阶段,强制关闭所述空间几何增强算子的空间几何数据增强。
66、第九项优先方案:在所述步骤s5中,所述硬件感知量化处理包括:引入硬件感知量化算法,依据非对称映射机制,将浮点权重张量中的单个实数元素r量化为定点整数型int8张量q:
67、
68、其中,q为定点整数型int8张量,r为浮点权重张量中的单个实数元素,s为量化缩放因子,z为零点偏移量,round表示取整;并针对npu异构算子特性进行编译优化,将量化后的网络算子执行首尾融合及内存对齐,生成.rknn后缀格式的统一部署镜像。
69、第二方面,一种基于国产ai芯片的红外空中目标检测系统,用于实现前述任一项所述的红外空中目标检测方法,所述系统包括:
70、红外传感器模块:用于对目标空域进行红外波段被动探测,实时采集并连续输出红外空中目标的单通道原始灰度热辐射图像流;
71、数据预处理模块:对红外传感器模块的输出,执行灰度物理转换以及自适应对比度受限均衡处理,输出高信噪比单通道特征图序列;
72、ai边缘推演模块:搭载于ai硬件开发平台,其npu硬件加速器运行int8量化后的轻量化目标检测网络模型进行加速推演镜像,对预处理后的单通道特征图序列执行实时的空中弱小目标位置定位与分类识别;
73、信息输出与报警模块:用于对检测到的目标、类别标识及中心像素方位坐标进行结构化输出,并在目标满足预设判准阈值时触发报警反馈。
74、第三方面,一种计算机可读存储介质,所述存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现前述任一项的一种基于轻量化神经网络的红外空中目标检测方法。
75、本发明至少具有如下有益效果:
76、1、与现有技术相比,本发明有效克服了传统轻量化模型在红外空中探测任务中算力冗余、特征坍缩及定位不稳等固有缺陷。通过深度融合红外物理先验与软硬协同异构部署技术,本发明在弱小目标精确感知、边缘端极致推理效率、以及复杂工业场景下的泛化鲁棒性等方面,取得了全面且突破性的技术效果。具体而言:
77、根据实验测试,本发明使得红外空中目标的检测精度(map@0.5)由现有技术的67.9%提高到97.0%,极大地降低了漏检率与虚警率,提高了检测精度。
78、根据实验测试,本发明使得边缘端设备的推理吞吐量由现有浮点运算的50 fps提高到了定点化异构加速后的100 fps以上,推理效率大幅提高。
79、根据实验测试,本发明轻量化目标检测网络模型在0.1至0.7的超宽置信度阈值区间内,f1-score均稳定保持在0.90以上(峰值达 0.97),克服了传统通用目标检测模型对置信度超参数极度敏感的缺陷,大幅降低了实际工程部署中跨场景调参的复杂度。
80、根据实验测试,本发明使红外小目标(如旋翼无人机)的特征提取瓶颈得到根本性解决,各类别目标在相同阈值下均能实现高召回与高精确率的协同平衡,打破了传统算法对微小发热源目标的分类退化局限。
81、2、与现有技术相比,本发明提供了一种技术构思不同的技术方案,其技术效果与现有技术等同或略有提高。本发明和现有技术的技术构思的区别包含但不限于:
82、在传统红外目标检测技术中,往往采用“软件级跨模态强行适配”的构思,即直接将单通道红外图像复制拼接为三通道,以迎合基于可见光(rgb)数据集预训练的通用网络架构。同时,传统训练范式普遍依赖于全周期的高强度空间几何数据增强来防止小模型过拟合。
83、而本发明的技术构思是从“物理层级原生适配”与“收敛动力学解耦”切入。在网络适配构思上:本发明摒弃了软件层面的通道复制,转而从网络自身的底层计算结构(stem层)进行物理级重构,通过权重映射机制将多通道先验平滑过渡到单通道红外特征提取中。这种构思直接消减了输入层的冗余算力消耗,并实现了知识的无损迁移。
84、在训练收敛构思上:本发明打破了传统“全程强增强”的惯性思维,基于红外热扩散与弱梯度的物理特性,创新性地提出二阶段时域解耦策略。在训练末期主动关闭空间几何增强,将网络从“对抗虚假拼接边缘”引导至“专注拟合真实热辐射形态”。这属于由物理机制反推训练策略的全新构思路径,从根本上消除了连续推理中的检测框高频抖动问题。
85、3、与现有技术相比,本发明提供了一种代表“物理先验引导的轻量化网络与边缘端软硬协同优化”新技术发展趋势的技术方案。
86、随着低空经济与智能特种装备的发展,依靠云端大算力或桌面级 gpu 的传统目标检测模式,已无法满足高实时、低功耗、离线高可靠的实际工程需求。本发明彻底贯通了从“红外光学成像机理与通道重构”,到“深度网络轻量化及非对称调优”,再到“嵌入式 npu底层定点化量化(int8)与算子融合”的全链路工程闭环。
87、4、尽管本发明在超大规模多模态特征容量、跨域零样本泛化能力以及高分辨率全局语义理解等方面未明显优于云端大模型或高参数量的重型视觉网络,但在受限算力下的极致效能与时空稳定性等方面具有明显积极的技术效果。
88、5、本发明通过引入红外单通道物理先验、亮度辐射自适应扰动约束以及二阶段时域解耦训练机制,在有效降低网络输入层计算开销的同时,强化了轻量化模型对红外弱小目标的分类精度与形态收敛性。
89、6、本发明通过构建红外空中目标数据集,首先利用红外目标的特点,采用轻量化目标检测网络模型提取红外目标的单通道热特征降低计算开销;随后在训练中实施分类权重补偿与亮度自适应增强,并结合二阶段精修策略——即在训练后期剔除干扰性强的几何增强,迫使轻量化模型锁定核心热源特征。该方法有效弥补了纳米级模型参数量不足的缺陷,显著降低了分类错误率。
90、模型最终经量化部署于国产ai芯片,在保证极高推理实时性的同时,实现了对红外弱小目标的高鲁棒性探测。
91、7、本发明通过利用数据预处理和首层卷积重构,分别对输入红外图像进行通道剥离和卷积核权重重构,消除了传统多通道特征计算的算力冗余,实现了输入层与单通道红外物理辐射特征空间的深度适配与无损知识迁移。
92、同时,在训练过程中使用包含非对称分类损失增益项与软标签平滑约束项的组合损失函数进行模型训练,更新轻量化目标检测网络模型的权重参数,有效拉大了旋翼类与固定翼类目标在低对比度红外成像下的类间语义距离,并平滑了由“热扩散效应”带来的标注模糊度;配合二阶段时域解耦精修机制,在收敛阶段消除了强几何增强对目标热源物理边缘的掩盖,使边界框定位更加平滑,抑制了推演过程中的框抖动现象。
93、8、该方法通过引入红外通道物理先验、亮度辐射扰动约束以及时域解耦收敛约束,实现了对红外空中弱小目标内在形态学特征的深度理解与稳定收敛,且该方法的实现无需依赖高算力、高功耗的桌面端计算平台,通过定点化硬件感知量化与算子融合,在国产边缘侧芯片上实现了算法的高效、无损落地,兼顾了极高的推理实时性与分类鲁棒性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com