基于大模型的无人机图像显著区域快速检测方法及系统
本发明属于图像检测领域,特别是涉及一种基于大模型的无人机图像显著区域快速检测方法及系统。
背景技术:
1、随着图像检测技术的发展,出现了无人机图像快速检测技术,常规的大模型无人机检测方案通常采用单一高分辨率输入,直接在全图上运行深度网络,依赖大参数量提取特征,配合nms(non maximum suppression,非极大抑制)后处理。其流程缺少多传感器对齐,通过暴力缩放图像适应模型输入,且采用固定分辨率推理,未动态分块。存在大模型计算冗余,全图处理忽视局部显存限制的问题,大大拖慢了处理速度,影响实时性。
技术实现思路
1、基于此,有必要针对上述技术问题,提供一种能够分块处理图像,增加处理速度,提高实时性的基于大模型的无人机图像显著区域快速检测方法及系统。
2、第一方面,本技术提供了一种基于大模型的无人机图像显著区域快速检测方法,包括:
3、获取多传感器实时采集的数据流,并对数据流进行时空对齐,得到时空对齐的图像对;数据流包括可见光图像、红外图像及imu数据;
4、分块切割时空对齐的图像对,得到分块图像合集;
5、对分块图像合集进行频域滤波,得到去干扰分块图像;
6、通过轻量模型对去干扰分块图像进行显著区域快速检测,得到初步检测结果;
7、将初步检测结果中的可见光检测结果及并行处理的红外线检测结果进行置信度融合,得到显著区域中的目标的最终检测清单。
8、进一步地,轻量模型是通过以下方法训练的:
9、获取真实场景数据集;真实场景数据集包含无人机采集的真实可见光及红外数据;
10、对真实场景数据集进行数据增强,得到标准化训练集;
11、基于标准化训练集,通过mae自监督训练mobi lenetv3-smal l模型,得到预训练基础模型;
12、基于mcd及真实场景数据集,对预训练基础模型进行对抗域适应训练,得到跨域适应模型;
13、对跨域适应模型进行轻量化压缩,得到轻量模型。
14、进一步地,对真实场景数据集进行数据增强,得到标准化训练集,包括:
15、将虚拟目标渲染到真实场景数据集中,得到合成多模态数据包;虚拟目标是从外部3d虚拟目标库中获取的像素值小于阈值的目标;
16、对真实场景数据集及合成多模态数据包进行时空对齐,得到时空对齐的多模态数据集;
17、标注时空对齐的多模态数据集的类别标签信息,得到标注数据集;
18、对标注数据集注入噪声,并叠加天气干扰,得到带干扰的增强数据集;
19、在带干扰的增强数据集中随机植入虚拟目标,得到多尺度增强数据集;
20、融合多尺度增强数据集及多尺度增强数据集对应的信息,得到标准化训练集。
21、进一步地,基于标准化训练集,通过mae自监督训练mobi lenetv3-smal l模型,得到预训练基础模型,包括:
22、对标准化训练集,基于预先设置的掩码规则进行掩码,得到带掩码策略的训练样本;
23、其中,预先设置的掩码规则包括,随机生成矩形区域,覆盖15%到60%图像区域;对标注框中心20%面积区域强制掩码;
24、对带掩码策略的训练样本中的掩码区域像素置零,并随机水平翻转图像,得到预处理后的训练数据集;
25、以预处理后的训练数据集作为训练集,基于联合损失函数训练解码双分支模型,得到双模态mae模型;其中,解码双分支模型为原始mobi lenetv3-smal l模型的残差块block9的输出后插入交叉注意力层,并在mobilenetv3-smal l模型后增加mae解码器得到;
26、对双模态mae模型分阶段预训练,得到预训练完成的mae模型;
27、剥离预训练完成的mae模型中的mae解码器,得到预训练基础模型。
28、进一步地,基于mcd及真实场景数据集,对预训练基础模型进行对抗域适应训练,得到跨域适应模型,包括:
29、基于标准化训练集及真实场景数据集,对双路任务模型进行域对抗训练,得到域混淆模型;其中,双路任务模型为预训练基础模型的特征输出层后连接检测头及分割头得到;检测头为nanodet-plus,连接在可见光图像特征输出层后,分割头为fast-scnn+,连接在红外图像特征输出层后;
30、对域混淆模型进行mcd训练,得到域对齐模型;
31、冻结域对齐模型的主干网络的参数及分割头的参数,对检测头进行全参数微调;
32、解冻对齐模型的主干网络的参数,对检测头及主干网络进行微调;
33、解冻所有参数,采用低学习率与余弦退火策略精细化调整域对齐模型,得到跨域适应模型。
34、进一步地,对跨域适应模型进行轻量化压缩,得到轻量模型,包括:
35、将跨域适应模型拆分为独立模块,得到结构化模型分解报告;
36、基于结构化模型分解报告计算跨域适应模型中各个通道的权重绝对值之和;
37、基于权重绝对值之和的大小,得到剪枝策略文件;
38、基于剪枝策略文件对跨域适应模型进行通道移除,得到剪枝后的中间模型;
39、对剪枝后的中间模型进行知识蒸馏,得到蒸馏恢复的轻量模型;
40、对蒸馏恢复的轻量模型进行量化感知训练,得到轻量模型。
41、进一步地,分块切割时空对齐的图像对,得到分块图像合集,包括:
42、通过预训练的yolov8s模型识别时空对齐的图像对中的可见光图像中的物体,得到目标位置热力图;
43、基于目标位置热力图及时空对齐的图像对,以目标中心为基准生成自适应大小的分块,得到分块图像;
44、提取时空对齐的图像对中的可见光图像,使用轻量卷积层下采样可见光图像,生成低分辨率特征图,并将低分辨率特征图存入全局缓存,得到全局上下文记忆库;
45、基于全局上下文记忆库对分块图像融合特征,得到分块图像合集。
46、进一步地,通过轻量模型对去干扰分块图像进行显著区域快速检测,得到初步检测结果,包括:
47、基于全局上下文记忆库,将去干扰分块图像的特征与全局特征拼接,得到输入张量;去干扰分块图像的特征通过轻量模型对去干扰分块图像提取特征获得;
48、通过以下公式,计算去干扰分块图像的灰度直方图熵值:
49、
50、其中,h为熵值,p(i)为离散随机变量取值为i的概率;
51、基于熵值与阈值的大小,确定推理策略,得到推理策略标记;
52、基于推理策略标记,对输入张量通过轻量模型进行推理,得到原始检测结果;
53、其中,熵值小于阈值时,使用early exit模式进行推理;熵值大于阈值时,使用多尺度预测模式进行推理;
54、将原始检测结果中的低分辨率热力图上采样至原始尺寸,得到分块检测结果;
55、将所有分块检测结果基于全局坐标映射表进行融合,得到初步检测结果。进一步地,对分块图像合集进行频域滤波,得到去干扰分块图像,包括:
56、将分块图像合集中的分块图像转化为灰度图,并归一化灰度图的像素值,得到归一化分块图像;
57、对归一化分块图像快速傅里叶变换,得到频谱图;
58、将频谱图与预先配置的滤波器逐点相乘,得到滤波后的频谱图;
59、将滤波后的频谱图逆傅里叶变换,得到去噪后的分块图像;
60、将去噪后的分块图像通过预训练的stanet模型进行显著性增强,得到去干扰分块图像。
61、第二方面,本技术还提供了一种基于大模型的无人机图像显著区域快速检测系统,包括:
62、对齐模块,用于获取多传感器实时采集的数据流,并对数据流进行时空对齐,得到时空对齐的图像对;数据流包括可见光图像、红外图像及imu数据;
63、分块模块,用于分块切割时空对齐的图像对,得到分块图像合集;
64、滤波模块,用于对分块图像合集进行频域滤波,得到去干扰分块图像;
65、推理模块,用于通过轻量模型对去干扰分块图像进行显著区域快速检测,得到初步检测结果;
66、融合模块,用于将初步检测结果中的可见光检测结果及并行处理的红外线检测结果进行置信度融合,得到显著区域中的目标的最终检测清单。
67、上述基于大模型的无人机图像显著区域快速检测方法及系统,通过获取多传感器实时采集的数据流,并对数据流进行时空对齐,得到时空对齐的图像对;数据流包括可见光图像、红外图像及imu数据;分块切割时空对齐的图像对,得到分块图像合集;对分块图像合集进行频域滤波,得到去干扰分块图像;通过轻量模型对去干扰分块图像进行显著区域快速检测,得到初步检测结果;将初步检测结果中的可见光检测结果及并行处理的红外线检测结果进行置信度融合,得到显著区域中的目标的最终检测清单的技术手段,实现了对无人机图像分块处理,显著提升处理速度的效果。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com