一种船舶目标检测方法、装置、电子设备及存储介质
本申请涉及图像处理,具体而言,涉及一种船舶目标检测方法、装置、电子设备及存储介质。
背景技术:
1、随着海洋经济活动的日益频繁与海上安全需求的不断提升,基于光学遥感或监控视频的船舶目标检测技术在航道监管、渔业管理及海域态势感知等领域发挥着关键作用。海洋环境具有背景动态多变、目标尺度跨度极大以及水陆边界模糊等固有特性,使得通用目标检测模型直接应用于船舶检测时仍面临诸多挑战,亟需针对海面场景的特殊性进行适应性改进。
2、在船舶检测技术中,核心架构大多沿用通用设计范式,未能充分挖掘并利用海面场景中特有的空间先验规律。往往对所有区域施加均等的计算资源与注意力分配,缺乏对海面有效区域与非水面无效区域的区分机制,导致模型在处理极端尺度变化与复杂背景干扰时难以实现精度与效率的最优平衡。
技术实现思路
1、本申请解决的问题是如何兼顾全局结构、局部细节和水面场景先验。
2、为解决上述问题,本申请提供一种船舶目标检测方法、装置、电子设备及存储介质。
3、第一方面,本申请提供了一种船舶目标检测方法,包括:
4、对已获取的图像进行预处理,获得标准图像;
5、通过卷积主干网络,从所述标准图像中提取获得多尺度图像特征,其中,所述多尺度图像特征至少包括第三分辨率语义特征;
6、通过动态尺度路由编码模块处理所述第三分辨率语义特征,获得第三编码输出;
7、通过跨尺度特征融合模块处理所述多尺度图像特征中的其他尺度特征,获得融合编码输出,其中,所述第三分辨率语义特征的空间分辨率低于所述其他尺度特征的空间分辨率;
8、对所述第三编码输出和所述融合编码输出进行金字塔融合,获得多尺度编码输出;
9、基于水面先验模块和所述多尺度编码输出,获得每个token的水面概率;
10、对所述水面概率进行查询分数软重排序,获得排序序列;
11、通过解码器处理所述排序序列,获得检测结果。
12、可选地,所述通过卷积主干网络,从所述标准图像中提取获得多尺度图像特征包括:
13、通过所述卷积主干网络,至少采用两个不同的提取步长,从所述标准图像中提取所述多尺度图像特征。
14、可选地,所述通过动态尺度路由编码模块处理所述第三分辨率语义特征,获得第三编码输出包括:
15、全局分支被配置为对所述第三分辨率语义特征进行长距离依赖建模,获得全局语义响应;
16、局部分支被配置为将所述第三分辨率语义特征恢复为空间特征图,并提取获得局部纹理响应;
17、路由融合分支被配置为根据所述第三分辨率语义特征生成对应于所述全局语义响应和所述局部纹理响应的归一化权重,获得全局权重和局部权重;
18、将所述全局语义响应、所述局部纹理响应、所述全局权重和所述局部权重融合,获得所述第三编码输出。
19、可选地,所述基于水面先验模块和所述多尺度编码输出,获得每个token的水面概率包括:
20、将所述多尺度编码输出按空间位置展平并拼接,获得编码器记忆token序列;
21、通过所述水面先验模块处理所述编码器记忆token序列,获得每个token的水面概率。
22、可选地,所述水面先验模块包括水面概率预测头和水面伪标签生成器;
23、所述水面概率预测头包括多层感知器,所述多层感知器的输入包括编码器变换特征,所述多层感知器的输出包括每个token的水面逻辑值和所述水面概率;
24、所述水面伪标签生成器用于在训练阶段,从原始rgb图像中生成粗粒度软水面掩码。
25、可选地,所述通过解码器处理所述排序序列,获得检测结果包括:
26、将所述排序序列作为所述解码器的初始查询向量;
27、在所述解码器中,使所述初始查询向量通过自注意力机制进行查询间交互,通过交叉注意力机制与所述多尺度编码输出进行特征聚合,其中,所述交叉注意力机制根据所述初始查询向量确定查询特征,根据所述多尺度编码输出分别确定键特征和值特征;
28、基于特征聚合后的查询向量,通过分类头预测船舶类别置信度,通过回归头预测二维边界框坐标,将所述船舶类别置信度和所述二维边界框坐标作为所述检测结果输出。
29、可选地,在所述对已获取的图像进行预处理,获得标准图像之前,还包括:
30、在训练阶段,获取训练图像,对所述训练图像进行海事场景增强,其中,所述海事场景增强包括海雾模拟、太阳反光模拟、运动模糊模拟、波浪遮挡模拟和小目标复制粘贴增强中的至少一种。
31、第二方面,本申请提供了一种船舶目标检测装置,包括:
32、预处理模块,用于对已获取的图像进行预处理,获得标准图像;
33、提取模块,用于通过卷积主干网络,从所述标准图像中提取获得多尺度图像特征,其中,所述多尺度图像特征至少包括第三分辨率语义特征;
34、编码模块,用于通过动态尺度路由编码模块处理所述第三分辨率语义特征,获得第三编码输出;
35、跨尺度模块,用于通过跨尺度特征融合模块处理所述多尺度图像特征中的其他尺度特征,获得融合编码输出,其中,所述第三分辨率语义特征的空间分辨率低于所述其他尺度特征的空间分辨率;
36、金字塔融合模块,用于对所述第三编码输出和所述融合编码输出进行金字塔融合,获得多尺度编码输出;
37、预测模块,用于基于水面先验模块和所述多尺度编码输出,获得每个token的水面概率;
38、排序模块,用于对所述水面概率进行查询分数软重排序,获得排序序列;
39、输出模块,用于通过解码器处理所述排序序列,获得检测结果。
40、第三方面,本申请提供了一种电子设备,包括存储器和处理器;
41、所述存储器,用于存储计算机程序;
42、所述处理器,用于当执行所述计算机程序时,实现如第一方面所述的船舶目标检测方法。
43、第四方面,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,当所述计算机程序被处理器执行时,实现如第一方面所述的船舶目标检测方法。
44、本申请的船舶目标检测方法的有益效果是:
45、对原始图像进行标准化处理,再利用卷积主干网络提取包含低分辨率语义特征在内的多尺度特征;采用分治策略,分别通过动态尺度路由编码模块增强最低分辨率的语义特征,并通过跨尺度特征融合模块整合其余高分辨率细节特征;再将两路输出经金字塔融合重构为完整的多尺度表征;在此基础上,引入水面先验知识计算每个特征单元属于水面的概率,并以此概率对检测查询分数进行软性重排序;最终由解码器将优化后的序列转化为具体的船舶检测结果。整个流程旨在解决水面目标检测中语义与空间割裂、背景干扰严重的问题。
1.一种船舶目标检测方法,其特征在于,包括:
2.根据权利要求1所述的船舶目标检测方法,其特征在于,所述通过卷积主干网络,从所述标准图像中提取获得多尺度图像特征包括:
3.根据权利要求1所述的船舶目标检测方法,其特征在于,所述通过动态尺度路由编码模块处理所述第三分辨率语义特征,获得第三编码输出包括:
4.根据权利要求1所述的船舶目标检测方法,其特征在于,所述基于水面先验模块和所述多尺度编码输出,获得每个token的水面概率包括:
5.根据权利要求1所述的船舶目标检测方法,其特征在于,所述水面先验模块包括水面概率预测头和水面伪标签生成器;
6.根据权利要求1所述的船舶目标检测方法,其特征在于,所述通过解码器处理所述排序序列,获得检测结果包括:
7.根据权利要求1所述的船舶目标检测方法,其特征在于,在所述对已获取的图像进行预处理,获得标准图像之前,还包括:
8.一种船舶目标检测装置,其特征在于,包括:
9.一种电子设备,其特征在于,包括存储器和处理器;
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,当所述计算机程序被处理器执行时,实现如权利要求1-7任一项所述的船舶目标检测方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com