一种粮库作业场景下的自适应多源特征融合目标检测方法与流程

摘要: 本申请涉及目标检测领域,具体涉及一种粮库作业场景下的自适应多源特征融合目标检测方法。背景技术:1、粮库作为粮食储存的重要场所,其作业区域涉及进出仓、动火、高处作...
一种粮库作业场景下的自适应多源特征融合目标检测方法与流程

本申请涉及目标检测领域,具体涉及一种粮库作业场景下的自适应多源特征融合目标检测方法。

背景技术:

1、粮库作为粮食储存的重要场所,其作业区域涉及进出仓、动火、高处作业、吊装、熏蒸和日常巡检等多种作业场景,存在较多的安全隐患。为保障作业安全,需要在作业现场对人员、设备及其安全防护用品进行实时监测,及时发现未佩戴安全帽、未佩戴口罩、违规使用手机、明火和烟雾等异常情况。

2、然而,粮库作业场景中的目标检测面临诸多挑战:

3、检测对象种类繁多、尺寸差异明显:安全帽、口罩、手机、灭火器、挡粮板锁和香烟等目标在图像中所占区域较小,主要依赖边缘、轮廓和位置信息进行识别;而人员、车辆、输送带、集装箱和高空平台等中大型目标则需要更加完整的结构信息和高层语义信息。不同尺寸的目标对特征分辨率和语义层级的需求存在明显差异。

4、粮库作业区域背景复杂:钢结构、管线、护栏和机械设备会产生大量相似纹理,容易与钢筋网、脚手架、防护栏杆和机械局部部件等检测对象混淆,仅依赖局部纹理进行识别容易产生误检。

5、粮食粉尘干扰严重:作业现场的粮食粉尘会导致目标遮挡、图像对比度下降和目标边缘模糊,进一步增加检测难度。

6、现有技术中,如yolo系列模型难以在粮库作业场景下同时兼顾小尺度目标的细节表达和中大型目标的语义感知,且复杂背景识别能力、抗粉尘干扰能力不足,导致漏检和误检率较高,检测的准确性和环境适应性有待提高。

技术实现思路

1、为了解决上述问题,本发明提出一种粮库作业场景下的自适应多源特征融合目标检测方法,包括以下步骤:

2、s1,对粮库作业场景的待检测图像进行多层级特征提取,通过场景语义得到多个尺度的特征图;

3、s2,对所述多个尺度的特征图进行自适应多源尺度融合,汇集来自不同尺度和不同深度的特征,并根据所述待检测图像的内容自适应确定各来源特征在各通道上的融合权重,得到多尺度融合特征;

4、s3,对所述多尺度融合特征进行门控增强,抑制干扰特征,得到增强后的多尺度特征;

5、s4,根据所述增强后的多尺度特征进行目标类别和位置预测,得到粮库作业场景下的目标检测结果。

6、进一步的,步骤s1包括:

7、s11,对所述待检测图像进行逐层特征提取,得到包含边缘、纹理和局部结构信息的基础特征;

8、s12,对所述基础特征进行高层语义编码,得到粮库作业场景的场景语义表征;

9、s13,将所述场景语义表征进行尺度对齐后反馈至所述基础特征,引导所述基础特征的局部精炼,得到多个尺度的特征图。

10、进一步的,步骤s13中引导所述基础特征的局部精炼包括:

11、根据所述基础特征中局部特征与所述场景语义表征之间的相关性生成动态卷积核,利用所述动态卷积核对所述局部特征进行特征提取,并将所述特征提取结果与所述局部特征进行融合。

12、进一步的,步骤s2中对所述多个尺度的特征图进行自适应多源尺度融合,包括:

13、将所述多个尺度的特征图中的高分辨率浅层特征进行尺度调整和通道映射,使其与待融合特征的空间尺寸和通道数相匹配,再将对齐后的浅层特征用于检测特征的生成。

14、进一步的,步骤s2中汇集来自不同尺度和不同深度的特征,包括:

15、汇集来自不同尺度、不同深度及不同传播方向的特征作为候选特征,为多个检测尺度提供包括空间细节、中层结构和高层语义的候选特征。

16、进一步的,步骤s2中根据所述待检测图像的内容自适应确定各来源特征在各通道上的融合权重,包括:

17、汇总各路对齐后的特征,通过全局平均池化获得反映当前图像内容的通道描述;

18、根据所述通道描述,利用权重生成网络计算各来源特征在各通道上的重要程度,并在特征来源维度进行归一化,使同一通道内各来源特征的权重之和为1,得到各来源特征在各通道上的融合权重。

19、进一步的,所述自适应确定各来源特征在各通道上的融合权重,使与目标边缘和位置信息相关的通道选择高分辨率特征,使与目标结构和类别语义相关的通道选择中深层特征,且所述融合权重在训练过程中依据分类损失和边界框回归损失自适应学习得到。

20、进一步的,步骤s2中所述多尺度融合特征按照下式计算:

21、,

22、其中,

fout为多尺度融合特征,

n为参与融合的特征来源数量,

wi为第

i路对齐特征在各通道上的自适应权重,

fi为第

i路对齐后的特征,⊙表示按通道进行的逐元素相乘。

23、进一步的,步骤s3包括:

24、s31,对所述多尺度融合特征进行通道映射,沿通道方向划分为两个互补分支;

25、s32,所述两个互补分支分别采用深度卷积提取局部信息,并利用双曲正切函数对局部残差修正量进行约束,得到修正后的两个分支特征;

26、s33,对所述修正后的两个分支特征进行乘法门控,利用两个分支之间的响应关系对特征进行相互调节,得到门控增强后的特征。

27、进一步的,步骤s32按照下式计算:

28、,

29、步骤s33中乘法门控按照下式计算:

30、,

31、其中,

fa和

fb分别为两个互补分支的初始特征,

f′a和

f′b分别为修正后的分支特征,

fgate为门控增强后的特征,dw表示深度卷积,tanh表示双曲正切函数,conv表示输出通道映射,⊙表示按通道进行的逐元素相乘。

32、相较于现有技术,本发明的优势在于:

33、在多层级特征提取中通过场景语义得到多个尺度的特征图,使网络结合场景上下文区分目标与相似纹理背景,提升了复杂背景识别能力;同时,在自适应多源尺度融合中汇集不同尺度和不同深度的特征,并根据待检测图像的内容自适应确定各来源特征的融合权重,提升了对于种类繁多、尺寸差异明显的检测对象的检测准确性;以及,通过门控增强中抑制干扰特征,避免粮食粉尘导致目标遮挡和边缘模糊的问题。

1.一种粮库作业场景下的自适应多源特征融合目标检测方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的粮库作业场景下的自适应多源特征融合目标检测方法,其特征在于,步骤s1包括:

3.根据权利要求2所述的粮库作业场景下的自适应多源特征融合目标检测方法,其特征在于,步骤s13中引导所述基础特征的局部精炼包括:

4.根据权利要求1所述的粮库作业场景下的自适应多源特征融合目标检测方法,其特征在于,步骤s2中对所述多个尺度的特征图进行自适应多源尺度融合,包括:

5.根据权利要求1所述的粮库作业场景下的自适应多源特征融合目标检测方法,其特征在于,步骤s2中汇集来自不同尺度和不同深度的特征,包括:

6.根据权利要求1所述的粮库作业场景下的自适应多源特征融合目标检测方法,其特征在于,步骤s2中根据所述待检测图像的内容自适应确定各来源特征在各通道上的融合权重,包括:

7.根据权利要求6所述的粮库作业场景下的自适应多源特征融合目标检测方法,其特征在于,所述自适应确定各来源特征在各通道上的融合权重,使与目标边缘和位置信息相关的通道选择高分辨率特征,使与目标结构和类别语义相关的通道选择中深层特征,且所述融合权重在训练过程中依据分类损失和边界框回归损失自适应学习得到。

8.根据权利要求6所述的粮库作业场景下的自适应多源特征融合目标检测方法,其特征在于,步骤s2中所述多尺度融合特征按照下式计算:

9.根据权利要求1所述的粮库作业场景下的自适应多源特征融合目标检测方法,其特征在于,步骤s3包括:

10.根据权利要求9所述的粮库作业场景下的自适应多源特征融合目标检测方法,其特征在于,