密集遮挡环境行人检测方法与流程

摘要: 本发明涉及行人检测,特别是涉及密集遮挡环境行人检测方法。背景技术:1、随着技术快速发展,目标检测技术广泛应用于自动驾驶、自动化质检、安防领域和智慧农业等多种领域...
密集遮挡环境行人检测方法与流程

本发明涉及行人检测,特别是涉及密集遮挡环境行人检测方法。

背景技术:

1、随着技术快速发展,目标检测技术广泛应用于自动驾驶、自动化质检、安防领域和智慧农业等多种领域。基于深度学习的目标检测算法又可细分为双阶段和单阶段,双阶段算法在第一阶段先生成候选区域,之后在第二阶段再进行精细的分类和定位,因此具有较高的准确度,但也需要消耗更多的时间。单阶段算法则摒弃了候选框生成步骤,直接预测目标物体的边界框及其类别,是一种简单高效的方法,更适用于对实时性要求较高的情况。

2、随着经济社会的快速发展与大众文化需求的日益增长,节假日旅游、大型演艺及体育赛事等活动日益频繁。景区、大型商超、交通枢纽等公共场所常出现客流在短时间内高度聚集的现象,给公共安全防范与人群秩序管理带来了极大的隐患。因此,作为智能视频监控与安防预警核心环节的行人检测技术,已成为当前目标检测领域重点研究方向。

3、然而,在高度密集的真实场景中,现有的行人检测技术仍面临诸多挑战,传统固定感受野无法聚焦遮挡区域,易出现漏检与边界模糊等问题。复杂环境易造成特征混淆,模型难以区分行人与相似背景,误检率上升问题。普通的特征提取模块要么只看局部,易把复杂的背景纹理误认为人体,要么只看全局,容易漏掉远处的微小人影,缺乏两者兼顾的方法。上述问题直接导致现有的监控预警系统在客流高峰期出现严重的漏报与误报。如何在保证模型实时性的前提下,有效克服目标尺度微小、背景干扰强烈以及重度遮挡等问题,是当前该领域有待解决的技术难题。

技术实现思路

1、本发明的目的在于提供密集遮挡环境行人检测方法,以解决上述背景技术中提出的问题。

2、为实现上述目的,本发明提供如下技术方案:密集遮挡环境行人检测方法,包括以下步骤:

3、步骤1:对输入图像进行预处理;

4、步骤2:将预处理后的图像输入至主干特征提取网络进行分层特征提取,其中,在所述主干特征提取网络的浅中层利用感受野增强机制提取多尺度局部细节特征,在所述主干特征提取网络的深层利用动态空间注意力机制提取全局语义特征,生成多层级特征表达;

5、步骤3:将所述多层级特征表达输入至颈部特征融合网络,建立浅层细节特征与深层语义特征的跨层信息交互,通过双向门控掩码实现特征互调制,生成多组增强特征图;

6、步骤4:将增强特征图输入到多尺度预测模块,输出行人检测结果。

7、优选的,所述步骤1包括:

8、将图像分辨率统一调整为640×640;

9、对密集人群数据集进行解析,获取图像和对应的人体的真实边框位置标签,将数据集按9:1的比例,划分为训练集与验证集。

10、优选的,所述步骤2中,在所述主干特征提取网络的前三个处理阶段,通过融合感受野增强模块进行特征处理;在训练期利用并行的多尺度空洞卷积分支捕获不同感受野下的局部纹理与宏观上下文,并在推理期通过重参数化技术将所述并行的多尺度空洞卷积分支等效折叠为单一大核卷积。

11、优选的,所述步骤2中,在所述主干特征提取网络的第四处理阶段,通过融合动态空间注意力模块进行深层抽象编码;利用网络自我学习的坐标偏移量进行稀疏动态采样,使特征感知点自适应地聚焦于遮挡人体的非规则有效边缘。

12、优选的,所述步骤3包括:

13、通过直接连接建立跨层信息交互通道,将所述浅层细节特征与所述深层语义特征进行通道对齐与跨维度拼接;

14、计算所述浅层细节特征和深层语义特征的空间选择权重,使所述浅层细节特征与所述深层语义特征,分别生成自适应门控掩码,并互相之间进行交叉调制,以抑制背景干扰噪声与缝合语义断层。

15、优选的,所述交叉调制包括:

16、通过1×1卷积对所述浅层细节特征与所述深层语义特征进行通道对齐;

17、将通道对齐后的所述浅层细节特征输入局部上下文提取器,所述局部上下文提取器包括深度卷积组合膨胀卷积;将通道对齐后的所述深层语义特征输入全局上下文提取器,所述全局上下文提取器包括平均池化与最大池化;

18、通过softmax归一化实现所述浅层细节特征与所述深层语义特征在空间维度的动态权重竞争;

19、对加权后的特征施加sigmoid激活,生成两组位置自适应的特征掩码,并将所述两组特征掩码进行交叉相乘;

20、将交叉相乘后的特征,输出经过1×1卷积和批量归一化层精炼,生成融合注意力特征图。

21、优选的,所述步骤4包括:

22、将生成的四个尺度的增强特征图分别输入至对应的四个检测头模块,其中所述四个检测头模块包括微小目标专用检测通道;

23、基于网络学习到的交互特征解算人群个体的预测回归框坐标与目标类别置信度;

24、利用由边界框回归损失与目标分类损失联合构成的损失函数计算预测误差,以指导模型参数优化。

25、优选的,所述融合感受野增强模块采用多分支并行架构,输入特征图分别进入1个主卷积分支与膨胀率分别为1、2、3的辅助分支;各分支输出经批量归一化后在通道维度上进行逐元素相加,完成多尺度初步融合。

26、优选的,所述融合动态空间注意力模块采用不对称双分支方式,其中第一分支通过常规卷积提取基础语义特征,第二分支通过轻量级卷积网络预测空间偏移量,将规则采样点自适应地偏移至人体边缘及未被遮挡的有效躯干区域。

27、优选的,所述边界框回归损失采用ciou损失,所述目标分类损失采用交叉熵损失。

28、本发明的技术效果和优点:

29、(1)本发明在主干网络浅中层引入融合感受野增强模块,训练阶段通过并行的多尺度空洞卷积分支同时抓取局部纹理和宏观上下文;深层则利用融合动态空间注意力模块,让网络自己学习坐标偏移量,把采样点动态挪到人体没被遮挡的有效边缘上。就是让模型不再死磕固定网格,而是自适应地聚焦遮挡目标的残余轮廓。使得高分辨率特征图既能保住细节,又能兼顾全局信息,漏检和边界漂移的问题自然能得到缓解;

30、(2)本发明在颈部网络搭建了跨层直达通道,把浅层的高清轮廓和深层的语义特征拉到一起做通道对齐,再通过双向门控掩码互相打分,深层生成的全局掩码负责过滤浅层背景噪声,浅层生成的细节掩码则给深层模糊边界描边。相当于让两个层级的特征互相约束、互相修正,缝合语义断层的同时,把误检率压下来;

31、(3)本发明采用结构重参数化技术,训练时保留多分支结构保证表征深度,推理时无损等效折叠成单一大核卷积,不增加额外参数量。再配合四个检测头里的微小目标专用通道,远处的小行人也能被照顾到。实际上是在不牺牲实时性的前提下,把大目标和微小人影的检出能力都提了上去。

1.密集遮挡环境行人检测方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的密集遮挡环境行人检测方法,其特征在于,所述步骤1包括:

3.根据权利要求1所述的密集遮挡环境行人检测方法,其特征在于,所述步骤2中,在所述主干特征提取网络的前三个处理阶段,通过融合感受野增强模块进行特征处理;在训练期利用并行的多尺度空洞卷积分支捕获不同感受野下的局部纹理与宏观上下文,并在推理期通过重参数化技术将所述并行的多尺度空洞卷积分支等效折叠为单一大核卷积。

4.根据权利要求1所述的密集遮挡环境行人检测方法,其特征在于,所述步骤2中,在所述主干特征提取网络的第四处理阶段,通过融合动态空间注意力模块进行深层抽象编码;利用网络自我学习的坐标偏移量进行稀疏动态采样,使特征感知点自适应地聚焦于遮挡人体的非规则有效边缘。

5.根据权利要求1所述的密集遮挡环境行人检测方法,其特征在于,所述步骤3包括:

6.根据权利要求5所述的密集遮挡环境行人检测方法,其特征在于,所述交叉调制包括:

7.根据权利要求1所述的密集遮挡环境行人检测方法,其特征在于,所述步骤4包括:

8.根据权利要求3所述的密集遮挡环境行人检测方法,其特征在于,所述融合感受野增强模块采用多分支并行架构,输入特征图分别进入1个主卷积分支与膨胀率分别为1、2、3的辅助分支;各分支输出经批量归一化后在通道维度上进行逐元素相加,完成多尺度初步融合。

9.根据权利要求4所述的密集遮挡环境行人检测方法,其特征在于,所述融合动态空间注意力模块采用不对称双分支方式,其中第一分支通过常规卷积提取基础语义特征,第二分支通过轻量级卷积网络预测空间偏移量,将规则采样点自适应地偏移至人体边缘及未被遮挡的有效躯干区域。

10.根据权利要求7所述的密集遮挡环境行人检测方法,其特征在于,所述边界框回归损失采用ciou损失,所述目标分类损失采用交叉熵损失。