一种城市公共区域出入口人员行为检测与预警方法及系统

摘要: 本发明涉及图像识别,特别涉及一种城市公共区域出入口人员行为检测与预警方法及系统。背景技术:1、在全世界城市化迅速发展的大环境下,地铁站、商业中心等公共场所的客流...
一种城市公共区域出入口人员行为检测与预警方法及系统

本发明涉及图像识别,特别涉及一种城市公共区域出入口人员行为检测与预警方法及系统 。

背景技术:

1、在全世界城市化迅速发展的大环境下,地铁站、商业中心等公共场所的客流量越来越大,安全问题也变得愈加严峻。城市公共区域出入口与一般开放区域存在本质区别:出入口具有明确的物理边界和方向性(进/出),行为分析需考虑方向性;出入口人流密度高且方向交叉,目标遮挡严重,高密度人流环境下的异常行为很难被发现,对跟踪算法提出特殊要求;出入口是安全管控的关键节点,传统的监控手段智能化程度不高,对检测的实时性和准确性要求更高。

2、近些年来,深度学习技术在公共安全识别方面的应用也有了较大的进步。就技术层面来说,研究者对核心算法结构进行了改进,从而大大提高了模型的识别性能。在实践应用上,该项技术已经对各种公共场所进行了试点验证,并且有部分企业实现了技术成果的产业化转化。但是目前的研究还存在着一些不足,即场景适应性较差、预警系统的设计有缺陷、训练数据的质量参差不齐、跨学科合作的深度不够等。针对以上不足,本技术主要解决人员安全识别、实时预警等重要问题。从具体来说,用改进的深度学习模型提高复杂环境中识别的准确率。

技术实现思路

1、本发明要解决的技术问题是克服现有技术的缺陷,提供一种城市公共区域出入口人员行为检测与预警方法及系统,旨在提高在复杂环境下对目标识别和行为分析。

2、为了解决上述技术问题,本发明的第一方面提供了如下的技术方案:

3、一种城市公共区域出入口人员行为检测与预警方法,包括以下步骤:

4、s1:通过目标区域出入口预设的图像获取设备获取实时影像数据并进行预处理得到预处理图像;

5、s2:调用预训练的目标检测模型对所述预处理图像进行目标检测,对检测出的目标生成包括对应的目标边界框、目标类别和目标置信度的目标检测结果合集;

6、s3:调用预训练的目标轨迹追踪模型对目标的所述目标边界框进行处理,生成目标的轨迹信息合集;

7、s4:调用预训练的人员拥挤检测模型对所述预处理图像中的人员密度进行检测,生成最终人员密度图、各子区域融合人数集合和全局总人数;

8、s5:调用预设的公共区域预警系统将对应区域的所述目标边界框、所述轨迹合集和所述全局总人数进行处理,提取人流状态特征参数,采用聚类分析方法将客流状态划分为多个拥堵等级,映射至对应的拥堵预警等级并输出拥堵预警信号。

9、有益效果:本发明通过深度学习算法来建立多类别的目标识别模型,并以此为依据进行人员行为智能识别和预警功能。

10、作为本发明的一种优选技术方案,所述预训练的目标检测模型检测时包括以下子步骤:

11、s21目标特征提取:将所述预处理图像依次通过主干网络中的cbs模块、c3k2sc模块和scdown模块提取多尺度特征图,最后生成三个有效特征层,分别对应小目标、中目标、大目标检测;

12、s22颈部特征融合:所述有效特征层经上采样、拼接和卷积融合后,,,再分别经frfa模块对各尺度进行多膨胀率卷积和注意力加权,输出,,;

13、s23检测头预测:对于每个特征层分别执行解耦头预测输出边界框回归量δb、目标存在得分sobj以及23维类别概率p,再将所有预测结果通过预设网格位置和尺度将δb解码为预处理图像坐标系下绝对坐标b,并计算目标类别c及综合置信度q,得到原始边界框集合;

14、s24后处理优化:过滤q低于τconf的候选边界框;对同一类别的剩余边界框计算iou,并按q从高到低执行nms,删除与高分边界框重叠度超过τnms的冗余框,将保留的边界框以预处理图像坐标系下的坐标加入边界框结果集合;用于显示或预警标注时,再根据s1记录的缩放比例和填充量将所述坐标映射至采集图像坐标系,其中为目标边界框,为目标类别,为目标置信度。

15、有益效果:c3k2sc模块、scdown模块和frfa模块提升了对小目标的识别能力。

16、作为本发明的一种优选技术方案,所述预训练的目标轨迹追踪模型追踪时包括以下子步骤:

17、s31建立候选集合:独立初始化并调用卡尔曼滤波器对所述目标类型按预设的目标类别集合ctrack过滤非跟踪类别,并并按类别建立独立候选集合;

18、s32自适应阈值调节:利用所述预处理图像的最近n帧的qk值计算自适应τhigh和τlow,将候选集合划分为高分集合bhigh和低分集合blow;

19、s33目标轨迹预测:根据计算得到的速度变化率δt,选择匀速模型fcv或匀加速卡尔曼模型fca,预测当前帧的目标边界框和运动方向;

20、s34目标轨迹验证:以1iou为代价矩阵使用匈牙利算法将预测的运动方向轨迹与bhigh进行第一次关联;匹配成功的轨迹用检测值完成卡尔曼校正,将第一次关联后仍未匹配的运动方向轨迹与blow进行第二次关联,若候选方向与历史平均方向夹角大于90°且qi低于方向校验阈值τdir,则禁止该匹配;否则结合iou完成关联;

21、s35目标轨迹合并:对未匹配高分边界框创建新轨迹并分配唯一id,对未匹配轨迹增加丢失帧计数,超过tlost后删除,最后合并各类别轨迹并输出位置、速度、方向、停留时间和历史路径,供越界、逆行、滞留等数据。

22、有益效果:提升了在目标遮挡频繁、光照变化大、多类目标混合等复杂情况下的目标跟踪能力。

23、作为本发明的一种优选技术方案,所述预训练的人员拥挤检测模型拥挤检测时包括以下子步骤:

24、s41:将所述预处理图像输入预设的csrnet模型的轻量化csp前端,提取深层语义特征与浅层细节特征,并融合得到;

25、s42:输入多尺度膨胀卷积金字塔,通过不同膨胀率分支提取多尺度特征,并融合得到;

26、s43:输入预设的fga模块,分别获得频域全局特征和空间局部特征,并融合得到,再通过密度回归映射生成最终单通道人群密度图,并分别对高低密度区域进行计数得到;

27、s44:将将所述预处理图像划分为个子区域,映射到密度图坐标系得到,计算并使用otsu方法获得,并分别计算子区域密度估计人数和lp-yolov11目标检测人数;

28、s45:根据计算自适应权重,并融合得到子区域人数后累加全部子区域人数得到,最终输出人员密度图、子区域人数集合和全局总人数。

29、有益效果:提升了全局和局部特征的融合效果,并在不影响检测效果的前提下缩小了模型的参数量,从而更有利于部署在边端设备。

30、作为本发明的一种优选技术方案,所述人群拥挤度预警包括以下子步骤:

31、s51:基于所述最终人员密度图d积分得到对应区域的单位时间单位长度客流量q,同时利用光流法或跟踪算法计算人员平均移动速度v,进一步推导出客流密度;

32、s52:采用模糊c均值聚类算法根据所述人流状态特征参数得到客流状态;

33、s53:查询预警等级映射表,生成所述客流状态所对应的预警等级,所述预警等级映射表包括不同客流状态下的预警等级以及对应说明。

34、有益效果:根据前述步骤中得到的数据,进而确定相应的预警等级,给安保人员采取疏导措施赋予依据。

35、作为本发明的一种优选技术方案,所述c3k2sc模块用并行处理的方式将所述预处理图像分成两个独立的特征流;在分支a1的深层特征提取环节,使用k个c3k2bottleneck模块进行处理,每个模块都由3×3卷积核的空间压缩层和1×1卷积层的通道降维组成,最后得到特征图;分支a2用直接传递的方式处理输入数据,很好地保留了原始图像i的空间结构信息,它的输出特征记为;最后把两条分支输出特征的通道维度之和再进行1×1卷积融合;

36、所述scdown模块采用两步分解的方式进行处理,首先使用pointwise卷积通道变换进行1×1逐点卷积,仅在通道维度上进行特征变换,在使用depthwise卷积进行主通道的空间降维采样;

37、所述frfa模块首先对每一个特征图做不同的膨胀率卷积运算,得到具有多尺度感受野的特征表示;再通过注意力机制计算各感受野特征的融合注意力权重;最后对感受野对应的特征图和对应的注意力权重进行加权融合并输出特征。

38、有益效果:c3k2sc模块用可变形卷积来实现空间维度的动态采样位置优化,用senet架构的通道注意力机制来压缩特征通道;scdown模块采用解耦式的两步结构实现特征下采样,这种将通道变换与空间压缩相分离的设计,有效降低了模型参数冗余;frfa模块提升了对小目标的检测精度。

39、作为本发明的一种优选技术方案,所述目标类别集合ctrack包含具有连续运动轨迹且对安全管理有意义的类别;

40、所述目标类别集合ctrack中的每一个类别具有对应的跟踪器,并采用独立维护的方式;

41、各个跟踪器有不同的卡尔曼滤波参数,且不得在不同类别之间进行检测框和轨迹的跨类别匹配。

42、有益效果:不同目标在运动特征上存在较大差别,通过该方案能够提升针对不同目标得到跟踪效果。

43、作为本发明的一种优选技术方案,所述轻量化csp前端把输入特征图分成两路分支,采用两路并行的方式代替传统的密集卷积堆叠方式;分支b1用多级bottleneck结构来提取深层特征,可以从中获得更具有表征能力的高级特征,分支b2中恒等映射可以很好地保留浅层特征的原始信息,最终拼接分支b1和分支b2融合;

44、所述多尺度膨胀卷积金字塔为一种四路分支并行膨胀卷积结构,各个分支用r分别为1、2、3、4的膨胀率增强网络对人员特征的提取能力;

45、所述fga模块采用双路径结构,频域分析用二维快速傅里叶变换fft对输入特征fdpc进行处理,得到有全局特性的频域表示,并采用传统的卷积运算和通道注意力机制相结合的方式,在空间路径处理时可以很好地提取出局部特征,最后使特征信息进行加权融合。

46、有益效果:轻量化csp前端使模型更轻量,更合适部署在边端设备;多尺度膨胀卷积金字塔提升了在处理多尺度人员检测的时候的效果;fga模块采用双路径结构,可以很好地提取出人群的大致分布情况,也能很好的对局部纹理进行细致的刻画。

47、本发明还提供一种城市公共区域出入口人员行为检测与预警系统,包括采集与处理模块、目标检测模块、目标轨迹追踪模块、人员拥挤检测模块、拥堵等级判断模块和预警模块,

48、所述采集模块用于城市公共区域出入口预设的图像获取设备获取实时影像数据并进行预处理得到预处理图像;

49、所述目标检测模块用于调用预训练的目标检测模型生成包括对应的目标边界框、目标类别和目标置信度的目标检测结果合集;

50、所述目标轨迹追踪模块用于调用预训练的目标轨迹追踪模型生成目标的轨迹信息合集;

51、所述人员拥挤检测模块用于调用预训练的人员拥挤检测模型对生成最终人员密度图、各子区域融合人数集合和全局总人数;

52、拥堵等级判断模块用于根据人群拥挤程度生成对应的拥堵等级;

53、所述预警模块用于根据当前所述拥堵等级生成拥堵预警信号,根据目标检测结果生成异常事件预警信号。

54、本发明还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现以上所述一种城市公共区域出入口人员行为检测与预警方法的步骤。

55、本发明还提供一种城市公共区域出入口人员行为检测与预警设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现以上所述一种城市公共区域出入口人员行为检测与预警方法的步骤。

56、本技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。