一种基于城市交通巡检机器人的行人异常行为检测方法与流程

本发明涉及行为检测，具体涉及一种基于城市交通巡检机器人的行人异常行为检测方法。

背景技术：

1、随着城市化进程加快及智能交通发展，城市道路交通参与主体日益复杂，行人异常行为，如横穿马路、闯红灯、摔倒及徘徊等已成为引发交通事故的重要因素，因此需要对行人行为进行准确、实时的异常检测，以减少交通事故的发生。目前现有技术主要依赖固定高位视频监控进行行为分析，但该类方法受限于视角固定，易产生遮挡问题，同时在远距离场景下行人目标尺度较小，导致肢体动作与姿态细节信息缺失。此外，单目视觉缺乏深度信息支持，难以准确恢复行人在三维空间中的位置与姿态变化，从而限制了对摔倒、倾斜等复杂异常行为的识别能力。同时，现有方法多基于位置、速度等浅层运动特征，缺乏对时空行为模式的深层建模能力，也未能充分融合道路场景、交通信号及周边环境等上下文信息，导致误检与漏检较为突出。此外，由于缺乏个体差异建模能力，统一行为标准难以适应不同行人的正常行为差异。

2、现有技术存在三维姿态精度低、时空建模不足及上下文融合不充分，导致行人异常行为识别准确率低、误判率高的技术问题。

技术实现思路

1、本技术的目的是提供一种基于城市交通巡检机器人的行人异常行为检测方法，用于解决现有技术存在三维姿态精度低、时空建模不足及上下文融合不充分，导致行人异常行为识别准确率低、误判率高的技术问题。

2、鉴于上述问题，本技术提供了一种基于城市交通巡检机器人的行人异常行为检测方法，所述一种基于城市交通巡检机器人的行人异常行为检测方法包括：为巡检机器人配备可见光相机、深度相机和激光雷达，采集获取多模态数据，对所述多模态数据进行预处理，得到可用多模态数据；对所述可用多模态数据进行二维关节点检测、三维关节点估计、三维姿态精修和多视角融合的三维姿态优化，获取行人三维融合姿态；基于所述行人三维融合姿态构建自适应人体骨骼图，对所述自适应人体骨骼图进行时空图卷积操作、多尺度时序建模，构建多尺度行为融合特征；结合所述多尺度行为融合特征进行上下文感知注意力融合、基于对比学习的异常检测和时序一致性异常检测，得到行人异常行为检测信息；获取特定异常行为检测算法，所述特定异常行为检测算法包括摔倒检测算法、横穿马路检测算法和徘徊行为检测算法，基于所述特定异常行为检测算法对所述行人异常行为检测信息进行检测判定，确定行人异常行为检测结果。

3、可选地，定义机器人坐标系，通过传感器标定获得各传感器的内参矩阵和外参矩阵，其中，可见光相机的内参矩阵k_rgb=[[fx_rgb,0,cx_rgb],[0,fy_rgb,cy_rgb],[0,0,1]]，其中，fx_rgb表示相机在x方向的焦距、fy_rgb表示相机在y方向的焦距，cx_rgb表示图像主点在x方向的坐标，cy_rgb表示图像主点在y方向的坐标；定义深度相机的内参矩阵k_depth和深度缩放因子s，构建深度图到三维点云的转换公式：p_3d(x,y,z)=s·d(u,v)·k_depth^(-1)·[u,v,1]^t，其中，p_3d(x,y,z)表示由深度图恢复得到的三维空间点坐标，位于深度相机坐标系中，d(u,v)表示深度图中像素位置(u,v)处的深度值，表示该像素点到相机的距离，k_depth^(-1)表示深度相机内参矩阵的逆矩阵，用于将像素坐标转换为归一化相机坐标，[u,v,1]^t表示像素坐标的齐次表示，其中t表示向量转置；基于所述机器人坐标系、所述内参矩阵和外参矩阵对所述多模态数据进行时间同步和空间对齐：p_robot=r·p_sensor+t，其中，p_robot表示点在机器人坐标系下的三维坐标，p_sensor表示点在传感器坐标系下的三维坐标，r表示旋转矩阵，t表示平移向量，得到可用多模态数据。

4、可选地，根据所述多模态数据，获取rgb图像i_rgb、深度图d和点云数据p，对所述rgb图像i_rgb、深度图d和点云数据p进行二维关节点检测，得到k个关节点的二维位置坐标以及深度估计信息：{p_2d^i,c^i|i=1,...,k}，其中，p_2d^i=(u^i,v^i)表示第i个关节点的二维坐标，c^i表示置信度，以及深度估计信息：d^i=d(p_2d^i)=d(u^i,v^i)。

5、结合所述二维位置坐标和所述深度估计信息，确定初步三维关节点位置为：p_3d_init^i=π_d^(-1)(p_2d^i,d^i)=[d^i·(u^i-cx_d)/fx_d,d^i·(v^i-cy_d)/fy_d,d^i]^t，其中，π_d^(-1)表示逆投影函数，cx_d、cy_d、fx_d、fy_d表示深度相机的内参；从所述点云数据p提取行人点云p_pedestrian，采用pointnet++进行特征提取：f_point=pointnet++(p_pedestrian)∈r^(n×f)，其中，n表示点云数量，f表示特征维度；设计点云到关节点的映射函数，预测每个关节点在点云中的位置偏移：δp_3d^i=mlp(f_point,p_3d_init^i)，其中，mlp表示多层感知机；基于所述位置偏移对所述初步三维关节点位置进行三维姿态精修，得到精修三维关节点位置：p_3d_refined^i=p_3d_init^i+δp_3d^i；根据所述精修三维关节点位置，获取m个视角的三维关节点位置：{p_3d_refined^i(m)|m=1,...,m}；基于所述m个视角的三维关节点位置，设计多视角融合损失函数：l_multi-view=σ_{i=1}^{k}σ_{m=1}^{m}w_m·||p_3d_fused^i-p_3d_refined^i(m)||^2+λ_smooth·l_smooth+λ_bone·l_bone，其中，w_m表示第m个视角的权重，l_smooth表示平滑性约束，l_bone表示骨骼长度约束；对所述多视角融合损失函数进行最小化求解，获取最优的行人三维融合姿态：{p_3d_fused^i|i=1,...,k}=argminl_multi-view。

6、可选地，采用hrnet作为骨干网络，通过hrnet提取所述rgb图像i_rgb的特征f_2d=hrnet(i_rgb)∈r^(h×w×c)，其中，h、w表示特征图的高度和宽度，c表示通道数；基于所述特征f_2d，预测k个关节点的二维位置坐标和置信度：{p_2d^i,c^i|i=1,...,k}，其中，p_2d^i=(u^i,v^i)表示第i个关节点的二维坐标，c^i表示置信度；二维关节点检测损失函数包括热力图损失和坐标回归损失：l_2d=λ_hm·l_hm+λ_coord·l_coord，其中，热力图损失l_hm采用均方误差：l_hm=(1/n)σ_{n=1}^{n}σ_{k=1}^{k}||hm_pred^{n,k}-hm_gt^{n,k}||^2，其中，hm_pred表示预测的热力图，hm_gt表示真实热力图；利用所述深度图d获取每个二维关节点的深度估计信息：d^i=d(p_2d^i)=d(u^i,v^i)，并设计深度置信度权重：w_d^i=σ(α·d_smooth(p_2d^i)+β·d_grad(p_2d^i)+γ)，其中，d_smooth表示深度平滑度，d_grad表示深度梯度，σ表示sigmoid函数，α、β、γ为可学习参数。

7、可选地，定义基础骨骼图g_0=(v,e_0)，其中v表示关节点集合，e_0表示基础骨骼边集合；设计自适应边生成模块adaptiveedgegen，根据所述行人三维融合姿态，动态生成额外边：e_adaptive=adaptiveedgegen({p_3d^i},f_3d)，其中，f_3d表示三维关节点特征；基于自适应边策略对所述额外边进行骨骼图生成，构建自适应人体骨骼图：g=(v,e_0∪e_adaptive)，其中，所述自适应边策略包括距离边、运动边和语义边。

8、可选地，对所述自适应人体骨骼图进行时空图卷积操作，得到时空注意力输出为：f_st^(l+1)(i,t)=σ_{j,t'}α_st(j,t')·v(j,t')，其中，v表示值矩阵；设计多尺度时序建模模块，所述多尺度时序建模模块包括短期特征提取：f_short=conv3d(f_input,kernel_size=(3,3,3))、中期特征提取：f_mid=temporaltransformer(f_short)、长期特征提取：f_long=temporalpool(f_input,pool_type='avg')；基于所述时空注意力输出和所述多尺度时序建模模块进行多尺度时序建模，构建多尺度行为融合特征：f_multi=concat(f_short,f_mid,f_long)·w_fuse。

9、可选地，定义空间邻接矩阵a_s(i,j)=1/|n(i)|,if j∈n(i)0,otherwise，其中，n(i)表示关节点i的邻接节点集合。

10、根据所述空间邻接矩阵，设计可学习空间邻接矩阵：a_s_learnable=softmax(mlp_a(f_i,f_j))，其中，f_i、f_j表示关节点i、j的特征表示；基于所述可学习空间邻接矩阵，定义空间图卷积操作：f_s^(l+1)(i)=σ_{j∈n(i)∪{i}}a_s_learnable(i,j)·f_s^(l)(j)·w^(l)，其中，f_s^(l)(i)表示第l层关节点i的空间特征，w^(l)表示可学习权重；采用时序卷积temporalconv捕捉时序依赖：f_t^(l+1)(i)=temporalconv({f_t^(l)_t(i)|t=1,...,t})，其中，temporalconv采用膨胀卷积扩大感受野；设计多头时空注意力机制，时空注意力权重计算为：α_st(i,t)=softmax(q(i,t)·k^t/√d_k)，其中，q、k分别表示查询和键矩阵，d_k表示键的维度；按照所述空间图卷积操作、所述捕捉时序依赖和所述多头时空注意力机制对所述自适应人体骨骼图进行时空图卷积操作，得到时空注意力输出为：f_st^(l+1)(i,t)=σ_{j,t'}α_st(j,t')·v(j,t')，其中，v表示值矩阵。

11、可选地，提取多层次上下文特征，所述多层次上下文特征包括道路场景上下文c_road、交通信号上下文c_signal、周围环境上下文c_env、时空上下文c_traj；对所述多层次上下文特征进行上下文感知注意力融合，构建上下文感知注意力模块α_context=softmax(mlp_context([f_behavior,c_road,c_signal,c_env,c_traj]))，f_enhanced=σα_context_i·context_i，其中，context_i表示第i类上下文特征；基于所述上下文感知注意力模块，得到对比学习异常得分s_anomaly=-log((1/n)σ_{i=1}^{n}exp(s_i/τ))，其中，τ表示温度参数；预测未来时刻姿态：{p_3d_pred^i(t+δt)}=posepredictor({p_3d^i(t),p_3d^i(t-1),...})；计算所述未来时刻姿态与实际姿态的差异：l_temporal=σ_{i=1}^{k}||p_3d_pred^i(t+δt)-p_3d_gt^i(t+δt)||^2；根据所述未来时刻姿态与实际姿态的差异，获得时序一致性异常得分：s_temporal_anomaly=l_temporal/l_temporal_normal；基于所述对比学习异常得分和所述时序一致性异常得分，得到行人异常行为检测信息。

12、可选地，设计对比学习框架，基于所述对比学习框架提取正常样本行为的时空特征原型：p_normal={f_normal^1,f_normal^2,...,f_normal^n}；定义对比学习损失函数：l_contrastive=-log(exp(s_pos/τ)/σ_{i=1}^{n}exp(s_i/τ))，其中，s_pos表示与正样本的相似度；利用所述对比学习损失函数计算所述上下文感知注意力模块输出的当前行为特征f_enhanced与所述正常样本行为的时空特征原型的相似度：s_i=similarity(f_enhanced,f_normal^i)=f_enhanced·f_normal^i/(||f_enhanced||·||f_normal^i||)；根据所述相似度，得到对比学习异常得分s_anomaly=-log((1/n)σ_{i=1}^{n}exp(s_i/τ))，其中，τ表示温度参数。

13、可选地，l_3d=l_2d+λ_3d·l_3d_coord+λ_v·l_velocity+λ_consist·l_consist，其中：l_3d_coord为三维坐标回归损失，l_3d_coord=σ_{i=1}^{k}||p_3d_pred^i-p_3d_gt^i||^2，l_velocity为速度一致性损失，l_velocity=σ_{t=1}^{t-1}σ_{i=1}^{k}||(p_3d^i(t+1)-p_3d^i(t))-v_gt^i(t)||^2，l_consist为多模态一致性损失，l_consist=||p_3d_rgb-p_3d_depth||^2+||p_3d_rgb-p_3d_lidar||^2；异常检测的损失函数为：l_anomaly=l_classification+λ_contrast·l_contrastive+λ_recon·l_reconstruct，其中：l_classification为异常分类损失，l_classification=-σ_cy_c·log(p_c)，l_reconstruct为重构损失，l_reconstruct=||f_behavior-decoder(encoder(f_behavior))||^2。

14、本技术中提供的一个或多个技术方案，至少具有如下技术效果或优点：

15、通过为巡检机器人配备可见光相机、深度相机和激光雷达，采集获取多模态数据，对所述多模态数据进行预处理，得到可用多模态数据；对所述可用多模态数据进行二维关节点检测、三维关节点估计、三维姿态精修和多视角融合的三维姿态优化，获取行人三维融合姿态；基于所述行人三维融合姿态构建自适应人体骨骼图，对所述自适应人体骨骼图进行时空图卷积操作、多尺度时序建模，构建多尺度行为融合特征；结合所述多尺度行为融合特征进行上下文感知注意力融合、基于对比学习的异常检测和时序一致性异常检测，得到行人异常行为检测信息；获取特定异常行为检测算法，所述特定异常行为检测算法包括摔倒检测算法、横穿马路检测算法和徘徊行为检测算法，基于所述特定异常行为检测算法对所述行人异常行为检测信息进行检测判定，确定行人异常行为检测结果。达到了通过多模态融合三维姿态估计与时空图建模，实现行人异常行为精准识别，提高复杂交通场景下检测准确率与可靠性的技术效果。

16、上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技术手段，而可依照说明书的内容予以实施，并且为了让本技术的上述和其他目的、特征和优点能够更明显易懂，以下特举本技术的具体实施方式。应当理解，本部分所描述的内容并非旨在标识本技术的实施例的关键或重要特征，也不用于限制本技术的范围。本技术的其他特征将通过以下的说明书而变得容易理解。