一种基于深度学习的扶梯乘客危险行为识别方法

技术特征：
1.一种基于深度学习的扶梯乘客危险行为识别方法，其特征在于，包括以下步骤：1)获取位于扶梯楼层板上方的摄像机拍摄的含有乘客的扶梯视频段，将所有的扶梯视频段进行处理生成所需的数据集，再将数据集按比例划分原始训练集和原始验证集，并进行乘客异常行为类别标注；2)对原始训练集和原始验证集进行坐标归一化，将所有乘客的关节坐标统一到同一数据分布下，得到归一化后的训练集和验证集；3)对归一化后的训练集进行数据扩增，加入噪声生成新的图像并赋予相应的标签，作为最终训练集；4)使用最终训练集训练改进的2s-agcn网络，并使用归一化后的验证集验证模型精度以选取最优模型参数，其中对2s-agcn网络的改进是使用自适应的多阶邻接矩阵融合方法，以及使用自学习的邻接矩阵获取骨架中关节点的连接关系；5)对待检测视频的每一帧进行乘客骨架提取并跟踪，将得到的所有乘客的骨架序列送入训练好的改进2s-agcn网络进行行为分类，并根据连续的多个骨架序列识别结果得到最终的乘客行为类别。2.根据权利要求1所述的一种基于深度学习的扶梯乘客危险行为识别方法，其特征在于：在步骤1)中，数据集生成及标注方法如下：1.1)将乘客p1，在视频中的动作起始帧一直到结束帧间的视频段截取出来，同时该视频段的类别就标记为乘客p1的行为类别；1.2)对视频段的每一帧图像使用目标检测网络框选出图中所有乘客并进行跟踪，然后使用骨架提取网络提取出所有乘客的骨架信息，从而得到所有乘客在全部帧的骨架检测结果，并将其按时间顺序组成骨架序列，然后只保存该视频段对应乘客p1的骨架序列；1.3)使用插帧算法对骨架序列进一步处理，假设乘客p1的骨架序列的帧数为f
p1
，而帧数必须为改进2s-agcn网络缩放倍率f
count
的整数倍，故需要对p1的骨架序列进行插帧处理，需要增加的帧数其中[
·
]表示向下取整操作，则在处各插入一帧，而插入帧的骨架信息通过对相邻前后两帧的骨架位置求平均获得，从而得到插帧后的骨架序列；1.4)将乘客p1的行为类别，作为其对应插帧后骨架序列的类别标签，即插帧后骨架序列及其行为类别共同作为数据集的一个样本。3.根据权利要求1所述的一种基于深度学习的扶梯乘客危险行为识别方法，其特征在于：在步骤2)中，坐标归一化方法如下：针对每一个骨架序列的某一帧，假设其骨架中包含k个关节点，所有关节点在图像中的坐标为{(x
i
,y
i
),i∈[1,k]}，(x
i
,y
i
)为第i个关节点的横坐标和纵坐标，则该骨架的外接矩形框坐标为(x
min
,y
min
,x
max
,y
max
)＝(min({(x
i
)}),min({(y
i
)}),max({(x
i
)}),max({(y
i
)})),i∈[1,k]，其中，(x
min
,y
min
)为外接矩形左上角的横坐标和纵坐标，(x
max
,y
max
)为外接矩形右下角的横坐标和纵坐标，min({
·
})、max({
·
})分别为集合{
·
}的最小值和最
大值；则归一化后的关节点坐标为4.根据权利要求1所述的一种基于深度学习的扶梯乘客危险行为识别方法，其特征在于：在步骤3)中，数据扩增方法如下：3.1)以设定概率对整个骨架序列进行翻转，翻转方法为：假设归一化后骨架序列的关节点坐标为其中，k为骨架的关节点个数，t为骨架序列的帧数，为第t帧第i个关节点的横坐标和纵坐标，则翻转后的关节点坐标为3.2)对于骨架序列的第t帧，随机选取n个关节点，其中选取的第j个关节点的坐标为在[-0.01，0.01]之间按照高斯分布随机选取两个数则添加位移噪声后的关节点坐标为从而添加随机位移噪声；3.3)对于骨架序列的第t帧，随机选取m个关节点，其中选取的第j个关节点的坐标为则擦除该关节点后，其坐标为用于模拟因为遮挡而导致的关节点检测不全的情况。5.根据权利要求1所述的一种基于深度学习的扶梯乘客危险行为识别方法，其特征在于：在步骤4)中，改进的2s-agcn网络的具体改进如下：4.1)使用自适应多阶邻接矩阵融合方法：假设骨架图先验的连接关系，即先验邻接矩阵为则k阶邻接矩阵其中表示先验邻接矩阵的k次幂，最终使用的自适应多阶邻接矩阵其中h表示最高阶次数，是最大阶次为h的自适应多阶邻接矩阵，α
k
为k阶邻接矩阵对应的权值，该值初始化为1，然后随着模型的训练自适应调整，因此，最终得到的自适应多阶矩阵是多阶矩阵的加权和，而权值是经过所有的训练数据统计得到的，能够有效提升网络模型的效果；4.2)使用自学习邻接矩阵：由步骤4.1)得到自适应多阶邻接矩阵设置一个与行列数目完全一致的自学习邻接矩阵b
h
，且b
h
初始化为0阵，该矩阵的元素全部为可训练参数，能够根据训练数据获得中不存在的连接关系，则最终用于特征提取的邻接矩阵为其中β为一个可学习参数，初始值为0，保证训练前期骨架连接关系偏向于先验邻接矩阵，训练后期骨架连接关系偏向于自学习的邻接矩阵，从而能够得到更优的邻接矩阵，即得到更合理的骨架连接关系，有效提高模型的分类性能。6.根据权利要求1所述的一种基于深度学习的扶梯乘客危险行为识别方法，其特征在于：在步骤5)中，对待检测视频中的乘客行为分类方法如下：
5.1)对每一帧图像使用目标检测及跟踪算法获得乘客的轨迹信息，同时对乘客的每一帧图像使用关键点提取网络提取乘客的骨架信息，从而获得乘客在连续帧内的原始骨架序列信息，如果骨架序列的帧数小于改进2s-agcn网络缩放倍率f
count
，不进行分类，否则执行5.2)；5.2)首先利用插帧算法对骨架序列进行调整，而后将调整后的骨架序列使用归一化方法进行处理，再送入训练好的改进2s-agcn网络进行分类，同时统计截止当前帧连续d帧的分类结果，取其中出现次数最多的类别作为该帧的行为类别，以得到稳定的分类结果。

技术总结
本发明公开了一种基于深度学习的扶梯乘客危险行为识别方法，通过位于扶梯楼层板上方的摄像机拍摄含有乘客的扶梯视频段，使用目标检测、跟踪及关节点提取算法获得骨架序列，对骨架序列进行归一化、插帧处理制作数据集，同时将2S-AGCN网络进行改进以提高骨架关节点连接的合理性，增强模型拟合能力，以用于对骨架序列进行行为分类，并对训练集进行数据扩增后训练该网络模型，在测试阶段，使用插帧及归一化方法保证数据分布与训练集一致，且根据连续多帧的分类结果决定当前帧乘客的行为类别，最终得到稳定的扶梯乘客危险行为识别结果。本发明可以快速准确的判断扶梯上是否存在乘客出现危险行为，保护乘客的人身安全不受威胁。保护乘客的人身安全不受威胁。保护乘客的人身安全不受威胁。


技术研发人员：杜启亮 向照夷 田联房
受保护的技术使用者：华南理工大学珠海现代产业创新研究院
技术研发日：2022.02.22
技术公布日：2022/6/4