基于时空和运动深度学习的驾驶员行为识别方法及设备

技术特征：
1.一种基于时空和运动深度学习的驾驶员行为识别方法，其特征在于，包括以下步骤：s1：获取驾驶员行为视频段，并将所述视频段划分为训练集和测试集；s2：对所述训练集和所述测试集的视频段进行帧采样，获得视频帧，并对所述视频帧进行图像增强；s3：并基于所述训练集中进行图像增强后的视频帧训练得到基于时空和运动特征深度学习的驾驶员行为识别网络；所述驾驶员行为识别网络以resnet-50为主干，采用全局时空特征模块替代所述resnet-50残差块中的3
×
3卷积核，形成替换后的残差块；再将运动-时空联合注意力模块插入到所述驾驶员行为识别网络每层的第一个所述替换后的残差块之前，所述运动-时空联合注意力模块包括用于激发原始特征运动模式的双路径运动注意力子模块和用于激发显著时空特征的时空注意力子模块；s4：将所述测试集中进行图像增强后的视频帧输入到所述训练好的驾驶员行为识别网络中，并输出驾驶行为识别结果。2.根据权利要求1所述的一种基于时空和运动深度学习的驾驶员行为识别方法，其特征在于，所述步骤s1包括预先获取驾驶室的监控视频，将所述监控视频划分为1s≤t≤3s的所述驾驶员行为视频段。3.根据权利要求1所述的一种基于时空和运动深度学习的驾驶员行为识别方法，其特征在于，所述步骤s2包括：将长度不等的所述视频段均匀的划分为t个子段，对于所述训练集的数据，从每个子段中随机地选择一帧，对于所述测试集的数据，从每个子段的固定位置处选择一帧，并对所述训练集的视频帧进行随机反转和随机剪裁，得到所述训练集中进行图像增强后的视频帧，对所述测试集的视频帧进行中心裁剪，得到所述测试集中进行图像增强后的视频帧。4.根据权利要求3所述的一种基于时空和运动深度学习的驾驶员行为识别方法，其特征在于，所述步骤s3中，所述全局时空特征模块包括通道分割层、3层时空卷积层和特征维度连接层；其中，每层所述时空卷积层由1层用于时间建模的卷积核大小为3的一维深度可分离卷积层和1层用于空间建模的卷积核大小为3
×
3的二维卷积层组成；每层所述时空卷积层是并连的，且相邻的所述时空卷积层之间包括一层特征相加层，从而形成一种分层残差连接结构；所述双路径运动注意力子模块包括用于降维的二维卷积层、时间维度分割层、特征差异性运动建模层、特征相关性运动建模层、用于提升运动特征维度的二维卷积层、空间平均化压缩层、空间最大化压缩层、用于恢复维度的二维卷积层、sigmoid层、特征相乘层和特征相加层；其中，所述特征差异性运动建模层由特征相减层和特征维度连接层组成，所述特征相关性运动建模层由相关性张量计算层、soft-argmax层、二维卷积层和特征维度连接层组成；所述特征差异性运动建模层和所述特征相关性运动建模层是并连的，二者之间包括所述特征相加层；所述空间平均化压缩层和所述空间最大化压缩层也是并连的，二者之间包括所述特征相加层；所述时空注意力子模块包括张量形状重塑层、通道平均化压缩层、通道最大压缩化层、特征维度连接层、用于学习时空特征依赖性的三维卷积层、sigmoid层、张量形状重塑层、特征相乘层和特征相加层；其中，所述通道平均化压缩层和所述通道最大压缩化层是并连的。
5.根据权利要求4所述的一种基于时空和运动深度学习的驾驶员行为识别方法，其特征在于，所述驾驶员行为识别网络从上至下包括：1个所述运动-时空联合注意力模块加3个所述替换后的残差块层、1个所述运动-时空联合注意力模块加4个所述替换后的残差块层、1个所述运动-时空联合注意力模块加6个所述替换后的残差块层、1个所述运动-时空联合注意力模块加3个所述替换后的残差块层、全连接层、时间平均层；所述全连接层用于对提取的特征进行预测和分类，所述时间平均层用于对每个图像增强后的视频帧的预测结果进行平均，并输出驾驶行为识别结果。6.根据权利要求5所述的一种基于时空和运动深度学习的驾驶员行为识别方法，其特征在于，所述步骤s3包括以下步骤：s31：对输入的t帧图像增强后的视频帧执行7
×
7卷积操作得到特征f；s32：所述运动-时空联合注意力模块首先对所述特征f使用1
×
1卷积来降低通道维数，对于降维后的特征f
r
，令时间t处的特征为然后对相邻的所述图像增强后的视频帧执行特征差异性运动建模和特征相关性运动建模。7.根据权利要求6所述的一种基于时空和运动深度学习的驾驶员行为识别方法，其特征在于，所述步骤s3还包括：采用交叉熵损失函数进行反向传播，用imagenet对所述驾驶员行为识别网络进行预训练；采用sgd作为优化器，其中权重衰减率和动量分别设置为5e4和0.9。8.一种基于时空和运动深度学习的驾驶员行为识别设备，其特征在于，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至7中任一项所述的方法。

技术总结
本发明公开了一种基于时空和运动深度学习的驾驶员行为识别方法及设备，属于智能交通技术领域和计算机视觉领域，包括获取驾驶员行为视频段，并将视频段划分为训练集和测试集；对训练集和测试集的视频段进行帧采样，获得视频帧，并对视频帧进行图像增强；并基于训练集中进行图像增强后的视频帧训练得到基于时空和运动特征深度学习的驾驶员行为识别网络；将测试集中进行图像增强后的视频帧输入到训练好的驾驶员行为识别网络中，并输出驾驶行为识别结果，通过扩展时空维度的等效感受野有效地提取全局时空特征，并且联合激发原始特征的运动模式和显著时空特征，迫使网络关注视频中最具判别力的特征，提升了驾驶行为的识别准确率。率。率。


技术研发人员：马放之 刘艳丽 邢冠宇
受保护的技术使用者：四川大学
技术研发日：2022.09.21
技术公布日：2022/12/16