一种融合注意力机制的非机动车违规行为检测方法

技术特征：
1.一种融合注意力机制的非机动车违规行为检测方法，其特征在于包括以下步骤：
①
预设非机动车辆违规行为数据库，所述的非机动车辆违规行为数据库包括未戴头盔行驶、载人行驶和逆向行驶，通过路面监控摄像头采集含有非机动车辆行驶的图像并建立样本数据集，对样本数据集进行预处理的得到预处理后的样本数据集，对预处理后的样本数据集进行人工标注并得到标注信息；
②
通过在yolov5网络中加入se注意力机制和transformer注意力机制构建得到目标检测网络，设置训练参数，将人工标注后的样本数据集输入至目标检测网络中进行训练，得到目标检测器；
③
将待检测的视频流输入到目标检测器中并从第一帧开始逐帧进行目标检测，得到检测目标的位置信息；
④
将检测目标的位置信息输入到deepsort跟踪器中进行目标跟踪，得到检测目标的id和运动轨迹；
⑤
根据由步骤
③
得到的检测目标的位置信息以及由步骤
④
得到的检测目标的id和运动轨迹，使用预设的非机动车辆违规行为数据库检测当前帧中是否存在违规行为，若是，则输出检测结果；若否，则执行步骤
⑥
；
⑥
判断当前帧是否为待检测的视频流的最后一帧，若否，则将下一帧作为当前帧并返回执行步骤
⑤
；若是，则结束。2.根据权利要求1所述的一种融合注意力机制的非机动车违规行为检测方法，其特征在于所述的步骤
①
中对预处理后的样本数据集进行人工标注并得到标注信息的具体过程如下：利用label img标注工具对样本数据集中的每张非机动车辆图像中的各个需要检测的检测目标进行标注，得到并保存标注信息；所述的标注信息包括标注框的四个顶点坐标信息以及标注框的类别信息；所述的检测目标包括头、头盔、二轮车和三轮车。3.根据权利要求2所述的一种融合注意力机制的非机动车违规行为检测方法，其特征在于所述的步骤
③
中，所述的位置信息包括检测框的中心点坐标信息、四个顶点坐标信息和类别信息。4.根据权利要求3所述的一种融合注意力机制的非机动车违规行为检测方法，其特征在于所述的步骤
⑤
中使用预设的非机动车辆违规行为数据库检测当前帧中是否存在违规行为的具体过程如下：
⑤‑
1判断当前帧中的检测目标的检测框的类别信息是否有非机动车辆，所述的非机动车辆包括二轮车和三轮车，若否，则返回步骤
③
；若是，则执行步骤
⑤‑
2；
⑤‑
2判断当前帧是否为待检测的视频流的第一帧，若是，则执行步骤
⑤‑
5；若否，则执行步骤
⑤‑
3；
⑤‑
3判断该非机动车辆在当前帧和上一帧的id是否一致，若否，则执行步骤
⑥
；若是，则执行步骤
⑤‑
4；
⑤‑
4判断该非机动车辆在当前帧和上一帧的运动轨迹是否符合正常行驶时的交通规则，若否，则当前帧中存在逆向行驶的违规行为；若是，则执行步骤
⑤‑
5；所述的正常行驶时的交通规则具体参照城市交通规则；
⑤‑
5判断该非机动车辆的检测框内是否有检测框的类别信息为头，且头的检测框的四个顶点坐标信息在该非机动车辆的检测框的中心点坐标信息上方，若是，则执行步骤
⑤‑
6；
若否，则执行步骤
⑤‑
7；
⑤‑
6判断是否有超过一个的检测框的类别信息为头，若是，则当前帧中存在载人行驶的违规行为；若否，则当前帧中存在未戴头盔行驶的违规行为；
⑤‑
7判断该非机动车辆的检测框内是否有检测框的类别信息为头盔，且头盔的检测框的四个顶点坐标信息在该非机动车辆的检测框的中心点坐标信息上方，若否，则执行步骤
⑥
；若是，则执行步骤
⑤‑
8；
⑤‑
8判断是否有超过一个的检测框的类别信息为头盔，若否，则当前帧为正常行驶，执行步骤
⑥
；若是，则当前帧中存在载人行驶的违规行为。5.根据权利要求1所述的一种融合注意力机制的非机动车违规行为检测方法，其特征在于所述的步骤
①
中，所述的样本数据集包括至少2500张未戴头盔行驶的非机动车辆图像、至少2500张载人行驶的非机动车辆图像、至少2500张逆向行驶的非机动车辆图像和至少2500张正常行驶的非机动车辆图像。6.根据权利要求1所述的一种融合注意力机制的非机动车违规行为检测方法，其特征在于所述的步骤
①
中所述的预处理为对所述的样本数据集中每张非机动车辆图像进行亮度调整扩充样本数据集。7.根据权利要求1所述的一种融合注意力机制的非机动车违规行为检测方法，其特征在于所述的步骤
①
之后还包括，调整所述的训练集和所述的验证集中的所有图像至统一大小。8.根据权利要求1所述的一种融合注意力机制的非机动车违规行为检测方法，其特征在于所述的步骤
②
中的目标检测网络的具体构成包括：在yolov5网络的第八卷积层加入se注意力机制来增强有用特征提取，在yolov5网络的第十一卷积层加入transformer注意力机制来增强全局特征提取。9.根据权利要求1所述的一种融合注意力机制的非机动车违规行为检测方法，其特征在于所述的步骤
②
中训练参数的设置为：batch_size为8，迭代次数为300。10.根据权利要求1所述的一种融合注意力机制的非机动车违规行为检测方法，其特征在于所述的步骤
④
中，通过所述的deepsort跟踪器中的卡尔曼滤波预测目标的运动轨迹，通过所述的deepsort跟踪器中的匈牙利算法生成目标的id并将目标的id与目标的运动轨迹相对应。

技术总结
本发明公开了一种融合注意力机制的非机动车违规行为检测方法，特点是预设非机动车辆违规行为数据库，建立样本数据集，对样本数据集依次进行预处理和人工标注；构建目标检测网络，将样本数据集输入至目标检测网络中进行训练，得到目标检测器；将待检测的视频流输入到目标检测器中并逐帧进行目标检测，得到检测目标的位置信息；将检测目标的目标信息输入到deepsort跟踪器中进行目标跟踪，得到检测目标的ID和运动轨迹；根据检测目标的位置信息、ID和运动轨迹，使用预设的非机动车辆违规行为数据库检测当前帧中是否存在违规行为；优点是在原yolov5网络中加入Transformer注意力机制和SE注意力机制，增强全局特征提取和局部特征提取，提高了对微小目标的检测率和准确率。提高了对微小目标的检测率和准确率。提高了对微小目标的检测率和准确率。


技术研发人员：白永强 井维一 朱仲杰 张荣 靳忆雯
受保护的技术使用者：浙江万里学院
技术研发日：2022.02.23
技术公布日：2022/7/5