一种面向复杂遮挡场景的轻量化疲劳驾驶检测模型及方法

本发明涉及疲劳驾驶检测，具体涉及一种面向复杂遮挡场景的轻量化疲劳驾驶检测模型及方法，尤其适用于驾驶员佩戴墨镜、口罩以及方向盘对面部关键区域造成遮挡情况下的疲劳状态实时检测。

背景技术：

1、疲劳驾驶是引发道路交通安全事故的核心风险因素之一。驾驶员因墨镜、口罩、方向盘等造成面部关键区域（如眼部、嘴部）出现局部或大部分遮挡，给疲劳状态的准确识别带来严峻挑战。基于驾驶员面部特征的检测方法因准确率高且不影响正常驾驶而更具可行性。因此，研究一种在遮挡下具备高鲁棒性且满足车载部署要求的检测方法，已成为驾驶辅助领域的主要需求。

2、随着深度学习的发展，卷积神经网络凭借其特征提取能力，成为疲劳驾驶检测的主流方向。现有技术中，利用多任务级联网络与自建em-cnn精准提取眼睛感兴趣区域，结合perclos与嘴部张开度指标可以实现疲劳状态的精准识别。通过多个轻量化网络独立提取面部关键点及姿态，在驾驶员佩戴墨镜或口罩遮挡时也能进行疲劳识别。在yolov5s中引入自校准光照增强模块与轻量化主干网络，能显著提升暗光环境下的检测精度。还有方案改进了yolov10算法，利用多尺度空洞卷积与全局分组坐标注意力机制，有效增强了对微小目标的锁定能力。尽管不断优化的cnn架构在实时性与局部感知上效果显著，但其固有的局部感受野在极端严重遮挡下难以有效提取分散的面部关键特征，也缺乏对全局遮挡语义的建模能力。

3、为克服上述缺陷，具备长距离依赖建模能力的transformer架构及其变体被逐步引入疲劳检测领域。部分技术利用全局自注意力机制进行建模，有效克服了佩戴墨镜与复杂光照的干扰。为进一步平衡局部感知与全局建模，开始出现将局部特征提取与全局注意力机制相融合的新组合。例如，通过级联标准transformer编码器，利用多头注意力机制捕获面部特征的空间全局依赖，有效应对局部遮挡；设计卷积与注意力融合模块，实现局部感受野与全局上下文的深度融合；引入轻量级视觉transformer变体，显著提升了对微小神态及手部重叠遮挡行为的识别能力；通过结合深度可分离卷积与低复杂度交叉注意力机制，在极低参数量下实现了车载端的高效推理。尽管上述融合自注意力机制的架构在全局感知与抗遮挡上优势显著，但在跨尺度特征拼接时，遮挡噪声仍会随静态融合操作扩散至深层特征，且模型轻量化后对眼部、嘴部等局部关键结构的响应能力被明显削弱。

4、在上述融合自注意力机制的架构基础上，rt-detr作为兼具精度与实时性的端到端检测框架，能较好适应车载算力受限设备。然而，其在复杂遮挡场景下的应用仍存在以下缺陷：（1）骨干网络对眼部、嘴部等疲劳判别区域的特征感知能力不足，轻量化进一步削弱了中层特征的表征能力；（2）高效混合编码器通过跨尺度特征静态拼接方式完成特征融合，无法过滤遮挡带来的噪声，导致多尺度面部特征融合质量下降；（3）模型缺乏全局遮挡状态的感知与调控机制，无法根据面部遮挡情况动态调整特征响应权重，无效特征会干扰解码过程，降低检测精度与鲁棒性。

技术实现思路

1、本发明是为避免上述现有技术所存在的不足之处，提供一种面向复杂遮挡场景的轻量化疲劳驾驶检测模型及方法，以在保持模型轻量化的同时，增强遮挡场景下面部局部关键区域的感知能力、抑制跨尺度特征融合中的遮挡噪声干扰、并根据全局遮挡状态自适应调整特征响应，从而提升复杂遮挡场景下疲劳驾驶检测的精度与鲁棒性。

2、本发明为解决技术问题采用以下技术方案。

3、本发明公开了一种面向复杂遮挡场景的轻量化疲劳驾驶检测模型，包括特征提取骨干网络模块、混合编码器模块和解码器模块；

4、所述特征提取骨干网络模块，用于引入残差通道-空间注意力机制增强对眼部、嘴部关键疲劳特征区域的局部感知能力；所述特征提取骨干网络模块包括轻量化基准网络和残差通道-空间注意力模块rcsab；

5、所述混合编码器模块，用于通过动态权重实现跨尺度特征的动态筛选与自适应融合，并基于全局上下文预测遮挡状态以动态调整特征响应；所述混合编码器模块包括自适应多尺度特征调制融合模块mfm和遮挡感知调制模块oam；

6、所述解码器模块，用于对增强后的特征进行目标查询与迭代解码，输出疲劳状态检测结果；所述解码器模块包括transformer解码器。

7、本发明的一种面向复杂遮挡场景的轻量化疲劳驾驶检测模型的特点也在于：

8、所述轻量化基准网络通过对rt-detr模型进行剪枝压缩得到。

9、所述rcsab模块采用残差连接结构，包括局部特征提取单元、通道注意力单元和动态空间注意力单元；

10、所述局部特征提取单元包括串联的两次3×3卷积、批量归一化层和leaky relu激活函数；

11、所述动态空间注意力单元用于根据输入特征实时生成动态卷积核，以实现内容自适应的空间调制。

12、所述mfm模块用于对不同尺度的输入特征依次进行通道层面的自适应调制、基于全局上下文信息生成跨尺度动态融合权重、以及通过加权求和获得多尺度融合特征。

13、所述oam模块包括遮挡状态感知单元和特征线性调制单元；

14、所述遮挡状态感知单元用于通过全局平均池化和轻量化卷积网络预测遮挡类别概率；

15、所述特征线性调制单元用于根据预测的遮挡概率生成通道维度的缩放系数与偏移系数，并以残差形式对原始特征进行调制。

16、所述轻量化基准网络中，所述rcsab模块嵌入于所述轻量化基准网络的中层特征提取阶段。

17、本发明还公开了一种面向复杂遮挡场景的轻量化疲劳驾驶检测方法，其包括如下步骤：

18、步骤1：特征提取步骤；通过嵌入有rcsab模块的轻量化骨干网络提取输入驾驶员面部图像的多尺度特征图；

19、步骤2：多尺度抗噪融合步骤；通过mfm模块对不同尺度的特征图进行动态筛选与自适应加权融合，获得多尺度融合特征；

20、步骤3：全局遮挡调制步骤；通过oam模块基于融合特征的全局上下文预测全局遮挡状态，并对特征进行通道级线性调制；

21、步骤4：解码输出步骤；将调制后的特征输入transformer解码器，经迭代解码后输出驾驶员疲劳状态的检测结果。

22、本发明的一种面向复杂遮挡场景的轻量化疲劳驾驶检测方法的特点也在于：

23、所述步骤1中，所述rcsab模块对输入特征依次进行两次3×3卷积、批量归一化和leaky relu激活的初步特征提取后，再依次经过通道注意力校准和动态空间注意力调制，最后通过残差连接与输入特征融合。

24、所述步骤2中，所述mfm模块首先对每一尺度的输入特征进行通道调制，然后对调制后的特征进行聚合，并基于聚合特征的全局上下文生成各尺度的动态融合权重，最后根据所述动态融合权重对各尺度特征进行加权求和，得到融合特征。

25、所述步骤3中，所述oam模块首先通过全局平均池化提取特征的宏观语义，并预测遮挡状态概率分布；然后根据所述概率分布生成通道维度的缩放系数和偏移系数；最后以残差形式对原始特征进行调制。

26、所述步骤4中，所述transformer解码器采用交并比感知的查询选择策略筛选初始查询向量，经多轮迭代解码后输出检测结果。

27、与已有技术相比，本发明有益效果体现在：

28、（1）设计rcsab模块，通过联合通道注意力与动态空间注意力机制，强化模型对眼部、嘴部等关键疲劳特征区域的局部感知能力，有效克服轻量化后对局部关键结构响应能力被削弱的缺陷，同时动态空间注意力根据输入特征实时生成动态卷积核，在遮挡条件下精准锁定未被遮挡的判别性区域；

29、（2）设计mfm模块替代传统静态拼接方式，对不同尺度的输入特征进行通道层面的自适应调制，并基于全局上下文生成跨尺度动态融合权重，实现特征的动态筛选与自适应融合，有效抑制遮挡噪声在跨尺度特征融合中的传播，提升多尺度面部特征的融合质量；

30、（3）设计oam模块，通过全局平均池化提取宏观语义并预测遮挡状态概率分布，据此生成通道维度的缩放系数与偏移系数，以残差形式对特征进行线性调制，使模型能够根据全局遮挡状态动态调整特征响应权重，增强解码器对遮挡场景的适应能力；

31、（4）rcsab、mfm与oam三个模块协同配合，在仅10.2m参数量和41.8gflops计算量的轻量化条件下，使模型的map50达到91.4%，较原始rt-detr模型提升2.1个百分点，在存在遮挡的疲劳驾驶场景下map50达到94.0%，显著优于yolo系列、rt-detr系列及d-fine等主流目标检测模型，实现了检测精度、轻量化与抗遮挡鲁棒性的有效兼顾，满足车载边缘部署要求。