基于跨分支协同注意力的多视角驾驶员分心检测方法及装置

摘要: 本申请涉及计算机视觉领域,特别是涉及一种基于跨分支协同注意力的多视角驾驶员分心检测方法及装置。背景技术:1、随着高级驾驶辅助系统(adas)与自动驾驶技术的快速...
基于跨分支协同注意力的多视角驾驶员分心检测方法及装置

本申请涉及计算机视觉领域,特别是涉及一种基于跨分支协同注意力的多视角驾驶员分心检测方法及装置。

背景技术:

1、随着高级驾驶辅助系统(adas)与自动驾驶技术的快速演进,驾驶员对车辆智能化功能的依赖日益加深,注意力不集中所引发的分心驾驶已成为道路交通安全的首要威胁。如何依托车载感知系统对驾驶员的分心行为进行准确、实时的识别与预警,对于降低事故发生率、保障驾乘安全具有重要的工程价值与现实意义。

2、近年来,计算机视觉与深度学习的迅猛发展,为驾驶员分心检测提供了强有力的技术手段,基于卷积神经网络(cnn)的检测方法已取得显著进展。然而,现有方法仍普遍面临多重技术瓶颈。其一,多数方法依赖轻量级单尺度网络,受限于固定的感受野范围,难以在光照变化、遮挡、姿态偏移等复杂驾驶工况下同时捕获手部操作、头部姿态等远近不同粒度的分心行为特征,导致细粒度识别精度下降。其二,传统多分支结构多采用简单的通道拼接融合策略,缺乏分支间的信息交互与重要性权衡,忽略了不同分支特征的互补关系,制约了多分支网络整体性能的发挥。其三,现有方案大多依赖安装于副驾驶一侧的单摄像头进行识别,受单一视角的局限,极易因视线遮挡、姿态变化或光照突变而产生误判;尽管多视角视觉系统能够凭借不同空间位置的互补图像建立更全面的驾驶状态感知,但针对多视角分心驾驶检测的研究仍相对匮乏。其四,传统残差单元全程采用固定的3×3卷积核,浅层网络感受野有限、难以快速定位驾驶员主体区域,深层网络又难以精细区分喝水、打电话等细微动作,同时易出现深层特征退化与梯度衰减问题。

3、综上所述,现有驾驶员分心检测技术在多尺度特征提取、跨分支信息交互、多视角特征融合以及轻量化部署等方面仍存在明显不足,难以同时满足智能驾驶系统对检测精度、实时性与车载嵌入式部署可行性的综合要求。因此,亟需一种能够兼顾多粒度特征提取、分支间协同、多视角互补融合且具备低参数量、低计算开销特性的新型检测架构,为资源受限的车载平台提供可靠的分心驾驶识别支撑。

技术实现思路

1、本申请实施例提供了一种基于跨分支协同注意力的多视角驾驶员分心检测方法及装置,通过三个独立全连接层生成分支注意力分数,对多尺度特征、基础特征、变换特征进行加权融合,实现分支间的信息交互与重要性权衡,充分利用不同分支特征的互补关系,提升多分支网络整体性能。

2、第一方面,本申请实施例提供了一种基于跨分支协同注意力的多视角驾驶员分心检测方法,所述方法包括:

3、采集同一驾驶员在不同视角下的多张驾驶图像,分别对每一驾驶图像进行多尺度特征提取得到对应的多尺度驾驶特征,采用骨干特征提取模块分别对每一驾驶图像进行特征提取得到对应的基础驾驶特征;

4、构建残差递增卷积结构,所述残差递增卷积结构分别对每一基础驾驶特征进行空间注意力计算以及通道注意力计算得到对应的变换驾驶特征;

5、在跨分支注意力计算模块中分别将对应同一视角的多尺度驾驶特征、基础驾驶特征以及变换驾驶特征进行跨分支注意力计算得到增强多尺度驾驶特征、增强基础驾驶特征以及增强变换驾驶特征,拼接所有视角下的增强多尺度驾驶特征、增强基础驾驶特征以及增强变换驾驶特征得到拼接驾驶特征;

6、计算所有视角下增强多尺度驾驶特征的全局平均作为尺度平均特征,以各视角增强多尺度驾驶特征与所述尺度平均特征的差值作为对应视角的差异特征,基于各视角的差异特征计算每一视角的视角关系权重,并以每一视角的视角关系权重对拼接驾驶特征进行重校准得到最终输出特征;

7、基于最终输出特征对驾驶员的分心行为类别进行预测。

8、第二方面,本申请实施例提供了一种基于跨分支协同注意力的多视角驾驶员分心检测装置,包括:

9、采集模块,采集同一驾驶员在不同视角下的多张驾驶图像,分别对每一驾驶图像进行多尺度特征提取得到对应的多尺度驾驶特征,采用骨干特征提取模块分别对每一驾驶图像进行特征提取得到对应的基础驾驶特征;

10、递增卷积模块,构建残差递增卷积结构,所述残差递增卷积结构分别对每一基础驾驶特征进行空间注意力计算以及通道注意力计算得到对应的变换驾驶特征;

11、跨分支注意力计算模块,分别将对应同一视角的多尺度驾驶特征、基础驾驶特征以及变换驾驶特征进行跨分支注意力计算得到增强多尺度驾驶特征、增强基础驾驶特征以及增强变换驾驶特征,拼接所有视角下的增强多尺度驾驶特征、增强基础驾驶特征以及增强变换驾驶特征得到拼接驾驶特征;

12、重校准模块,计算所有视角下增强多尺度驾驶特征的全局平均作为尺度平均特征,以各视角增强多尺度驾驶特征与所述尺度平均特征的差值作为对应视角的差异特征,基于各视角的差异特征计算每一视角的视角关系权重,并以每一视角的视角关系权重对拼接驾驶特征进行重校准得到最终输出特征;

13、预测模块,基于最终输出特征对驾驶员的分心行为类别进行预测。

14、第三方面, 本申请实施例提供了一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行一种基于跨分支协同注意力的多视角驾驶员分心检测方法。

15、第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时实现一种基于跨分支协同注意力的多视角驾驶员分心检测方法。

16、本发明的主要贡献和创新点如下:

17、本申请实施例通过残差递增卷积结构中卷积核递增的深度可分离卷积进行特征提取,使浅层网络快速定位驾驶员主体区域、深层网络精细区分喝水、打电话等细微动作;本申请实施例在瓶颈特征细化模块中的通道注意力与空间注意力联合计算,分别从通道和空间两个维度对特征进行加权,增强网络对驾驶员关键区域的关注能力;本申请实施例通过三个独立全连接层生成分支注意力分数,对多尺度特征、基础特征、变换特征进行加权融合,实现分支间的信息交互与重要性权衡,充分利用不同分支特征的互补关系,避免了传统简单通道拼接融合策略中分支间信息割裂的问题,提升多分支网络整体性能;本申请实施例以各视角增强多尺度特征与全局平均特征的差异作为视角独特性得分,归一化为权重对拼接特征重校准,使包含独特、未被其他视角覆盖的驾驶员行为信息的视角获得更高权重,充分利用独有信息;信息已被其他视角充分覆盖的视角获得较低权重,减少冗余干扰,从而提升多视角特征融合对驾驶员分心行为的表征能力。

18、本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。

1.一种基于跨分支协同注意力的多视角驾驶员分心检测方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于跨分支协同注意力的多视角驾驶员分心检测方法,其特征在于,以多尺度特征提取模块对每一驾驶图像进行多尺度特征提取,所述多尺度特征提取模块由多个神经架构搜索单元串联,所述神经架构搜索单元以并联的三个不同卷积核大小的卷积分支对输入特征进行特征提取,将每一卷积分支的特征提取结果进行多尺度特征融合得到多尺度融合结果,将多尺度融合结果与输入特征进行残差连接得到当前神经架构搜索单元的输出特征,以最后一个神经架构搜索单元的输出特征作为多尺度驾驶特征。

3.根据权利要求1所述的一种基于跨分支协同注意力的多视角驾驶员分心检测方法,其特征在于,残差递增卷积结构包括多个串联的瓶颈特征细化模块,每一瓶颈特征细化模块包括非恒等映射残差单元以及卷积注意力单元,所述非恒等映射残差单元以卷积核递增的多个深度可分离卷积层对输入特征进行特征提取得到细化驾驶特征,所述卷积注意力单元分别对细化驾驶特征进行通道注意力计算以及空间注意力计算,得到通道注意力权重和空间注意力权重,使用通道注意力权重与空间注意力权重对输入特征进行加权得到当前瓶颈特征细化模块的输出特征,以最后一个瓶颈特征细化模块的输出特征作为变换驾驶特征。

4.根据权利要求1所述的一种基于跨分支协同注意力的多视角驾驶员分心检测方法,其特征在于,在跨分支注意力计算模块中将多尺度驾驶特征、基础驾驶特征以及变换驾驶特征进行通道级拼接得到通道拼接结果,通道拼接结果分别通过三个独立的全连接层输出多尺度跨分支注意力分数、基础跨分支注意力分数以及变换跨分支注意力分数,以归一化后的多尺度跨分支注意力分数、基础跨分支注意力分数以及变换跨分支注意力分数分别对多尺度驾驶特征、基础驾驶特征以及变换驾驶特征进行加权,得到增强多尺度驾驶特征、增强基础驾驶特征以及增强变换驾驶特征。

5.根据权利要求4所述的一种基于跨分支协同注意力的多视角驾驶员分心检测方法,其特征在于,基于归一化后的多尺度跨分支注意力分数、基础跨分支注意力分数以及变换跨分支注意力分数将多尺度驾驶特征、基础驾驶特征以及变换驾驶特征进行跨分支特征融合得到跨分支融合结果,以预设的第一残差系数与跨分支融合结果的乘积作为残差项,以残差项与多尺度驾驶特征的残差连接结果作为增强多尺度驾驶特征;以残差项与基础驾驶特征的残差连接结果作为增强基础驾驶特征;以残差项与变换驾驶特征的残差连接结果作为增强变换驾驶特征。

6.根据权利要求1所述的一种基于跨分支协同注意力的多视角驾驶员分心检测方法,其特征在于,以每一视角差异特征的跨通道全局平均池化结果作为对应视角的视角独特性得分,将每一视角的视角独特性得分进行归一化得到每一视角的视角关系权重。

7.根据权利要求1所述的一种基于跨分支协同注意力的多视角驾驶员分心检测方法,其特征在于,以每一视角的视角关系权重对拼接驾驶特征进行重校准得到重校准结果,以预设的第二残差系数与重校准结果的乘积作为第二残差项,以第二残差项与拼接驾驶特征的残差连接结果作为最终输出特征。

8.一种基于跨分支协同注意力的多视角驾驶员分心检测装置,其特征在于,包括:

9.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1-7任一所述的一种基于跨分支协同注意力的多视角驾驶员分心检测方法。

10.一种可读存储介质,其特征在于,所述可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1-7任一所述的一种基于跨分支协同注意力的多视角驾驶员分心检测方法。