基于人机权限耦合度的认知分心识别与干预系统及方法
本发明涉及认知分心识别与干预系统及方法,具体涉及一种基于人机权限耦合度的认知分心识别与干预系统及方法。
背景技术:
1、随着搭载自动驾驶功能的智能汽车逐步普及,驾驶员的角色由持续的主动车辆操控转变为在人工驾驶与自动驾驶之间反复切换的双重角色。在人工驾驶模式,驾驶员处于感知-决策-动作紧密耦合的闭环之中,注意力资源持续分配于车辆纵横向控制。而在自动驾驶模式,纵向乃至部分横向控制权交由车载系统,驾驶员的操控闭环被大幅解耦,认知过程转入以警觉维持与被动信息摄取为主的监督状态。这两种状态在神经与认知组织形式上存在系统性差异,导致注意力与分心在不同驾驶模式下呈现出模式依赖的表达方式,这一差异对现有驾驶员监测系统的基本假设构成了根本性挑战。
2、认知分心是指驾驶员视线虽指向前方道路、但心理注意力偏离驾驶任务的状态。相较于视觉分心与手动分心,认知分心难以通过车辆动力学指标或视觉行为进行可靠判别,因而成为共驾场景下最隐蔽也最危险的失效来源之一。尤其在自动驾驶向人工驾驶交接的过渡窗口,若驾驶员处于认知分心状态,其情境意识与接管质量将显著下降,接管时延与横向偏移随之增大,极易引发严重事故。因此,在共驾场景下全过程持续、准确地识别驾驶员认知分心,并在识别到高风险状态时及时施加恰当干预,是保障人机安全协作的前提。
3、现有的驾驶员认知分心监测技术大体可分为三类。第一类是基于车辆动力学指标的方法,通过方向盘转角熵、踏板行程曲线、车道保持偏差等指标推断驾驶员状态。该类方法采集便捷,但在自动驾驶阶段车辆动力学与人的操控解耦,指标失去指示意义。第二类是基于视觉的方法,利用车内摄像头监测头部姿态、眼睑闭合度、注视方向等。该类方法对光照、遮挡等环境因素敏感,且本质上依赖可观察的外显行为,无法探测驾驶员注视道路却心不在焉的认知分心。第三类是基于脑电、心电、皮电等生理信号的方法,其中脑电信号能直接反映与注意、负荷、警觉相关的神经活动,具有较高的时间分辨率、较低的成本与较好的可穿戴性,被广泛用于驾驶员认知状态评估。
4、然而,现有基于脑电、心电、皮电等生理信号的驾驶员分心识别研究存在若干共性局限。其一,绝大多数研究在驾驶模拟器中开展,缺乏真实道路环境下的生态效度,模型在真实车辆运动、振动与电磁干扰条件下的泛化能力未经充分验证。其二,现有模型几乎全部针对单一人工驾驶模式训练与部署,当把在主动驾驶者身上训练的分心识别模型直接应用于被动监督者时,识别性能显著下降,反之亦然,这一跨模式性能衰减在真实共驾中普遍存在。其三,针对上述跨模式性能衰减,现有方案往往从域适应视角出发,将人工驾驶与自动驾驶之间的差异视为需要被抑制的分布偏移,采用协方差对齐、类条件对比学习、对抗训练、矩匹配等手段学习域不变表征;但由于分心相关神经特征与驾驶模式之间存在交互效应,强行将两种模式压入同一不变特征空间,反而会抹除与任务相关的模式特异性结构,导致性能不升反降。
5、进一步分析可以发现,现有改进思路在处理模式信息时普遍采用二值化、静态化的建模方式;或为每种模式分别部署独立模型,再由一个模式分类器进行路由,这会引入切换时延与路由错误,一旦模式误判即把样本送入不匹配的模型,极易造成显著性能跌落;或采用冻结的二分类模式编码器输出一个离散的域表示,并以单一的、静态的门控向量在网络倒数第二层做一次性融合。这类方式存在三方面不足。首先,把连续变化的人机权限嵌合程度粗暴地压缩为人工/自动两个离散标签,无法刻画部分耦合态与二者之间的过渡态;而真实共驾中,驾驶员对车辆控制闭环的实际参与程度是一个随时间连续变化的物理量。其次,在单一网络深度做一次性静态调制,难以沿整个特征层级对分心解码的积分方向进行充分重构。再次,也是最关键的,现有方法普遍未对自动驾驶与人工驾驶之间的接管过渡窗口进行显式建模,而恰恰是在这一窗口内,驾驶员的神经与行为签名正在发生剧烈重组,分心的表达形式最不稳定、风险最高。
6、此外,现有绝大多数方案止步于分心识别,即输出一个分心与否的判别结果,既未对判别的可信程度进行选择性评估以抑制误报,也未将识别结果与实际的安全干预及自动化权限调度形成闭环。在真实车载场景中,一次误报可能导致不必要的强干预而降低用户信任,一次漏报则可能酿成事故。缺乏置信度门控与分级干预机制,使得识别结果难以安全、稳健地落地为对驾驶员和车辆的实际保护。
7、综合来看,如何在真实道路共驾场景下,利用可车规化部署的多模态信号,对随时间连续变化的人机权限嵌合程度进行物理可解释的建模,并以此作为上下文自适应地调制分心解码过程、显式覆盖接管过渡窗口,同时以置信度门控的分级闭环干预将识别结果安全落地,是本领域亟待解决的技术问题。
技术实现思路
1、本发明的目的是解决现有认知分心识别系统难以反映人机权限嵌合程度的连续变化,以及缺失接管过渡窗口显式建模的技术问题,而提供一种基于人机权限耦合度的认知分心识别与干预系统及方法。
2、为实现上述目的,本发明采用的技术方案为:
3、一种基于人机权限耦合度的认知分心识别与干预系统,其特殊之处在于:包括多模态信号采集对齐模块、权限耦合度估计模块、频域感知识别主干、接管过渡建模分支、分心分类头和干预模块;
4、所述多模态信号采集对齐模块的输出端与权限耦合度估计模块的输入端、频域感知识别主干的第一输入端分别连接,多模态信号采集对齐模块用于分别采集监测对象包括感知、操作行为和操作平台控制的多模态信号,并进行时间对齐和拼接,得到多模态数据;
5、所述权限耦合度估计模块的输出端与频域感知识别主干的第二输入端、接管过渡建模分支的第一输入端、干预模块的第一输入端分别连接,权限耦合度估计模块用于根据多模态数据,评估监测对象感知与操作行为对操作平台控制的实时嵌合程度,得到人机权限耦合度;
6、所述频域感知识别主干的三个输出端与分心分类头的第一输入端、接管过渡建模分支的第二输入端和第三输入端分别连接,频域感知识别主干用于对多模态数据进行特征提取,并以人机权限耦合度为条件对其进行仿射调制,从而得到分心表征,以及根据人机权限耦合度识别接管过渡窗口;
7、所述接管过渡建模分支的输出端与分心分类头的第二输入端连接,接管过渡建模分支用于根据人机权限耦合度生成接管过渡窗口的修正项,并据其对接管过渡窗口的分心表征进行修正,得到过渡增强分心表征;
8、所述分心分类头的输出端与干预模块的第二输入端连接,分心分类头用于根据分心表征或者过渡增强分心表征识别当前分心状态;
9、所述干预模块用于根据当前分心状态和人机权限耦合度得到干预强度,并据其采用不同的干预方案对监测对象进行提示。
10、进一步地,所述频域感知识别主干包括特征提取单元、仿射调制单元、前馈残差块、层归一化单元和调制参数生成单元;
11、所述特征提取单元的输入端作为频域感知识别主干的第一输入端与多模态信号采集对齐模块的输出端连接,其输出端与仿射调制单元的第一输入端连接,特征提取单元用于对多模态数据进行特征提取,得到不同网络深度的特征图;
12、所述调制参数生成单元的输入端作为频域感知识别主干的第二输入端与权限耦合度估计模块的输出端连接,其输出端与仿射调制单元的第二输入端、接管过渡建模分支的第二输入端分别连接,调制参数生成单元用于根据人机权限耦合度生成调制参数;
13、所述仿射调制单元的输出端与前馈残差块的输入端连接,仿射调制单元用于根据调制参数对不同网络深度的特征图进行仿射调制,得到不同网络深度的调制特征图;
14、所述前馈残差块的输出端与层归一化单元的输入端连接,层归一化单元的输出端与分心分类头的第一输入端、接管过渡建模分支的第一输入端分别连接,前馈残差块用于融合不同网络深度的调制特征图,层归一化单元用于对融合后的调制特征图进行层归一化,得到分心表征。
15、进一步地,所述特征提取单元包括依次级联的空间卷积层、时域卷积层、批归一化层、非线性激活层、对数功率变换层和展平层;
16、所述空间卷积层的输入端与多模态信号采集对齐模块的输出端连接,时域卷积层、非线性激活层、展平层的输出端分别与仿射调制单元的第一输入端连接,空间卷积层和时域卷积层用于提取浅层网络深度的特征图,批归一化层和非线性激活层用于提取中层网络深度的特征图,对数功率变换层和展平层用于提取深层网络深度的特征图。
17、进一步地,所述多模态信号采集对齐模块包括脑电信号采集单元、眼动信号采集单元、操作平台控制回路信号采集单元和时间对齐融合单元;
18、所述脑电信号采集单元、眼动信号采集单元、操作平台控制回路信号采集单元的输出端分别与时间对齐融合单元的输入端连接,时间对齐融合单元的输出端与权限耦合度估计模块的输入端、频域感知识别主干的第一输入端分别连接;所述脑电信号采集单元用于采集脑电信号,采用车规化少通道干电极头戴装置;眼动信号采集单元用于采集眼动信号,采用红外眼动仪或监测摄像头;操作平台控制回路信号采集单元用于读取操作平台的控制回路信号,控制回路信号包括操作行为信号和操作平台控制信号。
19、本发明还提供一种基于人机权限耦合度的认知分心识别与干预方法,采用上述基于人机权限耦合度的认知分心识别与干预系统,其特殊之处在于,包括以下步骤:
20、步骤1、以人机权限耦合度回归为自监督任务,对权限耦合度估计模块和频域感知识别主干进行预训练,然后在带分心标注的数据上对频域感知识别主干、接管过渡建模分支和分心分类头进行有监督训练,直至损失函数收敛;
21、步骤2、利用多模态信号采集对齐模块采集多模态信号,并对其进行时间对齐和拼接,得到多模态数据,然后将其分别发送至权限耦合度估计模块和频域感知识别主干;
22、步骤3、权限耦合度估计模块根据多模态数据,评估监测对象感知与操作行为对操作平台控制的实时嵌合程度,得到人机权限耦合度,并将其分别发送至频域感知识别主干、接管过渡建模分支和干预模块;
23、步骤4、频域感知识别主干对多模态数据进行特征提取,并以人机权限耦合度为条件对其进行仿射调制,从而得到分心表征;
24、步骤5、频域感知识别主干根据人机权限耦合度,判断是否处于接管过渡窗口内,若是,则将接管过渡窗口的分心表征发送至接管过渡建模分支,然后执行步骤6;若否,则将分心表征发送至分心分类头,然后执行步骤7;
25、步骤6、接管过渡建模分支根据人机权限耦合度生成接管过渡窗口的修正项,并据其对接管过渡窗口的分心表征进行修正,得到过渡增强分心表征,将过渡增强分心表征发送至分心分类头后,执行步骤7;
26、步骤7、分心分类头根据分心表征或过渡增强分心表征,识别当前分心状态,并将其发送至干预模块;
27、步骤8、干预模块根据当前分心状态和人机权限耦合度,计算干预强度,并据其采用不同的干预方案对监测对象进行提示,然后返回步骤2,直至结束认知分心的识别与干预。
28、进一步地,步骤2中,所述多模态数据包括脑电模态数据、眼动模态数据和控制回路模态数据,控制回路模态数据包括操作行为数据和操作平台控制数据;
29、步骤3具体为:
30、步骤3.1、对多模态数据进行加权融合,然后在其中提取脑电模态数据、眼动模态数据和控制回路模态数据的特征值,并对其进行归一化,得到脑电模态数据、眼动模态数据和控制回路模态数据的归一化特征值;
31、步骤3.2、以控制回路模态数据中操作行为数据的归一化特征值为操纵输入,以控制回路模态数据中操作平台控制数据的归一化特征值为控制输出,采用短时互谱与自谱估计,得到操纵输入的自功率谱、控制输出的自功率谱,以及操纵输入与控制输出的互功率谱,然后据其通过以下公式计算控制响应相干度:
32、;
33、其中,为t时刻的控制响应相干度,t为整数,且1≤t≤t,t为多模态数据被划分的滑动窗口数量;为频段权重,f为频段,为操纵输入与控制输出在f频段下的互功率谱,为操纵输入在f频段下自功率谱,为控制输出在f频段下的自功率谱;
34、步骤3.3、对脑电模态数据和眼动模态数据的归一化特征值进行加权融合,得到生理投入度;
35、步骤3.4、对控制响应相干度和生理投入度进行融合映射,通过以下公式,得到初始人机权限耦合度:
36、;
37、其中,为t时刻的初始人机权限耦合度,为sigmoid函数,为t时刻的生理投入度,、分别为控制响应相干度、生理投入度的融合映射权重,为偏置项;
38、步骤3.5、采用指数滑动平均,通过以下公式,得到人机权限耦合度,并将其分别发送至频域感知识别主干、接管过渡建模分支和干预模块:
39、;
40、其中,为t时刻的人机权限耦合度,为t-1时刻的初始人机权限耦合度,为平滑系数。
41、进一步地,步骤4具体为:
42、步骤4.1、对多模态数据进行特征提取,得到不同网络深度的特征图;
43、步骤4.2、根据人机权限耦合度及其一阶差分,构建如以下公式所示的条件向量:
44、;
45、其中,为t时刻的条件向量,为t时刻的人机权限耦合度一阶差分,为t时刻及其前若干个时刻构成的短时回看窗内人机权限耦合度的标准差;
46、步骤4.3、根据条件向量,针对每个网络深度,通过以下公式,生成初始缩放系数向量和偏置系数向量:
47、;
48、其中,为t时刻第l个网络深度的初始缩放系数向量,l为整数,且0<l≤l,l为特征图的网络深度数量;为t时刻第l个网络深度的偏置系数向量,表示映射网络;
49、步骤4.4、通过以下公式将初始缩放系数向量以恒等偏移形式重新构造,得到缩放系数向量,从而得到不同网络深度的调制参数:
50、;
51、其中,为t时刻第l个网络深度的缩放系数向量;
52、步骤4.5、根据不同网络深度的调制参数,通过以下公式,分别对不同网络深度的特征图进行特征级仿射调制,得到不同网络深度的调制特征图:
53、;
54、其中,为t时刻第l个网络深度的调制特征图,为t时刻第l个网络深度的特征图,表示逐元素相乘;
55、步骤4.6、对不同网络深度的调制特征图通过前馈残差进行融合,然后进行层归一化,得到分心表征。
56、进一步地,步骤6具体为:
57、步骤6.1、以接管过渡窗口起始时刻的分心表征为起点,以自接管过渡窗口起始时刻至当前时刻的人机权限耦合度为驱动输入,并对接管过渡窗口的调制参数施加过渡先验约束,通过以下公式,逐时刻更新接管过渡窗口的隐状态,从而实现对神经行为签名重组动态的显式建模:
58、h(τ)=gru(h(τ-1), [z(τ); δ(τ); δδ(τ)];
59、其中,h(τ)、h(τ-1)分别为接管过渡窗口τ时刻、τ-1时刻的隐状态,τ为整数,且0<τ≤k,k为接管过渡窗口的滑动窗口数量;z(τ)为接管过渡窗口τ时刻的分心表征,δ(τ)为接管过渡窗口τ时刻的人机权限耦合度,δδ(τ)为接管过渡窗口τ时刻人机权限耦合度的一阶差分,gru表示时变网络;
60、步骤6.2、根据接管过渡窗口的隐状态,通过以下公式生成接管过渡窗口的修正项:
61、δz(τ)=wo•h(τ)+bo;
62、其中,δz(τ)为接管过渡窗口τ时刻的修正项,wo为权重矩阵,bo为偏置向量;
63、步骤6.3、根据接管过渡窗口的修正项对分心表征进行修正,通过以下公式,得到过渡增强分心表征:
64、;
65、其中,为接管过渡窗口τ时刻的过渡增强分心表征;
66、步骤6.4、将过渡增强分心表征发送至分心分类头,然后执行步骤7。
67、进一步地,步骤7具体为:
68、步骤7.1、根据分心表征或过渡增强分心表征,分别得到正常与分心两类分心状态的后验概率,将其作为分心状态的置信度,然后将置信度高的分心状态作为初始分心状态;
69、步骤7.2、若初始分心状态的置信度大于等于置信度阈值,则将初始分心状态作为当前分心状态发送至干预模块;否则,执行步骤7.3;
70、步骤7.3、在当前的多模态数据基础上,聚合多个相邻时刻的多模态数据,并将其发送至权限耦合度估计模块和频域感知识别主干,然后返回步骤3;或者返回步骤3,调整多模态数据的融合权重。
71、进一步地,步骤1中,所述损失函数为:
72、l=lce+λ1•lsmooth+λ2•lsep;
73、lce=-(1/n)σiσc y{i,c}•log p{i,c};
74、lsmooth=(1/|m|)σ{τ∈接管过渡窗口}(‖γ(τ) -γ(τ-1)‖²+‖β(τ)-β(τ-1)‖²);
75、lsep=(1/n)σi[‖zi-μ{y_i}‖²-min{c≠y_i}‖zi-μc‖²+m]+;
76、其中,l为损失函数,lce为分类交叉熵,lsmooth为接管过渡窗口调制参数时间平滑正则,lsep为表征分离正则,λ1、λ2分别为lsmooth、lsep的权衡系数;
77、c表示分心状态为正常与分心两类,y{i,c}为第i个训练数据真实分心状态标签的独热编码,i为整数且0<i≤n,n 为训练数据的数量,p{i,c}为第i个训练数据在第c类分心状态下的预测后验概率;
78、γ(τ)、γ(τ-1)分别为接管过渡窗口τ时刻、τ-1时刻的缩放系数向量,β(τ)、β(τ-1) 分别为接管过渡窗口τ时刻、τ-1时刻的偏置系数向量,m为接管过渡窗口的训练数据数量;
79、μc为第c类分心状态的类中心,zi为第i个训练数据的分心表征,μ{y_i}为第i个训练数据真实分心状态标签的类中心,y_i为第i个训练数据的真实分心状态标签,m为间隔常数,[ ]+表示取正部。
80、与现有技术相比,本发明具有的有益效果如下:
81、1、本发明提供的基于人机权限耦合度的认知分心识别与干预方法,通过人机权限耦合度反映监测对象感知与操作行为对操作平台控制的实时嵌合程度,替代二值模式标签,能够覆盖部分耦合态与接管过渡态,从根本上避免了模式路由误判导致的性能跌落,跨模式识别的稳定性显著提升,在人工驾驶与自动驾驶两种模式下均可保持一致的高识别性能。
82、2、本发明提供的基于人机权限耦合度的认知分心识别与干预方法,沿不同网络深度对多模态数据进行特征提取,并以人机权限耦合度为条件,对多模态数据特征进行仿射调制,进而解码分心表征,相较于仅在单一网络深度做一次性静态门控的方案,可对分心解码的积分方向进行更充分的层级化重构,使正常与分心两类分心状态在嵌入空间的重叠区域明显缩小,类间可分性明显增强。
83、3、本发明提供的基于人机权限耦合度的认知分心识别与干预方法,对接管过渡窗口进行动态显式建模,填补了现有方案在事故高风险过渡阶段的建模盲区,在角色切换期间仍能稳定识别认知分心,降低了因过渡期漏检导致的接管失败风险。
84、4、本发明提供的基于人机权限耦合度的认知分心识别与干预方法,在分心状态识别阶段,引入置信度门控的选择性预测,在相同目标覆盖率下选择性风险更低,能有效抑制误报。
85、5、本发明提供的基于人机权限耦合度的认知分心识别与干预方法,采用包括脑电、眼动和控制回路的多模态冗余设计,并允许在单一模态失效时自适应重加权,兼顾了可部署性与环境鲁棒性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com