面向人机紧耦合的多模态缺失鲁棒认知负荷评估方法

本发明涉及人机状态感知交互，具体涉及一种面向人机紧耦合的多模态缺失鲁棒认知负荷评估方法。

背景技术：

1、人机紧耦合任务是指操作员与车辆、智能座舱、航空器、特种装备、协作机器人、无人系统等复杂人机交互系统之间形成连续感知、决策、操作与反馈闭环的任务场景，典型应用包括自动驾驶接管、复杂监控、飞行操控、遥操作和数字化手术等。该类任务中，操作员认知负荷的实时准确评估对保障任务安全性和提升人机协同效率至关重要。由于单一模态信息难以全面反映操作员的认知状态，融合人机多侧各类型信号的多模态数据进行认知负荷评估，已成为该领域的主流技术路线。

2、现有多模态认知负荷评估通常采用特征级或决策级融合方式。例如在驾驶工作负荷计算方法中，通过脑电、眼动、心电、呼吸、皮肤电、gps等多类传感器同步获取多维工作负荷信息，结合车辆状态、驾驶行为及主观评定数据进行综合计算；还包括将多模态人因数据预处理后输入状态识别模型，输出驾驶状态并生成反馈干预。以及基于脑电、心电、皮电、眼动等多模态生理和行为数据，通过特征提取与模式识别建立脑力负荷分类模型。上述方法的通用实现方式为：多模态数据采集→时间对齐与预处理→特征提取与拼接→融合分类/回归→输出评估结果。

3、上述方法对输入模态完整性和信号质量稳定性依赖较强，融合推理机制缺乏对模态可用状态的自适应感知与动态调整能力：既无法在时间窗级显式区分模态的可用、降权与不可用状态，也不能在模态缺失或质量退化时自适应关闭或降低不可信分支的融合贡献、以轻量方式对缺失信息进行补偿，同时缺少对全部模态不可用等极端情形的明确处理策略。当传感器因遮挡、接触不良、振动、链路异常等出现模态缺失或质量退化时，模型仍沿用固定输入结构和融合权重，导致评估精度下降、输出不稳定，甚至产生不可信的评估结果，难以满足人机紧耦合任务对认知负荷在线评估鲁棒性和可靠性的要求。

技术实现思路

1、针对现有技术的不足，本发明提供了一种面向人机紧耦合的多模态缺失鲁棒认知负荷评估方法，解决了现有人机紧耦合任务中认知负荷评估方法对输入模态完整性和信号质量稳定性依赖较强，在模态缺失、质量退化或时间不同步时评估精度下降、输出不稳定，且训练阶段全模态条件与部署阶段缺模态条件不一致导致输出偏差，同时缺少对全部模态不可用等极端情形明确处理策略的问题。

2、为实现以上目的，本发明提供一种面向人机紧耦合的多模态缺失鲁棒认知负荷评估方法，包括：

3、获取当前时间窗内操作员的多种模态数据，并对各模态数据进行时间对齐和预处理；

4、计算各模态数据的质量评分，并根据质量评分生成模态可用性掩码；模态可用性掩码用于指示对应模态为可用、降权或不可用状态；

5、将预处理后的多模态数据输入认知负荷评估模型；认知负荷评估模型包括多个模态专家分支、共享表征分支、门控网络和输出头；其中，认知负荷评估模型为通过全模态输入路径与模态缺失或质量退化输入路径的一致性约束训练得到的模型；

6、根据模态可用性掩码，对不可用状态的模态，关闭对应的模态专家分支；对降权状态的模态，降低对应的模态专家分支的权重；

7、当存在不可用模态或满足预设补偿触发条件的降权模态时，由所述共享表征分支生成补偿查询，并根据所述补偿查询从剩余可用模态的特征中提取信息，更新可用模态的全局表示；

8、基于门控网络输出各分支的原始权重，根据模态可用性掩码对原始权重进行约束和重归一化，得到融合权重；

9、根据融合权重对各模态专家分支的输出、共享表征分支的输出和更新后的全局表示进行融合，得到融合表示；将融合表示输入输出头，输出当前时间窗的认知负荷评估结果及可靠性指标；

10、当所有模态均处于不可用状态时，不执行当前时间窗的融合与评估，输出不满足评估条件的状态信息、原因及可靠性指标。

11、于本发明一实施例中，多种模态数据包括人侧生理信号、人侧行为信号、机侧状态信号、人机交互行为信号以及环境/任务上下文信号中的至少两种。

12、于本发明一实施例中，模态专家分支分别对对应模态数据提取模态特征，并将模态特征汇聚为对应模态的全局表示；共享表征分支根据当前可用模态的模态特征生成跨模态共享表征，并基于跨模态共享表征生成补偿查询。

13、于本发明一实施例中，计算各模态数据的质量评分，并根据质量评分生成模态可用性掩码，包括：

14、当模态数据的质量评分不低于预设质量阈值时，判定对应模态为可用状态；

15、当模态数据的质量评分低于预设质量阈值但高于预设不可用阈值时，判定对应模态为降权状态；

16、当模态数据的质量评分不高于预设不可用阈值时，判定对应模态为不可用状态。

17、于本发明一实施例中，根据补偿查询从剩余可用模态的特征中提取信息，更新可用模态的全局表示，包括：

18、以补偿查询为查询向量，以剩余可用模态的序列特征为键向量和值向量，通过交叉注意力计算得到补偿项；

19、将补偿项与可用模态的全局表示相加并进行层归一化，得到更新后的全局表示。

20、于本发明一实施例中，基于门控网络输出各分支的原始权重，根据模态可用性掩码对原始权重进行约束和重归一化，得到融合权重，包括：

21、对处于不可用状态的模态对应分支的原始权重置零；

22、对处于降权状态的模态对应分支的原始权重乘以对应的降权系数，降权系数取值在0到1之间；

23、将约束后的各分支权重除以全部约束后权重之和，得到融合权重。

24、于本发明一实施例中，认知负荷评估模型通过以下方式训练得到：

25、对同一样本构造全模态输入路径和模态缺失或质量退化输入路径；缺失或质量退化输入路径通过随机模态丢弃、掩码置零、加入噪声或遮挡中的至少一种方式模拟获得；

26、将两条路径的输入分别输入待训练的认知负荷评估模型，得到各自的预测结果；

27、根据预测结果与样本标注计算任务损失，并对两条路径的预测结果或共享表征施加一致性约束，一致性约束包括分布一致性约束、数值一致性约束和表征一致性约束中的任一种或多种；

28、根据任务损失和一致性约束更新模态专家分支、共享表征分支、门控网络和输出头的模型参数，使同一样本在全模态输入路径与模态缺失或质量退化输入路径下的预测结果或共享表征保持一致或接近。

29、本发明还提供一种面向人机紧耦合的多模态缺失鲁棒认知负荷评估系统，包括：

30、操作端采集单元，用于采集当前时间窗内操作员的人侧生理信号和人侧行为信号；

31、设备/自主体接口单元，用于接入机侧状态信号、人机交互行为信号以及环境/任务上下文信号；

32、边缘计算单元，用于对各模态数据进行缓存、时间同步和预处理，计算各模态数据的质量评分，并根据质量评分生成模态可用性掩码；模态可用性掩码用于指示对应模态为可用、降权或不可用状态；

33、协同评估平台，用于：

34、将预处理后的多模态数据输入认知负荷评估模型；认知负荷评估模型包括多个模态专家分支、共享表征分支、门控网络和输出头；其中，认知负荷评估模型为通过全模态输入路径与模态缺失或质量退化输入路径的一致性约束训练得到的模型；

35、根据模态可用性掩码，对不可用状态的模态，关闭对应的模态专家分支；对降权状态的模态，降低对应的模态专家分支的权重；

36、当存在不可用模态或满足预设补偿触发条件的降权模态时，由共享表征分支生成补偿查询，并根据补偿查询从剩余可用模态的特征中提取信息，更新可用模态的全局表示；

37、基于门控网络输出各分支的原始权重，根据模态可用性掩码对原始权重进行约束和重归一化，得到融合权重；

38、根据融合权重对各模态专家分支的输出、共享表征分支的输出和更新后的全局表示进行融合，得到融合表示；将融合表示输入输出头，输出当前时间窗的认知负荷评估结果及可靠性指标；

39、当所有模态均处于不可用状态时，不执行当前时间窗的融合与评估，输出不满足评估条件的状态信息、原因及可靠性指标。

40、本发明还提供一种电子设备，包括处理器、存储器和存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述的方法。

41、本发明还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上述的方法。

42、本发明提供了一种面向人机紧耦合的多模态缺失鲁棒认知负荷评估方法。与现有技术相比，具备以下有益效果：

43、通过基于质量评分生成可用性掩码，显式屏蔽不可用模态、降权处理劣质模态，规避噪声干扰；通过共享分支生成补偿查询，利用剩余模态聚合更新全局表征，在不重建原始信号的前提下补充判别信息，保障评估连续准确；结合掩码约束与重归一化动态调整融合权重，提升多模态组合的自适应性；全模态失效时主动报错，避免无效推理。本机制显著增强了模态缺失或退化下的评估鲁棒性与可靠性，适用于自动驾驶、人机协作、遥操作等紧耦合任务场景。