一种基于多模态数据融合的飞行员航前状态快速监测方法

本发明涉及状态监测，具体涉及一种基于多模态数据融合的飞行员航前状态快速监测方法。

背景技术：

1、随着技术发展的进步，目前航空器自动化水平较高，由于航空器故障发生的事故的比例逐渐下降，而由于飞行员的操作失误导致的事故比例逐渐增加。随着航空运输规模的持续增长，飞行员的认知状态、心理负荷及生理状况对飞行安全起着至关重要的作用。已有研究表明，通过生理信号分析可以对驾驶员或飞行员的精神负荷、认知状态等进行客观评估。例如，在实际飞行条件下使用干电极脑电图（eeg）系统对飞行员精神负荷进行监测的研究表明，eeg可用于反映飞行员在不同飞行负载条件下的认知变化特征，这为基于eeg的飞行员状态监测提供了现实基础。

2、同时，近红外光谱fnirs等神经功能性成像技术在航空人因研究中也表现出对飞行员脑功能状态的敏感性。将fnirs与其他生理信号联合用于识别飞行员应激状态的探索性研究表明，多模态生理信号融合能够提供比单一信号更丰富的状态信息，提高对复杂心理生理状态的判别能力。此外，在飞行模拟环境中结合脑电图、心电图（ecg）或眼动追踪等多模态生理信号的脑力负荷分析研究中，研究者通过统计和建模方法揭示了不同生理参数与飞行任务负荷之间的相关性，证明了多模态数据在飞行任务状态评估中的应用潜力。

3、除生理信号外，伴随人机交互技术的发展，计算机行为学等基于操作行为的特征分析方法也逐渐被用于状态监测领域，能够从飞行员与计算机系统的交互行为中挖掘出认知负荷水平和注意力状态等信息。

4、尽管现有技术已经尝试利用单一数据源或部分数据进行飞行员状态评估，但仍存在以下不足：一是多源数据的联合利用程度较低，难以全面反映飞行员的复杂心理与生理状态；二是现有监测方法多依赖于单一模态数据或传统特征提取方式，无法满足实时性和全面性的双重需求；三是在航前阶段快速评估场景下，现有技术对多模态信息的融合分析能力和快速响应能力尚不充分。

5、目前的飞行员航前状态监测主要依赖于基础生理体检（如血压、心率、酒精检测）和主观自我报告。这种方式存在以下显著缺点：

6、监测维度单一：无法客观评估飞行员的认知功能、隐性疲劳及低唤醒负性状态、高唤醒应激状态、情绪波动型应激状态等深层心理状态。

7、易受主观伪装：飞行员可能因职业压力在询问中隐瞒真实情绪，现有技术缺乏客观的生理校验手段。

8、时效性与舒适性相冲突：医疗级脑电（eeg）监测需涂抹导电膏（湿电极），准备与清洗时间长，无法满足航前30分钟内的快速周转要求。

9、准确度不足：单一的行为学测试（如反应时测试）易受到测试者短期意志力爆发的影响，导致假阴性结果。

技术实现思路

1、本发明的目的在于克服现有技术的不足，提供一种基于多模态数据融合的飞行员航前状态快速监测方法。

2、本发明的目的是通过以下技术方案来实现的：

3、本技术公开了一种基于多模态数据融合的飞行员航前状态快速监测方法，包括以下步骤：

4、s1、通过无线链路建立头戴式多模态采集终端与上位机的通信，并进行脑电通道阻抗检测以及近红外光学通道动态范围检测，之后对采集终端采集的多模态同步采样参数进行初始化；

5、s2、采集静息状态下的多模态同步信号，构建静息基线，并执行静息基线可信度评估与异常识别；

6、s3、依次执行持续注意力反应测试任务、情绪干扰任务、情绪词判断任务，在三类任务开启时，建立功能性激发基线，并实时记录行为学数据；

7、s4、分别针对疲劳状态、焦虑状态、抑郁状态，提取脑电、行为学、血氧代谢维度的对应特征，构建三类状态的特征子空间；

8、s5、通过卷积神经网络提取前额叶空间激活特征，通过双向长短期记忆网络提取时序演变特征，确定各模态权重，分别输出疲劳指数f、焦虑指数a、抑郁风险指数d，同时计算神经-血管耦合延迟nvc delay；

9、s6、基于疲劳指数f、焦虑指数a、抑郁风险指数d结合神经-血管耦合延迟对应的惩罚因子计算综合适航指数r，根据综合适航指数r划分适航等级，并生成最终的评估报告。

10、优选地，步骤s1具体包括以下子步骤：

11、s11、在头戴式多模态采集终端与上位机的通信无线链路建立后，所述头戴式多模态采集终端向脑电通道注入测试信号，所述测试信号的幅值已知且频率位于生理信号带宽之外，并测量对应的返回电压值；

12、s12、上位机根据采集到的测试信号，利用下式计算各脑电通道的等效接触阻抗值：电极阻抗=测试信号幅值/返回电流幅值；之后，将计算得到的等效接触阻抗值与预设阻抗阈值范围进行比较；所述头戴式多模态采集终端在前额叶区域设置若干个传感荚；若某一脑电通道的等效接触阻抗值超过预设阻抗阈值范围，则该脑电通道的电极接触不良，并在上位机中提示重新调整对应传感荚的佩戴位置或压力；当所有脑电通道的等效接触阻抗值均处于预设阈值范围内，判定脑电采集条件满足要求；

13、s13、所述头戴式多模态采集终端依次驱动波长为760nm与850nm的近红外光源以预设占空比发射信号，同时采集对应光电探测器的原始光强值，上位机计算近红外光学通道的光强信号的平均值及预设时间内的波动范围，确认光强信号处于探测器噪声下限与饱和上限之间、波动幅度可反映生理脉动特征，且短间距通道与长间距通道的光强分布正常，则判定光学通道合格；

14、s14、建立头戴式多模态采集终端时钟与上位机时钟的映射关系，设置干电极脑电图eeg与近红外光谱fnirs的采样频率、各模态数据帧长度与缓存深度、行为学任务事件标记与生理数据的时间对齐策略，实现多模态数据在统一时间轴上同步记录。

15、优选地，步骤s2中所述的静息基线为，，其中，表示前额叶α波功率基准，其计算公式为，其中，表示静息态信号采集总时长，表示频率，表示t时刻在频率处的脑电信号功率谱密度；

16、表示低唤醒倾向指标，其计算公式为，其中，表示θ频段内脑电信号的功率值，表示β频段内脑电信号的功率值，表示静息态采集窗口内θ频段的总功率，表示静息态采集窗口内β频段的总功率；

17、表示血氧基础稳定值，其计算公式为，其中，表示在波长处的光密度变化量，表示脱氧血红蛋白在波长处的摩尔消光系数，表示在波长处的光密度变化量，表示脱氧血红蛋白在波长处的摩尔消光系数，表示氧合血红蛋白在波长处的摩尔消光系数，表示氧合血红蛋白在波长处的摩尔消光系数，表示传感荚内光源与光电探测器的中心间距，表示差分路径因子；

18、表示空间静止偏置向量，其计算公式为，其中，表示头戴式多模态采集终端内置的三轴加速度传感器在x轴上加速度信号的时间平均值，表示头戴式多模态采集终端内置的三轴加速度传感器在y轴上加速度信号的时间平均值，表示头戴式多模态采集终端内置的三轴加速度传感器在z轴上加速度信号的时间平均值；通过所述空间静止偏置向量确立头部的初始空间坐标参考；

19、所述静息基线的可信度评估具体包括：

20、若低唤醒倾向指标在静息状态下持续超过预设阈值，则判定静息基线存在疲劳污染异常；

21、若血氧基础稳定值的波动方差超过预设阈值，则判定静息基线存在代谢本底异常；

22、若空间静止偏置向量相对于初始参考坐标发生幅度超过预设阈值的偏移，且偏移出现次数频繁，则判定静息基线存在物理伪影干扰。

23、优选地，步骤s2中，若判定静息基线存在异常，则触发基线异常处理流程，具体包括以下步骤：

24、s21、从存在异常的静息基线对应的飞行员的静息态数据中提取7维特征向量，并对其进行标准化；

25、s22、从上位机本地数据库或云端存储调取离线预构建的群体安全参考模型进行先验，即，其中z表示该飞行员的真实状态，表示先验均值，表示先验协方差，表示多元高斯分布；假设观测是在真实状态z上叠加独立高斯噪声，即似然函数，其中表示观测噪声协方差矩阵；

26、s23、通过高斯分布进行后验，其中，表示后验协方差，其计算公式为，表示后验均值，其计算公式为，其中，表示当前飞行员在静息态下的观测均值向量；

27、s24、将所述后验均值作为校准后的个体基线，即；之后根据所述个体基线执行风险控制措施，具体包括：

28、动态收紧预警阈值：对于被标记为基线异常的飞行员，降低其对应的综合适航指数r；

29、在后续融合评价中，提升功能性激发基线的相对权重，降低静息基线的比对权重。

30、优选地，步骤s3具体包括：

31、s31、按预设顺序依次执行持续注意力反应测试任务、情绪干扰任务、情绪词判断任务，并同步采集对应行为学指标；

32、s32 、功能性激发基线建立，在每类任务正式刺激呈现之前，截取任务指令提示阶段的预设固定时长窗口，将其作为激发基线采集区间，同步记录该区间内的脑电信号与近红外光谱信号，计算各模态信号在所述基线采集区间内的统计均值，作为对应任务的激发基线向量；

33、s33、所有任务通过实验室流传输层lsl实时流发送任务事件标记，标记信号与头戴设备采集的脑电、近红外数据在实验室流传输层lsl时间轴上实现纳秒级对齐。

34、优选地，步骤s4具体包括：

35、通过滑动时间窗实时监测并提取疲劳状态的特征子空间，脑电维度包括前额叶θ波功率升高幅度、α波抑制反应减弱程度；行为学维度包括反应时均值升高量、反应时波动增大幅度；血氧代谢维度包括神经-血管耦合延迟的增加；

36、对于焦虑状态特征，通过多维指标的深度耦合来捕捉受试者的高唤醒应激状态；脑电维度包括右侧前额叶β波功率的增强；行为学维度包括情绪干扰任务中禁止反应no-go误反应率的上升；血氧代谢维度包括威胁刺激下血氧波动幅度；

37、对于抑郁状态特征，通过生理代谢、神经振荡与行为决策的同步钝化来识别低唤醒负性情绪及动机水平的下降特征；脑电维度包括任务态α波功率的异常升高且任务诱发抑制不足，行为学维度包括消极词反应时延长量、认知粘滞程度；血氧代谢维度包括任务态前额叶整体激活水平降低。

38、优选地，步骤s5中所述的输出疲劳指数f、焦虑指数a、抑郁风险指数d；具体包括以下步骤：

39、s501、通过公式计算疲劳指数f，其中，表示脑电疲劳特征，表示脑电疲劳特征对应的权重，表示行为学疲劳特征，表示行为学疲劳特征对应的权重，表示血氧代谢疲劳特征，表示血氧代谢疲劳特征的权重；

40、s502、通过公式计算焦虑指数a，其中，表示脑电焦虑特征，表示脑电焦虑特征对应的权重，表示行为学焦虑特征，表示行为学焦虑特征对应的权重，表示血氧代谢焦虑特征，表示血氧代谢焦虑特征对应的权重；

41、s503、通过公式计算抑郁风险指数d，其中，表示脑电抑郁特征，表示脑电抑郁特征对应的权重，表示行为学抑郁特征，表示行为学抑郁特征对应的权重，表示血氧代谢抑郁特征，表示血氧代谢抑郁风险对应的权重。

42、优选地，步骤s5中所述的计算神经-血管耦合延迟nvc delay具体包括以下步骤：

43、s511、在任务态评估窗口内，以固定的时间步长同步提取神经激活时序和血氧代谢时序，形成两个一维离散时间序列；

44、s512、对血氧代谢时序进行高通滤波，用于去漂移，再对神经激活时序和高通滤波后的血氧代谢时序进行z-score标准化，获得标准化后的神经激活时序和血氧代谢时序；

45、s513、引入时滞参数，在设定的生理搜索窗口，基于标准化后的神经激活时序和血氧代谢时序，通过公式计算归一化互相关系数，其中，n表示当前分析滑窗内的数据点总数，表示当前分析滑窗内第k个采样点对应的时间坐标，表示时刻标准化后的神经激活值，表示在时刻延后毫秒处的标准化血氧代谢信号值；

46、s514、当归一化互相关系数的绝对值达到全窗口的最大值时，通过公式计算神经-血管耦合延迟nvc delay，其中，表示时滞参数的搜索下限且，表示时滞参数的搜索上限。

47、优选地，步骤s6具体包括：

48、s61、通过公式计算综合适航指数r，其中，p表示惩罚因子，其计算公式为；

49、s62、根据计算的综合适航指数r，对飞行员的适航等级进行判定，当r≥第一适航阈值r_high时，判定为绿色，表示适航；当第二适航阈值r_th ≤r < 第一适航阈值r_high时，判定为黄色，表示警示或建议复检；当r <第二适航阈值r_th时，判定为红色，表示不适航或禁飞；

50、s63、设置单项风险维度的一票否决安全阻断机制，具体包括：

51、预先设置疲劳阻断阈值tf、焦虑阻断阈值ta和抑郁风险阻断阈值td，当满足f>tf或a>ta或d>td中任一条件时，直接判定适航等级为不适航或禁飞，中断适航指数计算流程并锁定派遣权限，同时生成风险阻断溯源报告。

52、本发明的有益效果是：

53、1）本技术提出一种静息态基线可信度自评估机制，在建立静息基线时，对其进行异常识别。当检测到静息态已存在疲劳、焦虑或低唤醒异常特征时，自动启用安全收敛策略，通过引入群体生理安全参考区间、增强任务诱发功能响应的权重并动态收紧风险阈值，避免异常状态被误判为正常基线，从而提高在无历史数据条件下的适航评估可靠性。