用于人机共驾体验评价的多模态数据质量监测与修复方法与流程

本技术涉及人机共驾系统，具体涉及用于人机共驾体验评价的多模态数据质量监测与修复方法。

背景技术：

1、在人机共驾系统中，为了准确评价驾驶员与智能驾驶系统之间的交互体验、心理状态以及认知负荷等信息，通常需要采集并分析多模态生理感知数据，其中脑电信号（electroencephalogram，eeg）因能够反映驾驶员实时脑活动状态，被广泛应用于驾驶体验评价、心理负荷分析以及人机交互效果评估等场景。

2、现有的人机共驾体验评价系统通常通过脑电采集设备、眼动设备、心电设备以及其他生理传感器获取驾驶过程中的多源数据，并结合信号处理算法和模式识别模型对驾驶员状态进行解码。然而，在实际驾驶环境中，采集得到的多模态数据，尤其是脑电信号，容易受到驾驶员头部运动、面部肌肉活动、出汗、电极接触状态变化以及车辆环境中的电磁干扰等因素影响，从而产生信号漂移、噪声污染、伪迹干扰以及数据缺失等问题。

3、现有技术中通常采用离线信号处理方法对采集数据进行质量优化，例如利用独立成分分析（ica）等算法分离并去除眼电、肌电等伪迹成分，或者采用滤波、降噪等方式提高信号质量，以保证后续心理状态识别和体验评价过程的准确性。

4、然而，现有技术在实际应用过程中仍存在一定不足。首先，现有基于离线分析的信号处理方法通常需要在数据采集完成后进行处理，无法针对驾驶过程中的数据质量变化进行实时监测和在线调整，导致体验评价结果存在明显滞后，难以满足智能驾驶场景下实时闭环优化的需求。其次，现有方法主要针对已经产生的噪声或伪迹进行被动处理，通常只能降低部分干扰影响，当出现传感器接触异常、设备脱落或长时间信号缺失等情况时，往往直接丢弃异常数据段，导致有效数据不连续，影响驾驶员心理状态解码的完整性。此外，传统信号处理算法通常依赖固定参数和人工经验进行调整，面对驾驶环境变化、个体差异以及复杂动态噪声干扰时，难以实现自适应优化，导致数据质量控制能力有限。

5、因此，现有技术无法实现对影响人机共驾体验评价质量的多模态数据进行实时、在线、智能化的质量监测与缺失修复，容易造成评价结果偏差，降低人机共驾体验评价系统整体可靠性和应用价值。

6、在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、本技术的目的是提供用于人机共驾体验评价的多模态数据质量监测与修复方法，以解决上述背景技术中的问题。

2、为了实现上述目的，本技术提供如下技术方案：用于人机共驾体验评价的多模态数据质量监测与修复方法，包括以下步骤：

3、采集人机共驾过程中的多模态数据，对多模态数据中的脑电数据进行实时分段处理，针对各数据段计算接触阻抗、信号幅值范围、信噪比以及肌电伪迹功率对应的质量评价指标；

4、对质量评价指标进行融合计算，生成对应脑电数据段的动态质量标签，动态质量标签包括正常标签、可疑标签以及异常标签；

5、针对可疑标签对应的脑电数据段，根据动态质量标签所表征的伪迹类型选择对应的自适应滤波参数，对脑电数据段进行实时滤波处理；

6、针对异常标签对应的脑电数据段，获取目标通道的历史脑电数据以及相邻正常通道的当前脑电数据，将历史脑电数据和相邻正常通道的当前脑电数据输入预测模型，对缺失脑电数据进行生成式预测修复；

7、对修复后的脑电数据段进行修复状态标记，根据修复状态标记调整后续人机共驾体验评价过程中的数据可信度，以维持多模态数据评价过程的连续性。

8、多模态数据中的脑电数据按照预设时间窗口进行连续划分，每个时间窗口对应一个独立的数据质量评价单元；针对每个脑电数据段分别采集电极接触状态信息、信号幅值变化信息、频谱能量分布信息以及伪迹干扰信息，通过多个维度的质量评价指标共同描述当前脑电数据段的数据可靠程度，以避免单一评价参数无法准确反映复杂驾驶环境下脑电采集状态的问题。

9、动态质量标签根据质量评价指标的融合计算结果生成，动态质量标签用于区分脑电数据段的可用状态，其中正常标签对应能够直接参与人机共驾体验评价的数据段，可疑标签对应包含轻度伪迹但仍保留有效脑电特征的数据段，异常标签对应存在信号缺失或采集异常的数据段，并将动态质量标签作为后续数据处理策略选择的判断依据。

10、质量评价指标包括接触阻抗评价指标、信号幅值范围评价指标、信噪比评价指标以及肌电伪迹功率评价指标；其中，通过接触阻抗评价指标判断脑电采集电极与人体之间的连接状态，通过信号幅值范围评价指标识别信号异常衰减或传感器脱落情况，通过信噪比评价指标分析有效脑电成分占比，通过肌电伪迹功率评价指标判断驾驶员动作引起的干扰影响。

11、自适应滤波参数根据动态质量标签中的伪迹特征信息进行调整，当脑电数据段对应的可疑标签包含肌电伪迹特征时，调整带通滤波范围以降低肌电干扰影响；当可疑标签包含工频干扰特征时，根据干扰频率选择对应的陷波滤波处理方式，以提升脑电数据在动态驾驶环境下的有效性。

12、预测模型采用自回归模型或轻量级seq2seq神经网络模型，预测模型接收目标脑电通道的历史正常数据以及相邻正常通道的当前脑电数据，通过分析脑电信号在时间维度上的变化规律以及不同脑区之间的空间关联关系，对异常标签对应的数据缺失区域进行脑电波形预测。

13、目标通道的历史脑电数据包括目标脑电通道在异常发生前连续采集的正常脑电波形，相邻正常通道的当前脑电数据包括与目标通道具有空间关联关系的多个脑电采集通道数据，通过联合输入预测模型，使生成的缺失脑电数据保持与目标驾驶员当前驾驶状态对应的脑活动变化规律。

14、生成式预测修复过程中，根据驾驶员当前状态下脑电信号的频率特征以及脑区之间的关联特征生成缺失数据，生成的脑电波形保持目标驾驶员驾驶状态下的α频段振荡模式以及θ频段振荡模式，并避免采用线性插值方式造成脑电数据时间连续性恢复不足的问题。

15、修复状态标记用于区分原始采集脑电数据与预测生成脑电数据，并根据修复状态标记对后续心理状态解码过程中的数据可信度进行调整，其中，经过生成式预测修复后的脑电数据携带对应的不确定性信息，以降低预测数据误差对人机共驾体验评价结果的影响。

16、动态质量标签与后续数据处理策略之间建立对应关系，当脑电数据段被识别为正常标签时，保持原始采集数据参与体验评价；当脑电数据段被识别为可疑标签时，调用自适应滤波处理机制；当脑电数据段被识别为异常标签时，调用生成式预测修复机制，从而实现不同数据状态下的自动化质量控制流程。

17、在上述技术方案中，本技术提供的技术效果和优点：

18、本技术通过对人机共驾体验评价过程中的多模态数据进行实时质量评估，并依据数据质量状态动态调整处理策略，将数据采集、异常识别以及数据优化过程进行在线化管理，能够在驾驶过程中及时发现影响评价准确性的异常数据，降低由于噪声、伪迹以及信号异常造成的分析偏差。通过动态质量标签对不同数据状态进行区分，使后续处理过程能够根据数据可靠程度选择对应的滤波处理或修复方式，为人机共驾体验评价流程提供稳定的数据质量保障，提高评价优化闭环过程的可靠性，为系统在实际驾驶环境中的应用提供基础支撑。

19、本技术通过生成式预测修复方式对异常缺失的脑电数据进行恢复，将目标通道历史数据与相邻通道当前数据进行联合分析，生成符合驾驶员当前脑活动规律的连续脑电数据，避免因传感器异常或信号中断导致评价数据断裂的问题。同时，通过对修复后的数据进行状态标记并调整数据可信度，使后续心理状态解码过程能够合理利用修复数据，在保证评价连续性的同时降低数据不确定性带来的影响。该方法能够实现数据质量监测、异常处理以及缺失修复过程的自动运行，适用于车载环境下长时间连续的人机共驾体验评价任务。