一种基于联合状态的多人协同任务闭环调节方法及系统与流程

本发明属于多模态人机协同交互，具体涉及一种基于联合状态的多人协同任务闭环调节方法及系统。

背景技术：

1、多人协同任务广泛存在于团体训练、教学互动、团队决策、康复互动、人机协作、多人游戏化训练以及脑机接口训练等场景中。在此类任务中，任务完成效果不仅取决于单个成员的注意力水平、认知负荷或运动状态，还取决于多个成员之间的信息交互、角色分工、动作节奏以及神经活动协同程度。因此，仅从单个个体的生理或行为状态出发，难以全面、准确地评价多人协同任务中的整体协作状态。

2、现有的单人脑机接口或生理监测系统通常以个体脑电、血氧或行为信号为主要分析对象，能够实现单人状态显示、单人训练反馈或单人评估报告，但难以刻画团队内部成员之间的协同关系。多人超扫描技术虽然能够同步采集多名成员的脑活动信号，并通过计算脑间相关性、相干性或血氧同步性等指标分析不同个体之间的神经活动耦合关系，但多数方案仍停留在离线分析或状态展示层面，缺少以群体协同状态为控制量的实时闭环调节机制，难以根据协同状态变化对任务过程进行持续优化。

3、此外，现有的多人协同评价方法还存在模态单一的问题。例如，仅利用脑电（eeg）信号计算脑间同步可以反映快速神经电活动一致性，但难以反映较慢的血氧代谢响应和实际动作执行情况；仅利用功能性近红外光谱（fnirs）信号计算血氧同步可以描述互动过程中的血液动力学变化，但无法及时捕捉注意波动和动作节奏变化；仅利用运动或任务表现评价协同，则无法区分神经状态一致、认知负荷不均或运动伪迹干扰等原因。

4、进一步地，eeg、fnirs和运动姿态信号具有不同的时间尺度、信号特征和生理含义。eeg具有毫秒级时间分辨率，fnirs反映相对缓慢的血氧动力学响应，运动姿态既表示行为节奏，也可能成为脑电和近红外信号中的伪迹来源。若将三类信号独立计算后简单加权，容易造成时间尺度不一致、质量异常影响指标、模态贡献不可解释以及协同状态误判等问题。

5、现有闭环反馈调节方法通常采用简单阈值策略，例如在团队状态分数低于阈值时降低任务难度，在团队状态分数高于阈值时提高任务难度。然而，多人协同状态下降的原因可能包括注意状态不一致、认知负荷分配不均、动作节奏不同步、脑活动与行为表现不一致，或者信号质量异常等多种情况。若系统不能进一步识别协同失配类型，仅依据单一分数进行软件提示或任务难度调节，则可能导致反馈缺乏针对性，甚至在信号异常或伪迹干扰时产生错误干预。

6、因此，亟需一种面向多人协同任务的技术方案，能够同步采集多名成员的eeg、fnirs和运动姿态信号，将多模态数据统一建模为脑电-近红外-运动姿态联合状态，构建群体协同联合指标，识别不同类型的协同失配原因，并根据群体协同状态和失配类型进行软件提示与任务难度自适应调节，从而实现多人协同状态的实时评估、精准反馈和闭环优化。

技术实现思路

1、鉴于上述，本发明的目的是提供一种基于联合状态的多人协同任务闭环调节方法及系统，通过多模态信号同步采集、个体联合状态构建与群体协同联合指标分析，并结合基于动态融合权重的质量门控动态融合机制与协同失配类型识别，能够实现对多人协同任务过程中团体协同状态的实时评估与异常诊断，并据此生成与失配类型匹配的反馈调节策略，从而有效提升多人协同任务执行过程中的团队协作效率与任务执行质量，适用于团体协同训练、多人协作任务及人机协同作业等多种应用场景。

2、为实现上述发明目的，本发明提供的技术方案如下：

3、第一方面，本发明实施例提供的一种基于联合状态的多人协同任务闭环调节方法，包括以下步骤：

4、同步采集多人协同任务过程中各成员的脑电信号、功能性近红外光谱信号和运动姿态信号作为多模态信号，并提取多模态特征以构建各成员的个体联合状态及个体状态可靠度；

5、以个体联合状态为节点、个体状态可靠度为节点权重、任务阶段或角色关系为边约束，构建协同关系矩阵，基于协同关系矩阵生成群体协同联合指标，当群体协同联合指标异常时识别协同失配类型；

6、根据协同失配类型生成对应的反馈调节策略并执行，反馈执行后继续采集多模态信号并更新群体协同联合指标，形成闭环调节。

7、优选地，所述提取多模态特征以构建各成员的个体联合状态及个体状态可靠度，包括：

8、对多模态信号进行特征提取得到多模态特征，对多模态特征进行任务阶段归一化后计算各模态特征的质量置信度，并根据运动姿态信号计算运动伪迹强度以修正脑电模态和功能性近红外光谱模态的质量置信度；

9、将各模态特征映射至统一状态空间后，根据质量置信度计算动态融合权重，利用动态融合权重对各模态特征加权融合得到个体联合状态，并根据各模态特征的质量置信度和动态融合权重输出个体状态可靠度。

10、优选地，所述根据质量置信度计算动态融合权重，包括：

11、获取脑电模态、功能性近红外光谱模态和运动姿态模态各自的质量置信度及各模态在当前任务中的基础权重，将每一模态的基础权重及其质量置信度进行乘积后，除以所有模态的基础权重与质量置信度乘积之和，得到每一模态的动态融合权重。

12、优选地，所述基于协同关系矩阵生成群体协同联合指标，包括：

13、基于协同关系矩阵计算群体协同一致性和成员协同贡献度，根据成员协同贡献度计算成员贡献均衡性，并获取群体协同稳定性和任务表现，聚合为群体协同联合指标；

14、其中，群体协同一致性基于协同关系矩阵中所有有效协同关系的质量加权平均值计算得到；成员协同贡献度基于协同关系矩阵中各成员与所有其他成员之间协同关系的质量加权平均值计算得到；成员贡献均衡性根据成员协同贡献度的标准差与均值之比计算得到；群体协同稳定性基于群体协同一致性的波动程度计算得到；任务表现由正确率、反应时和任务完成情况归一化聚合得到。

15、优选地，所述当群体协同联合指标异常时识别协同失配类型，包括：

16、当群体协同联合指标低于目标区间或波动异常时进入失配类型识别流程，基于模态协同一致性、各模态贡献度、成员贡献均衡性、任务表现、个体状态可靠度及运动姿态信号的运动伪迹强度识别协同失配类型；

17、其中，模态协同一致性分别基于脑电模态、功能性近红外光谱模态和运动姿态模态下各成员的模态特征，计算两两成员在同一模态下的特征相似度，并对所有有效成员对的特征相似度进行质量加权平均得到；各模态贡献度基于每一成员经统一状态空间映射后的脑电模态、功能性近红外光谱模态和运动姿态模态状态向量，计算各模态的状态向量经动态融合权重加权后的幅值，并将该幅值除以该成员所有模态加权幅值之和得到。

18、优选地，所述协同失配类型包括以下至少一种：

19、信号质量异常，表现为个体状态可靠度低于第一阈值或运动伪迹强度高于第二阈值或群体质量置信度低于第三阈值；优先判定该类型，若判定为信号质量异常，则不再进行以下其他失配类型的判定；

20、注意协同不足，表现为脑电模态的模态协同一致性低于第四阈值且脑电模态的模态贡献度高于第五阈值；

21、认知负荷不均，表现为功能性近红外光谱模态的模态协同一致性低于第六阈值或成员贡献均衡性低于第七阈值，且功能性近红外光谱模态的模态贡献度高于第八阈值；

22、行为节奏不同步，表现为运动姿态模态的模态协同一致性低于第九阈值且运动姿态模态的模态贡献度高于第十阈值；

23、脑-行为失配，表现为群体协同一致性与任务表现不一致；

24、角色失衡，表现为成员贡献均衡性低于第十一阈值且存在成员的协同贡献度低于第十二阈值。

25、优选地，所述根据协同失配类型生成对应的反馈调节策略并执行，包括：

26、当协同失配类型为信号质量异常时，生成佩戴检查或重新校准提示，并降低异常成员或异常模态在后续群体协同联合指标计算中的权重，不立即调整任务难度；

27、当所述协同失配类型为注意协同不足、认知负荷不均、行为节奏不同步、脑-行为失配或角色失衡时，根据协同失配类型与反馈策略之间的预设对应关系，生成与失配类型对应的软件提示、节奏提示、分工调整、规则提示或角色重分配策略。

28、第二方面，本发明实施例还提供了一种基于联合状态的多人协同任务闭环调节系统，用于实现上述的基于联合状态的多人协同任务闭环调节方法，包括：

29、信号同步采集模块，用于同步采集多人协同任务过程中各成员的脑电信号、功能性近红外光谱信号和运动姿态信号作为多模态信号；

30、个体状态构建模块，用于基于多模态信号提取多模态特征以构建各成员的个体联合状态及个体状态可靠度；

31、群体协同分析模块，用于以个体联合状态为节点、个体状态可靠度为节点权重、任务阶段或角色关系为边约束，构建协同关系矩阵，基于协同关系矩阵生成群体协同联合指标，当群体协同联合指标异常时识别协同失配类型；

32、闭环反馈调节模块，用于根据协同失配类型生成对应的反馈调节策略并执行，反馈执行后继续采集多模态信号并更新群体协同联合指标，形成闭环调节。

33、第三方面，本发明实施例还提供了一种电子设备，包括存储器和一种或多种处理器，所述存储器用于存储计算机程序，所述处理器用于当执行计算机程序时，实现上述的基于联合状态的多人协同任务闭环调节方法。

34、第四方面，本发明实施例还提供了一种计算机可读的存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被计算机执行时，实现上述的基于联合状态的多人协同任务闭环调节方法。

35、与现有技术相比，本发明具有的有益效果至少包括：

36、（1）本发明通过信号采集各成员的脑电信号、功能性近红外光谱信号和运动姿态信号，生成个体联合状态及个体状态可靠度并构建协同关系矩阵，进而生成群体协同联合指标并识别协同失配类型，最后执行反馈调节策略，实现了采集-融合-评价-反馈的全流程闭环，支持团体同步模式与团体非同步模式，从而能够根据群体协同状态实时调节任务过程，适用于团体协同训练、个体差异化训练及科研范式验证等多种场景。

37、（2）本发明通过提取多模态特征，将神经电活动、血氧动力学变化和行为节奏统一映射至同一状态空间，并基于运动伪迹强度修正各模态质量置信度，根据质量置信度计算动态融合权重，实现质量门控动态融合，能够有效抑制低质量数据对融合结果的干扰，提高了个体联合状态与群体协同联合指标计算的可靠性。

38、（3）本发明基于协同关系矩阵构建群体协同联合指标，在输出整体协同分数的同时，还输出两两协同关系、成员协同贡献度、模态贡献度、协同稳定性和任务表现等多维度评价信息，使协同评价具有可解释性；在此基础上，当群体协同联合指标异常时识别不同的协同失配类型，并据此生成对应的反馈调节策略，显著提高了系统的鲁棒性和实用性；同时可保留完整的数据存储与报告导出功能，便于训练评估与方案优化。