多模态人员认知训练方法、装置、边缘计算设备及介质与流程

本公开涉及认知康复、人机交互等，尤其涉及一种多模态人员认知训练方法、装置、边缘计算设备及介质。

背景技术：

1、各类脑功能损伤、神经功能异常及认知功能缺陷患者，普遍存在注意力、工作记忆、执行功能、感知整合等多维度认知能力下降，严重影响患者日常信息处理、感知协同与行为调控能力。因此，如何实现高精度、个性化、自适应的多模态认知康复训练，是目前认知康复技术亟待解决的技术问题。

2、认知康复训练多以单一认知任务、纸笔训练或普通计算机化任务为主，难以同时提供稳定的神经节律刺激和结构化任务训练，患者训练参与度、依从性和训练效果存在个体差异。声光刺激方案通常依赖专用灯具、外接声源或独立刺激设备，视觉刺激、听觉刺激与认知任务彼此分离，导致声光刺激过程无法与认知任务事件精确对齐，训练效果较差。

技术实现思路

1、本公开所要解决的一个技术问题是：声光刺激过程无法与认知任务事件精确对齐，训练效果较差。

2、为解决上述技术问题，本公开实施例提供一种多模态人员认知训练方法，包括：获取认知训练任务的任务配置参数，任务配置参数至少包括目标频率；基于任务配置参数，生成与认知训练任务对应的声音刺激和视觉刺激，并在执行认知训练任务的过程中，按照目标频率同步输出声音刺激和视觉刺激；获取用户执行认知训练任务得到的认知训练结果；基于认知训练结果调整下一次认知训练任务。

3、在一些实施例中，获取用户执行认知训练任务得到的认知训练结果，包括：获取用户执行认知训练任务的时间戳数据以及用户的反馈数据，其中，在时间戳数据下，同步输出声音刺激和视觉刺激，时间戳数据和反馈数据以主时钟数据为时间基准；基于预先标定的显示链路补偿量、音频链路补偿量对时间戳数据进行校正处理，得到实际视觉刺激呈现时间与实际声音刺激播放时间；基于目标频率、实际视觉刺激呈现时间与实际声音刺激播放时间，确定视觉相位数据、声音相位数据；将时间戳数据、视觉相位数据、声音相位数据以及用户的反馈数据进行多模态事件对齐处理，得到认知训练结果。

4、在一些实施例中，视觉刺激通过显示器输出，声音刺激通过音频播放器输出，显示链路补偿量、音频链路补偿量通过以下方式获取：获取离线标定参数和调度延迟数据，离线标定参数包括显示器对应的显示链路延迟量，以及音频播放器对应的音频链路延迟量；基于显示链路延迟量、音频链路延迟量和调度延迟数据，确定联合延迟数据；基于联合延迟数据，确定显示链路补偿量和音频链路补偿量。

5、在一些实施例中，声音刺激通过音频播放器输出，音频播放器包括多个声道；在通过音频播放器输出声音刺激之前，方法还包括：确定多个声道中的延迟声道以及延迟声道对应的延迟补偿量；基于预设音频采样率和延迟补偿量，确定缓冲区中的偏移采样点数，其中，缓冲区存储声音刺激；基于偏移采样点数，调整延迟声道在缓冲区中的播放位置。

6、在一些实施例中，在输出声音刺激之后，方法还包括：在用户执行认知训练任务时，获取多声道对应的缓冲区的播放位置；当任意两个声道之间的播放位置的差值大于预设阈值且小于等于重置阈值时，调整相位累加器或缓冲区的指针，缓冲区以指针形式确定播放位置；当任意两个声道之间的播放位置的差值小于等于预设阈值时，基于当前播放位置继续输出声音刺激；当任意两个声道之间的播放位置的差值大于重置阈值时，重置缓冲区并写入异常日志。

7、在一些实施例中，离线标定参数还包括视觉与声音之间的标定补偿量，在同步输出声音刺激和视觉刺激之前，方法还包括：对显示器和音频播放器进行标定处理，在标定处理过程中进行多次测量，以获取每次测量得到的视觉峰值时间、音频峰值时间以及标定测量时间；基于每次测量得到的视觉峰值时间和音频峰值时间，确定标定延迟；确定标定延迟的绝对值，当绝对值小于等于标定阈值时，将标定延迟作为标定补偿量，当绝对值大于标定阈值时，基于标定延迟调整声音刺激或视觉刺激的输出时间；基于显示器的设备信息、音频播放器的设备信息、标定测量时间以及标定补偿量，得到标定结果并进行存储。

8、在一些实施例中，在同步输出声音刺激和视觉刺激之后，方法还包括：按预设时间间隔和预设长度对声音刺激和视觉刺激进行降采样处理，并获取输出的声音刺激的音频包络和对应时间的视觉刺激的视觉序列；基于音频包络和视觉序列进行互相关计算，确定延迟索引，其中，延迟索引为互相关计算得到的最大值；以标定补偿量为初始值，基于延迟索引、降采样的采样率对标定补偿量进行更新处理，得到更新后的标定补偿量；基于更新后的标定补偿量调整缓冲区的声音刺激的播放位置，其中，缓冲区存储声音刺激，缓冲区以指针形式确定播放位置。

9、在一些实施例中，任务配置参数包括调制模式和调制模式对应的调制参数，以及声音模式和声音模式对应的声音参数；基于任务配置参数，生成与认知训练任务对应的声音刺激和视觉刺激，包括：基于调制模式和调制参数生成与认知训练任务对应的视觉刺激，其中，调制模式包括亮度调制、灰阶调制、透明遮罩调制的至少之一；基于声音模式和声音参数生成与认知训练任务对应的声音刺激，声音模式包括点击音、调制音、门控噪声的任意一种；和/或认知训练任务包括多个，多个认知训练任务分别对应不同的认知域；基于认知训练结果调整下一次认知训练任务，包括：基于认知训练结果确定用户针对多个认知域的受损评分向量，并获取每个认知训练任务的训练权重向量；基于受损评分向量、训练权重向量和预先配置的优先级权重向量进行加权计算，得到相似度结果；基于受损评分向量、训练权重向量和优先级权重向量对认知训练任务进行初步筛选处理，得到初步筛选后的认知训练任务；基于相似度结果对初步筛选后的认知训练任务进行排序筛选处理，调整下一次认知训练任务。

10、在一些实施例中，基于认知训练结果调整下一次认知训练任务，包括：基于认知训练结果确定正确率数据、反应时数据、完成率数据和惩罚项数据；基于正确率数据、反应时数据、完成率数据、惩罚项数据、第一权重、第二权重、第三权重和第四权重进行加权处理，得到综合表现评分数据；基于综合表现评分数据、目标评分数据、安全上限数据、安全下限数据，调整下一次认知训练任务。

11、在一些实施例中，基于综合表现评分数据、目标评分数据、安全上限数据、安全下限数据，调整下一次认知训练任务，包括：当综合表现评分数据大于目标评分数据时，基于下一次任务配置参数上调下一次认知训练任务的训练难度或延长训练时间，其中，上调后的训练难度或延长后的训练时间满足安全上限数据；当综合表现评分数据小于等于目标评分数据时，基于下一次任务配置参数降低下一次认知训练任务的训练难度、增加休息时间，以及降低视觉刺激或声音刺激对应的参数，其中，降低后的训练难度、增加后的休息时间以及降低后的参数满足安全下限数据；和/或方法还包括：获取用户执行认知训练任务的异常状态数据；基于异常状态数据，调整下一次认知训练任务。

12、在一些实施例中，认知训练结果包括质量评估结果，基于认知训练结果调整下一次认知训练任务包括：对认知训练结果进行质量评估，得到质量评估结果；在判断质量评估结果大于等于第一质量评估阈值时，确定认知评估结果为有效数据，在判断质量评估结果大于等于第二质量评估阈值时且小于等于第三质量评估阈值时，确定认知评估结果为部分有效数据，并标记为低质量数据，在判断质量评估结果小于第二质量评估阈值时，确定认知评估结果为无效数据，并生成提示信息；基于有效数据和/或部分有效数据调整下一次认知训练任务。

13、本公开实施例还提供一种多模态人员认知训练装置，多模态人员认知训练装置包括：第一获取模块，用于获取认知训练任务的任务配置参数，任务配置参数至少包括目标频率；生成模块，用于基于任务配置参数，生成与认知训练任务对应的声音刺激和视觉刺激，并在执行认知训练任务的过程中，按照目标频率同步输出声音刺激和视觉刺激；第二获取模块，用于获取用户执行认知训练任务得到的认知训练结果；调整模块，用于基于认知训练结果调整下一次认知训练任务。

14、本公开实施例还提供一种边缘计算设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时实现上述权利要求中任一项的方法的步骤。

15、本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述权利要求中任一项的方法的步骤。

16、通过上述技术方案，本公开提供的多模态人员认知训练方法，通过设置支持任务增强模式的多模态认知训练任务配置界面，响应用户选择操作即可开启目标频率下声音刺激与视觉刺激同步输出的任务增强模式，并匹配不同认知域对应的认知任务开展训练，能够依托多感官同步节律刺激实现多脑区协同激活，大幅提升认知康复训练的训练效果，同时通过精准的视听同步输出方式保障训练节律稳定、刺激时序规范，有效避免视听不同步、节律紊乱带来的训练效果不佳问题，显著提升多模态认知训练的标准化与精准度；同时可完整采集用户的认知训练结果并基于训练结果自适应调整智能体参数，能够根据不同用户的认知损伤差异、实时训练表现动态适配训练策略，实现训练参数、训练方案的个性化闭环优化，且通过迭代更新后的智能体自动生成认知训练报告与下一次认知训练任务，实现了训练过程量化记录、训练效果可追溯、训练方案智能迭代的智能化康复模式，极大提升了认知康复训练的个性化、精准化与智能化程度。