一种基于跨模态线索再激活的视觉感知增强方法

本发明涉及视觉感知增强，具体涉及一种基于跨模态线索再激活的视觉感知增强方法。

背景技术：

1、视觉知觉学习通常依赖大量、重复的清醒视觉任务，现有视觉知觉学习方法一般持续呈现光栅、运动点、字符或其他视觉刺激，要求用户持续注视、辨别并按键，根据响应结果调整刺激难度，再通过训练前后的正确率或辨别阈值判断视觉表现是否提高。该类方案持续占用视觉通道，并对注意维持、任务理解、手部操作和训练依从性提出要求，主动参与负担较高；对于难以长时间配合训练的人群，训练剂量和完成率容易受限。另一方面，目标记忆再激活技术可在清醒或睡眠期间重放学习阶段出现过的感觉线索，以影响已形成的记忆，现有的技术方案在慢波睡眠期间重建清醒学习时的感觉环境以增强知识巩固或者利用脑电判断睡眠阶段和神经标志后输出干预信号，主要以陈述性知识、情景内容或一般记忆增强为目标，并未形成针对低级视觉朝向和视网膜位置的定向映射、关联质量门控及特征特异性视觉阈值评价链路。

2、现有视觉训练方法可采用正弦光栅、gabor光栅、朝向、位置、对比度或空间频率等参数生成个体化训练任务，但是，此类方法仍以重复呈现视觉刺激为主要作用方式，声音多用于反馈、提示或提高参与度，没有把声音线索作为在无目标视觉输入阶段访问已编码视觉特征的控制信号。跨模态线索的使用还存在方向性风险，未经验证的声音、与目标视觉特征不对应的声音或在不适当脑状态下输出的声音，不一定产生提高，甚至可能导致目标视觉表现下降。若仅记录声音是否输出，而不记录声音与视觉特征之间的映射质量、用户当时的脑状态、异常唤醒以及前后测的特征对应关系，则难以判断一次再激活是否真正作用于预定视觉表征。

技术实现思路

1、为解决现有技术所存在的技术问题，本发明提供一种基于跨模态线索再激活的视觉感知增强方法及系统，可以解决传统清醒视觉训练持续占用视觉通道、主动参与负担较高，通用记忆再激活方案不能定向作用于低级视觉特征以及缺少统一评价链路的问题。

2、本发明的目的可以通过采取如下技术方案达到：

3、一种基于跨模态线索再激活的视觉感知增强方法，包括步骤：

4、s1、在目标视觉刺激与候选声音线索同步呈现的条件下进行关联学习，建立目标视觉特征与候选声音线索的跨模态对应关系，并形成待验证的候选跨模态映射记录；

5、s2、执行跨模态关联验证任务，根据用户对跨模态关联验证任务的响应计算候选的跨模态映射记录的关联质量，当所述关联质量达到预设值时，将候选的跨模态映射记录存储为已验证跨模态映射，把候选声音线索标记为已关联线索；

6、s3、执行无声音的自适应视觉辨别任务，获得目标视觉特征在再激活前的视觉辨别阈值；

7、s4、采集用户的脑电信号和眼电信号，基于用户的脑电信号和眼电信号确定用户处于稳定n3睡眠状态或者用户处于清醒状态，根据用户状态选择再激活路径；

8、s5、在不呈现目标视觉刺激的条件下，利用预先与目标视觉特征建立关联的已关联线索，对已验证跨模态映射中的相应的视觉表征进行再激活；

9、s6、再激活阶段结束后，计算再激活后视觉辨别阈值，基于再激活前视觉辨别阈值、再激活后视觉辨别阈值计算视觉表现提高量；

10、s7、计算有效再激活试次数和单位有效试次视觉增强效率，当视觉表现提高量、单位有效试次视觉增强效率没达到预设条件，返回执行步骤s5，更新优化再激活策略。

11、具体地，所述步骤s1，包括：

12、s11、定义需要增强的目标视觉特征，定义候选声音线索参数；

13、s12、控制视觉呈现终端呈现具有目标视觉特征的视觉刺激，并控制声音线索输出单元输出与视觉刺激同步的候选声音线索，执行视觉朝向辨别任务并通过响应输入单元做出响应，建立目标视觉特征与候选声音线索的跨模态对应关系；

14、s13、根据目标视觉特征与候选声音线索的跨模态对应关系，建立候选的跨模态映射记录。

15、具体地，所述步骤s2，包括：

16、s21、执行跨模态关联验证任务，控制声音线索输出单元输出由已学习基准音组成的声音刺激，控制视觉呈现终端在左侧视野和右侧视野分别呈现目标光栅和干扰光栅，用户判断目标光栅位于左侧视野还是右侧视野，通过响应输入单元作出响应；

17、s22、根据用户对跨模态关联验证任务的响应计算正确响应数，基于正确响应数计算关联质量。

18、具体地，所述步骤s3，包括：

19、s31、建立初始阈值概率分布，采用quest自适应阶梯方法，控制视觉呈现终端依次呈现两个光栅，记录用户在第i个试次的响应结果；根据当前后验分布选择朝向差作为视觉辨别阈值；

20、s32、更新阈值后验分布，根据心理测量函数确定在候选阈值和朝向差条件下出现第i个试次的响应结果的似然，随后按照贝叶斯规则更新阈值后验分布；

21、s32、完成预设试次数后，根据最终后验分布估计单个quest自适应阶梯的视觉辨别阈值。

22、具体地，所述步骤s4，包括：

23、s41、通过脑电和眼电采集单元连续采集用户的脑电信号和眼电信号，将脑电信号和眼电信号按预设时间窗划分；

24、s42、根据用户的脑电信号和眼电信号，判定用户是否已经进入稳定n3睡眠状态，判定用户是否处于清醒状态；

25、s43、当用户已经进入稳定n3睡眠状态，且脑电和眼电信号连续、记录完整，不存在影响睡眠状态判定的明显伪迹或信号中断时，选择睡眠再激活路径；当用户处于清醒状态、当前不具备睡眠监测条件或需要即时完成再激活时，选择清醒再激活路径。

26、具体地，所述步骤s5，包括：

27、s51、选择清醒再激活路径时，完成声音辨别任务并输出多个清醒再激活声音试次，每个清醒再激活声音试次依次输出两个声音刺激，不呈现包含目标朝向和目标位置的视觉刺激，确定声音可感知阈值和安全输出上限；

28、s52、选择睡眠再激活路径时，基于已验证跨模态映射中的已关联线索，将多个声音再激活试次设置为一个预设的睡眠声音短序列，输出睡眠声音短序列。

29、具体地，所述步骤s7，包括：

30、s71、对每个再激活试次设置有效标记，统计有效再激活试次数；

31、s72、根据有效再激活试次数和视觉表现提高百分比，计算单位有效试次视觉增强效率；

32、s73、当视觉表现提高量、单位有效试次视觉增强效率没达到预设条件，返回执行步骤s5，对再激活路径、已关联线索、输出剂量和状态门控参数进行调整；当视觉表现提高量vpi达到预设统计学判据且单位有效试次视觉增强效率相对于调整前的单位有效试次视觉增强效率提高达到预设幅度时，认为当前再激活参数同时满足视觉增强效果和再激活效率要求，则停止优化再激活实施过程的策略。

33、本发明与现有技术相比，具有如下优点和有益效果：

34、本发明提供一种基于跨模态线索再激活的视觉感知增强方法，通过把视觉特征编码、声音线索参数和关联质量作为同一映射记录，使声音再激活明确指向预定朝向和视野位置，而不是一般性的记忆内容。睡眠再激活阶段不再次呈现目标视觉刺激，也不要求执行视觉辨别、听觉判断或按键响应，降低持续占用视觉通道以及维持注意和主动操作所形成的主动参与负担。

35、通过把视觉表现提高量除以有效试次数得到单位有效试次视觉增强效率，可在不同试次数的睡眠再激活、清醒再激活和视觉训练之间进行试次归一化比较，睡眠再激活的单位有效试次视觉增强效率显著高于清醒再激活和剂量匹配视觉训练。清醒期通过声音可感知阈值门控，睡眠期通过n3门控、短序列输出和异常暂停，避免把同一声音策略不加区分地用于不同脑状态；清醒和睡眠再激活均可形成目标特异性提高，清醒路径可在无需睡眠监测或需要即时训练时使用，睡眠路径进一步提高单位试次效率并减少用户操作。通过关联验证和未关联线索排除，降低错误声音映射在睡眠期间导致目标视觉表现下降的风险。