体态视线失配驱动虚拟现实渲染视行为矫正系统的制作方法

本发明涉及虚拟现实交互、眼动追踪及人体行为监测，更具体地说，本发明涉及体态视线失配驱动虚拟现实渲染视行为矫正系统。

背景技术：

1、随着虚拟现实显示、眼动追踪和人体动作捕捉技术的发展，利用虚拟现实环境开展阅读、视觉训练或者交互活动时，已经能够分别获取用户的头部运动、眼球注视以及部分身体姿态信息。对于儿童青少年等需要关注用眼行为的人群，近距离持续观察、头部倾斜、身体姿态偏斜以及头眼配合异常等状态均可在一定程度上反映其当前视行为。现有方案通常通过摄像头、深度传感器或者动作捕捉设备判断身体和头部姿态，或者利用虚拟现实头显中的眼动追踪组件获得注视方向、注视位置及凝视状态，并在检测到异常后发出声音、振动、文字提示或者改变显示内容。

2、但是，外部动作捕捉设备与虚拟现实头显中的眼动追踪组件所反映的对象并不相同。外部动作捕捉设备能够获得躯干、脊柱及头部在真实空间中的位置和姿态，却不能直接确定用户的实际视线落在虚拟场景中的何处；眼动追踪组件能够获得眼球相对于头显的视线方向，却不能独立反映躯干和头部相对于身体的实际姿态。与此同时，外部动作捕捉坐标系、头显坐标系和虚拟场景坐标系通常具有不同的空间基准，各数据流的采样频率和采样时刻也可能不同。若仅将不同来源的数据分别设置阈值进行判断，难以反映同一观察时刻下躯干、头部、视线及虚拟观察目标之间的真实空间关系。

3、在实际观察过程中，头部朝向与实际视线方向之间存在偏差也不必然属于需要矫正的不良视行为。用户由一个虚拟目标转向另一虚拟目标、在同一目标内部移动注视位置或者进行正常扫视时，眼球通常先于或者晚于头部完成方向调整，此时会形成短时头眼不一致。如果只按照头部与视线之间的瞬时夹角或者单一失配阈值启动干预，容易将正常目标切换过程与持续性的头眼失配混为一类。另一方面，不同用户正常观察同一虚拟内容时的头位、视线偏转和观察距离也存在一定差异，仅采用统一的固定姿态阈值，也难以区分个体正常观察状态和实际需要矫正的超限状态。

4、现有视行为干预通常是在检测到距离过近、头部倾斜或者视线异常后，按照预设规则发出提醒或者直接调整画面。例如，可在检测到异常时降低局部清晰度、改变对比度或者使部分画面变暗，以促使用户改变当前观察状态。但对于同一种画面变化，不同用户可能表现出不同的动作响应。某一侧画面清晰度降低以后，有的用户会调整头部，有的用户可能仅改变眼球方向，也可能通过移动躯干或者改变观察距离继续完成当前视觉任务。因此，简单按照“检测到某一方向的失配即采用预设方向的画面扰动”建立固定对应关系，并不能说明该渲染动作实际上作用于哪一个身体自由度，也难以判断该渲染方向对于当前用户是否能够使目标失配朝预期方向减小。

5、因此我们提出了体态视线失配驱动虚拟现实渲染视行为矫正系统来解决上述问题。

技术实现思路

1、为了克服现有技术的上述缺陷，本发明的实施例提供体态视线失配驱动虚拟现实渲染视行为矫正系统，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：体态视线失配驱动虚拟现实渲染视行为矫正系统，包括处理器、存储器、数据接口及虚拟现实渲染接口，存储器中存储有由处理器执行的程序指令，处理器执行程序指令时：获取用户的躯干姿态数据、头部姿态数据、实际视线数据以及虚拟现实场景数据，经空间坐标统一和时间对齐形成体态—头位—视线状态记录，并基于实际视线数据和虚拟现实场景数据确定当前视觉任务锚定状态；在视觉任务锚定状态有效时，将体态—头位—视线状态记录与正常头眼协同参考记录比较，形成至少一个待修正失配自由度及对应的目标修正方向；针对待修正失配自由度建立候选渲染通道，在保持视觉任务锚定状态有效的条件下，对同一候选渲染通道分别执行作用强度相同、空间作用方向相反的第一微幅试探渲染和第二微幅试探渲染，分别取得各试探对应的多个失配自由度的人体响应记录；比较第一微幅试探渲染和第二微幅试探渲染对应的人体响应记录，将随两个相反空间作用方向呈对应方向差异的响应分量确定为候选渲染通道对应的有效响应分量，并据此建立候选渲染通道与多个失配自由度之间的渲染—人体响应耦合关系；基于渲染—人体响应耦合关系，选择能够使待修正失配自由度沿目标修正方向变化、且非目标失配自由度未达到预设代偿限制的候选渲染通道作为正式矫正通道，通过虚拟现实渲染接口执行正式渲染矫正；在正式渲染矫正期间更新各失配自由度，并依据待修正失配自由度的改善状态及非目标失配自由度的变化状态维持、调整或者终止正式渲染矫正。

3、在一个优选的实施方式中，空间坐标统一包括：基于外部动作捕捉坐标系与虚拟现实世界坐标系之间的标定样本确定旋转关系和平移关系，利用旋转关系和平移关系转换躯干及头部空间位置，利用旋转关系转换姿态方向，并结合当前虚拟现实头显姿态将眼动追踪得到的视线方向由头显局部坐标系转换至虚拟现实世界坐标系；时间对齐按照目标处理时刻从不同采样频率的数据流中取得对应的躯干姿态、头部姿态及实际视线状态，时间对齐按照目标处理时刻从不同采样频率的数据流中取得对应的躯干姿态、头部姿态及实际视线状态；当目标处理时刻的实测数据因短时丢帧或者延迟缺失且缺失时长处于预设预测补偿窗口内时，利用对应数据流的卡尔曼预测状态补齐目标处理时刻的状态，超过所述预测补偿窗口或者预测状态不满足预设可信条件的数据不进入当前体态—头位—视线状态记录。

4、在一个优选的实施方式中，当前视觉任务锚定状态通过实际视线与虚拟对象之间的空间相交关系建立，视觉任务锚定记录至少关联当前注视目标、目标空间位置、目标深度、目标运动状态、虚拟相机姿态及实际视线在目标对象上的局部注视位置；当注视目标发生切换或者目标空间位置、目标深度、虚拟相机姿态或局部注视位置中的至少一项超过对应允许变化范围时，使当前视觉任务锚定状态失效，并停止基于该视觉任务锚定状态执行的失配判断或渲染响应辨识。

5、在一个优选的实施方式中，正常头眼协同参考记录由预设参考采集时段内累计取得的、满足基础姿态准入条件的有效稳定观察样本建立；对于接收人工校准输入的用户，以经人工确认的当前最佳生理姿态作为参考中心，并以所述参考中心附近的有效稳定观察样本确定对应参考允许区间；所述系统还基于各失配自由度的归一化失配量及视觉疲劳修正量形成综合视行为风险指数，当任一失配自由度达到单项触发条件或者所述综合视行为风险指数超过预设安全阈值时触发候选渲染通道辨识；在所述综合视行为风险指数超过预设安全阈值且无单一失配自由度达到单项触发条件时，将对所述综合视行为风险指数贡献最大的失配自由度确定为风险主导自由度；失配自由度至少包括躯干—头部失配自由度、头部—视线失配自由度及观察距离失配自由度，对于任一失配自由度，仅将当前状态超出对应参考允许区间的部分确定为该失配自由度的失配程度，并保存对应超出方向；进入微幅试探渲染、正式渲染矫正或恢复见证期间，冻结当前正常头眼协同参考记录。

6、在一个优选的实施方式中，对于待修正失配自由度，在当前视觉任务锚定状态保持不变的条件下建立反事实矫正状态；当前失配状态超过对应参考允许区间的上边界时，以上边界作为反事实目标状态，当前失配状态低于对应参考允许区间的下边界时，以下边界作为反事实目标状态，并以当前失配状态至反事实目标状态的最短变化方向作为目标修正方向。

7、在一个优选的实施方式中，所述候选渲染通道包括局部对比度调节、局部清晰度调节、径向模糊、图像渐变消隐或周边视野清晰度调节中的至少一种；将实际视线与当前注视目标相交形成的局部注视位置确定为当前视觉任务锚定点，以所述视觉任务锚定点在用户视场中的位置作为空间参考，在所述视觉任务锚定点周围设置核心可辨识区，并在所述核心可辨识区外形成相对于所述视觉任务锚定点空间作用方向相反的第一候选作用区域和第二候选作用区域；所述第一微幅试探渲染和第二微幅试探渲染分别作用于所述第一候选作用区域和第二候选作用区域，二者的渲染类型、作用范围、作用强度及持续时间保持一致；所述第二微幅试探渲染在第一微幅试探渲染撤销且各失配自由度恢复至预设可比较基线状态后执行。

8、在一个优选的实施方式中，对于同一候选渲染通道，分别以第一微幅试探渲染和第二微幅试探渲染实际进入显示帧的时刻为刺激生效时刻，依据对应失配自由度出现的首个稳定方向变化点确定自适应响应归属窗口，并在相应自适应响应归属窗口内确定各微幅试探相对于试探前基线所形成的稳定方向变化量；当两个空间作用方向相反的微幅试探在同一失配自由度上产生方向相反且均超过该失配自由度正常短时波动范围的响应时，将两个响应绝对量中较小的响应量作为该候选渲染通道针对该失配自由度的有效响应量；所述代偿限制为对应非目标失配自由度的正常短时波动上限与预设增益系数的乘积；对于多个满足目标修正方向的候选渲染通道，先剔除导致任一非目标失配自由度达到代偿限制的候选渲染通道，再按照目标失配自由度对应的所述有效响应量由大到小进行选择；目标有效响应相同时，选择非目标失配自由度不利变化较小的候选渲染通道作为正式矫正通道。

9、在一个优选的实施方式中，正式渲染矫正按照多个递增的渲染扰动档位执行，并在每一正式响应评价窗口结束时分别确定待修正失配自由度的改善量和非目标失配自由度的变化量，所述正常短时波动范围为建立正常头眼协同参考记录期间对应失配自由度在连续有效状态之间形成的正常变化范围；所述系统还基于瞳孔直径及眨眼频率相对于正常头眼协同参考阶段对应个体基线的变化确定视觉疲劳状态，在视觉疲劳状态达到预设限制条件时，将正式渲染矫正的最高扰动档位限制为预设安全档位，或者终止当前正式渲染矫正并输出休息提示；当待修正失配自由度形成超过正常短时波动范围的正确方向改善时维持当前渲染扰动档位，当未形成正确方向改善且非目标失配自由度未达到代偿限制时提高一个渲染扰动档位；当待修正失配自由度沿错误方向变化或者任一非目标失配自由度达到代偿限制时，不提高渲染扰动档位并终止当前正式矫正通道；其中，当待修正失配自由度未达到预设改善条件，而一个或多个非目标失配自由度发生使整体体态视线关系趋近当前虚拟目标的补偿变化时，将当前状态确定为代偿性矫正状态。

10、在一个优选的实施方式中，当待修正失配自由度进入对应参考允许区间且非目标失配自由度未超过代偿限制时，逐级降低正式渲染扰动；全部附加渲染扰动撤销后进入零扰动恢复见证状态，在当前视觉任务锚定状态保持有效且虚拟现实场景恢复正常渲染的条件下继续获取各失配自由度；待修正失配自由度在预设零扰动保持窗口内持续处于对应参考允许区间时，将当前失配事件记录为自主矫正完成事件；待修正失配自由度在零扰动保持窗口内重新进入待修正状态时，将当前失配事件记录为刺激依赖恢复状态；并将失配自由度、视觉任务锚定条件、微幅试探渲染、渲染—人体响应耦合关系、正式矫正通道及恢复见证结果关联保存为事件记录，在后续待修正失配自由度及失配方向与历史事件相匹配，且当前视觉任务与历史视觉任务的场景相似度评分达到预设相似度阈值时，将对应历史渲染—人体响应耦合关系作为候选先验，并依据历史矫正成功率权重确定历史候选先验的优先次序，并在当前人体响应与历史耦合关系不一致时使对应历史耦合关系失效。

11、本发明的技术效果和优点：

12、本发明将外部动作捕捉获得的躯干、头部状态与虚拟现实头显获得的实际视线以及虚拟场景中的观察目标置于统一的空间和时间基准下处理，使体态、头位、实际视线和当前视觉任务能够在同一状态记录中对应，避免不同坐标基准、不同采样时刻的数据被直接用于失配判断。

13、本发明在当前视觉任务锚定有效的条件下识别体态视线失配，并分别形成躯干—头部、头部—视线及观察距离对应的失配自由度。目标切换、快速扫视或者视觉任务条件发生变化时，不继续沿用原失配判断，由此能够将持续性的体态视线偏离与正常观察过程中的短时头眼不同步区分开。

14、对于需要矫正的失配自由度，本发明不预先固定失配方向与虚拟现实画面扰动之间的对应关系，而针对同一候选渲染通道执行作用强度相同、空间作用方向相反的成对微幅试探，并比较两个相反试探下不同失配自由度的方向响应。由此能够识别当前候选渲染通道对于目标自由度以及其他非目标自由度实际形成的响应关系，为正式渲染矫正提供当前用户和当前视觉任务条件下的响应依据。

15、正式渲染通道的准入同时受目标自由度和非目标自由度约束。只有候选渲染通道能够使待修正自由度沿目标修正方向变化，且非目标失配自由度未达到代偿限制时，才进入正式渲染矫正；正式执行过程中继续分别监测目标自由度和非目标自由度，避免因眼球、头部或者躯干的其他自由度发生补偿，而将原失配尚未恢复的状态误认为矫正完成。

16、本发明还在正式渲染扰动逐步撤销后设置零扰动恢复见证。在虚拟现实画面恢复正常的条件下继续检测原待修正自由度，能够区分视觉扰动存在期间的暂时恢复与扰动撤销后仍能够保持的恢复状态，并将相应结果与本次失配事件、渲染响应耦合关系及正式矫正通道关联保存，为后续同类视觉任务下的渲染通道选择提供可复用的历史依据。