基于浏览器摄像头眼动估计与质量控制的认知风险检测方法

本发明属于计算机视觉与数字医疗，具体涉及一种基于浏览器摄像头眼动估计与质量控制的认知风险检测方法。

背景技术：

1、认知功能下降及相关风险状态的早期发现，通常依赖纸笔量表、专科访谈或专用眼动仪设备。上述方案要么对场地、人员和设备依赖较强，要么采集成本较高，难以覆盖社区筛查、基层分诊、候诊分流和居家随访等低摩擦场景。

2、现有基于摄像头的远程眼动方案中，较多方法将原始视频上传至服务端，或者在获得注视点后直接进入评分流程。其中屏幕注视点为用户视线在屏幕上的落点，对于后续眼动事件重建、任务级特征提取和认知风险推理有重要作用。该类方案在浏览器帧率波动、终端算力差异、网络上传异步、头姿漂移、局部遮挡以及不同设备摆放几何关系变化条件下，容易出现注视点不稳定、校准易失效以及跨会话可比性差的问题。

3、进一步地，现有很多认知筛查方案将“是否可以评分”和“是否存在风险”混为一体。低质量采集样本要么被静默丢弃，要么仍被强行送入模型打分，从而难以在真实部署场景中区分“被试确实低风险”和“本次采集不可判读”两种情况，也无法为是否需要重新校准、重新测试或转人工复核提供明确依据。

4、此外，通用的浏览器摄像头眼动估计大多侧重一般性注视点回归，对筛查任务链内部的标定锚点服从性、任务阶段切换、质量控制门控以及结果阈值治理缺乏一体化设计。仅依赖一次静态校准并直接信任拟合结果，在部署场景中容易出现标定点附近拟合不足、任务阶段漂移累积以及最终筛查概率不稳定的问题。

5、因此，亟需一种围绕真实浏览器部署场景构建的认知风险检测方法。

技术实现思路

1、为了解决现有技术中的上述问题，本发明提供了一种基于浏览器摄像头眼动估计与质量控制的认知风险检测方法，该方法在不上传原始视频的前提下采集可用的面部关键点序列，将标定段样本转化为会话特异的屏幕落点投影，实现在浏览器帧率不稳定、网络异步上传、头姿漂移和局部遮挡等非受控条件下保持从面部关键点到屏幕落点的估计可用性；在评分前完成显式质量控制，并基于固定顺序的视觉认知筛查任务链输出经概率校准的被试级认知风险概率。

2、为了实现上述目的，本发明的技术方案如下：

3、一种基于浏览器摄像头眼动估计与质量控制的认知风险检测方法，包括：

4、s1、浏览器端加载分阶段视觉认知筛查任务链，并调用浏览器前置摄像头采集被试者在执行所述分阶段视觉认知筛查任务链过程中的面部视频流；所述分阶段视觉认知筛查任务链包括依次执行的标定段和正式任务段的各项视觉认知任务测试；

5、s2、基于所述面部视频流获取所述正式任务段的屏幕注视点坐标；

6、s3、将各屏幕注视点坐标重采样至统一时间轴；

7、s4、计算正式任务段的质量指标并确定正式任务段的质量控制结果；

8、s5、当正式任务段的质量控制结果为通过，基于重采样后的屏幕注视点坐标构造包含基础时空特征和事件特征的逐帧时序特征，并对各正式任务段提取任务级汇总特征；

9、s6、将所述逐帧时序特征及各任务级汇总特征输入风险推理模型，得到认知风险概率，并基于所述认知风险概率输出最终的认知风险筛查结果。

10、进一步的，步骤s2中，所述正式任务段的屏幕注视点坐标基于以下方式获取：

11、s2.1、浏览器端对所述面部视频流逐帧提取面部关键点坐标，单帧中检测到的面部关键点坐标集合组成一个面部关键点样本，并记录各面部关键点样本所属任务段的任务标识，得到按时间戳排序的若干面部关键点样本并上传至处理端；

12、s2.2、所述处理端基于任务标识提取标定段的面部关键点样本，并根据标定段的面部关键点样本构造标定支持集；

13、s2.3、基于所述标定支持集求解初始会话投影矩阵，并对所述初始会话投影矩阵进行迭代精化，得到最终会话投影矩阵；

14、s2.4、基于所述标定支持集的质量指标，确定标定段的质量控制结果；

15、s2.5、响应于所述质量控制结果为通过，对正式任务段内任一面部关键点样本，利用所述最终会话投影矩阵进行映射计算，得到该面部关键点样本对应的屏幕注视点坐标。

16、进一步的，步骤s2.2中，所述标定支持集基于以下方式构造：

17、识别标定段各标定锚点对应的锚点时间窗，即每个标定锚点呈现的时间段；

18、根据时间戳将标定段的面部关键点样本划分至对应的锚点时间窗内；

19、在各锚点时间窗内对面部关键点样本执行无效帧剔除、稳定头姿筛选和眨眼帧过滤，得到有效样本；

20、将各锚点时间窗内的有效样本聚合为标定支持集，该标定支持集表示为：

21、

22、其中，为支持样本数量；表示标定支持集内第  个支持样本的面部关键点坐标集合；表示第  个支持样本所处锚点时间窗对应的锚点真实屏幕参考坐标；表示置信权重。

23、进一步的，步骤s2.3中，基于所述标定支持集，通过带投影先验约束的正则化最小二乘求解初始会话投影矩阵：

24、

25、其中，为初始会话投影矩阵，为离线训练得到的投影先验；为正则化系数；表示frobenius范数平方；表示标定支持集内第  个支持样本的扩展特征，；表示由共享几何表征网络输出的第  个支持样本的几何描述特征，，表示共享几何表征网络，表示第  个支持样本内所有面部关键点坐标执行平移和尺度归一化得到的归一化关键点集合；为基于归一化关键点构造的局部眼几何向量；表示头姿向量。

26、进一步的，所述最终会话投影矩阵基于以下方式获得：

27、以初始会话投影矩阵为初始值，对标定支持集采用递推最小二乘算法进行迭代精化：

28、设第  轮第  个支持样本更新前的逆协方差矩阵为，则递推更新公式为：

29、

30、

31、

32、

33、其中，为第  轮吸收第  个支持样本时的增益向量；和分别为第 轮第  个支持样本更新前和更新后的会话投影矩阵；为第  轮第  个支持样本的二维重投影残差，即真实屏幕参考坐标与当前预测之间的差；和分别为第  轮第  个支持样本更新前和更新后的逆协方差矩阵；

34、所述递推最小二乘算法的遗忘因子取1，在每一轮结束后计算锚点残差：

35、

36、其中，为屏幕对角线长度；表示第  轮完成全部个支持样本吸收后的会话投影矩阵；

37、当相邻两轮锚点残差下降幅度小于预设阈值时提前停止更新，则得到最终会话投影矩阵；否则，继续下一轮迭代精化直至达到最大迭代轮数。

38、进一步的，所述标定支持集的质量指标包括标定有效帧占比、标定锚点有效覆盖率、标定残差和标定头姿稳定性指标中的至少一种；当且仅当大于第一阈值且大于第二阈值且小于第三阈值且小于第四阈值时，则质量控制结果为通过；否则判定为不通过。

39、进一步的，步骤s4中，所述正式任务段的质量指标包括正式任务关键点有效帧占比、任务覆盖率、异常间断占比、正式任务头姿稳定性指标以及异常坐标占比中的至少一种；当且仅当大于第五阈值且大于第六阈值且小于第七阈值且小于第八阈值且小于第九阈值，则质量控制结果为通过，否则为不通过。

40、进一步的，对统一时间轴上的每个时刻构造逐帧时序特征如下：

41、

42、

43、

44、

45、其中，表示基础时空特征；表示眼动事件类型指示特征；表示当前眼动事件段的起止位置与长度编码；为统一时间轴上第  个时间网格点所属任务段的任务标识；、表示屏幕注视点横坐标和纵坐标；、和分别表示第  个时间网格点的横向速度、纵向速度和速度模长，，，，为重采样间隔；和表示第  个时间网格点的屏幕注视坐标相对于屏幕显示区域宽度和高度归一化后的坐标；、和分别表示第  个时间网格点的注视、扫视和平滑追踪事件指示量，眼动事件重建结果根据统一时间网格上的连续屏幕注视点坐标及速度模长序列得到，属于对应眼动事件则取1，否则取0；、、和分别表示当前眼动事件段的归一化起点位置、终点位置、距事件起点的归一化位置和距事件终点的归一化位置；和分别表示当前眼动事件段长度的正弦和余弦周期编码。

46、进一步的，所述风险推理模型为层级时序模型，包括逐帧特征映射层、任务类型嵌入层、时序编码层、任务级注意力池化层和被试级融合层；

47、将逐帧时序特征按任务标识切分为对应任务段的特征序列，第 个任务段内第  个时间网格点的特征记为；中除了之外的基础时空特征、眼动事件类型指示特征和眼动事件段位置编码特征记为，所述逐帧特征映射层以为输入，经线性层或多层感知机处理后得到逐帧特征映射表示；

48、所述任务类型嵌入层根据中的生成任务嵌入，并将与所述逐帧特征映射表示相加或拼接，再经线性投影，得到帧级隐藏表示；

49、所述时序编码层以同一任务刺激片段内的帧级隐藏表示序列为输入，采用时序编码器建模同一任务段内的时间依赖，注视-扫视转换以及跨事件上下文，输出帧级上下文表示，其中表示第  个任务段重采样后的有效时间网格长度；

50、所述任务级注意力池化层以第  个任务段的帧级上下文表示为输入，计算每个时间网格点对该任务段风险证据的权重，并聚合得到任务段时序表示：

51、

52、

53、其中，表示可学习查询向量、任务类型条件查询或门控注意力网络生成的等价查询表示，表示可学习权重矩阵；

54、所述被试级融合层按固定任务顺序接收，其中，分别表示第  个任务段的时序表示、任务级汇总特征和缺失掩码，所述被试级融合层采用跨任务注意力、门控加权平均或多层感知机进行融合，得到被试级表示，并输出原始风险分数及原始风险概率；

55、所述原始风险概率经参数化概率校准得到校准后风险概率；将校准后风险概率与人口统计学向量融合，得到最终筛查概率：

56、

57、

58、其中，、、分别为标准化年龄、性别编码和受教育程度编码；~为人口统计学融合参数；

59、将最终筛查概率与可配置转诊阈值进行比较，当时，则存在认知风险，否则为低风险。

60、进一步的，所述正式任务段包括依次执行的视觉配对比较编码段、提示引导视觉搜索示范段、正式提示引导视觉搜索段、延迟视觉配对比较提取段、自由观看段和视觉运动探索任务vismet段，各正式任务段的任务级汇总特征为具有判别力的任务级时序特征。

61、本发明的有益效果：

62、（1）本发明在浏览器端完成面部关键点提取，处理端接收的是面部关键点样本而不是原始面部视频，降低视频上传带来的带宽压力和隐私风险，便于在居家、社区和候诊等场景部署；

63、（2）本发明利用标定段形成会话投影矩阵，并通过迭代精化吸收当前会话残差，使不同屏幕尺寸、摄像头位置、被试面部差异和轻微头姿变化下的屏幕注视点估计更加稳定；

64、（3）本发明在标定段和正式任务段均设置质量控制规则，先判断本次采集是否可用，再进入风险推理，能够把“采集不可判读”和“认知风险较低”区分开，减少低质量数据造成的误判；

65、（4）本发明将不同任务段的注视点重采样至统一时间轴，并按任务标识构造逐帧时序特征和任务级汇总特征，便于把视觉配对比较、视觉搜索、自由观看和动态视觉探索中的眼动证据统一使用；

66、（5）本发明结合逐帧时序特征、任务级汇总特征以及人口统计学信息，经概率校准后输出认知风险概率和筛查结果，结果形式清楚，便于根据不同应用场景配置转诊阈值；

67、（6）本发明不依赖专用眼动仪，也不需要复杂线下操作，能在普通终端浏览器中完成筛查检测流程，有利于扩大筛查覆盖面，并为重新标定、重新测试或转人工复核提供依据。