基于浏览器摄像头眼动数据与多模态行为的低龄儿童孤独症筛查方法

本发明属于计算机视觉与数字医疗，具体涉及一种基于浏览器摄像头眼动数据与多模态行为量化的低龄儿童孤独症筛查方法。

背景技术：

1、孤独症谱系障碍（autism spectrum disorder，asd）相关风险通常在婴幼儿和学龄前阶段即可表现为社会定向、共同注意、社交互动、注意解除、兴趣偏好、感知反应以及重复性行为等方面的差异。12-36月龄是早期筛查和转介的重要年龄窗口，但该阶段儿童语言表达有限、指令理解能力有限、稳定注视和主动配合能力较弱，传统依赖问卷、人工观察、线下访谈或实验室设备的评估流程难以在家庭、基层机构、儿保门诊或研究队列中低成本高频执行。

2、既有眼动研究或产品多依赖专用眼动仪、固定头部位置或较强配合要求。普通摄像头眼动方案虽然降低了硬件门槛，但若只输出屏幕注视落点即被试者视线在屏幕上的落点，在12-36月龄儿童场景下仍存在明显不足：儿童可能频繁转头、离屏、靠近屏幕、身体摇动、短时闭眼、眨眼、发声或被监护人短暂遮挡；这些现象既可能导致采集质量下降，也可能本身包含与发育状态相关的行为信息。若将所有非理想帧简单删除，容易丢失行为证据；若不加区分地送入模型，又可能把采集失败误判为风险特征。

3、进一步地，asd相关风险筛查不能仅将成人认知或痴呆筛查任务中的记忆编码、延迟再认和搜索效率指标替换为asd名称。针对12-36月龄儿童的方案应围绕直接社交注视、眼神、头动、手势与指向线索、共同注意、物体-社会偏好、注意解除、非社会对照构建，并应采集眼动落点以外的头部、眨眼、上半身动作和语音/声学特征。

4、因此，亟需一种面向低龄儿童非配合场景的浏览器多模态行为评估技术方案，使普通网页浏览器、普通前置摄像头和麦克风即可完成低摩擦采集；在不依赖专用眼动仪、不要求儿童主动回答的情况下，完成会话自适应屏幕注视落点估计、多模态行为特征抽取、质量控制分型和被试级asd相关风险概率输出。

技术实现思路

1、为了解决现有技术中的上述问题，本发明提供了一种基于浏览器摄像头眼动数据与多模态行为的低龄儿童孤独症筛查方法。该方法针对12-36月龄的低龄儿童，以asd社会注意任务链为刺激载体，以多点吸引标定和会话自适应屏幕落点投影保证屏幕注视落点可用性，以统一时间轴将眼动、头部、眨眼、上半身动作和语音/声学信号对齐，以质量控制门控区分不可判读、需重测、部分模态缺失和可判读样本，并通过多模态层级时序风险推理模型输出asd相关风险概率。本发明实现了在不依赖专用眼动仪、不要求被试儿童主动按键或语言回答的条件下，对12-36月龄儿童的asd相关风险进行低摩擦多模态量化筛查，并在头姿漂移、眨眼、离屏、遮挡和环境噪声等采集波动下仍保持风险输出的稳定性与可解释性。

2、为了实现上述目的，本发明的技术方案如下：

3、一种基于浏览器摄像头眼动数据与多模态行为的低龄儿童孤独症筛查方法，包括：

4、s1：采集被试儿童观看预设任务刺激序列过程中的面部、眼周、头部和上半身图像流以及音频信号；对图像流逐帧提取面部及眼周关键点、头部姿态、眨眼状态和上半身关键点，对音频信号提取声学摘要，并逐帧构造为原始多模态样本；所述任务刺激序列包括依次执行的标定段和正式任务段的各项任务刺激片段；

5、s2：基于标定段的原始多模态样本构造标定支持集，求解最终会话投影矩阵，并基于所述最终会话投影矩阵计算正式任务段被试儿童的屏幕注视落点；

6、s3：以所述预设任务刺激序列中的任务刺激事件为时间锚点，将所述屏幕注视落点、头部姿态、眨眼状态、上半身动作和声学摘要进行对齐，构建各任务刺激片段的任务级多模态响应单元，并在所述任务级多模态响应单元中区分行为未发生状态与模态不可判定状态；

7、s4：计算质量控制指标并判断是否进入风险推理阶段；

8、s5：当所述质量控制指标结果为通过，基于所述任务级多模态响应单元和各模态的有效状态，通过多模态层级时序风险推理模型生成孤独症风险评估结果。

9、进一步的，步骤s2中，计算正式任务段被试儿童的屏幕注视落点，包括：

10、s2.1：基于各原始多模态样本所属任务刺激片段的任务标识提取标定段的原始多模态样本，并根据标定段的原始多模态样本构造标定支持集；

11、s2.2：基于所述标定支持集求解初始会话投影矩阵，并对所述初始会话投影矩阵进行迭代精化，得到最终会话投影矩阵；

12、s2.3：对正式任务段内任一有效面部及眼周关键点样本，利用所述最终会话投影矩阵进行映射计算，得到对应的屏幕注视落点。

13、进一步的，步骤s2.1中，所述根据标定段的原始多模态样本构造标定支持集，包括：

14、识别标定段各标定锚点对应的锚点时间窗，即每个标定锚点呈现的时间段；

15、根据时间戳将标定段的原始多模态样本划分至对应的锚点时间窗内；

16、在各锚点时间窗内执行无效帧剔除、稳定头姿筛选和眨眼帧过滤，得到有效样本；

17、将各锚点时间窗内的有效样本聚合为标定支持集，该标定支持集表示为：

18、

19、其中，为支持样本数量；表示标定支持集内第个支持样本的面部及眼周关键点坐标集合；表示第个支持样本所处锚点时间窗对应的锚点屏幕参考坐标；表示第个支持样本的置信权重；表示第个支持样本所处锚点时间窗对应的锚点编号；表示第个支持样本的时间戳。

20、进一步的，步骤s2.2中，所述最终会话投影矩阵基于以下方式得到：

21、基于标定支持集，通过带投影先验约束的正则化最小二乘求解初始会话投影矩阵：

22、

23、其中，为初始会话投影矩阵，为离线训练得到的投影先验；为正则化系数；表示frobenius范数平方；表示标定支持集内第  个支持样本的扩展特征，；表示由共享几何表征网络输出的第  个支持样本的几何描述特征，，表示共享几何表征网络，表示第  个支持样本内所有面部及眼周关键点坐标执行平移和尺度归一化得到的归一化关键点集合；为基于归一化关键点构造的局部眼几何向量；表示头部姿态向量；

24、以所述初始会话投影矩阵为初始值，对标定支持集执行多轮递推最小二乘精化，在每一轮精化结束后计算锚点残差，当相邻两轮锚点残差下降幅度小于预设阈值或达到预设最大迭代轮数时，停止精化，并将当前轮次更新得到的矩阵作为最终会话投影矩阵。

25、进一步的，所述对标定支持集执行多轮递推最小二乘精化，具体为：

26、设第  轮第  个支持样本更新前的逆协方差矩阵为，则递推更新公式为：

27、

28、

29、

30、

31、其中，为第  轮吸收第  个支持样本时的增益向量；和分别为第 轮第  个支持样本更新前和更新后的会话投影矩阵；为第  轮第  个支持样本的二维重投影残差，即真实屏幕参考坐标与当前预测之间的差；和分别为第  轮第  个支持样本更新前和更新后的逆协方差矩阵。

32、进一步的，步骤s3中，所述构建各任务刺激片段的任务级多模态响应单元，包括：

33、在各任务刺激片段播放后的响应时段内，基于所述屏幕注视落点、头部姿态、上半身关键点、眨眼状态、声学摘要，分别构造眼动事件、头部事件、上半身动作事件、眼睑行为事件和声音响应事件，得到由所述眼动事件、头部事件、上半身动作事件、眼睑行为事件和声音响应事件组成的多模态行为事件序列；各模态行为事件至少记录事件类型、该事件类型的开始时间和结束时间、所属任务刺激片段和试次、有效状态；

34、基于任一任务刺激片段的多模态行为事件序列，按照该任务刺激片段的筛查目的构造对应事件类型的响应特征向量，包括对应事件类型是否发生、首次发生时间、结束时间、出现次数和有效状态；

35、将同一模态行为事件下不同事件类型的响应特征向量按预设顺序拼接，形成各模态行为事件响应特征，分别为眼动事件响应特征、头部事件响应特征、上半身动作事件响应特征、眼睑行为事件响应特征和声音响应事件响应特征；

36、将同一试次内同一任务刺激片段的各模态行为事件响应特征组合为任务级多模态响应单元。

37、进一步的，所述任务级多模态响应单元记录有所属任务刺激片段、各模态行为事件响应特征、各模态有效状态以及由多个模态共同形成的跨模态响应关系；其中，当组成所述跨模态响应关系的多个基础模态均可判定时，判定所述跨模态响应关系发生；当任一基础模态不可判定时，将所述跨模态响应关系记录为不可判定状态，以区别于行为未发生状态。

38、进一步的，所述质量控制指标包括：标定锚点覆盖率、任务完成率、注视有效率、aoi归属率和模态有效率；

39、当标定锚点覆盖率不满足预设条件，系统触发重新标定，多次标定仍不满足标定通过条件，输出本次采集不可判读；

40、当标定锚点覆盖率满足预设条件，而任务完成率或注视有效率不满足预设条件时，输出需重测；

41、当任务完成率和注视有效率满足预设条件，而头部、上半身或音频中的模态有效率不满足条件时，记录对应模态缺失，只有支持在该模态缺失状态下使用其余有效记录时，才允许继续推理，否则输出需重测。

42、进一步的，所述多模态层级时序风险推理模型包括模态编码层、任务级融合层、任务序列编码层和风险输出层；

43、设第个任务级多模态响应单元中第个模态行为事件响应特征为，其中表示眼动、眼睑、头部、上半身动作或声音模态；根据各模态的有效状态构造模态缺失掩码，模态缺失掩码中的对应元素为，模态可用时取1，不可用时取0；

44、所述模态编码层分别对各模态行为事件响应特征进行编码：

45、

46、其中，表示第个模态对应的特征编码网络，表示第个模态不可用时采用的缺失模态特征，；

47、所述任务级融合层将同一任务级多模态响应单元中的各模态编码特征和模态缺失掩码进行拼接：

48、

49、其中，表示全连接融合网络，表示第个任务级多模态响应单元的融合特征；

50、所述任务序列编码层采用双向门控循环单元网络bigru，按照任务链和试次顺序处理各任务级融合特征：

51、

52、其中，表示任务级多模态响应单元的数量，表示经过任务序列编码后的第个任务表征；系统对各任务表征进行平均汇总，得到被试级表征：

53、

54、所述风险输出层将被试级表征与月龄编码进行拼接，并通过sigmoid函数输出asd相关风险概率：

55、

56、其中，表示月龄编码函数，为sigmoid函数，、分别为权重向量和偏置，为被试儿童的月龄；

57、当所述风险概率大于或等于预设筛查阈值，输出高风险筛查结果，否则输出低风险筛查结果。

58、进一步的，所述预设任务刺激序列包括依次执行的以下各项任务刺激片段：

59、多点吸引标定段，用于在屏幕的多个已知锚点位置呈现吸引注意的刺激，以采集所述标定支持集；

60、校准质量核验段，用于验证所述最终会话级投影矩阵的可用性；

61、直接社交段，用于呈现包含人物面部或社交互动的刺激，以量化被试儿童对社交刺激的自发定向；

62、手势和共同注意段，用于呈现包含提示线索和目标物的刺激，以量化被试儿童的共同注意能力；

63、物体-社会偏好段，用于同时或交替呈现社会元素和非社会元素，以量化社会偏好；

64、非社会对照段，用于呈现不含人物或社交互动的对照刺激，以区分被试儿童对物理刺激的反应。

65、本发明的有益效果：

66、（1）本发明利用普通浏览器、前置摄像头和麦克风完成自然观看任务，不要求12-36月龄儿童按键、回答问题或持续保持固定头位。

67、（2）本发明以任务刺激事件为共同锚点，将眼动、眼睑、头部、上半身和声音记录组织为同一试次内的多模态行为事件和任务级多模态响应单元，使各模态具有一致的任务含义和时间关系。

68、（3）本发明通过直接社交、手势和共同注意、物体-社会偏好以及非社会对照任务形成相互补充的多任务多模态证据，并将同一刺激下的共同响应关系用于asd相关风险推理。

69、（4）本发明在风险推理前区分行为未发生、模态不可判定和会话质量不合格，避免将采集失败或部分模态缺失误解释为低风险行为。

70、（5）本发明输出单一的asd相关风险概率、风险分层和相应证据摘要，便于基层筛查、家庭复测、候诊分流和进一步专业评估。