基于深度学习眼动与体态追踪的便携式身心智评估系统的制作方法

本发明涉及便携式多模态传感与计算机数据处理设备。所述设备在同一受控任务会话中获取用户的体态图像、眼动、面部图像、语音和任务响应。所述设备分别形成身体体态、心理行为和认知任务三类中间记录。所述设备还利用深度学习模型处理眼动及任务特征。三类记录通过公共标识符和质量状态封装为可追溯数据包。

背景技术：

1、便携式评估设备需要在运输后保持传感器相对位置。显示器、摄像头和眼动追踪组件如果在每次使用前重新安装，容易产生坐标变化和记录错配。上方摄像头能够在用户观看任务时取得头部、肩部和上半身图像。显示器下方的眼动追踪组件能够取得与屏幕任务相关的注视坐标和注视路径。将两类传感器固定在同一盖体有助于重复部署。

2、体态、心理行为和认知任务数据通常由不同设备或不同程序分别采集。各来源可能使用不同采样间隔和时间基准。仅按时间戳合并数据时，难以确认记录是否属于同一任务或试次。某一通道缺失或数据不可读时，传统汇总结果仍可能给出缺少依据的数值。因此需要同时保存公共会话标识符、任务标识符、来源时间戳和质量状态。

3、眼动和任务表现可形成多维数值特征。固定规则难以表达特征之间的非线性关系。深度学习模型可以在训练后把眼动及任务特征转换为标准化认知任务子评分，但训练标签、输入计算、网络层级和模型版本如果未被记录，所得结果难以复现。模型还可能在输入缺失或超出有效范围时输出看似有效的数值。因此需要把标签来源、特征参数、模型配置、输入校验和质量门控与传感器记录一起保存。

4、现有技术

5、现有技术已经公开把显示器、摄像头或处理器设置在可运输壳体内的装置。部分装置还公开了眼动、手势或用户行为追踪。另有系统在屏幕上呈现视觉刺激，并利用注视数据、图像数据或语音数据进行评估。相关实例包括us 2025/0322962 a1、wo 2013/012950a1、ep 2 590 047 a1、us 2020/0352499 a1、wo 2018/055618 a1、us 2020/0029806 a1、us2016/0034141 a1和us 2016/0022193 a1。上述文献涉及便携式结构、传感器或单类评估数据。

6、经本申请人审阅，尚未发现一份文献完整公开本申请的组合。该组合在固定盖体布局中设置上方体态摄像头和下方眼动追踪组件，并在同一任务标识下生成三类可分读记录。该组合还使深度学习认知推理受输入校验和模型版本控制，并把不可计算状态明确写入数据包。上述说明仅用于说明技术背景，不构成对任何文献法律地位的承认。

7、引用文献

8、[1] us 2025/0322962 a1，evaluation method of the level of fatigue ofan operator and associated evaluation system（操作者疲劳程度的评估方法及相关评估系统）。

9、[2] wo 2013/012950 a1，integrated portable medical diagnostic system（集成式便携医疗诊断系统）。

10、[3] ep 2 590 047 a1，portable device（便携式设备）。

11、[4] us 2020/0352499 a1，adaptive psychological assessment tool（自适应心理评估工具）。

12、[5] wo 2018/055618 a1，screening apparatus and method（筛查装置和方法）。

13、[6] us 2020/0029806 a1，eye-tracking system for detection of cognitiveload（用于检测认知负荷的眼动追踪系统）。

14、[7] us 2016/0034141 a1，delay of display event based on user gaze（基于用户注视的显示事件延迟）。

15、[8] us 2016/0022193 a1，real time biometric recording, informationanalytics and monitoring systems for behavioral health management（用于行为健康管理的实时生物特征记录、信息分析和监测系统）。

技术实现思路

1、为解决便携部署后传感器关系不稳定的问题，本发明提供具有底座和盖体的翻盖式壳体。显示器固定在盖体内侧。摄像头组件固定在显示器上方，并朝向用户。眼动追踪组件固定在显示器下方。计算单元、麦克风和任务响应装置与上述部件连接。会话控制器在显示器上呈现任务，并创建会话标识符、任务标识符和可选的试次标识符。

2、上方摄像头采集包含体态区域和面部区域的带时间戳图像帧。体态处理器从体态区域取得身体关键点、轮廓或动作特征。眼动追踪组件取得注视坐标、停留事件和注视路径。麦克风和任务响应装置取得语音、任务选择、自评和行为响应。控制器根据体态图像和体态特征生成身体体态记录。

3、控制器根据眼动数据生成心理行为记录，并在可用时把面部图像、语音、任务选择、自评和行为响应中的一种或多种写入该记录。控制器根据注意、记忆或执行控制任务的答案、正确率、反应时间和注视路径生成认知任务记录。上述记录均属于可观察数据或中间评估数据。系统不直接确定疾病名称、心理诊断或智商。深度学习推理模块接收按固定顺序排列的十项归一化特征。

4、前四项为最大相邻眼动采样间隔以及关键词、指令和背景兴趣区的停留时间。后六项为一维和二维注视轨迹各自的递归率、确定性和熵。该模块采用十节点输入层、三十二节点第一隐藏层、十六节点第二隐藏层和单节点输出层。两个隐藏层采用relu激活和百分之二十五随机失活，输出层采用sigmoid激活。输出为零至一范围内的标准化认知任务子评分，并与任务模型标识符、模型配置标识符及输入引用一起保存。

5、质量门控模块检查公共标识符、所需来源字段和数值范围。输入满足配置条件时，相应维度被标记为可用。仅缺少非必需来源时，相应维度被标记为受限。缺少必需字段、存在不可读数据或深度学习输入无效时，相应维度被标记为不可计算。不可计算时不以默认值或虚构值替代模型输出。

6、三类记录使用相同的适用会话标识符和任务标识符。各来源仍保留自身来源标识符、来源时间戳和状态值。控制器把三类记录、质量记录和模型配置标识符存入综合评估数据包。数据包允许授权人员追溯每一结果所用的来源和模型。该结构减少跨设备记录错配，并提高重复部署后的可复核性。

1.一种基于深度学习眼动与体态追踪的便携式身心智评估系统（400），包括：具有底座（411）和盖体（412）的翻盖式壳体（410）；固定于所述盖体（412）的显示器（420）；固定于所述显示器（420）上方的摄像头组件（430），所述摄像头组件（430）的视场包括用户的体态区域和面部区域；固定于所述显示器（420）下方的眼动追踪组件（440）；麦克风输入（481）；任务响应输入装置（484）；计算单元（450）；以及由所述计算单元（450）执行的会话控制器（490）、体态数据处理器（433）、记录管理器（493）、深度学习推理模块（495）和质量门控模块（496）；其中，所述会话控制器（490）被配置为创建会话标识符和任务标识符并在所述显示器（420）上呈现认知任务；所述体态数据处理器（433）被配置为从所述摄像头组件（430）取得的体态区域图像数据（431）生成体态特征；所述记录管理器（493）被配置为根据所述体态区域图像数据（431）和所述体态特征生成身体体态记录（501），根据所述眼动追踪组件（440）取得的眼动数据生成心理行为记录（502），并在可用时把面部图像、语音、任务选择、自评响应和行为响应中的一种或多种写入所述心理行为记录（502），并利用存储的眼动坐标到显示坐标的变换把眼动样本分配到关键词兴趣区、指令兴趣区或背景兴趣区；所述记录管理器（493）还被配置为按固定顺序形成带有特征名称或位置标识符的十项归一化特征，所述十项归一化特征依次为最大相邻眼动采样间隔、关键词兴趣区停留时间、指令兴趣区停留时间、背景兴趣区停留时间、一维递归率、一维确定性、一维熵、二维递归率、二维确定性和二维熵，其中一维和二维递归特征采用嵌入维数2、时间延迟1、递归阈值0.055和最小递归线长度2计算；所述深度学习推理模块（495）依次包括十节点输入层、采用relu激活和百分之二十五随机失活的三十二节点第一隐藏层、采用relu激活和百分之二十五随机失活的十六节点第二隐藏层以及采用sigmoid激活的单节点输出层，并被配置为根据所述任务标识符、rqa参数签名和模型配置标识符（507）选择对应的任务回归模型，根据所述十项归一化特征生成写入认知任务记录（503）的标准化认知任务子评分；所述质量门控模块（496）被配置为根据对应记录的必需来源和公共标识符确定所述身体体态记录（501）、所述心理行为记录（502）和所述认知任务记录（503）各自的可用、受限或不可计算状态，并在执行所述深度学习推理模块（495）前检查所述十项归一化特征的数量、所述特征名称或位置标识符与所述固定顺序的一致性以及数值有效性；并且所述记录管理器（493）被配置为使三类记录共享适用的会话标识符和任务标识符，同时保留来源时间戳和模型配置标识符（507），并将三类记录与质量记录（504）存储在综合评估数据包（505）中。

2.根据权利要求1所述的系统（400），其中，所述壳体（410）能够在闭合运输状态与展开使用状态之间移动；所述显示器（420）、所述摄像头组件（430）和所述眼动追踪组件（440）位于所述盖体（412）的固定安装区域；所述计算单元（450）可拆卸地支承于所述底座（411）中的支承嵌件（460）；并且连接所述盖体（412）与所述计算单元（450）的线缆经过邻近铰链（413）的内部走线区域（480）。

3.根据权利要求1所述的系统（400），其中，体态数据处理器（433）被配置为在体态区域图像数据（431）中检测身体关键点、身体轮廓或两者，并根据一个或多个带时间戳图像帧生成头部倾斜、肩线方向、上半身位移、动作幅度和姿态持续时间中的至少两项；所述身体体态记录（501）保存对所用图像帧的引用。

4.根据权利要求1所述的系统（400），其中，所述心理行为记录（502）保存对每一所用来源项目的引用；当眼动来源以及面部图像、语音、任务选择、自评响应和行为响应中的至少一个其他来源均存在时，所述质量门控模块（496）把所述心理行为记录（502）标记为可用；当仅有眼动来源时标记为受限；当眼动来源缺失或任务标识符缺失时标记为不可计算。

5.根据权利要求1所述的系统（400），其中，用于训练所述深度学习推理模块（495）的标签包括时间定向、地点定向、即时记忆、连续减法和延迟回忆五类任务的人工计分子项；所述时间定向和地点定向子项分别除以5，所述即时记忆子项除以3，所述连续减法子项除以5，所述延迟回忆子项除以3，以形成零至一范围内的标准化认知任务子评分；所述标准化认知任务子评分作为供授权人员复核的中间结果，而不直接确定疾病、心理状态或智力等级。

6.根据权利要求1所述的系统（400），其中，每一来源项目包括所述会话标识符、所述任务标识符、来源标识符、来源时间戳、数据格式标识符和来源状态值；当任务包括多个试次时还包括试次标识符；并且不同来源项目的关联不要求各来源共享硬件时钟。

7.根据权利要求1所述的系统（400），其中，所述质量门控模块（496）被配置为检查所述十项归一化特征的特征数量、随向量提供的特征名称或位置标识符与模型配置中固定顺序的一致性以及数值有限性；把位于负0.000001至零之间的数值截断为零，把位于一至1.000001之间的数值截断为一，并在所述质量记录（504）中保存截断状态；在任何必需特征缺失、标识符顺序不匹配或数值落在负0.000001至1.000001之外时，阻止所述深度学习推理模块（495）执行推理，并写入不可计算状态和原因代码。

8.根据权利要求1所述的系统（400），其中，所述模型配置标识符（507）对应于五个任务回归模型各自的模型权重、十项特征顺序、归一化参数、网络层级、任务标签含义和输出含义；所述认知任务记录（503）保存任务模型标识符、所述模型配置标识符（507）、rqa参数签名、眼动坐标到显示坐标的变换版本以及所述十项归一化特征所引用的来源记录，以使所述标准化认知任务子评分能够被复核。

9.一种便携式身心智评估系统的数据处理方法，包括：在固定于翻盖式壳体（410）的盖体（412）上的显示器（420）呈现认知任务，并创建会话标识符和任务标识符；通过固定在所述显示器（420）上方的摄像头组件（430）接收包含体态区域和面部区域的带时间戳图像帧，通过固定在所述显示器（420）下方的眼动追踪组件（440）接收眼动数据，并接收语音或任务响应；从所述体态区域的图像数据生成体态特征，并形成身体体态记录（501）；根据所述眼动数据形成心理行为记录（502），并在可用时把面部图像、语音、任务选择、自评响应和行为响应中的一种或多种写入所述心理行为记录（502）；利用存储的眼动坐标到显示坐标的变换把眼动样本分配到关键词兴趣区、指令兴趣区或背景兴趣区；按固定顺序形成带有特征名称或位置标识符的最大相邻眼动采样间隔、三类兴趣区停留时间以及一维和二维注视轨迹各自的递归率、确定性和熵共十项归一化特征，其中递归特征采用嵌入维数2、时间延迟1、递归阈值0.055和最小递归线长度2计算；检查必需来源、公共标识符、所述十项归一化特征的数量、所述特征名称或位置标识符与模型配置中固定顺序的一致性以及数值有限性，把位于负0.000001至零之间的数值截断为零，把位于一至1.000001之间的数值截断为一，并在任何必需特征缺失、标识符顺序不匹配或数值落在负0.000001至1.000001之外时判定检查未通过；在检查通过时，根据所述任务标识符、rqa参数签名和模型配置标识符（507）选择任务回归模型，并把所述十项归一化特征依次输入十节点输入层、采用relu激活和百分之二十五随机失活的三十二节点第一隐藏层、采用relu激活和百分之二十五随机失活的十六节点第二隐藏层以及采用sigmoid激活的单节点输出层，以生成标准化认知任务子评分并写入认知任务记录（503）；在检查未通过时，把受影响记录标记为受限或不可计算而不生成替代子评分；使三类记录共享适用的会话标识符和任务标识符，同时保留来源时间戳和模型配置标识符（507）；以及将三类记录与质量记录（504）存储在综合评估数据包（505）中。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序在由便携式身心智评估系统（400）的处理器执行时，使所述处理器执行权利要求9所述的数据处理方法。