基于同一图像采集设备的头动眼动复合捕捉方法和系统与流程

1.本发明涉及复合信号采集技术领域，尤其涉及一种基于同一图像采集设备的头动眼动复合捕捉方法和系统。


背景技术：

2.神经发育障碍是发育期发生的行为和认知障碍，涉及获得和执行特定智力、运动、语言或社会功能的显著困难。在发育期发生的很多精神和行为障碍会出现行为和认知缺陷(例如精神分裂症、双相障碍)，但只有核心特征为神经发育性的障碍才能纳入此组。神经发育障碍的病因推定是复杂的，在很多个案中是不明确的。
3.在国际疾病分类icd
‑
11中，神经发育障碍包括以下疾病：
4.6a00智力发育障碍；
5.6a01发育性言语或语言障碍；
6.6a02自闭症谱系障碍；
7.6a03发育性学习障碍；
8.6a04发育性动作协调障碍；
9.6a05注意缺陷多动障碍；
10.6a06刻板运动障碍；
11.8a05.0原发性抽动或抽动障碍；
12.6e60继发性神经发育综合征；
13.6a0y其他特定神经发育障碍；
14.6a0z神经发育障碍，未明确。
15.目前，神经发育障碍诊断中的神经心理测验通常采用持续操作测验(cpt)、注意力变量测验(tova)、反应/不反应任务(go/nogo)、威斯康星卡片分类(wcst)、相似图形匹配(mfft)等方法。实际上，除神经心理测验结果外，患者在特定情境下(特定情境可以是范式刺激、检测/干预任务，甚至是日常学习生活任务)的生理和行为特征对于神经发育障碍的准确检测和适时干预同样具有良好的促进作用。
16.在上述测验及日常情境中，受试者的头动、眼动特征亦有评估价值，现有技术中，头动、眼动特征的采集往往依赖于不同的两组光学采集设备实现，从而对这两组光学采集设备间的兼容性、实时性、集成配合提出了很高的要求，同时成本也较为高昂，不利于神经发育障碍患者在家庭环境、学校环境或者培训干预机构环境下实时监测生理和行为特征。


技术实现要素：

17.本发明提供一种基于同一图像采集设备的头动眼动复合捕捉方法和系统，用以解决现有技术中光学采集设备间的兼容性、实时性、集成配合要求高，同时成本较为高昂的缺陷，实现头动眼动信号的低成本高效复合捕捉。
18.本发明提供一种基于同一图像采集设备的头动眼动复合捕捉方法，包括：
19.通过光学采集设备获取第一光学信号；
20.识别所述第一光学信号中的头部标记点，根据头部标记点的位置和/或形状变化，得到头部动作捕捉结果；
21.识别所述第一光学信号中的第一眼部标记点，根据第一眼部标记点的位置和/或形状变化，得到眼部动作捕捉结果；
22.所述第一光学信号为被采集者头部和眼部反射的可见光信号；所述头部标记点为设定的被采集者头部特征点；所述第一眼部标记点为设定的被采集者眼部特征点。
23.根据本发明提供的一种基于同一图像采集设备的头动眼动复合捕捉方法，得到眼部动作捕捉结果后，所述基于同一图像采集设备的头动眼动复合捕捉方法还包括：
24.根据头部动作捕捉结果修正眼部动作捕捉结果。
25.根据本发明提供的一种基于同一图像采集设备的头动眼动复合捕捉方法，所述识别所述第一光学信号中的第一眼部标记点，根据第一眼部标记点的位置和/或形状变化，得到眼部动作捕捉结果的步骤包括：
26.通过所述光学采集设备获取第二光学信号；所述第二光学信号为红外信号源发射、经被采集者眼部反射后得到的红外信号；
27.识别所述第一光学信号中的第一眼部标记点和第二光学信号中的第二眼部标记点，根据第一眼部标记点、第二眼部标记点、光学采集设备的位置以及红外信号源的位置，得到眼部动作捕捉结果；
28.所述第二眼部标记点为被采集者眼部的红外反射点。
29.根据本发明提供的一种基于同一图像采集设备的头动眼动复合捕捉方法，所述第一眼部标记点包括被采集者瞳孔中心；所述光学采集设备集成有红外信号源。
30.根据本发明提供的一种基于同一图像采集设备的头动眼动复合捕捉方法，所述根据第一眼部标记点、第二眼部标记点、光学采集设备的位置以及红外信号源的位置，得到眼部动作捕捉结果的步骤包括：
31.以第二眼部标记点为圆心，r为半径，建立眼球投影轮廓圆，其中r为第二眼部标记点到任意眼球轮廓边缘点的距离；
32.将第一矢量与第二矢量求和，得到眼动矢量作为眼部动作捕捉结果；
33.所述第一矢量是指方向与红外信号源的发射方向相反、大小为的矢量，其中，h为眼球投影轮廓圆上，第二眼部标记点到被采集者瞳孔中心的距离；所述第二矢量是指眼球投影轮廓圆所在平面上，自第二眼部标记点起，至被采集者瞳孔中心止的矢量。
34.根据本发明提供的一种基于同一图像采集设备的头动眼动复合捕捉方法，得到眼部动作捕捉结果后，所述基于同一图像采集设备的头动眼动复合捕捉方法还包括：
35.根据逐时的眼部动作捕捉结果，得到被采集者的注视次数、注视时间以及视线轨迹作为眼动追踪结果。
36.根据本发明提供的一种基于同一图像采集设备的头动眼动复合捕捉方法，所述基于同一图像采集设备的头动眼动复合捕捉方法还包括：
37.根据第一光学信号中被采集者瞳孔大小和环境光强度，得到视线深度结果。
38.本发明还提供一种基于同一图像采集设备的头动眼动复合捕捉系统，包括：
39.获取模块，用于通过光学采集设备获取第一光学信号；
40.头动捕捉模块，用于识别所述第一光学信号中的头部标记点，根据头部标记点的位置和/或形状变化，得到头部动作捕捉结果；
41.眼动捕捉模块，用于识别所述第一光学信号中的第一眼部标记点，根据第一眼部标记点的位置和/或形状变化，得到眼部动作捕捉结果；
42.所述第一光学信号为被采集者头部和眼部反射的可见光信号；所述头部标记点为设定的被采集者头部特征点；所述第一眼部标记点为设定的被采集者眼部特征点。
43.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于同一图像采集设备的头动眼动复合捕捉方法的步骤。
44.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于同一图像采集设备的头动眼动复合捕捉方法的步骤。
45.本发明提供的基于同一图像采集设备的头动眼动复合捕捉方法和系统，通过同一光学信号，识别分析得到头部动作捕捉结果和眼部动作捕捉结果，从而避免了不同设备分别进行头动、眼动捕捉时产生的兼容性、实时性和集成问题，提供了时间严格同步的头动眼动集成捕捉方法和系统。
附图说明
46.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
47.图1是本发明提供的基于同一图像采集设备的头动眼动复合捕捉方法的流程示意图之一；
48.图2是本发明提供的基于同一图像采集设备的头动眼动复合捕捉方法的流程示意图之二；
49.图3是本发明提供的基于同一图像采集设备的头动眼动复合捕捉系统的结构示意图；
50.图4是本发明提供的电子设备的结构示意图。
51.附图标记：
52.10：获取模块；
ꢀꢀꢀꢀꢀꢀ
20：头动捕捉模块；
ꢀꢀ
30：眼动捕捉模块；
53.410：处理器；
ꢀꢀꢀꢀꢀꢀꢀ
420：通信接口；
ꢀꢀꢀꢀꢀ
430：存储器；
54.440：通信总线。
具体实施方式
55.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
56.下面结合图1
‑
图3描述本发明的基于同一图像采集设备的头动眼动复合捕捉方法和系统。
57.如图1所示，本发明实施例提供一种基于同一图像采集设备的头动眼动复合捕捉方法，包括：
58.步骤101，通过光学采集设备获取第一光学信号；
59.步骤102，识别所述第一光学信号中的头部标记点，根据头部标记点的位置和/或形状变化，得到头部动作捕捉结果；
60.步骤103，识别所述第一光学信号中的第一眼部标记点，根据第一眼部标记点的位置和/或形状变化，得到眼部动作捕捉结果；
61.所述第一光学信号为被采集者头部和眼部反射的可见光信号；所述头部标记点为设定的被采集者头部特征点；所述第一眼部标记点为设定的被采集者眼部特征点。
62.值得说明的是，所述同一信号源是指通过同一个或同一组光学采集设备，例如摄像头采集得到的信号源，即第一光学信号。步骤102和步骤103均调用所述第一光学信号，分别实现头部动作和眼部动作的识别捕捉，步骤102和步骤103执行的时间先后顺序并不固定。
63.本实施例中，头部标记点可以是被采集者自然存在的头部特征点，例如额头、乳突、眼睛、眉毛、鼻尖等；也可以是被采集者佩戴的标记点，例如被采集者佩戴带有反光标记点的帽子、发带、头套等，则该反光标记点可以作为头部标记点。
64.类似地，眼部标记点可以是被采集者自然存在的眼部特征点，例如瞳孔；也可以是被采集者佩戴的标记点，例如被采集者佩戴带有反光标记点的隐形眼镜、美瞳，则该反光标记点可以作为眼部标记点；还可以是特定频率或波长的光信号在被采集者的特定位置处的反射点，例如通过外接光源照射至使用者眼球时，光学采集设备采集得到的反光点。
65.需要重点说明的是，本实施例中，通过光学采集设备获取的第一光学信号，可以通过视频分配器，实现至少两路的独立视频输出，以使得头部动作的捕捉和眼部动作的追踪能够得以同步或异步进行。
66.现有技术中，往往采用摄像头作为光学采集设备进行光学信号采集，针对头部动作的摄像头关注范围、分辨率、帧率以及对焦情况与针对眼部动作的摄像头差异较大，从而使得两者之间的兼容性、实时性、集成配合难度较高；同时，受限于动作捕捉摄像头的分辨率和帧率要求，其成本往往比较高昂，采用两个或两组动作捕捉摄像头分别实现眼动、头动的捕捉不利于降本增效。
67.而本实施例中，光线经过透镜在图像传感器上转换成电信号，并且经过信号处理之后，对信号分流：一组信号流向眼动仪，供眼动分析；一组信号流向动捕仪，供头部动作捕捉。
68.值得说明的是，为了实现基于同一图像采集设备的头动眼动复合捕捉，本实施例的中的光学采集设备需要同时满足头动信号捕捉的硬件要求和眼动信号捕捉的硬件要求，换言之，本实施例中的光学采集设备的硬件参数(如分辨率、帧率等)应不小于头动、眼动捕捉中较高的硬件参数要求。
69.在此基础上，由于本实施例光学采集设备需要更高的分辨率来进行眼部动作捕捉，第一光学信号中每个帧信号的占用空间(相比于较低分辨率的帧信号)更大；同时，由于
动作捕捉(不论是头部动作捕捉还是眼部动作捕捉)对于信号源的帧率要求较高(通常不应小于每秒100帧)，第一光学信号在每秒钟内包括的帧信号数量较多。
70.因此，由于帧信号占用空间大、帧率高，导致第一光学信号的传输，尤其是无线传输过程中，对于带宽和传输速率的要求较高。
71.为了解决这一问题，在本实施例的一个优选方案中，所述光学采集设备中集成有信号预处理模块；所述信号预处理模块能够：
72.预处理第一光学信号，得到包括头部标记点的位置和/或形状变化的头动预处理信号；
73.预处理第一光学信号，得到包括眼部标记点的位置和/或形状变化的眼动预处理信号。
74.本实施例中，头动预处理信号可以是头部标记点的三维坐标和帧序号的数据对；眼动预处理信号可以是第一光学信号中，眼部周围设定区域的图像采集结果，也可以是眼部周围设定区域的图像保留原分辨率，其余区域经压缩降低分辨率的图像信号。
75.所述基于同一图像采集设备是指头部动作捕捉和眼部动作捕捉是基于同一个图像采集设备采集的同一个图像信号解析得到的；所述图像采集设备包括一个或多个摄像头；
76.在本实施例的一个优选方案中，图像采集设备由单个摄像头构成；所述单个摄像头采集到的视频数据构成第一光学信号，以分别供头部动作捕捉步骤和眼部动作捕捉步骤解析使用。其中，头部动作捕捉步骤中的解析数据来源除基于第一光学信号外，还可以存在其它视频数据，以提供更好的景深或更小的盲区，从而得到更为精确的头部动作捕捉结果。
77.在本实施例的另一个优选方案中，图像采集设备包括多个摄像头，且多个摄像头采集得到的视频数据汇总构成第一光学信号，以分别供头部动作捕捉步骤和眼部动作捕捉步骤解析使用。也就是说，在n个摄像头构成图像采集设备的优选方案中，眼部动作捕捉结果是基于全部n个摄像头采集得到的n组视频解析得到的，头部动作捕捉结果同样是基于全部n个摄像头采集得到的n组视频解析得到的，而不是将图像采集设备中的摄像头分组，一部分用于头部动作捕捉、其余部分用于眼部动作捕捉。
78.在这一优选方案中，图像采集设备中的每个摄像头采集得到的视频数据都能分别用于头部动作捕捉和眼部动作捕捉，能够在相同的精度下，有效减少所需的摄像头数量，从而在保证采集准确性的前提下有效降低成本。
79.举例来说，如图像采集设备由2个摄像头构成，在本优选方案中，基于2个摄像头采集到的视频数据分别进行头部动作捕捉和眼部动作捕捉。相比于1个摄像头用于头部动作捕捉、另外1个摄像头进行眼部动作捕捉的方案，额外的1个摄像头能够提供更为准确的景深数据和更小的盲区数据，在相同的成本下得到更为准确的数据；相比于2个摄像头用于头部动作捕捉、另外2个摄像头进行眼部动作捕捉的方案，能够在捕捉结果准确性相当的情况下，省去半数的成本。
80.本实施例的有益效果在于：
81.本实施例通过同一光学信号，识别分析得到头部动作捕捉结果和眼部动作捕捉结果，从而避免了不同设备分别进行头动、眼动捕捉时产生的兼容性、实时性和集成问题，提供了时间严格同步的头动眼动集成捕捉方法。
82.根据上述实施例，本实施例提供了一种基于同一图像采集设备的头动眼动复合捕捉方法，如图2所示，包括：
83.步骤201，通过光学采集设备获取第一光学信号；
84.步骤202，识别所述第一光学信号中的头部标记点，根据头部标记点的位置和/或形状变化，得到头部动作捕捉结果；
85.步骤203，识别所述第一光学信号中的第一眼部标记点，根据第一眼部标记点的位置和/或形状变化，得到眼部动作捕捉结果；
86.所述第一光学信号为被采集者头部和眼部反射的可见光信号；所述头部标记点为设定的被采集者头部特征点；所述第一眼部标记点为设定的被采集者眼部特征点。
87.步骤204，根据头部动作捕捉结果修正眼部动作捕捉结果，即基于头面部的三维坐标变化来计算视线等眼动指标。
88.步骤205，根据逐时的眼部动作捕捉结果，得到被采集者的注视次数、注视时间以及视线轨迹作为眼动追踪结果。
89.步骤206，根据第一光学信号中被采集者瞳孔大小和环境光强度，得到视线深度结果。
90.本实施例在上一实施例的基础上，进一步增加了步骤204、步骤205以及步骤206，这三个的步骤的执行顺序并不固定，具体地：
91.步骤204的执行有赖于步骤202和步骤203的结果，因此本实施例中步骤204的执行时机晚于步骤202和步骤203。
92.步骤205的执行有赖于步骤203的结果，因此实施例中步骤205的执行时机晚于步骤203，但相对于步骤204和步骤206的先后顺序并不固定。
93.步骤206可以在步骤201完成后的任意时机单独执行，其结果能够与步骤203结果，即眼部动作捕捉结果相互补充。
94.本实施例的有益效果在于：
95.本实施例在提供了时间严格同步的头动眼动集成捕捉方法的基础上：
96.通过头部动作捕捉结果修正眼部动作捕捉结果，能够提供更为精准的、排除了头部动作影响的眼部动作捕捉结果；
97.通过提取眼部动作捕捉结果的量化特征，为后续可能的神经发育障碍的准确检测和适时干预提供良好的数据基础；
98.通过对视线深度的提取和量化，进一步提供了更为全面的数据基础，以供后续可能的神经发育障碍的准确检测和适时干预需求使用。
99.根据上述任一实施例，在本实施例中：
100.所述识别所述第一光学信号中的第一眼部标记点，根据第一眼部标记点的位置和/或形状变化，得到眼部动作捕捉结果的步骤包括：
101.通过光学采集设备获取第二光学信号；
102.识别所述第一光学信号中的第一眼部标记点和第二光学信号中的第二眼部标记点，根据第一眼部标记点、第二眼部标记点、光学采集设备的位置以及红外信号源的位置，得到眼部动作捕捉结果；
103.所述第二眼部标记点为被采集者眼部的红外反射点；所述第二光学信号为红外信
号源发射、经被采集者眼部反射后得到的红外信号。
104.所述第一眼部标记点包括被采集者瞳孔中心；所述光学采集设备集成有红外信号源。
105.所述根据第一眼部标记点、第二眼部标记点、光学采集设备的位置以及红外信号源的位置，得到眼部动作捕捉结果的步骤包括：
106.以第二眼部标记点为圆心，r为半径，建立眼球投影轮廓圆，其中r为第二眼部标记点到任意眼球轮廓边缘点的距离；
107.将第一矢量与第二矢量求和，得到眼动矢量作为眼部动作捕捉结果；
108.所述第一矢量是指方向与红外信号源的发射方向相反、大小为的矢量，其中，h为眼球投影轮廓圆上，第二眼部标记点到被采集者瞳孔中心的距离；所述第二矢量是指眼球投影轮廓圆所在平面上，自第二眼部标记点起，至被采集者瞳孔中心止的矢量。
109.本实施例的有益效果在于：
110.本实施例在采用同组光学采集设备的基础上，引入红外信号源，进一步提升了眼部动作捕捉结果的精确程度，相比于传统的增加摄像头的方案，有效降低了成本。
111.下面对本发明提供的基于同一图像采集设备的头动眼动复合捕捉系统进行描述，下文描述的基于同一图像采集设备的头动眼动复合捕捉系统与上文描述的基于同一图像采集设备的头动眼动复合捕捉方法可相互对应参照。
112.本发明实施例还提供了一种基于同一图像采集设备的头动眼动复合捕捉系统，包括：
113.获取模块1，用于通过光学采集设备获取第一光学信号；
114.头动捕捉模块2，用于识别所述第一光学信号中的头部标记点，根据头部标记点的位置和/或形状变化，得到头部动作捕捉结果；
115.眼动捕捉模块3，用于识别所述第一光学信号中的第一眼部标记点，根据第一眼部标记点的位置和/或形状变化，得到眼部动作捕捉结果；
116.所述第一光学信号为被采集者头部和眼部反射的可见光信号；所述头部标记点为设定的被采集者头部特征点；所述第一眼部标记点为设定的被采集者眼部特征点。
117.本实施例的有益效果在于：
118.通过同一光学信号，识别分析得到头部动作捕捉结果和眼部动作捕捉结果，从而避免了不同设备分别进行头动、眼动捕捉时产生的兼容性、实时性和集成问题，提供了时间严格同步的头动眼动集成捕捉系统。
119.图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(communications interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行基于同一图像采集设备的头动眼动复合捕捉方法，该方法包括：通过光学采集设备获取第一光学信号；识别所述第一光学信号中的头部标记点，根据头部标记点的位置和/或形状变化，得到头部动作捕捉结果；识别所述第一光学信号中的第一眼部标记点，根据第一眼部标记点的位置和/或形状变化，得到眼部动作捕捉结果；所述第一光学信号为被采集者头部和眼部反射的可见光信号；所述头部标记点为设定的被采集者头部特征点；所述第一眼部标记点为设定的被采集者眼部特征
点。
120.此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
121.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的基于同一图像采集设备的头动眼动复合捕捉方法，该方法包括：通过光学采集设备获取第一光学信号；识别所述第一光学信号中的头部标记点，根据头部标记点的位置和/或形状变化，得到头部动作捕捉结果；识别所述第一光学信号中的第一眼部标记点，根据第一眼部标记点的位置和/或形状变化，得到眼部动作捕捉结果；所述第一光学信号为被采集者头部和眼部反射的可见光信号；所述头部标记点为设定的被采集者头部特征点；所述第一眼部标记点为设定的被采集者眼部特征点。
122.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的基于同一图像采集设备的头动眼动复合捕捉方法，该方法包括：通过光学采集设备获取第一光学信号；识别所述第一光学信号中的头部标记点，根据头部标记点的位置和/或形状变化，得到头部动作捕捉结果；识别所述第一光学信号中的第一眼部标记点，根据第一眼部标记点的位置和/或形状变化，得到眼部动作捕捉结果；所述第一光学信号为被采集者头部和眼部反射的可见光信号；所述头部标记点为设定的被采集者头部特征点；所述第一眼部标记点为设定的被采集者眼部特征点。
123.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
124.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
125.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可
以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。