针对移动平台的注视轨迹分析系统和方法与流程

1.本发明涉及信息处理技术领域，特别是涉及一种针对移动平台的注视轨迹分析系统和方法。


背景技术：

2.眼动追踪技术是通过测量眼睛的注视点的位置或者眼球相对头部的运动而实现对眼球运动的追踪技术。并且眼动的本质是人注意力资源的主动或被动分配，选择更有用或吸引力的信息。通过追踪使用者的眼球轨迹，可以获得使用者浏览时关注的信息，从而可以进行进一步研究。
3.随着移动端设备的普及，用户在移动设备上的使用时间越来也多，这也就使得越来越多的研究人员重视分析用户在移动设备上的注视轨迹信息。但是，现有技术中虽然可以得到用户在移动设备上的注视估计，但是由于移动设备本身的特性，例如，其屏幕较小或者容易反光等，会存在拍摄到的手机屏幕内容不清楚，从而会导致眼动仪并不能很好地解决移动平台上注视估计分析的问题，使得注视估计分析不准确。


技术实现要素：

4.针对于上述问题，本发明提供一种针对移动平台的注视轨迹分析系统和方法，实现了提升针对移动平台的注视轨迹分析的准确性的目的。
5.为了实现上述目的，本发明提供了如下技术方案：
6.一种针对移动平台的注视轨迹分析系统，所述系统包括：
7.移动设备、眼球跟踪设备、支架和处理设备，所述移动设备与所述眼球跟踪设备放置在所述支架上，使得所述移动设备与所述眼球跟踪设备处于平行位置，且所述移动设备与所述眼球跟踪设备均与所述处理设备进行通讯连接。
8.所述移动设备，用于采集所述移动设备当前屏幕界面信息，录制生成屏幕视频；
9.所述眼球跟踪设备，用于采集用户针对所述录屏视频的眼部图像；
10.所述处理设备，用于对所述眼部图像进行分析，生成注视数据，并根据所述注视数据与所述屏幕视频，生成用户在所述移动设备屏幕上的数值轨迹。
11.可选地，所述移动设备与所述眼球跟踪设备基于所述支架平行放置，所述支架包括托架和校准板；
12.其中，所述校准板放置在所述托架上方，且所述托架下方设置有固定卡槽，所述固定卡槽用于放置所述眼球跟踪设备；
13.所述校准板，用于提供校准点，使得所述处理设备生成用户与所述眼动跟踪设备相匹配的校准参数。
14.可选地，所述托架上设置有辅助光源，所述辅助光源为所述眼球跟踪设备校准过程提供光源。
15.一种针对移动平台的注视轨迹分析方法，所述方法应用于上述任意一项所述的系
统，所述方法包括：
16.采集移动设备当前屏幕界面信息，录制生成屏幕视频；
17.采集用户注视录制视频的眼部图像；
18.基于眼部图像生成注视数据，所述注视数据包括用户的注视方法和/或注视点信息；
19.根据所述注视数据与所述屏幕视频，生成用户在所述移动设备上的注视轨迹。
20.可选地，基于所述眼部图像生成注视数据，包括：
21.判断所述眼球跟踪设备是否存有与当前用户相匹配的校准参数，如果是，获取与当前用户相匹配的校准参数，基于所述与当前用户相匹配的校准参数和所述眼部图像生成注视数据；
22.如果否，对所述当前用户进行注视校准，获得与所述当前用户相匹配的校准参数，并将所述与所述当前用户相匹配的校准参数存储到校准数据库，基于所述与当前用户相匹配的校准参数和所述眼部图像生成注视数据。
23.可选地，所述对所述当前用户进行校准，获得与所述当前用户相匹配的校准参数，包括：
24.利用校准板对所述当前用户进行注视校准，获得与所述当前用户相匹配的校准参数。
25.可选地，所述利用校准板对所述当前用户进行注视校准，获得与所述当前用户相匹配的校准参数，包括：
26.在所述校准板上生成目标点，所述目标点为在校准过程中用户需要进行注视的点；
27.获取所述目标点的坐标信息；
28.获取用户注视所述目标点时的眼部图像；
29.依据所述坐标信息和所述眼部图像，生成用户与所述眼球跟踪设备相匹配的校准参数。
30.可选地，所述采集用户注视所述录屏视频的眼部图像，包括：
31.按照时间顺序采用用户注视所述录屏视频的眼部图像；
32.所述基于所述眼部图像生成注视数据，包括：
33.生成与所述眼部图像时间顺序相匹配的时间戳信息，使得生成的注视数据包括所述时间戳信息。
34.可选地，所述基于所述眼部图像生成注视数据，包括：
35.根据用户的眼部图像和校准参数，生成初始注视数据；
36.将所述初始注视数据在所述移动设备上进行映射，获得所述移动设备的有效注视数据。
37.可选地，所述将所述初始注视数据在所述移动设备上进行映射，获得所述移动设备的有效注视数据，包括：
38.基于所述移动设备和所述校准板的相对位置，所述移动设备的屏幕物理尺寸以及分辨率配置，将所述注视数据映射到移动设备屏幕上，获得所述移动设备的有效注视数据。
39.可选地，所述方法还包括：
40.将所述注视轨迹显示在所述屏幕视频中，实现对所述注视轨迹的分析，获得分析数据。
41.相较于现有技术，本发明提供了一种针对移动平台的注视轨迹分析系统及方法，通过将移动设备与所述眼球跟踪设备放置在所述支架上，使得移动设备与眼球跟踪设备处于平行位置，且移动设备与眼球跟踪设备均与处理设备进行通讯连接；移动设备采集移动设备当前屏幕界面信息，录制生成屏幕视频；眼球跟踪设备采集用户针对录屏视频的眼部图像；处理设备对眼部图像进行分析，生成注视数据，并根据注视数据与屏幕视频，生成用户在移动设备屏幕上的注视轨迹。本发明无需特殊的眼动设备软件安装在移动设备上，使得方案具有普遍适用性，并且支架使得移动设备与眼球跟踪设备处于平行位置，可以清晰获得用户注视点落在移动设备屏幕上区域的内容，实现了提升针对移动平台的注视轨迹分析的准确性的目的。
附图说明
42.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
43.图1为本发明实施例提供的一种针对移动平台的注视轨迹分析系统的结构示意图；
44.图2为本发明实施例提供的一种针对移动平台的注视轨迹分析方法的流程示意图；
45.图3为本发明实施例提供的一种处理设备的结构示意图。
具体实施方式
46.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
47.本发明的说明书和权利要求书及上述附图中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有设定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。
48.实施例一
49.在本发明实施例中提供了一种针对移动平台的注视轨迹分析系统及方法，其中，移动平台是指移动终端应用平台，移动终端是指可以在移动中使用的计算机设备，包括手机、笔记本以及平板电脑等。眼球追踪是通过测量眼睛的注视点的位置或者眼球相对头部的运动而实现对眼球运动的追踪。眼动的本质是人注意力资源的主动或被动分配，选择更有用或吸引力的信息。通过追踪使用者的眼球轨迹，然后对应到网页或者图片上，就可以得到用户浏览时关注的信息，从而使得能够对相关应用进行改善。由于移动终端的普及，用户
在移动终端的使用时间越来越多，会促使很多产品和应用优先在移动设备上呈现，比如商品的促销信息的呈现方式更重视在移动设备的效果。但是由于移动终端的一些固有特点，会使得针对移动终端的注视轨迹分析变得较为困难。例如，由于手机设备受尺寸或者分辨率的影响，很难分析得到用户注视点对应在手机屏幕上的呈现内容。其次，由于移动设备的屏幕反光，导致有时候拍摄到的手机屏幕内容完全看不清。还会由于环境的不同，也会导致采集注视数据的眼动仪设备拍摄的场景图片中手机屏幕的内容不清楚。这些都会导致无法更好地分析针对移动平台的注视轨迹。
50.为了解决上述问题，参见图1，本发明实施例提供了一种针对移动平台的注视轨迹分析系统，该系统包括：
51.移动设备101、眼球跟踪设备102、支架103和处理设备104，移动设备101与眼球跟踪设备102放置在支架103上，使得移动设备101与眼球跟踪设备102处于平行位置，且移动设备101与眼球跟踪设备102均与处理设备104进行通讯连接。
52.移动设备101，用于采集移动设备101当前屏幕界面信息，录制生成屏幕视频；眼球跟踪设备102，用于采集用户针对录屏视频的眼部图像；处理设备104，用于对所述眼部图像进行分析，生成注视数据，并根据注视数据与屏幕视频，生成用户在移动设备101屏幕上的注视轨迹。
53.其中，移动设备101采集其自身当前屏幕界面信息是指移动设备采集当前显示界面信息，即用户当前正在注视的该移动设备的界面信息。然后，移动设备会对当前屏幕界面信息进行录制生成屏幕视频，该录制是指从用户注视移动设备屏幕开始至用户不再注视该移动设备的屏幕结束，该期间的移动设备的所有屏幕信息均会被录制。眼球跟踪设备是指能够采集用户眼部图像的设备，如眼动仪。其采集的是用户针对录屏视频的眼部图像，即用户注视移动设备屏幕时的所有眼部图像。在一些实施例中，由于眼球跟踪设备可以是mems微机电系统，例如包括mems红外扫描反射镜、红外光源、红外接收器，通过拍摄眼部图像和/或脸部图像检测眼球运动；也可以是电容传感器，其通过眼球与电容极板之间的电容值来检测眼球运动；还可以是肌电流检测器，例如通过在鼻梁、额头、耳朵或耳垂处放置电极，通过检测的肌电流信号模式来检测眼球运动。本发明实施例对此不进行限制。
54.处理设备是指能够对数据信息处理的设备，如处理器等。首先处理设备会对眼部图像进行分析，生成注视数据。注视数据包括注视点和/或注视方向。然后处理设备将注视数据映射到屏幕视频中，可以得到用户在移动设备屏幕上的注视轨迹。
55.本发明实施例提供了一种针对移动平台的注视轨迹分析系统，通过将移动设备与所述眼球跟踪设备放置在所述支架上，使得移动设备与眼球跟踪设备处于平行位置，且移动设备与眼球跟踪设备均与处理设备进行通讯连接；移动设备采集移动设备当前屏幕界面信息，录制生成屏幕视频；眼球跟踪设备采集用户针对录屏视频的眼部图像；处理设备对眼部图像进行分析，生成注视数据，并根据注视数据与屏幕视频，生成用户在移动设备屏幕上的注视轨迹。本发明无需特殊的眼动设备软件安装在移动设备上，使得方案具有普遍适用性，并且支架使得移动设备与眼球跟踪设备处于平行位置，可以清晰获得用户注视点落在移动设备屏幕上区域的内容，实现了提升针对移动平台的注视轨迹分析的准确性的目的。
56.实施例二
57.在本发明实施例中移动设备与眼球跟踪设备基于支架平行放置，该支架包括托架
和校准板。其中，校准板放置在托架上方，且托架下方设置有固定卡槽，所述固定卡槽用于放置所述眼球跟踪设备。校准板用于提供校准点，使得处理设备生成用于与眼求跟踪设备相匹配的校准参数。对应的，托架上设置有辅助光源，所述辅助光源为眼球跟踪设备校准过程提供光源。其中，校准板可以和托架设置成一体结构，也可以是分离的结构。校准板在托架上方，托架下方有固定卡槽放置眼球跟踪设备(如眼动仪)。校准板可以作为托盘，移动设备可以放置在校准板上，校准板上有刻度，当移动设备放置在校准板上时，可以根据刻度获得移动设备和校准板的相对位置。有助于将用户的注视点准确的映射到移动设备屏幕画面中。辅助光源可以是设置在托架上可伸缩的led灯，可以调整位置放在校准板四角或者其他位置。校准时led等可以交替闪烁作为校准点位辅助完成校准。
58.实施例三
59.下面以本发明实施例提供的一种针对移动平台的注视轨迹分析方法，对上述系统及系统中可以实现的功能进行详细说明。参见图2，该方法可以包括以下步骤：
60.s201、采集移动设备当前屏幕界面信息，录制生成屏幕视频；
61.s202、采集用户注视所述录屏视频的眼部图像；
62.s203、基于所述眼部图像生成注视数据，所述注视数据包括用户的注视方向和/或注视点信息；
63.s204、根据所述注视数据与所述屏幕视频，生成用户在所述移动设备上的注视轨迹。
64.该方法与实施例一记载的系统中各个设备的功能相关联，请参见实施例一的描述，此处不进行赘述。
65.在上述实施例的基础上，所述基于所述眼部图像生成注视数据，包括：
66.判断所述眼球跟踪设备是否存有与当前用户相匹配的校准参数，如果是，获取所述与当前用户相匹配的校准参数，基于所述与当前用户相匹配的校准参数和所述眼部图像生成注视数据；
67.如果否，对所述当前用户进行注视校准，获得与所述当前用户相匹配的校准参数，并将所述与所述当前用户相匹配的校准参数存储到校准数据库，基于所述与当前用户相匹配的校准参数和所述眼部图像生成注视数据。
68.由于眼球跟踪设备的数据采集原理可以不同，因此用户的校准数据可以包括：眼部特征图像和/或电容值和/或肌电流信号等数据。眼部特征图像(即眼部图像)包括：瞳孔位置、瞳孔形状、虹膜位置、虹膜形状、眼皮位置、眼角位置、光斑位置等。由于每个人的用眼习惯不同，这就使得可以生成与用户相匹配的校准数据，该校准数据可以表征对眼球跟踪设备进行目标功能时的调整参数，如调整视线追踪模块的控制参数。
69.在本发明实施例中如果眼球跟踪设备存储有当前用户相匹配的校准参数，则可以直接获取该校准参数，然后基于该校准参数与眼部图像生成注视数据。
70.如果眼球跟踪设备中没有与当前用户相匹配的校准参数，需要获得与当前用户相匹配的校准参数，然后进行存储，并生成注视数据。在本发明实施例中可以利用校准板对当前用户进行注视校准，获取与当前用户相匹配的校准参数。该校准板放置在所述托架上方，且所述托架下方设置有固定卡槽，所述固定卡槽用于放置所述眼球跟踪设备；所述校准板，用于提供校准点，使得所述处理设备生成用户与所述眼动跟踪设备相匹配的校准参数。
71.具体的，利用校准板获取用户的校准数据的过程包括：
72.在校准板上生成目标点，所述目标点为在校准过程中用户需要进行注视的点；获取所述目标点的坐标信息；获取用户注视所述目标点时的眼部图像；依据所述坐标信息和所述眼部图像，生成用户与所述眼球跟踪设备相匹配的校准参数。
73.在通常的用户校准数据的获取过程中目标点的显示界面和注视区域均为显示器，即显示器屏幕就是校准界面，根据显示器上指定位置的点进行校准，获得显示器点和注视点的算法模型。
74.在本发明实施例的校准过程中，注视区域为校准板，根据校准板指定位置点(如四个顶点和校准板中心点)进行校准，获得校准板和注视点的算法模型。即获得的注视点位置是相对于校准板的。
75.例如，以校准板左上点为(0,0)点，当看校准板中心位置时为(150,150)，单位mm。但是相对于移动设备，假设放置位置移动设备中心和校准板中心重合，注视点相对于移动设备位置应为(540,960)，单位像素。具体过程为：
76.gazex_a/disx_a＝calibwidth_a/width_a
77.其中，gazex_a为校准后获得的相对于校准板原点的注视位置坐标值；
78.calibwidth_a为校准过程提供的校准注视区域宽度，(显示器校准时通常为屏幕宽度像素值，校准板校准时可以为校准板宽度或者根据需要自定义的值)；
79.width_a为校准区域的实际大小，(显示器校准时通常为屏幕实际宽度mm，校准板校准时为校准板宽度mm)；
80.disx_a为注视点位置与校准板原点x方向的实际距离mm。以上三个数据已知，可以计算获得该值。
81.gazex_b/disx_b＝width_b/width_pixel_b
82.disx_b为注视点位置与移动设备屏幕原点x方向的实际距离mm。根据disx_a以及移动设备和校准板放置的相关位置，可以计算得到该值；
83.width_b为移动设备屏幕实际宽度(单位：mm)；
84.width_pixel_b为移动设备屏幕像素宽度值；
85.gazex_b相对于移动设备屏幕原点的注视点像素值，可以通过上面三个数据获得。
86.通过上面计算，可以将位置gazex_a映射为gazex_b。
87.对应的，在本发明实施例的另一种可能的实现方式中，辅助光源可以是设置在托架上可伸缩的led灯，可以调整位置放在校准板四角或者其他位置。校准时led等可以交替闪烁作为校准点位辅助完成校准。即在本发明实施例中可以通过辅助光源进行校准，该校准过程包括：确定校准点位置，将托架上的校准点展开放置到要校准的位置，并记录对应的位置信息。打开校准程序，输入对应校准点位置。启动校准，并且开启眼球跟踪设备。校准程序控制作为校准点的led灯按顺序亮并维持指定时间(如1s)，用户依次注视亮的校准等。校准程序采集每个校准点亮起时用户注视该位置时的眼部图像。当所有校准点都采集结束时程序计算校准参数。
88.在本发明实施例中，所述采集用户注视所述录屏视频的眼部图像，包括：
89.按照时间顺序采用用户注视所述录屏视频的眼部图像；
90.所述基于所述眼部图像生成注视数据，包括：
91.生成与所述眼部图像时间顺序相匹配的时间戳信息，使得生成的注视数据包括所述时间戳信息。
92.其中，采集眼部图像是按照用户注视的时间先后顺序，然后将对应的时间戳信息添加到注视数据中，使得能够生成注视数据时间序列并进行保存。
93.在另一种可能的实现方式中，所述基于所述眼部图像生成注视数据，包括：
94.根据用户的眼部图像和校准参数生成初始注视数据；
95.将所述初始注视数据在所述移动设备上进行映射，获得所述移动设备的有效注视数据。
96.例如，根据用户的眼部图像和校准参数，生成初始注视数据，包括注视点和/或注视方向。然后将能够映射在移动设备上的注视数据作为有效注视数据，即剔除用户注视方向和/或注视点不在移动设备上的注视数据。
97.具体的，所述将所述初始注视数据在所述移动设备上进行映射，获得所述移动设备的有效注视数据，包括：
98.基于所述移动设备和所述校准板的相对位置，所述移动设备的屏幕物理尺寸以及分辨率配置，将所述注视数据映射到移动设备屏幕上，获得所述移动设备的有效注视数据。
99.该过程请参见上述实施例中校准过程中描述的注视数据映射的过程，本处不进行赘述。
100.为了便于对用户的注视数据的分析，可以将注视轨迹显示在屏幕视频中，实现对注视轨迹的分析，获得分析数据。即可以通过对注视轨迹的可视化，如热图分析等，获得分析数据。以通过该分析数据获得用户的注视习惯等信息，促进对注视屏幕对应的应用信息的改进。
101.实施例四
102.参见图3，其示出了本发明实施例提供的一种处理设备的结构示意图。该处理设备包括：视频/注视数据存储模块，眼球跟踪设备校准模块，移动设备录屏模块，眼动跟踪数据采集模块，注视数据映射模块以及系统配置，用户校准模型数据的配置模块以及软件的用户界面模块。所有的配置数据存放在配置数据库中。
103.视频/注视数据存储模块是对来自移动设备的屏幕视频以及眼动跟踪设备采集的注视数据进行时间戳标注并存储到磁盘上。
104.眼动跟踪设备校准模块功能是引导用户使用眼球跟踪设备时做校准。由于个体差异，经过校准后眼球跟踪设备的精度能得到大幅提升。
105.移动设备录屏模块是通过访问在移动设备上的服务，获得移动设备屏幕的内容，并转换为视频。
106.眼动跟踪模块的功能是访问眼球跟踪设备获得用户眼图，根据用户眼图计算获得用户的注视数据。
107.注视数据映射模块是根据当前的配置，将眼球跟踪设备提供的注视数据转换为在移动设备屏幕上的注视信息
108.由于该系统使用取决于用户以及移动设备的部署，所以配置模块用来创建并管理相关的配置数据。
109.界面模块为主机上运行的软件的用户界面，用来和用户进行交互，引导用户完成
校准、配置相关操作。
110.本方案主要通过商用眼球跟踪设备，根据虚拟的校准界面和移动设备间的相对位置关系，完成注视点在校准界面到移动设备上的映射，形成移动设备上的注视位置，从而获得移动设备的注视轨迹信息，同时获得同步的移动设备屏幕信息。
111.虚拟校准界面我们可以借助辅助校准板，辅助校准板是一个尺寸已知且大于移动设备的一个平面，例如我们可以使用一个矩形纸板。辅助校准板置于眼动仪上方，调整纸板边缘使之与眼动仪平行，借助支架我们可以固定辅助校准板。将辅助校准板尺寸输入主机程序，并依次注视辅助校准板完成校准。将移动设备放置在支架上，与辅助校准板平行，获得移动设备和辅助校准板的相对位置，输入到移动设备进程程序。主机根据移动设备和辅助校准板的相对位置将基于辅助校准板的注视位置映射成基于移动设备界面的注视位置，同时结合移动设备采集的界面图像，获得移动设备的注视轨迹信息。
112.具体流程如下：
113.如果需要校准，眼球跟踪设备校准模块可以通过设备获得图像完成校准，并将获得的校准数据通过配置模块存储到数据库中。
114.眼动跟踪数据模块通过眼球追踪设备获得注视过程中的眼部图像，并结合配置模块获取数据库中的校准数据，计算得到用户的注视数据。
115.注视数据映射模块将用户的注视数据映射成相对于移动设备的有效注视数据。
116.移动设备录屏模块将移动设备屏幕显示内容实时记录下来。
117.视频/注视数据存储模块将移动设备录屏模块录制的屏幕内容帧和相对于移动设备的有效注视数据对应并进行存储。
118.界面模块可以将录屏视频和注视数据同步显示到软件用户界面上，可以实时进行分析观看。也可以从存储模块获得历史数据分析显示。
119.本发明还提出了一种移动设备注视平台设备。该设备主要包含一个托架，一个辅助校准板及一个眼球跟踪设备。辅助校准板可以和托架做成一体，也可以是分离的。辅助校准板在托架上方，托架下方有固定卡槽放置眼动仪。辅助校准板可以作为托盘，移动设备可以放置在辅助校准板上。辅助校准板上有刻度，当移动设备放置在辅助校准板上时，可以根据刻度获得移动设备和校准板的相对位置。托架上有可伸缩的led灯，可以调整位置放在辅助校准板四角或者其他位置。校准时led灯可以交替闪烁作为校准点位辅助完成校准。
120.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
121.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。