一种MR智能眼镜基于眼动追踪技术的体育辅助训练系统的制作方法

一种mr智能眼镜基于眼动追踪技术的体育辅助训练系统
技术领域
1.本发明属于运动技术领域，尤其涉及一种mr智能眼镜基于眼动追踪技术的体育辅助训练系统。


背景技术：

2.随着近几年科技的高速发展，ar/mr智能眼镜可能是淘汰智能手机的下一代智能终端。那么智能眼镜上的应用就如同智能手机上刚兴起时的应用，存在着巨大的市场价值和市场潜力。
3.近眼显示设备(hmd)还包括电子显示器和光学组件。hmd可以是例如混合现实(mixed reality)—mr眼镜、增强现实(augmented reality)—ar眼镜、虚拟现实-(virtual reality)—vr眼镜、扩展现实(extended reality)—xr眼镜或其某种组合。电子显示器配置为发射图像光。光学组件被配置为将图像光引导到与用户眼睛的位置对应的hmd的出射光瞳，ar/mr/xr智能眼镜把其所创造的虚拟数字世界和现实世界环境相结合，使佩戴者既可以看到现实世界也可以看到虚拟的全息影像。
4.随着最近几年的科技不断发展，国内外推出的ar/mr/xr智能眼镜都带有眼动追踪功能，例如：magic leap one、hololens 2。利用眼动追踪技术捕获用户眼动行为数据然后把眼动行为数据分析后结合在各行各业中使用，例如：心理学，医学和工程学。
5.在眼动和运动心理学的研究中可以发现:获取运动员的眼动行为数据，再通过眼动行为数据可以预判运动员的反应和一些操作，准确率很高。反观传统的体育运动训练方式都是基于教练的主观经验为主，然后进行大量的训练进行的，所述主观经验难以通过言语表达出来供人学习，更难以将经验量化并且可视化的展示出来。因此，经验教学低效，传播困难，成本高。
6.人类的信息加工在很大程度上依赖于视觉，大脑神经反馈控制眼球运动能以有效的方式和速度采集外界信息，眼动仪问世以来，心理学家通过眼动技术探索各种不同条件下视觉对信息的加工机制，进而观察其与心理活动的关系，提供了高校的工具。而在体育运动中，视觉信息提取的模式不同则可能反映了高水平运动员与一般水平的或新手之间运动能力的各种差异。眼动分析的方法己经被广泛地应用于各运动项目的研究中以记录不同水平运动员在运动、训练或比赛中的眼动模式，将极大地有利于对新手的有效训练和运动员的选拔。大多数项目，如篮球、足球、乒乓球、冰球、高尔夫球、网球、台球、铅球、板球、体操、击剑、自行车和职业国际象棋等都可以利用眼动分析进行研究
7.在许多对抗性体育项目中，都存在着瞬息变化的比赛局势，这就要求运动员能够迅速地搜寻到有用的视觉信息，同时做出相应的动作反应。许多研究发现，专家运动员比新手运动员的视觉搜索策略更恰当和更有效率。视觉搜索策略是指在搜索相关的信息时眼睛的移动方式。运动员在比赛中的视觉搜索及注视情况，可以通过眼动仪来进行研究。
8.例如在现有的羽毛球杀球眼动研究中发现，非专业的新手运动员在观看击球和发球视频时，往往更多的是注视腿部、球拍、和羽毛球、，然而专业运动员更多的是关注对手的
肩部、胸部、手臂、头部。专业运动员在杀球路线的预测上精确度远高于非专业的新手运动员。
9.在体育运动中，视觉信息提取的模式不同则可能反映了高水平运动员与一般水平的或新手之间运动能力的各种差异。传统体育运动方式一直通常采用主观和经验为主的训练方法教学，训练效率低下主观经验难以通过言语表达出来供人学习，并且往往在运动过程中良好视觉搜索模式需要经过专业运动员长时间的训练才能够养成，然而这些视觉搜索模式往往是专业运动在潜意识情况下的条件反射，因此这些运动经验难以表达传授给新手。
10.综上所述，现有技术存在的问题是：(1)目前的在体育运动的眼动分析多用于研究院校内的项目研究，广大的普通人群没有机会受到眼动运动教学，因此目前的教学技术不善于传播。
11.(2)目前在球类体育运动教学中，需要专家对学员进行训练，但是优秀的教学资源是有限的。因此如何将有效的主观教学经验变成可视化的教学方法，并且把技巧经验转变为便于传播的教学方法是如今需要解决的问题。
12.(3)传统体育运动方式通常采用主观经验教学，主观经验难以通过言语表达出来供人学习，并且往往在运动过程中良好视觉搜索模式需要经过专业运动员长时间的训练才能够养成，然而这些视觉搜索模式往往是专业运动在潜意识情况下的条件反射，因此这些运动经验难以表达传授给新手。
13.(4)目前市面上比较有代表性的智能眼镜如：magic leap one、hololens 2，他们的产品中的主流应用大部分以游戏娱乐性，企业用户性为主，缺少真正贴合用户生活中所需的应用，在实用性，功能性没有广大的用户基础，则导致ar智能眼镜设备行业或/和技术发展缓慢。
14.解决上述技术问题的意义：本发明可以帮助用户在体育运动中快速的集中注意力，辅助快速行为决策，尽快掌握动作的技术要领，减少盲目的重复，极大地提高训练效率，降低用户受到伤害的可能性，从而达到最佳的训练效果。不仅可以将专家运动员潜意识的视觉搜索经验可视化地展示出来供新手学习，而且还可以通过互联网快速的将经验传送给任何新手。
15.在未来ar/mr智能眼镜设备为主导的智能眼镜时代，本发明所述的体育运动辅助训练系统能够帮助人们迅速的学习体育运动。
16.本发明通过ai的人工智能技术在云端服务中构建训练集，实现了对运动情境的自主学习，自动识别环境中的兴趣物体，进而分析获得有效的视觉搜索经验。因此在提出了利用人工智能机器学习设置特征标签，不仅使得计算机自主学习有效视觉搜索的方法，而且对于传统眼动心理学实验数据的处理上也起到的促进作用，大大降低了人工数据处理的工作量，手动绘制兴趣区域的工作量。
17.在新手用户段mr/ar眼镜利用的边缘计算技术将视频实时传至云端服务器与云端数据库比对，快速的为新手用户提供决策建议。因此降低了本地mr/ar眼镜的计算量和功耗。这将是5g发展背景下的一个消费级应用。
18.ar/mr智能眼镜设备结合上述应用具备能够解决人们实际需要解决的问题，而后可以在普通消费者中得到实际应用，如果能够普及在普通消费者人群，则可以提高ar/mr智
能眼镜设备的购买量，产品需求达到一定程度则加速产品硬件的更新迭代，便可以促进ar/mr智能眼镜设备的发展，符合未来科技的发展趋势。


技术实现要素：

19.针对现有技术存在的问题，本发明提供了一种mr智能眼镜基于眼动追踪技术的体育辅助训练系统。
20.本发明是这样实现的，一种基于眼动追踪技术的体育运动的辅助训练系统，包括：
21.专家终端、云端服务器以及新手用户终端；
22.专家终端：用于利用ar/mr智能眼镜设备收集专家的数据，并将收集到的数据传输至云端服务器；
23.云端服务器：用于接收专家的相关数据，并对接收到的相关数据进行处理人工智能的机器学习，建立样本数据库；同时还用于接收新手用户终端发送的请求，反馈对应数据模型；用于接收并分析新手用户当前实时数据，将实时的处理获得的当前情境事件下的专家视觉搜索模式和视觉注视点位置回传给新手用户客户端；
24.新手用户终端：用于通过ar/mr智能眼镜设备上传当前所在位置以及相应请求，同时用于接收云端发送的相关数据模型，并结合ar/mr智能眼镜设备进行实时学习。
25.进一步，所述云端服务器包括：
26.云计算模块：用于运用人工智能机器学习算法对数据进行数据计算；对数据进行数据排序；对数据进行数据储存；对数据进行数据检索一系列的逻辑运算；
27.网络通信模块：用于进行ar/mr智能眼镜设备通讯，接收ar/mr智能眼镜设备的网络请求，并向ar/mr智能眼镜设备发送网络请求；
28.云存储模块(数据库)：逻辑算法对大量的数据进行分析，排序，组织，存储，学习获得各项运动的特征数据库；
29.系统优化模块：用于针对不同应用进行优化，形成针对性的硬件支撑环境。
30.本发明的另一目的在于提供一种应用于所述基于眼动追踪技术的体育运动的辅助训练系统的基于眼动追踪技术的体育运动的辅助训练方法，所述基于眼动追踪技术的体育运动的辅助训练方法包括：
31.步骤一，专家人群(即在某项运动领域很有经验或者有部分经验的人群)佩戴ar/mr智能眼镜参与或观看某对抗性运动比赛；ar/mr眼镜的传感器(眼动追踪模块、前置摄像头等)收集且记录下专家在该对抗性运动中的眼动行为数据和生理数据、视频，最终将收集到的专家数据上传至云端服务器。
32.步骤二，云端服务器对上传的数据进行人工智能算法的分析。云端服务器接受来自专家端mr智能眼镜的数据，云端服务器通过预先ai(人工智能算法)训练好的事件特征库识别mr眼镜前置摄像头所拍摄的视频影像，理解该运动中各个时刻(或者每一帧图像)所发生的运动事件，并对视频中内容识别出兴趣物且划分兴趣区域。将专家运动过程的眼动数据进行复盘，注视点坐标映射在视频画面中，进而ai训练专家在该体育项目的该运动事件下的眼睛行为数据，获得视觉搜索模式和认知决策模型。
33.步骤三，新手用户在佩戴mr智能眼镜时，眼镜系统进入此时新手用户正在进行中体育项目的教学系统，并将前置摄像头拍到的影像和眼动数据实时上传至服务器。
34.步骤四，云端服务器对实时接收的视频数据进行识别，判断新手用户该体育项目当前时刻的情境事件。识别视频内容中的兴趣物体，最终通过将新手的运动事件与云端数据库匹配相同的情境事件找到专家在该情境事件下的视觉搜索模式和视觉注视点。
35.步骤五，mr/ar智能眼镜接受云端服务器传回结果数据，并通过mr智能眼镜光学显示系统呈现在当前情境事件下的视觉搜索模式和视觉注视点。
36.进一步，步骤一中，本发明实施例提供的专家正戴着ar/mr智能眼镜，ar/mr眼镜的传感器(眼动追踪模块、前置摄像头等)收集且记录下专家在该对抗性运动中的眼动数据和生理数据，最终将收集到的专家数据上传至云端服务器。
37.在本发明中，专家端ar/mr眼镜系统程序执行的技术方法包括：
38.ar/mr眼镜系统应理解目前专家准备进行体育运动项目,例如篮球、排球、乒乓球、羽毛球等。具体方法为通过ar/mr眼镜前置摄像头拍摄专家视野前方画面，通过将摄像头拍摄到的运动过程视频和目标图像与经过人工智能技术(卷积神经网络)训练过的物体特征数据库进行比对，进而计算出此时体育运动项目。例如摄像头拍摄到，例如篮球、排球、乒乓球、羽毛球、球拍、拦网等特征物体进行图像比对计算则可以获得此时正在进行的体育运动。例如当前置摄像头拍摄到篮球使则可判断正在进行篮球运动。其中，还包括使用ar/mr智能眼镜设备上集成的gps定位对当前所在位置的定位可以大致知道判断专家现在正处于什么环境中，进而判断正在进行地体育运动，例如定位地址是某篮球场，则判断可能为正在进行篮球运动。
39.在本发明中，所述相关数据包括专家眼动数据和ar/mr智能眼镜设备前置摄像头所捕捉到的对手运动的视频数据，该视频影像正是专家第一视角视觉前方地视野画面。
40.ar/mr智能眼镜已有眼动追踪模块获取人眼注视点。注视时，左右两只眼睛的视线汇聚相交于一对象。测出两只眼睛各自的视线角度和两眼视线夹角，确定双眼视线交点三维坐标，即确定人眼注视点。
41.其中专家眼动数据内容包括：其中专家眼动数据内容包括：注视点位置，注视持续时长，注视次数，对注视区域的首次注视时间，注视点的注视次数，瞳孔直径的变化，眼跳幅度/距离，眼跳次数，眼睛运动速度，扫视路径，首次注视时长，浏览顺序，一些扫视路径的可视化速度图表等信息，用户对视野前方各物体注视顺序，兴趣区域的平均注视时长，兴趣区域空间分布。mr眼镜上其他传感器还可以监测括专家用户此时的心跳、血压、身体运动的加速度、方向、身体姿态等。
42.所述专家收集数据时ar/mr智能眼镜设备前置摄像头所捕捉到比赛中对手的身体运动行为数据包括但不限于：身体倾斜度，双腿的跨度，关节的特征，肩膀的屈伸程度及手腕的伸展程度，双腿的跳起或下蹲。
43.在本发明中，所述收集数据时的过程具体包括：专家通过打开ar/mr智能眼镜设备上集成的眼动追踪模块和图像识别模块以及前置摄像头进行实时的采集所拍摄到的画面，即专家所看到的画面。眼动追踪模块会根据专家在运动过程中收集眼动行为数据，例如：羽毛球比赛中，专家面前的对手正在通过杀球奋力将羽毛球击回，这时眼动追踪模块会采集到专家此时眼睛的变化(例如瞳孔的放大和缩小，注视点大致分布在哪里，对手的哪个部位注视时间最长或较短，注视区域大不大等等这些数据)，和对手的身体运动行为数据(此时对手击打球是左手还是右手、腿部、肩胸部、手臂、球拍、身体倾斜幅度，跑动的范围，双腿之
间的跨度，以及身体各个关节的特征)。
44.进一步，步骤二中，所述云端服务器通过人工智能机器学习算法识别mr眼镜前置摄像头所拍摄的视频影像，识别该运动中各个时刻所发生的情况，对视频中人物进行运动的姿态识别，处理为人体骨骼运动的形式，通过将视频中目标人物的运动姿态与经过人工智能技术训练过的运动特征数据库进行比对，即可判断出此时目标人物的运动事件；将这些运动事件所发时间进行标记，记录下运动事件持续时间段或帧数；
45.所述并对视频中内容识别出兴趣物且划分兴趣区域包括，兴趣区域能够有效的帮助眼动数据的分析；通过上述人工智能的图像识别技术对视频画面中的目标物体进行图像识别、图像的语义分割，进而在目标物体边缘绘制出兴趣区域；其中兴趣区域的形状为矩形或与目标物体形状相同；兴趣区域中内容包括头部、球拍、小臂、球台、胸、肩、大腿、小腿、球、其他人体身体结构；
46.云端服务器的眼动数据与兴趣区域的分析包括：根据视频中已获取的运动事件发生地顺序为时间轴进行眼动数据分析，及分析专家在不同情境事件不同兴趣区域的眼动指标；按照时间顺序，将同一时刻专家的眼动数据映射在同一时刻的视频画面中，进而将眼动数据与兴趣区域进行对比运算；专家在对手的手臂、头、球兴趣区域的眼动数据包括注视平均时间、平均瞳孔直径、注视点个数、眼跳距离、首次注视点持续时间、次注视点持续时间、眨眼；通过统计总结出专家的有效视觉搜索点和兴趣物体、视觉认知模式；
47.进一步确定专家眼动行为的有效性，并优化数据模型，在得到眼动数据分析结果后，将数据结果与其他专家、新的眼动数据分析结果进行对比，排除的专家的个别异常注视点指标方法；
48.优化数据模型的方法具体为，通过专家手动确认其的预测球体或拳击的落点与实际结果是否一致；或通过计算机视觉系统自动识别在本情景事件下，专家的视觉搜索是否有效的回击了球体或有效的躲避攻击，如果是，则判断专家的视觉搜索做出的知觉预测与实际结果一致；进而，将该有效的专家眼动追踪数据加入到视觉搜索眼动数据模型中，优化人工智能算法和运动训练样本模型库；
49.所述人工智能机器学习算法包括：计算机视觉算法的非限制性示例包括：尺度不变特征变换sift，加速鲁棒特征surf，附加地或替代地通过各种机器学习算法执行对象识别；
50.训练后，机器学习算法由云端服务器或hmd存储。
51.进一步，步骤三中，新手用户在佩戴mr智能眼镜时，进入此时新手用户正在进行的体育项目，并将前置摄像头拍到的影像和眼动数据实时上传至服务器具体包括：
52.所述的新手用户包括：特指没有运动经验的新手，普通学员，初学者。
53.所述进入应用的过程包括：通过mr/ar眼镜上的人机交互技术操控mr/ar眼镜显示的虚拟按键进入体育项目教学系统并选择相应的教学科目。所述的人机交互技术包括但不限于眼动追踪、头动追踪、手势识别、语音识别、6dof手柄等。
54.除此之外，还包括mr/ar眼镜系统自动识别周围环境，眼镜系统自动进入新手用户当前的体育项目教学当中。其方法为利用mr/ar眼镜前置摄像头拍摄新手视野前方画面，通过将摄像头拍摄到的运动过程视频和目标图像与经过人工智能技术(卷积神经网络)训练过的物体特征数据库进行比对，进而计算出此时体育运动项目。例如摄像头拍摄到，例如篮
球、排球、乒乓球、羽毛球、球拍、拦网等特征物体进行图像比对计算则可以获得此时正在进行的体育运动。例如当前置摄像头拍摄到篮球使则可判断正在进行篮球运动。其中，还包括使用ar/mr智能眼镜设备上集成的gps定位对当前所在位置的定位可以大致知道判断新手用户现在正处于什么环境中，进而判断正在进行地体育运动，例如定位地址是某篮球场，则判断可能为正在进行篮球运动。
55.将新手用户运动过程中前置摄像头拍摄到的视频实时上传至云端服务器进行处理，并等待并接收云端服务器的处理后的教学方案。
56.进一步，步骤四中，本发明实施例提供云端服务器对实时接收的视频数据进行识别，判断新手用户该体育项目当前时刻的情境事件。识别视频内容中的兴趣物体，最终通过将新手的运动事件与云端数据库匹配相同的情境事件找到专家在该情境事件下的视觉搜索模式和视觉注视点的人过程包括：
57.云端服务器对接收的实时视频数据进行识别，判断新手用户该体育项目当前时刻的情境事件是什么，云端服务器通过人工智能机器学习算法识别mr眼镜前置摄像头所拍摄的实时视频影像，识别新手用户在当下运动时刻所发生的情况可能包括，例如在羽毛球运动中运动员包括杀球动作、挑球动作、发球动作、跑动等任意一种情况。具体方法为对视频中人物进行运动的姿态识别，处理成人体骨骼运动的形式(如今安防系统中步态分析)，通过将实时视频中目标人物的运动姿态与经过人工智能技术(卷积神经网络)训练过的运动特征数据库进行比对，即可判断出此时目标人物的运动事件。
58.在本发明中，对实时视频中内容识别出兴趣物体且划分兴趣区域包括，兴趣区域能够有效的帮助标记视觉搜索目标。通过上述人工智能的图像识别技术对视频画面中的目标物体进行图像识别、图像的语义分割，进而在目标物体边缘绘制出兴趣区域。其中兴趣区域的形状可以为矩形或与目标物体形状相同。兴趣区域中内容包括但不限于头部、球拍、小臂、球台、胸、肩、大腿、小腿、球、其他人体身体结构，同时服务器通过识别兴趣物体获得该兴趣物体的在画面中的二维坐标。
59.在本发明中，新手用户当前的实时视频被识别标记出运动事件，运动事件与云端数据库匹配相同的运动/情境事件找到专家在该运动/情境事件下的视觉搜索模式和视觉注视点位置具体包括，通过识别出新手用户此时正在面临的比赛情境去搜寻前期建立的专家在该比赛项目的该情境事件下的眼动行为数据和兴趣区域，在事先专家端训练出的有效的视觉搜索模式和对手击球路线预测结果、关键的视觉注视位置与新手视野中已识别的兴趣区域相关联。注视位置标注在有效的兴趣区域内。
60.最终，云端服务器将数据处理结果通过无线网络传送回mr/ar智能眼镜设备。
61.进一步，步骤五中，本发明实施例提供的mr/ar智能眼镜接受云端服务器传回结果数据，并通过mr/ar智能眼镜光学显示系统呈现在当前情境事件下的视觉搜索模式和视觉注视点，具体包括：
62.传回的数据包括或不包括兴趣区域框的坐标位置。网络通信可以采用通信技术(例如5g、6g、wifi)和边缘计算技术，在云端服务器识别新手运动员视野中的特征兴趣物体，将特征物体的圈/框坐标传回mr/ar眼镜进行显示。或如果同mr/ar眼镜本地算力进行前置摄像头画面中兴趣物体的识别和绘制兴趣区域，则不需要传送兴趣区域坐标数据。
63.该运动专家群体在当前情境事件下的视觉搜索数据，例如在羽毛球杀球运动过程
中，非专业的新手运动员往往更多的是注视腿部、球拍、和羽毛球。然而专业运动员更多的是关注对手的肩部、胸部、手臂、头部，则将对手肩部、胸部、手臂、头部等部位，则将这些部位作为兴趣区域显示高亮的控制信号和位置坐标传送至mr眼镜，除了高亮显示还可以使用任意的视觉效果引导新手运动的注视位置。除此之外，视觉效果(高亮)还包括注视顺序的信息，例如通过高亮的明暗程度、颜色深浅、编号等任意方式表示先后顺序。竞争对手的动作预测结果数据，预测数据包括但不限于对手的动作预测，球(羽毛球、排球、乒乓球等球类)落点位置预测。
64.最终，ar/mr智能眼镜设备的光波导显示模块在对手的兴趣区域(脚腕处、胳膊、头部、球拍、小臂、球台、胸、肩、大腿、小腿、球、其他人体身体结构)处虚拟成像出标记，ar/mr智能眼镜设备引导用户注视到这个标记(类似于科幻电影里铁侠战衣的视域中的很多提示信息，不过这里的成像信息都是与现实结合起来的，是真实的在现实环境中成像)。
65.本发明的另一目的在于提供一种实施一项所述基于眼动追踪技术的体育运动的辅助训练方法的ar/mr智能眼镜设备。
66.本发明的另一目的在于提供一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施所述基于眼动追踪技术的体育运动的辅助训练方法。
67.本发明的另一目的在于提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行所述的基于眼动追踪技术的体育运动的辅助训练方法。
68.本发明的另一目的在于提供一种基于ai人工智能技术对眼动数据分析的方法。例如ai绘制兴趣区域、判断运动情境等。定义为一直眼动数据分析的一种方法。限制在心理学研究领域。
69.具体包括：
70.云端服务器接受来自专家端mr智能眼镜的数据，云端服务器通过人工智能机器学习算法识别mr眼镜前置摄像头所拍摄的视频影像，识别该运动中各个时刻(或者每一帧图像)所发生的运动事件，并对视频中内容识别出兴趣物且划分兴趣区域。将专家运动过程的眼动数据进行复盘，注视点坐标映射在视频画面中，进而分析获得专家在该体育项目的该情况下的眼睛注视位置和视觉搜索模式、认知决策。
71.其中，在本发明中，所述云端服务器通过人工智能机器学习算法识别前置摄像头所拍摄的视频影像，理解该运动中各个时刻所发生的情况包括，例如在羽毛球运动中运动员包括杀球动作、挑球动作、发球动作、跑动等情况。具体方法为对视频中人物进行运动的姿态识别，处理成人体骨骼运动的形式(如今安防系统中步态分析)，通过将视频中目标人物的运动姿态与经过人工智能技术(卷积神经网络)训练过的运动特征数据库进行比对，即可判断出此时目标人物的运动事件。将这些运动事件所发时间(区间帧)进行标记，记录下运动事件持续时间段或帧数。
72.在本发明中，所述并对视频中内容识别出兴趣物且划分兴趣区域包括，兴趣区域能够有效的帮助眼动数据的分析。通过上述人工智能的图像识别技术对视频画面中的目标物体进行图像识别、图像的语义分割，进而在目标物体边缘绘制出兴趣区域。其中兴趣区域的形状可以为矩形或与目标物体形状相同。兴趣区域中内容包括但不限于头部、球拍、小臂、球台、胸、肩、大腿、小腿、球、其他人体身体结构，同时服务器通过识别兴趣物体获得该
兴趣物体的在画面中的二维坐标。
73.在本发明中，云端服务器的眼动数据与兴趣区域的分析包括：根据视频中已获取的运动事件发生地顺序为时间轴进行眼动数据分析，及分析专家在不同情境事件不同兴趣区域的眼动指标。按照时间顺序，将同一时刻专家的眼动数据(注视点坐标)映射在同一时刻的视频画面中，进而将眼动数据与兴趣区域进行对比运算。例如，在羽毛球运动的杀球事件中，专家在对手的手臂、头、球等兴趣区域的眼动数据包括但不限于注视平均时间、平均瞳孔直径、注视点个数、眼跳距离、首次注视点持续时间、次注视点持续时间、眨眼。最终通过统计总结出专家的有效视觉搜索点和兴趣物体、视觉认知模式/视觉搜索模型。在可替换实施例中，可以使用人工智能机器算法训练获得特定情境事件与眼动行为(例如注视兴趣区域、注视兴趣区域的顺序)之间的联系，及视觉搜索模型。
74.在本发明中，进一步确定专家眼动行为的有效性，并优化数据模型。在得到眼动数据分析结果后，可将数据结果与其他专家、新手的眼动数据分析结果进行对比，进而排除的专家的个别异常注视点指标方法。
75.优化数据模型的方法具体为，通过专家手动确认其的预测(知觉判断)球体或拳击(包括但不限于羽毛球、乒乓球、排球等球类，或跆拳道、拳击等搏击运动)的落点(球的运动轨迹)与实际结果是否一致。或通过计算机视觉系统自动识别在本情景事件下，专家的视觉搜索是否有效的回击了球体(例如羽毛球)或有效的躲避攻击，如果是，则判断专家的视觉搜索做出的知觉预测与实际结果一致。进而，将该有效的专家眼动追踪数据加入到视觉搜索眼动数据模型中，优化人工智能算法和运动训练样本模型库。
76.在另外一种可替换实施例中，视觉搜索模型训练的数据不仅仅通过佩戴mr/ar眼镜的专家采集获得对抗性运动中的眼动行为数据和生理数据、情境事件视频素材，还可以通过专家观看平面比赛视频过程中收集眼动数据，例如通过显示器、平板播放比赛视频给专家观看，并通过桌面是眼动仪采集眼动数据。
77.综上所述，本发明的优点及积极效果为：本发明提供了一种基于眼动追踪技术的体育运动的辅助训练系统能够进行高效率，高准确性的体育训练。
78.本发明是一种基于眼动追踪技术和运动心理学技术以ar/mr智能眼镜为载体的一种体育运动的辅助训练系统。本发明在用户在体育运动的过程中运用ar/mr智能眼镜上的动作捕捉系统和专家眼动模型的结合分析实时的给予指导和建议。本发明可以帮助用户快速的集中注意力，减少盲目的重复，极大地提高训练效率，降低用户受到伤害的可能性，尽快的掌握要领，从而达到最佳的训练效果。眼动追踪技术还可以在用户学习过程中捕捉到用户眼睛的潜意识动作，将以前传统抽象的不可描述的现象可以直观的呈现出来。以便用户可以做出快速的预判和决策。
附图说明
79.图1是本发明实施例提供的基于眼动追踪技术的体育运动的辅助训练方法流程图。
80.图2是本发明实施例提供的基于眼动追踪技术的体育运动的辅助训练系统结构示意图。
81.图中：11、专家终端；12、云端服务器；13、用户终端；14、云计算模块；15、网络通信
模块；16、云储存模块；17、系统优化模块。
82.图3是本发明实施例提供的ar/mr智能眼镜设备的硬件模块的示意图。
83.图4是本发明实施例提供的用户在佩戴智能眼镜学习时所看到的场景示意图。
84.图中：1、mr/ar眼镜(hmd)设备；2、图像处理单元gpu；3、显示设备；4、真实世界界篮球运动员模型；41、肩部；42、肘部；43、脚步；5、眼镜框架；6、网络通信模块wifi、4g、5g；7、前置摄像头、深度视觉视像头；8、处理器；9、惯性测量单元；10、眼动追踪系统。
具体实施方式
85.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
86.人类的信息加工在很大程度上依赖于视觉，大脑神经反馈控制眼球运动能以有效的方式和速度采集外界信息，眼动仪问世以来，心理学家通过眼动技术探索各种不同条件下视觉对信息的加工机制，进而观察其与心理活动的关系，提供了高校的工具。而在体育运动中，视觉信息提取的模式不同则可能反映了高水平运动员与一般水平的或新手之间运动能力的各种差异。眼动分析的方法己经被广泛地应用于各运动项目的研究中以记录不同水平运动员在运动、训练或比赛中的眼动模式，将极大地有利于对新手的有效训练和运动员的选拔。大多数项目，如篮球、足球、乒乓球、冰球、高尔夫球、网球、台球、铅球、板球、体操、击剑、自行车和职业国际象棋等都可以利用眼动分析进行研究
87.在许多对抗性体育项目中，都存在着瞬息变化的比赛局势，这就要求运动员能够迅速地搜寻到有用的视觉信息，同时做出相应的动作反应。许多研究发现，专家运动员比新手运动员的视觉搜索策略更恰当和更有效率。视觉搜索策略是指在搜索相关的信息时眼睛的移动方式。运动员在比赛中的视觉搜索及注视情况，可以通过眼动仪来进行研究。
88.例如在现有的羽毛球杀球眼动研究中发现，非专业的新手运动员在观看击球和发球视频时，往往更多的是注视腿部、球拍、和羽毛球、，然而专业运动员更多的是关注对手的肩部、胸部、手臂、头部。专业运动员在杀球路线的预测上精确度远高于非专业的新手运动员。
89.基于上述眼动心理学在运动中研究的理论基础产生了本技术方法，本发明提供了一种基于眼动追踪技术的体育运动的辅助训练系统及方法，下面结合附图对本发明作详细的描述。
90.所述近眼显示设备(hmd)还包括电子显示器和光学组件。hmd可以是例如混合现实(mixed reality)—mr眼镜、增强现实(augmented reality)—ar眼镜、虚拟现实(virtual reality)—vr眼镜、扩展现实(extended reality)—xr眼镜或其某种组合。电子显示器配置为发射图像光。在一些实施例中，用户的视野可以被波导至少部分地包围，用户通过波导可以查看他们的周围环境。波导可以将来自显示设备的显示光引导到用户的视野。波导可以在出射光耦合之前引导显示光。在将光输出耦合之后，波导可以将显示光的视觉信息与来自用户周围的环境光相结合，以将视觉信息传递给用户，让用户既可以看到现实世界也可以看到虚拟的全息影像。在用户周围将来自hmd的视觉信息覆盖可能需要视觉信息相对于用户眼睛的精确生成和定位。
91.为了更好的描述本发明方法，本文将以mr眼镜作为说明主体进行描述，mr眼镜在本文中将代表ar眼镜、vr眼镜、xr眼镜或其某种组合的近眼显示设备(hmd)。
92.如图1所示，本发明实施例提供的基于眼动追踪技术的体育运动的辅助训练方法包括：
93.s101，专家人群(即在某项运动领域很有经验或者有部分经验的人群)佩戴ar/mr智能眼镜参与或观看某对抗性运动比赛；ar/mr眼镜的传感器(眼动追踪模块、前置摄像头等)收集且记录下专家在该对抗性运动中的眼动行为数据和生理数据、视频，最终将收集到的专家数据上传至云端服务器。
94.s102，云端服务器对上传的数据进行人工智能算法的分析。云端服务器接受来自专家端mr智能眼镜的数据，云端服务器通过预先ai(人工智能算法)训练好的事件特征库识别mr眼镜前置摄像头所拍摄的视频影像，理解该运动中各个时刻(或者每一帧图像)所发生的运动事件，并对视频中内容识别出兴趣物且划分兴趣区域。将专家运动过程的眼动数据进行复盘，注视点坐标映射在视频画面中，进而ai训练专家在该体育项目的该运动事件下的眼睛行为数据，获得视觉搜索模式和认知决策模型。
95.s103，新手用户在佩戴mr智能眼镜时，眼镜系统进入此时新手用户正在进行中体育项目的教学系统，并将前置摄像头拍到的影像和眼动数据实时上传至服务器。
96.s104，云端服务器对实时接收的视频数据进行识别，判断新手用户该体育项目当前时刻的情境事件。识别视频内容中的兴趣物体，最终通过将新手的运动事件与云端数据库匹配相同的情境事件找到专家在该情境事件下的视觉搜索模式和视觉注视点。
97.s105，mr/ar智能眼镜接受云端服务器传回结果数据，并通过mr智能眼镜光学显示系统呈现在当前情境事件下的视觉搜索模式和视觉注视点。
98.步骤s101中，本发明实施例提供的专家正戴着ar/mr智能眼镜，ar/mr眼镜的传感器(眼动追踪模块、前置摄像头等)收集且记录下专家在该对抗性运动中的眼动数据和生理数据，最终将收集到的专家数据上传至云端服务器。
99.在本发明实施例中，专家端ar/mr眼镜系统程序执行的技术方法包括：
100.ar/mr眼镜系统应理解目前专家准备进行体育运动项目,例如篮球、排球、乒乓球、羽毛球等。具体方法为通过ar/mr眼镜前置摄像头拍摄专家视野前方画面，通过将摄像头拍摄到的运动过程视频和目标图像与经过人工智能技术(卷积神经网络)训练过的物体特征数据库进行比对，进而计算出此时体育运动项目。例如摄像头拍摄到，例如篮球、排球、乒乓球、羽毛球、球拍、拦网等特征物体进行图像比对计算则可以获得此时正在进行的体育运动。例如当前置摄像头拍摄到篮球使则可判断正在进行篮球运动。其中，还包括使用ar/mr智能眼镜设备上集成的gps定位对当前所在位置的定位可以大致知道判断专家现在正处于什么环境中，进而判断正在进行地体育运动，例如定位地址是某篮球场，则判断可能为正在进行篮球运动。
101.在本发明实施例中，所述专家具体包括：对某项运动很有经验的人群，心理学中，“专家”(expert),一般指某个特定领域有几千个小时以上的实际工作经验。例如：专业运动员，体育老师，或经验丰富的业余爱好者等。
102.在本发明实施例中，所述相关数据包括专家眼动数据和ar/mr智能眼镜设备前置摄像头所捕捉到的对手运动的视频数据，该视频影像正是专家第一视角视觉前方地视野画
面。
103.其中专家眼动数据内容包括：注视点位置，注视持续时长，注视次数，对注视区域的首次注视时间，注视点的注视次数，瞳孔直径的变化，眼跳幅度/距离，眼跳次数，眼睛运动速度，扫视路径，首次注视时长，浏览顺序，一些扫视路径的可视化速度图表等信息，用户对视野前方各物体注视顺序，兴趣区域的平均注视时长，兴趣区域空间分布。mr眼镜上其他传感器还可以监测括专家用户此时的心跳、血压、身体运动的加速度、方向、身体姿态等。
104.所述专家收集数据时ar/mr智能眼镜设备前置摄像头所捕捉到比赛中对手的身体运动行为数据包括但不限于：身体倾斜度，双腿的跨度，关节的特征，肩膀的屈伸程度及手腕的伸展程度，双腿的跳起或下蹲。
105.在本发明实施例中，所述收集数据时的过程具体包括：专家通过打开ar/mr智能眼镜设备上集成的眼动追踪模块和图像识别模块以及前置摄像头进行实时的采集所拍摄到的画面，即专家所看到的画面。眼动追踪模块会根据专家在运动过程中收集眼动行为数据，例如：羽毛球比赛中，专家面前的对手正在通过杀球奋力将羽毛球击回，这时眼动追踪模块会采集到专家此时眼睛的变化(例如瞳孔的放大和缩小，注视点大致分布在哪里，对手的哪个部位注视时间最长或较短，注视区域大不大等等这些数据)，和对手的身体运动行为数据(此时对手击打球是左手还是右手、腿部、肩胸部、手臂、球拍、身体倾斜幅度，跑动的范围，双腿之间的跨度，以及身体各个关节的特征)。
106.步骤s102中，本发明实施例提供的云端服务器接受来自专家端mr智能眼镜的数据，云端服务器通过预先ai(人工智能算法)训练好的事件特征库识别mr眼镜前置摄像头所拍摄的视频影像，理解该运动中各个时刻(或者每一帧图像)所发生的运动事件，并对视频中内容识别出兴趣物且划分兴趣区域。将专家运动过程的眼动数据进行复盘，注视点坐标映射在视频画面中，进而ai训练专家在该体育项目的该运动事件下的眼睛行为，获得视觉搜索模式和认知决策模型。
107.其中，在本发明实施例中，所述云端服务器通过人工智能机器学习算法识别前置摄像头所拍摄的视频影像，理解该运动中各个时刻所发生的情况包括，例如在羽毛球运动中运动员包括杀球动作、挑球动作、发球动作、跑动等情况。具体方法为对视频中人物进行运动的姿态识别，处理成人体骨骼运动的形式(如今安防系统中步态分析)，通过将视频中目标人物的运动姿态与经过人工智能技术(卷积神经网络)训练过的运动特征数据库进行比对，即可判断出此时目标人物的运动事件。将这些运动事件所发时间(区间帧)进行标记，记录下运动事件持续时间段或帧数。
108.在本发明实施例中，所述并对视频中内容识别出兴趣物且划分兴趣区域包括，兴趣区域能够有效的帮助眼动数据的分析。通过上述人工智能的图像识别技术对视频画面中的目标物体进行图像识别、图像的语义分割，进而在目标物体边缘绘制出兴趣区域。其中兴趣区域的形状可以为矩形或与目标物体形状相同。兴趣区域中内容包括但不限于头部、球拍、小臂、球台、胸、肩、大腿、小腿、球、其他人体身体结构，同时服务器通过识别兴趣物体获得该兴趣物体的在画面中的二维坐标。
109.在本发明实施例中，云端服务器的眼动数据与兴趣区域的分析包括：根据视频中已获取的运动事件发生地顺序为时间轴进行眼动数据分析，及分析专家在不同情境事件不同兴趣区域的眼动指标。按照时间顺序，将同一时刻专家的眼动数据(注视点坐标)映射在
同一时刻的视频画面中，进而将眼动数据与兴趣区域进行对比运算。例如，在羽毛球运动的杀球事件中，专家在对手的手臂、头、球等兴趣区域的眼动数据包括但不限于注视平均时间、平均瞳孔直径、注视点个数、眼跳距离、首次注视点持续时间、次注视点持续时间、眨眼。最终通过统计总结出专家的有效视觉搜索点和兴趣物体、视觉认知模式/视觉搜索模型。在可替换实施例中，可以使用人工智能机器算法训练获得特定情境事件与眼动行为(例如注视兴趣区域、注视兴趣区域的顺序)之间的联系，及视觉搜索模型。
110.在本发明实施例中，进一步确定专家眼动行为的有效性，并优化数据模型。在得到眼动数据分析结果后，可将数据结果与其他专家、新手的眼动数据分析结果进行对比，进而排除的专家的个别异常注视点指标方法。
111.优化数据模型的方法具体为，通过专家手动确认其的预测(知觉判断)球体或拳击(包括但不限于羽毛球、乒乓球、排球等球类，或跆拳道、拳击等搏击运动)的落点(球的运动轨迹)与实际结果是否一致。或通过计算机视觉系统自动识别在本情景事件下，专家的视觉搜索是否有效的回击了球体(例如羽毛球)或有效的躲避攻击，如果是，则判断专家的视觉搜索做出的知觉预测与实际结果一致。进而，将该有效的专家眼动追踪数据加入到视觉搜索眼动数据模型中，优化人工智能算法和运动训练样本模型库。
112.在另外一种可替换实施例中，视觉搜索模型训练的数据不仅仅通过佩戴mr/ar眼镜的专家采集获得对抗性运动中的眼动行为数据和生理数据、情境事件视频素材，还可以通过专家观看平面比赛视频过程中收集眼动数据，例如通过显示器、平板播放比赛视频给专家观看，并通过桌面是眼动仪采集眼动数据。
113.在本发明实施例中，所述人工智能机器学习算法包括：计算机视觉算法的非限制性示例包括：尺度不变特征变换(sift)，加速鲁棒特征(surf)，可以附加地或替代地通过各种机器学习算法来执行对象识别。训练后，机器学习算法可以由云端服务器或hmd存储。机器学习算法的一些示例可以包括有监督或无监督的机器学习算法，包括回归算法(例如普通最小二乘回归)，基于实例的算法(例如学习向量量化)，决策树算法(例如分类和回归树)，贝叶斯算法(例如朴素贝叶斯)，聚类算法(例如k-means聚类)，关联规则学习算法(例如(例如先验算法)，人工神经网络算法(例如perceptron)，深度学习算法(例如deep boltzmann机器或深度神经网络)，降维算法(例如主成分分析)，集成算法(例如stacked generalization)和/或其他机器学习算法。可以为各个数据集定制各个模型。
114.步骤s103中，新手用户在佩戴mr智能眼镜时，进入此时新手用户正在进行的体育项目，并将前置摄像头拍到的影像和眼动数据实时上传至服务器具体包括：
115.所述的新手用户包括：特指没有运动经验的新手，普通学员，初学者。
116.所述进入应用的过程包括：通过mr/ar眼镜上的人机交互技术操控mr/ar眼镜显示的虚拟按键进入体育项目教学系统并选择相应的教学科目。所述的人机交互技术包括但不限于眼动追踪、头动追踪、手势识别、语音识别、6dof手柄等。
117.除此之外，还包括mr/ar眼镜系统自动识别周围环境，眼镜系统自动进入新手用户当前的体育项目教学当中。其方法为利用mr/ar眼镜前置摄像头拍摄新手视野前方画面，通过将摄像头拍摄到的运动过程视频和目标图像与经过人工智能技术(卷积神经网络)训练过的物体特征数据库进行比对，进而计算出此时体育运动项目。例如摄像头拍摄到，例如篮球、排球、乒乓球、羽毛球、球拍、拦网等特征物体进行图像比对计算则可以获得此时正在进
行的体育运动。例如当前置摄像头拍摄到篮球使则可判断正在进行篮球运动。其中，还包括使用ar/mr智能眼镜设备上集成的gps定位对当前所在位置的定位可以大致知道判断新手用户现在正处于什么环境中，进而判断正在进行地体育运动，例如定位地址是某篮球场，则判断可能为正在进行篮球运动。
118.将新手用户运动过程中前置摄像头拍摄到的视频实时上传至云端服务器进行处理，并等待并接收云端服务器的处理后的教学方案。
119.步骤s104中，本发明实施例提供云端服务器对实时接收的视频数据进行识别，判断新手用户该体育项目当前时刻的情境事件。识别视频内容中的兴趣物体，最终通过将新手的运动事件与云端数据库匹配相同的情境事件找到专家在该情境事件下的视觉搜索模式和视觉注视点的人过程包括：
120.云端服务器对接收的实时视频数据进行识别，判断新手用户该体育项目目前时刻的情境事件是什么，云端服务器通过人工智能机器学习算法识别mr眼镜前置摄像头所拍摄的实时视频影像，识别新手用户在当下运动时刻所发生的情况可能包括，例如在羽毛球运动中运动员包括杀球动作、挑球动作、发球动作、跑动等任意一种情况。具体方法为对视频中人物进行运动的姿态识别，处理成人体骨骼运动的形式(如今安防系统中步态分析)，通过将实时视频中目标人物的运动姿态与经过人工智能技术(卷积神经网络)训练过的运动特征数据库进行比对，即可判断出此时目标人物的运动事件。
121.在本发明实施例中，对实时视频中内容识别出兴趣物体且划分兴趣区域包括，兴趣区域能够有效的帮助标记视觉搜索目标。通过上述人工智能的图像识别技术对视频画面中的目标物体进行图像识别、图像的语义分割，进而在目标物体边缘绘制出兴趣区域。其中兴趣区域的形状可以为矩形或与目标物体形状相同。兴趣区域中内容包括但不限于头部、球拍、小臂、球台、胸、肩、大腿、小腿、球、其他人体身体结构，同时服务器通过识别兴趣物体获得该兴趣物体的在画面中的二维坐标。
122.在本发明实施例中，新手用户当前的实时视频被识别标记出运动事件与云端数据库匹配相同的运动/情境事件找到专家在该运动/情境事件下的视觉搜索模式和视觉注视点位置具体包括，通过识别出新手用户此时正在面临的比赛情境去搜寻前期建立的专家在该比赛项目的该情境事件下的眼动行为数据和兴趣区域，在事先专家端训练出的有效的视觉搜索模式和对手击球路线预测结果、关键的视觉注视位置与新手视野中已识别的兴趣区域相关联。注视位置标注在有效的兴趣区域内。
123.最终，云端服务器将数据处理结果通过无线网络传送回mr/ar智能眼镜设备。
124.步骤s105中，本发明实施例提供的mr/ar智能眼镜接受云端服务器传回结果数据，并通过mr/ar智能眼镜光学显示系统呈现在当前情境事件下的视觉搜索模式和视觉注视点，具体包括：
125.传回的数据包括或不包括兴趣区域框的坐标位置。网络通信可以采用通信技术(例如5g、6g、wifi)和边缘计算技术，在云端服务器识别新手运动员视野中的特征兴趣物体，将特征物体的圈/框坐标传回mr/ar眼镜进行显示。或如果同mr/ar眼镜本地算力进行前置摄像头画面中兴趣物体的识别和绘制兴趣区域，则不需要传送兴趣区域坐标数据。其中所述兴趣区域框的坐标位置为虚拟三维空间中的x横坐标、y纵坐标、z竖坐标，其中通过mr智能眼镜深度视觉摄像头对真实世界空间建立虚拟三模空间，并将虚拟三维空间与真实世
界空间拟合。
126.该运动专家群体在当前情境事件下的视觉搜索数据，例如在羽毛球杀球运动过程中，非专业的新手运动员往往更多的是注视腿部、球拍、和羽毛球。然而专业运动员更多的是关注对手的肩部、胸部、手臂、头部，则将对手肩部、胸部、手臂、头部等部位，则将这些部位作为兴趣区域显示高亮的控制信号和位置坐标传送至mr眼镜，除了高亮显示还可以使用任意的视觉效果引导新手运动的注视位置。除此之外，视觉效果(高亮)还包括注视顺序的信息，例如通过高亮的明暗程度、颜色深浅、编号等任意方式表示先后顺序。竞争对手的动作预测结果数据，预测数据包括但不限于对手的动作预测，球(羽毛球、排球、乒乓球等球类)落点位置预测。
127.最终，ar/mr智能眼镜设备的光波导显示模块在对手的兴趣区域(脚腕处、胳膊、头部、球拍、小臂、球台、胸、肩、大腿、小腿、球、其他人体身体结构)处虚拟成像出标记，ar/mr智能眼镜设备引导用户注视到这个标记(类似于科幻电影里铁侠战衣的视域中的很多提示信息，不过这里的成像信息都是与现实结合起来的，是真实的在现实环境中成像)。
128.如图2所示，本发明实施例提供的基于眼动追踪技术的体育运动的辅助训练系统包括：
129.专家终端11：用于利用ar/mr智能眼镜设备收集专家在该教学项目的运动过程中的眼动行为数据，并将收集到的数据传输至云端服务器12。
130.云端服务器12：用于接收专家的相关数据，并对接收到的相关数据进行人工智能的机器学习，建立样本数据库；同时还用于新手接收用户模块发送的请求，反馈对应数据模型。用于接收并分析新手用户当前实时数据，将实时的处理获得的当前情境事件下的专家视觉搜索模式和视觉注视点位置回传给新手用户客户端。
131.新手用户终端13：用于通过ar/mr智能眼镜设备上传当前所在位置以及相应请求，同时用于接收云端12发送的相关数据模型，并结合ar/mr智能眼镜设备进行实时学习。
132.作为优选实施例，本发明提供的云端服务器12包括：
133.云计算模块14：用于运用人工智能机器学习算法对数据进行数据计算；对数据进行数据排序；对数据进行数据储存；对数据进行数据检索一系列的逻辑运算。
134.网络通信模块15：用于对ar/mr智能眼镜设备的通信，接收ar/mr智能眼镜设备的网络请求，并向ar/mr智能眼镜设备发送网络请求。
135.云储存模块即云端数据库16：用于超级计算机利用复杂的人工智能机器学习算法对大量的数据进行分析，排序，组织，存储，学习获得各项运动的特征数据库。
136.系统优化模块17：用于针对不同应用进行优化，形成针对性的硬件支撑环境。
137.在云计算中心中，不同的服务器承担着不同的应用。例如有些是虚拟化应用、有些是大数据应用，不同的应用有着不同的需求。因此针对不同应用进行优化，形成针对性的硬件支撑环境，将能充分发挥云计算中心的优势。
138.如图3所示，本发明实施例示出了具有眼动追踪系统的ar/mr智能眼镜1(即，hmd设备)的侧透视图。在图3的示例中hmd设备1包括显示设备3和框架5，框架5环绕用户的头部以在向用户提供混合现实(mr)体验时将显示设备3定位成靠近用户的眼睛。可以使用任何合适的显示技术和配置显示设备3显示虚拟图像。对于混合现实体验，显示设备3可以是不透明的发光二极管(led)显示器，液晶显示器(lcd)，直接用微机电系统(mems)作为显示器或
任何其他合适类型的不透明显示器进行扫描。在一些情况下，可以提供向外的摄像机7，其捕获周围环境的图像，并且这些捕获的图像可以与计算机生成的图像一起显示在显示器上，该图像增强了捕获的真实环境图像。
139.对于混合现实(mr)或增强现实体验，显示设备3可以是至少部分透明的，使得hmd设备1的用户可以通过显示虚拟对象的一个或多个部分透明像素来查看物理环境中的物理真实世界对象。例如，显示装置3可以包括图像产生元件，例如透明有机发光二极管(oled)显示器或与光波导元件结合使用的mems。显示设备3可以是至少部分透明的，使得hmd设备1的用户可以通过显示虚拟对象表示的一个或多个部分透明像素来查看物理环境中的物理真实世界对象。
140.框架5还可以支持hmd设备1的附加组件，包括图像处理单元gpu2，网络通信模块(5g)6，前置摄像头7，处理器8，惯性测量单元(imu)9和眼动追踪系统10.处理器8可以包括逻辑和配置的相关计算机存储器接收来自imu9和其他传感器的感觉信号，向显示设备3提供显示信号，从收集的数据中导出信息，以及实施本发明所述的各种控制过程。
141.(本智能眼镜属于运动型智能眼镜，能牢固的固定在使用者的头部，在运动的过程中不会掉落和松动)。
142.作为优选实施例，本发明提供的眼动追踪系统10中，检测用户眼睛的凝视动作的方法具体包括：
143.通过眼动追踪模块捕获眼睛图像，检测眼睛动作，计算眼睛的瞳孔大小、虹膜图像、眨眼频率、单眼眨眼、眼脸闭合、视线及眼跳轨迹等，计算注视时长，当注视时长超过一定时长，则视为用户对某一位置进行了凝视动作。
144.再者，眼动追踪模块的眼动追踪方法包括：
145.1)通过接收眼睛反射光线，计算瞳孔中心与角膜中心的连线进行眼动追踪。硬件包括多个不可见红外光源、微型摄像头、反光热镜、光波导镜片。
146.2)另一种眼动追踪技术实施例为通过捕获眼睛图像或者计算视网膜的影像或者视网膜反射光的强度进行眼动追踪。硬件包括不可见红外光源、光敏传感器、mems微机械系统反射镜、光波导镜片。
147.3)另一种眼动追踪技术实施例为通过发射结构光对眼睛建模，计算眼睛模型的视觉中心进行眼动追踪。
148.4)另一种眼动追踪技术实施例为通过接收眼睛角膜的反射光线，计算角膜中心反射的强度最大的光来进行眼动追踪。硬件包括不可见红外光源、光敏传感器、mems微机械系统反射镜、光波导镜片，光波导镜片可以配置为靠近眼睛的一层或多层光波导进行眼睛图像的获取和传导，波导中的输入衍射耦合器将眼睛图像耦合，眼睛图像光线在光波导中传导，同时图像传感器配置在光波导输出衍射耦合器的光线出射端。
149.图4是本发明实施例提供的用户在佩戴智能眼镜学习时所看到的场景示意图：图中所呈现视角为新手用户此时在篮球运动中所观看到的画面，用户通过ar/mr智能眼镜设备所呈现的数字世界和真实世界里的场景相结合来进行实时的学习。如图真实世界一名篮球运动员4正在对新手用户前方做出拦截的行为，智能眼镜前置摄像头将此时实时拍摄的影像上传至服务器进行识别，云端服务器将识别出的兴趣区域坐标位置和视觉搜索模式回传至mr眼镜通过成像系统呈现出来，如图肩部41、肘部42、脚步43为成像系统呈现的虚拟影
像标识叠加在真实人物场景上，以此引导新手用户目标。并且服务器通过人物运动姿态的识别预测对手的运动，并提示新手用户。
150.在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
151.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。