一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

语言教学机的制作方法

2022-07-11 06:32:07 来源:中国专利 TAG:

语言教学机
1.相关申请
2.本技术要求于2019年9月30日提交的题为“language teaching machine”的美国临时专利申请第62/907,921号的优先权权益,该美国临时专利申请通过引用整体并入本文。
技术领域
3.本文公开的主题总体上涉及促进教导语言的专用机器的技术领域,包括软件配置的这样的专用机器的计算机化变体以及对这样的变体的改进,并且涉及这样的专用机器与其他促进教导语言的专用机器相比得到改进的技术。具体地,本公开内容提出了用于促进向一个或更多个用户(例如,学生、儿童或其任何合适的组合)教导一种或更多种语言技能例如单词的发音的系统和方法。


背景技术:

4.机器可以被配置成在与用户交互的过程中通过呈现其中在显示屏上示出语言课程的图形用户界面(gui)并且提示用户大声阅读由机器导致出现在示出语言课程的gui中的单词来教导语言技能。
附图说明
5.在附图的各个图中,一些实施方式通过示例而非限制的方式示出。
6.图1是示出根据一些示例实施方式的适合于操作服务器机器(例如,语言教学服务器机器)的网络环境的网络图。
7.图2是示出根据一些示例实施方式的适合于与服务器机器一起使用的头戴式耳机的部件的框图。
8.图3是示出根据一些示例实施方式的适合于与服务器机器一起使用的设备的部件的框图。
9.图4是示出根据一些示例实施方式的服务器机器的部件的框图。
10.图5至图7是示出根据一些示例实施方式的服务器机器在执行教导语言技能(例如,单词的发音)的方法中的操作的流程图。
11.图8是示出根据一些示例实施方式的机器的部件的框图,该机器能够从机器可读介质读取指令并且执行本文讨论的任意一种或更多种方法。
具体实施方式
12.示例方法(例如,算法)促进教导语言,并且示例系统(例如,由专用软件配置的专用机器)被配置成促进教导语言。示例仅代表可能的变型。除非另有明确说明,否则结构(例如,结构部件,诸如模块)是可选的并且可以进行组合或细分,并且操作(例如,在过程、算法或其他功能中)可以按顺序变化或者进行组合或细分。在以下描述中,出于说明的目的,阐
述了许多具体细节以提供对各种示例实施方式的透彻理解。然而,对于本领域技术人员而言将明显的是,可以在没有这些具体细节的情况下实践本主题。
13.一组一个或更多个机器(例如,计算机或其他设备)可以由合适的硬件和软件配置成共同用作一个或更多个用户的语言教学实验室(例如,完全或部分地可穿戴、便携式或以其他方式移动的语言教学实验室)。这样的语言教学实验室可以基于各种指导原则中的一个或更多个进行操作,包括,例如:口头理解先于书面理解;听力音素出现在学习语言的早期(例如,首先);将听觉与环境噪音隔离(例如,经由一个或更多个头带受话器)可以促进学习语言;口头重复允许用户将口述音素与听到该音素的记忆进行比较(例如,在反馈循环中);以及嘴部运动(例如,用户嘴部进行的机械运动)与口头吐词相关。因此,语言教学实验室的一个或更多个机器可以被配置成:访问多种来源和类型的数据(例如,一个或更多个视频流、音频流、热成像数据、眼睛追踪器数据、呼吸风速计数据、生物传感器数据、加速度计数据、深度传感器数据或其任何合适的组合);根据所访问的数据,检测到用户正在发音例如对单词、短语或句子进行发音,然后使得呈现出该单词、短语或句子的参考(例如正确或标准)发音。参考发音的呈现可以包括:播放参考发音的音频、播放动作者说出参考发音的视频、显示说出参考发音的嘴部或面部的动画模型、显示与说出参考发音的用户自己的嘴部或面部的图像进行纹理映射的这样的动画模型、或者其任何合适的组合。
14.图1是示出根据一些示例实施方式的适合于操作服务器机器110(例如,语言教学服务器机器)的网络环境100的网络图。网络环境100包括服务器机器110、数据库115、头戴式耳机120和设备130,它们都经由网络190彼此通信地耦接。服务器机器110——与数据库115一起或不与数据库115一起——可以形成云118(例如,被配置成用作单个服务器的一组地理上分布的多个机器)的全部或部分,该云118可以形成基于网络的系统105(例如,被配置成向头戴式耳机120、设备130或两者提供一个或更多个基于网络的服务的基于云的服务器系统)的全部或部分。服务器机器110、数据库115、头戴式耳机120和设备130可以各自整体上或部分地在专用(例如,专业的)计算机系统中实现,如下面关于图8所描述的。
15.在图1中也示出了用户132,其可以是人(例如,儿童、学生、语言学习者或其任何合适的组合)。更一般地,用户132可以是人类用户(例如,人类)、机器用户(例如,由软件程序配置成与设备130进行交互的计算机)、或者其任何合适的组合(例如,由机器辅助的人类或由人类监督的机器)。用户132与设备130相关联并且可以是设备130的用户。例如,设备130可以是台式计算机、车载计算机、家庭媒体系统(例如,家庭影院系统或其他家庭娱乐系统)、平板计算机、导航设备、便携式媒体设备、智能电话或属于用户132的可穿戴设备(例如,智能手表、智能眼镜、智能服装或智能首饰)。同样地,用户132与头戴式耳机120相关联并且可以是头戴式耳机120的佩戴者。例如,头戴式耳机120可以被佩戴在用户132的头部上并从其进行操作。在一些示例实施方式中,头戴式耳机120和所述设备彼此通信地耦接(例如,独立于网络190),例如经由有线本地或个人网络、无线网络连接或其任何合适的组合来彼此通信地耦接。
16.图1中所示的任何系统或机器(例如,数据库、头戴式耳机和设备)可以包括专用(例如,专业的或以其他方式非常规和非通用的)计算机或以其他方式在专用计算机中实现,该专用计算机已经被修改以执行本文描述的用于该系统或机器的一个或更多个功能(例如,通过专用软件例如专用应用、操作系统、固件、中间件或其他软件程序的一个或更多
个软件模块进行配置或编程)。例如,下面关于图8讨论了能够实现本文描述的任意一种或更多种方法的专用计算机系统,并且这样的专用计算机可以因此是用于执行本文讨论的任意一种或更多种方法的装置。在这样的专用计算机的技术领域内,与缺少本文讨论的结构或以其他方式不能够执行本文讨论的功能的其他专用计算机相比,已经通过本文讨论的结构特别修改(例如,通过专用软件进行配置)以执行本文讨论的功能的专用计算机在技术上得到改进。因此,根据本文讨论的系统和方法配置的专用机器提供了对类似专用机器的技术的改进。
17.如本文所使用的,“数据库”是数据存储资源并且可以存储被结构化为文本文件、表格、电子表格、关系数据库(例如,对象关系数据库)、三元存储、分层数据存储或其任何合适的组合的数据。此外,图1中所示出的系统或机器中的任意两个或更多个可以组合成单个系统或机器,并且本文针对任何单个系统或机器描述的功能可以在多个系统或机器之间进行细分。
18.网络190可以是能够在系统、机器、数据库与设备之间(例如,在服务器机器110与设备130之间)进行通信的任何网络。因此,网络190可以是有线网络、无线网络(例如,移动或蜂窝网络)或其任何合适的组合。网络190可以包括构成私用网络、公共网络(例如,因特网)或其任何合适组合的一个或更多个部分。因此,网络190可以包括并入局域网(lan)、广域网(wan)、因特网、移动电话网络(例如,蜂窝网络)、有线电话网络(例如,普通老式电话服务(pots)网络)、无线数据网络(例如,wifi网络或wimax网络)或其任何合适的组合的一个或更多个部分。网络190的任意一个或更多个部分可以经由传输介质传送信息。如本文所使用的,“传输介质”指代能够传送(例如,传输)用于由机器(例如,由这样的机器的一个或更多个处理器)执行的指令的任何无形的(例如,暂态的)介质,并且“传输介质”包括数字通信信号或模拟通信信号或用于促进这样的软件的通信的其他无形介质。
19.图2是示出根据一些示例实施方式的头戴式耳机120的部件的框图。头戴式耳机120被示出为包括向内瞄准的摄像装置210(例如,其指向或以其他方式定向以当佩戴头戴式耳机120时观察用户132的嘴部)、向外瞄准的摄像装置220(例如,其指向或以其他方式定向以当佩戴头戴式耳机120时观察用户132前面的区域)、麦克风230(例如,其指向或定位在用户132的嘴部附近)以及扬声器240(例如,音频扬声器诸如双耳式耳机、听筒、耳塞式耳机或其任何合适的组合)。头戴式耳机的一些示例实施方式(例如,对于一些言语治疗应用)省略了向外瞄准的摄像装置220或忽略其视频流。
20.头戴式耳机120还被示出为包括热像仪250、眼睛追踪器251(例如,其指向或以其他方式定向以当佩戴头戴式耳机120时观察用户132的一只或两只眼睛)、风速计252(例如,当佩戴头戴式耳机120时,呼吸风速计指向或定位在用户132的嘴部附近)、以及一组一个或更多个生物传感器253(例如,其被定位或以其他方式配置成:当用户132佩戴头戴式耳机120时,测量心率(hr)、皮肤电反应(gsr)、其他皮肤状况、脑电图(eeg)、其他脑部状态或其任何合适的组合)。
21.在所示的示例实施方式中,头戴式耳机120还包括一组一个或更多个加速度计254(例如,其被定位或以其他方式配置成当佩戴头戴式耳机120时测量例如用户132的嘴部、用户132的舌部、用户132的喉部或其任何合适的组合的运动)、肌肉刺激器255(例如,一组一个或更多个神经肌肉电肌肉刺激器,其被定位或以其他方式配置成当佩戴头戴式耳机120
时刺激用户132的一个或更多个肌肉)、激光器256(例如,低功率或其他儿童安全的激光指示器,其瞄准或以其他方式定向以当佩戴头戴式耳机120时朝向用户132前面的区域发射激光束)、以及深度传感器257(例如,红外线或其他类型的深度传感器,其指向或以其他方式定向以当佩戴头戴式耳机120时检测用户132前方区域中的深度数据)。如图2所示,头戴式耳机120的各种上述部件或其任何子组被配置成彼此通信(例如,经由总线、共享存储器或交换机彼此通信)。
22.图3是示出根据一些示例实施方式的设备130的部件的框图。设备130被示出为包括阅读指导模块310(例如,被配置成在呈现一个或更多个阅读教程时与用户132进行交互的软件控制的硬件)、说话指导模块320(例如,被配置成在呈现一个或更多个言语教程时与用户132进行交互的软件控制的硬件)、指导游戏模块330(例如,被配置成在呈现一个或更多个指导游戏时与用户132进行交互的软件控制的硬件)以及显示屏340(例如,触摸屏或其他显示屏)。如图3所示,设备130的各种上述部件或其任何子组被配置成彼此通信(例如,经由总线、共享存储器或交换机彼此通信)。
23.如图3所示,阅读指导模块310、说话指导模块320、指导游戏模块330或其任何组合可以形成存储(例如,安装)在设备130上的app 300(例如,移动app)的全部或部分(例如,响应于由设备130经由网络190接收数据或者以其他方式作为由设备130经由网络190接收数据的结果)。此外,一个或更多个处理器399(例如,硬件处理器、数字处理器或其任何合适的组合)可以被包括(例如,临时地或永久地包括)在app 300、阅读指导模块310、说话指导模块320、指导游戏模块330或其任何合适的组合中。
24.图4是示出根据一些示例实施方式的服务器机器110的部件的框图。服务器机器110被示出为包括数据访问模块410、数据分析模块420和发音校正模块430,它们都被配置成彼此通信(例如,经由总线、共享存储器或交换机彼此通信)。
25.如图4所示,数据访问模块410、数据分析模块420和发音校正模块430可以形成存储(例如,安装)在服务器机器110上的app 400(例如,服务器端app)的全部或部分(例如,响应于经由网络190接收数据或者以其他方式作为经由网络190接收数据的结果)。此外,一个或更多个处理器499(例如,硬件处理器、数字处理器或其任何合适的组合)可以被包括(例如,临时地或永久地包括)在app 400、数据访问模块410、数据分析模块420、发音校正模块430或其任何合适的组合中。
26.本文描述的任意一个或更多个部件(例如,模块)可以单独使用硬件(例如,一个或更多个处理器399或一个或更多个处理器499,视情况而定)或者使用硬件和软件的组合来实现。例如,本文描述的任意部件可以物理地包括一个或更多个处理器399或499(例如,处理器399或499的子集或在处理器399或499之中)的布置,所述一个或更多个处理器399或499的布置视情况而定被配置成执行本文针对该部件描述的操作。作为另一示例,本文描述的任何部件可以包括:将一个或更多个处理器399或499的布置视情况而定配置成执行本文针对该部件描述的操作的软件、硬件或两者。因此,本文描述的不同部件可以包括和配置处理器399或499在不同时间点处的不同布置或者处理器399或499在不同时间点处的单个布置。本文描述的每个部件(例如,模块)是用于执行本文针对该部件描述的操作的装置的示例。此外,本文描述的任意两个或更多个部件可以组合成单个部件,并且本文针对单个部件描述的功能可以在多个部件中进行细分。此外,根据各种示例实施方式,本文描述为在单个
系统或机器(例如,单个设备)内实现的部件可以跨多个系统或机器(例如,多个设备)分布。
27.根据各种示例实施方式,头戴式耳机120、服务器机器110、设备130或其任何合适的组合用作用户132的移动语言学习实验室。这样的语言学习实验室向用户132提供一种或更多种语言技能的指导、这些语言技能的实践练习或者两者。这种语言学习实验室可以通过提供发音分析、上下文阅读、运动肌肉记忆回忆分析、听觉反馈、游戏对象识别、手写识别、姿势识别、眼睛追踪、生物特征分析或其任何合适的组合来增强。
28.图5至图7是示出根据一些示例实施方式的服务器机器110在执行教导语言技能(例如,单词的发音)的方法500中的操作的流程图。方法500中的操作可以由服务器机器110、头戴式耳机120、设备130或其任何合适的组合使用上面关于图2至图4描述的部件(例如,模块)、使用一个或更多个处理器(例如,微处理器或其他硬件处理器)或者使用其任何合适的组合来执行。如图5所示,方法500包括操作510、520、530和540。
29.在操作510中,数据访问模块410访问两个视频流和一个音频流。具体地,所访问的流是外部视频流和内部视频流(例如,一个外部视频流和一个内部视频流)以及音频流或者包括外部视频流和内部视频流(例如,一个外部视频流和一个内部视频流)以及音频流,所述外部视频流和内部视频流以及音频流都由头戴式耳机120提供,头戴式耳机120包括向外瞄准的摄像装置220、向内瞄准的摄像装置210和麦克风230。头戴式耳机120的向外瞄准的摄像装置220具有远离头戴式耳机120的佩戴者(例如,用户132)延伸的向外视场。向外瞄准的摄像装置220基于(例如,使用或根据)向外视场来生成外部视频流。头戴式耳机120的向内瞄准的摄像装置210具有朝向头戴式耳机120的佩戴者延伸的向内视场。向内瞄准的摄像装置210基于(例如,使用或根据)向内视场来生成内部视频流。音频流由麦克风230生成。在头戴式耳机省略向外瞄准的摄像装置220或忽略外部视频流(例如,对于一些言语治疗应用)的示例实施方式中,数据访问模块410类似地省略或忽略外部视频流。
30.在操作520中,数据分析模块420基于在操作510中访问的流来检测三个事件的共现:向外视场中的视觉事件;向内视场中的嘴部姿势;以及单词的候选发音。视觉事件在所访问的外部视频流中表示;嘴部姿势在所访问的内部视频流中表示;以及候选发音在所访问的音频流中表示。在头戴式耳机省略向外瞄准的摄像装置220或忽略外部视频流(例如,对于一些语言治疗应用)的示例实施方式中,数据分析模块420检测两个事件的共现:向内视场中的嘴部姿势;以及单词的候选发音。
31.在操作530中,发音校正模块430确定(例如,通过查询数据库115确定)视觉事件通过数据库115与单词相关并且与单词的参考发音相关。该确定可以通过在外部视场内光学地识别单词(例如,经由光学字符识别)或与单词相关联(例如,通过数据库115相关联)的对象(例如,经由形状识别)的外观来执行。在头戴式耳机省略向外瞄准的摄像装置220或忽略外部视频流(例如,对于一些语言治疗应用)的示例实施方式中,发音校正模块430确定(例如,通过查询数据库115确定)单词与单词的参考发音相关。
32.在操作540中,发音校正模块430使(例如,触发、控制或命令例如经由远程信令触发、控制或命令)头戴式耳机120响应于检测到的视觉事件与嘴部姿势以及与单词的候选发音的共现而向佩戴者(例如,用户132)呈现单词的参考发音。在头戴式耳机省略向外瞄准的摄像装置220或忽略外部视频流(例如,对于一些言语治疗应用)的示例实施方式中,发音校正模块430使头戴式耳机120响应于检测到的嘴部姿势与单词的候选发音的共现而呈现单
词的参考发音。
33.如图6所示,除了先前描述的任意一个或更多个操作之外,方法500可以包括操作620、621、622、623、640、641、650、651和660中的一个或更多个。操作620、621、622和623中的一个或更多个可以作为操作520的部分(例如,前导任务、子例程或一部分)来执行,在操作520中,数据分析模块420检测向外视场中的视觉事件与向内视场中的嘴部姿势以及与音频流中的候选发音的三向共现。
34.在操作620中,作为检测视觉事件的全部或部分,数据分析模块420检测由用户132的手部做出的出现在可见单词(例如,由设备130在向外视场内显示)上或出现在可见单词附近的手部姿势或触摸。接近度的相关阈值可以是足以将可见单词与在向外视场中可见的任何其他单词区分开来的距离。例如,检测到的手部姿势可以指向可见单词或以其他方式识别可见单词(例如,以指示请求对可见单词进行阅读或发音的协助)。作为另一示例,检测到的在可见单词上的触摸可以类似地识别可见单词(例如,以指示请求对可见单词进行阅读或发音的协助)。作为又一示例,数据分析模块420可以检测用户132的手部手写或追踪可见单词(例如,以指示对可见单词进行阅读或发音的协助)。作为再一示例,数据分析模块420可以检测用户132的手部在可见单词下划线或突出显示可见单词(例如,利用铅笔、记号笔、闪光灯或其他合适的手写或突出显示仪器进行)。因此,检测到的在向外视场中的视觉事件可以包括用户132的手部手写单词、追踪单词、指向单词、触摸单词、在单词下划线、突出显示单词或其任何合适的组合。响应于检测到的手部姿势或触摸,由手部姿势或触摸识别的可见单词可以被视为在由麦克风230生成的音频流中为其表示候选发音的单词。
35.在操作621中,作为检测视觉事件的全部或部分,数据分析模块420检测用户132的手部正在触摸或移动表示单词的物理对象,其中物理对象在向外视场内可见。例如,物理对象可以是动物例如马或狗的模型,或者物理对象可以是印刷或以其他方式显示单词的玩具或积木。物理对象的移动可以是在向外视场内的空间旋转、在向外视场内的空间平移或两者、或者包括在向外视场内的空间旋转、在向外视场内的空间平移或两者。因此,检测到的在向外视场中的视觉事件可以包括用户132的手部触摸物理对象(例如物理模型)、抓握物理对象、移动物理对象、旋转物理对象或其任何合适的组合。响应于检测到的用户132的手部对物理对象的触摸或移动,与物理对象相关联的单词(例如,由物理对象显示或通过数据库115与物理对象相关)可以被视为在由麦克风230生成的音频流中为其表示候选发音的单词。
36.在操作622中,作为检测视觉事件的全部或部分,数据分析模块420检测在向外视场内由用户132的手部执行的触发姿势(例如,正在触发的姿势)。例如,触发姿势可以是对预定的手部形状的执行、通过一个或更多个手指进行的预定姿态的执行、利用手部进行的预定运动的执行或其任何合适的组合的执行、或者包括对预定的手部形状的执行、通过一个或更多个手指进行的预定姿态的执行、利用手部进行的预定运动的执行或其任何合适的组合的执行。响应于检测到的触发姿势,可以识别在由麦克风230生成的音频流中为其表示候选发音的单词,以请求对该单词进行阅读或发音的协助(例如,请求对由麦克风230生成的音频流中表示的候选发音的校正)。
37.在操作623中,作为检测视觉事件的全部或部分,数据分析模块420检测在向外视场中可见的物理对象的表面上的激光斑点(例如,激光的亮斑点)。例如,头戴式耳机120可
以包括向外瞄准的激光器256(例如,激光指针或其他激光发射器),所述向外瞄准的激光器256被配置成通过使激光斑点出现在向外视场中的对象的表面上来指定向外视场中的对象,并且头戴式耳机120的向外瞄准的摄像装置220可以被配置成捕获向外视场中的激光斑点和指定对象。因此,检测到的在向外视场中的视觉事件可以包括使激光斑点出现在向外视场中的物理对象的表面上。响应于检测到的出现在物理对象的表面上的激光斑点,与物理对象相关联(例如,通过数据库115与物理对象相关)的单词可以被视为在由麦克风230生成的音频流中为其表示候选发音的单词。
38.操作640和641中的一个或更多个可以作为操作540的部分(例如,前导任务、子例程或一部分)来执行,在操作540中,发音校正模块430使头戴式耳机120向头戴式耳机120的佩戴者(例如,用户132)呈现单词的参考发音。
39.在操作640中,发音校正模块430访问包括在单词的参考发音中的一组参考音素。所述一组参考音素可以存储在数据库115中并从中访问。
40.在操作641中,发音校正模块430使头戴式耳机120中的扬声器240播放在操作640中访问的一组参考音素。如下面关于图7所讨论的,播放参考音素的速度可以变化并且可以基于各种因素来确定。返回图6,尽管所示出的示例实施方式指示操作650、651和660中的一个或更多个在操作540之后执行,但是这些操作可以在操作510之后的任何点处执行。
41.在操作650中,发音校正模块430访问一组参考嘴部形状(例如,嘴部形状的图像或模型),每个参考嘴部形状被配置成说出单词的参考发音中包括的相应参考音素。所述一组参考嘴部形状可以存储在数据库115中并从中访问。在一些示例实施方式中,发音校正模块430还(例如,从数据库115中)访问用户自己的嘴部或面部的图像,以用于与所述一组参考嘴部形状组合(例如,纹理映射到所述一组参考嘴部形状或随所述一组参考嘴部形状变形)。
42.在操作651中,发音校正模块430使显示屏(例如,设备130的显示屏340)向头戴式耳机120的佩戴者显示所述访问的一组参考嘴部形状。在一些示例实施方式中,使头戴式耳机120和显示屏(例如,显示屏340)向头戴式耳机120的佩戴者同时呈现单词的参考发音(例如,以音频形式)并且向头戴式耳机120的佩戴者显示所述访问的一组参考嘴部形状(例如,以视觉形式显示在显示屏340上)。在一些示例实施方式中,发音校正模块430将所述一组参考嘴部形状与用户自己的嘴部或面部的图像组合(例如,纹理映射或图形变换),并且使显示屏呈现所得组合(例如,与单词的参考发音同时呈现所得组合)。
43.在操作660中,头戴式耳机120的向内瞄准的摄像装置210已经捕获在向内视场中头戴式耳机120的佩戴者的嘴部,并且数据分析模块420通过裁剪向内视场的一部分来对嘴部姿势进行匿名化。所得裁剪部分描绘了嘴部姿势而不描绘头戴式耳机120的佩戴者的任何眼睛。这种有限的描绘在佩戴者(例如,年幼的儿童)的隐私对维护很重要的情况下可能是有帮助的,例如避免捕获面部识别软件可用的面部特征(例如,一只或两只眼睛)将是有益的情况下。在这样的示例实施方式中,在向内视场的裁剪部分内检测到向内视场中的匿名嘴部姿势。
44.如图7所示,除了先前描述的任意一个或更多个操作之外,方法500可以包括操作710、711、712、713、714、715、716、730、750、751、760和761中的一个或更多个。操作710至716中的一个或更多个可以在操作520之前执行,在操作520中,数据分析模块420检测向外视场
中的视觉事件与向内视场中的嘴部姿势以及与音频流中的候选发音的三向共现。根据各种示例实施方式,对共现的检测还可以基于可由操作710至716中的一个或更多个中访问的数据检测到的一个或更多个因素(例如,条件)。
45.在操作710中,数据访问模块410访问头戴式耳机120的佩戴者(例如,用户132)的手部的热图像。例如,向外瞄准的摄像装置220可以包括被配置成捕获向外视场内的对象的热图像的热成像部件(例如,热像仪250或类似仪器),或者热成像部件(例如,热像仪250)可以是头戴式耳机120的单独部件并且旨在捕获向外视场中的对象的热图像。因此,可以基于头戴式耳机的佩戴者的手部的热图像来检测向外视场中的视觉事件。
46.在操作711中,数据访问模块410访问头戴式耳机120的佩戴者(例如,用户132)的嘴部的热图像(例如,描绘舌部或以其他方式指示舌部的形状、舌部的位置或两者)。例如,向内瞄准的摄像装置210可以包括被配置成捕获向内视场内的对象的热图像的热成像部件(例如,热像仪250或类似仪器),或者热成像部件(例如,热像仪250)可以是头戴式耳机120的单独部件并且旨在捕获向内视场中的对象的热图像。因此,可以基于头戴式耳机120的佩戴者的嘴部的热图像来检测向内视场中的嘴部姿势。
47.在操作712中,数据访问模块410访问眼睛追踪器数据,眼睛追踪器数据指示头戴式耳机120的佩戴者(例如,用户132)的眼睛方位。例如,头戴式耳机120还可以包括眼睛追踪摄像装置(例如,眼睛追踪器251),该眼睛追踪摄像装置可以具有另外的视场并且被配置成捕获在另外的视场中的佩戴者的一只或两只眼睛的方位。因此,数据分析模块420可以基于眼睛追踪器数据中指示的眼睛方位来确定佩戴者的一只或两只眼睛正在观看的方向,并且可以基于所确定的佩戴者的眼睛正在观看的观察方向来检测向外视场中的视觉事件。例如,所确定的观察方向可以是用于检测视觉事件(例如,消除在由麦克风230生成的音频流中为其表示候选发音的单词的歧义或以其他方式识别在由麦克风230生成的音频流中为其表示候选发音的单词)的基础。
48.在操作713中,数据访问模块410访问风速计数据,风速计数据指示头戴式耳机120的佩戴者(例如,用户132)的一个或更多个呼吸速度。例如,头戴式耳机120可以包括风速计(例如,风速计252),该风速计被配置成检测进入或存在于头戴式耳机120的佩戴者的嘴部的空气的呼吸速度。因此,在操作540中使头戴式耳机120呈现单词的参考发音可以基于检测到的头戴式耳机120的佩戴者的呼吸速度。例如,如果风速计数据指示单词的候选发音中不正确的呼吸,则发音校正模块430可以生成或访问(例如,从数据库115访问)单词的过度发音的参考发音或以其他方式获得单词的过度发音的参考发音并且然后使过度发音的发音向头戴式耳机120的佩戴者呈现(例如,播放)。
49.在操作714中,数据访问模块410访问生物传感器数据,生物传感器数据指示头戴式耳机120的佩戴者(例如,用户132)的一个或更多个生理状况。可以从包括在头戴式耳机120中或通信地耦接至头戴式耳机120的一个或更多个生物传感器(例如,生物传感器253)访问生物传感器数据。例如,生物传感器253中的一个或更多个可以定位在头戴式耳机120内、通信地耦接至头戴式耳机120,或者被以其他方式配置成测量佩戴者的心率、佩戴者的皮肤电反应、一个或更多个佩戴者的其他皮肤状况(例如,体温或弹性)、佩戴者的脑电图、一个或更多个佩戴者的脑状态或其任何合适的组合。因此,发音校正模块430可以基于所访问的生物传感器数据中指示的信息来确定单词的参考发音要被播放(例如,向佩戴者播放)
的速度。
50.在操作715中,数据访问模块410访问指示加速度计数据,加速度计数据由头戴式耳机120的佩戴者(例如,用户132)做出的一个或更多个肌肉运动。可以从包括在头戴式耳机120中或通信地耦接至头戴式耳机120的一个或更多个加速度计(例如,加速度计254)访问加速度计数据。例如,加速度计254中的一个或更多个可以定位在头戴式耳机120内、通信地耦接至头戴式耳机120(例如,包括在由头戴式耳机120的佩戴者佩戴的项圈中),或者被以其他方式配置成检测(例如,通过测量来检测)由佩戴者在执行单词的候选发音期间做出的一个或更多个肌肉运动。因此,发音校正模块430可以基于所访问的加速度计数据来检测肌肉运动模式,并且可以基于检测到的肌肉运动模式使头戴式耳机120呈现操作中的单词的参考发音。例如,如果加速度计数据指示在执行单词的候选发音时肌肉运动的不正确模式,则发音校正模块430可以生成或访问(例如,从数据库115访问)单词的过度发音的参考发音或者以其他方式获得单词的过度发音的参考发音并且然后使过度发音的发音向头戴式耳机120的佩戴者呈现(例如,播放)。
51.在操作716中,数据访问模块410访问深度传感器数据,深度传感器数据指示距向外视场中的对象的距离。可以从包括在头戴式耳机120中或通信地耦接至头戴式耳机120的一个或更多个深度传感器(例如,深度传感器257)访问深度传感器数据。例如,深度传感器257可以是被配置成检测距向外视场内的物理对象的距离的立体红外深度传感器。在一些示例情况下,头戴式耳机120的向外瞄准的摄像装置220被配置成捕获头戴式耳机120的佩戴者(例如,用户132)的手部通过触摸由深度传感器检测到的距离处的物理对象来指定向外视场中的物理对象。此外,指定对象可以与在由麦克风230生成的音频流中为其表示候选发音的单词相关(例如,通过数据库115相关),以及与单词的参考发音相关。因此,向外视场中的视觉事件可以是佩戴者的手部触摸向外视场中的指定对象或包括佩戴者的手部触摸向外视场中的指定对象。
52.在操作730中,发音校正模块430确定单词的参考发音要被回放的速度。例如,发音校正模块430可以确定参考发音的回放速度(例如,1倍、0.9倍、1.2倍或0.5倍),并且可以基于来自操作712至715中的一个或更多个操作的结果来确定回放速度。作为示例,数据分析模块420可以检测到头戴式耳机120的佩戴者(例如,用户132)在执行单词的候选发音时表现出压力、疲劳、沮丧的状态或其他生理可检测状态,并且该检测可以基于在操作712中访问的眼睛追踪器数据、在操作713中访问的风速计数据、在操作714中访问的生物传感器数据、在操作715中访问的加速度计数据或其任何合适的组合。基于检测到的状态,发音校正模块430可以改变参考发音的回放速度。因此,在操作540中使头戴式耳机120呈现单词的参考发音可以基于在操作730中确定的回放速度,并且因此可以以该回放速度播放参考发音。
53.在某些示例实施方式中,发音校正模块430在执行操作730时确定参考发音要被回放的速度为零或该速度的空值。特别地,如果数据分析模块420在执行单词的候选发音时检测到足够高的压力、疲劳、沮丧的状态或其他生理可检测状态(例如,超过阈值水平),则发音校正模块430触发佩戴者(例如,用户132)休息并且在恢复时间段之后继续执行单词的候选发音的建议、推荐或其他指示。在这样的情况下,单词的参考发音的回放可以被省略或替换为触发的休息建议、休息推荐或其他休息指示。
54.在操作750中,发音校正模块430访问被配置成说出单词的参考发音的参考肌肉运
动模式。例如,参考肌肉运动模式可以存储在数据库115中并从中访问。
55.在操作751中,发音校正模块430使一个或更多个肌肉刺激器(例如,肌肉刺激器255,其可以是神经肌肉电肌肉刺激器或包括神经肌肉电肌肉刺激器)刺激头戴式耳机120的佩戴者(例如,用户132)的一组一个或更多个肌肉。作为示例,肌肉刺激器255可以被包括在头戴式耳机120中、通信地耦接至头戴式耳机120(例如,包括在通信地耦接至头戴式耳机120的项圈中),或者以其他方式被配置成刺激佩戴者的一组肌肉。因此,可以使所述一组肌肉(例如,经由神经肌肉电刺激(nmes))根据参考肌肉运动模式移动。在一些示例实施方式中,这种肌肉运动的因果(causation)与操作540的一个或更多个重复一起执行,在操作540中使单词的参考发音向头戴式耳机120的佩戴者呈现(例如,以协助佩戴者练习如何发音或以其他方式执行单词的参考发音)。
56.在操作760中,发音校正模块430将单词的候选发音与单词的参考发音进行比较。可以在逐个音素的基础上进行这种比较,以便将候选发音中包括的顺序第一音素与参考发音中包括的对应第一音素进行比较,将候选发音中包括的顺序第二音素与参考发音中包括的对应第二音素进行比较,依此类推。
57.在操作761中,基于在操作760中执行的比较,发音校正模块430向头戴式耳机120的佩戴者(例如,用户132)推荐发音教程。例如,发音校正模块可以引起呈现正在向佩戴者推荐发音教程的指示(例如,对话框、警报、音频消息或其任何合适的组合)。在一些示例实施方式中,佩戴者可以以推荐的接受作为响应,并且响应于推荐的接受,发音校正模块430可以:使(例如,命令)阅读指导模块310启动教导在对单词进行阅读中使用的一个或更多个阅读技能的阅读教程的呈现;使说话指导模块320启动教导在对单词进行发音中使用的一个或更多个说话技能的言语教程的呈现;使指导游戏模块330启动教导一个或更多个阅读技能或说话技能的指导游戏;或者上述任何合适的组合。
58.根据各种示例实施方式,本文描述的方法中的一种或更多种可以促进语言的教学,或者从另一角度来看,可以促进语言的学习。此外,本文描述的方法中的一种或更多种可以促进指导用户132聆听、练习和纠正音素、单词、句子或其任何合适组合的正确发音。因此,与现有系统和方法的能力相比,本文描述的方法中的一种或更多种可以通过促进学习者的语言学习来促进语言的教学。
59.当综合考虑这些影响时,本文描述的方法中的一种或更多种可以消除对以其他方式将涉及语言指导或语言学习的某些努力或资源的需要。由用户132在学习语言技能、语言教师在教导这样的语言技能或两者方面所花费的努力可以通过使用(例如,依赖于)实现本文描述的方法中的一种或更多种的专用机器来减少。由一个或更多个系统或机器(例如,在网络环境100内)使用的计算资源可以类似地减少(例如,与缺少本文讨论的结构或以其他方式不能够执行本文讨论的功能的系统或机器相比)。这样的计算资源的示例包括处理器周期、网络流量、计算能力、主存储器使用、图形渲染能力、图形存储器使用、数据存储容量、功耗和冷却能力。
60.图8是示出根据一些示例实施方式的机器800的部件的框图,该机器800能够从机器可读介质822(例如,非暂态机器可读介质、机器可读存储介质、计算机可读存储介质或其任何合适的组合)读取指令824并且全部或部分地执行本文讨论的方法中的任意一种或更多种。具体地,图8以计算机系统(例如计算机)的示例形式示出了机器800,在机器800内可
以全部或部分地执行用于使机器800执行本文讨论的方法中的任意一种或更多种的指令824(例如软件、程序、应用、小应用、app或其他可执行代码)。
61.在替选实施方式中,机器800操作为独立设备或者可以通信地耦接(例如,联网)至其他机器。在联网部署中,机器800可以在服务器-客户端网络环境中以服务器机器或客户端机器的身份进行操作,或者作为分布式(例如,对等)网络环境中的对等机器进行操作。机器800可以是服务器计算机、客户端计算机、个人计算机(pc)、平板计算机、膝上型计算机、上网本、蜂窝电话、智能电话、机顶盒(stb)、个人数字助理(pda)、web设备、网络路由器、网络交换机、网桥或者能够按顺序或以其他方式执行指定要由该机器采取的动作的指令824的任何机器。此外,虽然仅示出了单个机器,但是术语“机器”也应当被理解为包括单独或联合地执行指令824以执行本文讨论的方法中的任意一种或更多种的全部或部分的任何机器集合。
62.机器800包括处理器802(例如,一个或更多个中央处理单元(cpu)、一个或更多个图形处理单元(gpu)、一个或更多个数字信号处理器(dsp)、一个或更多个专用集成电路(asic)、一个或更多个射频集成电路(rfic)或其任何合适的组合)、主存储器804和静态存储器806,它们被配置成经由总线808彼此通信。处理器802包含可由指令824中的一些或全部临时或永久地配置的固态数字微电路(例如,电子的微电路、光学的微电路或两者),使得处理器802可被配置成全部或部分地执行本文描述的方法中的任意一种或更多种。例如,一组处理器802的一个或更多个微电路能够被配置成执行本文描述的一个或更多个模块(例如,软件模块)。在一些示例实施方式中,处理器802是多核cpu(例如,双核cpu、四核cpu、8核cpu或128核cpu),在处理器802中多个核中的每一个表现为能够全部或部分地执行本文讨论的方法中的任意一种或更多种的单独处理器。尽管本文描述的有益效果可以由至少具有处理器802的机器800提供,但是如果不包含处理器的不同类型的机器(例如,纯机械系统、纯液压系统或混合机械-液压系统)被配置成执行本文描述的方法中的一种或更多种,则这些相同的有益效果可以由这样的无处理器机器提供。
63.机器800还可以包括图形显示器810(例如,等离子显示面板(pdp)、发光二极管(led)显示器、液晶显示器(lcd)、投影仪、阴极射线管(crt)、或者能够显示图形或视频的任何其他显示器)。机器800还可以包括字母数字输入设备812(例如,键盘或小键盘)、指针输入设备814(例如,鼠标、触摸板、触摸屏、轨迹球、操纵杆、触控笔、运动传感器、眼睛追踪设备、数据手套或其他指向仪器)、数据存储装置816、音频生成设备818(例如,声卡、放大器、扬声器、双耳式耳机插孔或其任何合适的组合)以及网络接口设备820。
64.数据存储装置816(例如,数据存储设备)包括机器可读介质822(例如,有形的和非暂态的机器可读存储介质),在机器可读介质822上存储有实施本文描述的方法或功能中的任意一种或更多种的指令824。指令824还可以在由机器800执行之前或在由机器800执行期间完全或至少部分地驻留在主存储器804内、静态存储器806内、处理器802内(例如,处理器的高速缓存存储器内)或其任何合适的组合。因此,主存储器804、静态存储器806和处理器802可以被认为是机器可读介质(例如,有形的和非暂态的机器可读介质)。可以经由网络接口设备820通过网络190发送或接收指令824。例如,网络接口设备820可以使用任意一种或更多种传输协议(例如,超文本传输协议(http))来传送指令824。
65.在一些示例实施方式中,机器800可以是便携式计算设备(例如,智能电话、平板计
算机或可穿戴设备)并且可以具有一个或更多个附加输入部件830(例如,传感器或计量表)。这样的输入部件830的示例包括图像输入部件(例如,一个或更多个摄像装置)、音频输入部件(例如,一个或更多个麦克风)、方向输入部件(例如,指南针)、位置输入部件(例如,全球定位系统(gps)接收器)、方位部件(例如,陀螺仪)、运动检测部件(例如,一个或更多个加速度计)、高度检测部件(例如,高度计)、温度输入部件(例如,温度计)和气体检测部件(例如,气体传感器)。由这些输入部件830中的任意一个或更多个收集的输入数据可以是可访问的并且可用于由本文描述的任何模块使用(例如,具有合适的隐私通知和保护,诸如选择加入同意或选择退出同意,根据用户偏好、适用的规则或其任何合适的组合来实现)。
66.如本文所使用的,术语“存储器”指代能够临时或永久地存储数据的机器可读介质,并且可以被认为包括但不限于随机存取存储器(ram)、只读存储器(rom)、缓冲存储器、闪存和高速缓冲存储器。虽然机器可读介质822在示例实施方式中被示出为单个介质,但是术语“机器可读介质”应当被认为包括能够存储指令的单个介质或多个介质(例如,集中式或分布式数据库、或者相关联的高速缓存和服务器)。术语“机器可读介质”还应当被认为包括能够承载(例如,存储或传送)用于由机器800执行的指令824使得指令824当由机器800的一个或更多个处理器(例如,处理器802)执行时使机器800全部或部分地执行本文描述的方法中的任意一种或更多种的任何介质或多种介质的组合。因此,“机器可读介质”指代单个存储装置或设备,以及指代包括多个存储装置或设备的基于云的存储系统或存储网络。因此,术语“机器可读介质”应当被认为包括但不限于以固态存储器芯片、光盘、磁盘或其任何合适的组合的示例形式的一个或更多个有形的和非暂态的数据储存库(例如,数据卷)。
67.如本文所使用的,“非暂态”机器可读介质具体地排除传播信号本身。根据各种示例实施方式,用于由机器800执行的指令824可以经由载体介质(例如,机器可读载体介质)来传送。这样的载体介质的示例包括非瞬态载体介质(例如,非暂态机器可读存储介质,诸如可从一个位置物理地移动到另一位置的固态存储器)和瞬态载体介质(例如,传送指令824的载波或其他传播信号)。
68.某些示例实施方式在本文中被描述为包括模块。模块可以构成软件模块(例如,存储或以其他方式在机器可读介质或传输介质中实施的代码)、硬件模块或其任何合适的组合。“硬件模块”是能够执行某些操作的有形的(例如,非暂态的)物理部件(例如,一组一个或更多个处理器),并且可以以某种物理方式配置或布置。在各种示例实施方式中,一个或更多个计算机系统或其一个或更多个硬件模块可以由软件(例如,应用或其部分)配置为进行操作以执行本文针对该模块描述的操作的硬件模块。
69.在一些示例实施方式中,硬件模块可以机械地、电子地、液压地或其任何合适的组合来实现。例如,硬件模块可以包括被永久地配置成执行某些操作的专用电路系统或逻辑。硬件模块可以是专用处理器或包括专用处理器,例如现场可编程门阵列(fpga)或asic。硬件模块还可以包括由软件临时地配置成执行某些操作的可编程逻辑或电路系统。作为示例,硬件模块可以包括包含在cpu或其他可编程处理器内的软件。应当理解,可以通过成本和时间考虑来推动在专用和永久配置的电路系统中或在临时配置的电路系统(例如,由软件进行配置)中机械地、液压地实现硬件模块的决策。
70.因此,短语“硬件模块”应当被理解为包含有形实体,该有形实体可以被物理地构造、被永久地配置(例如,被硬连线)或被临时地配置(例如,被编程)成以某种方式操作或执
行本文描述的某些操作。此外,如本文所使用的,短语“硬件实现的模块”指代硬件模块。考虑到硬件模块被临时地配置(例如,被编程)的示例实施方式,硬件模块中的每一个不需要在任一时刻处被配置或实例化。例如,在硬件模块包括由软件配置成为专用处理器的cpu的情况下,cpu可以在不同时间处被配置成为分别不同的专用处理器(例如,每个专用处理器被包括在不同的硬件模块中)。软件(例如,软件模块)可以相应地将一个或更多个处理器配置成,例如在一个时刻处成为特定硬件模块或以其他方式构成特定硬件模块并且在不同的时刻处成为不同的硬件模块或以其他方式构成不同的硬件模块。
71.硬件模块可以向其他硬件模块提供信息以及从其他硬件模块接收信息。因此,所描述的硬件模块可以被认为是通信地耦接的。在同时存在多个硬件模块的情况下,可以通过两个或更多个硬件模块之间或者两个或更多个硬件模块之中的信号传输(例如,通过电路和总线)来实现通信。在多个硬件模块在不同时间处被配置或实例化的实施方式中,可以例如通过在多个硬件模块对其具有访问权限的存储器结构中存储和检索信息来实现这样的硬件模块之间的通信。例如,一个硬件模块可以执行一个操作,并且将该操作的输出存储在通信地耦接至该硬件模块的存储器(例如,存储器设备)中。然后,另外的硬件模块可以在稍后时间访问存储器以检索和处理所存储的输出。硬件模块还可以启动与输入设备或输出设备进行的通信,并且可以对资源(例如,来自计算资源的信息集合)进行操作。
72.本文描述的示例方法的各种操作可以至少部分地由被临时地配置(例如,通过软件)或永久地配置成执行相关操作的一个或更多个处理器来执行。无论是被临时地配置还是被永久地配置,这样的处理器都可以构成进行操作以执行本文描述的一个或更多个操作或功能的处理器实现的模块。如本文所使用的,“处理器实现的模块”指代其中硬件包括一个或更多个处理器的硬件模块。因此,本文描述的操作可以至少部分地是处理器实现的、硬件实现的或两者,这是由于处理器是硬件的示例,并且本文讨论的方法中的任意一种或更多种中的至少一些操作可以由一个或更多个处理器实现的模块、硬件实现的模块或其任何合适的组合来执行。
73.此外,这样的一个或更多个处理器可以在“云计算”环境中或作为服务(例如,在“软件即服务”(saas)实现方式内)执行操作。例如,本文讨论的方法中的任意一种或更多种中的至少一些操作可以由一组计算机(例如,作为包括处理器的机器的示例)执行,其中这些操作可经由网络(例如,因特网)并经由一个或更多个适当的接口(例如,应用程序接口(api))来访问。某些操作的执行可以分布在一个或更多个处理器之间,无论是仅驻留在单个机器内还是跨多个机器部署。在一些示例实施方式中,一个或更多个处理器或硬件模块(例如,处理器实现的模块)可以位于单个地理位置(例如,在家庭环境、办公环境或服务器群内)。在其他示例实施方式中,一个或更多个处理器或硬件模块可以跨多个地理位置分布。
74.贯穿本说明书,多个实例可以实现被描述为单个实例的部件、操作或结构。尽管一种或更多种方法的各个操作被示出和描述为单独的操作,但是可以同时执行各个操作中的一个或更多个,并且没有什么要求以所示出的顺序执行这些操作。在示例配置中被呈现为单独部件和功能的结构及其功能可以被实现为具有组合功能的组合结构或部件。类似地,被呈现为单个部件的结构和功能可以被实现为单独的部件和功能。这些和其他变型、修改、添加和改进落入本文中的主题的范围内。
75.本文讨论的主题的一些部分可以根据对被作为位或二进制数字信号存储在存储器(例如,计算机存储器或其他机器存储器)内的数据进行的操作的算法或符号表示来呈现。这样的算法或符号表示是由数据处理领域的普通技术人员用来将他们工作的实质传达给本领域的其他技术人员的技术的示例。如本文所使用的,“算法”是得到期望结果的操作或类似处理的自洽序列。在该上下文中,算法和操作涉及物理量的物理操纵。通常但并不一定,这些量可以采用能够被机器存储、访问、传输、组合、比较或以其他方式操纵的电信号、磁信号或光信号的形式。有时,主要出于通用的原因,使用诸如“数据”、“内容”、“位”、“值”、“元件”、“符号”、“字符”、“术语”、“数目”、“数字”等的词语来指代这样的信号是方便的。然而,这些词语仅是方便的标记并且要与适当的物理量相关联。
76.除非另有明确说明,否则本文使用诸如“访问”、“处理”、“检测”、“计算”、“运算”、“确定”、“生成”、“呈现”、“显示”等的词语的讨论指代可由机器(例如计算机)执行的动作或处理,所述机器操纵或变换被表示为一个或更多个存储器(例如,易失性存储器、非易失性存储器或其任何合适的组合)、寄存器或者接收、存储、发送或显示信息的其他机器部件内的物理(例如,电子的、磁的或光的)量的数据。此外,除非另有明确说明,否则如在专利文献中常见的,本文使用术语“一(a)”或“一个(an)”,以包括一个或多于一个的实例。最后,除非另有明确说明,否则如本文所使用的,连词“或”指代非排他性的“或”。
77.以下列举的描述描述了本文讨论的方法、机器可读介质和系统(例如,机器、设备或其他装置)的各种示例。
78.第一示例提供了一种方法,包括:
79.通过机器的一个或更多个处理器访问外部视频流和内部视频流以及音频流,所述外部视频流和内部视频流以及音频流全部都由头戴式耳机提供,所述头戴式耳机包括向外瞄准的摄像装置、向内瞄准的摄像装置和麦克风,所述向外瞄准的摄像装置具有远离所述头戴式耳机的佩戴者延伸的向外视场并且根据所述向外视场来生成所述外部视频流,所述向内瞄准的摄像装置具有朝向所述佩戴者延伸的向内视场并且根据所述向内视场来生成所述内部视频流;
80.通过所述机器的所述一个或更多个处理器检测所述向外视场中的视觉事件与所述向内视场中的嘴部姿势以及与单词的候选发音的共现,所述视觉事件在所述外部视频流中表示,所述嘴部姿势在所述内部视频流中表示,所述候选发音在所述音频流中表示;
81.通过所述机器的所述一个或更多个处理器确定所述视觉事件通过数据库与所述单词和所述单词的参考发音相关;以及
82.通过所述机器的所述一个或更多个处理器使所述头戴式耳机响应于检测到的所述视觉事件与所述嘴部姿势以及与所述单词的候选发音的共现而向所述佩戴者呈现所述单词的参考发音。
83.第二示例提供了根据第一示例所述的方法,其中:
84.使所述头戴式耳机向所述头戴式耳机的佩戴者呈现所述单词的参考发音包括:
85.访问包括在所述单词的参考发音中的一组参考音素;以及
86.使所述头戴式耳机中的扬声器播放包括在所述参考发音中的所述一组参考音素。
87.第三示例提供了根据第一示例或第二示例所述的方法,其中:
88.所述头戴式耳机的所述向外瞄准的摄像装置捕获所述向外视场中的所述单词;并

89.在检测到的共现中,所述向外视场中的所述视觉事件包括手部执行以下中至少之一:手写所述单词、追踪所述单词、指向所述单词、触摸所述单词、在所述单词下划线或突出显示所述单词。
90.第四示例提供了根据第一示例至第三示例中任一项所述的方法,其中:
91.所述头戴式耳机的所述向内瞄准的摄像装置捕获在所述向内视场中所述佩戴者的嘴部;并且
92.在检测到的共现中,所述向内视场中的所述嘴部姿势包括所述佩戴者的嘴部按顺序形成一组候选嘴部形状,每个候选嘴部形状被配置成说出所述单词的候选发音中包括的相应候选音素。
93.第五示例提供了根据第一示例至第四示例中任一项所述的方法,其中:
94.所述头戴式耳机的所述向内瞄准的摄像装置捕获在所述向内视场中所述佩戴者的嘴部;
95.所述方法还包括:
96.通过裁剪所述向内视场的一部分来对所述嘴部姿势进行匿名化,所述裁剪部分描绘所述嘴部姿势而不描绘所述头戴式耳机的佩戴者的任何眼睛;并且其中:
97.在检测到的共现中,在所述向内视场的所述裁剪部分内检测到所述向内视场中的所述匿名嘴部姿势。
98.第六示例提供了根据第一示例至第五示例中任一项所述的方法,还包括:
99.访问一组参考嘴部形状,每个参考嘴部形状被配置成说出所述单词的参考发音中包括的相应参考音素;以及
100.使显示屏向所述头戴式耳机的佩戴者显示所述访问的一组参考嘴部形状。
101.第七示例提供了根据第六示例所述的方法,其中:
102.使所述头戴式耳机和所述显示屏同时向所述头戴式耳机的佩戴者呈现所述单词的参考发音并且向所述头戴式耳机的佩戴者显示所述访问的一组参考嘴部形状。
103.第八示例提供了根据第一示例至第七示例中任一项所述的方法,其中:
104.使所述显示屏显示所述访问的一组参考嘴部形状包括将所述一组参考嘴部形状与对所述佩戴者的嘴部进行描绘的图像组合并且使所述显示屏显示所述图像与所述一组参考嘴部形状的所得组合。
105.第九示例提供了根据第一示例至第八示例中任一项所述的方法,其中:
106.所述头戴式耳机的所述向外瞄准的摄像装置捕获表示所述向外视场中所述单词的物理模型;以及
107.在检测到的共现中,所述向外视场中的所述视觉事件包括手部执行以下中至少之一:触摸所述物理模型、抓握所述物理模型、移动所述物理模型或旋转所述物理模型。
108.第十示例提供了根据第一示例至第九示例中任一项所述的方法,其中:
109.所述头戴式耳机的所述向外瞄准的摄像装置捕获在所述向外视场中所述佩戴者的手部;并且
110.在检测到的共现中,所述向外视场中的所述视觉事件包括所述手部执行触发姿势,所述触发姿势指示对所述候选发音的校正的校正请求。
111.第十一示例提供了根据第十示例所述的方法,其中:
112.使所述头戴式耳机呈现所述单词的参考发音满足由所述佩戴者的手部执行的所述触发姿势所指示的请求。
113.第十二示例提供了根据第一示例至第十一示例中任一项所述的方法,其中:
114.响应于检测到的所述视觉事件与所述嘴部姿势以及与所述单词的候选发音的共现而呈现的所述参考发音包括所述单词的过度发音的发音。
115.第十三示例提供了根据第一示例至第十二示例中任一项所述的方法,其中:
116.所述向外瞄准的摄像装置包括热成像部件;并且
117.在检测到的共现中,基于所述头戴式耳机的佩戴者的手部的热图像来检测所述向外视场中的所述视觉事件。
118.第十四示例提供了根据第一示例至第十三示例中任一项所述的方法,其中:
119.所述向内瞄准的摄像装置包括热成像部件;并且
120.在检测到的共现中,基于所述头戴式耳机的佩戴者的舌部的热图像来检测所述向内视场中的所述嘴部姿势。
121.第十五示例提供了根据第一示例至第十四示例中任一项所述的方法,其中:
122.所述头戴式耳机还包括眼睛追踪摄像装置,所述眼睛追踪摄像装置具有另外的视场并且被配置成捕获在所述另外的视场中所述佩戴者的眼睛方位;
123.所述方法还包括:
124.基于所述佩戴者的眼睛方位来确定所述佩戴者的眼睛正在观看的方向;并且其中:
125.在检测到的共现中,基于所述确定的佩戴者的眼睛正在观看的方向来检测所述向外视场中的所述视觉事件。
126.第十六示例提供了根据第一示例至第十五示例中任一项所述的方法,其中:
127.所述头戴式耳机还包括风速计,所述风速计被配置成检测所述头戴式耳机的佩戴者的呼吸速度;并且
128.使所述头戴式耳机呈现所述单词的参考发音基于检测到的所述头戴式耳机的佩戴者的呼吸速度。
129.第十七示例提供了根据第一示例至第十六示例中任一项所述的方法,其中:
130.所述头戴式耳机还包括生物传感器,所述生物传感器被配置成检测所述头戴式耳机的佩戴者的压力水平;以及所述方法还包括:
131.基于检测到的所述佩戴者的压力水平来触发所述头戴式耳机的佩戴者休息的指示的呈现。
132.第十八示例提供了根据第一示例至第十七示例中任一项所述的方法,其中:
133.所述头戴式耳机通信地耦接至生物传感器,所述生物传感器被配置成检测所述头戴式耳机的佩戴者的皮肤状况;
134.所述方法还包括:
135.基于由所述生物传感器检测到的所述皮肤状况来确定所述参考发音要向所述佩戴者呈现的回放速度;并且其中:
136.使所述头戴式耳机呈现所述单词的参考发音包括使所述参考发音以基于所述皮
肤状况确定的所述回放速度播放。
137.第十九示例提供了根据第一示例至第十八示例中任一项所述的方法,其中:
138.所述头戴式耳机通信地耦接至生物传感器,所述生物传感器被配置成检测所述头戴式耳机的佩戴者的心率;
139.所述方法还包括:
140.基于由所述生物传感器检测到的所述心率来确定所述参考发音要向所述佩戴者呈现的回放速度;并且其中:
141.使所述头戴式耳机呈现所述单词的参考发音包括使所述参考发音以基于所述心率确定的所述回放速度播放。
142.第二十示例提供了根据第一示例至第十九示例中任一项所述的方法,其中:
143.所述头戴式耳机通信地耦接至生物传感器,所述生物传感器被配置成产生所述头戴式耳机的佩戴者的脑电图;
144.所述方法还包括:
145.基于由所述生物传感器产生的所述脑电图来确定所述参考发音要向所述佩戴者呈现的回放速度;并且其中:
146.使所述头戴式耳机呈现所述单词的参考发音包括使所述参考发音以基于所述脑电图确定的所述回放速度播放。
147.第二十一示例提供了根据第一示例至第二十示例中任一项所述的方法,其中:
148.所述头戴式耳机通信地耦接至一组加速度计,所述一组加速度计包括在由所述头戴式耳机的佩戴者佩戴的项圈中;
149.所述方法还包括:
150.基于由所述项圈中的所述一组加速度计生成的加速度计数据来检测肌肉运动模式;并且其中:
151.使所述头戴式耳机呈现所述单词的参考发音基于检测到的肌肉运动模式。
152.第二十二示例提供了根据第二十一示例所述的方法,其中:
153.所述头戴式耳机通信地耦接至一组神经肌肉电肌肉刺激器,所述一组神经肌肉电肌肉刺激器包括在由所述头戴式耳机的佩戴者佩戴的所述项圈中;
154.检测到的肌肉运动模式是所述佩戴者在说出所述单词的候选发音时所做出的候选肌肉运动模式;以及
155.所述方法还包括:
156.访问被配置成说出所述单词的参考发音的参考肌肉运动模式;以及
157.使所述项圈中的所述神经肌肉电肌肉刺激器基于所述访问的参考肌肉运动模式来刺激所述佩戴者的一组肌肉。
158.第二十三示例提供了根据第一示例至第二十二示例中任一项所述的方法,其中:
159.所述头戴式耳机包括向外瞄准的激光发射器,所述向外瞄准的激光发射器被配置成通过使激光斑点出现在所述向外视场中的对象的表面上来指定所述向外视场中的所述对象;
160.所述头戴式耳机的所述向外瞄准的摄像装置被配置成捕获所述外向视场中的所述激光斑点和所述指定对象;
161.所述指定对象通过所述数据库与所述单词和所述单词的参考发音相关;以及
162.在检测到的共现中,所述向外视场中的所述视觉事件包括使所述激光斑点出现在所述向外视场中的所述指定对象的所述表面上。
163.第二十四示例提供了根据第一示例至第二十三示例中任一项所述的方法,其中:
164.所述头戴式耳机包括立体深度传感器,所述立体深度传感器被配置成检测距所述向外视场中的对象的距离;
165.所述头戴式耳机的所述向外瞄准的摄像装置被配置成捕获所述头戴式耳机的佩戴者的手部通过触摸所述向外视场中的所述距离处的所述对象来指定所述对象;
166.所述指定对象通过所述数据库与所述单词和所述单词的参考发音相关;以及
167.在检测到的共现中,所述向外视场中的所述视觉事件包括所述佩戴者的手部触摸所述向外视场中的所述指定对象。
168.第二十五示例提供了根据第一示例至第二十四示例中任一项所述的方法,还包括:
169.执行所述单词的候选发音中的候选音素与所述单词的参考发音中的参考音素的比较;以及
170.基于所述候选音素与所述参考音素的比较来向所述头戴式耳机的佩戴者推荐发音教程。
171.第二十六示例提供了一种包含指令的机器可读介质(例如,非暂态机器可读存储介质),所述指令在由机器的一个或更多个处理器执行时使所述机器执行操作,所述操作包括:
172.访问外部视频流和内部视频流以及音频流,所述外部视频流和内部视频流以及音频流全部都由头戴式耳机提供,所述头戴式耳机包括向外瞄准的摄像装置、向内瞄准的摄像装置和麦克风,所述向外瞄准的摄像装置具有远离所述头戴式耳机的佩戴者延伸的向外视场并且根据所述向外视场来生成所述外部视频流,所述向内瞄准的摄像装置具有朝向所述佩戴者延伸的向内视场并且根据所述向内视场来生成所述内部视频流;
173.检测所述向外视场中的视觉事件与所述向内视场中的嘴部姿势以及与单词的候选发音的共现,所述视觉事件在所述外部视频流中表示,所述嘴部姿势在所述内部视频流中表示,所述候选发音在所述音频流中表示;
174.确定所述视觉事件通过数据库与所述单词和所述单词的参考发音相关;以及
175.使所述头戴式耳机响应于检测到的所述视觉事件与所述嘴部姿势以及与所述单词的候选发音的共现而向所述佩戴者呈现所述单词的参考发音。
176.第二十七示例提供了一种系统(例如,计算机系统),包括:
177.一个或更多个处理器;以及
178.存储指令的存储器,所述指令在由所述一个或更多个处理器中的至少一个处理器执行时使所述系统执行操作,所述操作包括:
179.访问外部视频流和内部视频流以及音频流,所述外部视频流和内部视频流以及音频流全部都由头戴式耳机提供,所述头戴式耳机包括向外瞄准的摄像装置、向内瞄准的摄像装置和麦克风,所述向外瞄准的摄像装置具有远离所述头戴式耳机的佩戴者延伸的向外视场并且根据所述向外视场来生成所述外部视频流,所述向内瞄准的摄像装置具有朝向所
述佩戴者延伸的向内视场并且根据所述向内视场来生成所述内部视频流;
180.检测所述向外视场中的视觉事件与所述向内视场中的嘴部姿势以及与单词的候选发音的共现,所述视觉事件在所述外部视频流中表示,所述嘴部姿势在所述内部视频流中表示,所述候选发音在所述音频流中表示;
181.确定所述视觉事件通过数据库与所述单词和所述单词的参考发音相关;以及
182.使所述头戴式耳机响应于检测到的所述视觉事件与所述嘴部姿势以及与所述单词的候选发音的共现而向所述佩戴者呈现所述单词的参考发音。
183.第二十八示例提供了一种系统(例如,计算机系统),包括:
184.一个或更多个处理器;以及
185.存储指令的存储器,所述指令在由所述一个或更多个处理器中的至少一个处理器执行时使所述系统执行操作,所述操作包括:
186.访问视频流和音频流,所述视频流和所述音频流两者都由头戴式耳机提供,所述头戴式耳机包括向内瞄准的摄像装置和麦克风,所述向内瞄准的摄像装置具有朝向所述头戴式耳机的佩戴者延伸的向内视场并且根据所述向内视场来生成所述视频流;
187.检测所述向内视场中的嘴部姿势与单词的候选发音的共现,所述嘴部姿势在所述视频流中表示,所述候选发音在所述音频流中表示;确定所述单词通过数据库与所述单词的参考发音相关;以及
188.使所述头戴式耳机响应于检测到所述嘴部姿势与所述单词的候选发音的的共现而向所述佩戴者呈现所述单词的参考发音。
189.第二十九示例提供了一种承载机器可读指令的载体介质,所述机器可读指令用于控制机器以执行在前述示例中任一项中执行的操作(例如,方法操作)。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献