学习辅助装置及学习辅助系统的制作方法

1.本发明涉及学习辅助装置及学习辅助系统。


背景技术：

2.提出了对用户进行作业时的用户的专注度进行计测的装置。专利文献1中公开了如下的影像再现装置等：计测用户对作为用户主动地进行的作业的邮件制作及网页阅览等和作为用户被动地进行的作业的视频视听等的专注度，根据计测出的专注度来再现影像。
3.现有技术文献
4.专利文献
5.专利文献1：国际公开第2007/132566号


技术实现要素：

6.发明要解决的课题
7.但是，专利文献1中公开的影像再现装置等不能适当地切换用户主动地进行的作业和用户被动地进行的作业。
8.所以，本发明的目的是提供能够匹配于用户的专注度而适当地切换用户主动地进行的作业和用户被动地进行的作业的学习辅助装置等。
9.用来解决课题的手段
10.有关本发明的一技术方案的学习辅助装置，是用于用户进行学习任务的学习辅助装置，具备：第1专注度推测部，对来自拍摄上述用户的拍摄机构的信息进行解析，推测上述用户的第1专注度；第2专注度推测部，对在上述用户实施学习任务时上述用户主动地输入的信息进行解析，推测上述用户的第2专注度；以及切换部，基于上述第1专注度及上述第2专注度中的至少一方，切换学习任务的内容和上述学习任务的提示方法。
11.有关本发明的一技术方案的学习辅助系统，是用于用户进行学习任务的学习辅助系统，具备：显示器；拍摄机构，拍摄用户；第1专注度推测部，对来自上述拍摄机构的信息进行解析，推测上述用户的第1专注度；第2专注度推测部，对在上述用户实施学习任务时上述用户主动地输入的信息进行解析，推测上述用户的第2专注度；以及切换部，基于上述第1专注度及上述第2专注度中的至少一方，切换学习任务的内容和上述学习任务的提示方法。
12.发明效果
13.有关本发明的一技术方案的学习辅助装置等能够匹配于用户的专注度而适当地切换用户主动地进行的作业和用户被动地进行的作业。
附图说明
14.图1是有关实施方式的学习辅助装置的框图。
15.图2是表示有关实施方式的学习辅助装置的处理的流程图。
16.图3a是表示用户实施主动任务的状况的图。
17.图3b是表示用户实施被动任务的状况的图。
18.图4a是表示计测主动任务实施中的用户的专注度的状况的图。
19.图4b是表示计测被动任务实施中的用户的专注度的状况的图。
20.图5是表示有关实施方式的学习辅助装置进行的第1专注度的判定处理的流程图。
21.图6是表示有关实施方式的学习辅助装置在第1专注度的判定中使用的对象者的习惯的例子的图。
22.图7是表示有关实施方式的专注度判定部进行的第1专注度及第2专注度的比较的时隙的图。
23.图8是表示有关实施方式的学习辅助装置中的第1专注度的测定的概要的图。
24.图9是表示有关实施方式的学习辅助装置中的第2专注度的测定的概要的图。
25.图10是表示有关实施方式的学习辅助装置中的主动任务和被动任务的切换的图。
26.图11是表示有关实施方式的学习辅助装置中的主动任务和被动任务的切换的详细情况的表。
27.图12是表示有关实施方式的学习辅助装置的处理的一例的流程图。
28.图13是表示有关实施方式的学习辅助装置的处理的另一例的流程图。
29.图14是表示有关实施方式的学习辅助装置中的通过第1专注度与第2专注度的比较进行的用户的状态判定的一例的图。
30.图15是表示有关实施方式的学习辅助装置中的通过第1专注度与第2专注度的比较进行的用户的状态的引导的图。
具体实施方式
31.以下，参照附图对实施方式进行说明。另外，以下说明的实施方式都表示包含性或具体的例子。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一例，不是限定本发明的意思。此外，关于以下的实施方式的构成要素中的、在独立权利要求中没有记载的构成要素，设为任意的构成要素进行说明。
32.另外，各图是示意图，并不一定是严密地图示的。此外，在各图中，对于实质上相同的结构赋予相同的标号，有将重复的说明省略或简略化的情况。
33.(实施方式)
34.[学习辅助装置的结构]
[0035]
首先，对学习辅助装置100的结构进行说明。图1是有关实施方式的学习辅助装置100的框图。学习辅助装置100具备拍摄机构10、身体运动/姿势判定部12、视线/表情判定部14、第1专注度推测部16、专注度判定部18、解答输入部20、第1学习任务提示部22、信息处理部24、第2专注度推测部26、第2学习任务提示部28及提示切换部30。
[0036]
拍摄机构10拍摄用户的脸或身体。拍摄机构10由内置在个人计算机中的web相机等或能够与个人计算机连接的数字相机等实现。此外，拍摄机构10具有眼动跟踪功能。此外，拍摄机构10也可以由红外线相机等实现。拍摄机构10将所取得的图像数据发送给身体运动/姿势判定部12及视线/表情判定部14。
[0037]
身体运动/姿势判定部12在拍摄机构10所取得的图像中，对于用户的身体的两个
以上的部分分别识别位置。此外，身体运动/姿势判定部12是根据识别出的用户的身体的两个以上的部分的位置计算作为各自的位置关系的对象位置关系的处理装置。身体运动/姿势判定部12例如由处理器、存储装置和保存在该存储装置中的程序实现。
[0038]
身体运动/姿势判定部12在从拍摄机构10接收到的图像上，通过图像识别来识别用户的身体和其他。此外，身体运动/姿势判定部12将识别出的用户的身体按每个部分进行识别，关于各部分分别识别图像上的位置。由此，在图像上，计算作为用户的身体的两个以上的部分的位置关系的对象位置关系。这里，两个以上的部分的位置关系由两个以上的部分彼此所成的距离表示。例如，在两个以上的部分是“用户的脸的一部分”及“用户的手”的情况下，身体运动/姿势判定部12如“脸的一部分和手在特定距离以内”那样计算对象位置关系。身体运动/姿势判定部12将计算出的对象位置关系发送给第1专注度推测部16。
[0039]
取得多个图像，对于各个图像进行对象位置关系的计算。更详细地讲，在拍摄机构10中取得的图像，是图像沿着时间序列连续地排列的视频。因而，身体运动/姿势判定部12对于该视频中包含的每1帧的图像，进行用户是否是专注状态的判定。即，在身体运动/姿势判定部12中，基于判定而输出与拍摄有用户的视频对应的、表示专注状态或不是专注状态的非专注状态中的某一个的值沿着时间序列连续地排列的数值序列。
[0040]
视线/表情判定部14在从拍摄机构10接收到的图像上通过图像识别来识别用户的视线或表情。视线/表情判定部14从近红外led(light emitting diode)及拍摄机构10取得图像，进行包括图像检测、3d眼模型及视线计算算法的运算处理。视线/表情判定部14检测观看显示器等的用户的视线。具体而言，近红外led在用户的角膜上生成光的反射样式，拍摄机构10取得该反射样式。并且，视线/表情判定部14基于该反射样式，使用图像处理算法和眼球的生理学3d模型，推测空间中的眼球的位置和视点。另外，视线/表情判定部14也可以是使用自然光照明和可视光彩色相机的结构，上述结构不过是1个例子。
[0041]
此外，视线/表情判定部14通过深度学习等学习用户的脸等，提取所拍摄的用户的脸图像的特征量，基于所学习的数据和提取出的特征量来判定用户的表情。视线/表情判定部14例如由处理器、存储装置和保存在该存储装置中的程序实现。视线/表情判定部14将关于推测出的用户的视点的信息或关于判定出的用户的表情的信息发送给第1专注度推测部16。
[0042]
第1专注度推测部16是基于对象位置关系和用户的表情来判定用户是否是专注状态的处理装置。第1专注度推测部16例如由处理器、存储装置和保存在该存储装置中的程序实现。
[0043]
第1专注度推测部16基于从身体运动/姿势判定部12取得的对象位置关系，推测用户的第1专注度。第1专注度推测部16预先掌握用户的习惯，判定在身体运动/姿势判定部12中计算出的对象位置关系是否是用户的习惯。在对象位置关系与用户的习惯一致的情况下，能够判断为用户采取了在专注状态的情况下可能采取的动作。换言之，第1专注度推测部16由于用户采取了该动作，所以能够判定为用户的第1专注度高。这里，第1专注度是用户执行被动地进行的任务(以后称为被动任务)时的专注度。被动地进行的任务例如是视频视听等。
[0044]
另外，在本说明书中，习惯是在人处于专注状态的情况下可能采取的动作，是根据人的身体的两个以上的部分的位置关系(即距离)推测的动作。因而，习惯能够规定为人的
身体的两个以上的部分的位置关系、或根据该位置关系推测的动作。
[0045]
第1专注度推测部16使用由身体运动/姿势判定部12输出的对象位置关系，计算与预先设定的时间范围对应的、用户处于专注状态的时间相对于全部计测时间的比，作为用户1的专注度。例如，在5分钟的视频中，用户1处于专注状态的时间的合计为4分钟的情况下，计算4/5＝0.8作为专注度。此外，例如专注度计算部17也可以使用百分率，计算0.8
×
100＝80％作为专注度。
[0046]
此外，第1专注度推测部16基于与视线/表情判定部14推测出的用户的视点有关的信息、或与判定出的用户的表情有关的信息，推测用户的第1专注度。例如，第1专注度推测部16在视线/表情判定部14推测出的用户的视点的空间中的随着时间的运动少的情况下，判定为用户的第1专注度高。此外，例如也可以预先设定专注度高时的表情，当视线/表情判定部14判定为是该表情时，第1专注度推测部16判定为用户的第1专注度高。第1专注度判定部18将计算出的用户的第1专注度输出到专注度判定部18。
[0047]
解答输入部20是用户输入解答的终端或向用户提示的解答输入用的画面等的接口。用户将针对从第1学习任务提示部22提示的问题的解答输入到解答输入部20。解答输入部20将所取得的解答发送给信息处理部24。解答输入部20例如由处理器、存储装置和保存在该存储装置中的程序实现。解答输入部20也可以具备触摸面板显示器或液晶显示器等的显示器及输入按钮或键盘。
[0048]
第1学习任务提示部22是对用户提示用户主动地学习的第1学习任务的终端或画面等的接口。第1学习任务提示部22将计算问题、关于汉字的知识的问题、关于英语单词的问题等的用来进行知识训练且需要来自用户的解答的问题等的用户主动地学习的第1学习任务提示给用户。第1学习任务也被称为主动任务。第1学习任务提示部22例如由处理器、存储装置和保存在该存储装置中的程序实现。解答输入部20也可以具备触摸面板显示器或液晶显示器等的显示器。第1学习任务提示部22向解答输入部20发送第1学习任务提示部22提示了怎样的问题这样的信息。此外，第1学习任务提示部22基于来自提示切换部30的信号来提示问题。
[0049]
信息处理部24从解答输入部20取得用户输入的解答，计算解答的正确及错误、问题的进展速度、问题的处理量、解答得分及正确解答率等的与提示给用户的问题有关的指标。信息处理部24例如由处理器、存储装置和保存在该存储装置中的程序实现。
[0050]
第2专注度推测部26从信息处理部24取得与提示给用户的问题有关的指标，根据该指标推测用户的第2专注度。这里，第2专注度是用户执行主动地进行的任务(以下称为主动任务)时的专注度。主动地进行的任务例如是对提出的问题进行解答等。例如，第2专注度推测部26在用户对问题的正确解答率高时，推测为用户的第2专注度高。或者，例如也可以在用户的问题的进展速度快时推测为用户的第2专注度高。第2专注度推测部26将计算出的用户的第2专注度输出到专注度判定部18。第2专注度推测部26例如由处理器、存储装置和保存在该存储装置中的程序实现。
[0051]
专注度判定部18使用从第1专注度推测部16或第2专注度推测部26取得的第1专注度或第2专注度，判定用户的专注度。具体而言，在学习辅助装置100向用户提示了问题的情况下，专注度判定部18从第1专注度推测部16及第2专注度推测部26取得第1专注度及第2专注度，将第1专注度及第2专注度标准化并比较，由此判定用户的专注度。
[0052]
此外，在学习辅助装置100向用户提示了视频的情况下，专注度判定部18通过将从第1专注度推测部16取得的第1专注度与第1值比较，判定用户的专注度。专注度判定部18将与判定出的用户的专注度有关的信息输出到提示切换部30。专注度判定部18例如由处理器、存储装置和保存在该存储装置中的程序实现。
[0053]
提示切换部30基于第1专注度及第2专注度中的至少一方，切换在显示器上提示视频和问题中的哪一方。基于从专注度判定部18取得的与用户的专注度有关的信息，决定如何切换向用户提示的内容。例如，提示切换部30在学习辅助装置100向用户提示了视频时，当第1专注度比第2专注度高时，决定为将向用户提示的内容切换为与当前提示的视频相比难度低的视频。提示切换部30例如由处理器、存储装置和保存在该存储装置中的程序实现。提示切换部30从专注度判定部18取得信号，将与向用户提示的内容的切换有关的信号发送给第1学习任务提示部22及第2学习任务提示部28。
[0054]
第2学习任务提示部28是对用户提示用户被动地学习的第2学习任务的终端或画面等的接口。第2学习任务例如是视频等。此外，第2学习任务也被称为被动任务。第2学习任务提示部28例如由处理器、存储装置和保存在该存储装置中的程序实现。第2学习任务提示部28也可以具备触摸面板显示器或液晶显示器等的显示器。第2学习任务提示部28基于来自提示切换部30的信号，提示视频。
[0055]
[学习辅助装置的处理]
[0056]
接着，对由学习辅助装置100进行的处理进行说明。图2是表示有关实施方式的学习辅助装置100的处理的流程图。
[0057]
首先，学习辅助装置100向用户提示视频或问题(步骤s100)。学习辅助装置100通过第2学习任务提示部28提示视频，或通过第1学习任务提示部22提示问题。
[0058]
接着，学习辅助装置100推测第1专注度或第2专注度(步骤s101)。学习辅助装置100通过第1专注度推测部16推测第1专注度，或通过第2专注度推测部26推测第2专注度。
[0059]
接着，学习辅助装置100将第1专注度与第2专注度比较，或判定第1专注度的值(步骤s102)。学习辅助装置100通过专注度判定部18比较第1专注度和第2专注度的大小，或判定第1专注度和第1值的大小。
[0060]
接着，学习辅助装置100根据第1专注度与第2专注度的比较结果或第1专注度的值的判定结果，切换对用户的提示内容(步骤s103)。学习辅助装置100通过提示切换部30决定向用户的提示内容的切换方式，将所决定的切换方式发送给第1学习任务提示部22或第2学习任务提示部28。以下，对在图1及图2中说明的内容详细地进行说明。
[0061]
[主动任务和被动任务]
[0062]
接着，对由学习辅助装置100提示的主动任务和被动任务详细地进行说明。主动任务和被动任务是在图2所示的步骤s100中提示的视频或问题。这里，对在图2所示的步骤s100中提示的视频(被动任务)或问题(主动任务)进行说明。图3a是表示用户1实施主动任务的状况的图。此外，图3b是表示用户1实施被动任务的状况的图。
[0063]
图3a所示的主动任务是指用户1主动地进行解答的输入等的任务。主动任务具体而言是计算问题、关于汉字的问题、关于英语单词的问题、其他要求知识的解答的问题、图形问题、解读文章的问题等。图3b所示的被动任务是指用户1被动地进行视频的视听等的任务。被动任务具体而言是指算术、语文、英语、理科或社会等课程的视频的视听、音乐演奏的
视听、绘画或视觉艺术作品的视听、戏剧的视听及教育性的内容的视频等的视听等。
[0064]
图4a是表示计测主动任务实施中的用户1的专注度的状况的图。当学习辅助装置100将主动任务提示给用户1时，用户1看到显示在显示器2等上的问题，通过键盘或触摸面板等将解答输入到学习辅助装置100。学习辅助装置100根据作业信息推测用户1的第2专注度。这里，作业信息是用户1回答问题时的向触摸面板显示器的接触率、问题的正确解答率、到解答输入为止的应答时间、问题的进展速度、问题的处理量、解答得分等。另外，用户1对于主动任务，也可以通过麦克风等用声音输入解答。
[0065]
此外，学习辅助装置100在向用户1提示主动任务的期间，从拍摄机构10取得用户1的脸或身体的图像。学习辅助装置100对所取得的图像进行解析，推测用户1的第1专注度。具体而言，学习辅助装置100判定用户1的表情、与用户1的视线或视点有关的信息、表示用户1的姿势等的对象位置关系等，推测第1专注度。
[0066]
图4b是表示计测被动任务实施中的用户1的专注度的状况的图。当学习辅助装置100将被动任务提示给用户1时，用户1视听显示在显示器2等上的视频。学习辅助装置100对由拍摄机构10取得的图像进行解析，根据用户1的脸图像、与视线或视点有关的信息、表示用户1的姿势等的对象位置关系或体温等的生理指标，推测用户1的第1专注度。学习辅助装置100也可以在被动任务实施中进行与主动任务实施中相比更高精度的解析。另外，学习辅助装置100也可以从可穿戴设备或智能电话取得脉搏或体温等的用户1的生理指标。
[0067]
[第1专注度的推测]
[0068]
接着，对由学习辅助装置100进行的第1专注度的推测的处理进行说明。图5是表示有关实施方式的学习辅助装置100进行的第1专注度的判定处理的流程图。这里，对在图2所示的步骤s101中进行的第1专注度的推测进行说明。
[0069]
本实施方式的拍摄机构10实施通过接收拍摄有用户1的图像而取得该图像的取得步骤(s101)。拍摄机构10还将所取得的图像发送给身体运动/姿势判定部12。
[0070]
接着，身体运动/姿势判定部12对于从拍摄机构10接收到的图像，通过图像识别来识别用户1的身体和其他部分，进而，将用户1的身体按每个部分进行识别。身体运动/姿势判定部12对于用户1的身体的各个部分，识别图像上的位置。身体运动/姿势判定部12还实施识别步骤：对于图像上的用户1的身体的部分中的两个以上的部分的组合，根据识别出的位置计算作为各自的位置关系的对象位置关系(s102)。
[0071]
接着，第1专注度推测部16实施判定步骤：基于所取得的图像中的对象位置关系和规定该用户1的习惯的身体的两个以上的部分的位置关系，判定该用户1是否是专注状态。第1专注度推测部16例如使用保存在存储部中的用户1的习惯信息，取得规定用户1的习惯的身体的两个以上的部分的位置关系。第1专注度推测部16还通过判定符合用户1的习惯的位置关系是否不包含于根据图像计算出的对象位置关系(s103)，来实施用户1是否是专注状态的判定。
[0072]
例如，在符合用户1的习惯的位置关系与根据图像计算出的对象位置关系对应(一致或看作等同)的情况下(在s103中为“是”)，第1专注度推测部16判定为用户1是专注状态(s104)。此外，例如在符合用户1的习惯的位置关系不与根据图像计算出的对象位置关系对应的情况下(在s103中为“否”)，第1专注度推测部16判定为用户1不是专注状态(s105)。
[0073]
接着，第1专注度推测部16按在拍摄机构10中取得的每一帧图像实施用户1是否是
专注状态的判定。这里，本实施方式的学习辅助装置100在预先设定的时间范围中计算用户1的专注度。即，对于与预先设定的时间范围对应的规定的数量(帧数)的图像，第1专注度推测部16进行用户1是否是专注状态的判定。
[0074]
第1专注度推测部16进行被实施判定的图像的数量是否达到了规定的数量的判定(s106)，在没有达到规定的数量的情况下(s106中为“否”)，反复取得步骤(s101)～步骤(s106)。由此，第1专注度推测部16进行图像的取得及图像中的用户1是否是专注状态的判定，直到被实施判定的图像的数量达到规定的数量。
[0075]
当被实施判定的图像的数量达到了规定的数量时(s106中为“是”)，第1专注度推测部16实施计算步骤：使用在规定的数量的图像中判定出的、用户1是否是专注状态的判定结果来计算用户1的专注度(s107)。由此，学习辅助装置100能够将用户1在预先设定的时间范围内以何种程度专注进行数值化。第1专注度推测部16将与计算出的用户1的专注度有关的信息发送给输出部202。由此，用户1或管理用户1的管理者等能够确认由学习辅助装置100计测的专注度。
[0076]
使用图6对第1专注度推测部16中的用户1是否是专注状态的判定更详细地进行说明。图6是表示有关实施方式的学习辅助装置100在第1专注度的判定中使用的对象者的习惯的例子的图。图6的(a)是表示拍摄了处于专注状态的情况下的用户1的图像的图。此外，图6的(b)是表示拍摄了不是专注状态的情况下的用户1的图像的图。另外，这里的用户1的专注时的习惯是用手触碰下颚(即脸的一部分)的动作。
[0077]
如图6的(a)所示，通过身体部分识别部13，图像上的用户1的作为身体的一部分的下颚101a和作为其他部分的手101b的位置被识别为图像上的坐标。进而，基于用户1的专注时的习惯即用手触碰下颚的动作，专注习惯判定部15判定下颚与手的最短距离是否是0或可看作等同于0的距离以内。在图6的(a)中，用户1的下颚与手的图像上的坐标的最短距离是0。因而，判定图6的(a)中的用户1是呈现专注时的习惯的专注状态。
[0078]
另一方面，如图6的(b)所示，通过身体运动/姿势判定部12，图像上的用户1只有作为身体的一部分的下颚的位置被识别为图像上的坐标。由于在图像中没有识别出手，所以没有计算下颚与手的距离，没有呈现用户1的专注时的习惯即用手触碰下颚的动作。因而，判定图6的(b)中的用户1不是呈现专注时的习惯的专注状态。
[0079]
[第2专注度的推测]
[0080]
接着，对由学习辅助装置100进行的第2专注度的推测进行说明。这里，对在图2所示的步骤s101中进行的第2专注度的推测进行说明。第2专注度由用户1专注的时间相对于实施任务的时间的比例表示。用户1专注的时间通过对应答时间的期望值乘以应答的总数来计算。应答时间由混合正态分布表现。具体而言，由以下的式(1)～(5)表示。
[0081][0082][0083]
f(t)＝f
l
(t) fh(t)
ꢀꢀꢀ
(3)
[0084]
[0085][0086]
f(t)表示应答时间的分布。f
l
和fh是在混合正态分布中使用的对数正态分布。f
l
由μ
l
及σ
l
定义。此外，fh由μh及σh定义。参数p是混合系数。此外，ct是专注时间(用户1专注的时间)，n是应答的总数。此外，ctr是专注时间比例(用户1专注的时间相对于实施任务的时间的比例)，t
total
是任务实施总时间(实施对象任务的时间的总量)。另外，这里第2专注度是相对于实施任务的时间整体而定义的，但也可以相对于更短期间的时间期间(时隙)来定义。在此情况下，第2专注度也与第1专注度同样为表示时间上的变动的值。
[0087]
[用户1的状态的判定]
[0088]
接着，对由专注度判定部18进行的用户1的状态的判定进行说明。这里，对在图2所示的步骤s102中进行的处理进行说明。图7是表示有关实施方式的专注度判定部18进行的第1专注度及第2专注度的比较的时隙的图。
[0089]
专注度判定部18通过进行用户1的第1专注度及第2专注度的比较来实施用户1的状态的判定。此外，专注度判定部18不是持续地进行、而是断续地进行用户1的状态的判定。具体而言，专注度判定部18按照学习辅助装置100实施1个主动任务或被动任务的时间，计算根据在该时间中取得的数据推测出的用户1的第1专注度或第2专注度的平均值，使用该平均值判定该时间中的用户1的状态。
[0090]
或者，专注度判定部18也可以在学习辅助装置100实施1个主动任务或被动任务的时间中，根据在该时间中取得的数据推测用户1的第1专注度或第2专注度，根据推测出的第1专注度或第2专注度判定用户1的专注度，将在该时间中判定出的用户1的多个专注度的平均值作为该时间中的用户1的专注度的代表值。例如，专注度判定部18通过比较第1专注度和第2专注度的大小，判定用户1的状态。
[0091]
此外，专注度判定部18在实施上述的处理时，也可以代替平均值而使用中位数。学习辅助装置100实施1个主动任务或被动任务的时间具体而言例如是30分钟。
[0092]
此外，将表示第1专注度的数据和表示第2专注度的数据标准化，以比较第1专注度和第2专注度。标准化的方法是任何方法都可以。
[0093]
例如，如图7所示，学习辅助装置100首先实施主动任务。实施时间例如是30分钟。接着，专注度判定部18根据在该实施时间的期间推测出的第1专注度的代表值及第2专注度的代表值，判定该实施时间中的用户1的状态。接着，学习辅助装置100实施被动任务。实施时间例如是30分钟。接着，专注度判定部18根据在该实施时间的期间推测出的第1专注度的代表值，判定该实施时间中的用户1的专注度。接着，学习辅助装置100实施主动任务。实施时间例如是30分钟。接着，专注度判定部18根据在该实施时间的期间推测出的第1专注度的代表值及第2专注度的代表值，判定该实施时间中的用户1的状态。这样，专注度判定部18不是持续地依次判定用户1的专注度，而是根据规定期间的第1专注度或第2专注度的平均值来判定规定期间的用户1的状态。另外，规定期间既可以是30分钟的实施时间整体，也可以是1分钟、3分钟等的短期间的时间期间(时隙)。
[0094]
接着，对由学习辅助装置100进行的专注度的测定具体地进行说明。图8是表示有关实施方式的学习辅助装置100中的第1专注度的测定的概要的图。
[0095]
首先，考虑用户1正在实施视频视听(被动任务)的情况。用户1进行视频视听的时
间例如设为30分钟。在用户1进行视频视听的期间，学习辅助装置100从拍摄机构10取得用户1的图像数据。由身体运动/姿势判定部12及视线/表情判定部14对由拍摄机构10取得的图像进行解析。
[0096]
例如，通过身体运动/姿势判定部12及视线/表情判定部14的解析，在图10所示的例子中，在用户1刚开始视频视听后，可确认用户1以认真的表情记笔记的姿势。接着，可确认用户1打哈欠的姿势。接着，可确认用户1做出了快活的表情，最后可确认托腮而做出疲惫的表情。
[0097]
在图8中表示第1专注度推测部16基于这些姿势及表情推测用户1的专注度的曲线图。例如，在确认出用户1以认真的表情记笔记的姿势的时间段，推测为第1专注度相对高，在确认出用户1打哈欠的姿势的时间段，推测为第1专注度相对低。此外，在确认出用户1做出了快活的表情的时间段，推测为与紧前的时间段相比第1专注度高，在最后确认出托腮而做出疲惫的表情的时间段，推测为第1专注度相对低。
[0098]
专注度判定部18基于上述所示的30分钟的第1专注度的平均值等的代表值，判定用户1的状态。
[0099]
图9是表示有关实施方式的学习辅助装置100中的第2专注度的测定的概要的图。接着，考虑用户1正在实施对问题的解答(主动任务)的情况。用户1进行对问题的解答的时间例如设为30分钟。在用户1进行对问题的解答的期间，学习辅助装置100从拍摄机构10取得用户1的图像数据。由身体运动/姿势判定部12及视线/表情判定部14对由拍摄机构10取得的图像进行解析。此外，信息处理部24取得用户1回答问题时的向触摸面板显示器的接触率、问题的正确解答率、到解答输入为止的应答时间、问题的进展速度、问题的处理量、解答得分等，作为作业信息。接着，第2专注度推测部26基于作业信息推测用户1的第2专注度。
[0100]
例如，第2专注度推测部26在问题的正确解答率高的情况下，推测为第2专注度高。此外，第2专注度推测部26也可以在到解答输入为止的应答时间短的情况下推测为第2专注度高。如图9所示，在由学习辅助装置100提示主动任务的30分钟的期间，依次推测第2专注度。
[0101]
专注度判定部18基于上述所示的30分钟的第1专注度的平均值等的代表值，判定用户1的状态。
[0102]
[主动任务和被动任务的切换]
[0103]
接着，对由学习辅助装置100进行的与用户1的状态相应的主动任务和被动任务的切换进行说明。这里，对在图2所示的步骤s103中进行的处理具体地进行说明。图10是表示有关实施方式的学习辅助装置100中的主动任务和被动任务的切换的图。如图10所示，学习辅助装置100根据用户1的状态，切换视听课程视频的被动任务和实施与课程视频有关的测验或练习的主动任务。另外，学习辅助装置100根据用户1的状态，既可以从1个被动任务向与该被动任务难度不同的被动任务切换，也可以从1个主动任务向与该主动任务难度不同的主动任务切换。
[0104]
图11是表示有关实施方式的学习辅助装置100中的主动任务和被动任务的切换的详细情况的表。在学习辅助装置100提示主动任务时，当第2专注度比第1专注度高时，判断为对于用户1而言主动任务的难度过低。这是因为，尽管用户1对问题的回答率等的作业成绩高，但看起来表情上没有表现出这一点。可以认为对于用户1而言，关于该课题的学习/理
解已充分达成。所以，提示切换部30切换为难度更高的被动任务。这意味着，学习辅助装置100将用户1引入下一个高一级的学习阶段的课程视频等。
[0105]
此外，在学习辅助装置100提示主动任务时，当第1专注度比第2专注度高时，判定为对于用户1而言主动任务的难度过高。这是因为，尽管用户1看起来在表情中看上去充分专注，但对问题的回答率等的实际的作业成绩低。或者，学习辅助装置100判定为用户1陷入了所谓的走神(mind wandering)状态。所以，提示切换部30切换为难度低的被动任务。这例如意味着使课题回到前一个课程视频而使用户1再次复习。此外，在此情况下，提示切换部30也可以切换为休息。在学习辅助装置100提示主动任务时，当第1专注度比第2专注度高时，基于第1专注度或第2专注度是否比第3值高来判断提示切换部30是切换为难度低的被动任务还是切换为休息。
[0106]
此外，在学习辅助装置100提示主动任务时，提示切换部30也可以根据第2专注度的高低来切换为不同难度的被动任务。例如，也可以是，在学习辅助装置100提示主动任务时，在第2专注度比第1规定值高的情况下，提示切换部30切换为难度高的被动任务。相反，例如也可以是，在学习辅助装置100提示主动任务时，在第2专注度比第2规定值低的情况下，提示切换部30切换为难度低的被动任务。
[0107]
此外，在学习辅助装置100提示被动任务时，当第1专注度比第1值高时，提示切换部30判断为用户1正在充分专注地视听课程视频等，作为下一个阶段而切换为难度更高的主动任务。相反，也可以是，在学习辅助装置100提示被动任务时，当第1专注度比第1值低时，提示切换部30判断为用户1没有专注于课程视频，切换为休息或切换为促使回答难度比较低的问题那样的主动任务。在学习辅助装置100提示被动任务时，当第1专注度比第1值低时，基于第1专注度是否比第3值高来判断提示切换部30是切换为休息还是切换为难度低的主动任务。
[0108]
接着，对由学习辅助装置100进行的主动任务和被动任务的切换的处理的概要进行说明。图12是表示有关实施方式的学习辅助装置100的处理的一例的流程图。使用图12，对学习辅助装置100向用户1提示被动任务的情况下的、基于用户1的专注度切换主动任务和被动任务的处理进行说明。图12所示的处理是图2所示的处理的具体例。
[0109]
首先，第2学习任务提示部28向用户1提示视频(步骤s300)。
[0110]
接着，第1专注度推测部16推测用户1的第1专注度(步骤s301)。
[0111]
接着，专注度判定部18判定第1专注度是否比第1值高(步骤s302)。
[0112]
在专注度判定部18判定为第1专注度比第1值高的情况下(在步骤s302中为“是”)，提示切换部30切换为问题提示(步骤s303)。具体而言，提示切换部30使第2学习任务提示部28停止视频的输出，并且使第1学习任务提示部22输出问题。这里，提示切换部30使第1学习任务提示部22输出难度高的问题。
[0113]
在专注度判定部18判定为第1专注度比第1值低的情况下(步骤s302中为“否”)，提示切换部30切换为休息(步骤s304)。具体而言，提示切换部30使第2学习任务提示部28停止视频的输出，并且使第1学习任务提示部22输出促使用户1休息的内容。此外，在专注度判定部18判定为第1专注度比第1值低、比第2值高的情况下，提示切换部30使第1学习任务提示部22输出难度低的问题来代替促使用户1休息的内容。
[0114]
图13是表示有关实施方式的学习辅助装置100的处理的另一例的流程图。使用图
13，对学习辅助装置100向用户1提示主动任务的情况下的、基于用户1的专注度切换主动任务和被动任务的处理进行说明。图13所示的处理是图2所示的处理的具体例。
[0115]
首先，第1学习任务提示部22向用户1提示问题(步骤s400)。
[0116]
接着，第1专注度推测部16推测用户1的第1专注度(步骤s401)。
[0117]
接着，第2专注度推测部26推测用户1的第2专注度(步骤s402)。另外，步骤s401和步骤s402也可以顺序相反。
[0118]
接着，专注度判定部18判定第2专注度是否比第1专注度高(步骤s403)。
[0119]
在专注度判定部18判定为第2专注度比第1专注度高的情况下(在步骤s403中为“是”)，提示切换部30切换为难度高的视频的提示(步骤s404)。具体而言，提示切换部30使第1学习任务提示部22停止问题的输出，并且使第2学习任务提示部28输出难度高的视频。
[0120]
在专注度判定部18判定为第2专注度比第1专注度低的情况下(在步骤s403中为“否”)，提示切换部30切换为难度低的视频的提示(步骤s405)。具体而言，提示切换部30使第1学习任务提示部22停止问题的输出，并且使第2学习任务提示部28输出难度低的视频。此外，在专注度判定部18判定为第2专注度比第1专注度低的情况下(步骤s403中为“否”)，提示切换部30也可以切换为休息。也可以根据第1专注度或第2专注度是否比第3值高，来切换第2学习任务提示部28是输出难度低的视频、还是输出促使用户1休息的内容。
[0121]
[专注度的判定和任务的切换的具体例]
[0122]
接着，对由学习辅助装置100进行的用户1的专注度的判定和学习辅助装置100向用户1提示的任务的切换具体地进行说明。图14是表示有关实施方式的学习辅助装置100中的通过第1专注度和第2专注度的比较进行的用户1的状态判定的一例的图。此外，图15是表示有关实施方式的学习辅助装置100中的通过第1专注度与第2专注度的比较进行的用户1的状态的引导的图。
[0123]
在图14中，以第1专注度为纵轴，以第2专注度为横轴，表示标绘了由学习辅助装置100向用户1提示了主动任务时的用户1的专注度的曲线图。具体而言，任务a被标绘为第1专注度是0.567、第2专注度是0.477的点。此外，任务b被标绘为第1专注度是0.748、第2专注度是0.384的点。在任务a中，第1专注度与第2专注度大致相等，专注度判定部18解释为用户1的作业态度与成绩平衡。在任务a的状态时，提示切换部30切换为难度低的被动任务。
[0124]
此外，在任务b中，第1专注度比第2专注度大，专注度判定部18解释为虽然用户1的作业态度良好但成绩下降了。即，专注度判定部18判定为在任务b中用户1是走神状态。在任务b的状态时，提示切换部30切换为休息。此时，学习辅助装置100向用户提示有使用户1放松的效果的影像或音乐。
[0125]
或者，在任务b的状态时，提示切换部30也可以切换为难度比当前提示的主动任务低的主动任务。或者，在任务b的状态时，提示切换部30也可以切换为被动任务。此时提示的被动任务例如是用来对紧前实施的主动任务进行复习的视频等。
[0126]
通过进行上述那样的任务的切换，学习辅助装置100如图15所示，使实施了任务b时的用户1的第1专注度下降、或使实施了任务b时的用户1的第2专注度提高，由此能够将用户1向用户1的第1专注度及第2专注度平衡的状态引导。因此，学习辅助装置100通过进行上述那样的任务的切换，能够将用户1引导为更专注的状态。
[0127]
[效果等]
[0128]
有关本实施方式的学习辅助装置100是用于用户1进行学习任务的学习辅助装置，具备：第1专注度推测部16，对来自拍摄用户1的拍摄机构10的信息进行解析，推测用户1的第1专注度；第2专注度推测部26，对在用户1实施学习任务时用户1主动地输入的信息进行解析，推测用户1的第2专注度；以及切换部30，基于第1专注度及第2专注度中的至少一方，切换学习任务的内容和学习任务的提示方法。
[0129]
由此，学习辅助装置100能够对应于根据用户1的专注度推测的用户1的状态，提示用户1主动地进行学习的第1学习任务和用户1被动地进行学习的第2学习任务中的适当的学习任务。
[0130]
此外，例如，学习辅助装置100还具备对用户1提示用户1主动地学习的第1学习任务的第1学习任务提示部22，在第1任务提示部22对用户1提示上述第1学习任务的期间，切换部30根据第1专注度和第2专注度的大小关系将向用户1提示的内容切换为不同难度的第1学习任务。
[0131]
由此，学习辅助装置100在向用户1提示第1学习任务时，能够对应于根据用户1的专注度推测的用户1的状态，将提示切换为适当的难度的第2学习任务。
[0132]
此外，例如在学习辅助装置100中，在第1学习任务提示部22对用户1提示第1学习任务的期间，上述切换部30根据第2专注度的高低将向用户1提示的内容切换为不同难度的用户1被动地学习的第2学习任务。
[0133]
由此，学习辅助装置100在向用户1提示第1学习任务时，能够对应于根据用户1的专注度推测的用户1的状态，将提示切换为适当的难度的第2学习任务。
[0134]
此外，例如，学习辅助装置100还具备向用户1提示第2学习任务的第2学习任务提示部28，在第2学习任务提示部28对用户1提示第2学习任务的期间、且第1专注度比第1值高的情况下，切换部30将向用户1提示的内容切换为第1学习任务。
[0135]
由此，学习辅助装置100在向用户1提示第2学习任务时，能够对应于根据用户1的专注度推测的用户1的状态，将提示切换为适当的难度的第1学习任务。
[0136]
此外，例如在学习辅助装置100中还具备专注度判定部18，该专注度判定部18在第1学习任务提示部22对用户1提示第1学习任务的期间、且第1专注度比第2专注度高时，判定为用户1是走神状态，促使用户1休息。
[0137]
由此，学习辅助装置100在向用户1提示第1学习任务时，能够对应于根据用户1的专注度推测的用户1的状态，促使用户1休息，提高用户1的作业效率。
[0138]
此外，例如在学习辅助装置100中，在第2学习任务提示部28对用户1提示第2学习任务的期间、且第1专注度比第2值低的情况下，专注度判定部18促使用户1休息。
[0139]
由此，学习辅助装置100在向用户1提示第2学习任务时，能够对应于根据用户1的专注度推测的用户1的状态，促使用户1休息，提高用户1的作业效率。
[0140]
此外，本公开的学习辅助系统，是用于用户1进行学习任务的学习辅助系统，具备：显示器2；拍摄机构10，拍摄用户1；第1专注度推测部16，对来自拍摄用户1的拍摄机构10的信息进行解析，推测用户1的第1专注度；第2专注度推测部26，对在用户1实施学习任务时用户1主动地输入的信息进行解析，推测用户1的第2专注度；以及切换部30，基于第1专注度及第2专注度中的至少一方，切换学习任务的内容和学习任务的提示方法。
[0141]
由此，本公开的学习辅助系统能够起到与上述学习辅助装置100同样的效果。
[0142]
[其他]
[0143]
以上，对实施方式进行了说明，但本公开并不限定于上述实施方式。
[0144]
例如，在上述实施方式中，也可以将特定的处理部执行的处理由其他的处理部执行。此外，也可以将多个处理的顺序变更，也可以将多个处理并行地执行。
[0145]
此外，例如在在上述实施方式中，也可以执行学习辅助方法，该学习辅助方法是用于用户1进行学习任务的学习辅助方法，包括：第1专注度推测步骤，对来自拍摄用户1的拍摄机构10的信息进行解析，推测用户1的第1专注度；第2专注度推测步骤，对在用户1实施学习任务时用户1主动地输入的信息进行解析，推测用户1的第2专注度；以及切换步骤，基于第1专注度及第2专注度中的至少一方，切换学习任务的内容和学习任务的提示方法。
[0146]
此外，在上述实施方式中，各构成要素也可以通过执行适合于各构成要素的软件程序来实现。各构成要素也可以通过由cpu或处理器等的程序执行部将记录在硬盘或半导体存储器等的记录介质中的软件程序读出并执行来实现。
[0147]
此外，各构成要素也可以由硬件实现。例如，各构成要素也可以是电路(或集成电路)。这些电路既可以作为整体构成1个电路，也可以是分别不同的电路。此外，这些电路分别既可以是通用的电路，也可以是专用的电路。
[0148]
另外，本公开的全局性或具体的技术方案也可以由系统、装置、方法、集成电路、计算机程序或计算机可读取的cd－rom等的记录介质实现，也可以由系统、装置、方法、集成电路、计算机程序及记录介质的任意的组合来实现。
[0149]
例如，本公开也可以作为用来使计算机执行上述实施方式的学习辅助方法的程序实现。本公开也可以作为记录有这样的程序的计算机可读取的非暂时性的记录介质实现。
[0150]
除此以外，对各实施方式实施本领域技术人员想到的各种变形而得到的形态、或在不脱离本公开的主旨的范围内通过将各实施方式的构成要素及功能任意地组合而实现的形态也包含在本公开中。
[0151]
产业上的可利用性
[0152]
本公开的学习辅助装置及学习辅助系统能够对用户提供有效的学习体验。
[0153]
标号说明
[0154]1ꢀꢀꢀ
用户
[0155]2ꢀꢀꢀ
显示器
[0156]
10
ꢀꢀ
拍摄机构
[0157]
12
ꢀꢀ
身体运动/姿势判定部
[0158]
14
ꢀꢀ
视线/表情判定部
[0159]
16
ꢀꢀ
第1专注度推测部
[0160]
18
ꢀꢀ
专注度判定部
[0161]
20
ꢀꢀ
解答输入部
[0162]
22
ꢀꢀ
第1学习任务提示部
[0163]
24
ꢀꢀ
信息处理部
[0164]
26
ꢀꢀ
第2专注度推测部
[0165]
28
ꢀꢀ
第2学习任务提示部
[0166]
30
ꢀꢀ
切换部
[0167]
100 学习辅助装置