目光交流检测装置的制作方法

1.本发明涉及将作为人与人之间进行的语言、行动等相互通信或者用于发起该相互通信的信号而使用的基于相互视线一致的意图交换模型(通常所说的目光交流)同样地用于人与机械之间的人机接口的技术。


背景技术：

2.作为人机接口，识别用户的说话声音或检测用户对触摸面板的操作的人机接口已投入实际使用。例如，专利文献1的用户界面装置公开了如下的技术：测定用户的眼球运动来判定视线方向，根据该判定结果来检测规定的次数的眨眼或规定的时间的直视而传递用户的意图。另外，专利文献2的空间输入装置公开了通过检测用户与所显示的立体虚像的接触来分析输入的技术。并且，专利文献3的信息处理装置公开了如下的技术：根据用户的目光交流、视线的移动、视线方向红外线在用户的眼睛上进行反射时的反射光等的检测结果而使所显示的对象在进深方向上进行动画显示。
3.现有技术文献
4.专利文献
5.专利文献1：日本特开2004-252849号公报
6.专利文献2：日本特开2005-196530号公报
7.专利文献3：日本特开2012-133543号公报


技术实现要素：

8.发明要解决的课题
9.作为人机接口，从历史上看，从机械操作的杆或制动器、电气开关、拨盘等开始，到近年来，针对使用了计算机的图像显示装置的光笔、显示指针、鼠标、触摸画面动作已得到普及。目前，使用了交互式装置的机械的实用化得到了发展，该交互式装置能够相应于使用了图像处理技术的人类行为或用户的说话声音而输出适当的声音应答或动作等。例如，智能手机、智能音箱、机械人等的作为人机接口的交互式装置经由内置的数据或者网络等而与云服务器连接，从存储于云服务器的数据中检索用户问题的适当答案并将其输出。
10.在这样的交互式装置中，在启动时或者执行处理时等，通过来自用户的预先决定的声音短语、动作或者机械操作来建立用户与装置之间的连接和关联性。即，用户将机械(智能音箱、机械人等)所具备的交互式装置作为接口，确定与机械的关系，识别对话的开始、对话的持续、中断、搁置、结束，进行所谓的握手(handshake)。在人与机械之间，不论是否排他，都必须通过交互式装置来交换基于某种声音或动作等的信号，确认对话(通信)开始或持续、中断、搁置、结束的共识。
11.例如，当非特定多数的人群之中的用户要启动作为交互式装置的智能音箱时，通过进行
“○○○”
这样的特定的声音短语的招呼来传达要在智能音箱与用户之间建立单独的对话关系的意图，即通过由用户向智能音箱输入启动信号而启动用户与智能音箱的对
话，有时由智能音箱向用户发出
“△△△
，你好！”等回答来确认对话的相互关系启动和建立，然后与智能音箱开始提问和回答等对话。此外，也存在由智能音箱向作为对象的用户传递建立对话关系的意图的情况。在这样用户与交互式装置进行互动的情况下，每次都需要通过发出特定的声音短语或物理动作来确认用户与装置之间的连接(握手)、建立相互关系。该建立的方法或过程给用户或交互式装置带来复杂的处理、手续的迟缓、不适应使用环境的(噪声、杂音、肃静、日照、照明、黑暗、液体或气体气氛中等)不便或负担，对于交互式装置或其背后的云系统而言，导致了系统手续和处理的成本升高，造成了系统资源浪费。另外，不仅是上述例子那样的交互式装置，飞机或汽车等移动体的操纵者借助机械系统使对操纵装置的仪表或操作设备的状态、管制信号、对方操纵者或对方移动体的目视确认可靠化的方法也未投入实际使用，由于不得不依靠多个操纵者的反复确认或自身的指差确认(pointing and calling)，这成为发生因不注意或疏忽所引起的重大事故的原因。
12.本发明是为了解决这样的现有课题而完成的，其目的在于，提供通过由机械利用人类红眼现象而与以往相比能够高速、简单且可靠地实现人机接口的目光交流检测装置，实现使用了该目光交流检测装置的交互式装置、警报装置、认证装置以及装备这些装置的机械、网络系统的简便化、高效化。
13.用于解决课题的手段
14.本发明的目光交流检测装置包含：发光单元，其从特定的区域发出光；受光单元，其接收由所述发光单元发出的光的反射光，并输出与接收到的光对应的电信号；以及判定单元，其根据与来自所述发光单元的光对应的所述电信号来判定用户有无目光交流。
15.在一个实施方式中，所述判定单元在用户的视线方向朝向了所述特定的区域时，根据由于从所述特定的区域发出的光线在用户的眼底进行了反射的红眼现象所产生的反射光来判定有无目光交流，其中，所述反射光是通过了眼球的角膜、虹膜、晶状体而到达眼球的视网膜，在视网膜上进行了反射并通过晶状体、虹膜、角膜而放射到眼球外的光。
16.在一个实施方式中，所述发光单元发出调制了的光，所述判定单元根据与所述调制了的光对应的电子信号来判定有无目光交流。
17.在一个实施方式中，所述受光单元接收由于位于光轴上的用户的红眼现象所产生的反射光。
18.在一个实施方式中，所述受光单元经由光学系统或者电子摄像系统而接收由于位于与光轴不同的方向上的用户的红眼现象所产生的反射光。
19.在一个实施方式中，目光交流检测装置还包含检测单元，该检测单元检测与用户之间的物理位置关系，所述发光单元响应于所述检测单元检测到用户接近而发出光。
20.在一个实施方式中，所述发光单元包含多个发光元件，多个发光元件以不同的调制发出光，所述判定单元根据与多个发光元件的不同的调制对应的电信号来判定有无目光交流。
21.在一个实施方式中，所述判定单元计算与多个发光对应的电信号所对应的多个红眼现象的方向，并根据计算出的多个红眼现象的方向的变动或者变化率来判定有无目光交流。
22.在一个实施方式中，所述受光单元包含多个受光元件，所述判定单元根据从多个受光元件输出的电信号来判定多个用户有无目光交流。
23.在一个实施方式中，所述受光单元接收由于接收到光的用户的红眼现象所产生的反射光的特定的波段的光，所述判定单元根据由所述受光单元接收到的特定的波段的光来判定有无目光交流。
24.在一个实施方式中，所述受光单元经由光学滤波器而接收所述特定的波段的光。
25.在一个实施方式中，目光交流检测装置还包含摄像单元，所述判定单元根据由所述摄像单元拍摄到的图像数据来判定有无目光交流。
26.另外，本发明的交互式装置包含：上述记载的目光交流检测装置；声音识别单元，其识别来自用户的声音输入；执行单元，其根据所述声音识别单元的识别结果来执行处理；以及声音输出单元，其将由所述执行单元进行处理而得到的结果以声音的形式输出，所述执行单元根据所述目光交流检测装置的检测结果来执行处理。
27.在一个实施方式中，所述执行单元在所述目光交流检测装置检测到建立了目光交流时，判别通过所述声音识别单元进行的对话的开始或结束。
28.在一个实施方式中，所述交互式装置还包含检测单元，该检测单元检测用户接近或存在，所述发光单元响应于所述检测单元检测到用户接近或存在而发出光。
29.在一个实施方式中，所述判定单元根据利用了包含于所述图像数据中的用户的眼底的毛细血管的图案的个人认证来判定有无目光交流。
30.发明效果
31.根据本发明，使用从交互式装置等发出的光和由于该发出的光在用户的眼底进行了反射的红眼现象所产生的反射光来判定有无目光交流，能够对用户与交互式装置的握手进行确认，因此与现有的手段相比，能够容易、迅速且经济地实现人机接口。
附图说明
32.图1是示出本发明的实施例的交互式装置的结构例的框图。
33.图2是示出本发明的实施例的交互式装置与网络的连接例的图。
34.图3是示出本发明的实施例的目光交流检测部的内部结构的图。
35.图4的(a)是示出从发光元件发出的光线的样子的图，图4的(b)是示出由受光元件接收的光线的样子的图。
36.图5是示出视线方向相对于光轴的角度差与受光量之间的关系的一例的曲线图。
37.图6是对本发明的第2实施例的目光交流检测的动作例进行说明的时序图。
38.图7是示出本发明的第3实施例的利用了光学滤波器的例子的图。
39.图8是示出本发明的第5实施例的目光交流检测部的结构的图。
40.图9是示出本发明的第6实施例的目光交流检测部的结构的图。
41.图10是示出将本发明的第7实施例的目光交流检测部应用于智能音箱的例子的图。
42.图11是示出将本发明的第8实施例的目光交流检测部应用于航空器的仪表盘(显示器)的例子的图。
具体实施方式
43.接下来，对本发明的目光交流检测装置的实施方式进行说明。本发明的目光交流
检测装置是实现人与机械之间的人机接口的装置，能够应用于交互式装置、计算机装置、信息终端装置、便携终端装置、游戏机等所有电子装置或电子系统。在一个实施方式中，目光交流检测装置被用作供用户输入用于启动电子装置、或使动作开始、或使动作结束的信号的输入装置。
[0044]“红眼现象”是在照片和图像处理应用领域中应该如何避免其负面因素的问题，本发明反而积极地利用该“红眼现象”。“红眼现象”是指通过了眼球的角膜、虹膜、晶状体而到达眼球的视网膜并在视网膜上被反射的光进而通过晶状体、虹膜、角膜放射到眼球外的现象。
[0045]
本发明将像人与人那样，用户的“视线方向”与机械的“视线方向”在直线上一致的情况作为目光交流的前提条件。仅机械进入用户的“视野”或用户进入机械的“视野”(即仅视线方向)不是本发明所说的目光交流。本发明利用“红眼现象”来检测用户与机械之间的“相对关系”的建立。
[0046]
在优选的实施方式中，目光交流在用户要对作为对象的机械进行任何动作的情况、即用户想要“启动”人机接口的情况下实施。本发明的目光交流的成立或检测通过以下的步骤(1)至(5)的顺序来实施。
[0047]
(1)用户能够看见机械，即机械进入用户的“视野”。
[0048]
(2)用户从视野之中将视野缩小到作为特定的对象的机械而在一定时间持续对上“视线”的行为。这是“注视”机械即特定的对象的行为，显示出用户寻求目光交流的意图。即，首先用户有要求与机械建立接口的意图，所以要“注视”机械。例如，以智能音箱的情况为例，在机械隐约在用户的视野内或者机械偶然进入到用户的视野内的情况下，用户没有向机械要求目光交流。在这样的状态下，当机械检测到“红眼现象”(超过判定的阈值)时，智能音箱可以使用如下的方法：最初通过不太妨碍用户的微光的闪烁等来确认用户的“意图”。用户如果有“意图”，就会接着与智能音箱搭话，如果没有“意图”，就会忽略微光的闪烁等。如果在光闪烁一定时间后没有来自用户的响应，则智能音箱判定为“目光交流”的握手不成立。
[0049]
(3)机械检测到用户选择性地送来视线、即“被注视”。即，检测到用户眼睛的“红眼现象”的检测信号满足预先决定的判定基准。
[0050]
(4)机械通过声音、发光、振动、动作等向用户通知目光交流成立。
[0051]
(5)用户停止(2)的行为。这样，完成了基于目光交流的人机接口的“启动”、握手。
[0052]
以下记载了在优选的实施方式中本发明的目光交流检测中的特征性事项。
[0053]
(a)在本发明中，在(1)的状态、即机械进入到用户的“视野”的状态下，目光交流不成立。
[0054]
(b)在本发明中，机械也需要具有或设定用于供用户看的相当于(象征)眼睛的事物、位置(特定的区域，包含机械全体)。
[0055]
(c)在本发明中，为了机械检测(2)的状态，例如，对机械发出的光线的颜色(频率)、强弱(调制)、场所(包含多个发光单元等)等进行控制，检测“红眼现象”与这些控制呼应、同步的情况，检测用户正在看机械的情况。由此，与仅是进入到用户的“视野”的状态区别开。
[0056]
(d)“用户注视机械”需要用户的眼睛与机械之间没有障碍物且具有位于直线上的
物理位置关系。
[0057]
(e)并且，也可以使用光学的反射镜或电子的传送方法来折射或传送视线以检测“注视”。
[0058]
(f)用户所“注视”的机械的场所是发光单元的场所，并且接受反射光的场所在物理上、光学上、电子上与发光单元的场所相同、同轴、或者在能够检测红眼现象的容许范围内串联、并联。
[0059]
(g)在电子上、光学上对发光单元、受光单元、用户的位置关系进行调整、校正以能够检测红眼现象。
[0060]
(h)通过设置多个发光单元、受光单元等或者进行旋转、移动、发光的调制等，能够避免用户与机械之间的物理位置等的限制，建立相对关系。
[0061]
实施例
[0062]
在以下的实施例中示出将本发明的目光交流检测装置应用于交互式装置的例子。图1是示出本发明的实施例的交互式装置的一个结构例的图。交互式装置是指具有与用户进行交互的功能的电子装置或计算机装置，具有识别用户发出的声音、根据该识别结果来执行处理并将执行结果以声音的形式输出的功能。例如，用户向交互式装置提问，交互式装置识别该问题，执行用于获得该问题的最佳答案的处理，并且将问题的答案以声音的形式输出。
[0063]
如该图所示，交互式装置100构成为包含：目光交流检测部110，其检测基于用户视线的信号；人体感应传感器120，其检测用户接近或者存在；输入部130，其输入用户的说话声音等；通信部140，其能够经由网络等而与外部的服务器等进行数据通信；输出部150，其进行声音输出等；存储部160，其存储交互式装置100所需的数据、软件、程序、应用程序等；以及控制部170，其对各部进行控制。控制部170例如具有包含rom/ram等的微型计算机、微处理器、声音和图像识别模块等，通过软件、硬件、或者软件及硬件对各部进行控制。
[0064]
交互式装置100的主要功能是与用户之间进行基于声音的交互。例如，当用户说话时，对此作出响应。输入部130例如包含麦克风，将来自用户的声音输入信号转换为电信号，并将该电信号提供给控制部170。控制部170根据电信号来识别用户的声音，并执行与该声音识别结果相应的处理。在一个方式中，如图2所示，交互式装置100经由因特网而与信息提供服务器180协作，例如，从信息提供服务器180接收用户问题的最佳答案，将该答案以声音的形式输出。
[0065]
目光交流检测部110检测在用户与交互式装置之间有无目光交流，并将该检测结果提供给控制部170。控制部170能够根据有无目光交流对声音识别出的处理进行控制。例如，控制部170可以响应于检测到建立了目光交流而开始或结束处理。
[0066]
在图3中示出目光交流检测部110的内部结构。如该图所示，目光交流检测部110包含：至少一个发光元件200；驱动电路210，其对发光元件200进行驱动；受光元件220，其接收从发光元件200发出的光的反射光，并输出与接收到的光对应的电信号；检测电路230，其接收从受光元件220输出的电信号，并对电信号进行放大、解调等处理；以及目光交流判定部240，其根据从检测电路230输出的检测信号来判定是否建立了目光交流。
[0067]
发光元件200例如从图2所示那样的交互式装置100的壳体上所安装的圆形形状的开口部260向特定的方向发射光。开口部260被透明的部件覆盖，该透明的部件能够使从发
光元件200发出的光的波长透过。开口部260相当于交互式装置100的眼睛。作为一例，开口部260可以是其存在显眼那样的形状，或者被施以色彩等。例如，开口部260可以是模仿人眼的形状等。作为一例，用户在想要进行目光交流时，将开口部260作为特定的对象而进行“注视”行为。
[0068]
发光元件200的光源是任意的，但在一个优选的例子中，可以是发散角比较小、具有指向性的发光二极管(led)。发光二极管可以是一个或多个，即可以是点光源或面光源。而且，由发光元件200发出的光的波长是任意的，例如，可以是白色光或红色光那样的可见光、红外光(irled)。在白色光的情况下，例如，可以是，将蓝色二极管用作光源，利用荧光物质对其进行波长变换，由此生成rgb。而且，发光元件200也可以是频闪光灯或闪光灯那样的光源、或例如在室内灯情况下各种光源被壁面反射的反射光等。
[0069]
驱动电路210响应于来自控制部170的指示，而在预先的决定的期间，使发光元件200按照已决定的调制方式发光。或者，也可以是，驱动电路210在对交互式装置100接通电源的同时启动，使发光元件200始终发光，或者使发光元件200在由定时器决定的时间的期间发光。调制方式没有特别限定，例如，可以使发光的强度变化，或使波长变化，或使发光时间或闪烁的时间变化，或使对发光元件进行驱动的驱动信号的频率变化。在一个方式中，在人体感应传感器120检测到人体时，控制部170经由驱动电路210使发光元件200点亮一定期间。当在该一定期间内用户进行了缩小视线而使该视线对上特定的对象(例如，开口部260)的行为，即进行了注视行为时，目光交流成立。
[0070]
在图4的(a)中示出从发光元件200发出的光线的示意性的样子。如该图所示，发光元件200例如以使光轴o位于开口部260的大致中心的方式安装于电路板250。另外，在电路板250上也可以安装驱动电路210、检测电路230等的电路部件。
[0071]
发光元件200响应于来自驱动电路210的调制后的驱动信号而沿光轴方向以发散角θ照射光ia。这样，交互式装置100从开口部260发射光ia作为信号。
[0072]
受光元件220靠近发光元件200而安装于电路板250。受光元件220位于发光元件200附近，因此能够视为受光元件220的光轴与发光元件200的光轴大致相同。受光元件200例如包含光电二极管或光电晶体管。如图4的(b)所示，受光元件200经由开口部260接收由于照射光ia到达用户的眼球e的视网膜即眼底并在视网膜进行了反射的红眼现象所产生的反射光ib，并将该反射光ib转换为电信号。
[0073]
在本实施例中，检测用户u是否响应于作为交互式装置100的信号所照射的光ia而反馈了目光交流。如果用户u有目光交流的意图，则用户u会响应于发光元件220的光而进行将视线朝向开口部260并注视该开口部260的行为。当用户u的眼球e存在于从开口部260照射出的光ia的照射区域内并且照射光ia的视线方向与用户u的视线方向一致时，照射出的光ia会被位于眼球e的眼底的视网膜后方的照膜反射，该反射光ib作为来自用户u的信号而经由开口部260被受光元件220接收。当照射光ia在瞳孔被眼睛的虹膜关闭之前入射到眼球e时，该光会到达眼底或视网膜，其反射光笔直地返回。由于视网膜中毛细血管多，因此在眼底或视网膜上进行了反射的光会成为红色，形成所谓的红眼现象。或者，在照射的光照射了红外光的情况下，在眼底进行了反射的眼睛会被拍出异常发光，这也是红眼现象。本实施例将这样红眼现象用于目光交流的检测。因此，驱动电路210以适合检测用户u的红眼现象的驱动方式对发光元件200进行驱动，检测电路230以适合驱动电路210的驱动方式的方式接
收反射光。
[0074]
当用户u的眼球e的光轴方向或视线方向与发光元件200的光轴o一致时，受光元件220的受光量可能成为最大。假设即使用户u的眼球e位于光轴o上，如果用户u没看发光窗260，即视线方向未朝向开口部260，则来自用户u的眼球e的眼底(视网膜)的反射光会偏离光轴o，因此来自眼球e的眼底或视网膜的反射光ib会偏离光轴o，其结果为，受光元件220的受光量降低。另外，在用户u的眼球e远离光轴o的情况(但是，眼球e位于所照射的光ia的照射范围内)下，来自发光元件200的光ia无法充分地入射到用户u的眼球e，因此，与此相应地，来自眼底的反射光ib的光量也变少。将来自眼底的反射光ib的受光量的大小像后述那样与阈值进行比较，用于判定目光交流是否成立。
[0075]
这里，开口部260的外径d也可以用于对受光元件220接收的光量进行调整。即，如果进一步减小开口部260的外径d，则大幅偏离光轴o的反射光ib会被开口部260遮挡，反射光ib难以被受光元件220接收。另一方面，如果进一步增大外径d，则即使是大幅偏离了光轴o的反射光ib，也不会被开口部260遮挡，容易被接收。因此，能够通过开口部260的外径d来调整目光交流的精度。
[0076]
受光元件220生成的模拟电信号输出给检测电路230。检测电路230根据需要而对从受光元件220接收到的模拟电信号进行放大，并且根据驱动信号的调制方式进行解调等。由检测电路230处理后的信号作为检测信号而提供给目光交流判定部240。
[0077]
当用户对于交互式装置100发光的信号，即对于由驱动电路210在一定期间内进行了调制的光的照射而反馈了信号时，即，当用户在一定期间内注视着作为特定的对象的开口部260时，受光元件220接收到与调制后的光的照射呼应的利用了用户红眼现象的反射光，目光交流判定部240判定为建立了目光交流。目光交流判定部240的判定结果提供给控制部170，控制部170执行与有无目光交流相应的控制。
[0078]
接下来，对本发明的第1实施例的目光交流检测部110的动作例进行说明。在第1实施例中，当人体感应传感器120检测到在交互式装置100附近存在用户u时，控制部170响应于此而通过驱动电路210使发光元件200发光一定期间。从发光元件200照射出的光ia的反射光ib经由开口部260被受光元件220接收，与该反射光ib对应的模拟电信号输出给检测电路230。
[0079]
检测电路230对模拟电信号进行放大，并使用比较器等电路对放大后的模拟电信号进行2值化，即转换为数字信号。进行2值化时的阈值可以使用在实际实验中提取出的采样数据来设定。图5的曲线图示出了光轴o与用户u的眼球朝向之间的角度差(纵轴)和反射光的受光量(横轴)之间的关系的一例。例如，在实验中，在发光元件200的光ia的照射范围内，在用户u的视线方向偏离光轴o时，测量与受光量对应的电信号，由此，提取角度差与受光量之间的关系(不一定是图5那样的关系)或者对该关系进行近似的数学式。利用该关系来定义目光交流建立的范围。假设将角度差为s以下的范围定义为目光交流建立的范围，则将与角度差为s时的受光量r相当的电信号设定为阈值。检测电路230对从受光元件220接收到的电信号与阈值进行比较，在建立了目光交流的情况下，例如，输出h电平的检测信号，在未建立目光交流的情况下，输出l电平的检测信号。
[0080]
目光交流判定部240根据从检测电路230输出的检测信号的h电平或l电平来判定有无建立目光交流，并将该判定结果提供给控制部170。
[0081]
接下来，对本发明的第2实施例的动作例进行说明。在第2实施例中，使发光元件200在一定期间内以恒定的频率点亮，根据其结果来判定有无目光交流。图6示出了第2实施例的信号的时序图。当人体感应传感器120检测到在交互式装置100附近存在用户u时，控制部170响应于此，在从时刻t1至时刻t2为止的一定期间内，使驱动电路210生成n个驱动脉冲信号，进行调制以使发光元件200发光n次。
[0082]
响应于n次发光(调制)，其反射光被受光元件220接收，与各接收到的光对应的模拟电信号输出给检测电路230。检测电路230与第1实施例时同样地对模拟电信号进行2值化或解调，将h电平或l电平的检测信号输出给目光交流判定部240。目光交流判定部240对h电平的检测信号的数量进行计数，根据该检测到的h电平的脉冲的个数p与发光次数n之间的关系来判定有无建立目光交流。例如，在n/p为一定值以上时，或者在n-p为一定值以上时，判定为建立了目光交流。
[0083]
根据本实施例，通过与多次发光(调制)相应的多个受光(解调)来判定有无目光交流，因此能够提高判定有无目光交流的精度。特别是，在用户u看了开口部260片刻的情况下，即使用户u没有目光交流的意图，这样的判定方法也是有效的。
[0084]
此外，在上述的例子中，示出了对发光部的发光次数进行调制的例子，但除此之外，例如，驱动电路210也可以通过驱动信号的振幅的变化对发光强度进行调制，或者通过驱动信号的脉冲频率的变化对发光频率进行调制。在该情况下，检测电路230对接收到的光进行解调，目光交流判定部240对调制了的光与解调了的光进行比较，根据该比较结果来判定有无目光交流。例如，如果两者的一致为阈值以上，则判定为有目光交流。而且，在搭载有发光元件200发出不同波长的光的多个发光元件的情况下，驱动电路210也可以依次对发光元件进行驱动，由此对光的波长进行调制。
[0085]
接下来，是示出本发明的第3实施例的目光交流检测部110的结构的图。在人眼的视网膜中存在很多毛细血管。在光照射到眼睛时，从瞳孔进入到眼底的光被反射而再次从瞳孔射出。在该反射光中包含有很多红色的波长，被称为红眼效果。如果反射光中包含有很多红色的波长，则可以说用户u的眼底的方向与光轴o一致或近似的可能性高。因此，在第3实施例中，根据从被用户u的眼球e反射了的光中仅提取出红色波段的光的受光量来判定有无建立目光交流。
[0086]
图7是示出第3实施例的结构的图。如该图所示，在开口部260的表面上安装有光学滤波器300，该光学滤波器300使红色波段透过，阻挡这之外的波段的光。由此，在用户u的眼球e进行了反射的反射光中的仅红色波段被受光元件220接收。其结果为，受光元件220能够接收考虑了用户u的眼球e的红眼效果的反射光，能够提高判定建立目光交流的精度。
[0087]
另外，光学滤波器300不是必须安装于开口部260，例如，也可以配置在开口部260与受光元件220之间。另外，当在受光元件220的前面上配置有会聚透镜的情况下，也可以将光学滤波器安装于会聚透镜。而且，在利用白色光源作为发光元件200的光源的情况下，光学滤波器有效，而在使用了发出红色波段光的红色二极管或发出红外线光的红外线二极管作为发光元件200的光源的情况下，可以省略光学滤波器。
[0088]
接下来，对本发明的第4实施例进行说明。在第1实施例中，对从受光元件220接收到的模拟电信号进行2值化，而在第4实施例中，根据从受光元件220接收到的模拟电信号来计算由于用户u的眼底的红眼现象所产生的反射光的方向α，并根据眼底的方向α来判定有
无建立目光交流。
[0089]
控制部170与第2实施例时同样地，在从时刻t1至t2为止的一定期间内使发光元件200发光n次，使受光元件220接收响应于n次发光的反射光。检测电路230根据与n次受光对应的模拟电信号的积分值或峰值来检测n次的眼底的方向α1，α2，......，αn。基于红眼现象的反射光的方向例如可以根据图5所示的角度差与受光量之间的关系来求取。这样，将由检测电路230检测到的n个眼底的方向提供给目光交流判定部240。
[0090]
目光交流判定部240根据n个眼底的方向α1，α2，......，αn的变动或者变化率来判定有无建立目光交流。作为一例，在眼底的方向α1～αn为一定以下并且眼底的方向α1～αn的变动或者变化率为一定以下时，判定为建立了目光交流。
[0091]
根据本实施例，在用户相对于交互式装置100不静止的情况或者虽然用户没有目光交流的意图但却看了开口部260的情况等时，能够高精度地判定有无目光交流。
[0092]
此外，在上述实施例中，对在单个用户的情况下判定有无目光交流的例子进行了说明，但也可以是，交互式装置100具有多个受光元件，根据从多个受光元件输出的各个电信号来判定多个用户有无目光交流。例如，如图8所示，在设置有两个受光元件200a、200b时，根据从受光元件200a输出的电信号来判定用户u1有无目光交流，根据从受光元件200b输出的电信号来判定用户u2有无目光交流。在该情况下，当在多个发光元件各自的光轴上，由于用户u1、u2的红眼现象所产生的反射光的光轴一致时，目光交流成立。另外，为了抑制干涉，也可以通过不同的调制方式对各发光元件的光进行调制。
[0093]
接下来，对本发明的第5实施例进行说明。在第5实施例中，使用物理上分开的多个受光元件，根据各个受光元件的受光量来确定用户u的位置，使用确定出的位置来判定有无建立目光交流。这里，为了便于说明，例示了两个受光元件。图8示出了发光元件200、受光元件220a、220b、用户u的眼球e的俯视图，两个受光元件220a、220b关于发光元件200的光轴o线对称地配置。
[0094]
当光ia从发光元件200发射并且眼球e存在于其发射区域内时，光ia的反射光ib1、ib2被受光元件220a和220b接收。检测电路230从受光元件220a、220b接收模拟电信号，并根据这些电信号将由受光元件220a检测到的视线方向α1和由受光元件220b检测到的眼底的方向α2提供给目光交流判定部240。
[0095]
目光交流判定部240以两个眼底的方向α1、α2之差处于一定范围内作为条件来判定有无目光交流。即，理想的是，两个眼底的方向α1和α2相等，但在两者之差大的情况下，推测为检测精度不好。因此，在眼底相对于光轴o的方向α1、α2为一定以下并且|α1-α2|为一定以下的情况下，判定为建立了目光交流。另外，作为第5实施例的变形例，也可以是，使发光元件200发光(调制)n次，根据由此得到的n个眼底的方向来判定有无目光交流。
[0096]
接下来，对本发明的第6实施例进行说明。在第6实施例中，如图9所示，目光交流检测部110还具有摄像照相机300，目光交流判定部240将由摄像照相机300拍摄的图像数据用于目光交流的判定。
[0097]
摄像照相机300作为定点照相机而安装于交互式装置100内，经由开口部260来拍摄交互式装置100的周边。摄像照相机300拍摄到的图像数据提供给目光交流判定部240。目光交流判定部240对反映在图像数据中的用户的面部或眼球进行图像识别，计算识别出的面部或眼球的坐标位置。在一例中，目光交流判定部240将面部或眼球的坐标位置是否处于
预先的决定的区域内的判定要件加到有无目光交流的判定的加重要件中。即，目光交流判定电路240根据由检测电路230检测到的信号和从图像数据提取出的面部或眼球的坐标位置来判定用户有无目光交流。由此，能够进一步提高有无目光交流的判定精度。
[0098]
作为又一例，目光交流判定部240也可以进行反映在图像数据中的用户的面部认证。在该情况下，可以是，目光交流判定部240预先保存有要认证的面部的参照数据，将是否根据参照数据进行了面部认证这一判定加到有无目光交流的判定的加重要件中。即，仅针对进行了面部认证的用户判定有无目光交流。此外，也可以还将已进行了面部认证的眼睛的位置加到加重要件中。由此，能够进一步提高判定特定的用户有无目光交流的精度。
[0099]
作为又一例，目光交流判定部240也可以利用反映在图像数据中的用户的眼底的毛细血管的图案或虹膜的特征来进行用户的个人认证。在该情况下，可以是，目光交流判定部240预先保存有要认证的毛细血管的图案或虹膜的特征保存为参照数据，并将是否根据参照数据进行了个人认证的判定加到判定有无目光交流的加重要件中。即，仅针对进行了个人认证的用户判定有无目光交流。
[0100]
作为又一例，也可以将摄像照相机300用作人体感应传感器。可以是，在通过摄像照相机300拍摄到人物的面部时，驱动电路210使得在一定期间内照射调制了的光作为目光交流的信号。并且，摄像照相机300不限于一个，也可以是多个，例如，也可以是，利用基于多个摄像照相机的立体效果来测量与用户的距离，在用户接近到一定距离内时，在一定期间内照射光作为目光交流的信号。
[0101]
接下来，对本发明的第6实施例进行说明。图10示出了将本实施例的目光交流的判定应用于智能音箱的例子。如该图所示，智能音箱400构成为包含目光交流部410和与该目光交流部410电连接的主体部500。
[0102]
目光交流部410在壳体内包含有光源(发光元件)420、光学滤波器430、半反射镜440、光学滤波器450、受光元件460。在壳体上安装有全方位光学系统470。主体部500包含控制部510和声音输出部520，控制部510对目光交流部410进行控制，并且根据从受光元件460输出的电信号来判定有无目光交流。
[0103]
从光源420发出的光入射到光学滤波器430，因此特定的波长或波段的光入射到半反射镜440。半反射镜440将入射的光的一部分向光轴c的方向反射，该反射光经由全方位光学系统470向外部放射。全方位光学系统470可以向全方位放射光，也可以向划分出的特定的方位放射光。从全方位光学系统470放射出的光入射到用户的眼球e的眼底(视网膜)，在眼底进行了反射的反射光再次沿相同的光路返回，经由全方位光学系统470在光轴c上前进。该光的一部分在透过半反射镜440并被光学滤波器450过滤后由受光元件460接收。
[0104]
控制部510与上述实施例同样地，根据从受光元件460输出的电信号来判定有无目光交流，在目光交流成立时，经由声音输出部520输出声音。
[0105]
这样，在本实施例中，通过在目光交流部410与用户的眼球e之间配置光学系统，无需使目光交流部410的光轴c与用户的眼球e的光轴(视线方向)一定在直线上一致，能够给目光交流部410的光学设计赋予自由度。另外，图10所示的结构是一例，除此之外，也可以在电子、机械或光学上实现入射光和反射光的双向性的光学系统。
[0106]
接下来，对本发明的第7实施例进行说明。图11示出了将本实施例的目光交流的判定应用于飞机、车辆、船舶的仪表盘(显示器)的视觉确认的例子。在仪表盘(显示器)600的
水平方向上的特定位置x、y分别设置有发光部(包含发光元件和驱动电路)和受光部(包含受光元件和检测电路)的对，在垂直方向的特定的位置a、b也分别设置有发光部和受光部的对。
[0107]
在用户的视线方向沿水平方向扫描而在特定的位置x、y在一定时间内检测到眼球ex、ey的眼球的红眼现象的情况下，或者在用户的视线方向沿垂直方向扫描而在特定的位置a、b在一定时间内检测到了眼球ea、eb的眼球的红眼现象的情况下，目光交流判定部判定为目光交流成立。基于该目光交流的判定结果，控制部(省略图示)判定为用户对仪表盘进行了目视确认。
[0108]
这样，在本实施例中，当在同轴上进行视线的扫描，且该扫描在一定时间内被检测为红眼现象的情况下，视为目光交流成立，由此，即使在用户进行扫描或移动视线方向的行为时，也能够判定有无目光交流。
[0109]
在上述实施例中，示出了发光元件和受光元件位于相同位置即光轴上的例子，但这是一例，本发明不限于此。另外，本发明的发光元件并不仅限定为所谓的点光源、聚光灯那样的照射的光轴的对象固定的光源，也可以是，如太阳光那样大范围的并行光线或天花板的室内照明那样的光源被墙壁反射，在用户的眼球的眼底进行反射(作为发光元件而调制)而与用户的视线并行地(在入射角的偏差的判定基准内或误差允许值内)被受光部接收。即，只要在用户的眼球接收与受光元件的光轴(目光交流检测装置的视线)平行(允许偏差)的光即可。
[0110]
以上，对本发明的优选的实施方式进行了详细描述，但本发明不限于特定的实施方式，可以在权利要求书所记载的发明主旨的范围内进行各种变形、变更。
[0111]
标号说明
[0112]
100：交互式装置
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
110：目光交流检测部
[0113]
120：人体感应传感器
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
130：输入部
[0114]
140：通信部
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
150：输出部
[0115]
160：存储部
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
170：控制部
[0116]
200：发光元件
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
210：驱动电路
[0117]
220：受光元件
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
230：检测电路
[0118]
240：目光交流判定部
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
250：电路板
[0119]
260：开口部、发光窗
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
300：光学滤波器
[0120]
400：智能音箱
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
600：航空器的仪表盘