远程操作指示系统和安装式设备的制作方法

1.本发明涉及远程操作指示系统和安装式设备。


背景技术：

2.在生产现场或施工现场等作业现场，头戴显示装置的引入正在推进之中。头戴显示装置能够显示来自指示者(操作员)的指示等各种信息。作业现场的作业者佩戴头戴显示器，一边观看来自操作员的信息一边进行作业。
3.专利文献1公开了包括头戴显示装置的作业辅助系统等的现有技术。在专利文献1中，作业者佩戴了头戴显示器和用于拍摄作业者的视线方向的摄像机。操作员(operator)利用信息处理装置生成与指示者的指示对应的指示图像，使其显示在作业者的头戴显示器上。头戴显示器是半透射式设备，能够使操作员的指示图像叠加显示在作业者的视野中。
4.现有技术文献
5.专利文献
6.专利文献1：日本特开2013
‑
16020号公报


技术实现要素：

7.发明要解决的技术问题
8.不过，在专利文献1的方法中，指示者仅能够在作业者的视野范围内确认作业现场。因此，即使在视野范围附近发生了应该优先处理的事件的情况下，指示者也无法掌握该事件，对作业者的指示有可能延迟。另外，面向指示者显示的摄像机拍摄图像会随作业者的视线运动而晃动，所以指示者可能会有不适的眩晕感。
9.本发明是鉴于上述问题而完成的，其目的在于提供一种指示者不会感到不适的眩晕的远程操作指示系统和安装式设备(mount
‑
type device)。
10.解决问题的技术手段
11.对本技术公开的技术方案中有代表性者之概要简单说明如下。本发明的有代表性的实施方式的远程操作指示系统包括：供作业者佩戴的安装式设备；供指示者确认作业现场并发出指示的操作指示装置；和在安装式设备与操作指示装置之间进行数据收发的网络。
12.安装式设备包括：以比作业者的视野宽广的范围对作业现场进行拍摄的摄像机；传感器，其取得作业者的视线作为传感器信息；和视线运动检测部，其使用传感器信息检测作业者的视线的方向的运动作为视线运动信息。安装式设备将摄像机的拍摄图像数据和视线运动信息经由网络发送到操作指示装置。
13.操作指示装置包括：显示设定部，其从摄像机的拍摄图像中裁剪出比作业者的视野范围宽广的范围的第一图像，使用视线运动信息校正第一图像，并将校正后的第一图像显示在显示器上；和指示图像生成部，其生成针对作业者的指示图像。操作指示装置将指示图像经由网络发送到安装式设备。
14.发明效果
15.采用本发明，能够提供一种指示者不会感到不适的眩晕的远程操作指示系统和安装式设备。
附图说明
16.图1是说明本发明的实施方式1的远程操作指示系统之概要的图。
17.图2是说明本发明的实施方式1的远程操作指示系统的动作之一例的图。
18.图3是表示本发明的实施方式1的安装式设备的结构之一例的框图。
19.图4是表示本发明的实施方式1的操作指示装置的结构之一例的框图。
20.图5是表示作业者的视野范围内的图像之一例的图。
21.图6是表示作业者的视线运动的检测处理的流程图。
22.图7是说明本发明的实施方式1的远程操作指示系统的动作之另一例的图。
23.图8是表示操作指示装置中的显示范围的设定流程的图。
24.图9是表示安装式设备的结构之一例的外形图。
25.图10是表示安装式设备的结构之另一例的外形图。
26.图11是表示安装式设备的结构之另一例的外形图。
27.图12是说明本发明的实施方式2的远程操作指示系统之概要的图。
28.图13是说明本发明的实施方式3的远程操作指示系统之概要的图。
29.图14是表示用于检测设备摄像机的拍摄范围中的作业者视线的处理之一例的流程图。
30.图15是说明本发明的实施方式4的远程操作指示系统之概要的图。
具体实施方式
31.下面参照附图对本发明的实施方式进行说明。
32.(实施方式1)
33.使用图1～图11对实施方式1进行说明。下面说明的实施方式是用于实现本发明的一个例子，本发明不限定于下述实施方式，能够根据要应用本发明的装置的结构、各种条件等适当地修改或变更。另外，也可以将后述的各实施方式的一部分适当组合来构成本发明。
34.图1是说明本发明的实施方式1的远程操作指示系统之概要的图。图1所示的远程操作指示系统100中，作业者2进行作业的作业者地点102与指示者6对作业者2进行作业指示的指示者地点106经由网络1连接。在作业者地点102处，1a是在作业者地点102与网络1之间收发的收发数据，3是被操作对象，4是安装式设备，5是由安装在安装式设备4上的摄像机所拍摄的拍摄范围。另一方面，在指示者地点106处，1b是在指示者地点106与网络1之间收发的收发数据，7是操作指示装置，7a是操作指示装置7的主显示器，7b是操作指示装置7的从显示器。
35.安装式设备4包含显示器和摄像机。安装式设备4从摄像机所拍摄的拍摄图像中裁剪出对应于作业者2的视野范围的图像，并将裁剪出的图像显示在显示器上。或者，作业者2隔着显示器观看被操作对象3。
36.作业者2佩戴着安装式设备4，摄像机对包含被操作对象3的区域进行拍摄。即，作
业者2是安装式设备4的佩戴者。摄像机的拍摄范围5覆盖了比安装式设备4的显示器能够显示的视野足够大的范围。摄像机的拍摄图像经数据化后作为收发数据1a发送到网络1。然后，收发数据1a被作为收发数据1b从网络1发送到指示者地点106的操作指示装置7。
37.操作指示装置7是在指示者6的操作下向作业者2发出作业指示的装置。操作指示装置7由能够与网络1连接的例如个人计算机等构成。操作指示装置7从基于收发数据1b取得的摄像机的拍摄图像中，裁剪出作业者2的视野范围的图像，将裁剪出的图像显示在从显示器7b上。另外，操作指示装置7从摄像机的拍摄图像中裁剪出比作业者2的视野范围宽广的范围的图像，并将裁剪出的图像显示在主显示器7a上。从而，操作指示装置7能够向指示者6提供范围不同的多个图像。由此，指示者6既能够掌握作业者2正在观看什么，也能够观察到作业者周边的作业现场的状况。
38.当指示者6在操作指示装置7上输入了对作业者2的作业指示时，操作指示装置7生成操作指示图像(下文也称“指示图像”)，将指示图像叠加显示在从显示器7b的图像上。由此，指示者6能够确认接收到指示图像后的安装式设备4的显示器的显示内容。指示图像被作为收发数据1b发送后，从网络1作为收发数据1a发送到安装式设备4。安装式设备4使用收发数据1a将接收到的指示图像显示在显示器上。作业者2能够以叠加在被操作对象3上的状态确认该指示图像。由此，能够提高作业的准确性。
39.图2是说明本发明的实施方式1的远程操作指示系统的动作之一例的图。图2表示了安装式设备4的摄像机405的拍摄范围5a、5d，操作指示装置7的主显示器7a上显示的图像的显示范围9，以及安装式设备4的显示器的显示范围8a～8d之间的关系。如前文已述，安装式设备4的显示器的显示范围与从显示器7b的显示范围相等。
40.当作业者2的视线中心处于a点时，摄像机405的拍摄范围是由5a包围的区域，安装式设备4的显示范围是由8a包围的区域。指示者6对操作指示装置7进行操作，从摄像机的拍摄范围5a中裁剪出显示范围9作为显示在主显示器7a上的区域。由此，指示者6能够以适当的大小、分辨率确认被操作对象3。安装式设备4的显示范围8a是相当于作业者2的视野范围的区域。作业者2能够一边确认显示在安装式设备4的显示器上的显示范围8a的图像，一边进行作业。显示范围8a的图像也显示在从显示器7b上，在指示者6与作业者2之间能够共享图像。另外，将显示范围8a的外框显示在主显示器7a上，从而能够在较广的范围的作业现场之中，容易地确认作业者的视野处于哪一位置。
41.作业者2在作业期间会使其视线移动。视线的移动有的是作业过程中必然发生的移动，但与作业过程无关的运动导致的视线移动也很多。由于作业者的视野移动，作业者2的视野范围也发生移动。例如，如图2所示，随着视线中心从a依次向b、c、d移动，视野范围从8a依次向8b、8c、8d移动。与这些运动相应地，摄像机的拍摄范围也依次移动。例如，在视线中心移动到d的情况下，摄像机的拍摄范围成为5d。
42.在本实施方式中，相对于这样的视线方向的运动，主显示器7a的显示范围9是固定的。操作指示装置7按照视线方向的运动对从摄像机的拍摄图像中裁剪出的图像进行校正，并设定主显示器7a的显示范围9。如此一来，即使在作业者的视线按a
‑
b
‑
c
‑
d依次运动的情况下，主显示器7a的显示范围9也是固定的。由此，指示者6能够观看稳定的图像。另外，此处表示了主显示器7a的显示范围9被固定的情况，但若作业者的视线运动是作业过程中必然发生的、指示者6能够预测得到的运动，则操作指示装置7也可以使显示范围9追随作业者2
的视线运动。在该情况下，不是完全地跟踪作业者2的视线移动，而是按规定的时间范围检测视线朝向哪个方向，并相应地使显示范围缓慢地进行跟踪，由此，能够抑制指示者6感到眩晕。
43.图3是表示本发明的实施方式1的安装式设备的结构之一例的框图。在图3所示的安装式设备4中，401是加速度/陀螺仪，402是视线运动检测部，403是数据复用/解复用部，404是网络if(接口)部，405是摄像机，406是显示裁剪部，407是控制部，408是显示器(作业者用显示器)，409是合成部，410是指示图像重建部，411是扬声器，412是内部总线。
44.加速度/陀螺仪401是包括加速度传感器和/或陀螺仪等的传感器组。加速度/陀螺仪401使用各传感器取得佩戴着安装式设备4的作业者2的视线作为传感器信息。加速度/陀螺仪401将各传感器取得的传感器信息输出到视线运动检测部402。
45.视线运动检测部402使用从加速度/陀螺仪401输出的传感器信息检测作业者2的视线的运动。例如，视线运动检测部402使用不同取得时刻的多个传感器信息来检测视线的运动。视线运动检测部402将检测到的视线的运动作为视线运动信息，经由内部总线412发送到数据复用/解复用(分离)部403。
46.摄像机405以比作业者2的视线运动的范围宽广的视角(广角)拍摄作业者2的正面方向的区域。摄像机的拍摄图像被发送到显示裁剪部406和数据复用/解复用部403。显示裁剪部406从摄像机的拍摄图像中裁剪出作业者2的视野范围的图像，并将裁剪出的图像发送到合成部409。此外，为了得到作业者2的视野范围的图像，也可以在安装式设备4中追加标准视角摄像机。
47.从操作指示装置7输出的指示图像经由网络if部404作为收发数据1a由数据复用/解复用部403接收，从数据复用/解复用部403经由内部总线412发送到指示图像重建部410。具体而言，数据复用/解复用部403例如从接收到的收发数据1a中分离出关于指示图像的数据，并将分离出的指示图像数据发送到指示图像重建部410。另外，数据复用/解复用部403例如从接收到的收发数据1a中分离出关于指示者6的声音的数据，并将声音数据发送到扬声器411。
48.数据复用/解复用部403将摄像机的拍摄图像数据化，并将拍摄图像数据作为收发数据1a经由网络if部404发送到操作指示装置7。这时，数据复用/解复用部403也可以使作业者2的视线运动信息、作业者2的声音数据与拍摄图像数据复用化，将它们经复用得到的数据作为收发数据1a发送。
49.指示图像重建部410基于接收到的收发数据1a重建指示图像，将重建的指示图像发送到合成部409。合成部409将显示裁剪部406中裁剪出的图像与指示图像重建部410中重建的指示图像合成，并将所合成的图像发送到显示器408，在显示器408上显示通过将摄像机405拍摄的图像(裁剪出的图像)与指示图像叠加而得到的图像。
50.扬声器411将从数据复用/解复用部403发送的声音数据转换为声音，输出指示者6的声音。
51.控制部407进行构成安装式设备4的各部分的控制、内部总线412的分配等，执行安装式设备4中的各处理。视线运动检测部402、数据复用/解复用部403、显示裁剪部406、合成部409、指示图像重建部410可以由硬件构成，也可以由通过控制部407执行的软件来实现。
52.图4是表示本发明的实施方式1的操作指示装置的结构之一例的框图。在图4所示
的操作指示装置7中，701是用户if部，702是指示图像生成部，703是数据复用/解复用部，704是网络if部，705是控制部，7a是主显示器，706是显示设定部，707是摄像机拍摄图像重建部，7b是从显示器，708是视线范围裁剪/指示图像合成部(下文记作合成部)，709是麦克风，710是内部总线。
53.用户if部701是接收指示者6的输入的功能模块。用户if部701例如是键盘、操作按钮、鼠标、触摸面板等输入装置。指示者6从用户if部701进行输入操作，经由控制部705使操作指示装置7执行规定的处理。
54.指示图像生成部702生成适合于作业过程的指示图像，将指示图像数据发送到数据复用/解复用部703。指示图像数据作为收发数据1b经由网络if部704被发送到网络1。这时，数据复用/解复用部703例如也可以将指示图像数据、指示者6的声音数据等复用化，并将复用得到的数据作为收发数据1b经由网络if部704进行发送。
55.数据复用/解复用部703从接收自安装式设备4的收发数据1b中分离出拍摄图像数据，经由内部总线710将拍摄图像数据发送到合成部708。另外，数据复用/解复用部703从接收到的收发数据1b中分离出作业者2的视线运动信息，将分离出的视线运动信息发送到显示设定部706和合成部708等。另外，数据复用/解复用部703还可以从接收到的收发数据1b中分离出作业者2的声音数据，将分离出的声音数据发送到未图示的扬声器。
56.数据复用/解复用部703所发送的拍摄图像数据在摄像机拍摄图像重建部707中被重建为拍摄图像。重建的摄像机拍摄图像被发送到显示设定部706和合成部708。
57.控制部705进行构成操作指示装置7的各部分的控制、内部总线710的分配等，执行操作指示装置7中的各处理。另外，控制部705设定在显示设定部706中裁剪拍摄图像的范围，并将设定值发送到显示设定部706。
58.显示设定部706根据从控制部705发送的设定值，从摄像机拍摄图像中裁剪出要在主显示器7a上显示的范围的图像(第一图像)。此时，使用视线运动信息对裁剪出的图像进行视线运动校正。显示设定部706如使用图2所说明那样，即使在作业者的视线运动的情况下，也使要在主显示器7a上显示的图像的显示范围9固定。
59.合成部708从拍摄图像中裁剪出作业者2的视野范围的图像(第二图像)，与指示图像合成，将它们合成得到的图像显示在从显示器7b上。对于合成部708中裁剪出的图像也可以使用视线运动信息进行视线运动校正。麦克风709将指示者6的声音转换成声音数据，将声音数据发送到数据复用/解复用部703。
60.从显示器7b的显示图像也可以是由追加配置在安装式设备4上的标准视角摄像机的拍摄图像与指示图像合成而得到的图像。另外，合成部708生成的显示图像也可以显示在主显示器7a上。该情况下可以不设置从显示器7b。并且，主显示器7a也可以将显示设定部706生成的图像和合成部708生成的图像用画中画的方法显示，也可以由指示者6任意地切换着显示。
61.图5是表示作业者的视野范围内的图像之一例的图。具体而言，图5表示了显示在安装式设备4的显示器408和操作指示装置7的从显示器7b上的图像。在图5中，20a～20d为指示图像，指示图像20a～20d被合成显示在作业者2的视野图像上。指示图像20a、20c是通过文字传达指示内容的图像，指示图像20b、20d是用于强调(highlight)作业对象的图像。作业者2通过观看指示图像，能够容易地理解作业内容。
62.图6是表示作业者的视线运动的检测处理的流程图。如使用图3所说明的那样，作业者2的视线运动利用加速度/陀螺仪401、视线运动检测部402来检测。图6是替代方法，表示了在操作指示装置7中使用拍摄图像来检测视线的运动的流程。由此，能够实现省略了传感器组的、成本降低的安装式设备4。
63.当开始视线运动的检测时(s1)，操作指示装置7取得时刻tn、tn 1下的各拍摄图像(s2～s3)。在作业者2移动了视线的情况下，作业者2佩戴着的摄像机拍摄到的拍摄图像的拍摄范围也发生移动。操作指示装置7例如以时刻tn的图像为基准，通过进行图像匹配来评价时刻tn 1的图像要偏移多少才能与时刻tn的图像一致(s4)。步骤s4得出的图像偏移量和图像偏移方向，即为表示视线的移动的视线移动信息。
64.操作指示装置7对步骤s4中得到的视线移动信息进行异常值剔除等筛选处理，决定视线移动量(s5)。操作指示装置7计算与视线移动量对应的相对坐标值并将其输出(s6)。通过输出相对坐标值，即使摄像机的方向发生了变化，也能够将操作指示装置的显示范围9以相同显示范围输出。
65.操作指示装置7在步骤s6中输出了相对坐标值后，决定是否继续进行视线运动检测处理(s7)。在继续进行视线运动检测处理的情况下(否)，操作指示装置7重复进行步骤s2～s6的处理。另一方面，在不继续进行视线运动检测处理的情况下(是)，结束视线运动检测处理(s8)。此外，图6的流程例如也可以在控制部705中执行，也可以通过其他的构成要素执行。
66.图7是说明本发明的实施方式1的远程操作指示系统的动作之另一例的图。图7表示在作业者2的视野范围外发生了优先处理事件的情况下的动作。图7中表示了摄像机405的拍摄范围5a、主显示器7a的显示范围9、安装式设备4的显示器408的显示范围8a、8e。
67.当作业者2的视线位于点a时，显示器408上显示的是显示范围8a的图像。而操作指示装置7的主显示器7a上显示的是显示范围9的图像。
68.这时，当作业者2的视野外的显示范围8e中出现了优先处理事件11时，指示者6能够在主显示器7a的画面上识别到优先处理事件11。于是，指示者6生成指示图像20，并将生成的指示图像20从操作指示装置7发送到安装式设备4。安装式设备4从接收到的收发数据1a中分离出关于指示图像20的数据，使用分离出的数据将指示图像20合成到显示器408的显示范围8a内。
69.指示图像20只要是能够指示作业者2使其将视线转移到位于视野范围外的优先处理事件11的图像即可。图7中表示的指示图像20箭头的图像，其指向包含优先处理事件11的至少一部分的范围的中心点e，用于提醒作业者2移动视线。当作业者2遵从指示图像20将视线的中心移动到点e时，显示范围8e被显示在显示器408上。由此，作业者2能够迅速地应对优先处理事件11。
70.图8是表示操作指示装置中的显示范围的设定流程的图。图8的流程是使作业者2的视线范围的图像始终位于操作指示装置7的主显示器7a的显示范围内、并且主显示器7a的显示范围位于摄像机405的拍摄范围内的流程。
71.当图8的处理开始时(s10)，作为条件1，评价是否存在安装式设备4的显示区域、即应当显示在从显示器7b上的图像的一部分伸出到主显示器7a的显示范围的外侧的可能性(s11)。在步骤s11中，在判断为不存在应当显示在从显示器7b上的图像的一部分伸出到主
显示器7a的显示范围的外侧的可能性的情况下(否)，实施步骤s12的处理。在步骤s12中，作为条件2，评价是否存在主显示器7a的显示范围的一部分伸出到摄像机405的拍摄范围的外侧的可能性。
72.在判断为存在应当显示在从显示器7b上的图像的一部分伸出到主显示器7a的显示范围的外侧的可能性的情况下(s11，是)，或者判断为存在主显示器7a的显示范围的一部分伸出到摄像机405的拍摄范围的外侧的可能性的情况下(s12，是)，摄像机405的拍摄范围、主显示器7a的显示范围、安装式设备4的显示器408的显示范围的关系为不合适的状态。
73.该情况下进行显示范围的重新设定(s13)。例如，调整主显示器7a的显示范围，使主显示器7a的显示范围的中心与作业者2的视线中心一致。因为作业者2的视线中心与摄像机405的拍摄范围的中心一致，所以摄像机405的拍摄范围、主显示器7a的显示范围、显示器408的显示范围的中心一致，能够确保摄像机的拍摄范围＞主显示器7a的显示范围＞显示器408的显示范围这一关系。其中，“＞”表示包含的关系。但是，如果跟踪视线的移动立即重新设定主显示器7a的显示范围，则在作业者2移动头部或者使视线移动的情况下，显示范围也会一起移动，因此指示者可能会感受到不舒服的眩晕。为此，或者相对于视线的移动缓慢地(节奏缓慢)进行显示范围的重新设定，或者计算一定时间以上的平均的移动量来进行显示范围的重新设定。
74.另一方面，在步骤s12中，在判断为不存在主显示器7a的显示范围的一部分伸出到摄像机405的拍摄范围的外侧的可能性的情况下(否)，再次进行步骤s11的处理。
75.在步骤s14中，判断显示范围的重新设定处理是否结束。当判断为显示范围的重新设定处理继续进行的情况下(否)，再次执行步骤s11～s13的处理。另一方面，在判断为显示范围的重新设定处理结束了的情况下(是)，结束显示范围的重新设定处理(s15)。
76.图9是表示安装式设备的结构之一例的外形图。在图9中，42是摄像机/传感器单元，43是控制单元，411a、411b是扬声器，45a、45b、45c是保持件。
77.保持件45a与头顶部接触，保持件45b与头后部和头左右侧部接触，眼镜型的保持件45c与鼻部接触。安装式设备4通过保持件45a～45c被佩戴在作业者2的头部。
78.摄像机/传感器单元42例如是包括加速度/陀螺仪401和摄像机405的单元。摄像机/传感器单元42拍摄作业者2的前方，并且测量作业者2的头部的运动，取得关于视线的运动的传感器信息。或者，摄像机/传感器单元42也可以利用基于瞳孔的角度直接检测视线方向的跟踪技术，来检测视线的方向。摄像机/传感器单元42可以如图9所示设置在头顶部的保持件45a上，也可以设置在其他的部位。
79.扬声器411a、411b设置在保持件45b的靠近作业者2的耳朵的部位。显示器408配置在作业者2的前方，作业者2隔着眼镜型的保持件45c观看显示在显示器408上的图像。
80.控制单元43例如是包括图3的视线运动检测部402、数据复用/解复用部403、网络if部404、显示裁剪部406、控制部407、合成部409、指示图像重建部410等的单元。此外，显示器408和控制单元43可以构成为一体。该情况下例如可以使用智能手机。
81.图10是表示安装式设备的结构之另一例的外形图。图10中对于与图9相同的构成要素标注与图9相同的附图标记。在图10中，代替显示器408，设置有由投影仪46a和屏幕408a构成的投影式显示器。
82.屏幕408a例如由透射式屏幕构成。该情况下，作业者2能够隔着屏幕确认自身的视
野范围的实景。投影仪46a投射到屏幕408a上的图像例如是来自操作指示装置7的指示图像。作业者2能够在屏幕408a上将视野图像与指示图像合成在一起观看。因此，在图10的结构中可以不设置合成部409。
83.图11是表示安装式设备的结构之另一例的外形图。图11中同样对于与图9相同的构成要素标注与图9相同的附图标记。图11中设置有3d摄像机47a、47b。另外，在图11中，代替显示器408设置有3d显示器408b。另外，代替保持件45c设置有带快门的保持件48b。
84.3d摄像机47a设置在作业者2的右侧的保持件45b上。3d摄像机47b设置在作业者2的左侧的保持件45b上。3d摄像机47a、47b分别拍摄彼此有左右视差的图像，并将拍摄图像输出到3d显示器408b。3d显示器408b例如以分时方式交替显示3d摄像机47a、47b的拍摄图像。
85.带快门的保持件48b例如具有液晶快门。带快门的保持件48b配合要在3d显示器408b上显示的左右的拍摄图像，反复进行快门的开/关。具体而言，带快门的保持件48b在正在显示3d摄像机47a的右侧图像时，以右眼能够观看3d显示器408b的方式控制快门，在正在显示3d摄像机47b的左侧图像时，以左眼能够观看3d显示器408b的方式控制快门。通过快门控制，作业者2能够观看3d图像。
86.采用图11的结构，作业者2能够将自身的前景作为3d图像观看，而且能够获得图像的进深信息。例如，在将3d图像(3d摄像机47a、47b的拍摄图像)发送到操作指示装置7的情况下，指示者6能够生成考虑了作业对象的进深的3d指示图像。通过将这样的图像的进深信息反馈给作业者2，能够改善作业的准确度。
87.另外，与图11的结构对应地，在操作指示装置7也可以设置3d显示器作为从显示器7b。在该情况下，代替摄像机的拍摄图像将3d摄像机的3d图像供给到合成部708。
88.<本实施方式的主要效果＞
89.采用本实施方式，在主显示器7a上能够显示比作业者2的视线范围更宽广的范围的图像。采用该结构，即使作业者2的视线移动，对显示在主显示器7a上的图像造成的影响也能够受到抑制，因此指示者6不会感受到不适的眩晕。
90.另外，采用本实施方式，指示者6能够在观看着显示在从显示器7b上的作业者的视野范围的图像的同时生成指示图像。并且，在安装式设备4的显示器408上能够叠加地显示指示图像。采用该结构，指示者6能够一边观看作业现场的较宽广的范围，一边准确地向作业者2发出指示。
91.另外，采用本实施方式，控制部705能够设定拍摄图像的裁剪范围。采用该结构，能够在考虑了使用状况的前提下，适当地变更要在主显示器7a上显示的图像的范围。
92.另外，采用本实施方式，即使在作业者2的视线移动的情况下，显示在主显示器7a上的拍摄图像的范围也是固定的。采用该结构，面向指示者6显示的拍摄图像不会随作业者2的视线运动而晃动。由此，能够进一步消除指示者6感受到不适的眩晕的情况。
93.另外，采用本实施方式，在作业者2的视野范围外发生了优先处理事件11的情况下，指示者6生成用于指示作业者2将其视线移向优先处理事件11的指示图像。采用该结构，作业者2能够将视线转移到优先处理事件11，能够迅速地应对优先处理事件11。
94.(实施方式2)
95.接着对实施方式2进行说明。下文中对于与上述实施方式重复的部位原则上省略
说明。
96.图12是说明本发明的实施方式2的远程操作指示系统之概要的图。图12中，代替作业者2使用了作业用机器人12。指示者6远程操作作业用机器人12来实施作业。在作业用机器人12的前端安装有操作头13。作业用机器人12进行定位，并使用操作头13对被操作对象3进行规定的作业等。
97.安装式设备4a设置在能够看见操作头13的整个作业范围的位置。安装式设备4a形成为从安装式设备4中省略了显示器408的结构。安装式设备4a具有广角的摄像机，将摄像机拍摄到的作业现场的拍摄图像的拍摄图像数据和作业用机器人的运动信息发送到操作指示装置7。当然，安装式设备4a的设置场所不限定于该位置。
98.在操作指示装置7的主显示器7a和从显示器7b上，显示从接收到的拍摄图像中裁剪出的图像。这时，显示设定部706对从拍摄图像中裁剪出的图像(第三图像)使用作业用机器人12的运动信息进行校正。
99.指示者6一边观看所显示的图像，一边生成针对作业用机器人12的定位的指示和操作头13的作业指示。具体而言，在本实施方式中，图4的指示图像生成部702作为作业指示生成部发挥功能，基于指示者6的输入操作，作业指示生成部生成作业指示。通过发送所生成的作业指示等，实现对作业用机器人12的远程操作。
100.此外，拍摄图像可以从安装式设备4a发送到操作指示装置7，也可以经由作业用机器人12发送。作业指示可以经由安装式设备4a向作业用机器人12发送，也可以直接发送到作业用机器人12。
101.采用本实施方式，在远程操作指示系统中能够使用作业用机器人。
102.(实施方式3)
103.接着说明实施方式3。图13是说明本发明的实施方式3的远程操作指示系统之概要的图。在图13中，仅表示了包括作业现场的作业者地点。作业者地点例如是仓库或医院等的有限区域内的设施。在作业者地点设置有监视设施的状况的设备摄像机14。设备摄像机14可以是为了远程操作指示系统而新设的，也可以将例如监控摄像机等出于其他目的设置的摄像机用作设备摄像机14。设备摄像机14以广角对设施内进行拍摄，得到拍摄范围15的拍摄图像。设备摄像机14具有网络功能，将拍摄图像作为收发数据1c经由网络1发送到操作指示装置7。
104.作业者2例如佩戴着具有标准视角摄像机405的安装式设备4。摄像机405生成拍摄范围16的拍摄图像，拍摄图像数据作为收发数据1a被发送到操作指示装置7。
105.操作指示装置7使用从设备摄像机14发送来的拍摄范围15的拍摄图像，和从安装式设备4发送来的拍摄范围16的拍摄图像，来检测作业者2的视线即拍摄范围16处于拍摄范围15的哪个位置。
106.设备摄像机14的拍摄范围15的中心与安装式设备4的摄像机405的拍摄范围16的中心在大多情况下是不一致的。因此，为了检测拍摄范围16处于拍摄范围15的哪个位置，需要进行能够求取拍摄范围16的中心处于设备摄像机的拍摄范围15的哪个位置的处理。
107.下面使用图14说明用于检测作业者视线(即拍摄范围16)的处理。图14是表示用于检测设备摄像机的拍摄范围中的作业者视线的处理之一例的流程图。图14的处理也可以在操作指示装置7的控制部705中执行，也可以在其他的功能模块中执行。
108.当检测作业者视线的处理开始时(s20)，操作指示装置7取得设备摄像机14的拍摄图像(s21)，并取得安装式设备4的拍摄图像(s22)。在作业者2移动了视线的情况下，安装式设备4的摄像机405的拍摄范围16发生移动，但设备摄像机14的拍摄范围15则不移动。因此，操作指示装置7用拍摄范围16的拍摄图像和拍摄范围15的拍摄图像进行图像匹配处理(s23)，检测拍摄范围16在拍摄范围15中的位置作为表示作业者2的视线的视线值(s24)。例如，拍摄范围16的中心是作业者2的视线，可以检测拍摄范围16的中心的坐标位置作为视线值。
109.作业者2的视线的运动能够由搭载在安装式设备4上的传感器组进行跟踪(s30)。因此，操作指示装置7以步骤s24中计算并求得的视线值作为初期值，使用步骤s30中取得的传感器信息进行跟踪视线的移动的运动校正(s25)，并输出视线在拍摄范围15中的拍摄范围16的视线值(坐标位置)(s26)。
110.接着，判断视线检测处理是否结束(s27)，在继续进行视线检测处理的情况下(否)，判断是否进行刷新处理(s28)。在判断为进行刷新处理的情况下(是)，执行步骤s21的处理。另一方面，在判断为不进行刷新处理的情况下(否)，执行步骤s25的处理。在步骤s27中判断为视线检测处理结束的情况下(否)，结束视线检测处理(s8)。
111.采用本实施方式，能够实现一种充分地利用了设备摄像机14的远程操作指示系统。此外，也能够将已有的摄像机用作设备摄像机14。
112.(实施方式4)
113.接着说明实施方式4。图15是说明本发明的实施方式4的远程操作指示系统之概要的图。在图15中，代替作业者表示了具有自动驾驶装置19a的汽车(移动体)17。汽车17包括前方摄像机18a、后方摄像机18b和侧方摄像机18c、18d。前方摄像机18a、后方摄像机18b和侧方摄像机18c、18d拍摄各自对应的范围，并生成各自的拍摄图像。汽车17与网络1连接，将这些拍摄图像数据作为收发数据1d发送到操作指示装置7。此外，前进时的汽车17(相当于作业者)的视线位于前方摄像机18a的拍摄区域内。后退时的汽车17(相当于作业者)的视线可以位于后方摄像机18b的拍摄区域内。
114.这些拍摄图像被显示在例如操作指示装置7的显示器中，指示者6能够一边观看显示在显示器上的拍摄图像，一边观察相当于作业区域的较宽广的范围(例如汽车17整周的区域)。
115.当察觉到紧急情况时，指示者6发送紧急处理操作命令，利用紧急处理装置19b和自动驾驶装置19a将汽车17停止在路边地带等安全的场所。紧急处理命令由未图示的紧急处理命令部生成。紧急处理命令部的功能例如可以由图4的指示图像生成部702具有，也可以另外设置不同于指示图像生成部702的紧急处理命令部。此外，作为移动体例示了汽车17，但移动体并不限定于此。
116.采用本实施方式，能够将远程操作指示系统应用于具有自动驾驶装置19a的汽车17，能够提高汽车17的安全性。
117.本发明并不限定于上述的实施方式，能够包括各种变形例。例如，上述的实施方式中为了容易理解地说明本发明而详细进行了说明，但并不一定限定于具有所说明的全部结构。
118.能够将某实施方式的结构的一部分置换为其他实施方式的结构，也可以在某实施
方式的结构中追加其他实施方式的结构。另外，对于各实施方式的结构的一部分，能够进行其他结构的追加、删除、置换。此外，关于附图中记载的各部件和相对的尺寸，为了容易理解地说明本发明而进行了简单化、理想化，在实际实现时存在采用更复杂形状的情况。
119.另外，各构成要素可以通过集成电路设计而由硬件实现它们的一部分或者全部。也可以通过由微处理单元、cpu等解释并执行动作程序，来由软件实现各构成要素。另外，软件的实现范围没有限定，也可以一并使用硬件和软件。
120.附图标记说明
[0121]1…
网络，1a～1d
…
收发数据，2
…
作业者，3
…
被操作对象，4
…
安装式设备，5、5a、5b
…
拍摄范围，6
…
指示者，7
…
操作指示装置，7a
…
主显示器，7b
…
从显示器，8a～8e
…
拍摄范围，9
…
显示范围，401
…
加速度/陀螺仪，402
…
视线运动检测部，403
…
数据复用/解复用部，404
…
网络if部，405
…
摄像机，406
…
显示裁剪部，407
…
控制部，408
…
显示器，409
…
合成部，410
…
指示图像重建部，411
…
扬声器，412
…
内部总线，701
…
用户if部，702
…
指示图像生成部，703
…
数据复用/解复用部，704
…
网络if部，705
…
控制部，706
…
显示设定部，707
…
摄像机拍摄图像重建部，708
…
视线范围裁剪/指示图像合成部，709
…
麦克风，20、20a～20d
…
指示图像，11
…
优先处理事件，42
…
摄像机/传感器单元，43
…
控制单元，411a、411b
…
扬声器，45a～45c
…
保持件，46a
…
投影仪，408a
…
屏幕，47a、47b
…
3d摄像机，408b
…
3d显示器，48b
…
带快门的保持件，12
…
作业用机器人，13
…
操作头，4a
…
安装式设备，14
…
设备摄像机，15
…
拍摄范围，16
…
拍摄范围，17
…
汽车，18a
…
前方摄像机，18b
…
后方摄像机，18c，18d
…
侧方摄像机，19a
…
自动驾驶装置，19b
…
紧急处理装置，21
…
内部总线