扩展现实的内容生成装置及扩展现实的内容显示装置的制作方法

1.本发明涉及扩展现实的内容生成装置及扩展现实的内容显示装置。


背景技术：

2.近年来，实现扩展现实(extended reality)的头戴显示器被应用于现场作业，微软公司的hololens(注册商标)被应用于现场作业支援。通过将扩展现实系统应用于现场作业，能够与作业对象的辨识一起参照大量的信息。此外，由于仅通过头的动作就能够参照信息，所以适合于现场作业。
3.在专利文献1中，记载有根据被执行的业务过程而分别提供ar内容的发明。
4.现有技术文献
5.专利文献
6.专利文献1：日本特开2017－091561号公报


技术实现要素：

7.发明要解决的课题
8.在扩展现实系统中，存在难以识别显示区域外是否也存在内容的情况。由此，有可能漏过重要的信息，或者有可能错误地解释信息。但是，专利文献1中记载的发明没有言及任何关于内容的辨识性。
9.因此，本发明的目的在于能够识别显示区域外是否也存在内容。
10.用来解决课题的手段
11.为了解决上述课题，本发明的扩展现实的内容生成装置的特征在于，具备：判定机构，在将被虚拟配置于现实空间的内容显示在具有透明的外框的显示区域时，判定上述内容相对于上述显示区域是否为规定的大小以上；以及强调机构，在被上述判定机构判定为相对于上述显示区域为规定的大小以上的情况下，将上述内容的末端进行强调。
12.本发明的扩展现实的内容生成装置的特征在于，具备：判定机构，在将被虚拟配置于现实空间的内容显示在具有透明的外框的显示区域时，判定上述内容在上述显示区域之外是否也存在；以及强调机构，在上述判定机构判定为在上述显示区域之外也存在上述内容的情况下，将上述内容的末端进行强调。
13.本发明的扩展现实的内容显示装置的特征在于，具备：配置机构，将内容虚拟配置于现实空间；显示控制机构，使上述内容显示在具有透明的外框的显示区域；以及强调机构，在判定为在上述显示区域之外也存在上述内容的情况下，将末端被强调的上述内容进行显示，在上述内容收容在上述显示区域的情况下，将末端没有被强调的上述内容进行显示。
14.关于其他机构，在具体实施方式中进行说明。
15.发明的效果
16.根据本发明，能够识别在显示区域外是否也存在内容。
附图说明
17.图1是有关本实施方式的扩展现实系统的构成图。
18.图2是头戴显示器的框图。
19.图3是表示本实施方式的扩展现实系统向用户提供的视野的图。
20.图4是表示内容的制作的图。
21.图5是表示扩展现实系统提供的视野的图。
22.图6是表示比较例的扩展现实系统提供的视野的图。
23.图7是表示本实施方式的扩展现实系统提供的视野的图。
24.图8是表示比较例的扩展现实系统的显示例的图。
25.图9是表示本实施方式的扩展现实系统的显示例的图。
26.图10是表示末端被强调的内容的例子的图。
27.图11是表示末端被强调的内容的例子的图。
28.图12是表示末端被强调的内容的例子的图。
29.图13是表示变形例1的扩展现实系统中的内容的图。
30.图14是表示变形例2的扩展现实系统中的内容的图。
31.图15是表示内容的末端强调的图。
32.图16是表示内容的末端强调的图。
33.图17是表示内容的末端强调的图。
34.图18是表示由内容生成装置进行的末端强调处理的流程图。
35.图19是表示通过头戴显示器进行末端强调的开启关闭的切换处理的流程图。
36.图20是表示通过头戴显示器进行末端强调处理的流程图。
具体实施方式
37.以下，参照各图详细地说明本发明具体实施方式。
38.图1是有关本实施方式的扩展现实系统s的构成图。
39.扩展现实系统s构成为，包括操作指南数据库1、内容生成装置2、管理终端3、平板电脑终端4和头戴显示器5。该扩展现实系统s例如向作为现场作业人员等用户提供扩展现实，支援其作业。
40.图3是表示本实施方式的扩展现实系统s向用户提供的视野的图。
41.在被虚拟配置于现实空间的圆筒的内侧，预先虚拟地配置有表示在作业中想要参照的操作指南的操作指南内容71a、71b、以及表示了显示作业对象6的内部构造的图面的图面内容72等。
42.如果该头戴显示器5的朝向变化，则扩展现实系统s识别头戴显示器5的显示区域58的朝向，并更新显示状态。用户如果在佩戴着头戴显示器5的状态下改变头的朝向，则能够看到进入到视线中央的显示区域58内的信息。即，虚拟的圆筒如虚拟地配置在现实空间中那样显示。
43.并且，如果用户改变头的朝向，将显示区域58朝向没有配置操作指南内容71a、71b或图面内容72等方向，则能够清晰地看到存在于其里侧的作业对象6。即，用户通过改变头的朝向的动作，能够切换作业对象6的辨识、操作指南内容71a、71b的参照和图面内容72的
参照。
44.返回图1继续说明。操作指南数据库1是用于保存向作为现场作业人员等的用户提供的操作指南或图面等信息的数据库。
45.内容生成装置2是计算机，例如在被指定了操作指南数据库1的操作指南信息或图面信息等情况下，生成与它们对应的内容。
46.管理终端3是用来管理该内容生成装置2的终端。当用户操作管理终端3，指定操作指南数据库1的操作指南信息或图面信息等，内容生成装置2生成内容。
47.平板电脑终端4是用来将所生成的内容以二维的方式进行预览的终端。
48.头戴显示器5是再现该内容生成装置2生成的各内容的内容再现装置。
49.图2是头戴显示器5的框图。
50.头戴显示器5是佩戴在用户头部的显示器装置，例如被称作ar(augmented reality)眼镜。头戴显示器5是构成为包括cpu(central processing unit)51、rom(read only memory)52、ram(random access memory)53、存储部57在内的计算机。cpu51通过执行保存在rom52或存储部57中的未图示的程序等，实现内容再现功能。
51.rom52是非易失性存储器，保存有例如bios(basic i/o system)、程序等。存储部57例如是闪存存储器等大容量存储装置，保存有内容信息571、程序等。
52.头戴显示器5构成为，包括陀螺仪传感器54、显示部55、通信部56。
53.陀螺仪传感器54是检测角加速度的传感器。cpu51通过该陀螺仪传感器54检测头戴显示器5的朝向的变化。
54.显示部55在透明的显示板的中央埋入有矩形的显示面板。另外，该显示面板其内容区域不透明，除此之外的区域透明。
55.通信部56用来与外部进行通信，例如是无线lan模块。
56.图4是表示内容的制作的图。
57.视野59是用户能看到的范围。显示区域58是能够由头戴显示器5的显示部55显示的范围，具有透明的外框。内容73、74、75被虚拟地配置在现实空间上。用户通过改变头的朝向，视野59变化，由此头戴显示器5的显示区域58和内容73、74、75的相对位置也变化。
58.内容73是矩形，其右下区域显示在显示区域58中，其以外的区域存在于显示区域58之外。
59.内容74是圆形，其左下部分显示在显示区域58中，其以外的部分存在于显示区域58之外。
60.内容75是三角形，其上部显示在显示区域58中，其以外的部分存在于显示区域58之外。
61.图5是表示扩展现实系统s提供的视野的图。
62.内容73是矩形，显示在显示区域58中的区域也是矩形。由此，用户不能判断内容73的整体是否都被显示在显示区域58中。
63.内容75是三角形，显示在显示区域58中的区域也是三角形。由此，用户不能判断内容75的整体是否都被显示在显示区域58中。
64.内容74是圆形，显示在显示区域58中的区域是该圆形的一部分。由此，用户能够判断出内容74的一部分被显示在显示区域58中。
65.图6是表示比较例的扩展现实系统提供的视野的图。
66.为了解决图5的问题，显示区域58的末端581被强调显示。但是，在该比较例中，存在末端581总是妨碍用户的视野的问题。
67.图7是表示本实施方式的扩展现实系统s提供的视野的图。
68.本实施方式的扩展现实系统s将内容73的末端731进行强调。由此，扩展现实系统s能够将内容73的一部分被显示在显示区域58的情况与内容73的整体被显示在显示区域58的情况区别地显示。
69.扩展现实系统s将内容75的末端751进行强调。由此，扩展现实系统s能够将内容75的一部分被显示在显示区域58的情况与内容75的整体被显示在显示区域58的情况区别地显示。
70.扩展现实系统s将内容74的末端741进行强调。由此，扩展现实系统s能够将内容74的一部分被显示在显示区域58的情况与内容74的整体被显示在显示区域58的情况区别地显示。但是，由于内容74是圆形，所以对于其一部分被显示在显示区域58的情况与整体被显示在显示区域58的情况而言，不通过末端741就能够根据其形状来识别。
71.根据本实施方式，只要改变头的朝向就能够将各内容设为不显示，所以不会遮挡视野。
72.图8是表示比较例的扩展现实系统的显示例的图。
73.内容76包含有文本。内容77是三角形的指示符。内容78是图面。内容79是表。
74.这些内容76～79有难以判定其全部是否都被显示的情况。
75.图9是表示本实施方式的扩展现实系统s的显示例的图。
76.内容76其末端761被强调。由此，用户能够判定出在显示区域仅显示有文本的一部分。这里有将文本的内容称作文字组的内容的情况。
77.内容77其末端771被强调。由此，用户能够判定出指示符的最大值被隐藏在右方。
78.内容78其末端781被强调。由此，用户能够判定在左下还有继续。
79.内容79其末端791被强调。由此，用户能够判定在右方还有列、在下方还有行。
80.图10是表示被进行末端强调的内容的例子的图。
81.内容80是单一的三角形。其末端801相当于三角形的各边。
82.图11是表示被进行末端强调的内容的例子的图。
83.内容81组合有多个矩形。其末端811是以将整体的形状简单化后的矩形为末端。
84.图12是表示被进行末端强调的内容的例子的图。
85.内容82表示时钟。其末端821是以将整体的形状简单化后的圆形为末端。
86.(显示区域的形状与内容的形状的关系)
87.显示区域通常是矩形。由此，在内容形状也是矩形的情况下，当其一部分被显示时也为矩形，难以判定在显示区域外是否也存在内容。
88.在显示区域为六边形或五边形的情况下也存在同样的问题。以下，对该问题进行说明。
89.图13是表示变形例1的扩展现实系统中的内容的图。
90.这里，显示区域582是六边形，内容83也是六边形。此时，显示在显示区域582的内容83的一部分也是六边形。因此，用户难以识别在显示区域582之外是否也存在内容83。
91.由此，内容生成装置2在显示区域582为六边形的情况下，可以对六边形的内容83也施以末端强调。
92.图14是表示变形例2的扩展现实系统中的内容的图。
93.这里，显示区域583是五边形，内容84也是五边形。此时，显示在显示区域583的内容84的一部分也是五边形。因此，用户难以识别在显示区域582之外是否也存在内容84。
94.由此，内容生成装置2在显示区域583为五边形的情况下，可以对五边形的内容84也施以末端强调。
95.(内容的末端)
96.优选的是，内容的末端为从内容的内侧向外侧衰减的设计。由此，用户不会弄错内容的内和外。
97.进而，优选的是，内容的末端不是直线的端面或简单的渐变，而是在内容内没有被使用并且不侵入到内容的内侧的形状。由此，用户不会弄错内容的内和外。末端可以沿着内容的形状将特定的图案反复配置。由此，内容生成装置2能够机械地生成末端，用户容易辨识末端与其以外的部分。
98.图15是表示内容的末端强调的图。
99.内容85的末端851是从内容的内侧向外侧延伸的楔形形状。由于用户容易区分内容的内侧和外侧，所以其作为末端形状是优选的。
100.图16是表示内容的末端强调的图。
101.内容86的末端861是随着从内容的内侧朝向外侧而密度变低的六边形。由于用户容易区分内容的内侧和外侧，所以其作为末端形状是优选的。
102.图17是表示内容的末端强调的图。
103.内容85的末端851是从内容的内侧朝向外侧的半圆形状。由于用户容易区分内容的内侧和外侧，所以其作为末端形状是优选的。
104.(基于内容生成装置的末端强调处理)
105.图18是表示由内容生成装置2进行的末端强调处理的流程图。
106.当开始处理，内容生成装置2的未图示的处理部(例如cpu)判定生成的内容是否是静止图像(s10)。处理部在内容是静止图像的情况下(是)，忽略内容的外周的黑色部分(s12)，向步骤s13前进。处理部在内容是运动图像的情况下(否)，贯穿全部帧将黑色状态的部分忽略(s11)，向步骤s13前进。
107.在步骤s13中，处理部将对于除去在步骤s11、s12中忽略的部分后的形状的外周进行了适度地简单化后的线作为末端。
108.步骤s14～s18关于是否进行末端的强调的判定处理。
109.在步骤s14中，处理部判定相对于显示区域的尺寸内容是否较小。在步骤s14中，处理部作为判定内容相对于显示区域是否为规定的大小以上的判定机构来发挥功能。这里，所谓内容较小例如是指内容显示的宽度及高度相对于显示区域的宽度及高度为25％以下的情况。
110.处理部在内容相对于显示区域的尺寸较小的情况下(是)，向步骤s20前进，生成不对末端进行强调的内容，结束图18的处理。处理部在内容相对于显示区域的尺寸不小的情况下(否)，向步骤s15前进。
111.在步骤s15中，处理部判定内容和显示区域是否是相似的形状。处理部在内容和显示区域是相似的形状的情况下(是)，向步骤s19前进，生成对末端进行强调的内容，结束图18的处理。在步骤s19中，处理部作为对内容的末端进行强调的强调机构发挥功能。
112.在步骤s15中，处理部在内容和显示区域为不同的形状(否)的情况下，向步骤s16前进。
113.在步骤s16中，处理部判定内容是否是三角形。处理部在内容是三角形的情况下(是)，向步骤s19前进，生成对末端进行强调的内容，结束图18的处理。处理部在内容不是三角形的情况下(否)，向步骤s17前进。
114.在步骤s17中，处理部判定内容是否是图形组。处理部在内容是图形组的情况下(是)，向步骤s19前进，生成对于比收容图形组整体的矩形大一圈的矩形的末端进行强调的内容，结束图18的处理。
115.处理部在内容不是图形组的情况下(否)，向步骤s18前进。
116.在步骤s18中，处理部判定内容是否是文字组。处理部在内容是文字组的情况下(是)，向步骤s19前进，生成对于比收容文字组整体的矩形大一圈的矩形的末端进行强调的内容，结束图18的处理。处理部在内容不是文字组的情况下(否)，向步骤s20前进，生成不对末端进行强调的内容，结束图18的处理。
117.即，在步骤s17、s18中，处理部作为判定内容是否是图形组或文字组的组判定机构发挥功能。
118.进而，处理部也可以与内容的颜色相匹配地来调整末端的色调。例如在内容的颜色是单色的情况下，可以进行与内容相同色调的强调显示。进而在内容的颜色是多个的情况下，可以以与内容整体的亮度匹配的颜色进行强调显示。由此，处理部能够抑制晃眼或过暗等。
119.图19是表示通过头戴显示器5进行末端强调的开启关闭的切换处理的流程图。该切换处理例如按每帧的显示处理被调用。此外，该处理的前提是已经通过图18的处理判定了是否为末端强调内容，进而末端强调内容被生成强调了末端的内容和没有强调末端的通常内容这两种。
120.cpu51判定是否存在末端强调内容(s30)。cpu51在不存在末端强调内容的情况下(否)，向步骤s34前进，将各内容原样显示，结束图19的处理。cpu51在存在末端强调内容的情况下(是)，向步骤s31前进。
121.在步骤s31中，cpu51判定内容整体是否被收容在显示区域内。该判定处理对于各内容分别执行。cpu51在内容整体被收容在显示区域内的情况下(是)，关于该内容，显示没有对末端进行强调的内容(s33)，结束图19的处理。
122.cpu51在内容整体没有被收容在显示区域内的情况下(否)，关于该内容显示强调了末端的内容(s32)，结束图19的处理。
123.(基于头戴显示器的末端强调处理)
124.图20是表示通过头戴显示器5进行末端强调处理的流程图。这是图18所说明的实施方式的变形例。
125.步骤s40～s43的处理与图18的步骤s10～s13的处理同样。
126.在步骤s44中，处理部判定内容是否被收容在显示区域中。处理部在内容被收容在
显示区域中的情况下(是)，向步骤s50前进。处理部在内容没有被收容在显示区域中的情况下(否)，向步骤s45前进。步骤s45～s50的处理与图18的步骤s15～s20的处理同样。
127.在步骤s51中，cpu51显示强调了末端的内容，结束图20的处理。在步骤s52中，cpu51显示通常内容，结束图20的处理。在步骤s51、s52中，cpu51作为使具有透明的外框的显示区域显示内容的显示控制机构发挥功能。
128.(其他变形例)
129.本发明并不限定于上述实施方式而是包含各种变形例。例如上述实施方式为了使本发明容易理解而进行了详细地说明，并不限定于必定具备所说明的全部构成。能够将某个实施方式的构成的一部分替换为其他实施方式的构成，还能够对某个实施方式的构成添加其他实施方式的构成。此外，还能够对各实施方式的构成的一部分进行其他构成的追加、删除、替换。
130.上述各构成、功能、处理部、处理机构等也可以通过使它们的一部分或全部例如由集成电路等的硬件来实现。上述各构成、功能等也可以通过处理器解释并执行实现各个功能的程序从而由软件来实现。实现各功能的程序、表、文件等信息可以置于存储器、硬盘、ssd(solid state drive)等记录装置或闪存存储器卡、dvd(digital versatile disk)等记录介质中。
131.在各实施方式中，控制线及信息线是考虑到说明上的需要而进行了表示，并不一定表示产品上的全部的控制线及信息线。实际上，也可以认为几乎全部的构成被相互连接。
132.作为本发明的其他变形例，例如有以下的(a)～(e)的例子。
133.(a)并不限于多边形或圆形等简单的图形，例如也可以将重型机械或工厂装置等复杂的图形作为扩展现实的内容进行显示。
134.(b)也可以使用朝向内容外侧不衰减的形状作为末端强调。
135.(c)也可以使用在内容内使用相同表现的可能性较高的形状作为末端强调。
136.(d)也可以使用侵入到内容内侧的形状作为末端强调。
137.(e)并不限定于由多个装置构成的系统，也可以在头戴显示器5中安装内容的生成功能和显示功能。
138.标号说明
139.s扩展现实系统；1操作指南数据库；2内容生成装置；3管理终端；4平板电脑终端；5头戴显示器；51 cpu；52 rom；53 ram；54陀螺仪传感器；55显示部；56通信部；57存储部；571内容信息；58、582、583显示区域；581末端；59视野；6作业对象；71a、71b操作指南内容；72图面内容；73～87内容；731～821、851～871末端。