显示系统以及显示装置的制作方法

1.在本说明书中公开能够显示增强现实图像(ar图像)的显示系统以及包含于该显示系统的显示装置。


背景技术：

2.以往，已知有使用增强现实(ar：augmented reality)技术的显示装置。例如，在日本特开2014-20863中，在导航系统中将使沿着直到目的地的路径行进的角色(character)的虚拟图像重叠于现实世界的图像而得到的增强现实图像(ar图像)显示于显示器。


技术实现要素：

3.此外，例如如果在基于特定主题(theme)构成世界观的主题公园(theme park)的利用者离开主题公园后也能够向其提供基于该世界观的服务，将会有助于提高顾客满意度。
4.于是，在本说明书中，公开一种在主题公园等设施的利用者离开设施后也能够向该利用者提供基于该设施的世界观的服务的显示系统以及包含于该系统的显示装置。
5.在本说明书中，公开一种显示系统。该显示系统具备显示装置以及与该显示装置无线连接的服务器。显示装置能够与利用者一起移动。另外，显示装置具备显示部以及显示控制部。显示控制部能够使对现实世界的风景重叠了虚拟物体的图像而得到的增强现实图像显示于显示部。显示装置在将基于特定主题构成的设施作为出发地时，将该出发地的设施信息发送给服务器。服务器具备存储部以及发送部。在存储部中存储有针对出发地的设施所设定的角色的信息。发送部将针对出发地的设施所设定的角色作为出发地的虚拟物体并将该虚拟物体的图像数据发送给显示装置。
6.根据上述构成，由于针对出发地的主题公园等设施所设定的角色显示于虚拟现实图像，因此在利用者离开设施后，也能够向其提供基于该设施的世界观的服务。
7.另外，在上述构成中，显示装置也可以搭载于车辆。在该情况下，显示部以将车室内的多个座位隔开的方式配置，而且第一显示面和与该第一显示面背对的第二显示面分别朝向车室的侧方。另外，显示装置具备第一拍摄器(成像器)、第二拍摄器以及图像识别部。第一拍摄器对车室的第二显示面侧进行拍摄，拍摄到的拍摄图像被显示在第一显示面上。第二拍摄器对车室的第一显示面侧进行拍摄，拍摄到的拍摄图像被显示在第二显示面上。图像识别部进行第一拍摄器和第二拍摄器的拍摄图像的图像识别。当图像识别部在拍摄图像中识别到人物时，显示控制部生成将识别到的人物的图像区域替换为出发地的虚拟物体而得到的拍摄图像，并使该拍摄图像显示在第一显示面和第二显示面上。
8.根据上述构成，隔着显示部相邻的人物(乘客)被替换为虚拟物体而显示，因而能得到仿佛与虚拟物体同坐于车辆似的体验。
9.另外，在上述构成中，显示装置也可以搭载于车辆。在该情况下，显示部安装于车窗且显示面朝向车室内。显示装置具备拍摄器以及图像识别部。拍摄器拍摄车外的风景。图
像识别部进行拍摄器的拍摄图像的图像识别。当图像识别部在拍摄图像中识别到人物时，显示控制部生成将识别到的人物的图像区域替换为出发地的虚拟物体而得到的拍摄图像，并使该拍摄图像显示在显示面上。
10.根据上述构成，由于车外的人物被替换为虚拟物体而显示在作为车窗的显示面上，因此能得到仿佛正乘坐车辆在主题公园等设施内移动似的体验。
11.另外，在上述构成中，显示控制部也可以，与出发地的设施离得越远，则使被替换为出发地的虚拟物体的人物的图像区域相对于识别到的所有人物的图像区域的比例越小。
12.根据上述构成，能够实现如与出发地的设施离得越远则目送乘客的该设施的角色越少之类的表演。
13.另外，在上述构成中，也可以，在存储部中存储有针对作为目的地的设施所设定的角色的信息。在该情况下，发送部将针对目的地的设施所设定的角色作为目的地的虚拟物体并将该虚拟物体的图像数据发送给显示装置。显示控制部，越接近目的地的设施，则使被替换为目的地的虚拟物体的人物的图像区域相对于识别到的所有人物的图像区域的比例越大。
14.根据上述构成，能够实现如越接近目的地的设施则迎接乘客的该设施的角色越多之类的表演。
15.另外，在上述构成中，也可以，在存储部中，作为出发地的虚拟物体和目的地的虚拟物体，分别设定有多个角色。在该情况下，显示控制部根据时间段，选择进行替换的虚拟物体角色。
16.根据上述构成，能够实现如白天使昼行性的动物作为虚拟物体来显示、日落后使夜行性的动物作为虚拟物体来显示之类的表演。
17.另外，在本说明书中，公开一种搭载于车辆的显示装置。该显示装置具备存储部、提取部、显示部以及显示控制部。在存储部中存储针对基于特定主题构成的设施所设定的角色的信息。提取部提取针对被设定为出发地的设施所设定的角色作为出发地的虚拟物体。显示部使显示面朝向车室内。显示控制部能够使对现实世界的风景重叠了出发地的虚拟物体的图像而得到的增强现实图像显示于显示部。
18.根据本说明书中公开的显示系统以及显示装置，在主题公园等设施的利用者离开设施后，也能够向其提供基于该设施的世界观的服务。
附图说明
19.以下，参照附图对本发明的示例性实施方式的特征、优点以及技术和产业意义进行说明，在附图中相同的附图标记表示相同的要素，并且其中：
20.图1是例示包括本实施方式涉及的显示系统的综合娱乐设施的图。
21.图2是例示行驶于连接通道的车辆的立体图。
22.图3是例示车室内的样子的图。
23.图4是例示本实施方式涉及的显示系统的显示装置和服务器的硬件结构的图。
24.图5是例示服务器的功能块(框)的图。
25.图6是例示显示装置的功能块的图。
26.图7是例示出发地组(group)的虚拟物体的替换比例的图。
27.图8是表示增强现实图像显示于车室内的显示部的例子的图。
28.图9是例示增强现实图像显示的初始设定流程的图。
29.图10是说明增强现实图像显示流程的图。
30.图11是说明使人物的图像区域替换为虚拟物体图像的过程的图。
31.图12是表示重叠了目的地组的虚拟物体的图像而得到的增强现实图像显示于被设置为车窗的显示部的例子的图。
32.图13是例示出发地组和目的地组的虚拟物体的替换比例的图。
33.图14是例示使出发地组和目的地组的虚拟物体的图像显示于增强现实图像时的初始设定流程的图。
34.图15是说明使出发地组和目的地组的虚拟物体的图像显示于增强现实图像时的增强现实图像显示流程的图。
35.图16是表示车辆在连接通道上循环行驶的例子的图。
36.图17是表示显示装置的功能块的另一例的图。
具体实施方式
37.＜综合娱乐设施的构成＞
38.在图1中举例表示综合娱乐设施10。在该设施内利用本实施方式涉及的显示系统。在综合娱乐设施10内设置有多个主题公园12～18。主题公园是指以下设施：基于特定的主题(theme)构成世界观，基于该世界观，综合地构成、表演出设备、活动、景观等。
39.综合娱乐设施10设置有主题各不相同的主题公园。例如在综合娱乐设施10内，作为主题公园，设置有体育公园(athletic park)12、游乐园14、水族馆16和动物园18。主题公园12～18分别基于各自的主题设定虚拟物体角色。如后述的图8那样，在车辆90内的显示部41(车内显示部41a和车窗显示部41b)中显示增强现实图像(ar图像)时利用该虚拟物体。
40.虚拟物体角色被设定为符合主题公园12～18各自的主题和世界观的角色。例如在体育公园12中，设定冒险家、突击队员、忍者等多个角色作为虚拟物体。例如在游乐园14中，设定小丑、卡丁车等多个角色作为虚拟物体。例如在水族馆16中，设定海豚、金鱼、企鹅等多个角色作为虚拟物体。再者，例如在动物园18中，设定大象、熊猫、狗熊等多个角色作为虚拟物体。所设定的这些虚拟物体的信息存储于服务器70的按主题公园特有角色存储部82(参照图5)。稍后会对所存储的虚拟物体的信息的详情进行说明。
41.＜车辆的构成＞
42.主题公园12～18由连接通道20连接。车辆90在该连接通道20上行驶。车辆90例如可以是连结主题公园12～18的合乘式(公共)摆渡车。车辆90可以能够由驾驶员操纵进行手动驾驶，另外也可以具备自动驾驶功能。关于自动驾驶功能，例如基于美国汽车工程师学会(sae)的基准，车辆90能够进行l4级(高度自动驾驶)和l5级(完全自动驾驶)的运行。
43.该车辆90搭载本实施方式涉及的ar显示装置30。在图2中例示车辆90的立体图。在车辆90的两侧面91设置有拍摄车外风景的ar显示装置30的车外拍摄器33c。在图3中例示车辆90的车室内的样子。在车室内，在车辆90的长度方向上排列多个座位92。另外，在车室内，在车宽方向的中央设置有通道93。通道93沿着车辆长度方向而设置。隔着该通道93，座位92的队列沿着车辆长度方向而设置。
44.在通道93上，设置有ar显示装置30的车内显示部41a。多个座位92、具体而言是排列在其中一侧的座位队列和排列在另一侧的座位队列被车内显示部41a隔开。换言之，车室内的空间由车内显示部41a划分为右侧空间和左侧空间。车内显示部41a是板状的显示器装置，以直立状态沿着车辆前后方向而设置。车内显示部41a例如从通道93的地面到车室的顶棚地直立设置。
45.车内显示部41a两面都成为显示面。即，车内显示部41a具备分别朝向车室侧方(面对车窗)的第一显示面41a1和与其背对(朝反方向)的第二显示面41a2。如后所述，在这些显示面上显示虚拟现实图像。另外，在第一显示面41a1和第二显示面41a2的车辆前后方向的中央部，框架部件94沿着高度方向而设置。在该框架部件94上设置有ar显示装置30的第一车内拍摄器33a和第二车内拍摄器33b。
46.如用虚线表示的那样，从图3的视点来看，第一车内拍摄器33a配置为藏在框架部件94的背面，拍摄车室内的第二显示面41a2侧、也即是说纸面右侧的风景。该拍摄图像被显示于第一显示面41a1。同样地，第二车内拍摄器33b拍摄车室内的第一显示面41a1侧、也即是说纸面左侧的风景。该拍摄图像被显示于第二显示面41a2。
47.通过这样，纸面左侧的乘客能够从第一显示面41a1看到车室内的纸面右侧的样子。同样地，纸面右侧的乘客能够从第二显示面41a2看到车室内的纸面左侧的样子。如后所述，在第一显示面41a1和第二显示面41a2上显示将第一车内拍摄器33a和第二车内拍摄器33b的拍摄图像中的人物替换为虚拟物体而得到的增强现实图像。
48.作为车辆90的车窗，设置有ar显示装置30的车窗显示部41b。也即是说，在车辆90中，作为车窗，代替设置玻璃窗而设置作为显示器装置的车窗显示部41b。车窗显示部41b配置为显示面朝向车室内。
49.在车窗显示部41b上显示ar显示装置30的车外拍摄器33c(参照图2)拍摄到的拍摄图像。也即是说，车窗的风景经由车外拍摄器33c以及车窗显示部41b而被显示在车室内。如后所述，在车窗显示部41b上显示将车外拍摄器33c的拍摄图像中的人物替换为虚拟物体而得到的增强现实图像。
50.＜服务器的构成＞
51.本实施方式涉及的显示系统构成为包括ar显示装置30以及服务器70。在图4中例示ar显示装置30以及服务器70的硬件结构。服务器70例如由计算机构成。另外，服务器70例如设置在综合娱乐设施10的管理大楼内。服务器70通过无线局域网等通信途径与ar显示装置30无线连接。
52.服务器70具备键盘和鼠标等输入部71、运算装置的cpu(central processing unit)72以及显示器等显示部73。另外，服务器70具备rom(read-only memory)74、ram(random access memory)75以及硬盘驱动器(hdd)76作为存储装置。再者，服务器70具备管理信息的输入和输出的输入输出控制器77。这些构成部件与内部总线78连接。
53.在图5中例示服务器70的功能框图。该功能框图例如通过cpu72执行存储于rom74和/或hdd76或者存储于dvd等非瞬时性的存储介质的程序来构成。
54.服务器70具备接收部83，接收部83接收ar显示装置30等外部设备的信号。另外，服务器70具备路径搜索部84、3d(三维)模型提取部85以及发送部86。再者，服务器70具备设施地图存储部81以及按主题公园特有角色存储部82作为存储部。
55.在设施地图存储部81中存储综合娱乐设施10内的地图信息。例如存储包括连接通道20在内的综合娱乐设施10内的通道和设施等的位置信息等。
56.在按主题公园特有角色存储部82中存储按主题公园12～18所设定的角色的信息。所谓角色的信息，例如可以是各角色的图像数据，该图像数据可以是3d模型数据。该3d模型数据例如包括角色的形状数据、纹理(texture)数据以及运动(motion)数据。
57.接收部83从ar显示装置30接收成为车辆90的出发地的主题公园(以下适当记作“出发地公园”)的信息。该主题公园的信息例如包含出发地公园的名称的文本信息。针对此，路径搜索部84参照设施地图存储部81，选择成为目的地的主题公园(以下适当记作“目的地公园”)。例如离出发地公园最近的主题公园或者最远的主题公园成为目的地主题公园。再者，路径搜索部84制作从出发地公园到目的地公园的在连接通道20上的路径(引导路径)。
58.出发地公园的信息除了发送给路径搜索部84之外还被发送给3d模型提取部85。基于出发地公园的信息，3d模型提取部85参照按主题公园特有角色存储部82，提取针对出发地公园所设定的角色。再者，3d模型提取部85将该提取到的角色设定为出发地组的虚拟物体。
59.由路径搜索部84求出的引导路径以及由3d模型提取部85提取到的出发地组的虚拟物体的图像数据经由发送部86发送到ar显示装置30。
60.＜ar显示装置的构成＞
61.参照图1，ar显示装置30能够向车辆90的利用者(乘客)显示增强现实图像(ar图像)。增强现实图像是指，对现实世界的风景重叠了虚拟物体的图像而得到的图像。另外，如上所述，ar显示装置30搭载于车辆90，能够与利用者(乘客)一起移动。
62.在图4中例示ar显示装置30的硬件结构。例如，ar显示装置30是以下的影像透视式(video see-through)显示器，即，摄像头(camera，相机)等拍摄器拍摄现实世界的风景，将该拍摄图像显示于显示部。在图4的例子中，第一车内拍摄器33a、第二车内拍摄器33b和车外拍摄器33c相当于拍摄器。另外，车内显示部41a和车窗显示部41b相当于显示部。
63.ar显示装置30具备系统存储器31、cpu(中央运算装置)32、第一车内拍摄器33a、第二车内拍摄器33b、车外拍摄器33c、gps接收器34、输入输出控制器35、储存器(storage)36、gpu37、帧存储器(frame memory)38、ramdac39、显示控制部40、车内显示部41a以及车窗显示部41b。
64.系统存储器31是由cpu32执行的操作系统(os)所使用的存储装置。储存器36是外部存储装置，例如存储后述的用于显示虚拟现实图像(ar图像)的程序。
65.第一车内拍摄器33a、第二车内拍摄器33b和车外拍摄器33c例如构成为包括cmos、ccd等的成像设备。再者，这些拍摄器33a～33c可以是除了拍摄现实世界之外还具备测量从各拍摄器33a～33c的分离距离的功能的所谓的rgb-d相机。作为测量分离距离的功能，例如在拍摄器33a～33c中，除了上述的成像设备，还设置有使用红外线的测距机构。
66.车内显示部41a和车窗显示部41b例如可以是液晶显示器装置和/或有机el显示器装置。
67.gpu(graphics processing unit，图形处理单元)37是图像处理用运算装置，主要在进行后述的图像识别时工作。帧存储器38是存储由第一车内拍摄器33a、第二车内拍摄器
33b和车外拍摄器33c拍摄到并进而由gpu37进行运算处理后的图像的存储装置。ramdac(random access memory digital-to-analog converter，随机存储器数模转换器)39将存储于帧存储器38的图像数据转换为适于车内显示部41a和车窗显示部41b的模拟信号。
68.gps接收器34从gps卫星24(参照图1)接收定位信号即gps信号。gps信号中包含纬度、经度、高度的位置坐标信息。通过获得该位置坐标信息，能够掌握车辆90的当前位置。
69.在图6中例示ar显示装置30的功能框图。该功能框图例如通过cpu32和/或gpu37执行存储于系统存储器31和/或储存器36或者存储于dvd和/或计算机硬盘等非瞬时性的存储介质的位置推定程序来构成。
70.在图6中，将图4中也例示出的硬件结构的一部分与功能块以掺杂在一起的状态示出。在图6中，作为硬件结构，例示第一车内拍摄器33a、第二车内拍摄器33b、车外拍摄器33c、显示控制部40、车内显示部41a以及车窗显示部41b。
71.另外，作为功能块，ar显示装置30具备发送部51、位置推定部52、导航功能部53、接收部54、图像识别部57、虚拟物体数据存储部55、替换比例存储部56以及已学习模型存储部58。这些功能块由cpu32、系统存储器31、储存器36、gpu37以及帧存储器38等构成。
72.在虚拟物体数据存储部55中存储由服务器70的3d模型提取部85(参照图5)提取到的、出发地组的角色的虚拟物体的图像数据(3d模型数据)。
73.在替换比例存储部56中存储图7所例示的替换比例映射(map)。替换比例映射是横轴取路径、纵轴取替换比例的图表。在该图表中，绘制表示出发地组的虚拟物体的替换比例的特性线l1。此外，出发地组是指，针对出发地公园所设定的多个虚拟物体群(角色群)。
74.所谓替换比例，是表示替换为虚拟物体的人物的图像区域相对于由图像识别部57识别出的所有人物的图像区域的比例的值。该替换比例例如在车辆90位于出发地公园时为100％。也即是说，在出发地公园处，由图像识别部57识别出的所有人物的图像区域被替换为出发地组的虚拟物体。
75.替换比例随着离出发地公园越来越远而减少。进而，在目的地公园处，由图像识别部57识别出的所有人物的图像区域都不被替换为虚拟物体。也即是说，替换比例成为0％。通过设定这样的替换比例，能够实现如与出发地公园离得越远则目送乘客的该主题公园的角色越少之类的表演。
76.在已学习模型存储部58中存储例如由外部的服务器等学习好的图像识别用的神经网络。例如准备车室内外的图像数据、即图像内的各物体特别是人物的分割和标注已完成的数据作为训练用数据。使用该训练用数据，形成通过有教师(监督)学习而被机器学习出的多层次的神经网络，并存储于已学习模型存储部58。该神经网络例如可以为卷积神经网络(cnn)。
77.图像识别部57接收由第一车内拍摄器33a、第二车内拍摄器33b和车外拍摄器33c所得到的拍摄图像数据，并对其进行图像识别。图像识别包括对拍摄图像中的物体的识别和对该物体与ar显示装置30的分离距离的推定。在进行这种图像识别的时候，拍摄图像数据中，例如除了如上所述拍摄现实世界的风景而得到的彩色图像数据之外，还包括该彩色图像数据内的各物体的从各拍摄器33a～33c的分离距离数据。
78.图像识别部57使用存储于已学习模型存储部58的已学习的图像识别用神经网络，判定由第一车内拍摄器33a、第二车内拍摄器33b和车外拍摄器33c所得到的拍摄图像中是
否包含人物。将图像识别部57识别出的拍摄图像中的人物图像区域与其他图像区域相区别(分割)。这样的已加工的拍摄图像被发送给显示控制部40。
79.显示控制部40除了从图像识别部57接收已加工(已进行了人物识别)的拍摄图像数据之外，还从位置推定部52取得当前位置信息。另外，显示控制部40从导航功能部53取得直到目的地公园的引导路径信息。再者，显示控制部40从虚拟物体数据存储部55取得出发地组的虚拟物体的图像数据(3d模型数据)，另外从替换比例存储部56取得替换比例映射。
80.显示控制部40基于从位置推定部52提供的当前位置和从导航功能部53提供的引导路径信息，取得与当前位置对应的替换比例映射中的替换比例。再者，显示控制部40基于取得的替换比例，进行人物的图像区域与虚拟物体的替换处理。替换后的图像、也即是说增强现实图像被显示于车内显示部41a和车窗显示部41b。
81.＜显示出发地组的虚拟物体的增强现实图像显示过程＞
82.在图8中例示由本实施方式涉及的显示系统进行的增强现实图像显示的情形。在该图中，虚拟物体图像102重叠于现实世界的拍摄图像而得到的虚拟现实图像被显示于第一显示面41a1和车窗显示部41b。此外，为了使图示明确而用平面的轮廓线图表示了虚拟物体图像102，但不限于该方式，虚拟物体图像102可以为3d图像。
83.在图9中例示由本实施方式涉及的显示系统进行的增强现实图像显示过程中的特别是初始设定时的流程图。在该流程图中，主要由服务器70执行的处理用(s)表示，主要由车辆90的ar显示装置30执行的处理用(d)表示。
84.图9所例示的流程在车辆90抵达主题公园12～18中的任一个时、换言之是在以主题公园12～18中的任一个作为出发地时启动。例如参照图1，在车辆90于各主题公园12～18前的停靠站95停车时，该流程启动。
85.在车辆90的ar显示装置30中，位置推定部52(参照图6)推定当前位置，将主题公园12～18中的、车辆90所停的主题公园、也即是说出发地主题公园的信息从发送部51发送给服务器70(s10)。出发地主题公园的信息例如包含出发地主题公园的文本信息。
86.服务器70的接收部83(参照图5)在接收到出发地主题公园的信息时，将该信息发送给路径搜索部84以及3d模型提取部85。路径搜索部84参照存储于设施地图存储部81的公园地图数据，设定目的地公园(s12)。目的地主题公园例如可以是主题公园12～18中的离出发地主题公园最近的主题公园，另外也可以是主题公园12～18中的离出发地主题公园最远的主题公园。
87.接着，路径搜索部84制作从出发地主题公园到目的地主题公园的在连接通道20(参照图1)上的路径即引导路径。制作出的引导路径经由发送部86发送到ar显示装置30(s14)。
88.另一方面，接收到出发地主题公园的信息的3d模型提取部85参照按主题公园特有角色存储部82，将针对出发地公园所设定的角色设定为显示用虚拟物体。在针对出发地公园预先设定的角色有多个的情况下，例如将该多个角色全部选择作为出发地组的角色(虚拟物体)。被设定为显示用虚拟物体的、表示出发地组的角色的虚拟物体的3d模型数据经由发送部86发送到ar显示装置30(s16)。
89.接收到引导路径的信息和显示用虚拟物体的3d模型数据的ar显示装置30的接收部54将引导路径信息发送给导航功能部53。另外，接收部54将显示用虚拟物体的3d模型数
据发送给虚拟物体数据存储部55(s18)。
90.在图10中例示上述的初始设定后的增强现实图像的显示过程的流程图。在该流程图中，由ar显示装置30执行全部处理(步骤)。此外，该流程图在从出发地公园抵达目的地公园为止反复执行。图像识别部57从第一车内拍摄器33a、第二车内拍摄器33b和车外拍摄器33c取得拍摄图像(s20)。
91.再者，图像识别部57对拍摄图像进行图像识别(s22)。在该图像识别中，图像识别部57识别拍摄图像中的人物(s24)。例如在已学习模型存储部58中存储有就座状态的人物图像和/或行走中的人物图像的教师数据，利用该教师数据学习好的神经网络被用于由图像识别部57进行的图像识别。
92.若识别为拍摄图像中不包含人物，则图10的流程回到起始点，车内显示部41a和车窗显示部41b显示现实世界的拍摄图像。另一方面，若识别为拍摄图像中包含人物，则图像识别部57执行将拍摄图像中的人物图像区域进行区分的分割，并且执行解释为该图像区域表示人物的标注。该进行了图像识别处理后的拍摄图像被发送给显示控制部40。
93.显示控制部40从替换比例存储部56取得替换比例映射(参照图7)。再者，显示控制部40从导航功能部53取得引导路径信息，并且从位置推定部52取得车辆90的当前位置。
94.进而，显示控制部40基于当前位置求取替换比例。例如，显示控制部40求取从出发地公园前进到当前位置的距离相对于从出发地公园到目的地公园的距离之比，从替换比例映射，取得与该距离之比对应的替换比例(s26)。
95.接着，显示控制部40基于替换比例，选择由图像识别部57识别出人物的多个图像区域中的、要替换为虚拟物体图像的图像区域(s28)。另外，显示控制部40从出发地组中选择进行替换的虚拟物体(s30)。在存储于虚拟物体数据存储部55的出发地组的虚拟物体涉及多个种类的情况下，显示控制部40例如任意选择虚拟物体的角色。
96.或者，也可以根据时间段选择进行替换的虚拟物体的角色。例如，显示控制部40确认当前时刻，如果是白天，就选择昼行性的动物角色作为进行替换的虚拟物体。通过进行这种根据时间段的角色选择，能够实现依据动物的现实生态的表演。
97.进而，显示控制部40将所选择的人物的图像区域替换为出发地公园的角色的虚拟物体图像(s32)。
98.在图11中例示该图像替换的过程。从拍摄图像中删除乘客图像区域101，并在该删除区域插入虚拟物体图像102。此时，例如也可以进行使座位的扶手的一部分由虚拟物体(企鹅)的右手隐藏等的所谓的隐藏处理。
99.另外，由于乘客图像区域101与虚拟物体图像102的形状和面积并不相同，因而即使将虚拟物体图像插入拍摄图像也会产生图像的遗漏部分。于是，显示控制部40从基础图像103中抽出填补遗漏部分的背景图像104(由影线显示)，并将其插入加工中的拍摄图像。基础图像103例如是没有乘客的状态的车内和/或连接通道20的拍摄图像，存储于ar显示装置30的存储部。
100.显示控制部40使如上这样形成的将人物替换为出发地公园的角色而得到的增强现实图像显示于车内显示部41a和车窗显示部41b(s34)。如此，根据本实施方式涉及的显示系统，由于针对出发地的主题公园所设定的角色显示于虚拟现实图像，因此在离开主题公园后也能够提供基于该公园的世界观的服务。
101.＜显示出发地和目的地组的虚拟物体的增强现实图像显示过程＞
102.在上述的增强现实图像显示过程中，对现实世界的图像重叠了出发地组的虚拟物体，而除此之外也可以还使针对目的地公园所设定的虚拟物体的组(以下适当记作“目的地组”)的虚拟物体重叠于现实世界的图像。
103.例如在图12中，表示出发地公园为水族馆、且目的地公园被设定为动物园时的增强现实图像的显示例。在该图中，在车内显示部41a的第一显示面41a1上显示有出发地组的虚拟物体图像102(企鹅)，而在车窗显示部41b上显示目的地组的虚拟物体图像105(狗熊)。这样的出发地组的虚拟物体的图像数据以及目的地组的虚拟物体的图像数据存储于服务器70的按主题公园特有角色存储部82。
104.在进行这种虚拟物体的显示的时候，替换比例存储部56中存储有如图13所例示的替换比例映射。在该映射中，除了图7中也示出了的表示出发地组的虚拟物体的替换比例的特性线l1之外，还绘制表示目的地组的虚拟物体的替换比例的特性线l2。例如，根据特性线l1、l2得到的替换比例可以设定为不管在哪个地点其总和都为100％。
105.在特性线l2上，例如出发地公园处的替换比例设定为0％，目的地公园处的替换比例设定为100％。另外，它们之间会向着目的地公园线性地增加。
106.根据该特性线l2，越接近目的地公园，则替换为目的地组的虚拟物体的人物的图像区域相对于由图像识别部57识别出的所有人物的图像区域的比例(替换比例)越高。通过设定这样的替换比例，能够实现如越接近目的地公园则迎接乘客的该主题公园的角色越多之类的表演。
107.在图14中例示在使用图13所示的替换比例映射的情况下的增强现实图像显示过程中的特别是初始设定时的流程图。此外，以下对于与图9所示的步骤为同一标号的步骤，因内容相同，故适当省略说明。
108.在该流程中，在服务器70(参照图5)中，路径搜索部84除了将引导路径信息给发送部86之外还发送给3d模型提取部85。3d模型提取部85选择出发地组的虚拟物体(s16)，并且选择目的地组的虚拟物体(s17)。所选择的出发地组和目的地组的虚拟物体的图像数据从发送部86经过ar显示装置30的接收部54而存储于虚拟物体数据存储部55。
109.在图15中例示上述的初始设定后的增强现实图像的显示过程的流程图。此外，以下对于与图10所示的步骤为同一标号的步骤，因内容相同，故适当省略说明。
110.在步骤s24中，图像识别部57(参照图6)在由第一车内拍摄器33a、第二车内拍摄器33b和车外拍摄器33c所得到的拍摄图像中识别出人物(s24)时，显示控制部40基于当前位置，求取出发地组和目的地组的替换比例(s46)。再者，在步骤s28中，基于各自的替换比例，选择出要替换为虚拟物体图像的图像区域时，显示控制部40从出发地组和目的地组中选择进行替换的虚拟物体(s50)。如上所述，在存储于虚拟物体数据存储部55的出发地组和目的地组的虚拟物体涉及多个种类的情况下，显示控制部40也可以根据时间段选择虚拟物体(角色)。
111.＜由显示装置独自构建显示系统的例子＞
112.在上述的实施方式中，由ar显示装置30和服务器70构成了显示系统，但本说明书中公开的显示系统不限于该方式。例如服务器70的功能也可以搭载于ar显示装置30。
113.在上述的实施方式中，服务器70的主要作用是基于出发地公园确定目的地公园并
制作引导路径、以及提取基于出发地公园和目的地公园的虚拟物体的组。
114.在此，例如在车辆90的运行为如图16所例示的循环运行，预先确定了出发地和目的地(被设定为固定值)这样的情况下，无需使服务器70选择目的地。因此，在虚拟现实图像的显示过程特别是图9、图14的初始设定中，也可以取代使服务器70执行一部分处理(步骤)而由ar显示装置30执行全部处理。
115.在图17中例示了能够独自地(无服务器70地)进行增强现实图像的显示的ar显示装置30的功能块。在图5、图6中设置于服务器70的按主题公园特有角色存储部82和设施地图存储部81在图17中设置于ar显示装置30。由此，例如在如图9、图14的初始设定流程中，能够由ar显示装置30执行全部处理(步骤)。另外，在初始设定后，在图10、图15所例示的增强现实图像的显示流程中，能够由ar显示装置30独自执行全部处理(步骤)。此外，在该情况下，ar显示装置30的显示控制部40能够承担服务器70的3d模型提取部85(图5)的功能。