维护方法、维护服务器以及程序与流程

1.本发明涉及用于维护作业现场内的设备的维护方法、用于该维护作业的维护服务器以及使计算机执行该维护方法的程序。


背景技术：

2.以往，已知有经由vpn(virtual private network：虚拟专用网络)来访问lan内的服务器或终端以及该lan外的终端的技术(例如，参照专利文献1)。在专利文献1的系统中，在从外部终端经由vpn访问确定的lan内的服务器或终端时，用于与该vpn的网关连接的信息从管理该信息的服务器向外部终端发送。在用于与该网关连接的信息中包含该网关的地址等。
3.现有技术文献
4.专利文献
5.专利文献1：日本特许第5254909号


技术实现要素：

6.发明所要解决的课题
7.考虑将上述那样的将外部终端与确定的lan内的终端等进行vpn连接的技术应用于具备自动仓库等多个设备的作业现场。由此，能够经由网络从外部终端访问作业现场内的设备。
8.但是，在以往的vpn连接技术中，没有设想在存在作业现场那样的多个设备的情况下的使用。例如，在以往的vpn连接技术中，提供向vpn连接的网关的访问信息(地址)，但不提供与lan内的终端以及服务器的配置相关的信息等。
9.在具有多个设备的作业现场，有时根据作业现场中的配置位置来确定对象的设备，但如果像以往的vpn连接那样不提供与设备的配置相关的信息，则有时难以从外部终端迅速地访问对象设备。
10.本发明的目的在于，在从作业现场外的终端访问作业现场内的设备的系统中，使从外部终端向设备的访问容易且迅速。
11.用于解决课题的手段
12.以下，作为用于解决课题的手段，对多个方式进行说明。这些方式可以根据需要任意组合。
13.本发明的一方案的维护方法是由维护服务器执行的方法，该维护服务器用于使用设置于作业现场外的维护据点的维护终端来维护作业现场内的设备。维护方法具备以下的步骤。
14.◎
制作表示作业现场的现场图像的步骤。
15.◎
取得用于访问设备的访问信息的步骤。
16.◎
将现场图像内表示设备的对象与用于访问该设备的访问信息建立关联而生成
合成图像的步骤。
17.◎
向维护终端输出合成图像的步骤。
18.◎
接受使用维护终端所进行的合成图像中的对象的选择的步骤。
19.◎
使用与所选择的对象建立关联的访问信息，在与所选择的对象对应的设备与维护终端之间建立通信会话的步骤。
20.在使用外部的维护终端维护作业现场内的设备的上述维护方法中，生成包含表示作业现场中的设备的配置及其形态的对象的合成图像。所生成的合成图像输出到外部的维护终端。
21.此外，当用于访问对应的设备的访问信息与合成图像的对象建立关联，通过维护终端选择了合成图像内的确定的对象时，使用与所选择的对象建立关联的访问信息，在与该对象对应的设备与维护终端之间建立通信会话。
22.由此，维护终端的用户能够参照合成图像容易地确定想要访问的设备，并且能够迅速地访问确定出的设备。
23.作业现场也可以存在多个。在该情况下，现场图像、访问信息以及合成图像分别针对多个作业现场而生成。
24.由此，维护终端的用户能够容易地确定存在于多个作业现场的设备，能够迅速地访问确定出的设备。
25.上述的维护方法也可以还包括以下的步骤。
26.◎
从设备接收表示在设备中发生的异常的异常信息的步骤。
27.◎
将异常信息与和发生了异常的设备相对应的对象建立关联而生成合成图像的步骤。
28.由此，维护终端的用户能够容易且迅速地访问与设备中发生的异常相关的信息。
29.上述的维护方法也可以还包括以下的步骤。
30.◎
在生成合成图像之后作业现场内的设备存在变更的情况下，使用与该设备的变更对应的新的访问信息来生成新的合成图像的步骤。
31.◎
向维护终端输出新的合成图像的步骤。
32.由此，当在作业现场存在设备的变更的情况下，能够将反映了该变更的最新的合成图像提供给维护终端。
33.上述的维护方法也可以还包括在生成了新的合成图像的情况下，向维护终端通知合成图像已被更新的步骤。
34.由此，能够对维护终端的用户通知合成图像的更新，并且通知在作业现场中设备存在变更。
35.上述的维护方法也可以还包括将对话栏与合成图像一起显示的步骤。对话栏提供使用维护终端的维护人员与使用设置于作业现场的作业人员终端的作业人员之间的对话功能。在该情况下，合成图像已被更新的通知显示在对话栏中。
36.由此，对作业现场的作业人员，也能够通知合成图像的更新，并且通知在作业现场设备存在变更。
37.本发明的另一方案涉及的维护服务器是用于使用设置于作业现场外的维护据点的维护终端来维护作业现场内的设备的服务器。维护服务器具备控制部。
38.控制部为，制作表示作业现场的现场图像，取得用于访问设备的访问信息，将现场图像内表示设备的对象与用于访问该设备的访问信息建立关联而生成合成图像，向维护终端输出上述合成图像，接受使用维护终端所进行的合成图像中的对象的选择，使用与所选择的对象建立关联的访问信息，在与所选择的对象对应的设备与维护终端之间建立通信会话。
39.在上述的维护服务器中，生成包含表示作业现场中的设备的配置及其形态的对象的合成图像。所生成的合成图像被输出到外部的维护终端。
40.此外，在用于访问对应的设备的访问信息与合成图像的对象建立关联，通过维护终端选择了合成图像内的确定的对象时，使用与所选择的对象建立关联的访问信息，在与该对象对应的设备与维护终端之间建立通信会话。
41.由此，维护终端的用户能够参照合成图像容易地确定想要访问的设备，并且能够迅速地访问确定出的设备。
42.作业现场也可以存在多个。在该情况下，控制部针对多个作业现场分别生成现场图像、访问信息以及合成图像。
43.由此，维护终端的用户能够容易地确定存在于多个作业现场的设备，能够迅速地访问确定出的设备。
44.控制部也可以从设备接收表示在设备中发生的异常的异常信息，将异常信息与和发生了异常的设备相对应的对象建立关联而生成合成图像。
45.由此，维护终端的用户能够容易且迅速地访问与设备中发生的异常相关的信息。
46.控制部也可以在生成合成图像之后作业现场内的设备存在变更的情况下，使用与该设备的变更对应的新的访问信息来生成新的合成图像，向维护终端输出新的合成图像。
47.由此，在作业现场存在设备的变更的情况下，能够将反映了该变更的最新的合成图像提供给维护终端。
48.控制部也可以在生成了新的合成图像的情况下，向维护终端通知合成图像已被更新。
49.由此，对于维护终端的用户，也能够通知合成图像的更新，并且通知在作业现场设备存在变更。
50.控制部也可以将对话栏与合成图像一起显示。对话栏提供使用维护终端的维护人员与使用设置于作业现场的作业人员终端的作业人员之间的对话功能。在该情况下，控制部将合成图像已被更新的通知显示于对话栏。
51.由此，对作业现场的作业人员，也能够通知合成图像的更新，并且通知在作业现场设备存在变更。
52.本发明的另一方案涉及的程序是用于使计算机执行上述维护方法的程序。
53.发明效果
54.通过生成上述合成图像并输出到外部的维护终端，能够在外部的维护终端中参照合成图像容易地确定想要访问的设备，并且能够迅速地访问确定出的设备。
附图说明
55.图1是表示通信系统的整体构成的一例的图。
56.图2是表示自动仓库系统的构成的一例的图。
57.图3是表示图像数据的一例的图。
58.图4是表示传感器的测定数据的一例的图。
59.图5是表示维护据点的构成的一例的图。
60.图6是表示维护信息的一例的图(其1)。
61.图7是表示维护信息的一例的图(其2)。
62.图8是表示维护服务器的硬件构成的一例的图。
63.图9是表示中继服务器的硬件构成的图。
64.图10a是表示网关列表的一例的图。
65.图10b是表示合成图像制作信息的构成的图。
66.图11a是表示第一设备列表的数据构成的一例的图。
67.图11b是表示第二设备列表的数据构成的一例的图。
68.图12是表示维护服务器的概要动作的流程图。
69.图13是表示初始设定动作的流程图。
70.图14是表示访问信息的取得动作的流程图。
71.图15是表示访问信息的取得中的信息的收发的图。
72.图16是表示到合成图像输出为止的动作中的维护服务器的动作的流程图。
73.图17是表示到合成图像输出为止的动作中的信息的收发的图。
74.图18是表示登录画面的一例的图。
75.图19是表示合成图像的生成动作的流程图。
76.图20是表示维护服务器的通信会话建立动作的流程图。
77.图21是表示通信会话建立动作中的信息的收发的图。
78.图22是表示存在设备的变更的情况下的维护服务器的动作的流程图。
79.图23是表示存在设备的变更的情况下的信息的收发的图。
80.图24是表示合成图像已被更新的通知的一例的图。
81.图25是表示初始画面的一例的图。
82.图26a是表示合成图像的一例的图。
83.图26b是合成图像的一部分的放大图。
84.图27是表示同时显示合成图像和对话栏的显示画面的一例的图。
85.图28是表示将访问信息作为字符的列表而显示的显示画面的一例的图。
具体实施方式
86.1.第一实施方式
87.(1)通信系统的整体构成
88.以下，对本发明所涉及的维护服务器进行说明。维护服务器是用于使用设置在存在于与作业现场分开的场所的维护据点的维护终端来维护设置于该作业现场的设备的服务器。因此，维护服务器设置于包括作业现场内部的设备及终端、以及存在于维护据点的终端的通信系统。
89.以下，使用图1对作为上述通信系统的一例的第一实施方式所涉及的通信系统100
进行说明。图1是表示通信系统的整体构成的一例的图。
90.第一实施方式所涉及的通信系统100具备作为上述的作业现场的一例的自动仓库系统1、维护据点2、维护服务器3以及中继服务器4。
91.自动仓库系统1是例如配置于物流中心等、用于进行货物的入出库的系统。自动仓库系统1具有用于进行货物的入出库的自动仓库11(设备的一例)(图2)。本实施方式的通信系统100具备多个自动仓库系统1。
92.维护据点2例如是进行自动仓库系统1内的自动仓库11的维护等的维护人员驻留的据点，具备用于进行自动仓库系统1的维护的终端(维护终端21a、21b)。维护据点2的维护终端21a、21b能够访问多个自动仓库系统1各自的设备。
93.维护服务器3经由网络nw(例如wan等)与上述的自动仓库系统1以及维护据点2(的网关装置)连接。维护服务器3存储数据库，该数据库存储与在自动仓库系统1中存储的自动仓库11(的各设备)相关的信息(称作运转信息)以及为了维护在维护据点2管理的设备而使用的信息(称作维护信息)。
94.此外，维护服务器3根据需要向在自动仓库系统1内使用自动仓库11的作业人员所使用的作业人员终端及在维护据点2中维护人员所使用的维护终端21a、21b提供所存储的运转信息和/或维护信息。由此，在通信系统100中，能够经由维护服务器3在作业人员终端与维护终端21a、21b之间共享运转信息及维护信息。
95.进而，维护服务器3在使用维护终端21a、21b对自动仓库系统1内的设备进行维护时，进行用于在维护终端21a、21b与该设备之间建立通信会话的中介。关于进行怎样的中介，将在后面详细说明。
96.中继服务器4经由网络nw与自动仓库系统1以及维护据点2(的网关装置)连接。中继服务器4是对自动仓库系统1与维护据点2之间的通信进行中继的服务器。
97.此外，中继服务器4经由网络nw与维护服务器3连接，根据来自维护服务器3的请求，将保存于中继服务器4的各种信息提供给维护服务器3。
98.此外，在本实施方式的通信系统100中，后述的各装置(网关装置、自动仓库系统1的相机以及传感器)与维护服务器3之间的指令等的收发例如使用websocket协议来执行。
99.此外，在图1所示的通信系统100中，仅存在1个维护据点2，但并不限定于此，维护据点2也可以在通信系统100中存在多个。例如，不仅能够在1个维护据点2对多个自动仓库系统1进行维护，也可以从多个维护据点2对1个自动仓库系统1进行维护。
100.(2)自动仓库系统
101.(2
‑
1)自动仓库
102.以下，使用图2对通信系统100所包含的自动仓库系统1的具体构成进行说明。图2是表示自动仓库系统的构成的一例的图。另外，多个自动仓库系统1仅在各自具有的设备数等存在差异，基本的构成相同。因此，以下，对代表性的自动仓库系统1的基本构成进行说明。
103.自动仓库系统1具有自动仓库11。自动仓库11具有货架、堆垛起重机、输送机等，进行货物的入出库、移载、保管等。
104.在本实施方式中，在自动仓库11的堆垛起重机以及输送机例如设置有能够拍摄静态图像以及具有规定时间的长度的动态图像的相机ca1～ca4，能够取得堆垛起重机以及输
送机的状况作为视觉的运转信息fi。相机ca1～ca4例如是鱼眼相机。通过该相机ca1～ca4，例如能够取得图3所示的图像数据(动态图像)作为运转信息fi。图3是表示图像数据的一例的图。
105.此外，在自动仓库11的附近设置有测定周围的温度及湿度的传感器se(例如，温湿度传感器)，能够取得周围温度及湿度作为运转信息fi。通过传感器se，例如能够取得图4所示的、以折线图或柱状图显示测定出的温度和湿度的数据作为测定数据(运转信息fi)。图4是表示传感器的测定数据的一例的图。
106.进而，在堆垛起重机设置有测定规定的物理量的传感器se，当在堆垛起重机发生了货物坍塌等时，能够测定由于该货物坍塌等而产生的振动和/或声音的大小作为运转信息fi。作为这样的传感器se，例如有加速度传感器、声音传感器等。
107.另外，在图2所示的自动仓库系统1中，设置有4台相机ca1～ca4以及1个传感器se，但设置于自动仓库11的相机以及传感器的数量并不限定于上述，能够根据自动仓库系统1的规模等而设为任意的数量。
108.(2
‑
2)自动仓库系统的网络构成
109.使用图2进一步说明在自动仓库系统1中用于各设备相互通信的网络构成。自动仓库系统1的网络构成具有第一交换式集线器sh1。如图2所示，第一交换式集线器sh1将相机ca1、ca2与第一外部存储装置13a连接。第一外部存储装置13a例如是nas(network attached storage：网络附加存储)装置，保存由相机ca1、ca2取得的图像数据。
110.此外，在第一交换式集线器sh1连接有自动仓库11的堆垛起重机及输送机等控制装置(未图示)。
111.自动仓库系统1的网络构成具有第二交换式集线器sh2。第二交换式集线器sh2将相机ca3、ca4、传感器se及第二外部存储装置13b连接。第二外部存储装置13b例如是nas装置，保存由相机ca3、ca4取得的图像数据以及由传感器se取得的测定数据。
112.第二交换式集线器sh2也与第一交换式集线器sh1连接，由相机ca1、ca2取得的图像数据也能够保存于第二外部存储装置13b，由相机ca3、ca4取得的图像数据以及由传感器se取得的数据也能够保存于第一外部存储装置13a。
113.自动仓库系统1的网络构成具有管理自动仓库系统1的服务器。具体而言，具有输送管理服务器15a以及信息管理服务器15b。
114.输送管理服务器15a是具有cpu、存储装置(ram、rom、ssd、硬盘等)、网络接口等各种接口的计算机系统。输送管理服务器15a能够与自动仓库11的堆垛起重机、输送机等进行通信，通过控制这些堆垛起重机以及输送机，从而对自动仓库11中的货物的入出库进行控制/管理。
115.另外，在本实施方式中，输送管理服务器15a与第一交换式集线器sh1连接。
116.信息管理服务器15b是具有cpu、存储装置(ram、rom、ssd、硬盘等)、网络接口等各种接口的计算机系统。信息管理服务器15b对保存在第一外部存储装置13a和第二外部存储装置13b中的各种数据(例如，由相机ca1～ca4和传感器se取得的数据)进行管理。信息管理服务器15b根据需要取得由传送管理服务器15a管理的信息。
117.另外，在本实施方式中，信息管理服务器15b与第二交换式集线器sh2连接。
118.自动仓库系统1的网络构成具有作业人员终端17。作业人员终端17例如是个人计
算机、平板终端等。作业人员终端17是在自动仓库11中进行作业的作业人员所使用的终端，能够经由网络nw与维护服务器3进行通信。由此，作业人员能够使用作业人员终端17来阅览存储于维护服务器3的运转信息fi及维护信息mi。在作业人员终端17是平板终端的情况下，作业人员能够在维护对象的设备(自动仓库、相机、传感器)的设置场所携带作业人员终端来进行维护作业。此外，在平板终端以外的终端(例如，个人计算机)是作业人员终端17的情况下，也可以由作业人员终端17访问相机ca1～ca4、传感器se等。
119.此外，在图2所示的自动仓库系统1中，作业人员终端17仅设置有1台，但并不限定于此，也可以设置多台作业人员终端17。
120.自动仓库系统1的网络构成具有第一网关装置19。第一网关装置19是具有cpu、存储装置(ram、rom、ssd、硬盘等)、网络接口等各种接口的计算机系统。此外，第一网关装置19也可以是通过soc等实现其功能的一部分或全部的硬件。
121.第一网关装置19与第二交换式集线器sh2及外部的网络nw连接，能够对自动仓库系统1的网络构成中的各设备与外部的通信进行中继。因此，第一网关装置19将对与连接于第一网关装置19的设备相关的信息进行了列表化的第一设备列表el1(后述)存储于存储装置。
122.第一网关装置19在从中继服务器4接收到在自动仓库系统1的各设备(相机ca1～ca4、传感器se、堆垛起重机以及输送机的控制装置等)与维护终端21a、21b之间应该建立通信会话的意思的指令时，执行在与维护据点2的第二网关装置23(后述)之间建立vpn会话的控制。
123.此外，第一网关装置19具有在规定的时刻将保存在第一外部存储装置13a和第二外部存储装置13b中的相机ca1～ca4的图像数据、传感器se的测定数据、以及表示在各设备中发生的异常的异常信息等作为运转信息fi上传至维护服务器3的功能。此外，第一网关装置19能够将与各设备的维护相关的信息、各设备的运转信息、作业人员等拍摄到的设备的照片、以及与各设备的部件订购相关的信息等作为运转信息fi上传至维护服务器3。
124.上述规定的时刻例如能够适当决定为每隔一定的时间(例如每隔1小时、每隔1天等)、保存有新的运转信息fi的时刻、已有的运转信息fi已被更新的时刻、保存的运转信息fi的容量成为决定的大小的时刻等。
125.(3)维护据点
126.以下，使用图5对通信系统100所包含的维护据点2的具体构成进行说明。图5是表示维护据点的构成的一例的图。
127.维护据点2具有维护终端21a、21b。维护终端21a、21b与第三交换式集线器sh3连接。维护终端21a、21b例如是个人计算机，在驻留在维护据点2的维护人员进行自动仓库系统1的设备等的维护时使用。
128.维护据点2具有第二网关装置23。第二网关装置23是具有cpu、存储装置(ram、rom、ssd、硬盘等)、网络接口等各种接口的计算机系统。此外，第二网关装置23也可以是通过soc等实现其功能的一部分或全部的硬件。
129.第二网关装置23与第三交换式集线器sh3及外部的网络连接，对维护终端21a、21b与外部的通信进行中继。因此，第二网关装置23将对与连接于第二网关装置23的维护终端21a、21b相关的信息进行了列表化的第二设备列表el2(后述)存储于存储装置。
130.第二网关装置23在从自动仓库系统1的第一网关装置19发出vpn会话建立请求之后，执行在与第一网关装置19之间建立vpn会话的控制。
131.此外，第二网关装置23具有将保存在设置于维护终端21a、21b和/或维护据点2的主干系统(未图示)中的信息在规定的时刻作为维护信息mi上传至维护服务器3的功能。上述规定的时刻例如能够适当决定为每隔一定的时间(例如每隔1小时、每隔1天等)、保存有新的维护信息mi的时刻、已有的维护信息mi已被更新的时刻、保存的维护信息mi的容量成为决定的大小的时刻等。
132.作为上述的维护信息mi的例子，例如有图6所示的设备的部件的列表即零件列表、图7所示的表示自动仓库系统1中的设备(自动仓库11)的配置的布局图等。图6以及图7是表示维护信息的一例的图。此外，第二网关装置23能够将自动仓库系统1的各设备的检修履历、以及各设备的检修报告等作为维护信息mi上传至维护服务器3。
133.维护服务器3对于从第二网关装置23(维护据点2)接收到的维护信息mi，例如能够基于该文件名判定是与自动仓库系统1的哪个设备相关的信息。
134.(4)维护服务器
135.以下，使用图8对通信系统100所包含的维护服务器3的具体的硬件构成进行说明。图8是表示维护服务器的硬件构成的一例的图。
136.如图8所示，维护服务器3是具有处理器31、ram32、rom33、网络接口34以及存储装置35的计算机系统。
137.处理器31例如是将cpu或cpu和各种接口集成到1个芯片的soc。处理器31执行存储在存储装置35等中的程序，进行在维护服务器3中进行的各种信息处理。
138.ram32存储在存储装置35中存储的程序等临时需要的信息。rom33存储用于控制维护服务器3的程序以及设定等。
139.这样，上述处理器31、ram32、rom33是进行实现维护服务器3的功能的控制的硬件构成。因此，以后将这3个硬件构成称作维护服务器3的“控制部”。即，该控制部执行存储于存储装置35的程序，实现后述的维护服务器3的功能(动作)。
140.网络接口34执行与外部的终端和/或设备等的通信。网络接口34例如是通过有线通信与外部的终端和/或设备进行通信的以太网(注册商标)卡、和/或通过无线通信与外部的终端和/或设备进行通信的无线lan接口等。
141.另外，在维护服务器3向外部发送各种信息及数据的情况下，上述控制部经由网络接口34将这些信息及数据输出到外部。此外，在维护服务器3从外部接收各种信息及数据的情况下，经由网络接口34从外部向上述控制部输入这些信息及数据。
142.存储装置35存储由维护服务器3执行的程序、存储于维护服务器3的各种信息及各种设定信息。本实施方式涉及的维护服务器3中存储的各种信息是与自动仓库系统1的设备(自动仓库11)相关的运转信息fi、以及与在维护据点2管理的设备的维护相关的维护信息mi。
143.另一方面，本实施方式涉及的维护服务器3的存储装置35中存储的设定信息是用户信息ui、网关列表gl以及合成图像制作信息gi。
144.用户信息ui是管理能够登录维护服务器3的用户的信息。网关列表gl是用于识别各自动仓库系统1所具有的第一网关装置19以及各维护据点2所具有的第二网关装置23的
列表。合成图像制作信息gi是针对每个自动仓库系统1以及每个维护据点2制作并在生成各自动仓库系统1的合成图像si(图26a)的情况以及判断从哪个维护据点2的维护终端21a、21b存在访问的情况下使用的信息。
145.通过具有上述的构成，维护服务器3能够从自动仓库系统1以及维护据点2接收并存储与自动仓库系统1的设备相关的运转信息fi以及与设备的维护相关的维护信息mi。
146.此外，具有该构成的维护服务器3如后述那样，能够生成将现场图像fm的对象o(后述)与向与该对象o对应的设备的访问信息ac建立关联而得到的图像(称作合成图像si)。此外，在合成图像si中，也能够将与对应的设备相关的运转信息fi及维护信息mi与各对象o建立关联。
147.维护服务器3除了上述构成以外，还可以具有显示器36。显示器36是显示关于维护服务器3的各种信息的、例如液晶显示器、有机el显示器等显示器。由此，用户例如能够一边参照显示于显示器36的信息，一边对维护服务器3进行管理。
148.维护服务器3还可以具有接受来自用户的输入的输入接口37。输入接口37例如是键盘、鼠标、触摸面板等输入设备。由此，用户能够使用输入接口37来直接管理维护服务器3。
149.此外，即使没有上述的输入接口37和/或显示器36，例如也能够使用能够经由网络接口34访问维护服务器3的终端，一边参照与维护服务器3相关的信息一边管理维护服务器3。
150.(5)中继服务器
151.以下，使用图9对通信系统100所包含的中继服务器4的具体的硬件构成进行说明。图9是表示中继服务器的硬件构成的图。
152.如图9所示，中继服务器4是具有处理器41、ram42、rom43、网络接口44以及存储装置45的计算机系统。
153.处理器41例如是将cpu或cpu和各种接口集成到1个芯片的soc。处理器41执行存储于存储装置45等的程序，进行在中继服务器4中进行的各种信息处理。
154.ram42存储在存储装置45中存储的程序等临时需要的信息。rom43存储用于控制中继服务器4的程序以及设定等。
155.网络接口44执行与外部的终端和/或设备等的通信。网络接口44例如是通过有线通信与外部的终端和/或设备进行通信的以太网(注册商标)卡、和/或通过无线通信与外部的终端和/或设备进行通信的无线lan接口等。
156.存储装置45是存储由中继服务器4执行的程序以及登录信息li的、例如硬盘、ssd等存储装置。此外，存储装置45存储记述了使中继服务器4动作所需的设定的设定文件等。
157.在其他实施方式中，中继服务器4也可以具有显示器46。显示器46是显示关于中继服务器4的各种信息的、例如液晶显示器、有机el显示器等显示器。由此，用户例如能够一边参照显示于显示器46的信息，一边对中继服务器4进行管理。
158.在其他实施方式中，中继服务器4也可以具有接受来自用户的输入的输入接口47。输入接口47例如是键盘、鼠标、触摸面板等输入设备。由此，用户能够使用输入接口47直接管理中继服务器4。
159.此外，即使没有上述的输入接口47和/或显示器46，例如也能够使用能够经由网络
接口44访问中继服务器4的终端，一边参照与中继服务器4相关的信息一边管理中继服务器4。
160.(6)在通信系统中管理的信息
161.(6
‑
1)由维护服务器管理的信息
162.以下，对维护服务器3、中继服务器4、第一网关装置19以及第二网关装置23中存储的信息进行说明。首先，对由维护服务器3管理的信息进行说明。如上所述，维护服务器3将用户信息ui、合成图像制作信息gi以及网关列表gl存储在存储装置35中。
163.如图10a所示，网关列表gl例如是将各自动仓库系统1的识别信息与该自动仓库系统1所具有的第一网关装置19的识别信息建立关联的列表。此外，网关列表gl将各维护据点2的识别信息与该维护据点2所具有的第二网关装置23的识别信息建立关联地存储。图10a是表示网关列表的一例的图。
164.各自动仓库系统1以及各维护据点2的识别信息例如是自动仓库系统1以及维护据点2的识别编号。该识别信息中的自动仓库系统1的识别编号也包含在后述的合成图像制作信息gi中。在图10a所示的例子中，将自动仓库系统1的识别编号设为100～199号的编号，将维护据点2的识别编号设为200～299号的编号。自动仓库系统1以及维护据点2的识别编号并不限定于图10a所示的例子，能够任意地设定。
165.另一方面，第一网关装置19以及第二网关装置23的识别信息例如是用于该第一网关装置19以及第二网关装置23登录中继服务器4的登录id。此外，也能够将第一网关装置19以及第二网关装置23的网络地址(ip地址)设为网关装置的识别信息。
166.用户信息ui存储用于登录维护服务器3的用户id和密码。此外，在用户信息ui中，用户类型与每个用户id建立关联。用户类别表示该用户id是维护人员的类别还是作业人员等维护人员以外的类别。此外，也可以在用户信息ui中存储各用户的信息(例如，用户的所属、联系方式、权限等级等)。
167.如图10b所示，合成图像制作信息gi具有识别信息in、现场图像fm、关联信息ai以及第一设备列表el1。图10b是表示合成图像制作信息的构成的图。识别信息in是用于识别自动仓库系统1的信息，与网关列表gl的识别信息相同。
168.现场图像fm是表示自动仓库系统1的图像。具体而言，现场图像fm是自动仓库系统1的实拍图像或数字模型。现场图像fm对自动仓库系统1的各设备图像化而示出。将对设备进行图像化而示出的称作对象o。
169.关联信息ai是存储有运转信息fi及维护信息mi与自动仓库系统1的设备的关联的信息。此外，关联信息ai与自动仓库系统1的设备和用于从维护终端21a、21b访问该设备的访问信息ac(后述)建立关联。
170.第一设备列表el1是与连接于第一网关装置19的设备相关的信息的列表。关于具体的构成，将在后面详细说明。
171.(6
‑
2)由中继服务器管理的信息
172.接着，对由中继服务器4管理的信息进行说明。由中继服务器4管理的登录信息li存储用于登录中继服务器4的用户id。另外，在登录信息li中包含用于第一网关装置19以及第二网关装置23的用户id。即，第一网关装置19以及第二网关装置23登录中继服务器4。
173.另外，在登录信息li中，用于网关装置的用户id与具有该用户id的网关装置的网
络地址(例如ip地址)建立关联。由此，中继服务器4能够根据网关装置的用户id获知对应的网关装置的网络地址，能够访问该网关装置。
174.(6
‑
3)由网关装置管理的信息
175.最后，对由网关装置管理的信息进行说明。各网关装置对与连接在自身的lan内的设备相关的信息的列表进行管理。第一网关装置19管理图11a所示的第一设备列表el1。另一方面，第二网关装置23管理图11b所示的第二设备列表el2。图11a是表示第一设备列表的数据构成的一例的图。图11b是表示第二设备列表的数据构成的一例的图。
176.另外，图11a以及图11b所示的设备列表是一例，根据自动仓库系统1以及维护据点2的规模等，被列表的设备的种类、设备的数量不同。
177.(6
‑3‑
1)第一设备列表
178.如图11a所示，第一网关装置19管理的第一设备列表el1具有设备名记录部分r1、地址记录部分r2、子id记录部分r3、子类型记录部分r4以及状态记录部分r5。
179.设备名记录部分r1记录设备名。在第一设备列表el1中，如图11a所示，记录有相机ca1～ca4的名称(起重机#1相机～输送机#2相机)、传感器se的名称(起重机#1传感器)、第一外部存储装置13a的名称(外部存储装置#1)、第二外部存储装置13b的名称(外部存储装置#2)、信息管理服务器15b的名称(信息管理服务器)、以及输送管理服务器15a的名称(输送管理服务器)。
180.地址记录部分r2记录分配给能够与网关装置连接的设备的网络地址。在第一设备列表el1中，在具有相机ca1～ca4的设备名的行分别记录有“192.168.0.1”～“192.168.0.4”的ip地址。此外，在具有传感器se的设备名的行中记录有“192.168.0.11”的ip地址。
181.进而，在具有外部存储装置#1～外部存储装置#2的设备名的行分别记录有“192.168.0.21”及“192.168.0.22”的ip地址，在具有信息管理服务器及输送管理服务器的设备名的行分别记录有“192.168.0.31”及“192.168.0.32”的ip地址。
182.此外，在具有堆垛起重机的控制装置名(控制盘)的各行分别记录有“192.168.0.111”及“192.168.0.112”的ip地址，在具有输送机的控制装置名(plc)的行分别记录有“192.168.0.41”及“192.168.0.42”的ip地址。
183.如后所述，记录于上述地址记录部分r2的ip地址当在网关装置之间建立了通信会话时，在与该网关装置连接的设备彼此经由网关装置进行通信时使用。
184.子id记录部分r3记录用于设备登录中继服务器4的登录id(子id)。在第一设备列表el1中，在具有相机ca1～ca4的设备名的行分别记录有“cam 001”～“cam 004”的子id，在具有传感器se的设备名的行记录有“sen 001”的子id。
185.此外，在具有“控制盘”的设备名的行分别记录有“ctrl 001”以及“ctrl002”的子id，在具有“plc”的设备名的行分别记录有“plc001”以及“plc002”的子id。
186.子类型记录部分r4记录表示与网关装置连接的设备的类别的用户类型(子类型)。在第一设备列表el1中，在具有相机ca1～相机ca4的设备名的行记录有“相机”的子类型，在具有传感器se的设备名的行记录有“传感器”的子类型。
187.此外，在具有“控制盘”的设备名的行记录有“控制盘”的子类型，在具有“plc”的设备名的行记录有“plc”的子类型。
188.状态记录部分r5记录设备列表中记录的各设备是否处于能够与网关装置通信的状态。在第一设备列表el1的例子中，例如，在相机ca3和相机ca4的设备名称的行中记录为“ng”，而在其他行中记录为“ok”。即，相机ca3、ca4不能够与第一网关装置19进行通信。
189.这样，状态记录部分r5对与网关装置连接的设备(设备)中的能够与网关装置进行通信的设备记录为“ok”，对不能够通信的设备记录为“ng”。
190.如图11a所示，至少包含第一设备列表el1的1行量的信息、即针对1个设备的ip地址、设备名、子id、子类型以及状态的信息是访问信息ac，其与现场图像fm的对象o建立关联。
191.(6
‑3‑
2)第二设备列表
192.接着，使用图11b对第二网关装置23管理的第二设备列表el2进行说明。第二设备列表el2与第一设备列表el1同样地，具有设备名记录部分r1、地址记录部分r2、子id记录部分r3、子类型记录部分r4以及状态记录部分r5。
193.在第二设备列表el2中，在设备名记录部分r1中记录有维护终端21a的名称(维护终端#1)以及维护终端21b的名称(维护终端#2)。此外，在地址记录部分r2中，在具有维护终端21a、21b的设备名的行分别记录有“172.28.0.2”以及“172.28.0.3”的ip地址。
194.另一方面，在第二设备列表el2的子id记录部分r3、子类型记录部分r4以及状态记录部分r5中未记录信息。这表示维护终端21a、21b无法登录中继服务器4。
195.(7)维护服务器的概要动作
196.以下，对本实施方式涉及的通信系统100的维护服务器3的动作进行说明。首先，使用图12对维护服务器3的概要动作进行说明。图12是表示维护服务器的概要动作的流程图。
197.维护服务器3在使用远程的维护终端21a、21b访问自动仓库系统1的各设备的情况下，能够容易地确定所期望的设备，并且能够迅速地进行访问。为了实现该功能，维护服务器3执行按照图12的流程图的处理。另外，图12所示的动作是针对1个自动仓库系统1的动作。维护服务器3针对通信系统100所包含的多个自动仓库系统1分别单独执行图12所示的动作。
198.具体而言，首先，在步骤s1中，维护服务器3执行用于生成合成图像si的初始设定动作。在执行初始设定动作之后，维护服务器3在步骤s2中，使用在初始设定动作中制作以及取得的信息等，生成合成图像si。维护服务器3将生成的合成图像si输出到对应的维护终端21a、21b。接收到合成图像si的维护终端21a、21b使显示器(未图示)显示合成图像si。
199.在输出合成图像si之后，维护服务器3在步骤s3中接受使用了维护终端21a、21b的合成图像si中的对象o的选择。
200.当在步骤s3中接受了对象o的选择时(步骤s3中为“是”)，维护服务器3在步骤s4中，使用与所选择的对象o建立关联的访问信息ac，发出用于在与所选择的对象o对应的设备与维护终端21a、21b之间建立通信会话的指令。
201.(8)维护服务器的具体动作
202.(8
‑
1)初始设定动作
203.以下，使用图13对上述步骤s1的初始设定动作进行具体说明。图13是表示初始设定动作的流程图。
204.在初始设定动作中，首先，在步骤s11中，制作现场图像fm，并存储在维护服务器3
的存储装置35中。
205.在将现场图像fm设为自动仓库系统1的实拍图像的情况下，在自动仓库系统1的多个部位拍摄实拍图像。接着，考虑分别在自动仓库系统1的哪个位置拍摄，将该多个实拍图像连结而制作现场图像fm。此外，也可以拍摄实拍图像作为全景图像，设为现场图像fm。
206.另一方面，在将现场图像fm设为自动仓库系统1的数字模型的情况下，例如将使用cad等描绘的自动仓库系统1的三维图像设为现场图像fm。
207.接着，在步骤s12中，维护服务器3从维护终端21a、21b取得用于访问自动仓库系统1的各设备的访问信息ac。在本实施方式中，访问信息ac从中继服务器4取得。关于访问信息ac的取得操作，将在后面详细说明。
208.在取得访问信息ac之后，在步骤s13中，维护服务器3将所取得的访问信息ac与现场图像fm中的对象o建立关联。该关联例如能够如以下那样执行。
209.首先，在现场图像fm中，将表示自动仓库系统1的设备的图像确定为对象o。之后，针对确定出的各个对象o，取得其坐标值。对象o的坐标值例如可以是表示对象o的像素在现场图像fm中的配置位置(坐标值)。
210.接着，将对象o的坐标值和与该对象o对应的设备的访问信息ac建立关联地存储于关联信息ai。
211.通过执行上述的步骤s11～s13，维护服务器3得到生成合成图像si所需的信息。即，维护服务器3将现场图像fm、关联信息ai、包含访问信息ac的第一设备列表el1、自动仓库系统1的识别信息in建立关联而得到合成图像制作信息gi。
212.另外，在上述的步骤s13中，维护服务器3从自动仓库系统1以及维护据点2接收它们所具有的运转信息fi及维护信息mi。之后，维护服务器3将对应的设备的运转信息fi及维护信息mi与现场图像fm的各对象o进一步建立关联地存储于关联信息ai。此时，维护服务器3将向运转信息fi及维护信息mi的链接与各对象o建立关联。
213.如上所述，在运转信息fi中包含表示在自动仓库系统1的设备中产生的异常的异常信息。因此，通过将运转信息fi与现场图像fm的各对象o建立关联，能够将异常信息和与发生了异常的设备对应的对象o建立关联，生成合成图像si。
214.此外，作为初始设定动作，维护服务器3也可以执行用于登录维护服务器3的用户登记、针对各用户的向信息的访问限制等设定动作。
215.(8
‑
2)访问信息取得动作
216.接着，使用图14以及图15更详细地说明上述的初始设定动作的步骤s12的动作、即访问信息ac的取得动作。图14是表示访问信息的取得动作的流程图。图15是表示访问信息的取得中的信息的收发的图。
217.为了取得访问信息ac，维护服务器3在步骤s21中向中继服务器4发送设备列表请求信号。
218.具体而言，维护服务器3首先确定存在所希望的访问信息ac的自动仓库系统1的识别编号。之后，在网关列表gl中，确定与确定出的识别编号建立关联的第一网关装置19的登录id。
219.在确定登录id之后，维护服务器3将确定出的登录id与设备列表请求信号一起发送至中继服务器4(步骤s201)。
220.接收到上述请求信号的中继服务器4确定与请求信号一起发送来的登录id是哪个自动仓库系统1的第一网关装置19的登录id。之后，中继服务器4将设备列表请求信号向上述确定的第一网关装置19发送(步骤s202)。
221.当从中继服务器4接收到设备列表请求信号时(步骤s202)，第一网关装置19将自身保有的第一设备列表el1发送至中继服务器4(步骤s203)。
222.之后，如果从第一网关装置19取得了所期望的第一设备列表el1(步骤s203)，则中继服务器4将该第一设备列表el1发送至维护服务器3(步骤s204)。
223.当从中继服务器4接收到第一设备列表el1时(在步骤s22中为“是”)，维护服务器3将所取得的第一设备列表el1作为合成图像制作信息gi存储在存储装置35中。之后，维护服务器3从所存储的第一设备列表el1中提取各设备的访问信息ac。
224.如以上那样，维护服务器3能够经由中继服务器4从对应的第一网关装置19接收所期望的第一设备列表el1，并从接收到的第一设备列表el1中提取并取得访问信息ac。
225.(8
‑
3)合成图像的生成/输出动作
226.接着，使用图16以及图17对上述步骤s2中的合成图像si的生成和输出的具体动作进行说明。图16是表示到合成图像输出为止的动作中的维护服务器的动作的流程图。图17是表示到合成图像输出为止的动作中的信息的收发的图。以下，以维护据点2的维护人员使用维护终端21a访问维护服务器3的情况为例进行说明。
227.合成图像si的生成和输出通过从维护终端21a对初始设定动作完成且工作中的维护服务器3发出向维护服务器3的连接请求而开始(步骤s301)。具体而言，例如，在维护终端21a的网页浏览器中指定维护服务器3的地址，该网络浏览器向维护服务器3输出连接请求。
228.当接收到连接请求时(在步骤s31中为“是”)，维护服务器3在步骤s32中向存在连接请求的维护终端21a输出登录画面i1(步骤s302)。例如，输出图18所示的登录画面i1。图18是表示登录画面的一例的图。
229.维护人员在显示于维护终端21a的登录画面i1中，向用户id输入栏t1输入自身的用户id，向密码输入栏t2输入自身的密码。之后，通过按压登录按钮b1，将所输入的用户id以及密码作为认证信息输出到维护服务器3(步骤s303)。
230.当从维护终端21a接收到认证信息时(在步骤s33中为“是”)，维护服务器3在步骤s34中执行认证动作。具体而言，维护服务器3将接收到的认证信息、即用户id以及密码与存储于用户信息ui的用户id以及密码进行比较。
231.作为上述比较的结果，在由于接收到的认证信息不存在于用户信息ui或者接收到的认证信息与存储于用户信息ui的用户id以及密码不一致等理由而认证失败的情况下(在步骤s34中为“否”)，维护服务器3结束合成图像输出处理。
232.在认证失败的情况下，维护服务器3向想要登录的维护终端21a通知认证失败这一情况。此外，维护服务器3也可以在认证失败规定的次数之后，结束合成图像输出处理。
233.另一方面，当通过接收到的认证信息而认证成功时(在步骤s34中为“是”)，则维护服务器3在步骤s25中，向认证成功的维护终端21a输出初始画面i2(图25)(步骤s304)。关于初始画面i2的构成，将在后面进行说明。
234.在维护终端21a显示初始画面i2之后，维护人员使用初始画面i2来选择想要进入的房间。作业人员终端17或维护终端21a将向所选择的房间的对话的参加请求作为对话入
室请求发送至维护服务器3(步骤s305)。
235.当从维护终端21a接收到对话入室请求时，维护服务器3在步骤s36中生成合成图像si。以下，使用图19进一步详细说明在步骤s36中执行的合成图像si的生成动作。图19是表示合成图像的生成动作的流程图。
236.首先，在步骤s41中，维护服务器3针对与现场图像fm的各对象o对应的设备，选择作为对象的维护人员能够阅览的运转信息fi及维护信息mi以及该维护人员能够访问的设备。
237.具体而言，维护服务器3判断对于由用户id识别出的维护人员能够阅览的运转信息fi、维护信息mi。此外，判断该维护人员能够访问的设备。
238.接着，维护服务器3参照关联信息ai，提取与各对象o建立关联的运转信息fi、维护信息mi、访问信息ac中的、作为对象的维护人员能够阅览的运转信息fi及维护信息mi。此外，提取该维护人员能够访问的设备的访问信息ac。
239.进而，维护服务器3将各对象o与针对对应的设备提取出的运转信息fi、维护信息mi以及访问信息ac建立关联，生成每个作为对象的维护人员的独自的关联信息。
240.在生成了独自的关联信息之后，维护服务器3在步骤s42中，判定在该独自的关联信息中，运转信息fi、维护信息mi或者访问信息ac是否与现场图像fm的各对象o建立关联。
241.在独自的关联信息中，在运转信息fi、维护信息mi、访问信息ac均未与对象o建立关联的情况下(在步骤s42中为“否”)，合成图像si的生成处理前进至步骤s44。
242.另一方面，在独自的关联信息中，在运转信息fi、维护信息mi、访问信息ac的任一个与对象o建立关联的情况下(在步骤s42中为“是”)，维护服务器3在步骤s43中，在该对象o所在的现场图像fm的坐标位置配置规定的图标。该规定的图标表示运转信息fi和/或维护信息mi与对象o建立关联。
243.此外，如果与该对象o对应的设备能够使用维护终端21a访问，则在该对象o的图标中显示对应的设备的访问信息ac。另外，如后所述，根据要建立关联的运转信息fi和/或维护信息mi的种类，配置的图标的种类(形状)不同。
244.在配置图标之后，维护服务器3基于上述独自的关联信息，通过点击图标来生成能够参照在步骤s41中选择出的运转信息fi、维护信息mi的链接。
245.与此同时，通过点击显示有访问信息ac的图标，生成输出使用在步骤s41中选择出的访问信息ac来建立通信会话的指令(称作会话建立指令)的命令。
246.此处，向运转信息fi、维护信息mi的链接是指表示维护服务器3中的运转信息fi和/或维护信息mi的保存位置的信息。链接例如是用于访问运转信息fi和/或维护信息mi的url。
247.在设备数量多的自动仓库系统1中，与1个对象o(设备)建立关联的运转信息fi及维护信息mi通常存在多个。因此，在本实施方式中，向与各对象o建立关联的运转信息fi及维护信息mi的链接被列表化，作为列表被管理。此外，在本实施方式中，将向该列表的链接与各对象o建立关联。
248.另一方面，由于访问信息ac针对每个设备而不同，因此输出通信会话建立指令的命令与各对象o直接建立关联。
249.通过上述的处理，在现场图像fm中，能够在与运转信息fi、维护信息mi、访问信息
ac的任一个建立关联的对象o配置图标，另一方面，能够在与这些信息完全不建立关联的对象o不配置图标。
250.根据需要在对象o配置图标之后，在步骤s44中，确认是否对现场图像fm的全部的对象o执行了上述步骤s41～s43。即，确认是否针对全部的对象o决定了应该建立关联的运转信息fi、维护信息mi、访问信息ac。
251.在针对全部的对象o未决定信息的关联的情况下(在步骤s44中为“否”)，针对其他的对象o进一步执行上述s41～s43。
252.另一方面，在针对全部的对象o决定了信息的关联的情况下(在步骤s44中为“是”)，结束合成图像si(图26a)的生成。
253.关于具体的构成将在后面进行说明，但在合成图像si中，如果运转信息fi、维护信息mi、访问信息ac的任一个与现场图像fm的对象o建立关联，则在该对象o配置图标。
254.此外，图标的形状根据与对象o建立关联的信息的种类而不同，在与访问信息ac建立关联的对象o，与图标一起显示该访问信息ac。
255.通过这样的合成图像si，能够在视觉上整理的状态下向维护人员示出哪个种类的运转信息fi、维护信息、访问信息ac与哪个对象o建立关联。
256.返回到图16以及图17，在如上述那样生成合成图像si之后，维护服务器3在步骤s37中，将设置了对话栏a4(图27)的显示画面i3与合成图像si一起发送至用于生成该合成图像si的用户id的维护人员使用中的维护终端21a(步骤s306)。
257.例如，在显示合成图像si的区域的外侧设置对话栏a4。
258.另外，在自动仓库系统1的作业人员使用作业人员终端17访问维护服务器3的情况下，也执行上述步骤s31～s37以及步骤s41～s44。即，生成合成图像si，将显示画面i3输出到作业人员终端17。但是，访问信息ac不与该情况下的合成图像si的对象o建立关联。即，使用作业人员终端17的作业人员能够参照合成图像si而仅阅览运转信息fi及维护信息mi。
259.此外，维护服务器3将所生成的合成图像si表示的自动仓库系统1的识别信息in与该合成图像si建立关联。在选择(点击)了合成图像si的对象o的情况下，将该识别信息in包含于对象o的选择结果(后述)并发送至维护服务器3。
260.(8
‑
4)关于到合成图像的输出为止的动作的总结
261.关于使用图13～图19说明的到维护服务器3的合成图像si的输出为止的动作，能够如以下那样总结。
262.在本实施方式中，维护服务器3制作表示自动仓库系统1的现场图像fm(步骤s11)，取得用于访问设备的访问信息ac(步骤s12、步骤s21～s23)，将用于访问该设备的访问信息ac与现场图像fm内表示设备的对象o建立关联而生成合成图像si(步骤s13、步骤s41～s44)，向维护终端21a、21b输出合成图像si(步骤s37)。
263.用于访问对应的设备的访问信息ac与如上述那样生成的合成图像si的对象o建立关联。由此，维护终端21a、21b的用户(维护人员)能够参照合成图像si容易地确定想要访问的设备。
264.此外，在本实施方式中，维护服务器3从自动仓库系统1取得运转信息fi，将运转信息fi与对应的对象o建立关联而生成合成图像si。如上所述，在运转信息fi中包含表示在自动仓库系统1的设备中产生的异常的异常信息，因此维护人员能够容易且迅速地访问与设
备中产生的异常相关的信息。
265.此外，在本实施方式中，维护服务器3输出将对话栏a4与合成图像si一起显示的显示画面i3。此外，维护服务器3与使用作业人员的用户id生成的合成图像si一起设置对话栏a4。
266.由此，使用对话栏a4，能够在使用维护终端21a、21b的维护人员与使用作业人员终端17的作业人员之间使用对话功能。
267.(9)通信会话建立动作
268.(9
‑
1)通信会话建立动作
269.如上所述，当生成并输出合成图像si时，在维护终端21a、21b显示同时显示合成图像si和对话栏a4的显示画面i3。通过显示显示画面i3，开始提供能够容易地确定能够访问的设备的合成图像si。与此同时，开始提供存储在维护服务器3中的操作信息fi和维护信息mi。
270.即，维护人员参照合成图像si点击配置于所期望的对象o的图标，由此能够容易且迅速地访问与该对象o对应的设备。此外，与此同时，能够访问与对象o建立关联的运转信息及维护信息mi。
271.以下，使用图20以及图21对到在维护终端21a、21b和与在合成图像si中确定出的对象o对应的设备之间建立通信会话为止的动作进行说明。图20是表示维护服务器的通信会话建立动作的流程图。图21是表示通信会话建立动作中的信息的收发的图。
272.以下，以登录维护服务器3的维护终端21a与自动仓库11的堆垛起重机的控制盘(设备名：起重机#1控制盘)之间的通信会话的建立为例进行说明。
273.在显示于维护终端21a的显示画面i3的合成图像si(图26a)中，如果点击了附带访问信息ac的图标(在图12的步骤s3中为“是”)，则点击的图标的信息作为对象o的选择结果从维护终端21a发送至维护服务器3(步骤s501)。
274.例如，在点击了附带“ctrl001 192.168.0.111”的访问信息ac的图标的情况下，维护终端21a将自身的ip地址(lan内)、该维护终端21a所在的维护据点2的识别编号、该访问信息ac以及与合成图像si建立关联的识别信息in作为对象o的选择结果发送至维护服务器3。
275.另外，在点击了未表示访问信息ac与对象o建立关联的图标的情况下，维护服务器3执行与该图标建立关联的动作。
276.当从维护终端21a接收到对象o的选择结果时，维护服务器3在步骤s51中确定维护服务器3想要访问的设备与哪个第一网关装置19连接。
277.具体而言，维护服务器3确定在网关列表gl中，接收到的选择结果的识别信息in与哪个第一网关装置19的识别信息建立关联。例如，在接收到“101”的识别编号作为识别信息in时，维护服务器3参照图10a的网关列表gl，确定具有登录id“vpn001”的第一网关装置19。
278.此外，在步骤s51中，维护服务器3还确定与发送了对象o的选择结果的维护终端21a连接的第二网关装置23。例如，在接收到“201”的识别编号时，维护服务器3参照图10a的网关列表gl，确定具有登录id“vpn002”的第二网关装置23。
279.接着，维护服务器3在步骤s52中，确定维护服务器3想要访问的设备的访问信息ac。具体而言，维护服务器3将作为对象o的选择结果而发送的访问信息ac确定为想要访问
的设备的访问信息ac。
280.此外，在步骤s52中，维护服务器3根据作为对象o的选择结果而接收到的维护终端21a的地址，确定维护终端21a的ip地址。
281.之后，维护服务器3在步骤s53中，将通过上述步骤s51～s52确定出的第一网关装置19的登录id(vpn001)、确定出的第二网关装置23的登录id(vpn002)、确定出的访问信息ac以及维护终端21a的ip地址作为向第一网关装置19的连接请求发送至中继服务器4(步骤s502)。
282.通过执行上述的步骤s51～s53，维护服务器3能够在通信系统100中，向中继服务器4发送用于在维护终端21a与自动仓库系统1的设备之间建立通信会话的指令。
283.在发送用于在维护终端21a与自动仓库系统1的设备之间建立通信会话的指令之后，主要通过中继服务器4、第一网关装置19以及第二网关装置23执行通信会话的建立动作。以下，使用图21对该建立动作进行说明。
284.接收到上述连接请求的中继服务器4根据连接请求目的地的用户id“vpn001”确定第一网关装置19的网络地址。此外，根据用户id“vpn002”，确定连接有维护终端21a的第二网关装置23的网络地址。
285.之后，将确定出的第二网关装置23的网络地址、访问信息ac以及维护终端21a的ip地址作为连接请求发送至确定出的第一网关装置19(步骤s503)。
286.接收到上述连接请求的第一网关装置19决定是否接受该连接请求。在决定为接受该连接请求的情况下，第一网关装置19向具有接收到的连接请求中包含的网络地址的第二网关装置23发送表示接受连接请求的意思的通知(步骤s504)。
287.接收到上述通知的第二网关装置23将自身具有的第二设备列表el2发送至上述通知的发送源的第一网关装置19(步骤s505)。
288.接收到第二设备列表el2的第一网关装置19向接收到的设备列表的发送源的第二网关装置23发送自身具有的第一设备列表el1(步骤s506)。
289.通过以上的步骤s505以及s506，在交换相互具有的第一设备列表el1和第二设备列表el2之后，第一网关装置19以及第二网关装置23在彼此之间建立vpn会话。
290.如上所述，通过在第一网关装置19与第二网关装置23之间建立vpn会话，维护终端21a能够经由第二网关装置23和第一网关装置19访问与第一网关装置19连接的设备。
291.此外，当在第一网关装置19与第二网关装置23之间建立vpn会话时，维护终端21a和自动仓库系统1的各设备能够使用所更换的第一设备列表el1以及第二设备列表el2的地址记录部分r2中记录的ip地址相互通信。
292.例如，在建立vpn会话之后，自动仓库系统1的设备(设备名：起重机#1控制盘的控制盘)向维护终端21a的ip地址“172.28.0.2”与该设备的ip地址“192.168.0.111”一起通知能够进行向自身的vpn连接的意思。
293.接收到该通知的维护终端21a例如启动设备的维护应用。由此，维护终端21a的用户(维护人员)能够使用该应用来执行设备(控制盘)的维护。
294.通过上述的vpn会话，维护终端21a和自动仓库系统1的设备能够经由第一网关装置19以及第二网关装置23，使用在lan内使用的ip地址(例如，“192.168.*.*”、“172.28.*.*”(*：通配符)等ip地址)，在确保了安全性的状态下相互收发数据。
295.(9
‑
2)与通信会话建立动作相关的总结
296.关于使用图20以及图21说明的维护终端21a、21b与自动仓库系统1的设备之间的通信会话的建立动作，能够如以下那样总结。
297.如上所述，当通过维护终端21a、21b选择了合成图像si内的确定的对象o(附带了访问信息ac的对象o)时(步骤s3、步骤s501)，维护服务器3使用与所选择的对象o建立关联的访问信息ac，在与该对象o对应的设备与维护终端21a、21b之间建立通信会话(步骤s51～s53、步骤s502)。
298.由此，维护终端21a、21b的用户(维护人员)能够参照合成图像si容易地确定想要访问的设备，并且能够迅速地访问确定出的设备。
299.(10)能够在显示合成图像si的过程中执行的功能
300.(10
‑
1)能够在显示合成图像si的过程中执行的功能的概要
301.在显示了上述说明的图27所示的显示画面i3之后，在维护终端21a、21b中，维护人员能够使用对话栏a4进行对话。此外，除了对话以外，还能够执行使用了合成图像si的各种功能。
302.例如，能够将对话栏a4的对话内容与合成图像si建立关联而生成新的合成图像si。此外，当点击对话栏a4的对话内容时，能够对与该对话内容关联的合成图像si的位置(对象o)进行“跳转”(访问)。
303.进而，也能够生成新的运转信息fi及维护信息mi，或者对已有的运转信息fi及维护信息mi进行编辑，并将其与合成图像si建立关联。
304.不仅更新运转信息fi及维护信息mi，维护服务器3在自动仓库系统1中的设备的连接状态有变化的情况下，在自动仓库系统1的设备存在变更的情况下，在设备数量有增减的情况下，能够将这些变更反映于合成图像si。
305.(10
‑
2)伴随着设备变更的合成图像的更新动作
306.以下，使用图22以及图23对存在设备的变更的情况下的通信系统100中的动作进行说明。图22是表示存在设备的变更的情况下的维护服务器的动作的流程图。图23是表示存在设备的变更的情况下的信息的收发的图。
307.例如，在自动仓库系统1中追加了新的网关装置和/或在已有的自动仓库系统1中去除和/或追加设备的情况下，存在设备的变更的自动仓库系统1的第一网关装置19生成(更新)与新的设备的变更对应的第一设备列表el1。该第一网关装置19将新的第一设备列表el1发送至中继服务器4(步骤s601)。
308.接收到新的第一设备列表el1的中继服务器4将其发送至维护服务器3(步骤s602)。此时，中继服务器4将发送了新的第一设备列表el1的第一网关装置19的识别信息in(例如，登录id)与新的第一设备列表el1一起发送。
309.接收到新的第一设备列表el1的维护服务器3更新合成图像si，以与新的第一设备列表el1对应。合成图像si的更新如以下那样执行。
310.首先，在步骤s61中，维护服务器3执行新的第一设备列表el1的各访问信息ac与合成图像si中的对象o的新的关联。
311.具体而言，维护服务器3首先根据与新的第一设备列表el1一起发送来的识别信息in，决定应该变更哪个合成图像制作信息gi。接着，将对应的合成图像制作信息gi的第一设
备列表el1置换为新的第一设备列表el1。进而，维护服务器3执行对象o与新的第一设备列表el1所包含的新的访问信息ac的关联，生成新的关联信息ai。
312.另外，上述步骤s61的对象o与新的访问信息ac的关联能够通过基于新的第一设备列表el1执行上述说明的步骤s11～s13(图13)以及步骤s21～s23(图14)来实现。因此，此处省略详细的说明。
313.在执行对象o与访问信息ac的新的关联之后，维护服务器3在步骤s62中，基于新的合成图像制作信息gi，生成新的合成图像si，并输出到维护终端21a、21b(步骤s603)。
314.另外，上述步骤s52的新的合成图像si的生成和输出能够通过基于新的关联执行步骤s31～s37(图16)以及步骤s41～s44(图19)来实现。因此，此处省略详细的说明。
315.这样，在生成合成图像si之后自动仓库系统1的设备有变更的情况下，通过使用与该设备的变更对应的新的访问信息来生成并输出新的合成图像si，从而在自动仓库系统1中存在设备的变更的情况下，能够将反映了该变更的最新的合成图像si提供给维护终端21a、21b。
316.在如上述那样生成新的合成图像si之后，维护服务器3在步骤s63中，向维护终端21a、21b通知合成图像si已被更新。
317.例如，如图24所示，上述通知是在对话栏a4的规定区域(在图24的例子中为下部区域)将具有“已更新合成图像”的显示的弹出窗口pu显示在显示画面i3上的指令。图24是表示合成图像已被更新的通知的一例的图。此外，上述通知也可以是使维护终端21a、21b产生规定的声音的指令。
318.或者，也可以向对话栏a4发布“已更新合成图像”这样的消息。此外，也可以在该消息中包含向更新后的数据的链接，能够从消息中的链接访问合成图像si中的更新后的数据。
319.这样，在生成了新的合成图像si的情况下，维护服务器3向维护终端21a、21b通知该意旨，从而使用维护终端21a、21b的维护人员能够容易地识别出生成了新的合成图像si(最新的合成图像si)的情况、即存在合成图像si的更新的情况。此外，维护人员通过识别存在合成图像si的更新的情况，能够识别在自动仓库系统1中存在设备的变更的情况。
320.另外，在使用维护终端21a、21b的维护人员与使用作业人员终端17的作业人员进行对话的情况下，也将上述的弹出窗口显示于作业人员终端17的对话栏a4。由此，对于自动仓库系统1的作业人员，也能够与合成图像si的更新一起，通知在自动仓库系统1中设备存在变更。
321.(11)画面显示的构成
322.(11
‑
1)初始画面
323.以下，对显示于维护终端21a、21b的显示器的显示画面的构成进行简单说明。另外，以下所示的显示画面是一例，能够适当变更显示画面的构成和/或外观。
324.首先，使用图25对在登录维护服务器3之后显示于作业人员终端17以及维护终端21a、21b的初始画面i2的构成进行说明。图25是表示初始画面的一例的图。初始画面i2具有利用履历显示栏a1。在利用履历显示栏a1中显示对利用履历进行列表显示的利用履历列表l1、用于更新利用履历的更新按钮b2、以及用于记载备忘录的备忘录栏t3。
325.初始画面i2具有房间选择栏a2。在房间选择栏a2中显示有用于选择进入哪个对话
的房间的选择按钮b3。当按下任意一个选择按钮b3时，要求进入所选择的按钮的对话的房间。
326.另外，用户无法进出的房间的按钮设为不显示或者无效(不能选择)。
327.初始画面i2具有用户信息变更栏a3。在用户信息变更栏a3中显示用于编辑用户的信息(用户id、密码、与用户id建立关联的用户的名称)的信息编辑栏t4、用于变更用户图像(头像)的图像变更按钮b4、用于变更账户类别的类别变更栏m1、以及如果按下则更新用户的信息的更新按钮b5。
328.(11
‑
2)合成图像
329.接着，使用图26a以及图26b对合成图像si的构成进行说明，图26a是表示合成图像的一例的图。图26b是合成图像的一部分的放大图。合成图像si显示表示自动仓库系统1的设备的多个对象o。具体而言，自动仓库系统1所包含的多种自动仓库11被显示为对象o。
330.此外，在合成图像si中，在各对象o配置有图标。在图26a所示的合成图像si的例子中，配置有八种图标(ico1～ico8)。另外，显示于合成图像si的图标的种类能够根据与设备建立关联的信息的种类等任意决定。
331.第一图标ico1具有由圆圈包围“i”字符的形状。第一图标ico1表示在配置有该图标的设备中将与该设备相关的各种信息(手册等)作为运转信息fi和/或维护信息mi建立关联。此外，在第一图标ico1的下方标注“***info”(“***”是设备的称呼。以下相同)的字符，具体表示第一图标ico1配置于哪个对象。
332.第二图标ico2具有模仿小型相机的形状。第二图标ico2表示在配置有该图标的设备中将设置于该设备的相机ca取得的图像数据作为运转信息fi建立关联。此外，在第二图标ico2的下方标注“***相机”的字符，具体表示了第二图标ico2配置于哪个对象。
333.第三图标ico3具有模仿温度计和湿度计的形状。第三图标ico3表示在标注有该图标的设备中将设置于该设备的传感器se取得的数据(温度、湿度)作为运转信息fi建立关联。此外，在第三图标ico3的下方标注有“***湿温度”的字符，具体表示了第三图标ico3配置于哪个对象。
334.第四图标ico4具有文档的形状。第四图标ico4表示在标注有该图标的设备中将该设备的零件列表作为维护信息mi建立关联。此外，在第四图标ico4的下方标注有“***零件列表”的字符，具体表示了第四图标ico4配置于哪个对象。
335.第五图标ico5具有模仿大型相机的形状。第五图标ico5表示在标注有该图标的大型相机中该相机所取得的图像数据作为运转信息fi建立关联。此外，在第五图标ico5的下方标注有“相机”的字符，表示第五图标ico5配置于大型相机的对象。
336.第六图标ico6具有在倒三角形的图形的旁边标注有箭头的形状。第六图标ico6设置在现场图像fm(合成图像si)的规定位置，表示通过点击该图标，合成图像si的视野朝该图标的方向移动。
337.当按压或操作第六图标ico6时，合成图像si的视野的中心成为所选择的第六图标ico6的位置，视野的方向成为第六图标ico6的正面的方向。由此，在合成图像si中，能够实现移动自动仓库系统1那样的虚拟现实。
338.第七图标ico7设置在现场图像fm(合成图像si)的规定位置(在图26a的例子中为合成图像si的上方)，具有开关的形状。此外，在其下方标注有“view mode”的字符。第七图
标ico7具有能够通过点击来切换上述第一图标ico1～第六图标ico6的显示与非显示的功能。
339.第八图标ico8设置在现场图像fm(合成图像si)的规定位置(在图26a的例子中为合成图像si的上方)，具有开关的形状。此外，在其上标注有“vpn”的字符。第八图标ico8具有通过点击而能够在合成图像si中切换访问信息ac的显示与非显示的功能。
340.如图26b(图26a的虚线所包围的部分的放大图)所示，在合成图像si中包含的几个图标显示访问信息ac。在图26b所示的例子中，在“pl1_info”的记载与第一图标ico1之间，作为访问信息ac显示有“ctrl001 192.168.0.111”以及该设备(堆垛起重机的控制盘)的子id和ip地址。此外，在“pl1_起重机相机”的记载与第二图标ico2之间，作为访问信息ac显示“cam001 192.168.0.1”以及该设备(相机ca)的子id和ip地址。
341.(11
‑
3)合成图像与对话栏的显示画面
342.以下，使用图27对同时显示合成图像si和对话栏a4的显示画面i3的构成进行说明。图27是表示同时显示合成图像和对话栏的显示画面的一例的图。
343.如图27所示，在显示画面i3中，在显示合成图像si的区域的外侧显示上述说明的房间选择栏a2和对话栏a4。在图27所示的例子中，房间选择栏a2显示在合成图像si的左侧，对话栏a4显示在右侧。
344.在对话栏a4中，在对话中的规定的时刻进行的对话内容作为发言气泡ch而按时间序列配置。此外，在对话栏a4中配置有文件选择栏fs。文件选择栏fs选择保存在作业人员终端17或维护终端21a等中的文件，并附加在对话内容(发言气泡ch)中。
345.这样附加于对话内容的文件通过拖拽到合成图像si，能够作为运转信息fi或者维护信息mi与合成图像si的规定的位置或者对象o建立关联。
346.根据对话内容建立关联的文件例如能够在由作业人员终端17进行了上述动作的情况下作为运转信息fi建立关联，在由维护终端21a、21b进行了上述动作的情况下作为维护信息mi建立关联。
347.此外，如图28所示，通过在显示画面i3中切换显示状态，也能够通过字符对与合成图像si的对象o建立关联的访问信息ac进行列表显示。图28是表示将访问信息作为字符的列表lst而显示的显示画面的一例的图。
348.2.其他实施方式
349.以上，对本发明的一实施方式进行了说明，但本发明并不限定于上述实施方式，在不脱离发明的主旨的范围内能够进行各种变更。尤其地，本说明书中记载的多个实施方式以及变形例能够根据需要任意组合。
350.上述说明的流程图的处理的顺序以及各步骤的处理内容能够在不脱离发明的主旨的范围内进行变更。
351.(a)合成图像si也可以不具有表示访问信息ac与对象o建立关联的图标。在该情况下，例如，当在合成图像si上配置光标(例如，鼠标光标)时，如果访问信息ac与该光标所指的对象o建立关联，则可以显示该对象o的访问信息ac。此外，也可以不与对象o建立关联地显示访问信息ac自身，例如，也可以显示询问是否访问与对象o对应的设备的消息。即，只要在合成图像si中将访问信息ac与对象o建立关联即可，具体的显示方式不限。
352.(b)除了用户id和密码以外，还能够利用使用了作业人员以及维护人员的人体信
息(例如指纹、血管(静脉)图案、虹膜图案、面部图案等)的用户认证。
353.进而，例如也能够利用使用了作业人员终端17以及维护终端21a、21b的识别信息(例如mac地址、ip地址等)的用户认证。在该情况下，能够以作业人员终端17、维护终端21a、21b、lan组、自动仓库系统1以及维护据点2等为单位设置阅览权限。
354.(c)上述说明的通信系统100除了自动仓库系统1与维护自动仓库系统1的设备的维护据点2之间的信息共享的用途以外，也能够在被隔离的部位共享信息的系统中使用。
355.(d)对话栏a4也可以以与合成图像si的一部分重叠的状态显示。在该情况下，也可以使对话栏a4和/或合成图像si在画面中移动。
356.产业上的可利用性
357.本发明能够广泛应用于用于远程维护作业现场内的设备的通信系统。
358.符号说明：
359.100：通信系统；1：自动仓库系统；11：自动仓库；13a：第一外部存储装置；13b：第二外部存储装置；15a：输送管理服务器；15b：信息管理服务器；17：作业人员终端；19：第一网关装置；2：维护据点；21a、21b；维护终端；23：第二网关装置；3：维护服务器；31：处理器；32：ram；33：rom；34：网络接口；35：存储装置；36：显示器；37：输入接口；4：中继服务器；41：处理器；42：ram；43：rom；44：网络接口；45：存储装置；46：显示器；47：输入接口；a1：利用履历显示栏；a2：房间选择栏；a3：用户信息变更栏；a4：对话栏；ac：访问信息；ai：关联信息；b1：登录按钮；b2：更新按钮；b3：选择按钮；b4：图像变更按钮；b5：更新按钮；ca：相机；ca1～ca4：相机；ch：发言气泡；el1：第一设备列表；el2：第二设备列表；fi：运转信息；fm：现场图像；fs：文件选择栏；gi：合成图像制作信息；gl：网关列表；i1：登录画面；i2：初始画面；i3：显示画面；ico1：第一图标；ico2：第二图标；ico3：第三图标；ico4：第四图标；ico5：第五图标；ico6：第六图标；ico7：第七图标；ico8：第八图标；in：识别信息；l1：利用履历列表；li：登录信息；m1：类别变更栏；mi：维护信息；nw：网络；o：对象；pu：弹出窗口；r1：设备名记录部分；r2：地址记录部分；r3：子id记录部分；r4：子类型记录部分；r5：状态记录部分；se：传感器；sh1：第一交换式集线器；sh2：第二交换式集线器；sh3：第三交换式集线器；si：合成图像；t1：用户id输入栏；t2：密码输入栏；t3：备忘录栏；t4：信息编辑栏；ui：用户信息。