基于增强现实的机械紧固作业方法与流程

1.本发明涉及基于增强现实的机械紧固作业方法。


背景技术：

2.增强现实(augmented reality)是在人、相机感知的现实空间中重叠通过由服务器(计算机)等构成的3d-cad数据、cg(computer graphics)等技术而构建的虚拟空间、从而增强人感知的空间的(增强现实空间)技术。
3.以往，已知有如下一种作业管理系统，其通过将经由工具、计测器取得的与螺栓、凸缘等的紧固有关的信息、和用于作业的工具及计测器数据、作业员等的id信息建立关联来确保可追溯性，从而实现高品质的作业管理(例如，参照专利文献1)。
4.需要说明的是，可追溯性(或者也称为“可追踪性”)是指，能够从生产阶段起至最终消耗阶段或废弃阶段为止追踪物品的流通路线。
5.在先技术文献
6.专利文献
7.专利文献1：专利第5065851号公报


技术实现要素：

8.发明要解决的课题
9.专利文献1所记载的作业管理系统是如下那样的系统：对于与凸缘紧固相关的各个螺栓紧固作业数据，能够确保对其进行设定、计测了的紧固工具、计测器、所使用的螺栓等的可追溯性，能够防止人为错误所导致的设定紧固转矩的目标值或者设定紧固余量的目标值的输入错误、实测紧固转矩值、实测紧固余量的记载错误。
10.然而，专利文献1所记载的作业管理系统需要在与凸缘紧固相关的全部的螺栓中具备rfic标签。而且，为了接收发送这些螺栓所具备的rfic标签的信息，需要准备具有延伸至把持这些螺栓的头部的天线的紧固工具，因此其运用成本有可能变大。
11.为此，本发明的目的在于，提供一种运用成本较小且高品质的机械紧固作业方法，其不需要在紧固部附加rfic标签等识别标识，不需要紧固部与紧固工具之间的数据的接收发送，通过利用增强现实来记录某作业者实施了的机械紧固作业的内容以确保可追溯性，从而促进向其他作业者的作业移交等。
12.用于解决课题的方案
13.为了解决上述课题，代表性的本发明的机械紧固作业方法之一是由第一作业者使用将虚拟空间重叠于现实空间而生成的增强现实空间而进行的机械紧固作业方法，其中，所述现实空间包括机械紧固部、以及套在所述机械紧固部上的工具，所述虚拟空间包括模拟所述机械紧固部的机械紧固部虚拟体、以及模拟所述工具的工具虚拟体，在所述增强现实空间中，所述机械紧固部与所述机械紧固部虚拟体一一对应，并且所述工具与所述工具虚拟体一一对应，生成所述增强现实空间的增强现实系统具有：相机，其拍摄所述现实空
间；服务器，其构成为与所述相机连接，对由所述相机拍摄到的图像进行解析，生成增强现实空间；以及所述工具，其取得在所述机械紧固部的松紧时观察到的松紧信息，并与所述服务器进行所述松紧信息的接收发送，所述机械紧固作业方法包括如下步骤：在所述工具检知到松紧所述机械紧固部的所述松紧信息时，确定与所述机械紧固部一一对应的所述机械紧固部虚拟体，并在所述虚拟空间中显现所确定的所述机械紧固部虚拟体。
14.发明效果
15.根据根据本发明，能够提供一种运用成本较小且高品质的机械紧固作业方法，其不需要对紧固部附加rfic标签等识别标识、紧固部与紧固工具之间的数据的接收发送，通过利用增强现实、并记录某作业者实施了的机械紧固作业的内容以确保可追溯性，从而促进向其他作业者的作业移交等。
16.上述以外的课题、结构以及效果通过以下的实施方式的说明而变得清楚。
附图说明
17.图1是本发明的实施方式的、与基于增强现实的机械紧固作业方法相关的系统结构的示意图。
18.图2是示出本发明的实施方式的、基于增强现实的机械紧固作业方法中的组装作业的组装图。
19.图3是示出本发明的实施方式的、指示将部件安装于基盘的作业的作业指示书的一例的图。
20.图4是示出本发明的实施方式的、代表用于机械紧固作业的螺栓的位置的代表点的示意图。
21.图5是示出本发明的实施方式的、利用具备套筒的工具紧固螺栓时的从工具的代表点至螺栓的代表点的关系的示意图。
22.图6是示出本发明的实施方式的、利用工具紧固螺栓时观察到的紧固转矩的推移的示意图。
23.图7是示出本发明的实施方式的、对本发明的基于增强现实的机械紧固作业方法进行说明的流程图(部分1)的图。
24.图8是示出本发明的实施方式的、对本发明的基于增强现实的机械紧固作业方法进行说明的流程图(部分2)的图。
25.图9是示出本发明的实施方式的、对本发明的基于增强现实的机械紧固作业方法进行说明的流程图(部分3)的图。
26.图10是示出本发明的实施方式的、对本发明的基于增强现实的机械紧固作业方法进行说明的流程图(部分4)的图。
27.图11是示出本发明的实施方式的、对本发明的基于增强现实的机械紧固作业方法进行说明的流程图(部分5)的图。
28.图12是示出本发明的实施方式的、对本发明的基于增强现实的机械紧固作业方法进行说明的流程图(部分6)的图。
29.图13是示出本发明的实施方式的、第一作业者将插入规定的位置的螺栓临时紧固的情形的示意图。
30.图14是本发明的实施方式的、记录第一作业者的螺栓紧固作业的数据表，且是螺栓紧固作业前的数据表。
31.图15是示出本发明的实施方式的、在虚拟空间中显现模拟工具的工具虚拟体的情形的示意图。
32.图16是示出本发明的实施方式的、在虚拟空间中显现模拟螺栓的螺栓虚拟体的情形的示意图。
33.图17是本发明的实施方式的、记录第一作业者的螺栓紧固作业的数据表，且是对螺栓进行紧固作业后的数据表。
34.图18是本发明的实施方式的、在第一作业者紧固了全部的螺栓后显示于增强现实空间的图像，且是捕获了包含紧固了的螺栓、以及在该紧固了的螺栓的附近显示的紧固作业完成信息的图像的示意图。
35.图19是本发明的实施方式的、基于第一作业者的紧固作业制作出的对第二作业者指示紧固作业的作业指示书(作业手册)。
36.图20是本发明的实施方式的、显示于第二作业者的透过型屏幕的增强现实空间的图像，且是示出第二作业者接下来紧固的螺栓的位置的示意图。
37.图21是示出本发明的实施方式的、第二作业者基于显示于第二作业者的透过型屏幕的增强现实空间的图像(图5)将插入规定的位置的螺栓临时紧固的情形的示意图。
38.图22是示出本发明的实施方式的、在第二作业者利用工具紧固螺栓时在虚拟空间中确定已利用工具紧固了的螺栓的步骤的示意图。
39.图23是本发明的实施方式的、记录第二作业者的螺栓紧固作业的数据表，且是对螺栓进行紧固作业后的数据表。
40.图24是本发明的实施方式的、在第二作业者紧固了全部的螺栓后显示于增强现实空间的图像，且是捕获了包含紧固了的螺栓、以及在该紧固了的螺栓的附近显示的紧固作业完成信息的图像的示意图。
41.图25是本发明的实施方式的、构成为实施基于增强现实的机械紧固作业方法中的功能的计算机系统的框图。
具体实施方式
42.以下，参照附图对本发明的实施方式进行说明。需要说明的是，本发明并不被该实施方式限定。另外，在附图的记载中，对相同部分标注有相同的附图标记。
43.如上所述，本发明涉及如下那样的方法：利用增强现实，记录作业者对螺栓等进行紧固或松动的与机械紧固有关的作业内容，或者发出作业指示以使得其他作业者能够作业某作业者作业了的内容，并且能够容易地确认并保存作业指示了的作业内容被可靠地实施了的情况。
44.本说明书中的现实空间是指，放置有作业者通过自己的视觉所得到的像、或者相机10拍摄到的像的空间。另外，本说明书中的虚拟空间是指，通过3d-cad、cg等数字信息所构建的服务器(计算机)内的空间。
45.另外，本说明书中的机械紧固包括基于六角螺栓的紧固、基于内六角螺栓的紧固、基于铆钉的紧固等。列举基于六角螺栓的紧固为例来说明实施本发明的方式。
46.《系统结构》
47.首先，参照图1对本发明的实施方式的、与基于增强现实的机械紧固作业方法相关的系统结构进行说明。
48.图1是与基于增强现实的机械紧固作业方法相关的系统100的结构的示意图。该系统100由作业者穿戴在身上的可穿戴装置7、具有能够接收发送转矩信息等的通信功能的工具rtn、储存有设计图、作业指示书等的网络服务器26、以及与前述的各种设备等连接的网络5构成。
49.[可穿戴装置7]
[0050]
可穿戴装置7是作业者穿戴在身上的设备。该可穿戴装置7在例如是作业者佩戴在头上的设备的情况下，被称作头套(head gear)等。可穿戴装置7由以作业者的视角取得影像的相机10、对由相机10拍摄到的图像等进行图像处理并且具有与网络5通信的功能的增强现实服务器12、以及形成作业者的视野的透过型屏幕(透过型屏幕)14构成。
[0051]
可穿戴装置7所具备的透过型屏幕14具有透过性以使得作业者能够确保视野。相机10能够拍摄与作业者透过透过型屏幕14在视觉上捕捉的像几乎相同的像。增强现实服务器12能够将在相机10拍摄到的现实空间的影像上重叠了增强现实服务器12所创建的虚拟空间的影像而得到的增强现实空间的影像投影至该透过型屏幕14。
[0052]
可穿戴装置7所具备的增强现实服务器12是具有保存生成增强现实的应用软件、各种数据的存储器区域、对作业者经由可穿戴装置7表示的请求事项进行处理的处理部、以及与网络5进行数据的接收发送的通信部的计算机。
[0053]
增强现实服务器12具有如下功能：对相机10拍摄到的现实空间(实体)信息进行图像解析，生成与后述的工具rtn以及套筒rtsn对应的具虚拟体itm、与螺栓rbn对应的螺栓虚拟体ibn等，并且使它们显现在虚拟空间中，或者使显现在虚拟空间中的物体与现实空间重叠而创造出增强现实空间，或者在虚拟空间中判断工具虚拟体itm与螺栓虚拟体ibn的干涉(碰撞)。
[0054]
增强现实服务器12在作业者实施螺栓紧固作业时，取得并储存各螺栓的位置信息、表示以工具为起点而螺栓所在的方向的方向信息等。例如，增强现实服务器12可以取得并保管向作业员示教的在拧紧各螺栓时所用的紧固顺序、紧固下限转矩、紧固目标转矩、紧固上限转矩的数据、作业员在实际紧固螺栓时所观察到的紧固完成转矩、紧固日期时间等信息。
[0055]
而且，增强现实服务器12也可以具备如下功能：保存第一作业者的作业内容，制作在向第二作业者示教第一作业者的作业内容时提供的作业手册，将该作业手册示出于透过型屏幕14以向第二作业者指示作业内容，并且取得并保管第二作业者的紧固作业结果(紧固完成转矩、作业日期时间等信息)。
[0056]
另外，增强现实服务器12也可以经由网络5取得储存于网络服务器26的任意的信息，并将该信息投影至透过型屏幕14来向作业员通知信息。
[0057]
需要说明的是，增强现实服务器12可以与相机10一体构成，也可以经由网络5将增强现实服务器12所具有的存储器区域、处理部设置于远离可穿戴装置7的场所。
[0058]
[工具rtn]
[0059]
工具rtn是拧紧或拧松螺栓、螺钉、铆钉等机械紧固部的工具。以下，有时将拧紧或
拧松这些机械紧固部的动作记为“松紧”。
[0060]
需要说明的是，该工具rtn的“n”是表示存在根据每种工具的用途、螺栓等机械的紧固部的尺寸等而准备的多个种类的下标。另外，在本说明书中，为了便于说明，例示机械紧固部为螺栓、铆钉的情况，但本发明的机械紧固部并不局限于此，也可以是钉子、销钉等任意的紧固件。
[0061]
工具rtn具有：工具柄部rten，其包括供作业者把持的握持部；工具头部rthn，其与工具柄部rten连接；以及通信显示部rtt，其与网络5接收发送工具rtn松紧了机械紧固部的松紧信息，并且向作业者显示与松紧相关的信息。
[0062]
在机械紧固部为螺栓、螺钉的情况下，松紧信息是在拧紧螺栓(螺钉)rbn时所观察到的从紧固开始时至紧固完成时的紧固转矩信息(包括紧固转矩产生的时间历时数据等)、在拧松已紧固的螺栓时所计测的残留转矩信息。
[0063]
另外，在机械紧固部为铆钉的情况下，松紧信息也可以是击打铆钉的铆钉机所把持的铆钉的轴断裂时的信息。
[0064]
在机械紧固部为螺栓的情况下，工具头部rhtn可以是能够将对应于螺栓尺寸、螺栓种类的各种套筒rtsn穿戴于工具rtn的头部rthn的转矩扳手，也可以呈扳钳形状、活动扳手形状等各种各样的转矩扳手形状。另外，在机械紧固部为铆钉的情况下，工具头部rhtn可以是包括把持铆钉的抓持壳体的部位。
[0065]
工具rtn中一并设置的通信显示部rtt的显示部具有如下功能：向作业者示教紧固目标转矩值(tr_set)，向作业者传达作业者以目标转矩值(tr_set)以上且紧固上限转矩值(tr_max)以下紧固了螺栓的情况、以及以规定的紧固转矩值完成了紧固作业的信息等。也可以构成为这些信息显示于透过型屏幕14、或者显示于作业者的手腕等具备的其他可穿戴终端的显示部等。
[0066]
另外，在机械紧固部为铆钉的情况下，通信显示部rtt可以构成为，与把持铆钉的抓持壳体连接，并且接收发送相当于具柄部rten的手柄所具备的触发器的on/off信号。
[0067]
[网络服务器26]
[0068]
网络服务器26是储存示出制造物(例如，铁道车辆、机动车等)的制作内容的制作作业指示书、示出维护作业的内容的维护作业指示书等的服务器。另外，网络服务器26具有如下功能：根据增强现实服务器12的请求，从所储存的数据之中仅提取必要的数据并将其提供给增强现实服务器12。
[0069]
另外，网络服务器26具有如下功能：通过对相机10拍摄到的基盘及部件(例如，图2所示的基盘rd2以及部件rd1)、工具rtn、套筒rtsn等的图像实施边缘处理等图像解析而从紧固对象物提取特征点，对该特征点分配现实空间原点ro(0，0，0)，或者在与现实空间对应的虚拟空间中，生成与现实空间原点一一对应的虚拟空间原点io(0，0，0)。
[0070]
需要说明的是，在此的图像解析例如可以是canny算法、二阶法、阈值处理及连续处理、基于卷积神经网络的处理等任意的方法。
[0071]
另外，网络服务器26具有如下功能：对相机10拍摄到的图像进行解析，从而取得工具rtn以及套筒rtsn等的主要尺寸等尺寸信息，或者取得工具rtn以及套筒rtsn等在现实空间中的位置信息(例如，表示三维位置的坐标)，或者以与现实空间原点ro一一对应的虚拟空间原点io为基准而将现实空间的位置信息以及尺寸信息转记至虚拟空间。
[0072]
另外，网络服务器26也可以构成为，对在工具rtn以及套筒rtsn等上标记的qr码(注册商标)等标记进行图像解析，并且读取标记中储存的信息而取得上述的尺寸信息、位置信息。
[0073]
需要说明的是，能够将上述的增强现实服务器12的功能(处理)的一部分或其绝大部分置换为网络服务器26的功能(处理)。因此，为了便于说明，在之后的说明中，不区分增强现实服务器12的功能(处理)和网络服务器26的功能(处理)，作为增强现实服务器12或者网络服务器26中的任一方的功能(处理)，仅记载为服务器的功能(处理)。
[0074]
另外，如上所述，机械紧固部存在螺栓、螺钉、铆钉等，但在以下的说明中，作为代表性的机械紧固部，列举铆钉为例来说明用于实施的方式。
[0075]
《作业内容》
[0076]
接下来，参照图2，对本发明的实施方式的、基于增强现实的机械紧固作业方法中的组装作业进行说明。
[0077]
图2是示出本发明的实施方式的基于增强现实的机械紧固作业方法中的组装作业200的一例的组装图。在此的组装作业200是在现实空间中通过4根螺栓rb1～rb4(以下，rbn(n＝1～4)，或者简记为rbn)将图2所示的部件rd2固定于基盘rd1的作业。该基盘rd1具有螺纹孔rq1～rq4，该螺纹孔rq1～rq4具有供贯通了部件rd2的螺栓rbn螺合的螺纹槽。另外，部件rd2在其四角具备供螺栓rbn沿垂直方向贯通的贯通孔rp1～rp4。
[0078]
接下来，参照图3，对本发明的实施方式的、指示将部件安装于基盘的作业的作业指示书进行说明。
[0079]
图3是示出指示将部件安装于基盘的作业的作业指示书360的一例。如图3所示，在作业指示书360中例如管理有图号、附图名称、部件名称、材质、螺栓尺寸、螺栓颈下长度、螺栓材质、规定紧固转矩值(下限值、目标值、上限值等)、螺栓根数、工具以及套筒种类等信息。也可以在预先获得了螺栓位置、处于螺栓的周围、跟前的障碍物等的信息的情况下，将螺栓rbn与用于螺栓rbn的套筒rtsn的对应关系在图3所示的作业指示书360中记载。
[0080]
需要说明的是，在图3中，关于用于图2所示的紧固作业的套筒，以螺栓rb1、rb2、rb4被50mm的套筒长(d21)的套筒rts1紧固、螺栓rb3被80mm的套筒长(d22)的套筒rts2紧固的情况作为了例子。
[0081]
《表示螺栓位置的代表点的定义》
[0082]
接下来，参照图4，对本发明的实施方式的、代表用于机械紧固作业的螺栓的位置的代表点进行说明。
[0083]
图4是示出代表用于机械紧固作业的螺栓的位置的代表点的示意图。列举六角螺栓为例来说明代表用于机械紧固作业的螺栓的位置的代表点的位置。六角螺栓由被套筒rtsn覆盖的头部a、与头部a连接的圆筒部b、以及与圆头部b连接的螺纹部c构成。表示螺栓rbn的位置的螺栓位置(坐标)orbn设为连接头部a和圆头部b的面与螺栓rbn的轴rz交叉的点。
[0084]
表示上述的现实空间的螺栓rbn的位置的螺栓位置orbn与表示虚拟空间中形成的虚拟螺栓ibn的位置的虚拟螺栓位置oibn一一对应。
[0085]
之后，在将螺栓虚拟体ibn与未插入现实空间的螺栓rbn的状态的部件rd1的螺栓孔rpn重叠地显示情况(增强现实空间，参照图14)下，螺栓虚拟体ibn的位置oibn显示于部
件rd1的表面，得到作业者能够容易地掌握螺栓rbn被施工了的状态的效果。
[0086]
需要说明的是，列举六角螺栓为例对螺栓位置的定义方法进行了说明，但在取代六角螺栓而为内六角螺栓、螺钉的情况下，只要将表示螺栓的位置的代表位置设为上述的位置，则也能够得到同样的效果。
[0087]
《紧固状态的工具、套筒、以及螺栓的位置关系的说明》
[0088]
接下来，参照图5，对本发明的实施方式的、利用具备套筒的工具紧固螺栓时的从工具的代表点至螺栓的代表点的关系进行说明。
[0089]
图5是示出利用具备套筒的工具紧固螺栓时的从工具的代表点至螺栓的代表点的关系的示意图。更具体而言，图5是使用由工具头rthn以及工具柄部rten构成的工具rtn以规定的紧固目标转矩(tr_set)对将部件rd2紧固于基盘rd1的螺栓rbn进行紧固的作业完成时的示意图。
[0090]
在将螺栓rbn的代表位置(坐标)orbn以在纸面内与由水平方向的x轴和纸面的法线方向的y轴构成的x-y平面正交的方式配置时，在z轴(纸面内，铅垂方向的轴)上，工具头rth的位置(坐标)orthn与圆筒状的套筒rtsn的轴重叠。
[0091]
在将工具头rthn的厚度(z方向的尺寸)设为d1n、将套筒rtsn的沿着z轴的高度尺寸设为d2n时，从工具头rthn的代表位置(坐标)orthn至螺栓rbn的位置orbn的工具尺寸h1(以下，有时简记为尺寸h1)成为工具头厚度尺寸d1n与套筒长度尺寸d2n的和。
[0092]
需要说明的是，在图5所示的工具头rthn的侧面以及套筒rtsn的侧面标记有在由相机10拍摄后用于图像解析的标记。
[0093]
《产生工具rtn观察的螺栓紧固转矩的情形的说明》
[0094]
接下来，参照图6，对本发明的实施方式的、利用工具紧固螺栓时观察到的紧固转矩的推移进行说明。
[0095]
图6是示出利用工具紧固螺栓时观察到的紧固转矩值(以下，有时简记为转矩)的推移的示意图。通常，对于螺栓，为了不产生因过度的紧固引起的螺栓断裂、因紧固不足引起的松动，优选根据在螺栓中产生的轴力对螺栓的紧固状态进行管理。然而，直接观察螺栓的轴力并不容易，因此取代螺栓的轴力，根据与螺栓的轴力成比例的紧固转矩来管理螺栓的紧固状态。
[0096]
图6的横轴是表示时间的轴，其纵轴是表示在利用工具rtn紧固螺栓rbn时工具rtn计测的紧固转矩的轴。工具rt所具备的显示通信部rtt经由上述的网络(例如，图1所示的网络5)与网络服务器(例如，图1所述的网络服务器26)接收发送在利用工具rtn紧固螺栓rbn时取得的紧固转矩信息(紧固转矩的时间历时数据、以及紧固转矩等)。
[0097]
在利用工具rtn开始紧固螺栓rbn时，工具rtn在紧固开始时刻t_b观察紧固开始转矩tr_b。之后，使工具rtn返回(棘轮的返回动作)并再次利用工具rtn紧固螺栓rbn，因此交替地观察到、观察到紧固转矩的倾斜部、以及在返回动作时观察到的没有观察到紧固转矩的水平部。
[0098]
特别是，在观察紧固开始转矩tr_b时的倾斜部的倾斜度(例如，转矩值相对于工具柄部rten扫过的角度的上升率)超过了规定的倾斜度的情况下，网络服务器(例如，图1所示的网络服务器26或者增强现实服务器12)在判断为螺栓rbn发生了卡住(换句话说，由于螺栓rbn的螺纹牙与基盘rd1的螺纹孔rqn的摩擦热，螺纹牙的表面熔融(熔敷)于螺纹孔，从而
螺栓rbn变得无法移动)、所谓的“烧结”现象时，也能够经由透过型屏幕14向作业者指示紧固位置的检查等。上述的卡住(烧结)在利用图7～图12所说明的流程图的步骤150以及步骤390中被检测。通过包括这些步骤，能够早期检测螺栓的卡住，从而能够实现具有规定的品质的紧固作业。
[0099]
螺栓rbn设定有可得到规定的轴力的紧固目标转矩tr_set、以该紧固目标转矩tr_set为基准而在紧固转矩的不足侧能够允许的下限的紧固下限转矩tr_min、以及在紧固转矩的过剰侧能够允许的上限的紧固上限转矩tr_max。通常，紧固下限转矩tr_min以及紧固上限转矩tr_max可以考虑使用环境等来决定。
[0100]
《记录第一作业者的作业内容并将制作出的作业步骤(手册)向第二作业者示教的方法》
[0101]
接下来，参照图7至图12对本发明的基于增强现实的机械紧固作业方法进行说明。
[0102]
图7至图12是示出对本发明的基于增强现实的机械紧固作业方法进行说明的流程图的部分1至部分6的图。另外，步骤10(s10)至步骤220(s220)与第一作业者的作业相关，步骤230(s230)至步骤460(s460)与被示教了第一作业者的作业内容的第二作业者的作业相关。
[0103]
在本发明的实施方式的基于增强现实的机械紧固作业方法中，在没有3d-cad模型等虚拟空间的信息的情况下，能够将第一作业者的作业内容记录于增强现实空间(确保可追溯性)，基于该第一作业者的作业记录制作面向第二作业者的作业步骤(手册)，将制作出的作业步骤经由增强现实空间向第二作业者示教。
[0104]
具体而言，本发明的基于增强现实的机械紧固作业方法是如下那样的方法：增强现实服务器12(例如，图1所示的增强现实服务器12或者网络服务器26)在保存了第一作业者的作业内容后，利用该保存的信息制作作业步骤(手册)，将制作出的作业步骤经由第二作业者穿戴的可穿戴装置7向第二作业者示教。
[0105]
以下，列举图2所示的组装作业为例，参照图7～图12的流程图，对构成基于增强现实的机械紧固作业方法的各步骤的内容进行说明。
[0106]
《第一作业者的紧固作业》
[0107]
步骤10(s10)：开始基于增强现实的机械紧固作业(方法)。
[0108]
步骤20(s20)：第一作业者根据组装图(图2)以及作业指示书(图3)等掌握组装作业内容。
[0109]
步骤30(s30)：第一作业者基于所占掌握的作业内容，在将部件rd2定位于基盘rd1后，如图13所示，将螺栓rbn(n＝1～4)插入部件rd2的贯通孔rpn(n＝1～4)后将其手动紧固(临时紧固)于基盘rd1的螺纹孔rqn(n＝1～4)。
[0110]
需要说明的是，螺栓rbn(n＝1～4)为临时紧固的状态，因此螺栓rbn(n＝1～4)的头部a成为从部件rd2的上表面浮起的状态。
[0111]
步骤40(s40)：第一作业者穿戴可穿戴装置7，接通电源并启动增强空间生成应用软件。
[0112]
步骤50(s50)：服务器制作记录第一作业者的作业内容的记录表。该记录表是第一作业者紧固螺栓的作业前的数据表(参照图14)。
[0113]
该数据表针对紧固作业的对象的螺栓rbn(n＝1～4)，具备记录螺栓的代表点(图4
的orbn(n＝1～4))的位置坐标(x，y，z)、在工具rtn上的一点(工具头代表位置orthn)具有起点且表示从工具rtn观察时螺栓rbn(n＝1～4)所存在的方向的单位方向矢量(in，jn，kn)(n＝1～4，以下有时简记为方向矢量)、螺栓rbn(n＝1～4)的紧固转矩下限值tr_min(nm)、紧固目标转矩值tr_set(nm)、紧固转矩上限值tr_max(nm)、实际紧固的转矩值(tr_rslt)、紧固螺栓rbn(n＝1～4)的顺序(seq)、作业日、以及作业时刻的栏。
[0114]
需要说明的是，在s50的时间点，在该数据表(图14)中仅既有从作业指示书(图3)等得到的螺栓rbn(n＝1～4)的紧固转矩下限值tr_min(nm)、紧固目标转矩值tr_set(nm)、以及紧固转矩上限值tr_max(nm)。
[0115]
步骤60(s60)：服务器对相机10捕捉到的作业对象物(图13所示的利用螺栓rbn(n＝1～4)临时紧固了的基盘rd1和部件rd2)进行图像处理，在找到作业对象物的特征点之后，在该特征点配置现实空间原点ro。
[0116]
步骤70(s70)：服务器在虚拟空间中配置与现实空间原点ro一一对应的虚拟空间原点io。
[0117]
步骤80(s80)至步骤200(s200)是第一作业者紧固4根螺栓rbn(n＝1～4)的循环作业。第一作业者可以基于部件rd2的大小、特征并基于自己的经验来决定紧固螺栓rbn(n＝1～4)的顺序，也可以参照记有紧固螺栓的顺序的作业要领书(未图示)等来进行决定。
[0118]
步骤90(s90)：第一作业者将装配有套筒rtsn的工具rtn套在临时紧固了的螺栓rb1的头部a上。
[0119]
在预先能够掌握螺栓rbn与套筒rtsn的对应、且该对应信息已记载于图3所示的作业指示书的情况下，也可以在s90之后追加第一作业者选择正确的套筒rtsn并判断是否要紧固螺栓rbn的流程。
[0120]
步骤100(s100)：服务器根据相机10取得的图像来掌握处于工具基准面tsp内的工具头位置orthn。
[0121]
步骤110(s10)：服务器以工具基准面tsp包含的工具头位置orthn为起点，朝向工具基准面tsp的未被相机10视觉观察到的一侧的空间，生成工具基准面tsp的单位法线矢量nv，并记录单位法线矢量nv的坐标(in，jn，kn)(n＝1～4)。
[0122]
单位法线矢量nv表示存在于工具基准面tsp的一方的面和另一方的面中的任一面侧的螺栓rbn(n＝1～4)所在的方向。因此，以下，将单位法线矢量nv简记为方向矢量nv。
[0123]
步骤120(s120)：服务器在虚拟空间中对工具头rthn和套筒rtsn进行图像分析而生成工具虚拟体itm。
[0124]
步骤130(s130)：服务器使工具虚拟体itm从方向矢量nv的起点的工具头位置orthn起沿着方向矢量nv显现。
[0125]
接下来，参照图15，对步骤90至步骤120所记载的服务器的动作(在虚拟空间中使模拟工具rtn的工具虚拟体itm显现的步骤)进行详细说明。图15是示出本发明的实施方式的、在虚拟空间中显现模拟工具的工具虚拟体的情形的示意图。
[0126]
需要说明的是，实际上存在于zm轴上的itm与工具头rthn以及套筒rtsn重叠，但为了便于说明，在图15以及后述的图16、图17中，将itm与工具头rthn以及套筒rtsn分离地记述。
[0127]
首先，第一作业者透过透过型屏幕14视觉观察具有套在螺栓rb1上的套筒rtsn的
工具rtn。此时，相机10也捕捉第一作业者视觉观察到的像。
[0128]
需要说明的是，为了使相机10容易掌握工具头rthn的特征，也可以在工具头rthn上套有具有相机10容易捕捉的特征的盖等。
[0129]
服务器对相机10捕捉到的工具rtn的工具头rthn进行图像处理，在虚拟空间中生成工具基准面tsp。另外，与此相应地，服务器将工具基准面tsp所包含的工具头位置坐标orthn转记至虚拟空间，在虚拟空间中生成工具头位置oithn。
[0130]
服务器以虚拟空间的工具头位置oithn为起点，在朝向工具基准面tsp的未被相机10视觉观察的一侧的空间的法线方向上生成单位法线矢量(方向矢量)nv，并记录方向矢量nv的坐标(in，jn，kn)(n＝1～4)。
[0131]
另外，服务器根据通过图像处理所得到的圆筒状的套筒rtsn的外径or、以及通过图像处理所得到的工具头厚度尺寸d1n与套筒长度尺寸d2n的和的尺寸h1，在虚拟空间中生成具有外径ro和轴向的长度h1的圆筒的工具虚拟体itm。
[0132]
需要说明的是，在通过服务器的图像解析难以得到工具头厚度尺寸d1n、套筒长度尺寸d2n、套筒rtsn的外径or的情况下，也可以通过图像解析来识别工具头rthn以及套筒rtsn的种类。之后，服务器也可以取得预先记录在服务器中、并且与通过图像解析识别出的种类建立关联的工具头厚度尺寸d1n、套筒长度尺寸d2n、套筒rtsn的外径or，并计算尺寸h1，从而生成工具虚拟体itm。另外，在后述的步骤340中也是同样的。
[0133]
接下来，服务器将工具虚拟体代表点oitm与虚拟空间的工具头位置oithn(＝现实空间的工具头位置orthn)重叠，并且使工具虚拟体oitm向朝向方向矢量nv的方向显现。
[0134]
步骤140(s140)：以紧固目标转矩tr_set为目标，第一作业者利用带套筒rtsn的工具rtn开始紧固(正式紧固)螺栓rb1。
[0135]
步骤150(s150)：服务器接收工具rtn计测的紧固开始转矩tr_b，并将接收到紧固开始转矩tr_b的时刻记录为紧固开始时刻t_b。
[0136]
步骤160(s160)：第一作业者通过确认到工具rtn观察的紧固完成转矩tr_rslt接近目标转矩tr_set(例如，预先设定的规定的范围以内)且处于紧固下限转矩tr_min与紧固上限转矩tr_max之间的情况，完成螺栓br1的紧固。
[0137]
步骤170(s170)：服务器记录工具rtn发送的紧固完成转矩tr_rslt，并将观察到紧固完成转矩tr_rslt的时刻记录为紧固完成时刻t_e。
[0138]
步骤180(s180)：服务器确定与由工具rtn松紧的螺栓rbn一一对应的圆筒状的螺栓虚拟体ib1，并且在沿着方向矢量nv的方向上在虚拟空间中生成并显现螺栓虚拟体ib1。
[0139]
步骤190(s190)：服务器将与现实空间的螺栓rb1对应的虚拟螺栓体ib1的代表位置1ob1的坐标(x1，y1，z1)、方向矢量nv的坐标(i1，j1，z1)、作业日期时间、螺栓rb1的紧固完成时刻(观察到紧固完成转矩tr_rslt的时刻)记录于第一作业表(图14所示的数据表)。
[0140]
在此，螺栓虚拟体ib1的坐标(x1，y1，z1)、以及以工具基准面tsp所包含的工具头位置orthn为起点而表示螺栓虚拟体ib1所在的方向的方向矢量(i1，j1，z1)是机械紧固部的位置信息。
[0141]
此时，紧固螺栓rbn时所用的套筒rtsn的信息也可以一并记录于第一作业表。通常，紧固螺栓rbn时所选定的套筒rtsn根据螺栓rbn的位置、在螺栓rbn的跟前存在足够的空间的情况、障碍物的有无等来选定。
[0142]
因此，在第一作业者初次进行作业的情况下，有可能难以整理与套筒rtsn相关的信息并预先将其记载于第一作业表(图14)、作业规格书(图3)。因此，也可以将与第一作业者选定的套筒rtsn相关的套筒信息记录于第一作业表，向第二作业者传达作业内容，并且根据相机10拍摄的图像等、例如如后述的步骤300等那样来确认在第二作业者的作业中是否选定了适当的套筒rtsn。
[0143]
步骤200(s200)：与达到螺栓rbn的根数的循环次数(4次)相应地，重复s80至s200的各步骤。
[0144]
接下来，参照图16，对s180至s190记载的服务器的动作(螺栓虚拟体ibn的生成和显现，将由第一作业者进行的作业记录于数据表的步骤)进行详细说明。图16是示出本发明的实施方式的、在虚拟空间中显现模拟螺栓的螺栓虚拟体的情形的示意图。
[0145]
首先，服务器掌握图2的组装图、或者图3的作业指示书、或者通过图像解析所取得的螺栓rbn的螺栓尺寸、螺栓颈下长度，形成与它们对应的大小的圆筒状的螺栓虚拟体ibn。
[0146]
需要说明的是，服务器在难以通过图像解析掌握螺栓尺寸、螺栓颈下长度等的情况下，也可以根据储存于服务器的作业指示书(图3)来掌握螺栓尺寸、螺栓颈下长度，以形成螺栓虚拟体ibn。
[0147]
螺栓虚拟体ibn的全长是螺栓rbn(n＝1～4)的头部a和圆头部b的沿着螺纹部c的z轴的尺寸的和，螺栓虚拟体ibn的外径是从z轴向观察螺栓rbn的头部a时的头部a的外径。
[0148]
服务器在取得螺栓虚拟体ibn的z轴向的尺寸后，在从螺栓虚拟体ibn的上端部下降了头部a的沿着z轴的尺寸的位置配置螺栓虚拟体代表点oibn。
[0149]
另外，服务器在观察到紧固完成转矩tr_rslt时，以螺栓虚拟体代表点oibn从工具虚拟体代表点(itm)起沿着方向矢量nv的方向位于工具头厚度尺寸d1n和套筒长度尺寸d2n的和的尺寸h1的点的方式，使圆筒状的螺栓虚拟体ibn显现。
[0150]
此时，圆筒状的工具虚拟体itm和圆筒状的螺栓虚拟体ibn以在包含方向矢量nv的共用的轴zm上配置工具虚拟体itm以及螺栓虚拟体ibn各自的轴、并且工具虚拟体itm的下端部与螺栓虚拟体ibn的上端部重叠的方式在虚拟空间中显现。
[0151]
在观察到紧固完成转矩tr_rslt时，配置螺栓虚拟体代表点oibn，因此能够在反映了由于利用工具rtn将通过手动紧固临时紧固了的螺栓rbn正式紧固所引起的下沉尺寸的位置、即部件rd2的上表面(螺栓的头部a的下表面抵接的面)配置螺栓虚拟体代表点oibn。
[0152]
通过利用具备上述的特征的方法，在利用了螺栓虚拟体代表点oibn的增强现实空间中向第二作业者示出螺栓位置时，螺栓rbn的位置位于部件rd2的上表面，因此第二作业者容易直观地掌握螺栓紧固时的状态，得到能够更容易理解作业内容的效果。
[0153]
接下来，参照图17，对本发明的实施方式的、记录第一作业者的螺栓紧固作业的数据表进行说明。
[0154]
图17是包含在第一作业者将全部的螺栓rbn(n＝1～4)紧固完成时(将s80至s200的循环进行了4周时)记录了与第一作业者的作业相关的各种数据的数据的数据表。
[0155]
需要说明的是，图17的作业完成后的数据表是在图14的作业前的数据表的空栏中追记了通过第一作业者紧固螺栓rbn(n＝1～4)而记录的各种数据而得的数据表。
[0156]
更具体而言，图17是在图14所示的数据表中追记了与现实空间的螺栓rbn(n＝1～4)的位置坐标对应的虚拟空间的位置坐标即螺栓虚拟体代表点oibn的坐标(xn，yn，zn)(n
＝1～4)、以虚拟空间的工具虚拟体itm的代表点oitm作为起点的方向矢量nv的坐标(in，jn，kn)(n＝1～4)、紧固完成转矩(tr_rslt)、紧固的顺序(seq)、作业日、以及作业时刻而得的图。
[0157]
需要说明的是，在图17所示的数据表中，也可以将紧固的顺序(seq)、作业日、以及作业时刻一并记为“时间信息”。另外，作业时刻设为在紧固了螺栓rbn(n＝1～4)时服务器接收到紧固完成转矩tr_rslt的时刻t_e，但也可以是螺栓紧固开始时刻t_b。
[0158]
步骤210(s210)：服务器根据螺栓rbn(n＝1～4)的作业时刻，掌握螺栓rbn(n＝1～4)被紧固的顺序(seq)并将其记录于上述的数据表。另外，与此相应地，服务器通过在图14所示的数据表的全部的空栏中记载数据，从而无紧固作业遗漏，再次确认全部的紧固对象螺栓rbn(n＝1～4)的紧固作业完成。
[0159]
而且，服务器能够根据从螺栓rbn1的紧固开始起至螺栓rbn4的紧固完成为止所需的时间计算第一作业者的工时作为重要因素。
[0160]
关于顺序(seq)，可以针对螺栓rbn(n＝1～4)的紧固完成了的各螺栓的紧固完成时刻t_e中的每个记录顺序，也可以设为在全部的螺栓的紧固完成的时间点、提取螺栓紧固开始时刻t_b或者螺栓紧固完成时刻t_e并按照从旧的时刻至新的时刻排列而成的顺序。
[0161]
步骤220(s220)：如图18所示，服务器在紧固了全部的螺栓rbn(n＝1～4)后，在包含紧固作业对象物的增强现实空间中，捕获并保存在螺栓rbn(n＝1～4)的附近显示有作业结果(作业者id、作业日、作业时刻、紧固完成转矩值tr_rslt)、作业指示书等)的图像。通过保存该捕获图像，即使在图17所示的记录有第一作业者的螺栓紧固作业的数据表的一部分数据损坏或丢失的情况下，也能够确保与螺栓的紧固作业有关的证据(可追溯性)。
[0162]
通过包括上述的各步骤的机械紧固作业方法，能够提供一种运用成本较小且高品质的机械紧固作业方法，其能够确认作业者应实施的螺栓紧固作业无作业遗漏地被可靠地进行了作业，并且能够记录进行作业的结果以确保可追溯性。
[0163]
《由第二作业者进行的紧固作业》
[0164]
接下来的步骤230及其之后的步骤是与由根据基于第一作业者的作业内容所生成的作业指示(手册)而被示教了作业内容的第二作业者进行的螺栓的紧固作业有关的步骤。
[0165]
步骤230(s230)：第一作业者穿戴可穿戴装置7，接通电源并启动增强空间生成应用软件。
[0166]
步骤240(s240)：服务器根据第一作业者的紧固作业完成时的第一作业表(图17)，制作记录将紧固完成转矩tr_rslt、作业日、以及作业时刻的数据除去了的第二作业者的螺栓紧固作业的第二作业表(图19所示的数据表)。此时，第二作业表具有第一作业者紧固的螺栓rbn的位置信息。
[0167]
步骤250(s250)：服务器对相机10捕捉到的作业对象物(图13所示的由螺栓rbn(n＝1～4)临时紧固了的基盘rd1和部件rd2)进行图像处理，找到作业对象物的特征点并配置现实空间原点ro。之后，服务器在虚拟空间中配置与该现实空间原点ro一一对应的虚拟空间原点io。
[0168]
步骤260(s260)：服务器在包含第二作业者的作业对象物的增强现实空间中，读取在s210中制作的第二作业表，以在s250中配置的虚拟空间原点io为基准，基于螺栓虚拟体代表点oibn的坐标(xn，yn，zn)(n＝1～4)以及以工具虚拟体itm的代表点oitm作为起点的
方向矢量nv的坐标(in，jn，kn)(n＝1～4)，在第二作业者的透过型屏幕14上的增强现实空间中显现螺栓虚拟体ibn(n＝1～4)。
[0169]
接下来，参照图20，对本发明的实施方式的、由第二作业者进行的螺栓的紧固作业进行说明。
[0170]
图20是显示于第二作业者的透过型屏幕的增强现实空间的图像，且是示出第二作业者接下来紧固的螺栓的位置的示意图。
[0171]
服务器根据记录了作业完成的第一作业者的作业历史的数据表(图17所示的第一作业表)，制作保留螺栓位置(xn，yn，zn)、表示从工具rbn起而螺栓rbn所在的方向的方向矢量nv(in，jn，kn)、以及紧固顺序、并仅消除了第一作业者进行了作业的紧固完成转矩tr_rslt、作业日、以及作业时刻的数据表(图19所示的第二作业表)。之后，服务器基于该第二作业表，能够在第二作业者的透过型屏幕14上显示第二作业者接下来紧固的螺栓位置、螺栓根数、紧固螺栓的顺序。
[0172]
其结果是，第二作业者不用浏览组装图(图2)、作业指示书(图3)便能够在短时间内准确地掌握接下来紧固的螺栓位置、螺栓根数、紧固螺栓的顺序。
[0173]
此时，由于将螺栓虚拟体ibn的代表位置oibn定义为图4所示的螺栓代表位置orbn，因此螺栓虚拟体ibn以螺栓虚拟体ibn(n＝1～4)的代表位置oibn位于部件rd2的表面的方式显示于第二作业者的透过型屏幕14，从而第二作业者能够容易地掌握螺栓紧固作业完成后的状态。
[0174]
通过将利用记录有第一作业者的作业历史的第一作业表(图17)而制作的第二作业表的信息投影于增强现实空间(例如，图1所示的透过型屏幕14)，从而能够向第二作业者指示螺栓rbn的紧固顺序。根据该指示，第二作业者例如能够以部件rd2相对于基盘rd1维持平行度的状态由第二作业者完成紧固作业，在根据部件rd2的形状、安装姿态等难以定位的情况下，第二作业者能够容易地将部件rd2固定于部件rd1。
[0175]
如上所述，螺栓rbn(n＝1～4)的紧固顺序(seq)可以设为在紧固完成的各螺栓每次被紧固时记录的顺序，也可以在全部的螺栓的紧固完成的时间点、提取螺栓紧固开始时刻t_b或者螺栓紧固完成时刻t_e并按照从旧的时刻至新的时刻排列而作为螺栓的紧固顺序。
[0176]
需要说明的是，向第二作业者示教第一作业者的作业内容(紧固的螺栓的位置、紧固螺栓的顺序等)的机构并不限定于第二作业者穿戴的可穿戴装置7所具备的透过型屏幕14，例如也可以通过在放置于作业现场的大的屏幕等上投影基于第一作业者的动作所制作的作业步骤(手册)，来向第二作业者示教作业步骤。
[0177]
接下来，返回图10，对步骤270及之后的步骤进行说明。
[0178]
步骤270(s270)：第二作业者基于经由透过型屏幕14指示的作业内容，在将部件rd2定位于基盘rd1后，将螺栓rbn(n＝1～4)以与图20所示的螺栓虚拟体ibn(n＝1～4)重叠的方式插入部件rd2的贯通孔rpn(n＝1～4)、之后手动紧固(临时紧固)基盘rd1的螺纹孔rqn(n＝1～4)。
[0179]
需要说明的是，如图21所示，螺栓rbn(n＝1～4)在临时紧固的状态下，螺栓rbn(n＝1～4)的头部a成为从部件rd2的上表面浮起的状态。
[0180]
步骤280(s280)至步骤430(s430)的步骤是第二作业者紧固4根螺栓rbn(n＝1～4)
的作业的循环(重复)。步骤290(s290)：第二作业者将装配有套筒rtsn的工具rtn套在临时紧固了的螺栓rb1的头部a上。
[0181]
步骤300(s300)：服务器对装配有套筒rtsn的工具rtn进行图像解析，判断第二作业者是否选择了适当的工具rtn以及套筒rtsn。如果没有选定适当的工具rtn以及套筒rtsn，则返回到s290的上位，选定适当的工具rtn。在选定了适当的工具rtn以及套筒rtsn的情况下，前进至接下来的步骤300。
[0182]
步骤310(s310)：服务器根据相机10取得的工具rtn以及套筒rtsn的图像，掌握与处于工具基准面tsp内的工具头位置orthn对应的虚拟空间的工具头位置oithn。
[0183]
步骤320(s320)：服务器从工具头位置orthn起向朝向工具基准面tsp的未被相机10视觉观察的一侧的空间的法线方向生成方向矢量nv，并记录方向矢量nv的坐标(in，jn，kn)(n＝1～4)。
[0184]
步骤330(s330)：服务器在虚拟空间中对工具头rthn和套筒rtsn进行图像分析而生成工具虚拟体itm。
[0185]
步骤340(s340)：服务器使工具虚拟体itm从方向矢量nv的起点的工具头位置orthn起沿着方向矢量nv显现。
[0186]
步骤340(s340)至步骤430(s430)的步骤是第二作业者紧固4根螺栓rbn(n＝1～4)的作业的循环(重复)。
[0187]
步骤350(s350)：第二作业者将装配有套筒rtsn的工具rtn套在临时紧固了的螺栓rb1的头部a上，以紧固目标转矩tr_set为目标，开始螺栓rb1的紧固(正式紧固)。
[0188]
步骤360(s360)：服务器判断在虚拟空间内工具虚拟体itm与一一对应于螺栓rb1的螺栓虚拟体ib1有无接触(干涉)。服务器如果判断为在虚拟空间中工具虚拟体itm不与螺栓虚拟体ib1，则本处理返回至s360的上位，如果判断为工具虚拟体itm与螺栓虚拟体ib1接触，则本处理前进至步骤370。
[0189]
步骤370(s370)：服务器判断工具rtn是否产生了紧固转矩。服务器如果判断为工具rtn未产生紧固转矩，则返回至s370的上位，如果判断为产生了紧固转矩，则前进至步骤380。
[0190]
步骤380(s380)：在工具虚拟体itm与螺栓虚拟体ib1接触的条件(s360)下，工具rtn产生了紧固转矩(s370)，因此服务器判断为与螺栓虚拟体ib1一一对应的螺栓rb1被紧固。
[0191]
接下来，参照图22，对s350至s380的过程进行详细说明。图22是示出在第二作业者利用工具紧固螺栓时、在虚拟空间中确定已利用工具紧固的螺栓的步骤的示意图。
[0192]
首先，服务器对相机10捕捉到的具备套筒rtsn的工具头rthn的图像进行解析，掌握工具头厚度尺寸d1n和套筒长度尺寸d2n，之后取得h1尺寸以及外径or。之后，服务器在相机10捕捉到工具rtn时掌握工具rtn的工具基准面rts，从工具基准面rts所包含的虚拟工具头代表点oithn(＝工具虚拟体代表点oitm)起使反映了h1尺寸以及外径or的工具虚拟体itm在虚拟空间中显现。
[0193]
在现实空间中将装配有套筒rtsn的工具rtn套在螺栓rb1的头部a上时，在虚拟空间中工具虚拟体itm位于螺栓虚拟体ib1的上方，成为两者的一部分重叠(接触或者干涉)的状态，在工具rtn中观察到紧固完成转矩tr_rslt时，工具虚拟体itm成为与螺栓虚拟体ib1
可靠地重叠(接触或者干涉)的状态。
[0194]
需要说明的是，在虚拟空间中判断工具虚拟体itm与螺栓虚拟体ib1接触(干涉、重叠)的方法存在以下所示的多个方法。
[0195]
(1)基于工具虚拟体itm与螺栓虚拟体ib1的接触(干涉、重叠)的判断。
[0196]
(2)判断工具虚拟体itm的代表点oitm与螺栓虚拟体ib1的代表点oib1之间的距离小于规定值(该情况下，h1)的情况的基于距离的判断。
[0197]
(3)在(2)的判断的基础上加上工具虚拟体itm的轴的方向与螺栓虚拟体ib1的轴的方向一致或者不一致的判断的、基于距离和工具虚拟体itm及螺栓虚拟体ib1的朝向(方向)的判断。
[0198]
而且，在工具虚拟体itm与螺栓虚拟体ib1接触的条件下，在工具rtn中观察到紧固转矩(图6的tr_b至tr_max的范围的转矩)，此外，确认到与螺栓虚拟体ib1一一对应的现实空间的螺栓rb1。
[0199]
通过该步骤，例如在仅通过接触判断进行判断时，在第二作业者在刚将工具rtn套在螺栓rbn(n＝2～4中的任一个)上后立即注意到错误而更换工具rtn套在螺栓rb1上等情况下，有可能错误地判断为先前套有工具rtn的螺栓rbn被紧固。因此，通过在接触判断(s360)中同时采用转矩产生条件(s370)，从而能够抑制未产生转矩的螺栓rbn被误判断为已被紧固的情况。
[0200]
步骤390(s390)：服务器接收工具rtn计测到的紧固开始转矩tr_b，并将接收到紧固开始转矩tr_b的时刻记录为紧固开始时刻t_b。
[0201]
步骤400(s400)：第二作业者通过确认到工具rtn观察的紧固完成转矩tr_rslt接近目标转矩tr_set(例如，预先设定的规定的范围以内)、且处于紧固下限转矩tr_min与紧固上限转矩tr_max之间的情况，完成螺栓br1的紧固。
[0202]
步骤410(s410)：服务器记录工具rtn发送的紧固完成转矩tr_rslt，并将观察到紧固完成转矩tr_rslt的时刻记录为紧固完成时刻t_e。
[0203]
步骤420(s420)：服务器将与现实空间的螺栓rb1对应的虚拟螺栓体ib1的代表位置iob1的坐标(x1，y1，z1)、方向矢量nv(i1，j1，z1)、作业日期时间、螺栓rb1的紧固完成时刻(观察到紧固完成转矩tr_rslt的时刻)记录于数据表(例如，图23所示的数据表)。
[0204]
步骤430(s430)：与达到螺栓rbn的根数的循环次数(4次)相应地，重复s280至s430的各步骤。
[0205]
步骤440(s440)：服务器根据图23的数据表的空栏被全部填写的情况，再次确认计划的应进行紧固作业的全部的螺栓rbn(n＝1～4)的紧固作业已完成。
[0206]
步骤450(s450)：服务器在紧固了全部的螺栓rbn(n＝1～4)后，在包含紧固作业对象物的增强现实空间中，捕获并保存在螺栓rbn(n＝1～4)的附近显示有作业结果(作业者id、作业日、作业时刻、紧固完成转矩值tr_rslt)、作业指示书等)的图像。
[0207]
通过保存在此捕获的图像(例如，参照图24)，即使在图23所示的记录有第二作业者的螺栓紧固作业的数据表的一部分的数据损坏或丢失的情况下，也能够确保与螺栓的紧固作业有关的证据(可追溯性)。
[0208]
步骤460(s460)：结束由第二作业者进行的紧固作业。
[0209]
根据以上说明的实施方式，能够提供一种运用成本较小且高品质的机械紧固作业
方法，其通过利用增强现实、并记录某作业者实施了的机械紧固作业的内容以确保可追溯性，从而促进向其他作业者的作业移交等。
[0210]
另外，在以上说明的实施方式中，对本发明的实施方式的基于增强现实的机械紧固方法进行了说明，但本发明的实施方式并不局限于此，例如也可以通过计算机程序、装置等来实现。
[0211]
例如，本发明的实施方式的功能也可以通过软件的程序代码来实现。在该情况下，也可以是，将记录有用于实施本发明的功能的程序代码的存储介质供给给装置、系统，搭载于该装置、系统的计算设备(cpu、mpu等)读取程序代码而实施。通过由计算机执行从存储介质读取的程序代码来实现上述的实施方式的功能，用于实施该功能的程序代码、存储介质、以及计算设备本身成为本发明的构成要素。
[0212]
作为用于记录程序代码的存储介质，例如有软盘、cd-rom、dvd-rom、硬盘、光盘、光磁盘、cd-r、磁带、非易失性存储卡、rom等。
[0213]
接下来，参照图25，对用于实施本发明的实施方式的计算机系统进行说明。图25是构成为实施以上说明的基于增强现实的机械紧固作业方法中的功能的计算机系统的框图。
[0214]
计算机系统300的主要组件包括一个以上的处理器302、存储器304、终端接口312、存储接口314、i/o(输入输出)设备接口316、以及网络接口318。这些组件经由存储器总线306、i/o总线308、总线接口单元309、以及i/o总线接口单元310相互连接。
[0215]
计算机系统300也可以包括被总称为处理器302的一个或者多个通用可编程中央处理装置(cpu)302a以及302b。在某实施方式中，计算机系统300可以具备多个处理器，在其他实施方式中，计算机系统300也可以是单一的cpu系统。各处理器302执行储存于存储器304的命令，也可以包括板载缓存。
[0216]
在某实施方式中，存储器304也可以包括用于存储数据以及程序的随机存取半导体存储器、存储装置、或者存储介质(易失性或者非易失性均可)。存储器304可以储存实施在本说明书中说明的功能的程序、模块、以及数据结构的全部或一部分。例如，存储器304也可以储存紧固作业管理应用350。在某实施方式中，紧固作业管理应用350可以包含在处理器302上执行后述的功能的命令或者记述。
[0217]
在某实施方式中，紧固作业管理应用350也可以取代基于处理器的系统或者除了基于处理器的系统之外，还经由半导体设备、芯片、逻辑门、电路、电路卡、以及/或者其它物理硬件设备而由硬件实施。在某实施方式中，紧固作业管理应用350也可以包含命令或者记述以外的数据。在某实施方式中，相机、传感器、或者其它数据输入设备(未图示)也可以以与总线接口单元309、处理器302、或者计算机系统300的其他硬件直接通信的方式被提供。
[0218]
计算机系统300也可以包括进行处理器302、存储器304、显示系统324、以及i/o总线接口单元310之间的通信的总线接口单元309。i/o总线接口单元310也可以与用于在与各种i/o单元之间转送数据的i/o总线308连结。i/o总线接口单元310也可以经由i/o总线308与也被称为i/o处理器(iop)或者i/o适配器(ioa)的多个i/o接口单元312、314、316、以及318通信。
[0219]
显示系统324也可以包括显示控制器、显示存储器、或者这两方。显示控制器能够向显示装置326提供视频、音频或者这两方的数据。另外，计算机系统300也可以包括构成为收集数据并向处理器302提供该数据的一个或者多个传感器等设备。
[0220]
例如，计算机系统300也可以包括收集心率数据、压力水平数据等的生物传感器、收集湿度数据、温度数据、压力数据等的环境传感器、以及收集加速度数据、运动数据等的运动传感器等。也可以使用除此以外的类型的传感器。显示系统324也可以与单独的显示器画面、电视机、平板电脑、或者便携式设备等的显示装置326连接。
[0221]
i/o接口单元具有与各种存储器或者i/o设备进行通信的功能。例如，终端接口单元312能够安装视频显示装置、扬声器电视机等用户输出设备、键盘、鼠标、键盘、触摸板、轨迹球、按钮、光笔、或者其他指示设备等用户输入设备那样的用户i/o设备320。用户可以使用用户接口来操作用户输入设备，从而向用户i/o设备320以及计算机系统300输入输入数据、指示，接受来自计算机系统300的输出数据。用户接口例如可以经由用户i/o设备320显示于显示装置，或者通过扬声器播放，或者经由打印机印刷。
[0222]
存储接口314能够安装一个或者多个盘驱动器、直接访问存储装置322(通常为磁盘驱动器存储装置，但可以是构成为可视为单一盘驱动器的盘驱动器的阵列或者其他存储装置)。在某实施方式中，存储装置322可以作为任意的二次存储装置来安装。存储器304的内容也可以存储于存储装置322，并根据需要从存储装置322读取。i/o设备接口316也可以提供针对打印机、传真机等其他i/o设备的接口。网络接口318也可以提供通信路线，以使得计算机系统300能够与其他设备相互通信。该通信路线例如可以是网络330。
[0223]
在某实施方式中，计算机系统300也可以是多用户主机系统、单用户系统、或者服务器计算机等不具有直接的用户接口的接收来自其他计算机系统(客户端)的请求的设备。在其他实施方式中，计算机系统300也可以是台式计算机、便携式计算机、笔记本电脑、平板电脑、袖珍计算机、电话、智能手机、或者任意的其他适当的电子设备。
[0224]
根据上述的基于增强现实的机械紧固作业方法，能够提供一种运用成本较小且高品质的机械紧固作业方法，其不需要对紧固部附加rfic标签等识别标识、紧固部与紧固工具之间的数据的接收发送，通过利用增强现实、并记录某作业者实施了的机械紧固作业的内容以确保可追溯性，从而促进向其他作业者的作业移交等。
[0225]
附图标记说明：
[0226]
r0
…
现实空间原点
[0227]
io
…
虚拟空间原点
[0228]
rd1
…
基盘
[0229]
rd2
…
部件
[0230]
rpn
…
贯通孔
[0231]
rqn
…
螺纹孔
[0232]
rtn
…
工具(棘轮扳手)
[0233]
rten
…
工具柄部
[0234]
rthn
…
工具头
[0235]
orthn
…
工具头位置(坐标)
[0236]
d1n
…
头厚度尺寸
[0237]
rtt
…
通信显示部
[0238]
rtsn
…
套筒
[0239]
d2n
…
套筒长度尺寸
[0240]
or
…
套筒外径
[0241]
rbn
…
螺栓
[0242]
orbn
…
螺栓位置(坐标)
[0243]a…
头部
[0244]b…
圆筒部
[0245]c…
螺纹部
[0246]
t_b
…
紧固开始时刻
[0247]
tr_b
…
紧固开始转矩
[0248]
tr_min
…
紧固下限转矩
[0249]
tr_set
…
紧固目标转矩
[0250]
tr_max
…
紧固上限转矩
[0251]
tr_rslt
…
紧固完成转矩
[0252]
t_rslt
…
紧固完成时刻
[0253]
tsp
…
工具基准面
[0254]
itm
…
工具虚拟体(圆筒)
[0255]
oitm
…
工具虚拟体代表点(坐标)
[0256]
ibn
…
螺栓虚拟体(圆筒)
[0257]
oibn
…
螺栓虚拟体代表点(坐标)
[0258]
nv
…
(单位)方向矢量
[0259]5…
网络
[0260]7…
可穿戴装置(头套)
[0261]
10
…
相机
[0262]
12
…
增强现实服务器
[0263]
14
…
透过型屏幕(hmd)
[0264]
26
…
网络服务器。