作业指示系统以及作业指示方法与流程

1.本发明涉及一种作业指示系统以及作业指示方法。


背景技术：

2.已知有一种对工厂等的作业者指示作业内容的作业指示系统。例如，在专利文献1中公开了一种作业指示系统，其包括将作业内容指示图像投影至载置部件的投影装置。
3.现有技术文献
4.专利文献
5.专利文献1：日本专利第6198990号公报


技术实现要素：

6.发明所要解决的问题
7.但是，如上所述的以往技术中，会同时显示多个要素作业(例如插入线缆的要素作业以及紧固螺丝的要素作业)，因此作业者难以掌握进行各要素作业的顺序。因此，存在下述问题，即，直至作业者熟习各要素作业为止的期间，作业速度下降。而且，若未熟习的作业者以与所期望的顺序不同的顺序来进行各要素作业，则完成品的品质有可能产生问题。
8.本发明的一实施例的目的在于实现一种作业指示系统，即便是未熟习的作业者，也能够适当且迅速地进行多个要素作业。
9.解决问题的技术手段
10.为了解决所述问题，本发明的一实施例的作业指示系统包括：拍摄装置，拍摄包含对于对象物进行多个要素作业的作业者的拍摄图像；信息处理装置，包含完成判定部以及作业确定部，所述完成判定部基于所述拍摄图像来针对每个所述要素作业来判定所述要素作业的完成，所述作业确定部基于所述完成判定部的所述判定，来确定所述多个要素作业中的、所述作业者接下来应进行的所述要素作业；以及显示装置，显示所述作业者接下来应进行的所述要素作业。
11.为了解决所述问题，本发明的一实施例的作业指示方法包括：拍摄步骤，拍摄包含对于对象物进行多个要素作业的作业者的拍摄图像；完成判定步骤，基于所述拍摄图像来针对每个所述要素作业来判定所述要素作业的完成；作业确定步骤，基于所述完成判定步骤的所述判定，来确定所述多个要素作业中的所述作业者接下来应进行的所述要素作业；以及显示步骤，显示所述作业者接下来应进行的所述要素作业。
12.发明的效果
13.根据本发明的一实施例，能够提供一种作业指示系统，即便是未熟习的作业者，也能够适当且迅速地进行多个要素作业。
附图说明
14.图1是表示本发明的实施方式1的作业指示系统的结构的一例的框图。
15.图2是示意性地表示图1的作业指示系统中的工序与要素作业的关系的一例的图。
16.图3是表示图1的作业指示系统的作业指示方法的流程图。
17.图4是表示在图1的作业指示系统中，使用眼镜型头戴显示器(head-mounted display，hmd)来作为显示装置时，作业者通过显示装置所看到的视野的一例的图。
具体实施方式
18.以下，基于附图来说明本发明的一方面的实施方式(以下也称作“本实施方式”)。
19.〔实施方式1〕
20.§
1适用例
21.＜作业指示系统＞
22.图1是表示本发明的实施方式1的作业指示系统1的结构的一例的框图。作业指示系统1对于针对对象物进行多个要素作业的作业者指示作业内容。
23.图2是示意性地表示图1的作业指示系统1中的工序与要素作业的关系的一例的图。如图2所示，与对象物相关的制造的工序整体包含工序a1～a4。各工序包含多个要素作业。例如更详细而言，工序a3的螺固工序包含要素作业b1～b4。要素作业b2中，作业者利用起子来进行螺固。
24.＜通过显示装置看到的视野＞
25.图4是表示在图1的作业指示系统1中，使用眼镜型的头戴显示器(head mounted display，以下也称作hmd)来作为显示装置70时，作业者通过显示装置70所看到的视野e100的一例的图。在视野e100中，显示装置70的显示图像重合于作业者未佩戴显示装置70时所看到的视野。
26.图4的示例中，显示装置70显示作业者e1接下来应进行的要素作业b2(图2所示)。在要素作业b2中，作业者e1利用起子(工具)e4来将螺丝(要安装的构件)e3拧入对象物e2的螺丝孔e21。显示装置70关于要素作业b2，显示工序说明d5、螺丝说明文d71、螺丝位置d72、螺固说明文d81以及螺固位置d82。
27.根据所述结构，信息处理装置20针对每个要素作业来判定要素作业的完成，显示装置显示接下来应进行的要素作业，因此即便是未熟习的作业者，也能够适当且迅速地进行多个要素作业。
28.§
2结构例
29.＜作业指示系统＞
30.图1是表示本发明的实施方式1的作业指示系统1的结构的一例的框图。作业指示系统1对于针对对象物进行多个要素作业的作业者指示作业内容。
31.图2是示意性地表示图1的作业指示系统1中的工序与要素作业的关系的一例的图。如图2所示，与对象物相关的制造的工序整体包含工序a1～a4。工序a1为基板清洗工序。工序a2为膏脂涂布工序。工序a3为螺固工序。工序a4为捆包工序。
32.各工序包含多个要素作业。例如更详细而言，工序a3的螺固工序包含要素作业b1～b4。要素作业b1中，作业者将对象物设置于夹具。要素作业b2中，作业者利用起子来进行螺固。要素作业b3中，作业者从夹具拆卸对象物。要素作业b4中，作业者进行对象物的外观检查。
33.各要素作业包含作业者进行的多个动作。例如更详细而言，要素作业b2包含动作c1～c4。动作c1中，作业者用手拿起螺丝。动作c2中，作业者用手拿起起子。动作c3中，作业者转动起子，紧固螺丝。动作c4中，作业者将起子放回规定的位置。
34.本说明书中，所谓要素作业，可定义为使目的相同的一连串动作的集合。例如，图2的示例中，为了“利用起子进行螺固”这一目的，由作业者进行动作c1～c4。因此，动作c1～c4构成一个要素作业b2。与此相对，要素作业b1以及b3分别具有“将对象物设置于夹具”以及“从夹具拆卸对象物”的不同目的，因此是与要素作业b2不同的要素作业。
35.或者，所谓要素作业，也可定义为对于对象物使用的工具相同的一连串动作的集合。例如，图2的示例中，动作c1～c4对于对象物使用的工具是起子。因此，动作c1～c4构成一个要素作业b2。与此相对，要素作业b1以及b3中，对于对象物使用的工具为夹具，因此要素作业b1以及b3是与要素作业b2不同的要素作业。另外，要素作业b1以及b3并非连续的一连串动作，因此是各自独立的要素作业。
36.或者，所谓要素作业，也可定义为对于对象物安装或拆卸的构件相同的一连串动作的集合。例如，图2的示例中，在动作c1～c4中，对于对象物安装“螺丝”。因此，动作c1～c4构成一个要素作业b2。与此相对，要素作业b1中，对于对象物安装“夹具”，在要素作业b3中，从对象物拆卸“夹具”。因此，要素作业b1以及b3是与要素作业b2不同的要素作业。
37.如图1所示，作业指示系统1与外部的输入装置80以及制造执行系统(manufacturing execution system，以下也称作mes)90连接，包括拍摄装置10、信息处理装置20以及显示装置70。
38.拍摄装置10拍摄包含作业者的拍摄图像。拍摄装置10所拍摄的拍摄图像既可为静态图像，或者也可为动态图像。
39.信息处理装置20包括制品信息获取部31、作业列表获取部32、拍摄图像获取部21、动作识别部22、物体探测部23、完成判定部24、作业确定部25、作业时间测量部41、异常作业判定部42以及异常通知部43。
40.制品信息获取部31从外部的输入装置80获取对象物的制品信息。输入装置80例如也可为读取作业指示书的条形码的条形码读取器。或者，制品信息获取部31也可从外部的mes90获取对象物的制品信息。
41.作业列表获取部32基于制品信息获取部31所获取的制品信息，从mes90获取对于对象物进行的工序的工序列表以及各工序中所含的要素作业的作业列表。工序列表例如包含图2所示的工序a1、a2、a3以及a4。作业列表包含各工序的要素作业的列表。例如关于工序a3的作业列表包含要素作业b1、b2、b3以及b4。
42.拍摄图像获取部21获取拍摄装置10所拍摄的拍摄图像。动作识别部22对拍摄图像获取部21所获取的拍摄图像中的作业者的动作进行识别。例如，动作识别部22也可基于作业者的手的位置来识别作业者的动作。物体探测部23探测拍摄图像获取部21所获取的拍摄图像中的对象物的位置。
43.完成判定部24基于动作识别部22所识别出的作业者的动作以及物体探测部23所探测到的对象物的位置，针对每个要素作业来判定要素作业的完成。换言之，完成判定部24基于拍摄装置10所拍摄的拍摄图像，针对每个要素作业来判定要素作业的完成。完成判定部24针对每个要素作业，预先存储有判定为所述要素作业已完成的条件。
44.完成判定部24也可基于拍摄图像中的作业者的手的位置以及对象物的位置，来判定要素作业的完成。此时，即便作业者的手的动作存在个人差异，也能够适当地判定要素作业的完成。而且，完成判定部24即便在作业者中断了要素作业的情况下，也能够基于对象物的位置来适当地判定要素作业是否已完成。完成判定部24一旦判定为作业者应进行的要素作业已完成，便将所述要素作业已完成的意旨通知给作业确定部25。
45.作业确定部25基于作业列表获取部32所获取的工序列表及作业列表以及完成判定部24的判定，来确定多个要素作业中的作业者接下来应进行的要素作业。作业确定部25将作业者接下来应进行的要素作业通知给完成判定部24。
46.作业时间测量部41基于完成判定部24的判定，来测量作业者进行各要素作业所耗费的作业时间。而且，作业时间测量部41也可将测量出的作业时间记录至例如mes90。mes90也可累积由作业时间测量部41所记录的作业时间的数据，并算出平均值，由此来算出各要素作业的标准作业时间。
47.异常作业判定部42将由作业时间测量部41测量出的作业时间与例如由mes90所算出的标准作业时间进行比较，以判定作业者所进行的要素作业是否为异常。例如，若由作业时间测量部41所测量出的作业时间大幅长于由mes90所算出的标准作业时间，则也可判定作业者所进行的要素作业为异常。
48.异常通知部43基于异常作业判定部42的判定来通知异常。异常通知部43也可将作业者所进行的要素作业为异常的情况通知给例如显示装置70或管理者的计算机。
49.信息处理装置20的各部中的例如拍摄图像获取部21、动作识别部22、物体探测部23以及完成判定部24也可由个人计算机(personal computer，以下也称作pc)来配备。而且，作业确定部25、制品信息获取部31、作业列表获取部32、作业时间测量部41、异常作业判定部42以及异常通知部43也可由可编程控制器(可编程逻辑控制器(programmable logic controller，以下也称作plc))来配备。或者，动作识别部22以及物体探测部23也可由拍摄装置10来配备。
50.显示装置70显示作业确定部25所确定的、作业者接下来(从现在开始)应进行的要素作业。显示装置70同时显示多个要素作业，并且强调显示作业者接下来应进行的要素作业。作为显示装置70，可使用普通的各种显示器。而且，作为显示装置70，例如也可使用作业者所佩戴的头戴显示器(head mounted display，hmd)，尤其也可使用眼镜型的hmd。
51.＜作业指示方法＞
52.图3是表示图1的作业指示系统1的作业指示方法的流程图。另外，以下说明的处理流程不过是一例，各处理可尽可能地变更。而且，对于以下说明的处理流程，可根据实施方式来适当地进行步骤的省略、替换以及追加。图3所示的一连串处理例如是伴随作业者对输入装置80(图1所示)输入对象物的信息而开始。
53.作业者进行多个种类(多个制品)的对象物的装配。根据被搬送来到作业位置的对象物的种类，装配方法不同。因此，例如，负责工序a3的作业者在对象物被搬送来到作业位置时，对输入装置80输入对象物的制品信息。
54.步骤s2中，制品信息获取部31从输入装置80获取对象物的制品信息。步骤s4中，作业列表获取部32基于在s2中获取的制品信息，从mes90获取与对象物对应的工序列表以及作业列表。
55.步骤s6中，作业确定部25基于在s4中获取的工序列表来确定作业者最开始应进行的工序。步骤s8中，作业确定部25基于在s4中获取的工序列表以及要素作业列表，来确定作业者最开始应进行的要素作业。
56.步骤s10中，作业确定部25使在s8中所确定的最开始应进行的要素作业显示于显示装置70。步骤s12(拍摄步骤)中，拍摄图像获取部21使拍摄装置10拍摄包含作业者的拍摄图像，并获取拍摄装置10所拍摄的拍摄图像。接下来，动作识别部22对拍摄图像获取部21所获取的拍摄图像中的作业者的动作进行识别。而且，物体探测部23对拍摄图像获取部21所获取的拍摄图像中的对象物的位置进行探测。
57.步骤s14(完成判定步骤)中，完成判定部24基于动作识别部22所识别出的作业者的动作以及物体探测部23所探测出的对象物的位置，来判定当前的要素作业是否已完成。换言之，完成判定部24基于拍摄装置10所拍摄的拍摄图像，针对每个要素作业来判定要素作业的完成。
58.作为示例，对利用起子来进行螺固的要素作业b2(图2所示)进行研讨。完成判定部24在作业者的动作(例如手的位置)以及对象物的位置满足规定的条件时，判定为要素作业b2已完成。例如，完成判定部24判定是否已进行了(是否已完成了)要素作业b2中所含的多个动作c1～c4，若已进行了多个动作c1～c4，则判定为要素作业b2已完成。
59.例如，完成判定部24在作业者的手的位置距螺丝的储料盒的位置处于规定范围内时，判定为“拿起螺丝”这一动作c1已完成。在动作c1之后，完成判定部24在作业者的手的位置距起子的位置处于规定范围内时，判定为“拿起起子”这一动作c2已完成。在动作c2之后，完成判定部24在作业者的手的位置距对象物的位置处于规定范围内时，判定为“利用起子来紧固”这一动作c3已完成。在动作c3之后，完成判定部24在作业者的手的位置距起子放置处的位置处于规定范围内时，判定为“放回起子”这一动作c4已完成。
60.而且，例如完成判定部24例如也可在由动作识别部22识别出作业者的手的位置位于螺丝孔的附近后，由物体探测部23探测到螺丝已被插入至对象物的螺丝孔的情况下，判定为当前的要素作业b2已完成。
61.若完成判定部24判定为当前的要素作业尚未完成(s14中为否)，则返回s12。若完成判定部24判定为当前的要素作业已完成(s14中为是)，则前进至步骤s16，作业确定部25判定当前的工序是否已完成。例如，若对工序a3(图2所示)进行研讨，则作业确定部25也可在完成判定部24判定为要素作业b1、b2、b3以及b4已全部完成的情况下，判定为当前的工序a3已完成。
62.若作业确定部25判定为当前的工序尚未完成(s16中为否)，则前进至步骤s20(作业确定步骤)，作业确定部25确定作业者接下来应进行的要素作业。接下来，在步骤s22(显示步骤)中，作业确定部25使在s20中确定的作业者接下来应进行的要素作业显示于显示装置70。s22之后，返回s12。
63.若作业确定部25判定为当前的工序已完成(s16中为是)，则前进至步骤s18，作业确定部25基于作业列表获取部32所获取的工序列表以及作业列表来判定所有的工序是否已完成。例如若对图2所示的工序整体进行研讨，则作业确定部25也可在工序a1、a2、a3以及a4已完成的情况下，判定为所有的工序已完成。
64.若作业确定部25判定为所有的工序尚未完成(s18中为否)，则前进至步骤s24，作
业确定部25确定作业者接下来应进行的工序。s24之后，前进至s20。并且，若作业确定部25判定为所有的工序已完成(s18中为是)，则作业指示系统1的作业指示结束。
65.＜通过显示装置看到的视野＞
66.图4是表示在图1的作业指示系统1中，使用眼镜型hmd来作为显示装置70时，作业者通过显示装置70所看到的视野e100的一例的图。在视野e100中，显示装置70的显示图像重合于作业者未佩戴显示装置70时所看到的视野。
67.图4的示例中，显示装置70显示有作业者e1接下来应进行的要素作业b2(图2所示)。要素作业b2中，作业者e1利用起子(工具)e4将螺丝(要安装的构件)e3拧入对象物e2的螺丝孔e21。显示装置70关于要素作业b2，显示工序说明d5、螺丝说明文d71、螺丝位置d72、螺固说明文d81以及螺固位置d82。
68.工序说明d5是工序a3的要素作业b1～b4(图2所示)的说明的显示。要素作业b1～b4的说明中，只有作业者e1接下来应进行的要素作业b2的说明的“2.利用起子紧固两处螺丝”以深色进行强调显示，而除此以外的要素作业b1、b3以及b4的说明以浅色来显示。换言之，显示装置70在工序说明d5中，同时显示多个要素作业b1～b4，并且强调显示作业者接下来应进行的要素作业b2。
69.螺丝说明文d71是关于螺丝e3的动作c1(图2所示)的说明的显示，在螺丝e3的附近显示为“拿起螺丝”。螺丝位置d72是表示放入有螺丝e3的盒子的位置的显示，是显示为包围放入有螺丝e3的盒子的大致长方形的图形。
70.螺固说明文d81是关于螺固的动作c3(图2所示)的说明的显示，在螺丝孔e21的附近显示为“紧固位置”。螺固位置d82是表示螺丝孔e21的位置的显示，显示为包围螺丝孔e21的圆形的图形。
71.＜作用效果＞
72.根据所述结构，信息处理装置20针对每个要素作业来判定要素作业的完成，显示装置显示接下来应进行的要素作业，因此即便是未熟习的作业者，也能够适当且迅速地进行多个要素作业。
73.而且，显示装置70同时显示多个要素作业，并且强调显示作业者接下来应进行的要素作业，因此作业者能够容易地掌握多个要素作业的流程。因此，作业者能够更适当且迅速地进行多个要素作业。
74.而且，完成判定部24基于作业者的手以及对象物的位置来判定要素作业的完成，因此即便作业者的手的动作存在个人差异，也能够适当地判定要素作业的完成。而且，完成判定部24即便在作业者中断了要素作业的情况下，也能够基于对象物的位置来适当地判定要素作业是否已完成。
75.＜变形例＞
76.本实施方式中，如图4的工序说明d5所示，显示装置70同时显示多个要素作业，并且强调显示作业者接下来应进行的要素作业。但是，本发明并不限定于此，显示装置70也可仅同时显示多个要素作业中的一个。此时，显示装置70逐个地显示各要素作业，因此即便在显示装置70的画面大小有限的情况下，作业者也能够容易地掌握接下来应进行的要素作业。因此，作业者能够更适当且迅速地进行多个要素作业。
77.而且，本实施方式中，如图3所示，拍摄步骤s12是在作业确定部25使最开始应进行
的要素作业显示于显示装置70之后(s10之后)且完成判定步骤s14之前进行。但是，本发明并不限定于此，拍摄步骤s12也可在制品信息获取部31获取了对象物的制品信息之后(s2之后)且完成判定步骤s14之前的任何时机进行。
78.而且，拍摄步骤s12例如也可在制品信息获取部31获取了对象物的制品信息之后(s2之后)、且作业列表获取部32获取工序列表以及作业列表之前，作为动态图像而开始拍摄。
79.〔借助软件的实现例〕
80.信息处理装置20的控制块既可通过形成于集成电路(集成电路(integrated circuit，ic)芯片(chip))等上的逻辑电路(硬件)实现，也可通过软件来实现。
81.在后者的情况下，信息处理装置20包括执行实现各功能的软件即程序的命令的计算机。所述计算机例如包括一个以上的处理器(processor)，并且包括存储有所述程序的、计算机可读取的记录介质。并且，在所述计算机中，通过所述处理器从所述记录介质读取并执行所述程序，从而达成本发明的目的。作为所述处理器，例如可使用中央处理器(central processing unit，cpu)。作为所述记录介质，可使用“并非临时的有形介质”，例如除了只读存储器(read only memory，rom)等以外，还可使用带(tape)、盘(disk)、卡(card)、半导体存储器、可编程的逻辑电路等。而且，还可更包括展开所述程序的随机存取存储器(random access memory，ram)等。而且，所述程序也可经由可传输此程序的任意传输介质(通信网络或广播波等)而提供给所述计算机。另外，本发明的一实施例也能以通过电子传输来将所述程序具现化的、被嵌入载波中的数据信号的形态来实现。
82.本发明并不限定于所述的各实施方式，可在权利要求所示的范围内进行各种变更，将不同的实施方式中分别公开的技术部件适当组合而获得的实施方式也包含在本发明的技术范围内。
83.〔总结〕
84.本发明的一实施例的作业指示系统包括：拍摄装置，拍摄包含对于对象物进行多个要素作业的作业者的拍摄图像；信息处理装置，包含完成判定部以及作业确定部，所述完成判定部基于所述拍摄图像来针对每个所述要素作业来判定所述要素作业的完成，所述作业确定部基于所述完成判定部的所述判定，来确定所述多个要素作业中的、所述作业者接下来应进行的所述要素作业；以及显示装置，显示所述作业者接下来应进行的所述要素作业。
85.根据所述结构，信息处理装置针对每个要素作业来判定要素作业的完成，显示装置显示接下来应进行的要素作业，因此即便是未熟习的作业者，也能够适当且迅速地进行多个要素作业。
86.本发明的一实施例的作业指示系统也可为，所述显示装置同时显示所述多个要素作业，并且对所述作业者接下来应进行的所述要素作业进行强调显示。根据所述结构，作业者能够容易地掌握多个要素作业的流程，因此作业者能够更适当且迅速地进行多个要素作业。
87.本发明的一实施例的作业指示系统也可为，所述显示装置仅同时显示所述多个要素作业中的一个。根据所述结构，即便在显示装置的画面大小有限的情况下，作业者也能够容易地掌握接下来应进行的要素作业。因此，作业者能够更适当且迅速地进行多个要素作
业。
88.本发明的一实施例的作业指示系统也可为，所述完成判定部基于所述拍摄图像中的所述作业者的手的位置以及所述对象物的位置，来判定所述要素作业的完成。根据所述结构，完成判定部基于作业者的手以及对象物的位置来判定要素作业的完成，因此即便作业者的手的动作存在个人差异，也能够适当地判定要素作业的完成。而且，完成判定部即便在作业者中断了要素作业的情况下，也能够基于对象物的位置来适当地判定要素作业是否已完成。
89.本发明的一实施例的作业指示系统也可为，所述要素作业是目的相同的一连串动作的集合。或者，本发明的一实施例的作业指示系统也可为，所述要素作业是对所述对象物使用的工具相同的一连串动作的集合。或者，本发明的一实施例的作业指示系统也可为，所述要素作业是对所述对象物安装或拆卸的构件相同的一连串动作的集合。
90.为了解决所述问题，本发明的一实施例的作业指示方法包括：拍摄步骤，拍摄包含对于对象物进行多个要素作业的作业者的拍摄图像；完成判定步骤，基于所述拍摄图像来针对每个所述要素作业来判定所述要素作业的完成；作业确定步骤，基于所述完成判定步骤的所述判定，来确定所述多个要素作业中的所述作业者接下来应进行的所述要素作业；以及显示步骤，显示所述作业者接下来应进行的所述要素作业。
91.本发明的各实施例的信息处理装置也可通过计算机来实现，此时，通过使计算机作为所述信息处理装置所包括的各部(软件要素)运行，从而利用计算机来实现所述信息处理装置的信息处理装置的控制程序以及记录有此控制程序的计算机可读取的记录介质也属于本发明的范畴。
92.符号的说明
93.1：作业指示系统
94.10：拍摄装置
95.20：信息处理装置
96.22：动作识别部
97.23：物体探测部
98.24：完成判定部
99.25：作业确定部
100.70：显示装置
101.b1、b2、b3、b4：要素作业
102.d5：工序说明
103.e1：作业者
104.e2：对象物
105.e21：螺丝孔
106.e3：螺丝(要安装的构件)
107.e4：起子(工具)
108.s12：拍摄步骤
109.s14：完成判定步骤
110.s20：作业确定步骤
111.s22：显示步骤