作业内容检测判定装置、作业内容检测判定系统、以及内置可穿戴传感器的手套的制作方法

1.本发明涉及对作业内容进行检测判定的技术。


背景技术：

2.由于iot(物联网(internet of things))或数字技术的进展，对在制造行业的现场的作业人员进行的感测(sensing)盛行起来。通过对作业人员进行感测，从而能够确保作业的正确性，提高作业的效率，减少作业的不良。
3.作为成为多年问题的在制造行业的现场的作业的例，例如有连接器的嵌合。就被使用于电布线的连接的连接器而言，将螺栓侧的连接器插入至螺母侧的连接器，通过锁定机构被锁定而成为嵌合状态。即使被电连接，若处于机械上嵌合不完全的半嵌合状态，则有时由于振动等而连接器脱离而成为不良。为了消除不良，不仅需要确认电连接，还需要调查机械的嵌合状态。
4.在专利文献1中，公开了在嵌合的作业人员的手上安装麦克风和加速度传感器，使用从麦克风得到的音信息和从加速度传感器得到的加速度信息来判定连接器的嵌合状态的装置。通过使用音信息和加速度信息这双方，在大量存在类似的音的作业现场中，变得易于进行嵌合的判定。
5.现有技术文献
6.专利文献
7.专利文献1：日本特开2010
‑
186651号公报


技术实现要素：

8.发明要解决的课题
9.但是，在作业现场中，作业人员进行各种各样的作业，在作业和作业之间也移动手。此时，从对手附加的加速度传感器，实际上持续得到各种各样的加速度信息。在手意外地与物体冲突的情况下，包含意外的加速度信息。在检测嵌合的情况下，在这样的各种各样的加速度信息之中存在大量与嵌合时类似的加速度。加上在音信息中也存在大量与嵌合时类似的音，即使使用音信息和加速度信息这双方来检测嵌合也并非容易。在检测嵌合以外的动作的情况下也同样。
10.本发明是鉴于所述的问题而被独创的，其课题在于，高精度地检测作业人员的作业内容。
11.用于解决课题的手段
12.本发明的优选的一侧面是一种作业检测判定系统，具备：手套，其被佩戴于作业人员的手且具有对通过手对作业对象的接触而由手对作业对象施加的手动作的作业音进行检测的麦克风，对手动作的作业的压力进行检测的压力传感器，对手动作的移动进行检测的移动传感器，用于发送麦克风的音信号、压力传感器的压力信号、以及移动传感器的移动
信号的发送部；接收部，接收从发送部被发送的音信号、压力信号、以及移动信号；作业判定部，使用音信号、压力信号、以及移动信号，进行作业人员的作业内容的检测判定；以及通知部，对作业判定部的判定结果进行通知。
13.本发明的优选的其他一侧面是一种内置可穿戴传感器的手套，是被佩戴于作业人员的手，对通过手对作业对象的接触而手对作业对象施加的手动作进行观测的内置可穿戴传感器的手套，其具有：麦克风，对作业对象的作业音进行检测；压力传感器，对手的动作的作业的压力进行检测；移动传感器，对手的移动进行检测；以及无线发送机，用于以无线来发送来自麦克风、压力传感器以及移动传感器的信号。
14.另外，麦克风、压力传感器、以及移动传感器并不禁止在物理上单一的结构兼作多种麦克风或者传感器。在该情况下，就音信号、压力信号、以及移动信号而言，一个信号兼作多个信号。
15.本发明的优选的其他一侧面是一种作业内容检测判定装置，其特征在于，具有：接收部，接收从无线发送机被无线发送的、来自检测到作业音的麦克风的音信号、来自检测到手的动作的作业的压力的压力传感器的压力信号、以及从压力传感器被检测到的滑动信号及来自检测到手的动作的加速度的加速传感器的加速度信号的两者中的至少一个信号；以及作业判定部，从音信号、压力信号、以及滑动信号和加速度信号的两者中的至少一个信号，判定作业人员的作业内容。
16.发明效果
17.根据本发明，能够高精度地检测作业人员的作业内容。
附图说明
18.图1是表示第一实施方式的作业内容检测判定系统的结构的框图。
19.图2是表示可穿戴传感器的外观的示意图。
20.图3是表示第一实施方式的作业判定部的细节的框图。
21.图4是表示第一实施方式的作业检测判定流程的流程图。
22.图5a是表示在被进行了嵌合作业检测时由可穿戴传感器的压力传感器得到的压力波形和音探测时刻的图。
23.图5b是表示在被进行了嵌合作业检测时由可穿戴传感器的压力传感器得到的压力波形和音探测时刻的图。
24.图5c是表示在被进行了嵌合作业检测时由可穿戴传感器的压力传感器得到的压力波形和音探测时刻的图。
25.图6a是表示在被进行了嵌合作业检测时由可穿戴传感器的麦克风得到的音波形的波形图。
26.图6b是表示在被进行了嵌合作业检测时由可穿戴传感器的麦克风得到的音波形的波形图。
27.图7是表示第一实施方式的附加了调节功能的作业信息管理系统的结构的框图。
28.图8是表示第二实施方式的作业内容检测判定系统的结构的框图。
29.图9是表示第二实施方式的作业判定部的细节的框图。
30.图10是表示第二实施方式的作业检测判定流程的流程图。
31.图11是表示在被进行了嵌合作业检测时由可穿戴传感器的加速度传感器得到的加速度波形的波形图。
32.图12是表示在被进行了嵌合作业检测时由可穿戴传感器的压力传感器得到的压力波形、音探测时刻、和加速度探测时刻的波形图。
33.图13是表示用于以单一无线的方式来发送不同的传感器的印制板上的ic配置的例的框图。
具体实施方式
34.针对实施方式，使用附图详细地进行说明。其中，本发明并非限定于以下所示的实施方式的记载内容而被解释。若是本领域技术人员，容易地理解在不从本发明的思想或者宗旨脱离的范围中能变更其具体的结构。
35.在以下说明的发明的结构中，对同一部分或者具有同样的功能的部分在不同的附图间公共使用同一标号，有时省略重复的说明。
36.在具有同一或者同样的功能的元素有多个的情况下，有时对同一标号赋予不同的下标而说明。其中，在不需要区分多个元素的情况下，有时省略下标而说明。
37.本说明书等中的“第一”、“第二”、“第三”等记载是为了识别结构元素而赋予的，并不一定限定数量、顺序、或其内容。此外，用于识别结构元素的序号被用于每个上下文，在一个上下文中使用的序号不一定在其他上下文中表示同一结构。此外，由某序号识别的结构元素并非妨碍兼作由其他序号识别的结构元素的功能。
38.为了易于发明的理解，在附图等中表示的各结构的位置、大小、形状、范围等有时不表示实际的位置、大小、形状、范围等。因此，本发明不一定限定于在附图等中公开的位置、大小、形状、范围等。
39.在以下的实施例中说明的作业检测判定系统使用手套，该手套被佩戴于作业人员的手，其具有：麦克风，检测手动作的作业音作为音信号，该手动作通过手对作业对象的接触而由手对作业对象施加；移动传感器，检测手的移动作为移动信号；压力传感器，检测手动作的作业的压力作为压力信号；以及发送机，用于发送这些传感器的感测信息。
40.在此手的移动是指，手的位移或者变形、或者基于这些的信息。手的移动间接地通过被设置于手套的移动传感器而被检测。作为移动传感器，例如使用加速度传感器。加速度传感器能够使用利用了公知的mems(微电子机械系统(micro electro mechanical systems))的传感器。或者，兼用压力传感器作为移动传感器，基于压力传感器的压力信号而探测滑动信号。在此滑动信号是，对手的表面和作业对象的表面之间的相对位移进行探测的信号。或者，移动传感器也可以使用在手套的表面设置的反射标记和光源，光学地探测手的移动。
41.在系统中，使用音信号、压力信号、以及移动信号，进行作业人员的作业内容的检测判定。在检测判定中，例如使用检测出基于音信号的规定的作业音的定时、检测出基于压力信号的规定的压力的定时、和检测出基于移动信号的规定的移动的定时，基于这些定时的前后关系而进行判定。就基于音信号的规定的作业音而言，例如在音信号的最大振幅的定时进行检测。就基于移动信号的规定的移动而言，在移动信号为加速度信号的情况下，例如在规定阈值以上或者得到加速度的最大值的定时进行检测。在移动信号为滑动信号的情
况下，例如在得到被视为规定以上的滑动的信号的定时进行检测。就基于压力信号的规定的压力的检测而言，在超过了规定阈值的定时进行检测。或者，根据是否有压力值以规定的模式(pattern)推移的期间来检测。另外，由于根据信号的频率的关系而压力信号的处理的负荷最小，因此也可以构成为例如最初判定是否有压力值以规定的模式推移的期间，并在该期间内对音信号和移动信号的定时的关系进行校验而判定作业。
42.以下，针对本发明的作业内容检测判定系统以及可穿戴传感器的实施方式，参考附图说明细节。作为作业内容，以嵌合作业为例进行说明。
43.[实施例1]
[0044]
参考图1～图8，针对第一实施方式的作业内容检测判定系统进行说明。
[0045]
＜基本结构＞
[0046]
图1中表示第一实施方式的作业内容检测判定系统100的结构图。作业内容检测判定系统100由作业人员所身穿的可穿戴传感器101、和对由可穿戴传感器收集到的数据进行处理的作业内容检测判定计算机102构成。
[0047]
可穿戴传感器101具备麦克风103、压力传感器104(兼作滑动传感器)、和无线发送部105。在作业人员进行作业当中将可穿戴传感器101安装于手，由麦克风103收集作业中的音数据，由压力传感器104收集作业中的压力数据，由无线发送部105无线发送这些数据。另外，也可以不是无线发送而是基于有线的发送。
[0048]
作业内容检测判定计算机102具备无线接收部106、作业判定部107、和通知部108。由无线接收部106接收从可穿戴传感器101以无线的方式被发送来的音数据和压力数据，由作业判定部107对所接收到的数据进行检测判定的处理而判定嵌合状态，由通知部108将所判定的结果传达给作业人员。
[0049]
通知部108只要具有对作业判定部107的判定结果进行通知的功能，例如既可以进行仅视觉信息的显示，也可以被组合了音或振动等听觉、触觉信息。例如，也可以将该通知部108作为将来自作业判定部107的信息通过视觉、听觉、触觉信息传达给作业人员或者作业管理者的反馈部而构成。通过将所判定的结果以实时的方式传达给作业人员，作业人员能够在该处立刻进行作业的重做或修正。
[0050]
作业内容检测判定计算机102例如还能够由具备周知的输入装置、输出装置、处理装置、存储装置的个人计算机或便携用信息终端构成。在该情况下，计算或控制等功能通过由处理装置执行在存储装置中储存的程序，从而将所决定的处理与其他硬件协作来实现。有时将计算机等所执行的程序、其功能、或者实现该功能的部件称为“功能”、“部件”、“部”、“单元”、“模块”等。此外，与由软件构成的功能同等的功能还能够通过fpga(现场可编程门阵列(field programmable gate array))、asic(专用集成电路(application specific integrated circuit))等硬件来实现。
[0051]
图2中表示可穿戴传感器101的外观图。在左侧表示从内侧即手掌侧观看的可穿戴传感器101，在右侧表示从外侧即手背侧观看的可穿戴传感器101。可穿戴传感器101为手套型。图2的可穿戴传感器101具备5根手指，但至少具有具备麦克风或压力传感器的手指即可，例如具有大拇指和食指这2根那样。
[0052]
可穿戴传感器101可以直接安装于手，也可以安装于作业手套之上。可穿戴传感器101在手背侧的大拇指上具备大拇指麦克风103a，在手背侧的手腕上具备手腕麦克风103b，
在手掌侧的大拇指上具备大拇指压力传感器104a，在手掌侧的食指上具备食指压力传感器104b，在手背上具备无线发送部105a。麦克风103a、103b、压力传感器104a、104b通过导电线或导线与无线发送部105a连接。无线发送部105a通过无线通信来发送数据，但也可以根据情况而以有线来发送。
[0053]
图2的可穿戴传感器101具备2个麦克风。麦克风的数量为1个以上即可，若为2个以上则可知音源的方向，由于能够区分是否是指尖的音而更优选。麦克风的数量越多，越易于提高检测精度，但无线发送的通道数或数据处理的量变多，相应地成本上升。在将麦克风的数量设为2个以上的情况下，1个配置于发生探测对象的音的位置的附近，另1个配置于离发生探测对象的音的位置较远。通过这样，两个麦克风所捕捉的探测对象的音的大小之比或时间差变得更大，更易于区分是探测对象的音的情况。2个麦克风不配置于由于大拇指和食指等手指的移动而相互改变位置关系的位置更好。此外，麦克风也可以配置于在作业中检测对象的音不被遮挡的位置。在检测嵌合音的情况下，优选将两个麦克风配置于大拇指和手腕。
[0054]
图2的可穿戴传感器101具备2个压力传感器。压力传感器附加于在检测对象的作业中施加压力的位置。不一定是手指，也可以是手掌。数量为1个以上即可，但越多则使用于检测的数据增加而检测的精度上升。在使用大量压力传感器的情况下，也可以将压力传感器的1个，附加于在对象的作业中不施加压力但在易于误探测的作业中施加压力的位置。在嵌合的情况下，由于以大拇指和食指持有连接器而进行嵌合，因此优选对大拇指和食指附加压力传感器。对于压力传感器，使用由包含导电性粒子的橡胶或布等做成的片材(sheet)状的压力传感器。其面积充分覆盖在对象的作业中施加压力的区域。并且，使用能够对压力传感器和对象物之间的滑动进行探测的压力传感器。如后述那样，通过探测滑动，从而提高检测的精度。
[0055]
使用图3和图4，说明图1所示的作业判定部107的细节。
[0056]
图3中示出表示出第一实施方式的作业判定部107的细节的、作业内容检测判定计算机102的结构图。作业判定部107具备进行音数据的保存的音数据保存处理部111和音数据积蓄部112、进行压力探测的压力探测部113和压力探测结果积蓄部114、进行音探测的音探测部115和音探测结果积蓄部116、进行作业探测的作业探测部117和作业探测结果积蓄部118、进行作业好坏判定的作业好坏判定部119和作业日志积蓄部120和作业信息数据库121、对各探测/判定的特征量提取条件/判定条件进行积蓄的特征量条件积蓄部122。
[0057]
图4中表示图3所示的作业判定部107所进行的作业检测判定流程。在该作业检测判定流程中，音保存程序131和作业判定程序132这两个被分开执行。以嵌合音为首的作业音具有直至高频区域的分量的情况较多，为了高精度的处理，优选音数据例如以40khz以上的高频率来采样。另一方面，压力由于人的手的移动而即使采样的频率低也是充分的，压力数据例如以100hz左右的频率来采样。因此，音数据与压力数据相比，数据量多几个数量级。数据量多的音数据的处理花费时间，所以加重计算机的负荷，且难以进行实时的检测处理。若不能实时进行探测处理，则结果没有立刻传达给作业人员，在该处不能进行作业的重做或修正。因此，音数据与作业判定程序132不同，在音保存程序131之中事先处理。如后述那样，在本实施例中按采样频率低的顺序，按压力数据、音数据的顺序进行判定处理。
[0058]
在音保存程序131中，通过音数据保存处理部111将由无线接收部106接收到的音
数据取入至音数据积蓄部112(s1)。若音数据的振幅的最大值比由特征量条件积蓄部122事先设定的值更大(s2)，则音探测部115将音数据保存于音探测结果积蓄部116(s3)。所保存的音数据的时间设为音探测所需的时间、例如0.2秒相应量。在s2中，也可以使用音探测的别的特征量例如规定的频率，而不是振幅的最大值。
[0059]
在作业判定程序132中，通过压力探测部113获取由无线接收部106接收到的压力数据(s4)，使用处于特征量条件积蓄部122的压力的特征量提取条件/判定条件进行压力探测处理(s5)。压力的特征量提取条件/判定条件例如是压力信号的时间的变化的模式、或者超过了规定阈值的压力值等。在探测到对象作业的压力的情况下(s6)，将探测结果保存至压力探测结果积蓄部114。此外，在探测到压力的情况下，音探测部115确认与所探测到的压力接近的时刻的音数据是否处于音探测结果积蓄部116(s7)。若有音数据，则从音探测结果积蓄部116取入该音数据(s8)，进行音探测处理(s9)。在音探测处理中，例如，对音信号的最大振幅的定时进行探测。
[0060]
在探测到对象作业的音的情况下(s10)，将探测结果保存至音探测结果积蓄部116。此外，在探测到音的情况下(s10)，通过作业探测部117，使用在压力探测结果积蓄部114中保存的压力探测结果和在音探测结果积蓄部116中保存的音探测结果，进行作业判定(s11)。作业判定例如基于压力信号的模式和音信号的定时的关系来进行。
[0061]
在探测结果被判定为对象作业的情况下(s12)，将探测结果保存至作业探测结果积蓄部118。此外，在被判定为对象作业的情况下(s12)，通过作业好坏判定部119，使用在压力探测结果积蓄部114中保存的压力探测结果和在音探测结果积蓄部116中保存的音探测结果，进行是否被正确地进行了对象作业的好坏判定(s13)。其结果是，与事先注册了作业信息的作业信息数据库121的作业数据关联而保存至作业日志积蓄部120，并且输出至通知部108(s14)。作业信息数据库121不一定需要，在没有的情况下，将结果原样保存至作业日志积蓄部120，输出至通知部108(s14)。
[0062]
在上述作业判定部107以及数据判定流程中，通过使用音保存程序131，从而能够减少对音数据进行保存的处理，还能够减少对音数据积蓄部112的访问。仅在作业判定程序132中检测到对象作业的压力时，从音数据积蓄部112取出音数据，进行音数据处理。因此，不进行偶发地产生的音的处理。此外，还能够减少对音数据积蓄部112的访问，不需要始终进行音探测处理。
[0063]
由此，能够减少数据量多的音的处理，减少花费时间的对数据积蓄部的访问，其结果是，数据处理所需的时间变短而实时的探测变得容易，能够减轻计算机的负荷。若能够减轻计算机的负荷，则能够通过廉价的计算机使系统便宜，能够由一个计算机进行多个作业人员的探测。此外，通过能够进行实时的检测判定，作业人员能够立刻进行作业的重试或修正，而不会落下作业效率。此外，还能够减少音数据的保存数据量，能够减小积蓄部的容量，能够使系统便宜。
[0064]
图4所示的作业检测判定流程是一例，不一定需要按照该流程。在计算机的处理能力充分高，或不需要实时的探测的情况下，也可以不分开执行音保存程序131和作业判定程序132这两个，而作为一个程序来执行。此外，也可以在压力探测之前进行音探测。
[0065]
接下来，使用图5和图6所示的嵌合作业中的传感器数据的波形，针对使用图3和图4说明的作业检测判定进行说明。
[0066]
图5a、图5b、图5c是作为嵌合作业而检测到的从可穿戴传感器101的压力传感器104得到的压力波形。图5a、图5b、图5c是各个作业人员进行作业时的压力波形，由大拇指压力传感器104a得到的压力波形以实线a表示，由食指压力传感器104b得到的压力波形以虚线b表示。大拇指和食指的压力波形以不重叠的方式在纵轴错开而显示。如后述那样，将嵌合音的振幅成为最大的时间以ts来表示。
[0067]
使用图5a的作业人员a的压力波形来说明一系列的嵌合动作及此时的压力变化。首先，就至时刻t0为止的时间而言，压力小的状态持续。这是嵌合动作之前，手套型可穿戴传感器什么也没有握着。从时刻t0起，压力变大。从此，作业人员由手套型可穿戴传感器的大拇指和食指握着连接器，开始嵌合动作。在时刻t1至时刻t3的时间，有压力的山，在其间的时刻t2压力急剧减少。在时刻t1至时刻t3的压力为山的期间，作业人员以大拇指和食指较强地握着连接器而插入连接器。并且，在时刻t2，结束插入连接器(嵌合结束点)。
[0068]
在包含导电性粒子的感压片材类型的压力传感器中，若施加压力则导电性粒子相互接触而产生易于流过电流的路径，电阻下降，感知为压力高。该类型的压力传感器若在与压力垂直的方向、即滑动的被施加力，则导电性粒子所成的电流路径急剧崩坏而电阻上升，压力下降(参考专利文献“日本特开2010
‑
271242号公报”)。在时刻t2，压力急剧降低是因为压力传感器感知到滑动，连接器的插入结束而在连接器和压力传感器之间由于插入动量而发生了滑动。在时刻t3以后，压力小的状态持续。在此，作业人员从连接器离开手指，嵌合动作结束。从而，能够接受从感压导电片材被送出的检测信号，根据感压导电片材的电阻值探测压力，基于感压导电片材的电阻值的变化而生成滑动检测信号。
[0069]
图5b的作业人员b的压力波形、图5c的作业人员c的压力波形也基本上与作业人员a同样。作为作业人员b的不同点，时刻t1至时刻t3的压力的波形的山小。这表示作业人员b手指不太用力地进行连接器的插入。作为作业人员c的不同点，有在时刻t3之后在时刻t3至时刻t5的时间再次有压力的山，在时刻t4压力再次急剧减少的点。这表示作业人员c为了确认嵌合状态，进行再次推入连接器的动作。
[0070]
在图4的压力探测处理(s5)中，在存在被视为以上的嵌合动作的压力波形那样的、具有(1)在嵌合结束点之前压力大、(2)在嵌合结束点之后压力小的点持续、(3)在嵌合结束点的一定时间前有滑动、(4)大拇指和食指在相同的时间产生同样的变化、等特征的至少一个的压力波形的情况下，作为嵌合动作的压力来探测。
[0071]
在决定是否进行其后的处理的压力探测处理(s5)中，对嵌合结束点尚未确定，但例如压力以具有上述的定时(1)(2)(4)的模式来推移的情况进行探测。此外，除此之外也可以包含(3)的移动(滑动)的信号的定时。在嵌合结束点的一定时间前为止有滑动这样的特征是通过使用能够探测滑动的压力传感器而得到的特征，容易地从嵌合作业区分不产生大量的滑动的别的作业，能够减少误探测。相反作为最简单的例，也可以仅探测作业人员的手指握着对象物的情况。在该情况下，在压力超过了规定阈值时判定为压力探测即可。
[0072]
图6a以及图6b是在被进行了嵌合作业探测时由可穿戴传感器101的麦克风103得到的音波形。图6a是大拇指麦克风103a的音波形，图6b是手腕麦克风103b的音波形。与图5所示的压力波形不同，音波形基于作业人员的差异小。
[0073]
在图6a的大拇指麦克风的音波形中，若将振幅成为最大的时间设为ts，则在之前音的振幅急剧增加，在其后从增加缓慢地衰减。图6b的手腕麦克风的音波形与大拇指麦克
风的振幅成为最大的时刻ts相比经过延迟而振幅成为最大。此外，手腕麦克风的振幅的最大值与大拇指麦克风的振幅的最大值相比更小。发生嵌合音的位置是大拇指的指尖，大拇指麦克风与手腕麦克风相比与嵌合音的发生位置接近，因此较大的音快速到达大拇指麦克风。
[0074]
在图4的音探测处理(s9)中，在存在被视为以上的嵌合时的音波形那样的、具有(1)与规定阈值相比振幅大、(2)振幅的增加/衰减的速度与嵌合音的波形接近、(3)大拇指麦克风的振幅比手腕麦克风的振幅大、(4)与手腕麦克风相比音快速到达大拇指麦克风、等特征的音波形的情况下，作为嵌合动作的音来探测。
[0075]
除了在压力探测处理(s5)和音探测处理(s9)中探测到嵌合的压力和音这双方之外，在图4的作业判定(s11)中观察压力探测的时间和音探测的时间的一致。在图5的压力波形中，ts所示的时刻是嵌合音的振幅最大时的时刻。在由大拇指和食指握着而插入连接器的正中，连接器的锁定机构工作而发生嵌合音，在其紧后连接器到达深处。即，在嵌合音的时刻ts的紧后(具体而言规定时间内)存在嵌合压力的滑动时刻t2。以此为条件来探测嵌合作业(s11)。即，在作业判定(s11)中，基本上判断音的信号的定时、和移动(滑动)的信号的定时的时间的关系。此外，除此之外也可以基于在处理s4中说明的压力值或者压力值的变化模式来判定。具体而言，能够基于音或者移动(滑动)的信号的定时、和在图5a～c中说明的压力的时间的变化模式或者检测出规定压力的定时之间的关系来判定。当然，在处理s4中针对压力信号进行了相同的判定的情况下不需要再次进行。
[0076]
在压力传感器不能探测到滑动信号的情况下，作为嵌合压力的时刻，考虑使用插入连接器的压力的山的峰值的时刻，但在该情况下，不一定明确手指最用力的时间是插入中的哪个时刻，时刻没有被严密地决定。此外，根据作业人员，在连接器插入中手指最用力的时间也会改变。进而，与滑动的时刻不同，压力的山的峰值的时刻在山平稳的情况或在山的顶峰有平的区域的情况下，例如图5b的作业人员b那样大拇指和食指不太用力地握着而插入连接器的情况下，变得模糊。若嵌合压力的时刻变得模糊，则嵌合压力的时刻和嵌合音的时刻的时间的关系不总相同，探测的精度降低。相对于此，在使用滑动的时刻的情况下，明确地决定了图表中的时刻，且决定了在插入中的连接器到达深处的时刻，因此嵌合压力的时刻和嵌合音的时刻的时间的关系始终明确地决定，能够提高作业探测(s11)的精度。
[0077]
在图4的作业好坏判定(s13)中，判定是否满足预先决定的作业基准。例如，在嵌合作业的情况下，以在连接器的插入后为了确认是否处于嵌合状态而实施暂时拉出连接器而再次推入的确认的动作为作业基准。在图5c的作业人员c的情况下，如上面说明的那样，有在时刻t3至时刻t5的时间再次有压力的山，在时刻t4再次压力急剧减少的点，在此，进行为了确认嵌合状态而暂时拉出连接器而再次推入的确认的动作。在嵌合音的时刻ts的紧后的时刻t2的滑动信号之后再1次有滑动信号从而可知进行了确认的动作。在图5a和图5b的作业人员a和作业人员b的作业中，在嵌合音的时刻ts的紧后的时刻t2的滑动信号之后没有滑动信号。因此，可知没有进行确认的动作。这样，在作业好坏判定(s13)中，被判定为图5c的作业满足作业基准，图5a和图5b的作业不满足作业基准。在此，使用滑动信号从而能够更明确地判定确认的动作。
[0078]
在不需要判定作业的好坏，只要能够检测有作业即可情况下，不需要作业好坏判定(s13)。此外，在通过作业探测(s11)，能够判断为作业没有被正确地进行的情况下，例如，
若在嵌合的情况下有嵌合音则能够判断为嵌合被准确地进行的情况下，不需要作业好坏判定(s13)。此时，在图3的作业判定部107的结构中，不需要作业好坏判定部119和作业日志积蓄部120，将作业探测部117的结果直接输出至通知部108即可。此外，在图4的数据判定流程中，也不进行作业好坏判定(s14)，而将作业探测(s11)的结果输出至通知部108即可(s14)。
[0079]
＜追加了调节功能的例＞
[0080]
接着，使用图7针对附加了调节功能的作业信息管理系统进行说明。由可穿戴传感器101得到的指尖的压力数据如图5所示，根据作业人员而力的大小、用力方式、作业的方法不同。因此，通过使用附加了调节功能的作业信息管理系统，按每个作业人员来调节探测条件，从而能够提高探测精度。在应用于新的工厂或作业线时也是有效的。
[0081]
图7中表示附加了调节功能的作业内容检测判定计算机102’的结构图。除了图3的作业内容检测判定计算机102外，还具备调节部141。调节部141由作业信息输入部142、正探测特征量积蓄部143、特征量条件调节部144构成。作为作业信息输入部142，例如使用手套型可穿戴传感器101的麦克风103、压力传感器104、作业内容检测判定计算机102的键盘等。
[0082]
各作业人员在初次使用作业信息管理系统之前，安装可穿戴传感器101并使用调节功能，进行用于调节的作业。通过用于调节的作业，在作业人员进行了探测对象的作业时，对作业信息输入部142给予输入信号。在使用麦克风作为作业信息输入部142的情况下，在进行了探测对象的作业的紧后，将事先决定的声音输入至麦克风。在使用压力传感器作为作业信息输入部142的情况下，在进行了探测对象的作业的紧后，将事先决定的压力信号输入至压力传感器。在使用键盘作为作业信息输入部142的情况下，在进行了探测对象的作业的紧后，按压键盘而输入信号。通过信号被输入至作业信息输入部142，系统能够探测探测对象的作业被进行的情况。
[0083]
首先，若探测对象的作业被进行，则作业判定部107的各探测部进行探测和判定的处理，若满足探测的条件，则探测结果被保存至各探测结果的积蓄部(压力探测结果积蓄部114、音探测结果积蓄部116、作业探测结果积蓄部118、作业日志积蓄部120)。在探测结果中，包含探测的时刻，以及用于探测的特征量。
[0084]
接下来，在进行了探测对象的作业的紧后，若对作业信息输入部142给予输入信号，则从压力探测结果积蓄部114之中寻找被给予了输入信号的时刻的紧前的探测结果，移动至正探测特征量积蓄部143。在此，若在由于探测遗漏而在压力探测结果积蓄部114之中没有探测结果，则在对探测条件进行调节时，难以进行调节以使该探测被进行，因此首先放宽探测条件以使没有探测遗漏。如果在有探测遗漏的情况下，进行变更以使探测条件放宽。
[0085]
若探测对象的作业的探测结果累积于正探测特征量积蓄部143，则通过特征量条件调节部144，使用所累积的特征量的分布对特征量的探测条件进行变更以使其变严。特征量的分布根据作业人员而不同，成为按每个作业人员而不同的探测条件。若变更探测条件，则此外，探测对象的作业的探测结果累积于正探测特征量积蓄部143，使用所累积的特征量的分布而进行变更以使特征量的探测条件变严。根据压力探测结果积蓄部114和正探测特征量积蓄部143的积蓄信息而反复进行直至误探测率、探测遗漏率低于事先的设定。
[0086]
压力探测如图5所说明的那样按每个作业人员而压力波形不同，被提取的特征量不同，因此按每个作业人员来调节探测条件，记录至特征量条件积蓄部122，从而能够提高探测精度。即，能够降低误探测率、探测遗漏率。此外，本调节功能不仅能够应用于压力探
测，同样地还能够应用于音探测、作业探测、作业好坏判定。通过这样，能够进一步提高探测精度。
[0087]
使用图7所示的附加了调节功能的作业内容检测判定计算机102’，从而通过进行调节的作业，调节被完成。能够容易地进行每个作业人员的调节。还能够容易地进行对新的工厂或生产线的应用。
[0088]
[实施例2]
[0089]
参考图8～图11，针对第二实施方式的作业信息管理系统进行说明。
[0090]
图8中，表示第二实施方式的作业内容检测判定系统100b的结构图。作为与第一实施方式的作业内容检测判定系统100不同的点，具备加速度传感器151。加速度传感器151使用3轴的加速度传感器。无线发送部105b和无线接收部106b除了麦克风103和压力传感器104的数据外，还发送接收加速度传感器151的数据。
[0091]
此外，在作业判定部107b中，除了麦克风103和压力传感器104的数据外，还使用加速度传感器151的数据，进行探测/判定。可穿戴传感器101使用对图2所示的可穿戴传感器101安装了加速度传感器151后的可穿戴传感器。加速度传感器151也可以被附加于与可穿戴传感器101的手背的无线发送部105a相同的位置。通过附加于该位置，能够缩短至无线发送部105a为止的布线。
[0092]
使用图9和图10，说明图8所示的作业判定部107b的细节。
[0093]
图9中示出表示第二实施方式的作业判定部107b的详细的结构的作业内容检测判定计算机102b的结构图。作业判定部107b与图3所示的第一实施方式的作业判定部107相比，新具备进行加速度探测的加速度探测部152和加速度探测结果积蓄部153。
[0094]
图10中，表示由图9所示的作业判定部107b进行的数据判定流程。相对于图4所示的第一实施方式的数据判定流程，音保存程序131是相同的。在作业判定程序132b中，新进行加速度的获取、探测处理、判定(s15～17)。加速度数据的采样频率也可以设为1khz左右。不需要音数据那样高频，但需要与压力数据相比更短时间的数据而成为更高频。即，按采样频率低的顺序，成为压力数据、加速度数据、音数据。为了使得数据取得简便，也可以升高压力数据的采样频率而设为与加速度数据的采样频率相同。
[0095]
在作业判定程序132b中，按采样频率低的顺序进行探测处理。与第一实施方式的作业判定程序132同样地进行压力探测处理(s5)，在压力被探测到的情况下(s6)，加速度探测部152从无线接收部106b取入与被探测到的压力接近的时间的加速度数据(s15)，进行加速度探测处理(s16)。在对象作业的加速度被探测到的情况下(s17)，将探测结果保存至加速度探测结果积蓄部153。此外，在加速度被探测到的情况下，与第一实施方式的作业判定程序132同样，进行音探测、作业判定、作业好坏判定，若对象作业的作业判定没有被进行，则输出至通知部108。在作业判定时(s5)，除了压力探测结果和音探测结果外，还使用加速度探测结果，进行判定。
[0096]
在作业判定程序132b中，按采样频率低的顺序进行多个传感器数据的探测处理，意味着从更不需要计算机的处理能力的探测处理起进行。通过先进行更不需要计算机的处理能力的探测处理，从而在之前的处理中没有被探测到时不进行之后的更需要计算机的处理能力的探测处理，能够减轻计算机的负荷。其结果是，实时的探测变得容易，能够通过廉价的计算机使系统便宜，能够由一个计算机进行多个作业人员的探测。
[0097]
图10所示的作业检测判定流程是一例，不一定需要按照该流程。既可以在压力探测处理之前进行加速度探测处理，也可以同时进行压力探测处理和加速度探测处理。在计算机的处理能力充分高，或不需要实时的探测的情况下，也可以不分开执行音保存程序131和作业判定程序132这两个，而作为一个程序来执行。
[0098]
使用图11和图12所示的在被进行了嵌合作业探测时的传感器数据的波形，针对通过图10所示的探测流程进行的探测进行说明。
[0099]
图11是在被进行了嵌合作业探测时从可穿戴传感器101的加速度传感器04得到的加速度波形。以波形来表示3轴的加速度的绝对值。加速度在没有手的移动时取重力加速度的1g的值，若在作业中移动手则通常在1g附近上下。在图11中，在时刻ta加速度急剧变大。在该时刻作业人员插入连接器。在插入连接器时，快速移动手，因此加速度瞬间地成为较大的值。通过捕捉较大的加速度，能够检测嵌合动作的加速度波形。其中，同样的波形在作业中大量出现，因此仅从加速度波形进行嵌合动作的判定是困难的。
[0100]
在图10的作业探测(s11)中，除了通过压力探测处理(s5)、加速度探测处理(s16)、和音探测处理(s9)探测到全部嵌合的压力、加速度、音外，观察压力探测的时刻、加速度探测的时刻、音探测的时刻的关系。图12中示出嵌合动作的压力波形。时刻ta和时刻ts分别是加速度和音的振幅为最大时的时刻、即加速度探测的时刻和音探测的时刻。在此，成为加速度探测的时刻ta、音探测的时刻ts、嵌合压力的滑动时刻t2的顺序。在插入连接器时，由大拇指和食指抓住连接器而将手用力向插入方向移动，在时刻ta加速度成为最大值。接下来，若连接器被插入则锁定机构工作而发生嵌合音，在时刻ts音的振幅成为最大值。进而在其后连接器到达深处而在时刻t2产生压力带来的滑动。以时刻ta、时刻ts、时刻t2在一定时间内按顺序排列为条件而探测嵌合作业(s11)。一定时间内，例如设为0.1秒以内。
[0101]
在有时根据作业人员或作业而加速度成为最大的定时不同的情况下，有时时刻ta在时刻ts之后到来。在发生这样的情况的情况下，以时刻ta和时刻ts这双方处于时刻t2的一定时间前为条件而探测嵌合作业。
[0102]
在上述的说明中使用了滑动信号时刻t2，但即使省略滑动信号时刻t2，使用加速度探测的时刻、音探测的时刻、和压力信号的探测定时的关系，也能够期待某种程度提高作业的探测精度。这是因为如图5a～c所说明的那样，作业时的压力信号示出特有的模式，加速度探测的时刻和音探测的时刻的关系也能看出特征。
[0103]
通过使用以上说明的加速度的时刻，能够减少误探测，能够提高探测精度。在需要充分高的探测精度的情况下是有效的。在第一实施方式中说明的调节功能也能够同样地应用于第二实施方式。
[0104]
[实施例3]
[0105]
使用图13，针对从无线发送部105向无线接收部106的基于无线的数据发送进行说明。
[0106]
如使用图4说明的那样，在作业判定中，使用嵌合音的时刻ts和嵌合压力的滑动时刻t2之间的时间关系。音数据和压力数据从可穿戴传感器101以无线的方式被发送给作业内容检测判定计算机102，但若音数据和压力数据的时刻的同步偏差，则不能准确地判定。
[0107]
为了防止这样的多个传感器信号间的时刻同步的偏差，将多个传感器信号绑定而复合信号化，将被绑定的信号作为单一的无线信号进行发送以及接收。
[0108]
作为该方法的一例，将来自如图7所示被配置于印制板上的多个传感器401、402的信号暂时传送至信号复合化部403，在将信号复合化后从无线发送机404发送。此时，信号复合化部403也可以如图7所示作为单一的ic芯片来配置。
[0109]
此外，例如，也可以是在多个信号通过布线上的电信号被传送给无线发送部105的ic后被绑定以使在内部的电路中成为单一的无线信号。另外，通过之后在无线发送部105或者无线接收部106或者作业判定部107中对数据赋予时刻，将时刻信息分解到各感测信号后进行动作对照。
[0110]
通过消除多个传感器之间的时刻同步偏差从而精度高地进行作业人员的作业信息特定，能够做出作业的判定。
[0111]
以上说明的实施例的作业内容检测判定系统100除了嵌合作业以外，只要是能够通过音和对手施加的压力的信息、或音和对手施加的压力和手的加速度的信息来检测的作业内容，就能够同样地应用。此外，不仅一个作业，多个作业也设置各自的检测条件/判定条件，从而能够切分而检测。还能够检测多个作业，将作业内容记录至时间序列。通过这样，易于将作业效率化。
[0112]
此外，在以上说明的作业内容检测判定系统100中，通过音和对手施加的压力的信息、或音和对手施加的压力和手的加速度的传感器信息来检测作业，但也可以使用这以外的传感器信息。通过使用更多的传感器信息，能够进一步提高探测精度。
[0113]
此外，在上述实施方式中，对作业人员所进行的作业为例进行了说明，但本发明的用途并非一定被限定于作业人员所进行的作业。
[0114]
此外，在上述实施方式中，以手的作业为例进行了说明，但本发明中包含的可穿戴传感器并非被限定于此，也可以是安装于脚掌或膝盖等腿的一部分、肩或肘等胳膊的一部分的可穿戴传感器。
[0115]
此外，在上述实施方式中，进行了作为可穿戴传感器的说明，但并非一定限定于人所安装的传感器，也可以是安装了多个传感器的机器人或者装配机械。
[0116]
如以上说明的那样，通过实施例记载的技术，能够提供能够高精度地检测作业人员的作业内容，特别是能够高精度地检测连接器嵌合的作业内容检测判定系统以及可穿戴传感器。
[0117]
标号说明
[0118]
100，100b 作业内容检测判定系统
[0119]
101 可穿戴传感器
[0120]
102，102’，102b 作业内容检测判定计算机
[0121]
103，103a，103b 麦克风
[0122]
104，104a，104b 压力传感器
[0123]
105，105a，105b 无线发送部
[0124]
106，106b 无线接收部
[0125]
107，107b 作业判定部
[0126]
108 通知部
[0127]
111 音数据保存处理部
[0128]
112 音数据积蓄部
[0129]
113 压力探测部
[0130]
114 压力探测结果积蓄部
[0131]
115 音探测部
[0132]
116 音探测结果积蓄部
[0133]
117 作业探测部
[0134]
118 作业探测结果积蓄部
[0135]
119 作业好坏判定部
[0136]
120 作业日志积蓄部
[0137]
121 作业信息数据库
[0138]
122 特征量条件积蓄部
[0139]
131 音保存程序
[0140]
132，132b 作业判定程序
[0141]
141 调节部
[0142]
142 作业信息输入部
[0143]
143 正探测特征量积蓄部
[0144]
144 特征量条件调节部
[0145]
151 加速度传感器
[0146]
152 加速度探测部
[0147]
153 加速度探测结果积蓄部
[0148]
401，402 传感器
[0149]
403 信号复合化部
[0150]
404 无线发送机