护具辨识系统与护具辨识方法与流程

1.本发明是有关于一种护具辨识系统与护具辨识方法。


背景技术：

2.在半导元件的制造流程中，作业人员需在作业流程如未能做好安全防护来配戴护具，恐有工安疑虑。
3.护具穿戴作业描述于各规范中。针对安全防护，目前的一些作法，仅进行工作人员内部教育训练以及主管不定时稽核，针对人员防护器具穿戴作业巡检。举例而言，针对化学机械平坦化(cmp)人员，仅根据规范进行宣导，并根据规范纳入cmp自主稽核管理。这并无法完全有效监控作业人员护具的穿戴状况。


技术实现要素：

4.本发明的目的在于提供一种护具辨识系统与护具辨识方法，当作业人员异常配戴护具时，其能立即警示并记录异常状况。
5.本发明的一实施例是有关于一种护具辨识系统。
6.根据本发明的一实施方式，一种护具辨识系统包括影像撷取装置以及计算装置。影像撷取装置设置成撷取作业人员的影像。计算装置连接影像撷取装置并包括处理器、储存装置以及护具辨识模型数据库。储存装置连接处理器并用以储存影像。处理器辨识影像中作业人员的姿态。护具辨识模型数据库连接处理器并用以储存护具辨识模型。护具辨识模型记录护具在姿态下的所在位置。处理器根据护具辨识模型辨识影像中姿态的所在位置是否存在护具并输出辨识结果。
7.在本发明一个或多个实施方式中，前述护具辨识系统进一步包括显示器。显示器连接计算装置。显示器设置以显示交互界面。交互界面上呈现多个选项。处理器根据作业人员的姿态选择多个选项其中之一。
8.在本发明的一些实施方式中，处理器根据作业人员选择的选项设置作业人员的身份以及需要被辨识的护具。
9.在本发明一个或多个实施方式中，储存装置进一步设置成储存作业人员的设备使用信息。处理器根据设备使用信息从护具辨识模型数据库中选择出护具辨识模型。
10.在本发明一个或多个实施方式中，前述护具辨识系统进一步包括服务器。服务器远端连接计算装置。服务器用以接收作业人员的影像。服务器根据影像训练并提供护具辨识模块至计算装置的护具辨识模型数据库。
11.在本发明一个或多个实施方式中，前述护具辨识系统进一步包括传送装置。传送装置连接处理器。当处理器输出辨识结果，传送装置传送影像与辨识结果至个人电子装置。
12.本发明的另一实施例是有关于一种护具辨识方法。
13.根据本发明的一实施方式，一种护具辨识方法包括以下流程。撷取作业人员的影像。辨识作业人员在影像中的姿态。确认影像中的作业人员是否穿戴护具。确认影像中的作
业人员是否穿戴护具包括以下流程。根据护具辨识模型获得护具在姿态下的所在位置。确认作业人员在影像中的姿态的所在位置是否存在护具，以输出辨识结果。
14.在本发明一个或多个实施方式中，前述护具辨识方法进一步包括以下流程。通过显示器显示多个选项。根据作业人员在影像中的姿态选择多个选项其中之一，以根据作业人员选择的选项设置作业人员的身份以及需要被辨识的护具。
15.在本发明的一些实施方式中，前述护具辨识方法进一步包括以下流程。传送作业人员的身份以及辨识结果至个人电子装置。
16.在本发明的一些实施方式中，当确认影像中的作业人员是否穿戴护具的流程超过设定时间，显示器重新显示选项供作业人员选择。
17.综上所述，本发明提供一种非接触式的护具辨识系统，以及相应能够使用的护具辨识方法，利用边缘运算与机器视觉，结合人工智能影像辨识来辅助安全检查，当异常配戴时，能立即警示并记录异常状况，已达到防护器具的正确配戴性并提升作业人员工安意识。
18.应理解到，以上的一般说明与以下的详细描述都是通过示例做进一步说明，旨在为本发明提供做进一步的解释。
附图说明
19.本发明的优点与附图，应由接下来列举的实施方式，并参考附图，以获得更好的理解。这些附图的说明仅仅是列举的实施方式，因此不该认为是限制了个别实施方式，或是限制了权利要求的范围。
20.图1根据本发明的一实施方式绘示护具辨识系统的示意方块图；
21.图2根据本发明的一实施方式绘示护具辨识方法的流程图；
22.图3示意地绘示捕捉作业人员的影像的示意图；
23.图4与图5根据本发明的一实施方式示意地绘示获取作业人员姿态的示意图；
24.图6根据本发明的一实施方式绘示显示器上交互介面的示意图；
25.图7根据本发明的一实施方式绘示辨识作业人员一护具的示意图；
26.图8根据本发明的一实施方式绘示辨识作业人员另一护具的示意图；
27.图9根据本发明的一实施方式绘示辨识作业人员未穿戴护具的示意图；以及
28.图10根据本发明的一实施方式绘示传送至个人电子装置的多个辨识结果。
29.主要附图标记说明：
30.100-护具辨识系统，110-影像撷取装置，120-计算装置，125-处理器，130-储存装置，135-护具辨识模型数据库，140-传送装置，150-显示器，160-服务器，170-输入装置，200-影像，210-作业人员，215-围裙，220-袖套，225-面罩，230-手套，235-安全帽，240-鞋子，252-头部定位点，254-肩部定位点，256-颈部定位点，258-肘部定位点，260-手部定位点，262-腰部定位点，264-腿部定位点，266-脚部定位点，275-游标，277-选项，280-信息，281、282-检查框，300-个人电子装置，400-护具辨识方法，410～460-流程。
具体实施方式
31.下文列举实施例配合所附附图进行详细说明，但所提供的实施例并非用以限制本发明所涵盖的范围，而结构运作的描述非用以限制其执行的顺序，任何由元件重新组合的
结构，所产生具有均等功效的装置，皆为本发明所涵盖的范围。另外，附图仅以说明为目的，并未依照原尺寸作图。为使便于理解，下述说明中相同元件或相似元件将以相同的符号标示来说明。
32.除非另有定义，本文所使用的所有词汇(包括技术和科学术语)具有其通常的意涵，其意涵是能够被熟悉此领域者所理解。更进一步的说，上述的词汇在普遍常用的字典中的定义，在本说明书的内容中应被解读为与本发明相关领域一致的意涵。除非有特别明确定义，这些词汇将不被解释为理想化的或过于正式的意涵。
33.关于本文中所使用的“第一”、“第二”、
…
等，并非特别指称次序或顺位的意思，也非用以限定本发明，其仅仅是为了区别以相同技术用语描述的元件或操作而已。
34.其次，在本文中所使用的用词“包含”、“包括”、“具有”、“含有”等等，均为开放性的用语，即意指包含但不限于。
35.再者，在本文中，除非内文中对于冠词有所特别限定，否则“一”与“该”可泛指单一个或多个。将进一步理解的是，本文中所使用的“包含”、“包括”、“具有”及相似词汇，指明其所记载的特征、区域、整数、步骤、操作、元件与/或组件，但不排除其所述或额外的其一个或多个其它特征、区域、整数、步骤、操作、元件、组件，与/或其中的群组。
36.为遵守安全规范，半导体的作业人员的护具是必要的。护具包括面罩、围裙以及手套等等。除了对作业人员宣导外，更需要一种自动且完善的检查流程，检查作业人员护具的穿戴情况。同时，检查流程与整体的系统交互界面，更应要顾虑到作业人员穿上护具后，不方便操作的情况。
37.请参照图1。图1根据本发明的一实施方式绘示护具辨识系统100的示意方块图。通过护具辨识系统100，将能够辨识出作业人员是否穿戴护具。而作业人员也无需通过接触式的操作，即可启动护具辨识系统100。
38.如图1所示，在本发明的一实施方式中，护具辨识系统100包括影像撷取装置110、计算装置120、显示器150、远端服务器160以及输入装置170。影像撷取装置110连接影像撷取装置110。显示器150以及输入装置170连接至计算装置120。护具辨识系统100的计算装置120能够远端分别连接至远端服务器160以及个人电子装置300。
39.影像撷取装置110设置以撷取作业人员的影像。具体而言，在一些实施方式中，影像撷取装置110包括摄影机、相机或是ccd机器视觉。通过影像撷取装置110来即时撷取作业人员的影像，将能够即时获得作业人员的姿态，而使得作业人员能够通过改变自己的姿态来操作护具辨识系统100。具体请见后续的说明。
40.影像撷取装置110连接计算装置120。计算装置120能够分析影像撷取装置110撷取的影像，借以获得例如包括作业人员姿态的相关信息。如图1所示，在本实施方式中，计算装置120包括处理器125、储存装置130、护具辨识模型数据库135以及传送装置140，储存装置130、护具辨识模型数据库135以及传送装置140分别连接至处理器125。
41.处理器125能够辨识影像中作业人员的姿态。举例而言，处理器能够根据影像撷取装置110所撷取的影像，辨识出在影像中的作业人员的分布。在一些实施方式中，处理器能够通过一些去背的算法，去除作业人员的背景，来获得影像中作业人员的分布。随后，对于作业人员的分布，可以通过以机器学习/人工智能的方式，针对作业人员的不同部位标记定位点与连接线，从而辨别出作业人员的姿态。
42.护具辨识模型数据库135用以储存护具辨识模型。护具辨识模型记录护具在作业人员的姿态下的所在位置。举例而言，在一些实施方式中，处理器125已经分析出影像中作业人员不同部位的定位点，根据护具辨识模型则可以记录在不同定位点上应穿戴何种护具。如此，处理器125能够通过物件辨识的算法，辨别出在定位点上，是否存在特定的护具，从而输出辨识结果。在一些实施方式中，输出的辨识结果可以详列影像中作业人员姿态的定位点上是否存在特定护具。
43.在本实施方式中，计算装置120的储存装置130能够用以储存处理器125输出的辨识结果。处理器125输出的辨识结果，也能够通过传送装置140远端发送至个人电子装置300。个人电子装置300例如是作业人员的上级主管的个人电脑或是服务器。如此一来，作业人员的上级主管将能够确认作业人员是否穿戴护具。留存的辨识结果的记录，也有利于后续的责成与宣导。
44.显示器150连接计算装置120。在本实施方式中，显示器150设置以显示交互界面。交互界面上呈现多个选项。处理器125根据作业人员的姿态选择这些选项其中之一。如此，在作业人员穿戴护具的情况下，无须通过接触式的介面，即可实现护具辨识系统100的操作。
45.举例而言，对防护穿戴数据建档，计算装置120的储存装置130事先储存多个作业人员的设备使用信息，并借此提供多个选项。在作业人员非接触地触发护具辨识系统100后，显示器150上呈现多个选项。影像撷取装置110撷取作业人员的影像后，处理器125分析作业人员的影像来获取作业人员的姿态，并设定以作业人员的手部定位点移动，来对应显示器150上用于操作的游标的移动。同时，显示器150上的交互介面也根据多个作业人员的设备使用信息提供多个选项。如此，作业人员通过手部定位点的移动来移动游标来选定选项。处理器125将能够根据作业人员选择的选项，来设置作业人员的身份以及需要被辨识的护具。
46.储存装置130所储存的护具辨识模型，能够通过远端服务器160来提供。具体而言，根据本发明的一些实施方式，在影像撷取装置110撷取作业人员的影像后，能够通过计算装置120的传送装置140将作业人员的影像传送至远端服务器160。远端服务器160接收作业人员的影像后，能够定制化的根据作业人员的影像训练出护具辨识模块。
47.例如，当作业人员是在厂区的特定位置进行护具检查，则影像中背景必然是相似的，在这样的前提下，远端服务器160能够定制化的对影像进行去背并进行姿态辨识的训练，以机器学习或人工智能方式训练出护具辨识模块。以机器学习或人工智能来训练，也可以对应特定类型/型号的护具做定制化的物件辨识训练，如此一来，远端服务器160能够完成护具辨识模块，实现后续处理器125所应用的ai影像辨识模型的建立，进而对作业人员是否穿戴护具的安全防护结果验证。
48.在远端服务器160完成护具辨识模块的训练后，即可将护具辨识模块传送至计算装置120的储存装置130储存。如此一来，计算装置120的处理器125即可通过护具辨识模块，执行作业人员影像中作业人员的姿态辨识以及护具检查，实现边际运算的优势。
49.在本实施方式中，护具辨识系统100还连接输入装置170。输入装置170可以不为作业人员所使用。举例而言，输入装置170可以包括键盘及鼠标，计算装置120例如是个人电脑。如此，计算装置120在护具辨识系统100执行前，可以通过输入装置170做预先的设置。
50.为进一步具体说明护具辨识系统100的执行，请参照图2。图2根据本发明的一实施方式绘示护具辨识方法400的流程图。护具辨识方法400包括流程410至流程460。
51.在流程410，护具辨识系统100进入待机模式。在待机模式下，根据获得的工作排程信息，护具辨识系统100的储存装置130已预载各种身份检测项目选项(如图6)以及相应的护具辨识模型，以供后续流程使用。
52.在流程420，作业人员在穿戴护具后，非接触式地触发护具辨识系统100。举例而言，在一些实施方式中，得设置当护具辨识系统100的影像撷取装置110捕捉到包含作业人员的影像达一定时间后能够被触发。当护具辨识系统100触发后，对应影像撷取装置110撷取到作业人员的影像，并辨识出作业人员的姿态。
53.请参照图3。图3示意地绘示影像撷取装置110捕捉作业人员210的影像200的示意图。如图3所示，作业人员210穿戴的护具包括身体上的围裙215、手臂上的袖套220、手部的手套230、头部的面罩225、安全帽235以及脚部的鞋子240。而在图3所绘示影像撷取装置110撷取的影像200中，除作业人员210外，还包括作业人员210身后的背景，被图3中为了简单说明的目的而未绘示。
54.图4与图5根据本发明的一实施方式示意地绘示护具辨识系统100获取作业人员210姿态的示意图。
55.在图4中，基于影像200，护具辨识系统100的处理器125能够进行去背，使得作业人员210在影像200的分布被取出，而能够单独的进行影像分析。
56.相较于图3，在图4中，处理器125能够在作业人员210身上标记多个定位点。这些定位点分别位在作业人员210的不同部位，借以反映作业人员210姿态的特征，因此定位点也被称作是特征点。在一些实施方式中，定位点(特征点)可以设置在影像中作业人员不同部位的各个关节，例如手肘、手腕、腰部、膝盖等等。关于设置定位点的方法，举例而言，处理器125可以通过姿态辨识的模型，在单独输入作业人员210在影像200中的分布后，以人工智能方式标记出定位点。在一些实施方式中，影像撷取装置110为摄影机，因此处理器125能够针对多个连续的去背的作业人员210的影像200做辨识，从而在作业人员210的各个关节上标记定位点。
57.如图4所示，作业人员210身上的定位点包括头部上的头部定位点252、肩膀附近的肩部定位点254、位于脖子的颈部定位点256、位于手臂关节的肘部定位点258、位于手掌位置的手部定位点260、位在腰围上的腰部定位点262、位在腿部关节的腿部定位点264以及位在脚底的脚部定位点266。
58.在这些定位点之间，可以依照人体结构进行连线。举例而言在图4中，肩部定位点254-肘部定位点258-手部定位点260的连线，即对应到作业人员210手臂的姿态。腰部定位点262-腿部定位点264-脚部定位点266的连线，则对应到作业人员210腿部的姿态。因此，综合上述作业人员210的各个定位点与定位点之间的连线，即可反映出作业人员210的姿态，是以实现作业人员210的姿态辨识。
59.应留意到，图4绘示的姿态辨识方式仅是本发明的一实施例，而不应以此限制本发明所采用的姿态辨识算法。同样能够就作业人员210的影像200做影像分析，而能够定位出作业人员210在影像200中不同部位特征的算法，也包含在本发明中。
60.接续图4，在图5中，将辨识出的多个定位点以及定位点之间的连线载入影像200中
的作业人员210上。一旦作业人员210在影像200中有所移动，各个定位点也将对应作业人员210的不同部位做移动，从而即时反映作业人员210的姿态变化。
61.请回到图2，并同时参照图6。在流程430，作业人员210通过辨识出的姿态，来选择显示器150上交互介面呈现的身份检测项目。图6根据本发明的一实施方式绘示显示器150上交互介面的示意图。
62.在图6绘示的显示器150上，交互介面呈现包括游标275以及多个选项277。选项277上标示时间、身份以及工作类型，对应到在不同作业时间下，不同身份的作业人员210进行不同工作类型的作业。
63.如前所述，在完成作业人员210的姿态辨识后，将可以通过例如作业人员210的手部定位点260来移动游标275。当游标275移动至特定的选项277上，显示器150的交互介面能够对应选项277的工作类型呈现信息280。如图6所示，在本实施方式中，信息280可以是表格，表示在选项277对应的工作类型下，应穿戴的防护器具(护具)名称以及护具所对应的部位。以图6呈现的信息280为例，防酸围裙215应位在身体、袖套220应位在手臂、面罩225与安全帽235应位在头部、防酸手套230应位在手部。在本实施方式中，不同的部分，对应到影像200中(如图5所示)作业人员210上一个或多个定位点。
64.回到图2。进入到流程440，在完成身份检测项目的选项277的选择后，护具辨识系统100将根据作业人员210的选择来检查护具。以图6选项277对应的信息280为例，护具辨识系统100将检查身体、手臂、头部与手部。
65.此时，护具辨识系统100处理器125将根据作业人员210的选择来选定储存装置130所储存的护具辨识模型。护具辨识模型记载在作业人员210的姿态中，不同护具的所在位置。具体而言，以本实施方式为例，护具辨识模型记载在不同护具应设置在对应的一个或多个定位点上。
66.请参照图7。图7根据本发明的一实施方式绘示辨识作业人员210的一护具的示意图。在图7中绘示护具辨识系统100检查防酸手套230。此时，护具辨识系统100在影像200上提供检查框281。为检查手部，护具辨识系统100设置检查框281应包括整个手部定位点260，以物件辨识算法确认手部定位点260是否存在防酸手套230。以图7为例，作业人员210的两个手部定位点260上均存在防酸手套230。
67.图8根据本发明的一实施方式绘示辨识作业人员210另一护具的示意图。在图7中绘示护具辨识系统100检查防酸围裙215。此时，护具辨识系统100在影像200上提供检查框282。为检查身体，护具辨识系统100设置检查框282应包括所有肩部定位点254、腰部定位点262以及腿部定位点264。以图8为例，作业人员210在检查框282包括的范围，确实对应到作业人员210的身体，而在作业人员210的身体上存在防酸围裙215。
68.图9根据本发明的一实施方式绘示辨识作业人员210未穿戴护具的示意图。类似于图7，在图9中绘示出护具辨识系统100检查防酸手套230。在检查框281框记出的手部定位点260，护具辨识系统100很容易能够辨别出作业人员210并未穿戴防酸手套230。
69.相似的，手臂上袖套220的检查，可以对应设置两组检查框分别包含肩部定位点254、肘部定位点258、手部定位点260，而在这两组检查框中是否存在袖套220。针对头部面罩225以及安全帽235的检查，则可以设置涵盖到头部定位点252的检查框，并确认这样的检查框中是否存在面罩225以及安全帽235。
70.如此一来，护具辨识系统100将能够完成流程440，完成对作业人员210护具穿戴的检查。若作业人员210有未穿戴的护具如图9所示，则护具辨识系统100可以在流程440等待检查时间，待作业人员210完成护具的穿戴。
71.请回到图2。在流程450，确认作业人员210在流程440的检查时间是否超出设定的检查时间。如未超时，则代表作业人员210通过检查，将可进入到后续的流程460。若超时，则对应作业人员210未通过检查，护具辨识系统100退回流程440，显示器150的交互介面重新提供选项277供作业人员210确认选择的身份检测项目是否正确。
72.请同时参照图2以及图10。图10根据本发明的一实施方式绘示传送至个人电子装置300的多个辨识结果。
73.在流程460，护具辨识系统100的处理器125完成护具的检查后输出辨识结果，并通过传送装置140即时地将多个辨识结果传送至个人电子装置300。如前所述，个人电子装置300例如是作业人员210的主管的个人电脑或是记录用的服务器，以利相关单位调阅管理。
74.在图10提供的多笔辨识结果以表格呈现，表格的栏位包括时间、身份(类型)、(工作)种类、检测结果、正面照片以及背面照片。如图10所示，时间栏位记录护具辨识系统100检查作业人员的时间；身份栏位记录作业人员的工号；种类栏位记录工作类型；检测结果记录是否通过。如果通过，则提供正面照片与背面照片。
75.以工号r20029的作业人员为例，其工作种类为月保，通过护具辨识系统100的检测(pass)，并提供正面照片(档名imgfront)以及背面照片(档名imageback)。
76.对于工号h81806的作业人员，其工作种类为换酸，但未通过护具辨识系统100的检测(fail)。由于未通过检测，也无须留下照片。
77.在检查完毕后，护具辨识系统100可以回到流程410，进入待机模式，等待其他作业人员触发。
78.综上所述，本发明提供一种非接触式的护具辨识系统，以及相应能够使用的护具辨识方法。如此一来，利用边缘运算(edging computing)与ccd(charge coupled device)机器视觉结合人工智能影像分析技术，将作业人员的安全防护配戴与数据库或特征点做比对。在作业前执行标准着装人工智能影像辨识。当异常配戴时，能立即警示并记录异常状况，已达到防护器具的正确配戴性并提升作业人员工安意识。而本发明采用主动侦测、非接触式ai人工智能侦测，一切通过辨识作业人员姿态来操作决定工号或取消侦测，以利作业人员在佩戴护具后，仍能够容易操作进行辨识检查。在一些实施方式中，本发明的护具辨识系统以及方法还能够用于ai工安机器人开发与导入。
79.虽然本发明已经以实施例发明如上，然其并不用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作各种变动与润饰，因此本发明的保护范围当视权利要求所界定者为准。
80.对于本领域技术人员将显而易见的是，在不脱离本发明的范围或精神的情况下，可以对本发明实施例的结构进行各种修改和变化。鉴于前述内容，本发明旨在覆盖各种的修改与变形，只要它们落入所附权利要求的范围内。