用于对多个图像执行机器学习和测试的方法及装置与流程

1.本说明书中公开的实施例涉及一种用于对多个图像执行机器学习和测试的方法及装置，特别是涉及一种对同一个图像执行机器学习和测试两者，并通过反映机器学习的结果来执行测试的方法和装置。
2.2019年课题信息和谢辞说明
3.1.课题序号：1711094483
4.2.谢辞说明：本研究由科学技术信息通信部和信息通信技术促进中心的全球sw专业公司发展项目的研究结果执行(iitp
‑
2019
‑0‑
01423
‑
001)


背景技术：

5.近来，ai技术应用于机器视觉(machine vision)领域，为工厂自动化做出了巨大贡献。然而，为了将ai技术应用于机器视觉领域，需要判断产品是否存在缺陷和程度或者用于判断物品的类型的标准，并且为了设定这种标准，应对预先拍摄的物品的多个图像执行机器学习(machine learning)。例如，可以对拍摄良品或次品的多个图像执行机器学习，或者可以对拍摄多种类型的物品的多个图像执行机器学习。
6.在通常使用的机器视觉技术中，为了执行通过拍摄图像区分良品和次品的测试(test)，首先使用单独准备的训练(training)用图像执行学习(learning)。例如，通过对拍摄良品或次品的多个图像执行学习来掌握拍摄良品的图像或拍摄次品的图像的特征后，测试拍摄物品的图像来判断物品是良品还是次品的方式。
7.然而，在如上所述的分开执行学习和测试的现有方式的情况下，存在如下问题。
8.首先，由于次品的发生率极低的生产工艺的特征，不仅很难获得拍摄次品的图像，在执行学习前额外执行将多个图像分为良品的图像和次品的图像的工作，因此需要时间和精力。
9.其次，由于基于一次学习执行结果执行测试，当发生学习后照亮物品的照明亮度或位置等的环境变化时，测试结果的准确度会降低。
10.与此相关，在作为现有技术文献的韩国授权专利第10
‑
1867475号中，公开了一种通过使用自动编码器对静态数据(static data)执行无监督学习来聚类相似模型的内容。
11.另一方面，前述的背景技术是发明人为推导本发明而拥有的，或者是推导本发明的过程中学到的技术信息，不能说一定是在申请本发明前向公众公开的公知技术。


技术实现要素：

12.要解决的技术问题
13.在本说明书中公开的实施例提供一种机器学习和测试执行方法以及装置，用于通过对多个图像执行机器学习和测试两者来实时反映学习结果，从而提高测试准确度。
14.用于解决问题的手段
15.为了提高机器学习和测试的准确度，对多个图像执行学习和测试两者，其中通过
反映执行学习的结果来执行测试。
16.发明效果
17.根据上述解决问题的手段中的任意一个，通过对多个图像执行学习和测试两者，其中通过反映学习结果来执行测试，从而可以实时反映学习结果并执行测试，因此，可以预期通过自适应地响应环境变化来提高测试准确度的效果。
18.另外，由于不需要单独准备学习用图像，因此可以减少确保拍摄次品的图像或分类图像所需的时间和精力。
19.公开的实施例所能够获得的效果不限于以上所提及的效果，本领域技术人员可从以下记载中清楚地理解未提及的其他效果。
附图说明
20.图1是示出一实施例的用于对多个图像执行机器学习和测试的系统的图。
21.图2是用于说明图1所示的计算装置的结构的框图。
22.图3至图8是用于说明实施例的用于对多个图像执行机器学习和测试的方法的流程图。
具体实施方式
23.作为用于实现上述技术问题的技术手段，根据一实施例，一种对多个图像执行机器学习和测试的方法，可包括如下步骤：接收多个图像，以及对所述多个图像执行学习和测试；通过反映执行所述学习的结果来执行所述测试。
24.根据另一实施例，提供一种用于在计算装置中执行对多个图像执行机器学习和测试的方法的计算机程序，对多个图像执行机器学习和测试的方法可包括如下步骤：接收多个图像，以及对所述多个图像执行学习和测试；通过反映执行所述学习的结果来执行所述测试。
25.根据又一实施例，提供一种计算机可读记录介质，记录有用于在计算装置中执行对多个图像执行机器学习和测试的方法的程序，对多个图像执行机器学习和测试的方法可包括如下步骤：接收多个图像，以及对所述多个图像执行学习和测试；通过反映执行所述学习的结果来执行所述测试。
26.根据又一实施例，一种用于执行机器学习和测试的装置，包括：输入输出部，接收与机器学习和测试相关的操作和数据输入，并显示数据处理结果，通信部，与外部装置进行通信以发送和接收数据，存储部，存储用于执行机器学习和测试的程序，以及控制部，通过执行所述程序来对多个图像执行机器学习和测试；所述控制部对通过所述通信部接收的多个图像执行学习和测试；所述控制部通过反应执行所述学习的结果来执行所述测试。
27.下面，参照附图详细描述各种实施例。下面描述的实施例还可以以各种不同的形式修改并实施。为了更清楚地描述实施例的特征，以下实施例所属的本领域普通技术人员公知的事项的详细描述将被省略。而且，在附图中，省略了与实施例的描述无关的部分，并且在整个说明书中对于相似的部分赋予相似的附图标记。
28.在整个说明书中，当描述一个组件与另一个组件“连接”时，它不仅包括“直接连接”的情况，还包括“其中间隔着其他组件而连接”的情况。并且，当描述一个组件“包括”另
一个组件时，除非另有说明，否则意味着还可以包括其他组件，而不是排除其他组件。
29.图1是示出一实施例的用于对多个图像执行机器学习和测试的系统的图。参照图1，根据一实施例的用于对多个图像执行机器学习和测试的系统可包括拍摄部10和计算装置100。
30.图1所示的系统是用于判断物品1是良品还是次品的机器视觉系统，当拍摄部10拍摄物品1的图像并传输到计算装置100时，计算装置100通过分析接收的图像来判断拍摄的物品1是良品还是次品。为此，计算装置100可以通过学习(在下文中，与“机器学习”的含义相同)接收的图像来掌握正常图像(拍摄良品的图像)和异常图像(拍摄次品的图像)的特征。
31.拍摄部10是用于拍摄物品1的外观的结构，可以由包括图像传感器的相机等实现。虽然在图1中拍摄部10示为与计算装置100彼此分离的结构，但与此不同，拍摄部10可以是包括在计算装置100的结构。另外，拍摄部10还可包括拍摄时用于照亮物品1的照明以确保更清晰的图像。
32.拍摄部10逐个拍摄通过传送带等移动的物品1，并且可以将拍摄的图像传输到计算装置100。
33.计算装置100对从拍摄部10接收的多个图像执行机器学习和测试。计算装置100通过分析拍摄物品1的图像来判断包括在图像的物品1是良品还是次品。
34.尤其，计算装置100在对多个图像执行学习和测试两者时，其中通过反映执行学习的结果来执行测试，从而可以将学习结果实时反映在测试。即计算装置100可以在不将学习用图像和测试用图像彼此分离的情况下，对同一个图像执行学习和测试两者。因此，由于不需要单独准备学习用图像，因此可以预期提高用户便利性的效果。另外，在执行测试的同时对执行测试的图像进行学习，执行学习的结果在对下一个图像执行测试时反映，因此可以预期即使照明的亮度或位置等的周围环境变化，也会通过自适应地响应来提高测试准确度的效果。
35.以下，参照附图，对计算装置100对多个图像执行学习和测试的具体方法进行说明。
36.图2是用于说明图1所示的计算装置100的结构的框图。参照图2，根据一实施例的计算装置100可包括输入输出部110、通信部120、控制部130和存储部140。
37.输入输出部110是用于从用户接收与执行机器学习和测试相关的设定等的输入，并输出测试结果等的结构。根据一实施例，输入输出部110通过键盘和鼠标等的输入装置从用户接收设定输入，并且可以将执行学习和测试的结果显示在画面。
38.通信部120是用于与外部装置执行通信以发送和接收数据的结构，可以支持各种方式的有线或无线通信。例如，通信部120可以从拍摄部10依次接收拍摄物品1的图像。通信部120可以实现为支持各种通信协议的通信芯片组。
39.控制部130是包括如cpu等的至少一个处理器的结构，控制计算装置100的整体操作。尤其，控制部130可以通过执行存储在存储部140的程序来对多个图像执行机器学习和测试。以下，对控制部130对多个图像执行机器学习和测试的具体操作进行详细说明。
40.各种类型的程序和数据可以存储在存储部140。尤其，在存储部140可以存储用于对多个图像执行机器学习和测试的程序，也可以存储成为学习和测试的对象的多个图像。
41.根据一实施例，控制部130对通过通信部120接收的多个图像执行学习和测试，其中，可以通过反映执行学习的结果来执行测试。此时，通信部120从拍摄部10依次接收拍摄物品1的图像，控制部130也可以按接收图像的顺序逐个执行学习和测试。
42.控制部130对多个图像逐个执行学习和测试时，可以通过反映先前学习的结果来对下一个图像执行测试。例如，当对任一个图像(第一图像)执行学习和测试时，控制部130通过反映对该图像(第一图像)的学习结果来对下一个图像(第二图像)执行测试。另外，控制部130可以对下一个图像(第二图像)执行学习，并且可以在对再下一个图像(第三图像)执行测试时反映其结果。
43.为了对图像执行测试，控制部130需要预先知道用于测试的标准(以下，称为“测试标准”)，例如，正常图像(拍摄良品的图像)的特征等。这种测试标准可以预先存储在存储部140，或者在对图像执行学习的过程中，控制部130直接掌握并存储在存储部140。
44.以下，对控制部130在对图像执行学习的过程中直接掌握测试标准的实施例进行说明。
45.控制部130开始对多个图像依次逐个执行学习。首先，由于未准备测试标准，控制部130仅对图像执行学习。如果对图像依次逐个执行学习然后满足预定的一定标准(以下，称为“准备标准”)，则控制部130判断完成用于设定测试标准的准备，并且对之后顺序的图像执行学习和测试两者，其中，通过反映直到满足准备标准为止执行的学习结果和对之后顺序的图像的学习结果来执行测试。
46.详细而言，当判断满足准备标准时，控制部130基于直到满足准备标准为止执行的学习结果设定测试标准，并且对之后顺序的图像执行测试。此时，控制部130对之后顺序的图像执行测试的同时，执行学习，基于其结果继续更新测试标准。即控制部130对之后顺序的图像执行测试时，通过反映到测试执行之前执行的其他图像的学习结果来执行测试。
47.控制部130判断是否满足准备标准的方法如下。
48.控制部130可以基于到目前为止执行学习的时间或者到目前为止执行学习的图像的数量来判断是否满足准备标准。这是因为只有执行至少一定时间以上的学习或者对至少一定数量以上的图像执行学习，才可以掌握如正常图像的特征等的测试标准。
49.例如，控制部130确认到目前为止执行学习的时间，当确认的时间超过预定值时，可以判断满足准备标准。或者例如，控制部130确认到目前为止执行学习的图像的数量，当确认的数量超过预定值时，可以判断满足准备标准。
50.除此之外，控制部130可以通过各种方式判断是否完成用于测试标准设定的准备(是否满足准备标准)。
51.当满足准备标准时，控制部130对之后顺序的图像执行学习和测试两者的方法如下。
52.当判断满足准备标准时，控制部130基于到满足准备标准为止执行的学习结果，掌握正常图像的特征并将其设定为测试标准。这里，举例说明了测试标准为正常图像的特征，但与此不同，异常图像的特征等也可以成为测试标准。
53.控制部130基于掌握的正常图像的特征对任何一个图像(第一图像)执行测试。即控制部130判断第一图像是正常图像还是异常图像。当判断第一图像为异常图像时，控制部130可以通过输入输出部110显示检测到次品的提示。
54.控制部130对第一图像不仅执行测试还执行学习。控制部130基于对第一图像执行学习的结果更新正常图像的特征。因此，当对第一图像下一个顺序的图像(第二图像)执行测试时，控制部130可以基于反映对第一图像的学习结果的正常图像的特征来判断第二图像是否为正常图像。如上所述，控制部130可以通过对各图像执行测试同时执行学习来继续更新测试标准。
55.另一方面，以上说明了每当对一个图像执行学习时控制部130更新测试标准(正常图像的特征)，如果如此频繁地更新，处理速度或资源利用方面可能效率不高。因此，可以仅在满足预定的一定标准(以下，称为“更新标准”)的情况下更新测试标准，而不是更新每个图像的测试标准。以下，对这种实施例进行说明。
56.当判断满足准备标准时，控制部130可以基于之前执行的学习结果来掌握正常图像的特征。这里，举例说明了测试标准为正常图像的特征，但与此不同，异常图像的特征等也可以成为测试标准。
57.控制部130基于掌握的正常图像的特征对任何一个图像(第一图像)执行测试。即控制部130判断第一图像是正常图像还是异常图像。当判断第一图像为异常图像时，控制部130可以通过输入输出部110显示检测到次品的提示。
58.控制部130对第一图像不仅执行测试还执行学习。当完成对第一图像的学习时，控制部130判断是否满足预定的更新标准。更详细而言，控制部130确认在完成正常图像的特征掌握的时间或者完成更新正常图像的特征的时间之后执行学习的时间，当确认的时间超过预定值时，可以判断满足更新标准。或者，控制部130确认在完成正常图像的特征掌握的时间或者完成更新正常图像的特征的时间之后执行学习的图像的数量，当确认的数量超过预定值时，可以判断满足更新标准。
59.如上所述，控制部130仅在满足一定标准(更新标准)的情况下反映学习结果并更新测试标准，从而可以实时反映学习结果的同时提高效率性。
60.以下，参照图3至图8，对根据实施例的对多个图像执行机器学习和测试的方法进行说明。根据图3至图8所示的实施例的机器学习和测试执行方法包括图1和图2所示的计算装置100中按时间顺序处理的步骤。因此，即使是以下省略的内容，以上说明的与图1和图2所示的计算装置100相关的内容可以适用于根据图3至图8所示的实施例的机器学习和测试执行方法。
61.图3是用于说明一实施例的用于对多个图像执行机器学习和测试的方法的流程图。
62.参照图3，在步骤301中，计算装置100接收多个图像。此时，计算装置100可以一次接收多个图像，还可以在执行学习和测试的同时，按顺序依次接收作为目标的图像。
63.在步骤302中，计算装置100对多个图像执行学习和测试两者，其中通过反映学习结果来执行测试。换言之，计算装置100依次对多个图像执行学习和测试，反映对之前的图像学习的结果来对下一个图像执行测试。
64.图4是用于说明包括在图3的步骤302的细部步骤的流程图。参照图4，在步骤401中，计算装置100对接收的多个图像逐个执行学习。
65.在步骤402中，计算装置100判断是否存在要学习的下一个图像，如果不存在下一个图像，则终止过程，如果存在下一个图像，则执行步骤403。
66.在步骤403中，计算装置100判断是否满足预定标准(准备标准)，如果未满足准备标准，则返回执行步骤401，如果满足准备标准，则执行步骤404。这里，“准备标准”是指用于判断是否完成了如上所述用于设定测试的标准(测试标准)的准备的标准。即当满足准备标准时，计算装置100判断完成用于设定测试标准的准备。计算装置100基于到目前为止执行学习的时间或者到目前为止执行学习的图像的数量判断是否满足准备标准，将参照以下图7和图8对详细过程进行说明。
67.在步骤404中，计算装置100对剩余图像执行学习和测试两者，其中，反映其他图像的学习结果来执行测试。
68.当判断满足准备标准时，计算装置100对之后顺序的图像执行学习和测试两者，其中，通过反映直到满足准备标准为止执行的学习结果和对之后顺序的图像的学习结果来执行测试。详细而言，当判断满足准备标准时，计算装置100基于直到满足准备标准为止执行的学习结果来设定测试标准，并且对之后顺序的图像执行测试。此时，计算装置100在对之后顺序的图像执行测试同时执行学习，并基于其结果继续更新测试标准。即当计算装置100对之后顺序的图像执行测试时，通过反映就在执行测试之前执行的其他图像的学习结果来执行测试。
69.以下参照图5和图6，对在步骤404中计算装置100通过反映其他图像的学习结果来执行测试的具体过程进行说明。
70.图5是用于说明包括在图4的步骤404的细部步骤的流程图。参照图5，在步骤501中，计算装置100基于之前的学习执行结果来掌握正常图像的特征。
71.在步骤502中，计算装置100通过基于正常图像的特征对图像执行测试来检测异常图像。计算装置100可以通过将在步骤501掌握的正常图像的特征与各图像进行比较来判断各图像是正常图像还是异常图像。
72.在步骤503中，计算装置100对在步骤502中执行测试的图像执行学习。在步骤504中，计算装置100基于在步骤503中执行学习的结果来更新正常图像的特征。
73.在步骤505中，计算装置100判断是否存在下一个图像，如果存在下一个图像，则返回执行步骤502，并且如果不存在下一个图像，则终止过程。
74.另一方面，如上所述，在更新正常图像的特征的情况下，计算装置100不在每当完成对一个图像的学习时更新，而是仅在满足预定的一定条件(更新条件)的情况下更新，从而实时反映学习结果的同时提高效率性。以下，参照图6，对这种实施例进行说明。
75.图6是用于说明包括在图4的步骤404的细部步骤的流程图。参照图6，在步骤601中，计算装置100基于之前的学习执行结果来掌握正常图像的特征。
76.在步骤602中，计算装置100通过基于正常图像的特征对图像执行测试来检测异常图像。计算装置100可以通过将在步骤601掌握的正常图像的特征与各图像进行比较来判断各图像是正常图像还是异常图像。
77.在步骤603中，计算装置100对在步骤602执行测试的图像执行学习。在步骤604中，计算装置100判断是否有下一个图像，如果判断结果为没有下一个图像，则终止过程，相反地，如果有下一个图像，则执行步骤605。
78.在步骤605中，计算装置100判断是否满足预定的标准(更新标准)。详细而言，计算装置100确认在完成正常图像的特征掌握的时间或者完成更新正常图像的特征的时间之后
执行学习的时间，当确认的时间超过预定值时，可以判断为满足更新标准。或者，计算装置100确认在完成正常图像的特征掌握的时间或者完成更新正常图像的特征的时间之后执行学习的图像的数量，当确认的数量超过预定值时，可以判断为满足更新标准。
79.作为步骤605的判断结果，如果判断未满足预定的标准，则计算装置100返回再次执行步骤602，相反地，如果判断满足预定的标准，则计算装置100执行步骤606。
80.在步骤606中，计算装置100基于最后一次更新正常图像的特征之后对图像学习的结果来更新正常图像的特征。执行步骤606后，计算装置100返回再次执行步骤602。
81.以下，参照图7和图8，对计算装置100在图4的步骤403判断是否满足准备标准的具体方法进行说明。
82.参照图7，在步骤701中，计算装置100确认到目前为止执行学习的时间。在步骤702中，计算装置100判断确认的时间是否超过预定值，如果超过预定值，则执行图4的步骤404，如果是预定值以下，则再次执行图4的步骤401。
83.参照图8，在步骤801中，计算装置100确认到目前为止执行学习的图像的数量。在步骤802中，计算装置100判断确认的数量是否超过预定值，如果超过预定值，则执行图4的步骤404，如果是预定值以下，则再次执行图4的步骤401。
84.如上所述，计算装置100可以通过对图像执行学习直到满足准备标准来掌握用于测试的标准，对之后的图像执行学习的同时，基于根据之前图像的学习结果而掌握的测试标准来执行测试。
85.在根据以上说明的实施例的情况下，对多个图像执行学习和测试两者，其中通过反映学习结果来执行测试，从而可以实时反映学习结果并执行测试，因此，可以预期通过自适应地响应环境变化来提高测试准确度的效果。
86.另外，由于不需要单独准备学习用图像，因此可以减少确保拍摄次品的图像或分类图像所需的时间和精力。
87.在上述实施例中使用的术语“～部”是指软件或现场可编程门阵列(field programmable gate array，fpga)或专用集成电路(asic)等硬件组件，“～部”可执行某种角色。但是“～部”并不限定于软件或硬件。“～部”可以配置成驻留在可寻址的存储介质，还可以配置成运行一个或多个处理器。因此，作为一例，“～部”包括：如软件组件、面向对象的软件组件、类组件及任务组件的组件；进程；函数；属性；程序；子程序；程序专有代码段；驱动程序；固件；微代码；电路；数据；数据库；数据结构；表；数组；以及变量。
88.组件和“～部”中提供的功能可以组合成较少数量的构成要素和“～部”，或者与附加组件和“～部”分开。
89.不仅如此，组件和“～部”也可以被实现为运行装置或安全多媒体卡中的一个或多个中央处理器。
90.根据通过图3至图8描述的实施例的机器学习及测试执行方法还可以以存储可由计算机执行的指令和数据的计算机可读介质的形式来实现。此时，指令和数据可以以程序代码的形式存储，在被处理器执行时，可以生成预定的程序模块来执行预定的操作。并且，计算机可读介质可以是可由计算机访问的任何可用介质，包括易失性和非易失性介质、可移动和不可移动介质。并且，计算机可读介质可以是计算机记录介质，计算机记录介质可以包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据的信息的任何方法
或技术实现的易失性和非易失性、可移动和不可移动介质。例如，计算机记录介质可以是磁存储介质，如硬盘驱动器(hdd)及固态硬盘(ssd)；光记录介质，如光盘(cd)、数字化视频光盘(dvd)及蓝光光盘；或包括在可通过网络访问的服务器中的存储器。
91.此外，根据通过图3至图8描述的实施例中的机器学习及测试执行方法也可以被实现为包括可通过计算机执行的指令的计算机程序(或计算机程序产品)。计算机程序包括由处理器处理的可编程机械指令，并且可以用高级编程语言(high
‑
level programming language)、面向对象的编程语言(object
‑
oriented programming language)、汇编语言或机器语言来实现。此外，计算机程序可以记录在有形的计算机可读记录介质(例如，存储器、硬盘、磁/光介质或固态驱动器(solid
‑
state drive，ssd)等)。
92.因此，根据通过图3至图8描述的实施例中的机器学习及测试执行方法可通过由计算装置执行如上所述的计算机程序来实现。计算装置还可包括处理器、存储器、存储装置、连接到存储器和高速扩展端口的高速接口以及连接到低速总线和存储装置的低速接口中的至少一部分。这些组件中的每一个都使用各种总线相互连接，可以安装在共同主板上或以任何其他合适的方式安装。
93.其中，处理器可以在计算装置中处理指令，这些指令可包括存储在存储器或存储装置中以在外部输入或输出装置(例如连接到高速接口的显示器)上显示用于提供图形用户接口(graphic user interface，gui)的图形信息的指令。例如，作为另一实施例，多个处理器和(或)多个总线可以与多个存储器和存储器形态一起适当地使用。并且，处理器可以实现为由包括多个独立模拟和(或)数字处理器的芯片组成的芯片组。
94.并且，存储器在计算装置中存储信息。作为一例，存储器可以配置为易失性存储器单元或其集合。作为另一例，存储器可以配置为非易失性存储器单元或其集合。并且，存储器也可以是另一种形式的计算机可读介质，例如磁盘或光盘。
95.而且，存储装置可以为计算装置提供大容量的存储空间。存储装置可以是计算机可读介质或包含这种介质的组件，例如，也可包括存储区域网络(storage area network，san)中的装置或其他组件，可以是软盘装置、硬盘装置、光盘装置或磁带装置、闪存或其他类似的半导体存储装置或装置阵列。
96.上述实施例是用于例示，上述实施例所属领域的普通技术人员可以理解，在不改变上述实施例的技术构思或必要特征的情况下，可以很容易地将其修改为其他具体形式。因此，应当理解，上述实施例在所有方面都是示例性的而不是限制性的。例如，描述为单一型的每个组件可以以分散的形式实现，同样描述为分布式的组件可以以组合的形式实现。
97.想要通过本说明书保护的范围由所附权利要求而不是以上详细说明来表示，应理解为包括从权利要求的含义和范围及其等同物而衍生的所有变化或修改。