检查系统、管理装置、检查方法、记录介质和物品的制造方法与流程

1.本公开涉及检查系统、管理装置、检查方法、记录介质和物品的制造方法。


背景技术：

2.用户要求的产品质量逐年提高，并且产品外观的要求水平逐年提高。因此，要求制造商在产品装运之前的外观检查中可视化和评估诸如瑕疵、灰尘、污渍、涂层缺陷和膜的颜色不均匀性之类的产品的细微外观差异。
3.日本专利申请公开no.2014-66599讨论了通过对包括对象的图像执行图像处理来确定缺陷的存在/不存在的检查方法和检查装置。
4.在产品装运之前，执行多个检查步骤，因此，可能存在在后续检查步骤中首次发现在先前检查步骤中未展现的外观缺陷的情况。在这种情况下，浪费了直至后续步骤的加工成本，并且产生了从先前步骤重做工作的额外成本。


技术实现要素：

5.根据本公开的一方面，一种检查系统包括：图像捕获单元，被配置为捕获工件的图像；以及处理单元，被配置为基于由图像捕获单元捕获的图像来确定工件的质量，其中，处理单元基于在第二检查步骤中由图像捕获单元捕获的第二图像来确定工件是否包括缺陷，其中，处理单元基于第二图像和在第二检查步骤之前执行的第一检查步骤中由图像捕获单元捕获的第一图像来提取工件的缺陷部分候选，以及其中，处理单元基于所提取的工件的缺陷部分候选来改变第一检查步骤的检查条件。
6.从以下参考附图对示例性实施例的描述中，各种实施例的更多特征将变得清楚。
附图说明
7.图1是图示了根据第一示例性实施例的检查系统的方面的示意图。
8.图2是图示了根据第一示例性实施例的处理单元的方面的示意图。
9.图3是图示了根据第二示例性实施例的检查方法的方面的流程图。
10.图4是图示了根据第三示例性实施例的检查方法的方面的流程图。
具体实施方式
11.(检查系统)
12.图1是图示了根据第一示例性实施例的检查系统1的示意图。检查系统1包括检查装置300和处理装置(处理单元)100。图2是图示了处理装置100的框图。
13.检查装置300是被配置为检查工件206的装置。检查装置300包括图像捕获单元304、照明单元305和基座307。
14.图像捕获单元304包括：图像捕获主单元(未图示)，该图像捕获主单元在壳体中包括图像捕获设备；透镜单元(未图示)，该透镜单元包括光学系统；以及图像捕获驱动单元
(未图示)，该图像捕获驱动单元被配置为移动图像捕获主单元和透镜单元的位置。可以使用商购的数字相机作为图像捕获主单元和透镜单元。图像捕获单元304在设置在处理装置100中的控制单元105的控制下能够在z方向和xy方向上移动。因此，图像捕获单元304与工件206之间的相对位置能自由改变。通过改变它们之间的相对位置，用户可以改变工件206的图像捕获区域和相对于工件206的焦点位置。
15.照明单元305包括至少一个光源，并具有将光施加到作为检查装置300的检查对象的工件206的表面的功能。光源例如是发光二极管(led)。照明单元305附接到杆(未图示)，并在设置在处理装置100中的控制单元105的控制下能够在z方向和xy方向上移动。因此，照明单元305与工件206之间的相对位置能自由改变。另外，控制单元105可以打开和关闭照明单元305的光源的电源。基于工件206的类型来选择照明单元305的光源的数量和光源的形状。对于诸如光学透镜之类的在从z方向观察的平面图中具有圆形形状的工件，具有环形形状的光源是合适的。对于诸如车辆外部之类的具有大形状的工件，使用多个光源，并且光源被布置为使得可以从多个方向顺次地施加光。基于工件206的类型和待检测的外观缺陷的类型来选择光源的波长。例如，为了检测诸如薄膜的剥落和瑕疵之类的包括微小凹凸的三维缺陷，优选地使用波长范围为420nm至500nm(包括两个端值)内的蓝光。另外，为了确定外观的质量，高信噪(s/n)比是优选的。另外，led优选地以高密度布置，并且优选地使用各自发射线性光的led。
16.基座307是放置有作为检查对象的工件206的构件。在图1中图示的示例性实施例中，基座307不包括使得能够在z方向或xy方向上移动的驱动机构；然而，驱动机构可以设置在基座307中，并且控制单元105可以控制工件206与照明单元305之间的相对位置或工件206与图像捕获单元304之间的相对位置。在图1中，工件206是光学透镜，即，凹透镜。然而，工件206的形状不限于此，并可以是平板形状或凸形状。另外，工件206可以是非透光工件或透光工件。
17.在图1中，一个检查装置300能够与一个处理装置100通信；然而，检查装置300的数量不限于一个。一个处理装置100可以与多个检查装置300通信。另外，对于多个检查系统1，整体控制各个检查系统1的处理装置100的通用处理装置可以被用于控制检查系统1。另外，通用处理装置可以经由外部服务器控制处理装置100，并可以部署在远离放置检查装置300的地方的远处。另外，作为检查装置300，可以使用商购的三维形状测量装置。
18.处理装置100具有基于由图像捕获单元304捕获的图像来确定工件206的质量的功能。另外，处理装置100具有管理检查装置300的检查条件的功能。处理装置100包括信息存储单元101、图像处理单元102、估计单元103、输出单元104、控制单元105和输入单元106。
19.信息存储单元101具有存储关于工件206的特有信息和检查步骤的检查条件的功能。关于工件206的特有信息包括例如形状、材料和零件编号。另外，该信息可以与质量确定的结果或对于工件206的加工数据相关联。检查条件包括由图像处理单元102对图像执行的图像处理的条件以及用于确定图像中工件206的质量的条件(质量确定标准)。除了上述条件之外，检查条件可以包括图像捕获单元304的位置、图像捕获单元304的光圈和焦距、图像捕获单元304的曝光条件、图像捕获单元304与工件206之间的相对位置、照明单元305的位置、照明单元305的照明光的波长以及照明单元305与工件206之间的相对位置。信息存储单元101存储要发送到图像处理单元102和估计单元103的数据，并将该数据输出到图像处理
单元102和估计单元103。信息存储单元101不仅可以存储检查装置300中的信息，还可以经由网络存储来自存储数据库的外部装置或云的信息。
20.图像处理单元102具有读取存储在信息存储单元101中的图像处理的条件、对存储在信息存储单元101中的图像执行处理以及将经处理的图像或经处理的图像信息输出到估计单元103的功能。可以从诸如图像转换、变形处理和特征量提取之类的已知处理方法中适当地选择图像处理。此时，关于图像处理方法的机器学习功能可以被并入到图像处理单元102中，并且可以选择性地仅输出由机器学习功能确定的适于估计的图像处理方法。由图像捕获单元304捕获的图像不需要由图像处理单元102处理，并且未经受处理的图像可以被输出到估计单元103。
21.估计单元103通过使用从图像处理单元102输出的图像和图像信息以及存储在信息存储单元101中的各种信息来确定工件206的质量。用于确定图像中工件206的质量的条件例如包括将例如瑕疵、灰尘、污渍、涂层缺陷和膜的颜色不均匀的部分作为缺陷处理的最小尺寸以及出现缺陷的位置。可以基于作为检查对象的工件206的位置来设定作为缺陷处理的最小尺寸。在检查步骤之前存在加工步骤的情况下，可以基于加工步骤来设定缺陷的尺寸和位置。估计单元103基于是否满足这些条件来确定工件206的质量。
22.估计单元103还具有通过使用从图像处理单元102输出的图像和图像信息以及存储在信息存储单元101中的各种信息来估计工件206的缺陷出现部分的功能。在检查方法的段落中描述用于估计缺陷出现部分的过程。
23.估计单元103可以包括用于机器学习的机器学习单元，并且包括多种类型的图形处理单元(gpu)的计算机可以被用于机器学习的计算。可以使用已知的机器学习方法。更具体地，机器学习方法可以主要被分类为监督学习、无监督学习和强化学习。
24.在使用监督学习的情况下，输入数据的示例包括在先前步骤(下面描述的第一检查步骤)中的工件的图像、关于工件的信息、加工步骤信息以及在先前步骤中对图像执行的图像处理的条件。训练数据的示例包括在后续步骤(下面描述的第二检查步骤)中被确定为包括缺陷的工件的图像、关于工件的信息、加工步骤信息和确定结果。根据输入数据和训练数据来估计工件的缺陷部分以及与在先前步骤中估计的工件的缺陷类型的类似度，并且工件的缺陷部分和类似度被输出以构造学习模型。在类似度的估计中，可以执行参数的加权操作，并且其权重是可变的。
25.在使用无监督学习的情况下，输入数据的示例包括在后续步骤中被确定为包括缺陷的工件的图像、先前步骤中的工件的图像以及每个图像执行的图像处理的条件。
26.输出单元104具有将由图像捕获单元304捕获的图像和由图像处理单元102处理的图像输出到显示设备202的功能。另外，输出单元104可以将存储在信息存储单元101中的信息输出到显示设备202。
27.控制单元105连接到信息存储单元101、图像处理单元102、估计单元103和输出单元104，并执行各种类型的条件的设定以及要执行估计的次数的设定。另外，控制单元105可以控制检查装置300的驱动，并控制检查装置300的检查条件。控制单元105还包括在估计单元103估计缺陷部分之后改变检查条件并将经改变的检查条件存储在信息存储单元101中的功能。
28.输入单元106具有临时存储经由下面描述的用户界面设备201(下文中，ui设备
201)由用户输入的关于工件206的诸如形状、材料和零件编号之类的信息的功能。输入单元106例如是随机存取存储器(ram)或硬盘驱动器(hdd)。输入单元106不需要连接到ui设备201。可替换地，可以连接诸如计算机辅助设备(cad)之类的外部设备(未图示)，并且可以从外部设备向输入单元106输入关于工件206的信息。另外，关于工件206的信息可以经由网络(未图示)从存储在云中的数据库输入到输入单元106。
29.处理装置100连接到ui设备201和显示设备202。
30.ui设备201连接到图1中的输入单元106。ui设备201是诸如键盘、鼠标或指示笔之类的输入设备。
31.显示设备202连接到图1中的处理装置100的输出单元104。显示设备202是显示器。特别地，显示设备202优选地是可以显示高灰度图像的高动态范围显示器。
32.(检查方法)
33.随后，描述通过使用检查系统1来检查工件206的方法。图3是图示了根据第二示例性实施例的检查方法的方面的流程图。
34.首先，在s11中，工件206被放置在检查系统1的基座307上，并且由图像捕获单元304获取(捕获)包括工件206的与和基座307接触的表面相对的表面的第一图像。所获取的第一图像与第一图像的检查条件、关于工件206的特有信息、至今为止执行的处理历史等相关联地存储在信息存储单元101中。作为关于工件206的特有信息，例如，用户可以经由ui设备201选择存储在信息存储单元101中的信息。检查条件包括由图像处理单元102对图像执行的图像处理的条件以及用于确定图像中工件206的质量的条件。除了上述条件之外，检查条件可以包括诸如图像捕获单元304的位置、图像捕获单元304的光圈和焦距、图像捕获单元304的曝光条件、图像捕获单元304与工件206之间的相对位置、照明单元305的位置、照明单元305的照明光的波长和照明单元305与工件206之间的相对位置之类的图像捕获条件。可以不需要对第一图像执行图像处理。
35.接下来，在s12中，处理装置100的估计单元103基于所获取的第一图像来确定是否在工件206的表面上出现了缺陷。s11和s12被称为第一检查步骤。第一图像和估计单元103的确定结果经由输出单元104显示在显示设备202上，并变得能供用户观看。在根据在第一检查步骤中获取的第一图像确定工件206包括缺陷的情况下(s12中的“是”)，再次执行第一检查步骤，或者处理不前进到在第一检查步骤之后的步骤。
36.接下来，在s13中，对在第一检查步骤中被确定为不包括缺陷的工件206执行加工。对工件206执行的加工的类型不受特别限制。例如，加工是诸如气相沉积、喷涂、旋涂、刮板和溅射之类的膜形成。除了膜形成之外，例如，可以执行切割、涂覆、施加、成型、研磨、抛光、钻孔(boring)和变形。执行这样的加工增加了在后续的第二检查步骤中首次发现在第一检查步骤中未展现的外观缺陷的可能性。然而，可以不需要在第一检查步骤和下面描述的第二检查步骤之间执行加工步骤。
37.随后，对经加工的工件206执行第二检查步骤(s21和s22)。在第二检查步骤中，在s21中，首先，由图像捕获单元304获取(捕获)包括与在第一图像中获取的表面相同的表面的工件206的第二图像。所获取的第二图像与第二图像的检查条件、关于工件206的特有信息、至今为止执行的处理历史等相关联地存储在信息存储单元101中。此时相关联的信息类型可以与和第一图像相关联的信息类型相同或不同。可以提供多个图像捕获单元304，并且
执行第一检查步骤的第一图像捕获单元可以不同于执行第二检查步骤的第二图像捕获单元。第二图像经由输出单元104显示在显示设备202上，并变得能供用户观看。
38.接下来，在s22中，处理装置100的估计单元103基于所获取的第二图像来确定是否在工件206的表面上出现了缺陷。更具体地，估计单元103基于通过从图像处理单元102输出的图像和图像信息以及存储在信息存储单元101中的各种信息的质量确定标准来确定工件206的质量。图像中工件206的质量确定标准例如包括将例如瑕疵、灰尘、污渍、涂层缺陷和膜的颜色不均匀的部分作为缺陷处理的最小尺寸以及出现缺陷的位置。可以基于作为检查对象的工件206的位置来设定作为缺陷处理的最小尺寸。另外，在检查步骤之前存在加工步骤的情况下，可以基于加工步骤来设定缺陷的尺寸和位置。估计单元103基于是否满足这些条件来确定工件206的质量。质量确定的结果经由输出单元104显示在显示设备202上，并变得能供用户观看。
39.在确定工件206不包括缺陷的情况下(在s22中的“否”)，检查结束。另一方面，在确定工件206包括缺陷的情况下(s22中的“是”)，即，在第二检查步骤中发现在第一检查步骤中未发现的工件206的缺陷的情况下，处理前进到接下来的s23。
40.在确定工件206包括缺陷的情况下，在s23中，控制单元105从信息存储单元101读取第二检查步骤中的缺陷确定信息。更具体地，在s23中，控制单元105读取关于被确定为包括缺陷的工件206的信息，并将所读取的信息与第二图像相关联地提供给估计单元103。与第二图像相关联的信息的示例包括工件206的材料、形状和尺寸、在加工步骤中使用的加工图、加工步骤信息、用于将工件206确定为包括缺陷的确定标准以及缺陷分类。另外，工件的零件编号信息、制造信息和设计数据也可以与第二图像相关联。
41.接下来，在s24中，控制单元105基于所读取的信息来从信息存储单元101读取第一图像，并将所读取的第一图像提供给估计单元103。在第二检查步骤之前存在多个检查步骤的情况下，可以在第二检查步骤之前执行的多个检查步骤中的任一个中读取第一图像；然而，优选地读取紧接在第二检查步骤之前的检查步骤中的图像。估计单元103可以读取第一图像以及在获取第一图像时的关于工件206的信息和检查条件。
42.随后，在s25中，估计单元103从第二图像提取关于缺陷部分的信息，并基于第二图像和第一图像来估计工件206的缺陷部分。更具体地，估计单元103从第二图像提取缺陷部分候选，并估计存在缺陷部分的缺陷部分候选区域。基于所估计的缺陷部分候选区域来确定对第一图像执行的图像处理的类型和位置。另外，通过图像处理提取作为缺陷出现部分的缺陷，并且在第一图像中指定缺陷的位置。可以提取一个或多个缺陷部分候选，并且可以估计一个或多个缺陷部分候选区域。在图像处理中，可以使用诸如图像转换、变形和特征量的信息提取之类的图像数据的常见图像处理方法。特别地，对比度调整、降躁、二值化处理、图案识别和图像扩展/收缩处理是合适的。这种处理的组合使得可以强调在第一检查步骤中未达到缺陷确定标准的缺陷，从而实现缺陷部分的识别。组合地比较第二图像中的缺陷部分、第一图像中的缺陷部分候选区域和第一图像的处理结果，从而使得可以增强第一图像中的缺陷部分的估计的可能性。另外，作为在第二步骤中展现缺陷的原因，存在图像捕获中工件206的位移或旋转。因此，估计单元103可以在第一图像和第二图像中调整整个工件206的位置关系之后估计缺陷部分。
43.另外，为了设定缺陷部分候选区域，估计单元103可以使用关于s13中的加工步骤
的信息。例如，在加工步骤是膜形成步骤并且膜形成方法是诸如气相沉积和喷涂之类的从检查表面上方形成膜的方法的情况下，第一图像的缺陷部分候选区域与第二图像的缺陷出现部分基本上相同。然而，在通过诸如旋涂和刮板之类的涂覆形成膜的情况下，缺陷经常位于缺陷部分候选区域的涂覆开始点侧。如上所述，将加工步骤的类型反映在缺陷部分候选区域的设定(条件)上使得可以增强第一图像中的缺陷部分的估计的可能性。
44.随后，估计单元103估计缺陷部分中的缺陷类型(缺陷分类)。缺陷类型的示例包括瑕疵、混浊度(haze)、涂层缺陷、膜的颜色不均匀、污渍和灰尘。用户预先列出缺陷类型的列表，并将该列表与包括工件206的图像相关联地存储在信息存储单元101中。基于该列表，估计单元103估计缺陷类型。另外，估计单元103估计缺陷部分中的缺陷尺寸。估计单元103可以基于从第一图像提取的关于缺陷尺寸的信息和从第二图像提取的关于缺陷尺寸的信息来估计缺陷的尺寸。
45.在s26中，基于当估计第一图像的缺陷时的图像处理条件和关于缺陷的信息，创建第一检查步骤的新的检查条件，并且改变并登记存储在信息存储单元101中的第一检查步骤的检查条件。作为检查条件而要改变的项包括第一图像的图像处理条件和用于识别第一图像中的缺陷的质量确定条件。除了上述条件之外，作为检查条件而要改变的项可以包括诸如图像捕获单元304的位置、图像捕获单元304的光圈和焦距、图像捕获单元304的曝光条件、图像捕获单元304与工件206之间的相对位置、照明单元305的位置、照明单元305的照明光的波长以及照明单元305与工件206之间的相对位置之类的图像捕获条件。
46.图3中图示的处理可以根据需要对被确定为包括缺陷的每个工件执行，可以仅对具有由用户指定的工件编号的工件执行，或者可以仅对具有缺陷被检测到指定次数或更多次的零件编号的工件执行。用户可以指定处理的执行频率。
47.在根据第二示例性实施例的检查方法中，基于第二检查步骤中的缺陷确定的结果来改变第一检查步骤的检查条件。因此，可以提高第一检查步骤的检查精度。另外，第一检查步骤的检查条件的改变使得可以从第一检查步骤的结果估计在第一检查步骤之后执行的加工步骤之后的第二检查步骤的质量确定的结果。
48.图4是图示了根据第三示例性实施例的检查方法的方面的流程图。根据第三示例性实施例的检查方法的处理在估计缺陷部分(在s25中)的方法方面与根据第二示例性实施例的检查方法的处理不同，并且与第二示例性实施例相比，第三示例性实施例可以增强估计精度。s11至s24中的处理与图3的对应步骤中的处理相同。因此，在图4中省略了s11、s12、s13、s21、s22、s23和s24中的处理。
49.在s251中，选择图像处理方法，并对在s24中读取的在第一检查步骤中捕获的第一图像执行图像处理。在s252中，比较所得图像与缺陷确定信息，并对第一图像执行缺陷出现部分的估计。在不存在被估计为缺陷出现原因的缺陷候选的情况下(s252中的“否”)，在s253中确定是否存在针对第一图像的未执行的图像处理条件。在存在未执行的图像处理条件的情况下(在s253中的“是”)，处理前进到s251。在不存在未执行的图像处理条件的情况下(在s253中的“否”)，处理结束。
50.在估计中存在可能是缺陷部分的缺陷候选的情况下(s252中的“是”)，在s254和s255中，在s251中选择的图像处理条件和确定条件被添加作为第一检查步骤的临时检查条件。这两个操作的顺序可以被颠倒。
51.接下来，在s256中，在第一检查步骤中将检查执行由装置或用户指定的次数。在s257中，核对是否获得由装置或用户指定的确定比率。此时，被执行了指定次数的检查的检查对象可以是已检查的工件或新的工件。确定比率是在第一检查步骤的临时检查条件下确定的第一检查步骤中的缺陷数量与第二检查步骤中的缺陷数量的比例(比率)。在确定比率大于或等于指定的确定比率的情况下，确定第一检查步骤的检查条件的可能性高。
52.在s261中，登记通过上述处理确定的第一检查步骤的图像处理条件。在s262中，登记此时的确定标准条件。然后，处理结束。此时，s261和s262的顺序可以被颠倒。对相同类型的缺陷重复执行图4中图示的处理，从而提高确定标准的精度。
53.(物品的制造方法)
54.根据上述示例性实施例中的任一个的检查系统适用于物品的制造方法。根据第四示例性实施例的物品的制造方法包括通过使用上述检查系统检查工件的表面，并对被检查的工件执行预定处理。预定处理可以是从例如加工、输送和组装中选择的至少一种。加工包括膜形成、切割、涂覆、施加、成型、研磨、抛光、钻孔和变形。与常规方法相比，根据本示例性实施例的物品的制造方法在加工成本方面是有利的。
55.在上述示例性实施例中，光学透镜用作工件的示例；然而，示例性实施例适用于除了诸如光学透镜之类的透明工件之外的工件。工件可以是透明工件或非透明工件，并且示例性实施例适用于检查汽车或宝石的壳体(主体)的表面。
56.另外，一些实施例可以通过以下步骤来实现：经由网络或记录介质，向系统或装置供应实现上述示例性实施例的一个或多个功能的程序，并使该系统或装置的计算机中的一个或多个处理器读取并执行程序。另外，一些实施例还可以通过实现一个或多个功能的电路(例如，专用集成电路(asic))来实现。
57.根据示例性实施例，基于后续检查操作中的缺陷确定的结果来改变先前检查操作的检查条件。这使得可以提高先前检查操作的检查精度。另外，可以减少加工成本以及在后续检查操作之前产生的重做成本。
58.其他实施例
59.一些实施例还可以通过读出并执行记录在存储介质(也可以被更完整地称为“非瞬态计算机可读存储介质”)上的计算机可执行指令(例如，一个或多个程序)以执行上述(一个或多个)实施例中的一个或多个实施例的功能和/或包括用于执行上述(一个或多个)实施例中的一个或多个实施例的功能一个或多个电路(例如，专用集成电路(asic))的系统或装置的计算机来实现，以及通过例如从存储介质读出并执行计算机可执行指令以执行上述(一个或多个)实施例中的一个或多个实施例的功能和/或控制一个或多个电路以执行上述(一个或多个)实施例中的一个或多个实施例的功能而通过由系统或装置的计算机执行的方法来实现。计算机可以包括一个或多个处理器(例如，中央处理单元(cpu)、微处理单元(mpu))，并且可以包括单独计算机或单独处理器的网络，以读出并执行计算机可执行指令。计算机可执行指令可以例如从网络或存储介质提供到计算机。存储介质可以包括例如硬盘、随机存取存储器(ram)、只读存储器(rom)、分布式计算系统的存储装置、光盘(诸如紧凑盘(cd)、数字多功能盘(dvd)或蓝光盘(bd)
tm
)、闪存设备、存储卡等中的一个或多个。
60.其他实施例
61.本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质
将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。
62.虽然本公开已经描述了示例性实施例，但要理解，一些实施例不限于所公开的示例性实施例。随附权利要求的范围应被赋予最宽泛的解释，以包含所有这样的修改以及等同的结构和功能。