工件的表面缺陷检测装置及检测方法、工件的表面检查系统以及程序与流程

1.本发明涉及当在作为表面缺陷的检测对象的车体等工件(work)中对工件的涂装面等被测定部位照射引起例如如明暗图案那样的周期性的亮度变化的照明光时，根据由摄像单元得到的多个图像制作合成图像，并根据该合成图像进行表面缺陷的检测的工件的表面缺陷检测装置及检测方法、工件的表面检查系统以及程序。


背景技术：

2.在合成多个图像制作合成图像来检查工件的表面的方法中，为了缩短处理时间，需要根据较少的张数的图像制作合成图像、并且确保作为检查图像的质量。作为在这样的检查方法中使用的合成图像，以往，已知使用上限值或下限值、或者上限值和下限值的差分制作的合成图像。例如，在专利文献1中，公开了一种使用周期性的亮度变化的振幅幅度、平均值、下限值及相位差、以及上限值及对比度中的至少任意一个来生成新图像以检测缺陷的技术。
3.现有技术文献
4.专利文献
5.专利文献1：日本专利第5994419号公报


技术实现要素：

6.发明要解决的课题
7.然而，包括专利文献1所记载的检查方法在内，在以往的检查方法中使用的合成图像存在对单独地发生的噪声的灵敏度高(s/n比低)、而且在要合成的图像的张数成为一定数量以上时无法提高缺陷检测精度这样的问题。而且，使用振幅值、相位值的图像合成还存在计算成本变高这样的问题。
8.本发明是鉴于这样的技术性背景而做出的，其目的在于提供一种即使图像张数少也能够制作s/n比高且缺陷检测精度也高的合成图像来检测工件的表面缺陷的工件的表面缺陷检测装置及检测方法、工件的表面检查系统以及程序。
9.课题的解决手段
10.上述目的通过以下的手段来达成。
11.(1)一种工件的表面缺陷检测装置，具备：图像合成单元，使用多个图像，计算所述多个图像中的统计性的偏差值来制作合成图像，所述多个图像是通过在利用在作为表面缺陷的检测对象的工件的同一位置引起周期性的亮度变化的照明装置对工件进行照明的状态下摄像单元连续地对工件进行摄像而得到的，并且所述多个图像是在所述周期性的亮度变化的1个周期中得到的；以及检测单元，根据由所述图像合成单元制作的合成图像来进行缺陷检测。
12.(2)根据前项1所述的工件的表面缺陷检测装置，其中，所述统计性的偏差值是方
差、标准差、半值宽度中的至少任意一个。
13.(3)根据前项1或2所述的表面缺陷检测装置，其中，所述图像合成单元针对每个像素进行所述统计性的偏差值的计算，并且针对关于所述多个图像的各像素而选择的最佳的采样候补来进行所述统计性的偏差值的计算。
14.(4)根据前项3所述的表面缺陷检测装置，其中，所述图像合成单元在从所述多个图像排除各像素中的成为偏差值降低因素的中间灰度的采样值后进行偏差值的计算，并用作关于该像素的偏差值。
15.(5)一种工件的表面检查系统，具备：照明装置，在作为表面缺陷的检测对象的工件的同一位置引起周期性的亮度变化；摄像单元，在利用所述照明装置对工件进行照明的状态下，连续地对工件进行摄像；以及前项1～4中的任意一项所述的工件的表面缺陷检测装置。
16.(6)一种工件的表面缺陷检测方法，其中，工件的表面缺陷检测装置执行：图像合成步骤，使用多个图像，计算所述多个图像中的统计性的偏差值来制作合成图像，所述多个图像是通过在利用在作为表面缺陷的检测对象的工件的同一位置引起周期性的亮度变化的照明装置对工件进行照明的状态下摄像单元连续地对工件进行摄像而得到的，并且所述多个图像是在所述周期性的亮度变化的1个周期中得到的；以及检测步骤，根据通过所述图像合成步骤制作的合成图像来进行缺陷检测。
17.(7)根据前项6所述的工件的表面缺陷检测方法，其中，所述统计性的偏差值是方差、标准差、半值宽度中的至少任意一个。
18.(8)根据前项6或7所述的工件的表面缺陷检测方法，其中，在所述图像合成步骤中，针对每个像素进行所述统计性的偏差值的计算，并且针对关于所述多个图像的各像素而选择的最佳的采样候补来进行所述统计性的偏差值的计算。
19.(9)根据前项8所述的工件的表面缺陷检测方法，其中，在从所述多个图像排除各像素中的成为偏差值降低因素的中间灰度的采样值后进行偏差值的计算，并用作关于该像素的偏差值。
20.(10)一种程序，用于使计算机执行前项6～9中的任意一项所述的工件的表面缺陷检测方法。
21.发明的效果
22.根据前项(1)、(5)以及(6)所述的发明，使用在周期性的亮度变化的1个周期中得到的多个图像，计算多个图像中的统计性的偏差值来制作合成图像，根据该制作的合成图像进行缺陷检测，所以即使成为合成对象的图像的张数少，也能够制作缺陷检测的s/n比高的合成图像，通过使用该合成图像，能够进行高精度的缺陷检测，能够减少不需要的缺陷候补的检测，并且防止遗漏必要的缺陷的检测。而且，相比于使用最大值、最小值等制作合成图像的情况，成本也降低。
23.根据前项(2)以及(7)所述的发明，计算方差、标准差、半值宽度中的至少任意一个，制作合成图像。
24.根据前项(3)以及(8)所述的发明，针对每个像素进行统计性的偏差值的计算，并且针对关于多个图像的各像素而选择的最佳的采样候补来进行统计性的偏差值的计算，所以特别是在要合成的图像的张数少的情况下，仅利用最佳的采样候补就能进行统计性的偏
差值的计算，能够抑制从采样候补排除了的像素的影响。
25.根据前项(4)以及(9)所述的发明，在从所述多个图像排除各像素中的成为偏差值降低因素的中间灰度的采样值后进行偏差值的计算，并用作关于该像素的偏差值，所以能够制作s/n比更高的合成图像。
26.根据前项(10)所述的发明，能够使计算机执行以下处理：使用在周期性的亮度变化的1个周期中得到的多个图像，计算多个图像中的统计性的偏差值来制作合成图像，根据该制作的合成图像进行缺陷检测。
附图说明
27.图1是示出本发明的一个实施方式所涉及的工件的表面检查系统的结构例的俯视图。
28.图2是从工件的行进方向前方观察时的照明框架的垂直剖面图。
29.图3是从工件的行进方向前方观察时的相机框架的垂直剖面图。
30.图4是示出图1所示的工件的表面检查系统中的电气性的结构的俯视图。
31.图5是示出工件的表面缺陷检查系统整体的处理的流程图。
32.图6的(a)是示出从1台相机以时间序列连续地取得的图像的图，(b)是示出在针对(a)的最初的图像的后续图像中推测了暂定缺陷候补的坐标的状态的图，(c)是示出将推测区域图像群的各图像重叠而制作合成图像的处理的图，(d)是示出将推测区域图像群的各图像重叠而制作合成图像的其他处理的图。
33.图7是用于说明从图像中的明带部与暗带部的边界根据缺陷候补的位置校正推测区域图像的中心坐标的处理的图。
34.图8的(a)～(d)是示出以不同的方案将推测区域图像群的各图像重叠而制作合成图像的处理的图。
35.图9是用于说明暂定缺陷候补的提取处理的一个例子的图。
36.图10是示出在缺陷检测pc中执行的第1表面缺陷检测处理的内容的流程图。
37.图11是用于更详细地说明图10的步骤s17的匹配处理的流程图。
38.图12是用于说明图10的步骤s17的匹配处理的变形例的流程图。
39.图13是示出图10的流程图的步骤s12～s18的细节的流程图。
40.图14是示出在缺陷检测pc中执行的第2表面缺陷检测处理的流程图。
41.图15是示出图14的流程图的步骤s12～s18的细节的流程图。
42.图16是用于说明第3表面缺陷检测处理的图，是示出连续地以时间序列取得的多个(在该例子中为2张)图像的图。
43.图17是示出工件(车体)的位置与像面位移量的关系的一个例子的图形。
44.图18是示出在缺陷检测pc中执行的第3表面缺陷检测处理的内容的流程图。
45.图19是示出图18的流程图的步骤s32～s40的细节的流程图。
46.图20是示出标准差图像的制作处理的流程图。
47.图21是示出进行明暗图案的照明的照明装置的针对工件的照度的图形的图。
48.图22是示出标准差图像的制作处理的其他例子的流程图。
49.图23是示出标准差图像的制作处理的其他例子的流程图。
具体实施方式
50.以下，根据附图说明本发明的实施方式。
51.图1是示出本发明的一个实施方式所涉及的工件的表面检查系统的结构例的俯视图。在该实施方式中，示出工件1是车体、工件1的被测定部位是车体表面的涂装面、检测涂装面的表面缺陷的情况。一般，车体表面被实施基底处理、金属涂装、透明(clear)涂装等，形成多层构造的涂膜层，但由于涂装时的异物等的影响而在最上层的透明层中产生凹凸状的缺陷。在该实施方式中，应用于这样的缺陷的检测，但工件1不限定于车体，也可以是车体以外的工件。另外，被测定部位也可以是涂装面以外的表面。
52.该检查系统具备使工件1以预定的速度向箭头f方向连续地移动的工件移动机构2。在工件移动机构2的长度方向的中间部，在工件的移动方向的前后，2个照明框架3、3以与工件的移动方向正交的方向的两个下端部固定到支撑台4、4的状态安装。另外，各照明框架3、3通过2根连结部件5、5相互连结。照明框架不限定于2个。
53.各照明框架3在从车体的行进方向前方观察时如图2的垂直剖面图所示形成为门形，并且在各照明框架3中安装有用于对工件1进行照明的照明组件6。照明组件6在该实施方式中具有沿着照明框架3的内侧形状以围绕工件1的除了下表面以外的周面的方式安装的线状照明部，该线状照明部中的多个线状照明部在工件1的移动方向上等间隔地安装于照明框架3。因此，照明组件6通过由在工件1的移动方向上交替存在的照明部和非照明部构成的明暗条纹图案的照明光对工件进行扩散照明。照明组件也可以是曲面。
54.在前后的2个照明框架3、3的中间部，相机框架7以与工件的移动方向正交的方向的两个下端部固定到支撑台4、4的状态安装。另外，相机框架7在从工件1的行进方向前方观察时如图3的垂直剖面图所示形成为门形，并且在相机框架7中，沿着其内侧形状，以围绕工件1的除了下表面以外的周面的方式安装有作为摄像单元的多个相机8。
55.通过这样的结构，在一边由工件移动机构2使工件1以预定的速度移动、一边利用由照明组件6引起的明暗条纹图案的照明光对工件1进行扩散照明的状态下，利用安装于相机框架7的多个相机8将工件1的圆周方向的各部作为被测定部位而连续地摄像。摄像以在前后的摄像中摄像范围的大部分重叠的方式进行。由此，从各相机8输出工件1的被测定部位的位置在工件1的移动方向上连续地偏移的多个图像。
56.图4是示出图1所示的工件的表面检查系统中的电气性的结构的俯视图。
57.在工件1的移动区域中，沿着工件1的移动方向从进入侧起依次具备第1位置传感器11、车种信息探测传感器12、第2位置传感器13、车体速度传感器14、第3位置传感器15。
58.第1位置传感器11是检测接下来的工件1接近检查区域的传感器。车体信息探测传感器12是检测成为检查对象的车体的id、车种、颜色、目的地信息等的传感器。第2位置传感器13是检测工件1进入到检查区域的传感器。车体速度传感器14是探测工件1的移动速度并通过计算监视工件1的位置的传感器，但也可以利用位置传感器直接监视工件位置。第3位置传感器15是检测工件1从检查区域退出的传感器。
59.工件的表面缺陷检查系统还具备主pc(master pc)21、缺陷检测pc 22、hub 23、nas(network attached storage，网络附加存储)24、显示器25等。
60.主pc 21是总体地控制工件的表面缺陷检查系统的整体的个人计算机，具备cpu等处理器、ram等存储器、硬盘等存储装置、其他硬件以及软件。主pc 21具备移动控制部211、
照明组件控制部212、相机控制部213等作为cpu的功能之一。
61.移动控制部211控制移动机构2的移动停止、移动速度等，照明组件控制部212进行照明组件6的点亮控制，相机控制部213进行针对相机8的摄像控制。相机8的摄像响应于从主pc 21连续地发送给相机8的触发送号而连续地进行。
62.缺陷检测pc 22是执行表面缺陷的检测处理的表面缺陷检测装置，由具备cpu等处理器、ram等存储器、硬盘等存储装置、其他硬件以及软件的个人计算机构成。缺陷检测pc 22具备图像取得部221、暂定缺陷候补提取部222、坐标推测部223、缺陷候补决定部224、图像群制作部225、图像合成部226、缺陷检测部227等作为cpu的功能之一。
63.图像取得部221取得由相机8以时间序列连续地摄像并由gige(千兆位以太网)从相机8发送来的多个图像。暂定缺陷候补提取部222根据由图像取得部221取得的来自相机8的多个图像来提取暂定缺陷候补，坐标推测部223推测所提取的暂定缺陷候补的后续的图像中的坐标。缺陷候补决定部224进行所推测的暂定缺陷候补的坐标与实际的暂定缺陷候补的匹配，决定缺陷候补，图像群制作部225将所决定的缺陷候补的周围的区域切出，制作由用于合成图像的多个图像构成的图像群。图像合成部226将所制作的图像群的各图像合成为1个图像，缺陷检测部227根据所合成的图像进行缺陷的检测、判别。缺陷检测pc 22中的由这些各部进行的具体的表面缺陷的检测处理后述。
64.nas 24是网络上的存储装置，保存各种数据。显示器25是使由缺陷检测pc 22检测到的表面缺陷以与作为工件1的车体的位置信息相对应的状态显示的显示器，hub 23具有在与主pc 21、缺陷检测pc 22、nas 24、显示器25等之间进行数据的发送接收的功能。
65.接下来，说明由缺陷检测pc 22实施的缺陷检测处理。
66.在一边由移动机构2使工件1以预定的速度移动、一边由照明组件6通过明暗条纹图案的照明光从周围对工件1进行照明的状态下，从主pc 21向各相机8连续地发送触发送号，由各相机8对工件1的被测定部位连续地进行摄像。主pc 21以在前后的摄像中摄像范围的大部分重叠的方式设定摄像间隔、换言之触发送号的间隔。通过这样的摄像，从各相机8得到工件1的被测定部位的位置与工件1的移动相应地在移动方向上连续地偏移的多个图像。
67.这样的多个图像不仅在如本实施方式那样仅工件1相对于固定的照明组件6以及相机8而移动的情况下能够从相机8得到，而且在将工件1固定而使照明组件6以及相机8相对于工件1而移动的情况下、在将工件1和相机8固定而使照明组件6移动的情况下也能够从相机8得到。即，通过使工件1和照明组件6中的至少一方移动来使照明组件6的明暗图案相对于工件1而相对地移动即可。
68.由各相机8得到的多个图像被发送给缺陷检测pc 22，缺陷检测pc 22的图像取得部221取得从各相机8发送来的多个图像。缺陷检测pc 22使用这些图像来执行表面缺陷的检测处理。
69.图5的流程图示出工件的表面检查系统的整体的处理。
70.在步骤s01中，主pc 21根据第1位置传感器11的信号来判断工件1是否接近检查范围，如果未接近(在步骤s01中为否)，则留在步骤s01。如果接近(在步骤s01中为是)，则在步骤s02中，主pc 21根据来自车体信息探测传感器12的信号，取得成为检查对象的车体的id、车种、颜色、目的地信息等个体信息，在步骤s03中，作为初始信息设定，进行例如检查系统
的参数的设定、车体上的检查范围的设定等。
71.在步骤s04中，主pc根据第2位置传感器13的信号来判断工件1是否进入到检查范围，如果未进入(在步骤s04中为否)，则留在步骤s04。如果进入(在步骤s04中为是)，则在步骤s05中，由相机8以时间序列在摄像范围的大部分重叠的状态下对移动的工件1进行摄像。接下来，在步骤s06中，实施由缺陷检测pc 22进行的表面缺陷检测处理中的前段处理。前段处理后述。
72.在步骤s07中，根据第3位置传感器15的信号来判断工件1是否从检查范围退出。如果未退出(在步骤s07中为否)，则返回到步骤s05，继续进行摄像和前段处理。在工件1从检查范围退出时(在步骤s07中为是)，在步骤s08中，实施由缺陷检测pc 22进行的表面缺陷检测处理中的后段处理。即，在该实施方式中，在针对工件1的所有摄像结束后，实施后段处理。后段处理后述。
73.在后段处理后，在步骤s09中，将表面缺陷的检测处理的结果显示于显示器25等。
74.接下来，具体地说明由缺陷检测pc 22实施的、包括步骤s06的前段处理和步骤s08的后段处理的表面缺陷检测处理。
75.[1]第1表面缺陷检测处理
[0076]
如上所述，缺陷检测pc 22从各相机8取得工件1的被测定部位的位置在移动方向上连续地偏移的多个图像。图6示出该场景。该图的(a)的a11～a17是从1台相机8以时间序列连续地取得的图像。在图像中显示的、在纵向上延伸的明带(白色部分)和暗带(黑色部分)在横向上交替存在的明暗图案与由照明组件6引起的照明光的明暗条纹图案对应。
[0077]
缺陷检测pc 22的暂定缺陷候补提取部222从各图像提取暂定缺陷候补。暂定缺陷候补的提取例如通过进行背景去除、二值化等处理来执行。在该例子中，设为在a11～a17的所有图像中提取了暂定缺陷候补30。
[0078]
接下来，坐标推测部223针对所提取的各图像的暂定缺陷候补30，运算作为暂定缺陷候补30的位置的代表坐标，并且将代表坐标的周围的预定区域设为暂定缺陷候补区域。进而，根据工件1的移动量等，对运算出的暂定缺陷候补的代表坐标相对于后续的图像a12～a17中的每一个移动到哪个坐标进行运算，求出各图像中的推测坐标。例如，运算在图像a11中提取的暂定缺陷候补30相对于后续的图像a12～a17中的每一个移动到哪个坐标，求出各图像中的推测坐标。
[0079]
在图6的(b)的各图像b12～b17中，示出在图像a11的后续图像a12～a17中推测了暂定缺陷候补30的推测坐标40的状态。此外，图像b12～b17与去除了图像a12～a17中的暂定缺陷候补30的图像相同。在图6的(b)中省略了中途的图像的几张。另外，也省略了在图像中出现的明暗图案。
[0080]
接下来，缺陷候补决定部224进行图6的(a)所示的图像a11的后续图像a12～a17和求出了暂定缺陷候补30的推测坐标40的图6的(b)的各图像b12～b17中的如图像a12和图像b12、图像a13和图像b13、
…
图像a17和图像b17那样对应的图像彼此的匹配。在匹配中，判定推测坐标40和该图像中的实际的暂定缺陷候补30是否对应。具体而言，通过判定推测坐标40是否包含于该图像中的关于实际的暂定缺陷候补30的预定的暂定缺陷候补区域来进行。此外，也可以判定在从推测坐标40起预先设定的预定范围内是否存在暂定缺陷候补30、或者在从暂定缺陷候补30的代表坐标起预先设定的预定范围内是否存在对应的图像的推测
坐标40，从而判定推测坐标40和该图像中的实际的暂定缺陷候补30是否对应。在推测坐标40和该图像中的暂定缺陷候补30对应的情况下，能够视为包含于原来的图像a11的暂定缺陷候补30和包含于后续的图像的暂定缺陷候补30相同。
[0081]
接下来，作为匹配的结果，调查推测坐标40和该图像中的实际的暂定缺陷候补30对应(匹配)的图像的数量，判断该数量是否为预先设定的阈值以上。然后，在阈值以上的情况下，暂定缺陷候补30实际上存在的概率高，所以将各图像的暂定缺陷候补30决定为缺陷候补。在图6的(a)以及(b)的例子中，图像a11的所有后续图像a12～a17都得到了匹配。即，推测坐标40包含于该图像中的关于暂定缺陷候补30的暂定缺陷候补区域。在推测坐标40与实际的暂定缺陷候补30对应的图像的数量并非预先设定的阈值以上的情况下，认为该暂定缺陷候补30是缺陷候补的可能性不高，所以匹配中止，进行接下来的暂定缺陷候补30的提取。
[0082]
接下来，图像群制作部225针对包括缺陷候补的所有图像，如在图6的(a)的各图像a11～a17中由四角的框线围绕那样将缺陷候补中的代表坐标的周围的预定区域作为推测区域切出，如该图的(c)所示，制作由多个推测区域图像c11～c17构成的推测区域图像群。此外，也可以不是包括缺陷候补的所有图像而是其中的多张，但在图像数量多时信息量变多，在能够进行精度高的表面检查的点上是优选的。另外，推测区域也可以通过首先求出原来的图像a11的推测区域并根据工件1的移动量计算该推测区域的各图像内的位置来进行。
[0083]
图像合成部226将这样制作的推测区域图像群的各推测区域图像c11～c17重叠合成，制作图6的(c)所示的1个合成图像51。重叠在各推测区域图像c11～c17的中心坐标处进行。作为合成图像51的一个例子，可以举出如标准差图像等那样计算统计性的偏差值而合成的图像、相位图像、相位差图像、最大值图像、最小值图像、平均值图像中的至少任意一个。如标准差图像等那样计算统计性的偏差值而合成的图像后述。
[0084]
接下来，缺陷检测部227使用所制作的合成图像51进行表面缺陷的检测。表面缺陷的检测基准也可以自由地选择。例如，也可以如图6的(c)的信号图形61所示，通过在信号为基准值以上的情况下判别为有缺陷，仅检测有无缺陷。或者，也可以根据与基准缺陷等的比较来判别缺陷的类别。此外，有无缺陷、缺陷类别的判定基准既可以通过机器学习等变更，也可以制作新的基准。
[0085]
表面缺陷的检测结果显示于显示器25。优选的是在显示器25上显示工件(车体)1的展开图，并且在展开图上以可理解的方式显示表面缺陷的位置和类别。
[0086]
这样，在该实施方式中，将从包括缺陷候补的多个图像a11～a17切出的多个推测区域图像c11～c17合成为1个合成图像51，根据该合成图像51进行缺陷检测，所以在合成图像51中包括多个图像的信息。因此，能够针对1个缺陷候补使用大量的信息进行缺陷检测，所以即使是小的表面缺陷，也能够在抑制过检测、误检测的同时高精度地进行稳定的检测。
[0087]
另外，在推测坐标40与该图像中的实际的暂定缺陷候补30对应的图像存在预先设定的阈值以上的情况下，制作合成图像，进行缺陷检测，所以能够在存在缺陷的可能性高的情况下进行缺陷检测，处理负荷小且检测效率提高，而且检测精度也变好。
[0088]
而且，也无需对融合后的图像实施分别不同的多个变换处理。
[0089]
[1-1]合成图像制作时的变形例1
[0090]
然而，仅通过将多个推测区域图像c11～c17在各图像的中心坐标处重叠而合成，
有时无法得到精度。
[0091]
因此，最好进行各推测区域图像c11～c17的中心坐标的校正而进行重叠。中心坐标的校正的一个例子根据各图像中的明暗图案内的相对位置来进行。具体而言，在明暗图案的明带部、暗带部的中央存在缺陷的情况下，易于成为左右对称形状，但如在图7中例如推测图像c14例示的那样，在明带部120内接近与暗带部110的边界部时，缺陷候补30的边界部侧变暗。相反地，在暗带部110内接近边界部时，边界部侧变亮。因此，在进行例如重心位置运算时偏离缺陷候补30的中心位置30a。偏离的位置与距边界的位置相关，所以根据距边界的位置l校正图像的中心坐标。
[0092]
图6的(d)是示出将校正了中心位置的各推测区域图像c11～c17在中心位置处重叠合成来制作合成图像52的场景的图。相比于该图的(c)的合成图像51以及信号图形61，得到清晰的合成图像52，信号图形62中的信号高度也变高。因此，能够制作精度高的合成图像52，而且能够进行高精度的表面缺陷检测。
[0093]
[1-2]合成图像制作时的变形例2
[0094]
根据图8说明仅通过将多个推测区域图像c11～c17在各图像的中心坐标处重叠而合成无法得到精度的情况下的其他合成图像制作法。
[0095]
直至图6的(c)的推测区域图像c11～c17的制作是相同的。在该例子中，通过使各图像的中心坐标分别以各种对位量在左右方向(x方向)以及上下方向(y方向)中的至少一个方向上偏移而得到的多个组合来尝试进行推测区域图像c11～c17的对位。然后，从其中采用评价值最大的组合。在图8中，针对(a)～(d)这4个种类进行重叠。将得到的合成图像分别表示为53～56，将基于合成图像的信号图形表示为63～66。在图8的例子中，采用得到了最高的信号的(b)。
[0096]
这样，以从使各图像的中心坐标在x坐标以及y坐标方向中的至少一个方向上相互偏移而得到的多个组合中评价值成为最大的方式进行合成图像制作时的多个推测区域图像c11～c17的对位，所以能够制作精度更高的合成图像，而且能够进行高精度的表面缺陷检测。
[0097]
[1-3]暂定缺陷候补提取处理的一个例子
[0098]
说明暂定缺陷候补提取部222的尺寸大且曲率变化缓的暂定缺陷候补的提取处理例。
[0099]
首先，返回到使用明暗条纹图案的照明的本方法的原理进行说明。
[0100]
照明光在工件1的表面反射，入射到相机8的各像素。反过来说，入射到各像素的光是来自在各像素可视的范围内从各像素发出的视线在工件1的表面反射而到达的区域的光。如果无照明，则得到暗的像素信号，如果有照明，则得到亮的像素信号。如果无缺陷而工件1是平面，则与各像素对应的照明上的区域接近点。在有缺陷的情况下，工件1的表面的变化有(1)曲率变化、(2)面的倾斜这2个种类。
[0101]
(1)如图9的(a)所示，在由于暂定缺陷候补30而工件1的表面带有曲率变化时，视线的方向变化，但进而，各像素可视的区域扩展。其结果，各像素对应的区域不是点而成为扩展的区域，该区域内的平均的亮度与像素信号对应。即，在暂定缺陷候补30的形状变化剧烈的情况下，在各像素可视的区域内曲率变化变大，除了视线的倾斜以外，面积的扩展也无法忽视。可视的区域的扩大成为信号的照明分布的平均化。在明暗条纹图案照明(在图9中
白色部分为明、涂黑部分为暗)中，在区域扩展时，得到与扩展方式对应的明暗两方的区域的平均的值。在产生该现象的部分的明暗条纹图案依次移动的情况下，在标准差图像中可捕捉到其影响。
[0102]
(2)如图9的(b)所示，在由于暂定缺陷候补30而工件1的表面的曲率半径大、大致保持平面而倾斜时，对应的区域保持为点，但朝向与未倾斜的面不同的方向。在暂定缺陷候补30大(形状变化缓)的情况下，各像素可视的区域相同，视线方向变化变得显著，曲率变化变缓。在标准差图像中无法捕捉其变化。在缺陷大的情况下，能够在相位图像中检测无缺陷部和缺陷部的面的倾斜的差异。如果是无缺陷部，则在相位图像中与条纹平行的方向的相位相同，与条纹垂直的方向根据条纹的周期产生一定的相位变化。如果是缺陷部，则在相位图像中上述相位的规则性扰乱。例如，通过观察x方向、y方向的相位图像，能够检测带有较缓的曲面变化的暂定缺陷候补。
[0103]
还能够通过较小的暂定缺陷候补用、较大的暂定缺陷候补缺陷用这2种例程来提取任意的暂定缺陷候补。将利用任意例程提取的候补设为暂定缺陷候补即可。
[0104]
然而，考虑希望将检测到的暂定缺陷候补30的尺寸报告为结果的情况。目视的缺陷尺寸和从图像检测到的缺陷的尺寸的相关性与缺陷表面的面的倾斜成为预定的角度的部分的近似圆相关联。在缺陷尺寸小的情况下观察到一定的线性关系，但缺陷尺寸大且面倾斜较缓的缺陷是非线性的关系。因此，在相位图像中检测到的较缓的暂定缺陷候补30由于缺陷信号和缺陷尺寸不是线性的关系，所以需要根据单独求出的校准曲线来校正。
[0105]
[1-4]线状突起缺陷的检测
[0106]
作为由缺陷检测部227进行的缺陷检测的一个例子，说明线状突起的检测处理。
[0107]
线状突起是线状的异物被困在涂料下部而成的缺陷，不是圆形而是细长的。存在虽然线宽方向小(例如小于0.2mm)但长度方向长(例如5mm以上)的例子。宽度方向非常窄，所以小，长度方向具有较缓的曲率变化。仅通过与暂定缺陷候补的提取同样的小的缺陷用、大的缺陷(倾斜较缓的缺陷)用的检测方法有时会看漏。在预定的处理后，进行二值化、颗粒化，根据各部分的面积判断是否为缺陷。
[0108]
线状突起的宽度窄但长度较长，所以只要适当地检测，则得到预定的面积。然而，线状突起在长度方向与明暗图案延伸的方向平行的情况下易于被检测到，在垂直的情况下难以观察到。在长度方向上产生缺损部而比实际短，即，颗粒化的面积容易变小。
[0109]
因此，在根据从相位图像求出的缺陷的形状信息而在长度方向上有一定的延伸的情况、即、正圆度比预定的值低的情况下，通过减小面积判定的阈值，抑制未检测到线状突起。
[0110]
[1-5]流程图
[0111]
图10是示出由缺陷检测pc 22执行的表面缺陷检测处理的内容的流程图。该表面缺陷检测处理是更详细地示出图5的步骤s06的前段处理以及步骤s08的后段处理的内容的处理。另外，该表面缺陷检测处理通过缺陷检测pc 22内的处理器依照储存于硬盘装置等内置存储装置的动作程序进行动作来执行。
[0112]
在步骤s11中，从主pc 21取得主pc 21在图5的步骤s02中取得的个体信息以及在步骤s03中设定的参数的设定、车体上的检查范围的设定等初始信息。
[0113]
接下来，在步骤s12中，取得由相机8摄像的图像，之后，在步骤s13中实施前处理，
例如根据初始设定信息等实施针对图像的位置信息的设定等。
[0114]
接下来，在步骤s14中，从各图像提取暂定缺陷候补30，之后，在步骤s15中，针对1个暂定缺陷候补30，计算工件1的移动量，从而在步骤s16中，推测该暂定缺陷候补30的后续的图像中的坐标并设为推测坐标40。
[0115]
在步骤s17中，进行匹配。即，判定推测坐标40是否存在于该图像中的关于实际的暂定缺陷候补30的预定的暂定缺陷候补区域内，在得到了匹配的图像的数量是预先设定的阈值以上的情况下，在步骤s18中，将各图像的暂定缺陷候补30决定为缺陷候补。
[0116]
在步骤s19中，针对具有缺陷候补的所有图像，切出缺陷候补中的代表坐标的周围的预定区域作为推测区域，制作由多个推测区域图像c11～c17构成的推测区域图像群，之后，进入到步骤s20。步骤s12～s19是前段处理。
[0117]
在步骤s20中，根据来自主pc 21的信息，判断作为工件1的车体是否从检查范围退出。如果未从检查范围退出(在步骤s20中为否)，则返回到步骤s12，继续从相机8取得图像。如果车体从检查范围退出(在步骤s20中为是)，则在步骤s21中，设定各推测区域图像c11～c17的对位量。然后，在步骤s22中，将各推测区域图像c11～c17合成而制作合成图像，之后，在步骤s23中进行缺陷检测处理。步骤s21～s23是后段处理。在缺陷检测后，在步骤s24中将检测结果输出给显示器25等。
[0118]
参照图11的流程图，详细说明步骤s17的匹配处理。
[0119]
在步骤s201中，将作为与暂定缺陷候补30匹配的图像的张数的变量的k设置为零，在步骤s202中，将作为成为是否与暂定缺陷候补30匹配的判断对象的图像的张数的变量的n设置为零。
[0120]
当在步骤s203中提取了暂定缺陷候补30之后，在步骤s204中将n设置为n 1。接下来，在步骤s205中，判断暂定缺陷候补30与推测坐标40是否一致。如果一致(在步骤s205中为是)，则在步骤s206中将k设置为k 1，之后，进入到步骤s207。在步骤s205中，如果暂定缺陷候补30与推测坐标40不一致(在步骤s205中为否)，则进入到步骤s207。
[0121]
在步骤s207中，调查n是否达到预定的图像张数(在此为7张)，如果未达到(在步骤s207中为否)，则返回到步骤s203，针对接下来的图像提取暂定缺陷候补30。在n达到预定的图像张数的情况下(在步骤s207中为是)，在步骤s208中，判断k是否为预先设定的预定的阈值(在此为5张)以上。如果不是阈值以上(在步骤s208中为否)，则返回到步骤s201。因此，在该情况下，不进行以后的推测区域图像的切出处理、图像合成处理，n及k被复位，进行接下来的暂定缺陷候补30的提取。
[0122]
如果k为阈值以上(在步骤s208中为是)，则在步骤s209中，将暂定缺陷候补30决定为缺陷候补并保存该信息，之后，在步骤s210中，针对得到了匹配的k张图像切出推测区域图像。然后，在步骤s211中，将切出的k张推测区域图像合成，之后，在步骤s212中，判断是否检测到表面缺陷。在检测到表面缺陷时(在步骤s212中为是)，在步骤s213中，确定为表面缺陷并保存该信息，之后，进入到步骤s214。在未检测到表面缺陷的情况下(在步骤s212中为否)，原样地进入到步骤s214。
[0123]
在步骤s214中，调查是否针对工件的所有检查对象部位进行了检测处理，如果尚未进行(在步骤s214中为否)，则返回到步骤s201，n及k被复位，进行接下来的暂定缺陷候补30的提取。如果针对所有检查对象部位进行了检测处理(在步骤s214中为是)，则结束处理。
[0124]
这样，在该实施方式中，在暂定缺陷候补30与推测坐标40对应(匹配)的图像的张数k不是阈值以上的情况下，匹配的图像少、暂定缺陷候补30是缺陷候补的可能性不高，所以之后的处理中止，如果匹配的图像为k以上，则暂定缺陷候补30是缺陷候补的可能性高，所以进行推测区域图像的切出、图像合成以及缺陷检测。因此，相比于与匹配的图像的张数无关地执行推测区域图像的切出、图像合成以及缺陷检测的情况，处理负荷小且检测效率提高，而且检测精度也变好。
[0125]
图12是用于说明图10的步骤s17的匹配处理的变形例的流程图。在该例子中，成为以下结构：在图像张数n达到预定张数之前匹配的图像张数k未达到一定值的情况下，判断为暂定缺陷候补30是缺陷候补的可能性不高，在该时间点中止之后的处理。
[0126]
在步骤s221中，将作为与暂定缺陷候补30匹配的图像的张数的变量的k设置为零，在步骤s222中，将作为成为是否与暂定缺陷候补30匹配的判断对象的图像的张数的变量的n设置为零。
[0127]
当在步骤s223中提取了暂定缺陷候补30之后，在步骤s224中将n设置为n 1。接下来，在步骤s225中，判断暂定缺陷候补30与推测坐标40是否一致。如果一致(在步骤s225中为是)，则在步骤s226中将k设置为k 1，之后，进入到步骤s227。在步骤s225中，如果暂定缺陷候补30与推测坐标40不一致(在步骤s225中为否)，则进入到步骤s227。
[0128]
在步骤s227中，调查n是否达到第2预定的图像张数(在此为8张)，如果达到(在步骤s227中为是)，则在步骤s228中，调查k是否达到预先设定的第2阈值(在此为4张)，如果未达到(在步骤s228中为否)，则返回到步骤s221。因此，在该情况下不进行以后的推测区域图像的切出处理、图像合成处理，n及k被复位，进行接下来的暂定缺陷候补30的提取。
[0129]
在步骤s228中，如果k达到第2阈值(在步骤s228中为是)，则进入到步骤s229。在步骤s227中，在n未达到第2预定的图像张数(8张)的情况下(在步骤s227中为否)，也进入到步骤s229。
[0130]
在步骤s229中，调查n是否达到第1预定张数(在此为9张)，如果未达到(在步骤s229中为否)，则返回到步骤s223，针对接下来的图像提取暂定缺陷候补30。在n达到第1预定张数的情况下(在步骤s229中为是)，在步骤s230中，判断k是否为预先设定的第1阈值(在此为5张)以上。如果不是第1阈值以上(在步骤s230中为否)，则返回到步骤s201。因此，在该情况下不进行以后的推测区域图像的切出处理、图像合成处理，n及k被复位，进行接下来的暂定缺陷候补30的提取。
[0131]
如果k为第1阈值以上(在步骤s230中为是)，则在步骤s231中，将暂定缺陷候补30决定为缺陷候补并保存该信息，之后，在步骤s232中，针对得到了匹配的k张图像切出推测区域图像。然后，在步骤s233中，将切出的k张推测区域图像合成，之后，在步骤s234中，判断是否检测到表面缺陷。在检测到表面缺陷时(在步骤s234中为是)，在步骤s235中，确定为表面缺陷并保存该信息，之后，进入到步骤s236。在未检测到表面缺陷的情况下(在步骤s234中为否)，原样地进入到步骤s236。
[0132]
在步骤s236中，调查是否针对工件的所有检查对象部位进行了检测处理，如果未进行(在步骤s236中为否)，则返回到步骤s201，n及k被复位，进行接下来的暂定缺陷候补30的提取。如果针对所有检查对象部位进行了检测处理(在步骤s236中为是)，则结束处理。
[0133]
这样，在该实施方式中，除了起到与图11的流程图所示的实施方式相同的效果以
外，还起到如下的效果。即，在提取了暂定缺陷候补30的图像的张数n在比第2设定值少的第1设定值的阶段、即、中途的阶段中，如果暂定缺陷候补30与推测坐标40对应(匹配)的图像的张数k未达到比第2阈值少的第1阈值，则判断为匹配的图像少、暂定缺陷候补30是缺陷候补的可能性不高，不继续进行匹配处理直至最终图像，之后的处理中止。因此，不继续进行无用的处理，所以能够进一步减轻处理负荷，能够进一步提高检测精度。
[0134]
图13是示出作为表面缺陷检测处理中的前段处理的图10的流程图的步骤s12～s18的细节的流程图，对于与图10的流程图相同的处理，附加相同的步骤编号。
[0135]
1个工件1进入到检查范围并直到其从检查范围退出，一边使工件1移动，一边由相机8连续地对其进行摄像，缺陷检测pc 22在步骤s12中取得从摄像第1次的图像至摄像最后一次的图像。在此，设为拍摄有1个暂定缺陷候补30的图像是从摄像第n次的图像至摄像第(n m-1)次的图像。
[0136]
当在步骤s13中对各图像进行了前处理之后，在步骤s14中，针对从摄像第n次至摄像第(n m-1)次的各图像，提取暂定缺陷候补30，并且求出所提取的暂定缺陷候补30的代表坐标和暂定缺陷候补区域。接下来，在步骤s16中，根据步骤s15中的工件1的移动量计算等运算暂定缺陷候补的代表坐标相对于后续的图像中的各图像移动到哪个坐标，求出各图像中的推测坐标40。
[0137]
在步骤s17中，针对后续的各图像进行匹配，在得到了匹配的图像为阈值(例如m个)以上的情况下，在步骤s18中，将暂定缺陷候补30决定为缺陷候补。在步骤s19中针对各图像计算推测区域，制作由多个推测区域图像c11～c17构成的推测区域图像群。
[0138]
[2]第2表面缺陷检测处理
[0139]
在上述第1表面缺陷检测处理中，设为了缺陷检测pc 22从由相机8以时间序列连续地取得的图像中提取暂定缺陷候补30。
[0140]
暂定缺陷候补30的提取方法没有限定，设为进行如下的处理来提取暂定缺陷候补30的结构在强调缺陷部位并进行精度更高的暂定缺陷候补30的提取的点上是优选的。
[0141]
即，在针对从相机8取得的各图像a11～a17(图6所示)实施了二值化处理后，应用阈值或者通过角检测函数的应用，提取图像的特征点。此外，也可以通过针对所提取的各特征点求出多维的特征量来提取暂定缺陷候补30。
[0142]
更优选的是，在提取特征点前，在对从相机8取得的各图像进行二值化并提取轮廓之后，减去进行了预定次数的膨胀及收缩的图像，制作将明带和暗带的边界部分去除的橘皮掩模。优选提取应用该制作的掩模对明带和暗带的边界部分进行遮盖后的各图像的特征点，由此能够更高精度地提取暂定缺陷候补。
[0143]
另外，暂定缺陷候补30的提取也可以通过在提取图像的特征点后针对所提取的各特征点对于周围的特定范围的全部像素根据从该像素的纵横斜全方向的亮度梯度信息求出多维的特征量来进行。
[0144]
在提取暂定缺陷候补30后，与上述第1表面缺陷检测处理同样地，在制作由多个推测区域图像c11～c17构成的推测区域图像群之后，使用该推测区域图像群，针对每个暂定缺陷候补进行缺陷检测。
[0145]
这样，在第2表面缺陷检测处理中，针对从相机8取得的工件1的被测定部位的位置连续地偏移的多个图像提取图像的特征点，并针对所提取的各特征点求出多维的特征量，
从而提取暂定缺陷候补30，所以能够进行暂定缺陷候补30的高精度的提取，而且能够进行高精度的表面缺陷检测。
[0146]
而且，求出所提取的暂定缺陷候补30的坐标，针对提取了暂定缺陷候补30的图像的后续的多个图像中的各图像，运算暂定缺陷候补30的坐标移动到哪个坐标而求出推测坐标40，判定该推测坐标40和该图像中的暂定缺陷候补30是否对应，如果后续的图像中的推测坐标40和暂定缺陷候补对应的图像存在预先设定的阈值以上，则将暂定缺陷候补30决定为缺陷候补。然后，针对所决定的每个缺陷候补，从包括缺陷候补的多个图像中切出缺陷候补的周围的预定区域作为推测区域，制作由多个推测区域图像c11～c17构成的推测区域图像群，并且根据所制作的推测区域图像群来进行缺陷判别。
[0147]
即，在包括缺陷候补的多个推测区域图像c11～c17中，关于1个缺陷候补而包括多个信息，所以能够使用更多的信息进行缺陷检测。因此，即使是小的表面缺陷，也能够在抑制过检测、误检测的同时高精度地进行稳定的检测。
[0148]
[2-1]流程图
[0149]
图14是示出在缺陷检测pc中执行的第2表面缺陷检测处理的流程图。此外，步骤s11～s13、步骤s15～s20与图10的步骤s11～s13、步骤s15～s20相同，所以附加相同的步骤编号，省略说明。
[0150]
在步骤s13的前处理后，在步骤s141中制作橘皮掩模，在步骤s142中，应用所制作的橘皮掩模来提取特征点。
[0151]
接下来，在步骤s143中，针对所提取的各特征点计算多维的特征量，在步骤s144中提取暂定缺陷候补30，之后，进入到步骤s16。
[0152]
在步骤s20中作为工件1的车体从检查范围退出的情况下(在步骤s20中为是)，在步骤s23中，使用所制作的推测区域图像群来执行缺陷判别处理，在步骤s24中显示判别结果。
[0153]
图15是示出图14的流程图的步骤s12～s18的细节的流程图，对于与图14的流程图相同的处理，附加相同的步骤编号。此外，步骤s12、s13、s15～s19与图13的步骤s12、s13、s15～s19的处理相同，所以省略说明。
[0154]
在步骤s13的前处理后，在步骤s141中，制作针对各图像的各个橘皮掩模。在步骤s142中，将所制作的橘皮掩模应用于各图像，提取各图像的特征点。
[0155]
在步骤s143中，针对所提取的各图像的各特征点计算多维的特征量，在步骤s144中，针对各图像提取暂定缺陷候补，之后，进入到步骤s16。
[0156]
[3]第3表面缺陷检测处理
[0157]
在上述第1表面缺陷检测处理中，当在各图像a11～a17中提取了暂定缺陷候补30之后决定缺陷候补，计算缺陷候补的周围的推测区域，将多个推测区域图像c11～c17合成，进行缺陷检测。
[0158]
相对于此，在第3表面缺陷检测处理中，在将从相机8取得的连续的时间序列的多个图像分别分割为多个区域并且在对应的区域中将前后多个图像彼此合成之后，检测缺陷。然而，由于工件1移动，所以在前面的图像的区域中表示的工件1的摄像范围和在后面的图像的区域中表示的工件1的摄像范围不同，根据工件1的移动量不同而摄像位置不同，所以使后面的图像的区域相对于前面的图像的区域的位置偏移与工件1的移动量对应的位置
偏移量而合成。另外，前面的图像的区域和后面的图像的对应的区域的位置偏移量根据分割出的区域的位置不同而不同，所以与工件1的移动量对应的位置偏移量针对分割出的每个区域而设定。
[0159]
以下，详细地进行说明，通过相机8连续地摄像并由缺陷检测pc 22连续地以时间序列取得的多个图像与在第1表面缺陷检测处理中取得的图像相同。
[0160]
图16示出连续地以时间序列取得的多个图像a21、a22。在该例子中示出2张，但图像的数量实际上更多。此外，在图像a21、a22中省略在图像中出现的明暗图案。将这些图像a21、a22在与工件的移动方向正交的方向(在图16中为上下方向)上分割为多个区域1～p。区域1～p在图像a21、a22中是相同的位置(相同的坐标)且是相同的大小。
[0161]
由于工件移动，所以与从相机8取得的例如图像a21中的各区域1～p内的图像对应的摄像范围在后续的接下来的图像a22中如箭头所示相对于原来的区域1～p在移动方向上位置分别偏移工件1的移动量。因此，通过使图像a22中的各区域1～p的位置偏移与工件的移动量对应的位置偏移量s，图像a21中的各区域1～p和图像a22的位置偏移后的各区域1～p成为工件1上的相同的摄像范围。这样的关系在前后的摄像图像中的各区域1～p之间产生，所以通过使后续的各图像的区域1～p依次偏移位置偏移量s，能够使原来的图像a21和后续的各图像的区域1～p中的每一个的摄像范围一致。
[0162]
然而，如在图16的图像a22中示意地示出的那样，相对于原来的区域1～p的偏移量针对区域1～p中的每一个而不同。例如，在1个相机8的摄像范围内存在工件1的直线部分和弯曲部分的情况下，图像中的与直线部分对应的区域和与弯曲部分对应的区域的位置偏移量不同。另外，根据相对于相机8的远近不同也不同。因此，即便使所有区域1～p以统一的位置偏移量偏移，但根据区域不同也不一定成为相同的摄像范围。
[0163]
因此，在该实施方式中，针对区域1～p中的每一个计算并设定位置偏移量s。具体而言，根据相机信息、相机位置信息、工件的三维形状、工件的位置信息，针对区域1～p中的每一个求出区域内的平均的倍率信息。然后，根据求出的倍率信息和事先设想的大致的移动速度，针对区域1～p中的每一个计算位置偏移量s，设为针对各区域1～p的位置偏移量s。
[0164]
在此，关于位置偏移量的计算进行补充。考虑以等时间间隔对移动的工件1摄像多张的情况。着眼于在连续的2张摄像图像之间同一点的运动方式。
[0165]
图像上的移动量与相机的摄像倍率、工件的速度相关。相机的摄像倍率依赖于(1)透镜焦距、(2)从相机至要摄像的工件的各部分的距离。关于(2)，在图像上，接近相机的部分与远离相机的部分相比移动量更多。在已知工件1的3d形状、进而相机8的设置位置和工件1的位置姿势时，能够计算在某个瞬间摄像到的图像中的着眼点被摄于何处。
[0166]
在工件1移动而位置变化的情况下，能够计算在连续的2张图像中相同的着眼点在图像上移动几个像素量。例如，在考虑利用焦距35mm、像素尺寸5.5μm的传感器、并且在相邻的图像之间工件移动1.7mm的情况时，如图17的图形所示，在到工件1的距离(zw)为600mm～1100mm时，画面内的移动距离移动18像素～10像素。
[0167]
如果假设将合成图像制作所需的对位误差抑制为
±
1像素，则使距离差成为
±
5cm即可。以使与相机的距离差相互成为
±
5cm以内的方式在图像上划分区域。针对划分出的每个区域，根据工件1的大致的移动速度，计算连续的图像之间的平均的位置偏移量。能够针对各区域1～p中的每一个设定包括其位置偏移量、
±
1像素的偏移量在内的3种位置偏移
量。然而，位置偏移量不限于3种，距离差也不限于
±
5cm。
[0168]
此外，所设定的区域1～p中的每一个的位置偏移量s在缺陷检测pc 22内的存储部的表中与区域1～p关联起来存储，通过针对能够设定相同的位置偏移量的摄像部位、例如工件1的相同形状部分、相同种类的工件从表中调取位置偏移量来设定。
[0169]
接下来，在使各区域1～p的位置以所设定的位置偏移量s偏移的状态下，针对多个区域1～p中的每一个合成连续的预定张数的图像。关于合成，在使各区域1～p的位置以所设定的位置偏移量s偏移的状态下重叠各区域的图像，并且在重叠后的图像中针对对应的坐标的每个像素进行运算，针对每个像素制作合成图像。作为合成图像的一个例子，可以举出如标准差图像等那样计算统计性的偏差值而合成的图像、相位图像、相位差图像、最大值图像、最小值图像、平均值图像中的至少任意一个。
[0170]
接下来，在针对作为合成图像的例如标准差图像进行背景去除、二值化等前处理并提取了缺陷候补之后，根据需要而使用与缺陷候补提取时的处理不同的运算、合成图像，进行表面缺陷的检测。表面缺陷的检测基准既可以自由地选择，也可以仅判别有无缺陷，或者也可以根据与基准缺陷等的比较来判别缺陷的类别。此外，有无缺陷、缺陷类别的判别基准根据工件和缺陷的特征来设定即可，另外，既可以通过机器学习等变更，也可以制作新的基准。
[0171]
表面缺陷的检测结果显示于显示器25。优选的是在显示器25上显示工件(车体)1的展开图，并且在展开图上以可理解的方式显示表面缺陷的位置和类别。
[0172]
这样，在该实施方式中，将从相机以时间序列连续地取得的多张摄像图像a21、a22分割为多个区域1～p，并且针对分割出的区域1～p中的每一个合成多张图像，根据该合成图像进行缺陷检测，所以在合成图像中包括多个图像的信息。因此，能够针对1个缺陷候补使用大量的信息进行缺陷检测，所以即使是小的表面缺陷，也能够在抑制过检测、误检测的同时高精度地进行稳定的检测。
[0173]
而且，在使后面的图像a22的区域1～p相对于前面的图像a21的区域1～p依次以根据工件1的移动量设定的位置偏移量s偏移的状态下合成对应的区域彼此的图像，所以前面的图像的区域和后面的图像的对应的区域成为工件1的相同的摄像范围，能够在使工件1的摄像范围一致的状态下进行多个图像的合成。另外，针对分割出的区域1～p中的每一个设定位置偏移量，所以相比于对分割出的所有区域1～p应用统一的位置偏移量的情况，能够将摄像范围的误差抑制为最小限。因此，能够进行更高精度的表面缺陷的检测。
[0174]
[2-1]与位置偏移量有关的变形例1
[0175]
在上述例子中，根据各区域1～p的倍率信息和事先设想的大致的移动速度针对区域1～p中的每一个计算了与分割出的各区域1～p对应的位置偏移量s，但也可以根据对各区域1～p设定多个位置偏移量的结果来设定位置偏移量s。
[0176]
例如，针对各区域1～p，包括设想的移动速度而从慢的速度至快的速度在多个条件下设定位置偏移量候补。然后，应用各位置偏移量候补分别制作合成图像，进而根据需要进行缺陷检测，根据它们的比较，采用评价最高的位置偏移量s。
[0177]
这样，针对各区域1～p在不同的条件下设定多个位置偏移量候补，并且根据以各位置偏移量候补合成图像时的比较，将评价最高的位置偏移量候补用作针对该区域1～p的位置偏移量s，所以能够针对区域1～p中的每一个设定适当的位置偏移量s，能够进行更高
精度的表面缺陷的检测。
[0178]
[2-2]与位置偏移量有关的变形例2
[0179]
区域1～p中的每一个的位置偏移量s的设定也可以如下所述进行。即，如图17的图形那样，如果已知相邻的图像之间的工件1的移动距离，则能够计算图像上的位置偏移量。在上述例子中，根据预先设想的工件移动速度，设定位置偏移量。
[0180]
合成图像制作时的各框架中的每一个的适当的位置偏移量也可以根据实际测定的工件位置来决定。在该情况下，可以节省从多个位置偏移量选定最佳的位置偏移量的时间和精力。
[0181]
在说明工件位置的测定方法时如下所述。利用在工件1的移动方向上排列多台的位置专用相机对工件1或者进行与工件1相同的运动的支撑部件的同一部位进行摄像，根据该图像求出工件的位置信息。首先，将当在工件1中有特征性的孔部时的该孔部或者设置于保持工件1而移动的台座的记号作为用于工件1的位置或者速度测定的目标。
[0182]
为了检测目标，准备与相机8独立的多台相机。例如以从工件1的侧方观察工件侧面的方式在工件1的行进方向上配置成一列。配置成在连接多台横向的视场时覆盖工件1的全长。能够根据相机至工件1的距离、相机的焦距来计算倍率。根据倍率，根据图像上的位置来求出实际的位置。已知各相机位置关系，根据各相机的图像信息求出工件1的位置。
[0183]
通过将来自上述多台相机的工件位置信息对应起来，从缺陷提取用的相机8的图像求出适当的位置偏移量。例如，针对以使从相机观察的工件上的距离差成为
±
5cm的方式在工件1上虚拟地分割出的每个区域，决定与工件1的移动量对应的相邻的图像之间的图像上的平均的移动量作为重叠时的位置偏移量，制作合成图像。
[0184]
[2-3]与位置偏移量有关的变形例3
[0185]
在变形例2中，使用排列多台的相机求出了工件的位置。也可以代替其而利用包括距离传感器、速度传感器、振动传感器中的单独任意一个或者它们的组合的测量系统来测量工件1或者进行与工件1相同的运动的支撑部件的同一部位，求出工件位置信息。
[0186]
说明工件位置的测定方法。将工件1的一部分或者进行与工件1相同的运动的支撑部件的同一部位作为目标。在工件位置的检测中，使用“探测工件位置通过基准点的传感器 距离传感器”或者“探测通过基准点的传感器 速度传感器 相邻的图像的摄像时间间隔”。前者直接求出工件位置。后者能够通过对来自速度传感器的速度信息乘以摄像间隔来求出各图像被摄像时的工件位置。
[0187]
通过将上述工件位置信息对应起来，从缺陷提取用的相机8的图像求出适当的位置偏移量。例如，针对以使从相机观察的工件上的距离差成为
±
5cm的方式在工件1上虚拟地分割出的每个区域，决定与工件1的移动量对应的相邻的图像之间的图像上的平均的移动量作为重叠时的位置偏移量，制作合成图像。
[0188]
[2-4]流程图
[0189]
工件的表面检查系统的整体的处理依照图5所示的流程图实施。
[0190]
图18是示出由缺陷检测pc 22执行的第3表面缺陷检测处理的内容的流程图。该表面缺陷检测处理是更详细地示出图5的步骤s06的前段处理以及步骤s08的后段处理的内容的处理。另外，该表面缺陷检测处理通过缺陷检测pc 22内的处理器依照储存于硬盘装置等内置存储装置的动作程序动作来执行。
[0191]
在步骤s31中，从主pc 21取得主pc 21在图5的步骤s02中取得的个体信息以及在步骤s03中设定的参数的设定、车体上的检查范围的设定等初始信息。
[0192]
接下来，在步骤s32中，取得由相机8摄像的图像a21、a22，之后，在步骤s33中，将各图像a21、a22分割为多个区域1～p。另一方面，根据工件1的位置、移动速度(步骤s34)等，在步骤s35中，针对分割出的区域1～p中的每一个设定多个位置偏移量候补。
[0193]
接下来，在步骤s36中，针对1个区域，将使位置以多个位置偏移量候补分别偏移后的多个图像合成，针对各区域制作多个合成图像候补，之后，在步骤s37中，根据所制作的位置偏移量候补中的每一个的合成图像的比较，将评价最高的位置偏移量候补作为针对该区域1～p的位置偏移量，按照该位置偏移量而针对每个区域再次将多个图像合成，制作合成图像。
[0194]
在步骤s38中，针对合成图像实施背景去除、二值化等前处理，之后，在步骤s39中提取缺陷候补。通过针对多个区域1～p中的每一个并且针对预定张数的图像中的每一个实施这样的处理，在步骤s40中，制作提取了缺陷候补的大量的缺陷候补图像群，之后，进入到步骤s41。步骤s32～s40是前段处理。
[0195]
在步骤s41中，根据来自主pc 21的信息，判断车体是否从检查范围退出。如果未从检查范围退出(在步骤s41中为否)，则返回到步骤s32，继续从相机8取得图像。如果车体从检查范围退出(在步骤s41中为是)，则在步骤s42中针对缺陷候补图像群进行缺陷检测处理。步骤s42是后段处理。在缺陷检测后，在步骤s43中将检测结果输出给显示器25等。
[0196]
图19是示出作为表面缺陷检测处理中的前段处理的图18的流程图的步骤s32～s40的细节的流程图，关于与图18的流程图相同的处理，附加相同的步骤编号。
[0197]
1个工件1进入到检查范围并直到其从检查范围退出，一边使工件1移动，一边由相机8连续地对其进行摄像，缺陷检测pc 22在步骤s32中取得从摄像第1次的图像至摄像最后一次的图像。在此，例示使用从摄像第n次的图像至摄像第(n m-1)次的图像的情况。
[0198]
在步骤s33中，将各图像分割为例如区域1～p这p个图像区域。在步骤s35中，针对p个区域中的每一个将位置偏移量候补分别设定q个，在步骤s36中，针对p个图像区域中的每一个应用q个位置偏移量候补来制作q个合成图像候补。即，针对区域1～p中的每个区域，制作q个合成图像。
[0199]
在步骤s37-1中，针对区域1～区域p中的每个区域，选择评价值最高的合成图像，并且将与所选择的合成图像对应的位置偏移量候补决定为针对该图像区域的位置偏移量。
[0200]
然后，在步骤s37-2中，针对区域1～p中的各区域的每一个，应用所决定的位置偏移量，制作合成图像。
[0201]
之后的前处理(步骤s38)、缺陷候补提取处理(步骤s39)、缺陷候补图像群制作处理(步骤s40)与图18相同，所以省略说明。
[0202]
[4]标准差图像等的制作
[0203]
在第1表面缺陷检测处理以及第3表面缺陷检测处理中，根据当在照射明暗的照明图案的状态下使工件移动时由相机8以时间序列摄像的摄像范围的重复的多张图像，制作合成对象的多张图像，将这些多张图像合成为1张图像而作为合成图像。作为该合成图像之一，考虑如标准差图像等那样计算统计性的偏差值而合成的图像。
[0204]
作为统计性的偏差值，有方差、标准差、半值宽度中的至少任意一个。虽然可以计
算任意一个，但在此说明计算标准差来进行合成的情况。
[0205]
针对多张图像的对应的每个像素计算标准差。图17是示出标准差图像的制作处理的流程图。此外，图20以及其以后的流程图所示的处理通过缺陷检测cpu依照储存于存储部等的动作程序动作来执行。
[0206]
在步骤s51中，生成成为合成对象的源图像(n张)，在步骤s52中，针对第1张源图像，针对每个像素计算亮度值(以下还称为像素值)的平方和，之后，在步骤s53中针对每个像素计算像素值之和。在第1张中，平方和与和计算都成为仅第1张的结果。
[0207]
接下来，在步骤s54中，调查是否有接下来的图像，如果有(在步骤s54中为是)，则返回到步骤s52，对第2张的各像素的像素值进行平方并加到第一张的对应的各像素值的平方值。接下来，在步骤s53中，将第2张的各像素值加到第1张的对应的各像素值。
[0208]
针对n张图像依次实施这样的处理，针对n张图像的对应的每个像素，计算各像素值的平方和以及各像素值之和。
[0209]
在针对n张的上述处理结束后(在步骤s54中为否)，在步骤s55中，计算在步骤s53中计算出的各像素值的和的平均，之后，在步骤s56中，计算和的平均的平方。
[0210]
接下来，在步骤s57中，计算在步骤s52中计算出的各像素值的平方和的平均值即平方平均，之后，在步骤s57中，根据{(平方平均)-(平均的平方)}的公式求出方差。然后，在步骤s59中，求出作为方差的平方根的标准差。
[0211]
优选对这样求出的标准差进行标准化，根据其结果制作合成图像。此外，在将方差或者半值宽度用作统计性的偏差值的情况下，也同样地进行计算即可。
[0212]
根据所制作的合成图像，进行表面缺陷的检测处理。检测处理与第1表面缺陷检测处理、第3表面缺陷检测处理同样地进行即可。
[0213]
这样，通过计算统计性的偏差值而合成多张图像的对应的像素彼此并将其应用于全部的像素来制作合成图像，所以即使成为合成对象的图像的张数少，也能够制作缺陷检测的s/n比高的合成图像，通过使用该合成图像，能够进行高精度的缺陷检测，能够减少不需要的缺陷候补的检测，并且防止遗漏必要的缺陷的检测。而且，相比于使用最大值、最小值等制作合成图像的情况，成本也降低。
[0214]
[4-1]与标准差图像有关的其他实施方式1
[0215]
图18示出进行明暗图案的照明的照明组件6针对工件1的照度的图形。在图21的图形中，波形的顶部71表示明带，底部72表示暗带。
[0216]
从明带到暗带或者从暗带到明带的波形的上升沿以及下降沿部分73实际上不是垂直的而是倾斜的。在与上升沿以及下降沿部分73的各个中间点相当的图像部分中像素值成为中间灰度，对偏差造成影响。
[0217]
在照明图案的1个周期中进行多次摄像的情况下，例如如在图21的(a)中由黑圆圈标记示出的那样摄像8次时，得到的8张图像中的各8个像素中的2个像素成为与所述中间点相当的中间灰度的像素值的可能性高。另一方面，当以在图21的(b)中由黑圆圈标记示出的定时摄像7次时，得到的7张图像中的各7个像素中的至少1个像素成为与所述中间点相当的中间灰度的像素值的可能性高。
[0218]
如上所述，这样的中间灰度的像素值对偏差造成影响，导致缺陷检测精度降低。因此，优选的是通过从偏差计算的采样候补排除这样的中间灰度的像素值而仅进行针对所选
择的最佳的采样候补的偏差的计算即可。具体而言，当在照明图案的1个周期中成为合成对象的源图像的张数是偶数张时，从多个像素的像素值将中间灰度的像素值去掉2个而计算偏差，当源图像的张数是奇数张时，从多个像素的像素值将中间灰度的像素值去掉1个而计算偏差即可。这样，从偏差计算的采样候补排除中间灰度的像素值，并仅进行针对所选择的最佳的采样候补的偏差的计算，从而仅利用最佳的采样候补进行统计性的偏差值的计算，能够抑制从采样候补排除了的像素的影响，所以即使在被合成的图像的张数少的情况下，也能够制作能够进行高精度的缺陷检测的合成图像。
[0219]
图22是示出通过从偏差计算的采样候补排除中间灰度的像素值并仅针对所选择的最佳的采样候补进行偏差的计算来制作标准差图像的处理的流程图。
[0220]
在步骤s61中，生成多张(n张)源图像，之后，在步骤s62中，在各图像的各像素中，对作为n张份的像素值的采样数据进行排序，去除中位数的1个值(n是奇数)或者2个值(n是偶数)。
[0221]
接下来，在步骤s63中，针对每个像素，利用n-1个(n是奇数)或者n-2个(n是偶数)值来计算标准差。
[0222]
优选对这样求出的标准差进行标准化，根据其结果制作合成图像。此外，在将方差或者半值宽度用作统计性的偏差值的情况下，也同样地进行计算即可。
[0223]
[4-2]与标准差图像有关的其他实施方式2
[0224]
在该实施方式中，也针对照明图案的1个周期进行多次(n次)摄像。n次也可以是少的数量。
[0225]
在该实施方式中，和与标准差图像有关的其他实施方式1的情况同样地，当在照明图案的1个周期中合成对象的源图像是奇数张时，针对每个像素，利用n-1个采样数据(像素值)计算标准差，偶数张时利用n-2个采样数据计算标准差。即，在奇数的情况下，针对每个像素利用从n个像素值中选择的n-1个组合(ncn-1))计算标准差，在偶数的情况下针对每个像素利用从n个像素值中选择的n-2个组合(ncn-2))计算标准差。然后，从针对每个像素得到的如(ncn-1))或者(ncn-2))的标准差中，将最大的标准差决定为关于该像素的标准差(最大值处理)。
[0226]
图23的流程图示出以上的处理。在图23的处理中，示出成为合成对象的源图像的张数n是奇数的情况，但偶数的情况也是同样的。
[0227]
在步骤s71中，生成成为合成对象的源图像(n张)，在步骤s72中，针对第1张源图像，针对每个像素计算像素值的平方和，之后，在步骤s73中针对每个像素计算像素值之和。在第1张中，平方和与和计算都成为仅第1张的结果。在步骤s74中，存储第1张的各像素值的平方值，在步骤s75中，存储第1张的各像素值(原始值)。
[0228]
接下来，在步骤s76中，调查是否有接下来的图像，如果有(在步骤s76中为是)，则返回到步骤s72，对第2张的各像素的像素值进行平方并加到第一张的对应的各像素值的平方值。接下来，在步骤s73中，将第2张的各像素值加到第1张的对应的各像素值。进而，在步骤s74中存储第2张的各像素值的平方值，在步骤s75中存储第2张的各像素值(原始值)。
[0229]
针对n张图像依次实施这样的处理，针对n张图像的对应的每个像素，计算各像素值的平方和以及各像素值之和。另外，分别存储n张各自的各图像值的平方值和像素值(原始值)。
[0230]
在针对n张的上述处理结束后(在步骤s76中为否)，在步骤s77中，将i作为变量，首先从在步骤s72中计算出的n张所有图像中的各像素的像素值的平方和减去第1张的图像(i＝1)的各像素的平方值，针对每个像素计算n-1张份的平方和。
[0231]
接下来，在步骤s78中，从在步骤s73中计算出的所有图像中的像素值之和减去第1张的图像的各像素值，计算n-1张份的和。在步骤s79中，计算在步骤s78中计算出的n-1张份的和的平均，之后，在步骤s80中，计算和的平均的平方。
[0232]
接下来，在步骤s81中，计算在步骤s77中计算出的n-1张份的平方和的平均值即平方平均，之后，在步骤s82中，根据{(平方平均)-(平均的平方)}的公式求出方差。然后，在步骤s83中，求出作为方差的平方根的标准差。
[0233]
接下来，在步骤s84中，实施最大化处理。在此，关于各像素的标准差当前仅能得到1个，所以该值成为最大。
[0234]
接下来，在步骤s85中，调查是否有要减去的接下来的图像、换言之、是否为i＝n，如果有接下来的图像、即、不是i＝n(在步骤s85中为是)，则返回到步骤s77，设定i＝2，减去第2张的图像的各像素值的平方和以及像素值，同样地计算标准差，在步骤s85中实施最大化处理。在最大化处理中，比较减去第1张时的标准差和减去第2张时的标准差，采用大的一方的标准差。
[0235]
这样，依次减去直至达到i＝n、即、从第1张至第n张的各图像的平方和以及像素值，针对每个像素计算标准差，将最大的标准差用作该像素的标准差。
[0236]
优选对这样求出的标准差进行标准化，根据其结果制作合成图像。此外，在将方差或者半值宽度用作统计性的偏差值的情况下，也同样地进行计算即可。
[0237]
在该实施方式中，从多个图像依次从计算对象排除预定张数的图像，计算各像素的统计性的偏差值，所以能够容易地选择最佳的采样候补。而且，将计算出的偏差值的最大值用作关于该像素的偏差值，所以能够制作s/n比更高的合成图像。
[0238]
在该实施方式中，说明了一边使工件1相对于照明组件6和相机而以预定的速度相对地移动一边在由照明组件6引起的明暗图案的1个周期中取得多个图像的情况。
[0239]
然而，也可以通过仅使照明组件6相对于工件1和相机8而相对地移动，取得照明图案的1个周期中的多个图像，并根据这些多个图像制作计算标准差等偏差而得到的合成图像。
[0240]
产业上的可利用性
[0241]
本发明能够用于检测例如车体等工件的表面缺陷。
[0242]
符号说明
[0243]
1 工件
[0244]
2 移动机构
[0245]
3 照明框架
[0246]
4 支撑台
[0247]
6 照明组件
[0248]
7 相机框架
[0249]
8 相机
[0250]
21 主pc
[0251]
22 缺陷检测pc
[0252]
30 暂定缺陷候补
[0253]
40 推测坐标
[0254]
221 图像取得部
[0255]
222 暂定缺陷候补提取部
[0256]
223 坐标推测部
[0257]
224 缺陷候补决定部
[0258]
225 图像群制作部
[0259]
226 图像合成部
[0260]
227 缺陷检测部。