三维几何形状测量装置和三维几何形状测量方法与流程

三维几何形状测量装置和三维几何形状测量方法
1.本技术是申请日为2018年6月20日、申请号为201810637645.4、发明名称为“三维几何形状测量装置和三维几何形状测量方法”的发明专利申请的分案申请。
技术领域
2.本发明涉及用于测量待测量的对象的三维几何形状的三维几何形状测量装置和三维几何形状测量方法。


背景技术：

3.用于测量待测量的对象而不进行任何接触的方法可分为两种：诸如立体方法的被动技术；以及诸如三角测量方法、飞行时间方法和共焦方法的主动技术。其中，三角测量方法在诸如产品质量管理和反向工程的各个领域正在增加。
4.光图案投影方法使用三角测量方法的原理，并且通过将来自投影仪的条纹图案投影到待测量的对象上并且然后通过用相机捕获沿着待测量的对象的几何形状改变的图案，来执行三维(3d)几何形状测量。日本未审查专利申请公开号2009-094295公开了一种用于基于当线光被投影到电子部件上时通过对光学切割线成像获得的捕获图像来测量电子部件的高度的测量装置。
5.因为光图案投影方法能够在将包括多个条纹图案的图像投影到待测量的对象上时同时测量较大面积，所以其能够更快地测量3d几何形状。


技术实现要素：

6.本发明要解决的问题
7.在光图案投影方法中，当待测量的对象的表面是光滑的时，发生多重反射，即来自投影仪的投影光重复地反射在待测量的对象的表面上。由于多重反射，存在测量精确度降低的问题。
8.作为防止多重反射的方法，一种在待测量的对象的表面上施加抗多重反射喷雾的方法，在其光路中切割来自投影仪的投影光的一部分的掩模等已被采用。但是，在待测量的对象的表面上施加抗多重反射喷雾的方法中，存在冲洗工时数增加的问题。还存在另一个问题，即抗多重反射喷雾不能施加在需要保持高清洁度的环境中。
9.另外，由于将图案投影到待测量的对象上的次数需要增加以切割来自投影仪的投影光的一部分，所以使用掩模的方法与测量时间增加有关的问题相关联。此外，在该方法中，还存在另一个问题，即需要为每个待测量的单独对象创建不同的掩模。
10.本发明着眼于这些点，并且本发明的目的是提供一种三维几何形状测量装置和三维几何形状测量方法，其能够防止由多重反射引起的测量精确度的降低。
11.解决问题的手段
12.根据本发明的第一实施例的三维(3d)几何形状测量装置，其中，所述3d几何形状测量装置通过将包括条纹图案的投影图像投影到待测量的对象上来测量所述待测量的对
象的3d几何形状，所述装置包括：投影部分，将投影图像投影到所述待测量的对象上；捕获部分，生成投影图像投影到的所述待测量的对象的捕获图像；分析部分，获得作为投影图像的像素位置的投影像素位置与作为捕获图像的像素位置的捕获像素位置之间的对应关系；线识别部分，识别对应于所述捕获像素位置的捕获部分的第一核线或对应于所述投影像素位置的投影部分的第二核线；缺陷像素检测部分，基于所述投影像素位置与第一核线之间的位置关系或所述投影像素位置与第二核线之间的位置关系来检测缺陷像素；和几何形状识别部分，基于从由分析部分获得的对应关系之中除了由缺陷像素检测部分检测出的缺陷像素的位置以外的像素位置的对应关系，识别所述待测量的对象的3d几何形状。
13.当所述捕获像素位置与对应于具有与所述捕获像素位置的对应关系的投影像素位置的第一核线之间的距离以及所述投影像素位置与对应于具有与所述投影像素位置的对应关系的捕获像素位置的第二核线之间的距离大于阈值时，缺陷像素检测部分可将在所述捕获像素位置处的像素检测为缺陷像素或将在所述投影像素位置处的像素检测为缺陷像素。当所述捕获像素位置与对应于具有与所述捕获像素位置的对应关系的投影像素位置的第一核线之间的距离等于或小于阈值时，所述分析部分可估计最接近所述捕获像素位置的第一核线上的位置与所述投影像素位置彼此具有对应关系。
14.所述投影部分可将包含包括在投影图像中的多个像素之中的除了由缺陷像素检测部分检测到的缺陷像素之外的像素的投影图像投影到所述待测量的对象上，并且所述分析部分可估计(i)由所述投影部分投影的除了缺陷像素的投影图像的像素位置与(ii)除了缺陷像素的投影图像投影到的所述待测量的对象的捕获图像的捕获图像位置之间的对应关系。
15.所述投影部分可将包括包括在投影图像中的多个像素之中的由缺陷像素检测部分检测到的缺陷像素的图像投影到所述待测量的对象，并且所述分析部分可估计(i)由所述投影部分投影的包括缺陷像素的图像的投影像素位置与(ii)包括缺陷像素的图像投影到的所述待测量的对象的捕获图像的捕获像素位置之间的对应关系。
16.如果所述分析部分估计投影图像的一个投影像素位置对应于多个捕获图像像素位置，则缺陷像素检测部分可将对应于所述一个投影像素位置的所述多个捕获图像像素位置中的至少一个捕获图像像素位置的像素检测为缺陷像素。
17.如果所述分析部分估计投影图像的一个投影像素位置对应于由线识别部分识别的捕获部分的第一核线上的多个捕获图像像素位置，则缺陷像素检测部分可将对应于所述一个投影像素位置的多个捕获图像像素位置中的至少一个捕获图像像素位置的像素检测为缺陷像素。
18.所述投影部分可投影包括沿与所述捕获部分的光轴和所述投影部分的光轴正交的第一方向延伸的条纹图案的投影图像以及包括沿与包括所述投影部分的光轴和所述捕获部分的光轴的平面平行的第二方向延伸的条纹图案的投影图像。所述投影部分可将包括沿与包括所述投影部分的光轴和所述捕获部分的光轴的平面平行的第二方向延伸以及具有正弦亮度分布的条纹图案的投影图像投影到所述待测量的对象上，以及当像素的相位或像素之间的相位变化量不同于标准值时，缺陷像素检测部分可将投影图像投影到的所述待测量的对象的捕获图像中的沿第二方向延伸的所述条纹图案的像素检测为缺陷像素。
19.所述捕获部分和所述投影部分可被布置为使得由所述线识别部分识别的所述捕
获部件的第一核线在捕获图像中不互相交叉。所述捕获部分和所述投影部分可被布置为使得由所述线识别部分识别的所述投影部分的第二核线在投影图像中不互相交叉。
20.所述投影部分可将包括具有二值图像的条纹图案的投影图像以及包括具有正弦亮度分布的条纹图案的投影图像投影到待测量的对象上。所述投影部分可顺序地投影包括条纹周期彼此不同的条纹图案的投影图像。
21.所述投影部分可投影具有正弦亮度分布的所述条纹图案，以及分析部分可估计最接近对应于所述捕获像素位置的所述投影部分的第二核线的像素是呈现与所述条纹图像中的所述捕获像素位置相同相位的亮度的多个像素之中的具有与所述捕获像素位置对应性的像素。所述3d几何形状测量装置可还包括：确定部分，当(i)在所述捕获像素位置与第一核线之间的距离或者(ii)在所述投影像素位置与第二核线之间的距离的统计量超过允许值时，确定所述投影部分与所述捕获部分的对齐状态不合适。
22.根据本发明的第二实施例的一种3d几何形状测量方法，其中，所述3d几何形状测量方法通过将包括条纹图案的投影图像投影到待测量的对象上来测量所述待测量的对象的3d几何形状，所述方法包括：将投影图像投影到所述待测量的对象上的步骤；生成投影图像投影到的所述待测量的对象的捕获图像的步骤；获得作为投影图像的像素位置的投影像素位置与作为捕获图像的像素位置的捕获像素位置之间的对应关系的步骤；识别对应于所述捕获像素位置的捕获部分的第一核线或对应于所述投影像素位置的投影部分的第二核线，并且所述捕获部分生成所述待测量的对象的捕获图像并且所述投影部分将投影图像投影到所述待测量的对象上的步骤；基于所述投影像素位置与第一核线之间的位置关系或所述投影像素位置与第二核线之间的位置关系来检测缺陷像素的步骤；和基于从所获得的对应关系之中除了所检测出的缺陷像素的位置以外的像素位置的对应关系，识别所述待测量的对象的3d几何形状的步骤。
23.根据本发明的又一实施例的一种3d几何形状测量装置包括：投影部分，将包括沿多个方向延伸的条纹图案的投影图像投影到待测量的对象上；捕获部分，分别生成包括由所述投影部分投影到所述待测量的对象上的所述条纹图案的捕获图像；特征量识别部分，识别指示包括在所述捕获图像中的所述条纹图案的特征量；缺陷像素检测部分，基于从沿相应方向延伸的条纹图案的捕获图像中的每一个识别的特征量，来检测所述捕获图像中的缺陷像素；和几何形状识别部分，识别除了所述缺陷像素以外的所述捕获图像的像素与所述投影图像的像素之间的对应关系以基于所述对应关系来识别所述待测量的对象的3d几何形状。
24.根据本发明的又一实施例的一种三维3d几何形状测量方法包括以下步骤：将包括沿多个方向延伸的条纹图案的投影图像投影到待测量的对象上；分别生成包括投影到所述待测量的对象上的所述条纹图案的捕获图像；识别指示包括在所述捕获图像中的所述条纹图案的特征量；基于从沿相应方向延伸的条纹图案的捕获图像中的每一个识别的特征量，来检测所述捕获图像中的缺陷像素；和识别除了所述缺陷像素以外的所述捕获图像的像素与所述投影图像的像素之间的对应关系以基于所述对应关系来识别所述待测量的对象的3d几何形状。
25.本发明的效果
26.根据本发明，实现了防止由多重反射引起的测量精确度降低的效果。
附图说明
27.图1a至图1c示出根据第一实施例的3d几何形状测量装置的概况。
28.图2a和图2b各自显示投影部分投影到待测量的对象上的投影图像。
29.图3显示3d几何形状测量装置的配置。
30.图4a至图4f分别显示投影控制部分投影的投影图像的类型的示例。
31.图5a至图5d分别显示具有正弦亮度分布的渐变条纹图案的示例。
32.图6示出将由特征量识别部分识别的特征量。
33.图7a和图7b各自示出多重反射。
34.图8a和图8b各自示出待测量的对象的凹槽上的多重反射光。
35.图9a和图9b各自示出由于多重反射光而引起的捕获图像上的渐变条纹图案的特征量的变化。
36.图10示出基于捕获图像计算特征量的方法。
37.图11显示对应于图4c至图4f中显示的二值条纹图案的格雷码的示例。
38.图12是显示3d几何形状测量装置的操作的示例的流程图。
39.图13示出根据第二实施例的检测缺陷像素的原理。
40.图14示出根据第二实施例的检测缺陷像素的原理。
41.图15显示3d几何形状测量装置的配置。
42.图16示出缺陷像素检测部分对缺陷像素的检测操作。
43.图17示出核点。
44.图18示出由缺陷像素检测部分对核线上的缺陷像素的检测。
45.图19a和图19b各自示出在投影沿第二方向延伸的条纹图案的情况下由缺陷像素检测部分检测缺陷像素的方法。
46.图20示出由缺陷像素检测部分校正对应关系的方法。
47.图21是显示根据第二实施例的3d几何形状测量装置的操作的示例的流程图。
48.图22示出根据第三实施例的由分析部分估计捕获的像素位置和投影像素位置之间的对应关系的方法。
具体实施方式
49.《第一实施例》
50.《3d几何形状测量装置100的概况》
51.图1a至图1c示出根据本实施例的3d几何形状测量装置100的概况。图1a显示3d几何形状测量装置100的配置。3d几何形状测量装置100具有投影部分1、捕获部分2和控制部分3。
52.投影部分1是具有诸如发光二极管、激光器等的光源的投影装置，并且将包括条纹图案的多个分别不同的投影图像投影到待测量的对象的测量表面上。捕获部分2是具有透镜21和成像元件22的捕获装置。捕获部分2在投影图像由投影部分1顺序投影到待测量的对象上的同时，通过分别捕获待测量的对象来生成多个捕获图像。捕获部分2以捕获部分2的光轴与投影部分1的光轴形成预定角度的方式放置。控制部分3基于由捕获部分2生成的捕获图像来测量待测量的对象的几何形状。控制部分3例如可由计算机来实现。
53.图1b和图1c各自显示在投影部分1将投影图像投影到待测量的对象上的同时由捕获部分2生成的捕获图像的示例。如图1b和1c所示，投影部分1将包括二值条纹图案的投影图像投影到用于测量的目标上。图1b显示当投影部分1将包括二值条纹图案的投影图像投影到各自匀的测量表面上时由捕获部分2生成的捕获图像。白色区域表示光投影区域，并且黑色区域表示非投影区域。当测量表面没有不规则性时，由捕获部分2生成的捕获图像的二值条纹图案与投影图像的二值条纹图案匹配。
54.图1c显示当投影部分1将二值条纹图案投影到具有凸起部分的测量表面上时由捕获部分2生成的捕获图像。在图1c的捕获图像中，二值条纹图案的部分图像变形。在捕获图像中，二值条纹图案的图像根据凸起部分的高度而变形一定量。因此，3d几何形状测量装置100可通过基于捕获图像中的二值条纹图案图像中的变形量来识别凸起部分的每个位置的高度，测量待测量的对象的几何形状。
55.图2a和图2b各自显示投影部分1投影到待测量的对象上的投影图像。图2a显示沿第一方向延伸的二值条纹图案的示例，并且图2b显示沿第二方向延伸的二值条纹图案的示例。如图2a所示，投影部分1投影沿第一方向延伸的二值条纹图案(以下这可被称为垂直图案)。第一方向是与投影部分1的光轴正交的方向，并且是与捕获部分2的光轴正交的方向。如图2b所示，投影部分1投影沿第二方向延伸的二值条纹图案(以下这可被称为水平图案)。第二方向是与包括投影部分1的光轴和捕获部分2的光轴的平面平行的方向。
56.当条纹图案被投影到待测量的对象上时，条纹图案根据待测量的对象的3d几何形状在宽度方向上偏差，如图1c所示。
57.而且，条纹图案的宽度根据待测量的对象的3d几何形状而波动。在带有沿第一方向延伸的条纹图案的第一捕获图像中，使投影部分1的光轴和捕获部分2的光轴的朝向偏差的方向与在条纹图案的宽度方向上等发生偏差的方向彼此匹配。也就是说，(i)通过将连接投影部分1和捕获部分2的线段投影到放置待测量的对象的平面上生成的线段的图像的方向与(ii)条纹图案的宽度方向上等发生偏差的方向彼此匹配。因此，在第一捕获图像中，检测条纹图案在宽度方向上等的偏差的灵敏度高。由于这个原因，在测量待测量的对象的3d几何形状的测量中分辨率得到了改善。
58.同时，在带有沿第二方向延伸的条纹图案的第二捕获图像中，(i)使投影部分1的光轴和捕获部分2的光轴的朝向偏差的方向与(ii)在条纹图案的宽度方向上等发生偏差的方向彼此正交。也就是说，通过将连接投影部分1和捕获部分2的线段投影到放置待测量的对象的平面上生成的线段的图像的方向与在条纹图案的宽度方向上等发生偏差的方向是正交的。因此，与第一捕获图像相比，第二捕获图像的测量分辨率在测量待测量的对象的3d几何形状时显著降低，并且3d几何形状测量装置100不能准确地测量几何形状。
59.3d几何形状测量装置100通过分析投影到待测量的对象上的条纹图案来获得待测量的对象的3d几何形状。但是，当待测量的对象的表面光滑时，由于来自投影部分1的投影光被多重反射而引起的多重反射，存在测量精确度降低的问题。因此，3d几何形状测量装置100通过在将沿第一方向延伸的条纹图案和沿第二方向延伸的条纹图案投影到待测量的对象上的同时分别捕获待测量的对象，并通过分析捕获的图像，检测受多重反射影响的缺陷像素。
60.图3显示3d几何形状测量装置100的配置。3d几何形状测量装置100具有投影部分
1、捕获部分2、控制部分3和存储器部分4。存储器部分4包括存储介质，该存储介质包括硬盘、只读存储器(rom)、随机存取存储器(ram)等。存储器部分4存储将由控制部分3执行的程序。控制部分3例如是中央处理单元(cpu)，并且通过执行存储在存储器部分4中的程序而用作投影控制部分301、获取部分302、特征量识别部分303、缺陷像素检测部分304、分析部分305和几何形状识别部分306。
61.投影控制部分301生成用于将包括条纹图案的投影图像投影到待测量的对象上的控制信号，并将所生成的控制信号输入到投影部分1中。在下文中，通过参考图4a至图4f和图5a至图5d来说明投影控制部分301所投影的条纹图案的类型。
62.[条纹图案的类型]
[0063]
图4a至图4f分别显示投影控制部分301投影的投影图像的类型的示例。在图4a至图4f中，黑色区域表示投影部分1没有投影光的区域(以下称为“非投影区域”)，并且白色区域表示投影部分1投影光的区域(以下称为“光投影区域”)。
[0064]
图4a显示光不被投影到待测量的对象的任何部分上的标准投影图案(即，全黑图案)。图4b显示将光投影到待测量的整个对象上的标准投影图案(即全白图案)。图4c至图4f显示由光投影区域和非投影区域组成并且其中对于每个投影图像具有不同宽度的条纹被布置在相同方向上的二值条纹图案。图4a至图4f中显示的条纹图案对应于格雷码并且被用于识别捕获的图像中的像素的位置。细节将在下面描述。
[0065]
图5a至图5d分别显示具有正弦亮度分布的渐变条纹图案的示例。尽管图4c至图4f中显示的二值条纹图案是由在图5a至图5d中显示的渐变条纹图案中的黑色区域和白色区域组成的二值图像，但是亮度沿着条纹的宽度方向从白色区域到黑色区域以正弦方式变化。图5a至图5d的渐变条纹图案中的条纹之间的间隔恒定，并且梯度条纹图案中的条纹的空间频率例如是图4f的二值条纹图案的空间频率的四倍。
[0066]
图5a至5d的渐变条纹图案彼此不同之处在于：指示亮度分布的正弦波的相位彼此相差90度，并且它们的亮度分布在其他方面相同。在本实施例中，投影控制部分301投影总共10个投影图像：图4a和图4b中显示的两个标准图案、图4c至图4f中显示的四个二值条纹图案以及图5a至图5d中显示的四个渐变条纹图案。图5a至5d中显示的渐变条纹图案与图4a至图4f中显示的条纹图案一起被用于识别捕获图像中的像素的位置。
[0067]
图3中显示的获取部分302获取由捕获部分2生成的捕获图像。特征量识别部分303识别指示获取部分302获取的捕获图像中包括的条纹图案的特征的特征量。通过参照图6，将描述由特征量识别部分303识别的特征量。图6显示如图5a所示，在渐变条纹图案投影到待观测的对象上的同时由捕获部分2生成的捕获图像的亮度分布。在图6中，横轴6指示渐变条纹图案的宽度方向的距离，并且纵轴指示渐变条纹图案的亮度。如图6所示，图5a中的渐变条纹图案的亮度分布呈现正弦波形。特征量识别部分303将渐变条纹图案的亮度分布的正弦波的振幅am、作为亮度振幅和最小值的和的偏移量of、作为振幅am与偏移量of的比率(am/of)的对比度或者正弦波形的失真等，识别为特征量。振幅是用于确定亮度的绝对值的特征量。另外，通过使用对比度的归一化值和失真的归一化值，特征量识别部分303可以使这些值成为几乎不依赖于相机的曝光时间等的量。
[0068]
[关于多重反射]
[0069]
缺陷像素检测部分304检测受多重反射影响的捕获图像的缺陷像素。具体而言，缺
陷像素检测部分304通过确定由特征量识别部分303识别的特征量是否在预定范围内来检测缺陷像素。缺陷像素是具有受到多重反射影响的亮度的像素，该亮度与直接反射光的亮度不同。
[0070]
通过参照图7a和图7b，将描述多重反射。图7a和7b示出多重反射。当待测量的对象光滑并且具有复杂形状时，由投影部分1发出的光可以在待测量的表面上重复反射多次后进入捕获部分2。在这种情况下，如图7a所示，投影部分1发射的光经由两个或更多路径进入成像元件22的一个像素。
[0071]
具体地，进入成像元件22的光包括直射光和多重反射光，该直射光是由投影部分1发射的光并且在待测量的表面上漫射和反射之后直接进入捕获部分2，该多重反射光经受多重反射之后进入捕获部分2。结果，在由捕获部分2捕获的捕获图像中，当不存在多重反射光时具有与黑色对应的亮度值的像素可以具有与白色对应的亮度值。特别是，当待测量的对象包含可能引起随机反射的金属等时，可能发生多重反射。
[0072]
图7b示出受多重反射影响的捕获图像的示例。图7b对应于图1c，但是由于光的影响，阴影部分具有与图1c中的亮度不同的亮度。另外，由于光的影响，在显示图6所示的亮度分布的正弦波形中可能发生失真等。
[0073]
缺陷像素检测部分304基于由特征量识别部分303识别的条纹图案的特征量来检测缺陷像素。例如，缺陷像素检测部分304确定特征量是否在预定范围内并将其特征量落在预定范围之外的像素检测为缺陷像素。预定范围例如是假定当不存在多重反射光的影响时的特征量(诸如振幅am、对比度和波形失真等)的值的范围。
[0074]
图8a和图8b各自示出待测量的对象的凹槽中的多重反射光。图8a显示投影光的多个路径。图8b显示待测量的对象的平面p上的直射光和多重反射光的亮度分布。在图8a中，实线指示直射光，并且虚线指示多重反射光。在凹槽的深度侧，待测量的对象的一个位置反射到达待测量的对象的另一位置处的投影光的距离相对较小。
[0075]
例如，在图8a和图8b中，(i)直接到达待测量的对象的平面p上的位置a或位置b的直射光的光路与(ii)在待测量的对象的平面o上反射之后到达位置a或位置b的多重反射光的光路之间的差在凹槽的深度侧相对小。当直射光和多重反射光的光路之间的差小时，由于直射光和多重反射光的强度之间的差大，因此多重反射光的影响大。另外，当直射光和多重反射光的光路之间的差小时，多重反射光具有与直射光相同的时段。在这种情况下，在直射光和多重反射光被组合的合成光中不可能发生失真。出于此原因，即使像素已经受到多重反射光的影响，缺陷像素检测部分304也可能不能将像素检测为缺陷像素。
[0076]
这里，当缺陷像素检测部分304将一个像素检测为缺陷像素时，即使该像素附近的像素未被检测为缺陷像素，但是也认为外围像素也很可能受到多重反射光的影响。鉴于此，缺陷像素检测部分304可以将包括在从缺陷像素到与缺陷像素两侧的条纹的一个周期相对应的距离范围内的像素假设为缺陷像素。这减少了缺陷像素检测部分304未能检测到缺陷像素的可能性。这样，可以进一步减少几何形状识别部分306的几何形状识别结果中多重反射光的影响。例如，如果几何形状识别部分306识别待测量的对象的凹槽，则缺陷像素检测部分304将包括在从缺陷像素到与该缺陷像素两侧的条纹的一个周期对应的距离的范围中的像素检测为估计的缺陷像素。然后，几何形状识别部分306基于估计的缺陷像素重新识别几何形状。相应地，可以改善几何形状的识别准确度。
[0077]
[由于多重反射光引起的特征量的变化]
[0078]
图9a和图9b各自示出由于多重反射光引起的捕获图像上的渐变条纹图案的特征量的变化。通过参照图9a和图9b，将描述由于多重反射光而引起的捕获图像上的渐变条纹图案的特征量的变化。图9a和9b是显示直射光亮度分布d和多重反射光亮度分布m的变化的曲线图。图9a和图9b的横轴各自指示捕获图像的渐变条纹图案的宽度方向上的距离，并且图9a和9b的纵轴指示亮度。实线指示直射光亮度分布d，并且单点划线指示多重反射光亮度分布m。虚线指示合成光亮度分布c，即直射光和多重反射光被组合的合成光的分布。
[0079]
渐变条纹图案的诸如振幅、对比度等的特征量由合成光亮度分布c表示。该亮度分布c是通过将直射光亮度分布d和多重反射光亮度分布m组合而获得的亮度分布。
[0080]
如图9a所示，当直射光亮度分布d和多重反射光亮度分布m的相位接近时，合成光亮度分布c的振幅am大于直射光亮度分布d的振幅am。另一方面，如图9b所示，当直射光亮度分布d与多重反射光亮度分布m之间的相位偏差大时，合成光亮度分布c的振幅am小于直射光亮度分布d的振幅am。因此，合成光亮度分布c的特征量根据直射光和多重反射光之间的相位关系而波动。为此，可能存在缺陷像素检测部分304通过仅使用一个渐变条纹图案确定振幅am是否在预定范围内而不能检测到多重反射光的存在的情况。
[0081]
另外，当用于消除多重反射光的影响的渐变条纹图案的振幅am的下限值被设定为高时，存在缺陷像素检测部分304甚至可能将其中发生次表面散射的像素检测为缺陷像素的问题。在次表面散射中，当待测量的对象包含陶瓷、塑料等时，在来自投影部分1的投影光进入并在待测量的对象内部散射之后，光透过待测量的对象的表面。当发生次表面散射时，振幅被衰减。对比度也会出现同样的问题，但是这种问题很少发生在波形失真的情况下。
[0082]
另外，当直射光亮度分布d与多重反射光亮度分布m之间的相位和周期的差相对小时，缺陷像素检测部分304难以检测波形的失真。为此，缺陷像素检测部分304不能通过一个渐变条纹图案的波形失真来充分检测多重反射光。
[0083]
因此，当特征量识别部分303将从带有沿第一方向延伸的条纹图案的第一捕获图像识别的特征量设置为第一特征量、并且将从带有沿第二方向延伸的条纹图案的第二捕获图像识别的特征量设置为第二特征量时，缺陷像素检测部分304基于第一特征量和第二特征量来检测受多重反射影响的第一捕获图像的缺陷像素。例如，缺陷像素检测部分304首先将其第一特征量落在预定范围之外的第一捕获图像的像素检测为缺陷像素。预定范围是假定在没有多重反射光的影响时的诸如振幅am、对比度和波形失真等的第一特征量和第二特征量的值的范围。
[0084]
因为在第一捕获图像和第二捕获图像中彼此对应的像素是投影到待测量的对象的相同位置上的不同条纹图案的像素，所以在多重反射光的影响已经发生的第二捕获图像的位置处，多重反射光的影响更可能在第一图像中发生。因此，缺陷像素检测部分304识别与第二特征量落在预定范围之外的第二捕获图像的像素相对应的第一捕获图像的像素，并且将识别的第一捕获图像的像素检测为缺陷像素。
[0085]
此外，用于基于第一特征量检测缺陷像素的第一范围和基于第二特征量检测缺陷像素的第二范围可以不同。例如，缺陷像素检测部分304检测第一特征量落在第一范围之外的第一捕获图像的像素作为缺陷像素，并检测第二特征量落在第二范围之外的第二捕获图像的像素作为缺陷像素。此外，缺陷像素检测部分304识别与被识别为缺陷像素的第二捕获
图像的像素对应的第一捕获图像的像素，并检测这些像素作为缺陷像素。第一范围和第二范围是假定当没有多重反射光的影响时的第一特征量和第二特征量(诸如振幅am、对比度和偏移量of等)的值的各个范围。
[0086]
在第二捕获图像中，如图2b所示，捕获图像的条纹图案的宽度不大可能因为待测量的对象的3d几何形状而波动，这是因为(i)使得投影部分1和捕获部分2的光轴的朝向偏差的方向和(ii)发生条纹图案的宽度的波动的方向彼此正交。为此，用于缺陷像素检测部分304确定第二捕获图像的第二特征量是否是缺陷像素的第二范围可被设置为与第一范围相比更窄。通过采用这种配置，检测缺陷像素的精确度可被改善。
[0087]
此外，缺陷像素检测部分304可通过比较第一特征量和第二特征量，来检测第一特征量与第二特征量之间的差落在预定范围之外的像素作为缺陷像素。更具体而言，缺陷像素检测部分304针对振幅、对比度等多种类型的特征量来比较第一特征量和第二特征量。例如，缺陷像素检测部分304针对振幅、对比度等中的任何一个，检测第一特征量和第二特征量之间的差落在预定范围之外的像素作为缺陷像素。
[0088]
另外，缺陷像素检测部分304可针对每个像素指定沿第一方向和第二方向延伸的条纹图案的捕获图像中的预定区域，获得指定区域内的像素的第一特征量和第二特征量之间的相似度，并将获得的相似度与阈值进行比较。例如，缺陷像素检测部分304可将指定区域内的第一特征量的平各自值和第二特征量的平各自值之间的差设置为相似度。此外，缺陷像素检测部分304可对指定区域内的第一特征量和第二特征量计算特征量的空间变化(差异量)，并将所获得的差设置为相似度。以这种方式，缺陷像素检测部分304可更显著地检测多重反射的影响。阈值是假定没有多重反射光的影响时作为第一特征量和第二特征量之间的相似度的振幅am等的值的下限值。当第一特征量和第二特征量之间的相似度低于阈值时，缺陷像素检测部分304检测指定区域内的像素作为缺陷像素。另一方面，当第一特征量与第二特征量之间的相似度等于或大于阈值时，缺陷像素检测部分304不将指定区域内的像素检测为缺陷像素。
[0089]
[基于捕获图像的特征量的计算方法]
[0090]
图10示出基于捕获图像来计算特征量(波形失真)的方法。图10的纵轴指示在图5a至图5d的渐变条纹图案被投影到待观测的对象上的同时在捕获图像中获得的相同像素的亮度。图10的横轴指示与图5a至图5d的渐变条纹图案对应的相位。图10中的每个黑色圆对应于当图5a至图5d的渐变条纹图案被顺序地投影到待测量的对象上时的相同像素的亮度的观测值。图10中的虚线指示与由每个黑色圆表示的观测值拟合的正弦波。与每个黑色圆对应的亮度与同一相位中的正弦波的亮度之间的差等于与观测值的理想值的偏差。特征量识别部分303可通过累积与每个观测值相对应的偏差并且通过用所述振幅归一化所累积的偏差来对波形失真的大小进行归一化。
[0091]
投影控制部分301顺序将图5a至图5d的渐变条纹图案投影到待测量的对象上。然后，捕获部分2分别生成在投影控制部分301顺序投影图5a至图5d的渐变条纹图案时捕获的待测量的对象的捕获图像。图5a至图5d的渐变条纹图案的相位彼此相差90度。由于这个原因，特征量识别部分303将与图5a至图5d的渐变条纹图案相对应的捕获图像的识别像素的亮度绘制在图10的曲线图上，每个位移90度。
[0092]
为了创建图10中所示的正弦波，特征量识别部分303通过以下表达式对作为投影
每个渐变条纹图案时的观测值的亮度值ln(x,y)进行归一化，其中，n表示步骤编号(n＝1至n)，并且n表示指示包括沿相同方向延伸的渐变条纹图案的投影图像的数量的步骤数量。
[0093][0094]
此外，特征量识别部分303识别与每个绘图点具有最高匹配率的正弦波，如图10中的虚线所示。特征量识别部分303通过使用以下表达式从每个像素(x，y)中的亮度值ln(x,y)获得相位ψ(x，y)来获得正弦波：
[0095][0096]
在这种情况下，特征量识别部分303通过以下表达式获得各渐变条纹图案的绘图亮度与识别的正弦波之间的偏差。该偏差是用于检测正弦波形的失真等的特征量。
[0097][0098]
缺陷像素检测部分304将该偏差与阈值进行比较，并且当该偏差大于阈值时检测缺陷像素。该阈值是假定在不受多重反射光影响的像素中发生的偏差的最大值。另一方面，当该偏差等于或小于阈值时，缺陷像素检测部分304不检测缺陷像素。
[0099]
[识别捕获图像的像素的位置]
[0100]
分析部分305通过分析捕获图像的渐变条纹图案的渐变信息，识别投影图像的像素与由获取部分302获取的捕获图像的像素之间的对应关系。对应关系由显示与捕获图像的像素对应的投影的像素的位置(或坐标)的信息表示。如果捕获图像的像素a是通过捕获投影图像的像素b而获得的像素，则像素a和像素b具有彼此对应关系。下面将描述用于获得投影图像的像素和捕获图像的像素之间的对应关系的方法。
[0101]
如上所述，图4c至图4f中所示的二值条纹图案对应于格雷码。在图11中，示出图4c至图4f中所示的二值条纹图案的示例。通过将格雷码中的0与非投影区域相关联并将1与光投影区域相关联，生成图4c至4f所示的二值条纹图案。
[0102]
图4a至图4f和图11中的x方向上的每个位置由码值表示，该码值是格雷码中各个位置上的数字0或1的组合。图11中的位置0对应于码值“0000”，位置1对应于码值“0001”，并且位置15对应于码值“1000”。
[0103]
在投影控制部分301中，捕获部分2在图4a和图4b中示出的标准图案分别投影到待测量的对象上的同时捕获待测量的对象。分析部分305针对每个像素获得两个捕获的标准图案的平各自值作为中值。类似地，关于在图4c至图4f的二值条纹图案投影到待测量的对象上的同时捕获的捕获图像，分析部分305通过将四个捕获图像中的各个像素的亮度值与相应的中值进行比较来识别各个像素的码值。通过识别码值，分析部分305可识别在朝向不同位置投影的二值条纹图案中在每个像素位置处反射哪个二值条纹。
[0104]
此外，分析部分305识别与如图10所示由特征量识别部分303识别的正弦波的相位相匹配的投影图像的像素位置。由于投影图像的渐变条纹图案具有周期性，所以存在与识别的正弦波的相位匹配的投影图像的多个像素位置。
[0105]
因此，分析部分305获得图4c至图4f的二值条纹图案的投影图像的像素与捕获图像的像素位置之间的对应关系。分析部分305通过从通过分析渐变条纹图案的渐变信息获得的多个对应关系中选择最接近于基于二值条纹图案获得的对应关系的对应关系，获得捕获图像的像素与投影图像的像素之间的对应关系。
[0106]
应该注意，分析部分305可以使用包括渐变条纹图案的投影图像来代替使用包括二值条纹图案的投影图像。分析部分305可被配置为，除了具有图5a至图5d的渐变条纹图案的投影图像之外，通过顺序投影具有正弦亮度分布的渐变条纹图案(其中条纹宽度不同于图5a至图5d的条纹宽度)的多个投影图像，来获得捕获图像的像素与投影图像的像素之间的对应关系。例如，投影部分1可被配置为投影具有第一周期性渐变条纹图案的多个投影图像，投影具有第二周期性渐变条纹图案的多个投影图像，并且投影具有第三周期性渐变条纹图案的多个投影图像。在这种情况下，投影部分1可通过投影具有正弦亮度分布的投影图像来识别待测量的对象的几何形状。此外，具有第一至第三周期性渐变条纹图案的多个投影图像可被投影作为沿第一和第二方向延伸的渐变条纹图案。
[0107]
而且，由缺陷像素检测部分304检测的缺陷像素由于多重反射的影响而没有呈现与投影图像的条纹图案相符的亮度。因此，分析部分305获得(i)捕获图像的像素之中的除了由缺陷像素检测部分304检测的缺陷像素以外的捕获图像的像素和(ii)投影图像的像素之间的对应关系。这样，分析部分305可降低错误地获得捕获图像的像素与投影图像的像素之间的对应关系的概率。
[0108]
几何形状识别部分306基于由分析部分305获得的捕获图像的像素与投影图像之间的对应关系来获得待测量的对象的3d几何形状。投影部分1和捕获部分2的布置以及投影部分1和捕获部分2的光轴方向是已知的。对此原因，通过使用三角测量方法的原理，几何形状识别部分306通过例如从由分析部分305获得的捕获图像与投影图像之间的对应关系获得捕获图像的每个像素的3d位置，获得待测量的对象的3d几何形状。
[0109]
[3d几何形状测量装置100的处理过程]
[0110]
图12是显示3d几何形状测量装置的操作的示例的流程图。当用户通过例如未显示的操作键发出由3d几何形状测量装置100测量待测量的对象的指令时，该处理过程开始。首先，投影控制部分301投影光没有投影到待测量的对象的任何部分上的标准图案(全黑图案)，并且在投影控制部分301投影前述标准图案的同时，捕获部分2捕获待测量的对象。然后，投影控制部分301投影光被投影到待测量的整个对象上的标准投影图案(全白图案)，并且在投影部分1投影前述标准图案的同时，捕获部分2捕获待测量的对象(s101)。
[0111]
此外，投影控制部分301顺序投影包括沿第一方向延伸的二值条纹图案的多个投影图像，并且在投影控制部分301投影每个投影图像的同时，捕获部分2捕获待测量的对象。此外，投影控制部分301顺序投影包括沿第二方向延伸的二值条纹图案的多个投影图像，并且在投影控制部分301投影每个投影图像的同时，捕获部分2捕获待测量的对象(s102)。
[0112]
接下来，投影控制部分301顺序投影包括具有正弦亮度分布且沿第一方向延伸的渐变条纹图案的多个投影图像，并且在投影部分1投影每个投影图像的同时，捕获部分2捕获待测量的对象。此外，投影控制部分301顺序投影包括具有正弦亮度分布且沿第二方向延伸的渐变条纹图案的多个投影图像，并且在投影控制部分301投影每个投影图像的同时，捕获部分2捕获待测量的对象(s103)。
[0113]
分析部分305基于投影沿第一方向和第二方向延伸的二值条纹图案的捕获图像的每个像素的亮度值来识别每个像素的码值(s104)。另外，分析部分305分析投影沿第一方向和第二方向延伸的渐变条纹图案的捕获图像的渐变信息(s105)。
[0114]
特征量识别部分303识别指示包括在(i)投影沿第一方向和第二方向延伸的渐变条纹图案的捕获图像和(ii)投影沿第一方向和第二方向延伸的二值条纹图案的捕获图像中的条纹图案的特征的特征量(s106)。
[0115]
接下来，缺陷像素检测部分304通过识别由特征量识别部分303识别的特征量不在预定范围内的像素来检测缺陷像素(s107)。首先，缺陷像素检测部分304检测第一特征量落在预定范围外的第一捕获图像的像素作为缺陷像素，该第一特征量是特征量识别部分303基于在第一捕获图像中沿第一方向延伸的条纹图案而识别的特征量。此外，缺陷像素检测部分304识别与第二特征量落在预定范围之外的第二捕获图像的像素相对应的第一捕获图像的像素，该第二特征量是由特征量识别部分303基于在第二捕获图像中沿第二方向延伸的条纹图案而识别的特征量。缺陷像素检测部分304将第一捕获图像的识别的像素检测为缺陷像素。
[0116]
缺陷像素检测部分304比较第一特征量和第二特征量(s108)，并检测第一特征量和第二特征量之间的差落在预定范围之外的像素作为缺陷像素。
[0117]
分析部分305通过使用所识别的码值来获得捕获图像缺陷像素的像素与除了缺陷像素之外的投影图像的像素之间的对应关系。此外，分析部分305通过分析渐变条纹图案的渐变信息，获得除了缺陷像素之外的捕获图像的像素与投影图像的像素之间的对应关系(s109)。分析部分305通过从通过分析渐变信息获得的多个对应关系中选择最接近使用码值获得的对应关系的对应关系，识别捕获图像的像素与投影图像之间的对应关系。几何形状识别部分306基于由分析部分305获得的捕获图像的像素与投影图像之间的对应关系，来获得待测量的对象的3d几何形状(s110)。
[0118]
根据本实施例，缺陷像素检测部分304使用从沿第一方向延伸的条纹图案的捕获图像识别的第一捕获图像的第一特征量、以及从沿第二方向延伸的条纹图案的第二捕获图像识别的第二特征量，检测受到多重反射影响的捕获图像的缺陷像素。关于亮度分布以及关于多重反射光和直射光重叠的方式，第二捕获图像与第一捕获图像不同。因此，即使当缺陷像素检测部分304由于诸如在第一捕获图像中多重反射光和直射光的重叠的原因而未能检测到多重反射光时，也可以预期缺陷像素检测部分304检测到第二捕获图像中的多重反射光。
[0119]
而且，如果在测量目标上发生多重反射，则特征量取决于投影图案的方向而改变。然而，即使在投影图案的方向改变时，如果在测量目标上没有发生多重反射，则特征量也不可能显著改变。因此，通过比较第一特征量和第二特征量，能够更准确地检测多重反射光。因此，缺陷像素检测部分304可通过基于第一特征量和第二特征量两者检测缺陷像素来改善缺陷像素的检测精确度。
[0120]
另外，由于3d几何形状测量装置100使用(i)从沿第一方向延伸的条纹图案的捕获图像识别的第一特征量和(ii)从沿第二方向延伸的条纹图案的捕获图像识别的第二特征量，因此3d几何形状测量装置100的管理者不需要严格设定各个特征量的阈值。例如，3d几何形状测量装置100的管理者可将用于不确定像素是缺陷像素的特征量的范围设置为大于
仅在第一特征量和第二特征量中的一个被使用的情况下的范围。而且，如果缺陷像素检测部分304使用多个特征量，则可实现相同的效果。因此，在排除多重反射的影响的情况下，几何形状识别部分306能够测量具有当设定严格的阈值时容易错误地检测出缺陷像素的大的次表面散射的目标。
[0121]
另外，根据本实施例，缺陷像素检测部分304检测包括在从缺陷像素到对应于该缺陷像素两侧的条纹的一个周期的距离的范围内的像素作为缺陷像素。因此，由于直射光的周期和条纹图案的周期接近并且缺陷像素的检测困难的情况，甚至当直射光和多重反射光组合的合成光中不太可能发生失真时，缺陷像素检测部分304也能够准确地去除受到多重反射光影响的像素。
[0122]
应该注意的是，在本实施例中，说明了投影控制部分301顺序地将沿第一方向和第二方向延伸的条纹图案投影到待测量的对象上的情况的示例。然而，本发明不限于沿多个方向延伸的条纹图案被不断投影到待测量的对象上的情况的示例。例如，投影控制部分301可被配置为，当基于由缺陷像素检测部分304基于第一特征量检测的缺陷像素的量处于标准范围之外时，将沿第一方向延伸的条纹图案投影到待测量的对象上，并投影沿第二方向延伸的条纹图案。该标准范围可以在统计上例如用缺陷像素的范围和期望的测量精确度获得。此外，可以使用例如不对应于缺陷像素的像素的范围与缺陷像素的范围的比率来获得标准范围。
[0123]
另外，在本实施例中，说明投影控制部分301将包括沿第一方向延伸的条纹图案的投影图像和包括沿第二方向延伸的条纹图案的投影图像投影到待测量的对象上的情况的示例。然而，本发明不限于投影沿第一方向和第二方向延伸的条纹图案的情况的示例。例如，投影控制部分301也可被配置为，当由缺陷像素检测部分304检测的缺陷像素的量在预定范围以外时，将包括沿第一方向和第二方向上各自不延伸的条纹图案的投影图像投影到待测量的对象上。该预定范围可以例如用缺陷像素的范围和期望的测量精确度来统计地获得。此外，可以使用例如不与缺陷像素对应的像素的范围与缺陷像素的范围的比率来获得预定范围。另一方面，当由缺陷像素检测部分304检测的缺陷像素的量处于该预定范围内时，投影控制部分301不将包括沿不同方向延伸的条纹图案的投影图像投影到待测量的对象上。通过采用这种配置，缺陷像素检测部分304可改善检测缺陷像素的精确度。
[0124]
另外，投影控制部分301可被配置为重复用于将包括沿另一方向延伸的条纹图案的投影图像投影到待测量的对象上的处理。例如，投影控制部分301顺序地投影沿第一方向至第n方向(n是自然数)延伸的条纹图案。投影控制部分301可被配置为基于从投影了沿第n方向延伸的条纹图案的捕获图像中新检测的缺陷像素的范围来停止投影条纹图案。也就是说，投影控制部分301可被配置为，在当沿第n方向延伸的条纹图案被投影时捕获的捕获图像中检测的缺陷像素之中，当从当沿第一方向至第n方向延伸的条纹图案被投影时捕获的捕获图像没有检测的缺陷像素的范围等于或小于阈值时，停止投影条纹图案。该阈值例如是指示多重反射光的影响已经变得足够小的值。
[0125]
此外，投影控制部分301可将包括沿第一方向延伸的条纹图案的投影图像投影到待测量的对象上，然后另外将具有沿第一方向延伸并且具有不同周期的条纹图案的投影图像投影到待测量的对象上。此外，投影控制部分301可将包括沿第二方向延伸的条纹图案的投影图像投影到待测量的对象上，然后将具有沿第二方向延伸并且具有不同周期的条纹图
案的投影图像投影到待测量的对象上。当投影具有不同周期的条纹图案时，与直射光重叠的多重反射光的相位改变。为此，缺陷像素检测部分304可更准确地检测受多重反射光影响的像素。
[0126]
优选地，缺陷像素检测部分304使用具有相同周期的条纹图案来比较特征量。如上所述，这同样适用于当获得捕获图像和投影图像的像素的对应关系时使用具有不同周期的多个渐变条纹图案而不是二值图案的情况。
[0127]
此外，在本实施例中，说明了投影控制部分301使用具有相同波长的投影光投影每个投影图像的情况的示例。然而，本发明不限于这种情况。例如，投影控制部分301可使用第一波长的光将包括沿第一方向延伸的条纹图案的多于两个的投影图像投影到待测量的对象上，并且可使用第二波长的光将包括沿第二方向延伸的条纹图案的投影图像投影到待测量的对象上。通过采用该配置，能够实现将沿第一方向延伸的条纹图案和沿第二方向延伸的条纹图案投影到待测量的对象上，并且能够缩短测量时间量。阈值可针对每个波长改变。
[0128]
另外，在本实施例中，说明了投影控制部分301针对具有正弦亮度分布的渐变条纹图案和二值图案二者、将包括沿第二方向延伸的条纹图案的投影图像投影到待测量的对象上的情况的示例。但是，本发明不限于此。例如，投影控制部分301可采用将沿第二方向延伸的渐变条纹图案投影到待测量的对象上的配置，但是沿第二方向延伸的二值条纹图案不需要投影到待测量的对象上。由此，投影控制部分301可减少测量时间量。
[0129]
而且，投影控制部分301不需要沿第一方向和第二方向投影相同数量的将被投影的渐变条纹图案或二值条纹图案的投影图像。例如，投影控制部分301可以使第二方向的渐变条纹图案的投影图像的数量比第一方向的数量少(例如：对于第一方向，每60度6个相移；对于第二方向，每90度4个相移；等等)。
[0130]
另外，在本实施例中，说明了渐变条纹图案和二值条纹图案被投影的同时，分析部分305通过分别分析待测量的对象的捕获图像，来获得投影图像和捕获图像的像素的对应关系的情况的示例。然而，本发明不限于这种情况。例如，可采用如下配置，使得在二值化条纹图案被投影的同时，分析部分305通过分析待测量的对象的捕获图像来获得投影图像与捕获图像的像素的对应关系，并且投影控制部分301不投影渐变条纹图案。在这种情况下，特征量识别部分303可从投影了二值条纹图案的捕获图像获得诸如偏移量of的特征量。
[0131]
此外，在本实施例中，描述了投影控制部分301将包括沿第一方向延伸的条纹图案的投影图像和包括沿第二方向延伸的条纹图案的投影图像投影到待测量的对象上的情况的示例，其中，第一方向和第二方向彼此正交。然而，本发明不限于这种情况。例如，第一方向和第二方向可以近似彼此正交。第一方向可以以除图2b所示的程度之外的任何程度成角度。第二方向可以以与第一方向不同的任何程度成角度。
[0132]
此外，在本实施例中，说明了缺陷像素检测部分304将当第一特征量与第二特征量之间的差落在预定范围之外时的像素检测为缺陷像素的情况的示例。然而，本发明不限于这种情况。例如，缺陷像素检测部分304可检测第一特征量和第二特征量之间的比率落在预定范围之外的像素作为缺陷像素。
[0133]
将总结根据第一实施例的3d几何形状测量装置和3d几何形状测量方法的特性。
[0134]
该3d几何形状测量装置包括：
[0135]
(1)投影部分，顺序投影包括沿第一方向延伸的条纹图案的两个或更多投影图像，
并将包括沿第二方向延伸的条纹图案的至少一个投影图像投影到待测量的对象上；
[0136]
捕获部分，分别生成包括由投影部分投影到待测量的对象上的条纹图案的捕获图像；
[0137]
特征量识别部分，识别指示包括在捕获图像中的条纹图案的特征量；
[0138]
缺陷像素检测部分，基于(i)从沿第一方向延伸的条纹图案的捕获图像识别的第一特征量和(ii)从沿第二方向延伸的条纹图案的捕获图像识别的第二特征量，来检测受多重反射影响的捕获图像中的缺陷像素，第一特征量和第二特征量两者由特征量识别部分识别；
[0139]
分析部分，获得(i)捕获图像缺陷像素的像素和(ii)除了缺陷像素之外的投影图像的像素之间的对应关系；和
[0140]
几何形状识别部分，基于由分析部分获得的对应关系来识别待测量的对象的3d几何形状。
[0141]
(2)根据(1)所述的3d几何形状测量装置，其中，缺陷像素检测部分将捕获图像中的其第一特征量或第二特征量落在预定范围之外的像素检测为缺陷像素。
[0142]
(3)根据(1)或(2)所述的3d几何形状测量装置，其中，缺陷像素检测部分将捕获图像中的第一特征量与第二特征量之间的差等于或大于阈值的像素检测为缺陷像素。
[0143]
(4)根据(1)至(3)中任一项所述的3d几何形状测量装置，其中，缺陷像素检测部分将捕获图像中的其第一特征量落在第一范围之外的的像素检测为缺陷像素，并将捕获图像中的其第二特征量落在第二范围之外的像素检测为缺陷像素。
[0144]
(5)根据(1)至(4)中任一项所述的3d几何形状测量装置，其中，投影部分顺序地投影二值图像和具有正弦亮度分布的图像作为上述两个或更多投影图像，投影图像包括沿第一方向延伸的条纹图案。
[0145]
(6)根据(1)至(5)中任一项所述的3d几何形状测量装置，其中，第一方向是与包括投影部分和捕获部分的光轴的平面正交的方向，并且第二方向是平行于包括投影部分和捕获部分的光轴的平面的方向。
[0146]
(7)根据(1)至(6)中任一项所述的3d几何形状测量装置，其中，缺陷像素检测部分将包括在从缺陷像素到对应于检测的缺陷像素的两侧上的条纹的一个周期的距离的范围中的像素检测为缺陷像素。
[0147]
(8)根据(1)至(7)中任一项所述的3d几何形状测量装置，其中，投影部分使用第一波长的光将包括沿第一方向延伸的条纹图案的上述两个或更多投影图像投影到待测量的对象上，并使用第二波长的光将包括沿第二方向延伸的条纹图案的投影图像投影到待测量的对象上。
[0148]
(9)根据(1)至(8)中任一项所述的3d几何形状测量装置，其中，当由缺陷像素检测部分检测的缺陷像素的范围在预定范围之外时，投影部分将包括未沿第一方向或第二方向延伸的条纹图案的投影图像投影到待测量的对象上。
[0149]
(10)根据(1)至(9)中任一项所述的3d几何形状测量装置，其中，当由缺陷像素检测部分基于第一特征量检测的缺陷像素的范围大于标准范围时，投影部分将包括沿第二方向延伸的条纹图案的投影图像投影到待测量的对象上。
[0150]
(11)根据(1)至(10)中任一项所述的3d几何形状测量装置，其中，投影部分将包括
具有不同宽度的正弦亮度分布的条纹图案的投影图像顺序地投影作为包括沿第一方向和第二方向延伸的条纹图案的投影图像。
[0151]
(12)3d几何形状测量方法，包括：
[0152]
投影步骤，顺序地投影包括沿第一方向延伸的条纹图案的两个或更多投影图像，并且将包括沿第二方向延伸的条纹图案的投影图像投影到待测量的对象上；
[0153]
捕获步骤，分别生成包括在投影步骤中投影到待测量的对象上的条纹图案的捕获图像；
[0154]
特征量识别步骤，识别指示包括在捕获图像中的条纹图案的特征量；
[0155]
缺陷像素检测步骤，基于从沿第一方向延伸的条纹图案的捕获图像中识别的第一特征量和从沿第二方向延伸的条纹图案的捕获图像中识别的第二特征量，检测受到多重反射影响的捕获图像中的缺陷像素，第一特征量和第二特征量两者在特征量识别步骤中识别；
[0156]
分析步骤，获得(i)捕获图像缺陷像素的像素和(ii)除了缺陷像素之外的投影图像的像素之间的对应关系；和
[0157]
几何形状识别步骤，基于在分析步骤中获得的对应关系来识别待测量的对象的3d几何形状。
[0158]
《第二实施例》
[0159]
在第一实施例中，说明了缺陷像素检测部分304通过确定由特征量识别部分303识别的特征量是否在预定范围内来检测缺陷像素的情况的示例。然而，本发明不限于这种情况。另一方面，在第二实施例中，将说明基于像素与核线之间的位置关系来检测缺陷像素的情况的示例。
[0160]
[缺陷像素检测的原理]
[0161]
图13和图14示出根据第二实施例的检测缺陷像素的原理。图13指示由一对捕获部分捕获待测量的对象上的测量点mp的情况的示例。在对应于该测量点mp的图13的右的侧捕获部分的捕获图像平面上的像素位置是捕获像素位置a1，在对应于相同测量位置mp的图13的左侧的捕获部分的捕获图像平面上的像素位置是捕获像素位置a2。在这种情况下，捕获像素位置a1和a2具有基于两个捕获部分之间的位置关系的固定关系。投影到左侧的捕获部分的捕获图像平面上的直线是第一核线el1，该直线是从右侧的捕获部分的光学中心o1通过捕获像素位置a1延伸到测量点mp的直线。第一核线el1由斜方向上的虚线指示。由于几何形状限制的性质，捕获像素位置a2在投影到捕获图像上的第一核线el1上的任何位置处。
[0162]
此外，投影到右侧的捕获部分的捕获图像平面上的直线是第二核线el2，该直线是从左侧的捕获部分2的光学中心o2通过捕获像素位置a2延伸到测量点mp的直线。由于几何形状限制的性质，捕获像素位置a1在第二核线el2上的任何位置处。
[0163]
在左侧的捕获图像平面上，可绘制多条第一核线。每条第一核线在一点(即核点ep1)与另一第一核线相交。类似地，在右侧的捕获图像平面上，可绘制多条第二核线。每个第二核线在一点(即核点ep2)与另一第二核线相交。
[0164]
图14示出投影部分1将包括条纹图案的投影图像投影到待测量的对象上、并且捕获部分2捕获投影到待测量的对象上的投影图像的情况的示例。在图14的情况下，当通过假设光束的朝向处于相反朝向而将投影部分1视为捕获部分时，作为投影图像的像素的位置
的投影像素位置a1
′
和捕获像素位置a2处于与图13中相同的对应关系。当投影部分1的光学中心为o1
′
时，投影到捕获部分2的捕获图像平面上的直线是第一核线el1，该直线是从投影部分1的光学中心o1
′
通过投影像素位置a1
′
延伸到测量点mp的直线。
[0165]
捕获像素位置a2在第一核线el1上的任何位置处。另一方面，如果捕获像素位置a2不在第一核线el1上，则在投影像素位置a1
′
与捕获像素位置a2之间的光路等上可能发生多重反射。使用该原理，缺陷像素检测部分502通过比较捕获像素位置a2和第一核线el1的位置来检测缺陷像素。
[0166]
而且，当捕获部分2的光学中心为o2时，投影到投影部分1的投影图像平面上的直线是第二核线el2，该直线是从捕获部分2的光学中心o2通过捕获像素位置a2延伸到测量点mp的直线。投影像素位置a1
′
位于第二核线el2上的任何位置处。另一方面，如果投影像素位置a1
′
不在第二核线el2上，则存在投影像素位置a1
′
的像素是缺陷像素的可能性。使用该原理，缺陷像素检测部分502可通过比较投影像素位置a1
′
和第二核线el2的位置来检测缺陷像素。
[0167]
[根据第二实施例的3d几何形状测量装置200的配置]
[0168]
图15示出根据第二实施例的3d几何形状测量装置200的配置。3d几何形状测量装置200包括投影部分1、捕获部分2、控制部分3和存储器部分4。控制部分3例如是cpu并且通过执行存储在存储器部分4中的程序用作投影控制部分301、获取部分302、线识别部分501、缺陷像素检测部分502、分析部分305和几何形状识别部分306。关于与图3中所示的功能块相同的功能块，使用相同的附图标记并省略相关的描述。
[0169]
投影控制部分301包括与图3的投影控制部分301的功能相同的功能。投影控制部分301控制对于每个像素的投影部分1的接通/断开的电路，因此投影控制部分301能够仅投影投影部分1的像素的一部分。由于存在由多重反射光引起的许多缺陷像素，因此如果与缺陷像素对应的位置的投影图像像素被去除的投影图像是投影缺陷像素，则可防止多重反射光的影响。因此，当缺陷像素检测部分502检测到缺陷像素时，投影控制部分301将通过从原始投影图像(以下称为“第一选择投影图像”)的像素去除由缺陷像素检测部分502检测的缺陷像素产生的投影图像投影到待测量的对象上。
[0170]
可以认为，通过将包括多个像素的投影图像一次投影到待测量的对象上，发生由于多重反射导致的缺陷像素。因此，当缺陷像素检测部分502检测缺陷像素时，投影控制部分301将包括由缺陷像素检测部分502检测的缺陷像素的图像(以下，称为第二选择投影图像)投影到待测量的对象，并且再次执行测量，以减少一次待投影的像素数量。第二选择投影图像例如是由缺陷像素检测部分502检测的缺陷像素组成的投影图像。
[0171]
线识别部分501识别与投影像素图像对应的捕获部分2的第一核线或与捕获像素位置对应的投影部分1的第二核线。捕获部分2的第一核线相对于投影部分1的任何一个投影像素位置的位置是预先确定的。投影像素位置与第一核线之间的关系基于投影部分1与捕获部分2之间的关系唯一地确定，并且不受待测量的对象的位置或尺寸的影响。类似地，投影部分1的第二核线相对于捕获部分2的任何一个捕获像素位置的位置被预先确定。存储器部分4预先存储捕获部分2的第一核线相对于每个投影像素位置的位置以及投影部分1的第二核线相对于捕获部分2的每个捕获像素位置的位置。
[0172]
线识别部分501通过读取存储在存储器部分4中的核线的位置来识别第一核线相
对于投影像素位置以及第二核线相对于捕获像素位置的位置。线识别部分501将与识别的第一核线或第二核线的位置有关的信息发送给缺陷像素检测部分502。
[0173]
分析部分305具有与第一实施例中相似的功能。分析部分305获得作为投影像素的位置的投影像素位置与作为由获取部分302获取的捕获像素的位置的捕获像素位置的对应关系。
[0174]
分析部分305通过分析捕获图像中具有正弦亮度分布的第一方向和第二方向上的图案的渐变，来获得每个捕获像素位置的绝对相位值。绝对相位值i
ap,k
(i,j)由下面的表达式表示，其中i和j分别显示从第二方向上的左边缘开始的第i个像素以及从第一方向上的顶部边缘开始的第j个像素。
[0175][0176]
在上述表达式中，和是条纹图案中的条纹的相位值。此外，mi和mj分别显示从左边缘和顶边缘的条纹数量。与捕获像素位置(i，j)对应的投影像素位置(i
p
,j
p
)可通过以下表达式获得。应该注意的是，pk是与条纹图案中的条纹的一个周期对应的投影部分1的像素的数量。
[0177][0178]
在投影控制部分301投影不包括缺陷像素的第一选择投影图像的情况下，分析部分305例如在再次测量中估计第一选择投影图像的投影像素位置与投影了第一选择投影图像的待测量的对象的捕获图像的捕获像素之间的对应关系。由于缺陷像素可能受到多重反射光的影响，因此投影控制部分301通过投影不包括缺陷像素的第一选择投影图像来防止多重反射光的影响。因此，分析部分305可准确地获得投影像素位置与捕获像素位置之间的对应关系。
[0179]
例如，当投影控制部分301在再次测量期间投影包括缺陷像素的第二选择投影图像时，分析部分305估计第二选择投影图像的投影像素位置和捕获图像的捕获像素位置之间的对应关系。与投影所有投影图像的情况相比，投影控制部分301减少通过投影第二选择投影图像同时投影的像素的数量。分析部分305可通过再次估计缺陷像素检测部分502检测为缺陷像素的像素的对应关系，增加用于识别待测量的对象的3d几何形状的像素的数量。
[0180]
缺陷像素检测部分502基于捕获像素位置与第一核线之间的关系或者投影像素位置与第二核线之间的关系来检测缺陷像素。如果捕获像素位置与对应于与捕获像素位置具有对应关系的投影像素位置对应的第一核线之间的距离大于或等于第一阈值，或者如果投影像素位置与对应于与投影像素位置具有对应关系的捕获像素位置对应的第二核线之间的距离大于或等于第二阈值，则缺陷像素检测部分502将与捕获像素位置或投影像素位置对应的像素检测为缺陷像素。
[0181]
图16显示由缺陷像素检测部分502执行的检测缺陷像素的操作。图16显示当来自投影部分1的投影光被多重反射的情况。多重反射光用虚线表示。来自投影部分1的图像平面上的投影像素位置a1
′
的投影光，作为在待测量的对象上多重反射的多重反射光，到达捕获部分2的图像平面上的捕获像素位置a2。
[0182]
如图14所示，如果投影光在待测量的对象上仅反射一次后到达捕获部分2，则捕获图像位置a2位于与投影像素位置a1
′
相对应的第一核线el1上。另一方面，如图16所示，如果投影光在待测量的对象上多重反射后到达捕获部分2，则捕获图像位置a2不与对应于投影像素位置a1
′
的第一核线el1匹配。在这些情况下，缺陷像素检测部分502确定捕获像素位置a2处的像素是缺陷像素。
[0183]
[捕获部分2的缺陷确定]
[0184]
缺陷像素检测部分502获得线识别部分501识别为与投影像素位置a1
′
相对应的捕获部分2的第一核线的第一核线el1的位置。缺陷像素检测部分502通过比较捕获像素位置a2和第一核线el1的位置，确定到达捕获像素位置a2的投影光是否为多重反射光。更具体地，缺陷像素检测部分502获得捕获像素位置a2与第一核线el1之间的距离d1，并将获得的距离d与第一阈值进行比较。第一阈值是显示投影光在待测量的对象上仅被反射一次后能够达到的捕获像素位置a2之间的距离的值。
[0185]
如果捕获像素位置a2与第一核线el1之间的距离大于或等于第一阈值，则缺陷像素检测部分502将捕获像素位置a2处的像素检测为缺陷像素。此外，缺陷像素检测部分502将投影像素位置a1
′
处的像素检测为缺陷像素。投影像素位置a1
′
是分析部分305估计的与检测到缺陷像素的捕获像素位置a2具有对应关系的位置。缺陷像素检测部分502将与检测的像素的位置有关的信息发送给分析部分305和几何形状识别部分306。另一方面，如果捕获像素位置a2与第一核线el1之间的距离小于或等于第一阈值，则缺陷像素检测部分502不将捕获像素位置a2和投影像素位置a1
′
处的像素检测为缺陷像素。在这种情况下，缺陷像素检测部分502将与捕获像素位置a2与第一核线el1之间的距离d1有关的信息发送给几何形状识别部分306。
[0186]
[投影部分1的缺陷确定]
[0187]
此外，缺陷像素检测部分502获得线识别部分501识别为对应于捕获像素位置a2的投影部分1的第二核线的第二核线el2的位置。缺陷像素检测部分502通过比较投影像素位置a1
′
和第二核线el2的位置来确定来自投影像素位置a1
′
的投影光是否是多重反射光。更具体地，缺陷像素检测部分502获得投影像素位置a1
′
与第二核线el2之间的距离d2，并将获得的距离d2与第二阈值进行比较。第二阈值是显示当投影光是仅在待测量的对象上反射一次的直射光时、具有与捕获像素位置a2的对应关系的投影像素位置a1
′
与对应于捕获像素位置a2的第二核线el2之间的距离的值。
[0188]
如果投影像素位置a1
′
与第二核线el2之间的距离大于或等于第二阈值，则缺陷像素检测部分502将投影像素位置a1
′
处的像素检测为缺陷像素。此外，缺陷像素检测部分502将捕获像素位置a2处的像素检测为缺陷像素。捕获像素位置a2是分析部分305估计具有与检测到缺陷像素的投影像素位置a1
′
的对应关系的位置。缺陷像素检测部分502将与检测的缺陷像素的位置有关的信息发送给分析部分305和几何形状识别部分306。另一方面，如果投影像素位置a1
′
与第二核线el2之间的距离小于或等于第二阈值，则缺陷像素检测部分502不将投影像素位置a1
′
和捕获像素位置a2处的像素检测为缺陷像素。在这种情况下，缺陷像素检测部分502将与投影像素位置a1
′
和第二核线el2之间的距离d2有关的信息发送给几何形状识别部分306。
[0189]
[核点的位置]
[0190]
优选的是，捕获部分2和投影部分1被布置，使得由线识别部分501识别的捕获部分2的多个第一核线在捕获图像中彼此不交叉。此外，优选的是，捕获部分2和投影部分1被布置，使得由线识别部分501识别的投影部分1的多个第二核线在捕获图像中彼此不交叉。图17是用于说明核点的图。由线识别部分501识别的捕获图像平面上的每个第一核线通过核点ep1。而且，由线识别部分501识别的投影图像平面上的每个第二核线通过核点ep2。
[0191]
缺陷像素检测部分502通过将捕获像素位置与捕获图像的第一核线之间的距离与第一阈值进行比较来检测缺陷像素。此外，缺陷像素检测部分502通过将投影像素位置和投影图像的第二核线之间的距离与第二阈值进行比较来检测缺陷像素。但是，如果缺陷像素位于靠近核点ep1或核点ep2的位置，则认为该缺陷像素接近两条核线。因此，存在缺陷像素检测部分502不能检测到在核点ep1或核点ep2附近的位置处的缺陷像素的可能性。因此，优选的是，捕获部分2和投影部分1以这样的方式布置，即，核点ep1和ep2中的每一个位于捕获图像和投影图像以外，使得缺陷像素靠近核线的情况几乎不会发生。
[0192]
[重叠对应关系的检测]
[0193]
当分析部分305估计投影图像的一个投影像素位置对应于由线识别部分501识别的捕获部分2的第一核线上的多个捕获像素位置时，缺陷像素检测部分502将与相同投影像素位置相对应的至少一个像素检测为缺陷像素。图18是用于说明核线上的缺陷像素的检测的图。
[0194]
如图18所示，如果分析部分305估计第一核线上的多个捕获像素位置a2和a3对应于不同投影图像的相同投影像素位置a1
′
，则存在由于来自不同投影图像的相同投影像素位置a1
′
的投影光各自在不同测量点mp1和mp2处反射而发生的多重反射的高度的可能性。因此，缺陷像素检测部分502确定分析部分305是否估计第一核线ep1上的多个捕获像素位置a2和a3对应于不同投影图像的相同投影像素位置a1
′
。当分析部分305估计第一核线el1上的多个捕获像素位置a2和a3对应于不同投影图像的相同投影像素位置a1
′
时，缺陷像素检测部分502将捕获像素位置a2和a3的像素检测为缺陷像素。
[0195]
类似地，缺陷像素检测部分502可确定分析部分305是否估计投影图像的第二核线上的多个投影像素位置对应于不同捕获图像的相同捕获像素位置。如果分析部分305估计由线识别部分501识别的投影部分1的第二核线上的多个投影像素位置对应于不同捕获图像的相同捕获像素位置，则缺陷像素检测部分502将在捕获像素位置和在与捕获像素位置具有对应关系的投影像素位置处的像素检测为缺陷像素。
[0196]
如上所述，缺陷像素检测部分502基于与投影像素位置对应的捕获像素位置和与投影像素位置对应的捕获图像的第一核线之间的距离来检测缺陷像素。因此，如果缺陷像素位于核线上，则存在缺陷像素检测部分502不能检测到缺陷像素的可能性。因此，缺陷像素检测部分502检测分析部分305是否估计出核线上的多个捕获像素位置对应于投影图像的相同投影像素位置，以防止检测缺陷像素的失败。
[0197]
应该注意的是，存在当分析部分305估计不在相同核线上的多个捕获像素位置对应于投影图像的相同投影像素位置时发生的多重反射的可能性。因此，当分析部分305已经估计投影像素的相同投影像素位置对应于多个捕获像素位置时，缺陷像素检测部分502可将与相同投影像素位置对应的多个捕获像素位置处的至少任何一个像素检测为缺陷像素。缺陷像素检测部分502可将与相同投影像素位置相对应的多个捕获像素位置处的所有像素
检测为缺陷像素，并且可将这些捕获像素位置处的一些像素检测为缺陷像素。
[0198]
[使用水平图案检测缺陷像素]
[0199]
优选的是，缺陷像素检测部分304通过使用如图2a所示的水平图案和图2b所示的垂直图案来检测缺陷像素。例如，如果当缺陷像素检测部分304使用投影图像被投影的待测量的对象的捕获图像上的沿第一方向延伸的垂直图案执行测量时、缺陷像素检测部分304未检测到缺陷像素，则缺陷像素检测部分304使用投影图像被投影的待测量的对象的捕获图像上的沿与第一方向正交的第二方向延伸的条纹图案执行测量。与将相同投影图像投影到待测量的对象(诸如没有发生多重反射的平面)上的情况相比，当沿第二方向延伸的条纹图案的相位或者像素之间的相位变化量不同于标准值时，缺陷像素检测部分304将相位或相位变化量不同的像素检测为缺陷像素。图19a和图19b各自是用于说明当沿第二方向延伸的条纹图案被投影时由缺陷像素检测部分304检测缺陷像素的方法的图。
[0200]
图19a显示当投影控制部分301将沿第二方向延伸的条纹图案(水平图案)投影到待测量的对象(诸如没有发生多重反射的平面)时的捕获图像。图19b显示当待测量的另一对象放置在执行测量的位置时投影控制部分301投影与如图19a相同的条纹图案时的捕获图像。在图19a和图19b中显示的条纹图案具有正弦亮度分布。在图19b中，由箭头显示的部分区域中的亮度分布的相位已从图19a的状态改变。
[0201]
如果投影控制部分301投影包括沿第二方向延伸的条纹图案的投影图像，则与沿第一方向延伸的条纹图案相比，相位不趋于由于待测量的对象而改变，这是因为条纹图案的相位由于待测量的对象的存在而改变的方向与捕获部分2的光轴的方向匹配。因此，如果当投影控制部分301投影包括沿第二方向延伸的条纹图案的投影图像时捕获图像中的像素的相位改变，则该改变是由多重反射光引起的可能性高。因此，当投影控制部分301投影沿第二方向延伸的条纹图案时，缺陷像素检测部分304可通过在捕获图像中的像素之中检测相位改变超过标准值的像素作为缺陷像素，来改善精确度。标准值是显示由于待测量的对象的3d几何形状、外部光等的影响而可能发生的相位变化量的值。
[0202]
[捕获像素位置和投影像素位置之间的对应关系的修改]
[0203]
缺陷像素检测部分502可指示分析部分305修改由分析部分305估计的对应关系。例如，当缺陷像素检测部分502检测到(i)分析部分305估计的具有与投影像素位置的对应关系的捕获像素位置和(ii)与该投影像素对应的第一核线之间的距离小于或等于第一阈值时，缺陷像素检测部分502指示分析部分305估计最接近捕获像素位置的第一核线上的位置和投影像素位置彼此具有对应关系。图20是用于说明用于由缺陷像素检测部分502修改对应关系的方法的图。
[0204]
在图20中假设(i)分析部分305估计与投影像素位置a1
′
具有对应关系的捕获像素位置a4与(ii)与投影像素位置a1
′
对应的第一核线el1之间的距离d3小于或等于第一阈值。在这种情况下，缺陷像素检测部分502指示分析部分305估计在第一核线上最接近捕获像素位置a4的捕获像素位置b与投影像素位置a1
′
具有对应关系。在这种情况下，缺陷像素检测部分502使分析部分305忽略投影像素位置a1
′
和捕获像素位置a4彼此具有对应关系的原始估计结果。
[0205]
由于外部光等的影响，投影像素位置与捕获像素位置之间的对应关系的估计倾向于具有测量误差。另一方面，可预先测量捕获像素位置与捕获部分2的第一核线之间的对应
关系，因此测量结果的可靠性相当高。因此，通过修改由分析部分305估计的对应关系使得该捕获像素位置被改变为在核线上，当分析部分305估计为与投影像素位置a1
′
具有对应关系的捕获像素位置a4与核线偏差距离d3时，分析部分305可降低由于外部光等的影响而引起的测量误差。
[0206]
类似地，例如，当缺陷像素检测部分502检测到(i)分析部分305估计与捕获像素位置具有对应关系的投影像素位置与(ii)与此捕获像素对应的第二核线之间的距离小于或等于第二阈值时，缺陷像素检测部分502可指示分析部分305估计基于该投影像素位置的位置和捕获像素位置在第二核线上彼此具有对应关系。例如，缺陷像素检测部分502可指示分析部分305估计与第二核线上的投影像素位置最接近的位置与捕获像素位置具有对应关系。
[0207]
类似于第一实施例，几何形状识别部分306基于由分析部分305获得的捕获像素位置和投影像素位置之间的对应关系，获得待测量的对象的3d几何形状。几何形状识别部分306获得由缺陷像素检测部分502检测的缺陷像素的位置，并且在从由分析部分305获得的多个对应关系中去除由缺陷像素检测部分304检测的缺陷像素的对应关系之后，基于该对应关系来识别3d几何形状。
[0208]
[3d几何形状测量装置200的处理过程]
[0209]
图21显示根据第二实施例的3d几何形状测量装置200的示例性操作。该处理过程当例如用户通过使用未示出的操作键给出用3d几何形状测量装置200测量待测量的对象的指令时开始。因为步骤s101至s105的处理过程与图12的步骤s101至s105的处理过程相同，所以没有说明步骤s101至s105的处理过程。
[0210]
分析部分305获得显示捕获图像中的像素的位置的捕获像素位置与显示投影图像中的像素的位置的投影像素位置之间的对应关系。此外，分析部分305通过使用在步骤s105中获得的渐变条纹图案的渐变信息的分析结果，获得捕获像素位置与投影像素位置之间的对应关系。分析部分305通过从由对渐变信息的分析结果获得的对应关系中选择与通过使用码值估计的对应关系最接近的对应关系，估计捕获像素位置与投影像素位置之间的对应关系(s201)。线识别部分501识别与投影像素位置对应的捕获部分2的第一核线(s202)。
[0211]
缺陷像素检测部分502获得分析部分305估计与投影像素位置具有对应关系的捕获像素位置a2与对应于该投影像素位置的捕获图像的第一核线之间的距离，并将所获得的距离与第一阈值进行比较。如果捕获像素位置与第一核线之间的距离大于或等于第一阈值，则缺陷像素检测部分502将捕获像素位置a2处的像素检测为缺陷像素。缺陷像素检测部分502将由分析部分305估计的每个对应关系的捕获像素位置与第一核线之间的距离与第一阈值进行比较，并将与捕获像素位置的距离大于或等于第一阈值的像素检测为缺陷像素(s203)。几何形状识别部分306基于除由缺陷像素检测部分304检测的缺陷像素以外的像素的对应关系来识别待测量的对象的3d几何形状，并且结束处理(s204)。
[0212]
根据本实施例，缺陷像素检测部分304基于捕获像素位置与第一核线之间的位置关系或者投影像素位置与第二核线之间的位置关系来检测缺陷像素。因为核线的位置由捕获部分2和投影部分1的布置来指定，所以可以预先测量核线的位置。因此，3d几何形状测量装置可通过使用核线检测缺陷像素来简化检测缺陷像素的处理。
[0213]
应该注意的是，在本实施例中，说明了投影控制部分301投影包括沿第一方向延伸
的条纹图案的投影图像和包括沿第二方向延伸的条纹图案的投影图像、并且第一方向和第二方向彼此正交的示例。但是，本发明不限于此。例如，第一方向和第二方向可以近似彼此正交。第一方向可以是任意的，只要其不同于与图2b所示的角度相对应的方向即可。第二方向可以是与第一方向不同的任何方向。
[0214]
[第三实施例]
[0215]
在第一和第二实施例中，投影控制部分301将用于空间编码方法和相移方法的投影图案投影为水平方向和垂直方向上的投影图案。也就是说，投影控制部分301将具有沿第一方向延伸的条纹图案的投影图像和具有沿第二方向延伸的条纹图案的投影图像投影为呈现正弦亮度分布的条纹图案。此外，投影控制部分301将具有沿第一方向延伸的条纹图案的投影图像和具有沿第二方向延伸的条纹图案的投影图像投影为具有两个值的条纹图案。
[0216]
然而，本发明不限于此。例如，投影控制部分301也可针对投影图案的沿水平方向仅投影相移方法的投影图案。在这种情况下，投影控制部分301将具有呈现正弦亮度分布的条纹图案的投影图像投影为沿第二方向延伸的条纹图案，并且不将具有包含两个值的条纹图案的投影图像投影到待测量的对象上。
[0217]
当投影控制部分301沿水平方向投影投影图案时，分析部分305获得相位值i
rp,2
(i,j)。在这种情况下，沿水平方向上的投影图案的绝对相位值可表示为
[0218]iap,2
＝2πm i
rp,2
(i,j)(等式a),
[0219]
并且可考虑多个候选。存在具有与捕获像素位置的对应关系的投影像素位置的多个候选，如以下所示的等式中所示：
[0220][0221]
其中i
p
和j
p
(m)分别示出在第二方向上从左边缘开始的第i
p
个像素和在第一方向上从顶部边缘开始的第j
p
(m)个像素。
[0222]
分析部分305估计在作为捕获图像的条纹图案中呈现相同相位的亮度的像素的投影像素位置中的、最接近对应于捕获像素位置的投影部分1的第二核线的投影像素位置具有与捕获像素位置的对应关系。图22是用于说明由第三实施例的分析部分305估计捕获像素位置与投影像素位置之间的对应关系的方法的图。图22中的多个黑色圆分别示出呈现与捕获像素位置处的像素相同相位的多个投影像素。
[0223]
分析部分305通过分析捕获图像中的渐变条纹图案的渐变信息来识别呈现与捕获像素位置处的像素相同相位的投影像素。如图22中的黑色圆所示，存在呈现与捕获像素位置的像素具有相同相位的亮度的多个投影像素。因此，分析部分305获得这些像素的投影像素位置作为与捕获像素位置具有对应关系的投影像素位置的候选。在这些候选中，分析部分305估计最接近对应于捕获像素位置的第二核线的候选具有与捕获像素位置的对应关系。
[0224]
分析部分305通过选择与对应投影部分的第二核线最接近的像素相对应的mc作为等式b中m的值估计与捕获像素位置具有对应关系的投影像素位置(i
p
,j
p
(mc))，如以下等式所示：
[0225]
[0226]
由于分析部分305通过使用具有这种配置的核线来估计与捕获像素位置具有对应关系的投影像素位置，因此分析部分305可减少投影控制部分301投影到待测量的对象上的投影图像的数量。结果，分析部分305可缩短测量时间。
[0227]
沿第二方向延伸的条纹图案不会导致相位取决于待测量的对象的存在而显著改变。因此，例如，当包括沿第二方向延伸的条纹图案的投影图像被投影到平板时，预先测量沿捕获图像的第二方向延伸的条纹的位置，能够识别沿捕获图像的方向延伸的条纹图案的大致位置。上述等式a和b中的整数m的值(或近似值)可以通过使用示出沿第二方向延伸的条纹的位置的信息在测量待测量的对象之前获得。通过这样做，可以简化在测量待测量的实际对象时的处理。
[0228]
应注意的是，说明了由分析部分305估计最接近对应于捕获像素位置的投影部分1的第二核线的像素是在呈现与条纹图案中的捕获像素位置相同相位的亮度的投影像素位置的像素之中的具有与捕获像素位置处的像素的对应关系的像素的情况的示例。然而，本发明不限于此。投影投影说明投影投影例如，分析部分305可针对与条纹图案中的捕获像素位置具有相同相位值的多个投影像素位置，在各个捕获图像上获得多条第一核线，并且可估计对应于最接近捕获像素位置的第一核线的投影像素位置与捕获像素位置具有对应关系。
[0229]
此外，投影控制部分301可投影沿第二方向延伸的条纹图案的周期彼此不同的投影图像，并且分析部分305可针对每个投影图像估计捕获像素位置与投影像素位置之间的对应关系。在这种情况下，如果分析部分305针对每个投影图像估计捕获像素位置和投影像素位置之间的对应关系，则缺陷像素检测部分502将捕获像素位置和投影像素位置处的由分析部分305估计的对应关系已经改变的像素检测为缺陷像素。
[0230]
此外，3d几何形状测量装置可具有包括多个捕获部分或多个投影部分的配置。即使当3d几何形状测量装置包括多个捕获部分或多个投影部分时，如果指定了一对捕获部分和投影部分，则唯一地确定与特定捕获像素位置对应的投影像素的核线。因此，缺陷像素检测部分502可基于捕获像素位置与第一核线之间的位置关系或者投影像素位置与第二核线之间的位置关系来检测缺陷像素，类似于3d几何形状测量装置具有一个捕获部分和一个投影部分的配置。
[0231]
另外，如果使用一个投影部分和多个捕获部分，则可通过获得一对捕获部分之间的彼此对应的像素来获得3d几何形状。在这种情况下，可通过根据第一至第三实施例去除由缺陷像素检测部分识别的缺陷像素，来获得待测量的对象的3d几何形状。
[0232]
另外，在第二实施例中，说明了缺陷像素检测部分502基于投影像素位置和投影部分的投影图像平面上的第二核线之间的距离来检测缺陷像素的情况的示例。此外，说明了缺陷像素检测部分502基于捕获像素位置与捕获部分的捕获像面上的第一核线之间的距离来检测缺陷像素的情况的示例。然而，本发明不限于检测缺陷像素的配置。例如，3d几何形状测量装置可包括确定部分，基于(i)捕获像素位置与第一核线之间的距离或(ii)投影像素位置与第二核线之间的距离的统计量来执行各种确定。
[0233]
当捕获像素位置与第一核线之间的距离的统计量超过允许值时，确定部分确定投影部分1和捕获部分2的对齐状态不合适。例如，对于随机选择的多个投影像素位置，确定部分获得(i)分析部分305估计具有与投影像素位置的对应关系的捕获像素位置和(ii)与该
投影像素位置对应的第一核线之间的各个距离，并计算所获得的距离的平各自值。当计算的平各自值超过允许值时，确定部分可自我诊断投影部分1和捕获部分2的光轴等的朝向的对齐状态不合适。在这种情况下，确定部分可在显示部分(未示出)上显示存储在存储部件4中的消息，该消息指示对应于捕获像素位置和投影像素位置的每一个的核线的位置等的校准需要做出。将期望的测量精确度纳入考虑范围内，合适的允许值由本领域技术人员指定。
[0234]
类似地，当投影像素位置和第二核线之间的距离的统计量超过允许值时，确定部分确定投影部分1和捕获部分2的对齐状态不合适。针对随机选择的多个捕获像素位置，确定部分获得(i)分析部分305估计具有与捕获像素位置的对应关系的投影像素位置和(ii)与该捕获像素位置对应的第二核线之间的各个距离，并计算所获得的距离的平各自值。当计算的平各自值超过允许值时，确定部分可自我诊断投影部分1和捕获部分2的光轴等的朝向的对齐状态不合适。在这种情况下，确定部分可在显示部分(未示出)上显示存储在存储器部分4中的消息，该消息指示对应于捕获像素位置和投影像素位置的每个的核线的位置等的校准需要做出。
[0235]
基于示例性实施例说明本发明。本发明的技术范围不限于在上述实施例中说明的范围，并且可在本发明的范围内进行各种改变和修改。例如，装置的分布和整合的具体实施例不限于上述实施例，其全部或部分可以配置有功能上或物理上分散或集成的任何单元。此外，通过它们的任意组合生成的新的示例性实施例被包括在本发明的示例性实施例中。此外，由这些组合带来的新的示例性实施例的效果也具有原始示例性实施例的效果。
[0236]
[附图标记的描述]
[0237]
1 投影部分
[0238]
2 捕获部分
[0239]
3 控制部分
[0240]
4 存储器部分
[0241]
21 镜头
[0242]
22 成像元件
[0243]
100，200 三维几何形状测量装置
[0244]
301 投影控制部分
[0245]
302 获取部分
[0246]
303 特征量识别部分
[0247]
304，502 缺陷像素检测部分
[0248]
305 分析部分
[0249]
306 几何形状识别部分
[0250]
501 线识别部分