三维测量系统及三维测量方法与流程

1.本发明涉及使用图像的三维测量。


背景技术：

2.作为使用图像进行对象物的三维测量的方法，已知主动测量。在主动测量中，在向对象物投射了图案光的状态下进行拍摄，根据所得到的图像上的图案的位置，使用三角测量的原理求出对象物的三维信息(例如各像素的深度信息)。
3.在非专利文献1中公开了如下方法：将进行了空间编码的图案(称为“空间编码图案”)投射到对象物表面来进行拍摄，对图像中出现的图案进行解码，由此求出深度信息。该方法能够进行高速且高精度的测量，但由于利用多个像素来计算深度值，因此存在空间分辨率低这样的课题。
4.另一方面，作为空间分辨率高的方法，已知使用从不同的视点拍摄到的2个图像来测量对象物的三维形状的所谓立体匹配(也称为立体照相机方式)。图23表示立体匹配的原理。在立体匹配中，例如用左右配置的2台照相机同时拍摄对象物o，得到2张图像。将一方设为基准图像i1，将另一方设为比较图像i2，沿着比较图像i2中的核线e搜索图像特征与基准图像i1中的像素(基准点p1)最接近的像素(对应点p2)，求出基准点p1与对应点p2之间的坐标之差(视差)。由于各照相机的几何学的位置是已知的，所以根据三角测量的原理，能够根据视差计算进深方向的距离d(深度)，能够复原对象物o的三维形状。
5.现有技术文献
6.非专利文献
7.非专利文献1：p.vuylsteke and a.oosterlinck，range image acquisition with a single binary
‑
encoded light pattern，ieee pami 12(2)，pp.148
‑
164，1990.


技术实现要素：

8.发明所要解决的课题
9.立体匹配具有如下特性：通过使用高分辨率的照相机，能够实现测量精度的提高，并且能够提高测量点(找到对应点，成功取得距离信息的像素)的数量以及空间分辨率。但是，在其反面存在如下缺点：从照相机取入的输入图像的像素数越多，则对应点的搜索越需要时间，测量时间显著增大。
10.本发明是鉴于上述实际情况而完成的，其目的在于提供一种用于在基于立体匹配的测量中兼顾高精度和高速的处理的技术。
11.用于解决课题的手段
12.本发明的一个方面提供一种三维测量系统，其特征在于，具备：投光装置，其向对象物投射图案光；第一照相机，其拍摄所述对象物；第二照相机，其以与所述第一照相机不同的视点拍摄所述对象物；以及图像处理装置，其通过对从所述第一照相机得到的第一图像以及从所述第二照相机得到的第二图像进行处理，取得所述对象物的三维信息，所述图
像处理装置具有：第一测量单元，其使用所述第一图像，通过空间编码图案方式取得第一深度信息；设定单元，其基于根据所述第一深度信息预测的所述第一图像和所述第二图像之间的视差来设定立体匹配中的对应点的搜索范围；以及第二测量单元，其通过使用所述第一图像和所述第二图像进行限定在所设定的所述搜索范围内的立体匹配，取得空间分辨率比第一深度信息高的第二深度信息，所述图案光具有合成图案，该合成图案是将作为与1个深度值对应的区域的单位要素规则地配置而成的空间编码图案和多个随机片不规则地配置而成的随机图案合成而得到的。
13.在以往的一般的立体匹配中，由于从比较图像的整体进行对应点的搜索，所以若使用高分辨率的图像，则不可避免地处理时间变长。与此相对，在上述结构中，基于预测出的视差来限定对应点的搜索范围。由此，能够显著缩小搜索范围，因此能够大幅缩短对应点的搜索所需的时间。另外，由于使用合成了随机图案的图案光，所以对象物表面的明暗分布的复杂度(图像特征的多样性)增加。由此，能够提高立体匹配、即对应点搜索的成功率以及精度。因此，根据本系统，能够高速且高精度地进行空间分辨率高的三维测量。
14.也可以是，在设所述单位要素的面积为s1，附加在所述单位要素的区域内的随机片的总面积为s2时，所述合成图案满足
15.0.02<s2/s1<0.12。
16.通过设定为该范围，能够实现取得了立体匹配的成功率与处理时间的平衡的处理。
17.也可以是所述合成图案满足
18.0.04<s2/s1<0.1。
19.通过设定为该范围，能够期待能够使立体匹配的精度和速度实质上最大化。
20.也可以是，所述单位要素包含1个以上的表示该单位要素的值的构造，所述随机片附加于所述单位要素中的配置有所述构造的区域以外的区域。根据这样的配置，能够减小随机片对图案解码造成不良影响的可能性。
21.也可以是，所述单位要素包含1个以上的表示该单位要素的值的构造，所述随机片以能够与所述构造区别开的亮度或颜色附加于所述单位要素中的配置有所述构造的区域。通过以能够用亮度或颜色区别开的方式附加随机片，也能够在构造上重叠随机片。由此，能够附加随机片的位置的自由度增加，因此能够进行各种方式的与空间编码图案的组合。
22.也可以是，在设所述构造的最小面积为s3，所述随机片的最大面积为s4时，所述合成图案满足
23.s4<s3/2。
24.如果随机片的尺寸比构造的尺寸的一半小，则即使在构造上重叠了随机片，也不会使空间编码图案的构造变化，所以能够维持图案的解码率。
25.也可以是，所述投光装置和所述第一照相机被设定为使得所述单位要素在所述第一照相机的拍摄元件上成像为3像素
×
3像素以上的尺寸。这是因为，若单位要素的一边小于3像素，则单位要素内的构造无法分辨，图案的解码率可能会降低。
26.也可以是，所述投光装置、所述第一照相机以及所述第二照相机被设定为使得所述构造在所述第一照相机以及所述第二照相机各自的拍摄元件上成像为3/2像素
×
3/2像素以上的尺寸。这是因为，若构造的一边小于3/2像素，则构造无法很好地分辨，图案的解码
率有可能降低。
27.也可以是，所述投光装置、所述第一照相机以及所述第二照相机被设定为使得所述随机片在所述第一照相机以及所述第二照相机各自的拍摄元件上成像为1/4像素
×
1/4像素以上的尺寸。通过这样设定随机片的最小尺寸，能够确保随机图案的效果。
28.本发明的一个方面提供一种三维测量方法，其特征在于，具有如下步骤：向对象物投射图案光；从不同的视点拍摄所述对象物，取得第一图像和第二图像；使用所述第一图像，通过空间编码图案方式取得第一深度信息；基于根据所述第一深度信息预测的所述第一图像和所述第二图像之间的视差，设定立体匹配中的对应点的搜索范围；以及通过使用所述第一图像和所述第二图像进行限定在所设定的所述搜索范围内的立体匹配，取得空间分辨率比所述第一深度信息高的第二深度信息，所述图案光具有合成图案，该合成图案是将作为与1个深度值对应的区域的单位要素规则地配置而成的空间编码图案和多个随机片不规则地配置而成的随机图案合成而得到的。
29.本发明也可以理解为具有上述单元的至少一部分的图像处理装置或三维测量系统。另外，本发明可以理解为包括上述处理的至少一部分的图像处理方法、三维测量方法、测距方法、图像处理装置的控制方法、三维测量系统的控制方法等，或者也可以理解为用于实现该方法的程序、非暂时性地记录有该程序的记录介质。此外，上述单元以及处理的各个能够尽可能地相互组合而构成本发明。
30.发明效果
31.根据本发明，在基于立体匹配的测量中，能够兼顾高精度和高速的处理。
附图说明
32.图1是示意性地表示作为本发明的应用例之一的三维测量系统的结构例的图。
33.图2是示意性地表示三维测量系统的功能以及处理的概要的图。
34.图3是表示对空间编码图案和随机图案进行合成得到的合成图案的例子的图。
35.图4是表示构成空间编码图案的单位要素的例子的图。
36.图5是表示改变了随机图案的附加量的情况下的、低对比度条件下的立体匹配的成功率的变化的图。
37.图6是表示合成随机图案得到的单位要素的例子的图。
38.图7的(a)以及图7的(b)是表示将图6的单位要素投射到对象物并在低对比度条件下拍摄的情况下得到的图像的模拟的图。
39.图8是表示改变了随机图案的附加量的情况下的、低对比度条件下的空间编码图案方式的图案解码的成功率的变化的图。
40.图9的(a)～(c)是表示白色的随机片与黑色的构造重叠的例子的图。
41.图10是表示随机图案的对比度最小的情况的图。
42.图11的(a)以及图11的(b)是表示合成图案的其他例子的图。
43.图12的(a)～图12的(d)是表示合成图案的其他例子的图。
44.图13的(a)～图13的(d)是表示合成图案的其他例子的图。
45.图14的(a)～图14的(d)是表示合成图案的其他例子的图。
46.图15的(a)以及图15的(b)是表示合成图案的其他例子的图。
47.图16的(a)以及图16的(b)是表示合成图案的其他例子的图。
48.图17是本发明的实施方式的三维测量系统的功能框图。
49.图18是表示图案投光部的结构例的图。
50.图19是表示测量处理的流程的流程图。
51.图20是表示图案投光部的其他结构例的图。
52.图21是表示图案投光部的其他结构例的图。
53.图22是表示图案投光部的其他结构例的图。
54.图23是说明立体匹配的原理的图。
具体实施方式
55.<应用例>
56.图1是示意性地表示作为本发明的应用例之一的三维测量系统的结构例的图。三维测量系统1是用于通过图像传感来测量对象物12的三维形状的系统，大致由传感器单元10和图像处理装置11构成。传感器单元10至少具备投射图案光的投光装置和1个以上的照相机(也称为图像传感器或拍摄装置)，根据需要有时也具备其他传感器、照明。传感器单元10的输出被取入到图像处理装置11。图像处理装置11是使用从传感器单元10取入的数据进行各种处理的设备。作为图像处理装置11的处理，例如也可以包括距离测量(测距)、三维形状识别、物体识别、场景识别等。图像处理装置11的处理结果例如被输出到显示器等输出装置，或者被传送到外部而用于检查、其他装置的控制等。这样的三维测量系统1例如应用于以计算机视觉、机器人视觉、机械视觉为代表的广泛的领域。
57.图1的结构只不过是一例，根据三维测量系统1的用途适当设计其硬件结构即可。例如，传感器单元10和图像处理装置11可以无线连接，传感器单元10和图像处理装置11也可以由一体的装置构成。另外，也可以将传感器单元10和图像处理装置11经由lan或因特网等广域网连接。另外，也可以对1个图像处理装置11设置多个传感器单元10，相反，也可以将1个传感器单元10的输出提供给多个图像处理装置11。并且，也可以将传感器单元10安装于机器人、移动体等而使传感器单元10的视点能够移动。
58.图2是示意性地表示三维测量系统1的功能以及处理的概要的图。三维测量系统1具备第一测量系统21和第二测量系统22这2个作为用于测量对象物12的距离的测量系统。各测量系统21、22的功能以及处理是传感器单元10与图像处理装置11协作来实现的。
59.第一测量系统21是通过空间编码图案方式测量到对象物12的进深距离(深度)的第一测距单元。第二测量系统22是通过立体匹配(也称为立体照相机方式)测量到对象物12的进深距离(深度)的第二测距单元。在第一测量系统21和第二测量系统22中使用相同的照相机(即，相同分辨率的图像)的情况下，与通过空间编码图案方式得到的距离信息(第一深度信息)相比，通过立体匹配得到的距离信息(第二深度信息)的空间分辨率更高。因此，本系统1以大致预测由第二测量系统22观测的视差而缩小立体匹配中的搜索范围为目的，辅助性地利用由第一测量系统21得到的距离信息，将由第二测量系统22生成的距离信息作为最终的输出。
60.接着，参照图2和图3，对三维测量系统1的测量处理的大致流程进行说明。
61.(1)传感器单元10从投光装置向对象物12投射图案光。如图3所示，在本系统1中，
使用合成空间编码图案30和随机图案31得到的合成图案32。空间编码图案30是用于基于空间编码图案方式的距离测量的图案，规则地配置有规定尺寸的单位要素300。单位要素300是与1个深度值对应的最小区域。随机图案31是不规则地配置有多个小片(称为随机片)的图案。
62.(2)传感器单元10拍摄被投射了图案光的对象物12，取得由2张图像(称为第一图像、第二图像)构成的立体图像对。该2张图像是以产生对于对象物12的视差的方式从不同的视点(视线方向)拍摄对象物12而得到的图像。在传感器单元10具备多个照相机的情况下，也可以用2台照相机同时拍摄第一图像和第二图像。或者，也可以通过一边使照相机移动一边连续地进行拍摄，利用单一的照相机取得第一图像和第二图像。
63.(3)第一测量系统21使用第一图像，通过空间编码图案方式取得对象物12的第一深度信息。第一测量系统21基于第一深度信息来预测第一图像和第二图像之间的视差，并且输出所预测的视差的二维空间分布作为视差图。在本说明书中，为了与在第二测量系统22的立体匹配中生成的视差图进行区分，将在第一测量系统21中生成的视差图称为“参考视差图”。第一深度信息和参考视差图的空间分辨率依赖于空间编码图案30的单位要素300的尺寸而决定。例如，在单位要素300在第一图像中成为4像素
×
4像素的尺寸的情况下，第一深度信息和参考视差图的空间分辨率成为第一图像的分辨率的1/4。
64.(4)第二测量系统22使用从第一测量系统21取得的参考视差图来设置立体匹配中的对应点的搜索范围。由于无法避免预测视差包含一定程度的误差，所以对应点的搜索范围可以设定为包含该误差范围。例如，当预测视差的值是d[像素]并且误差是
±
derr[像素]时，可以将搜索范围设置为d
‑
derr
‑
c到d derr c。c是余量。另外，也可以对图像内的所有像素单独地设定搜索范围，在图像内的局部视差的变化不大的情况下等，也可以将图像分割为多个区域而以区域为单位设定搜索范围。
[0065]
(5)第二测量系统22从所设定的搜索范围中搜索第一图像与第二图像之间的各像素的对应点。例如，在将第一图像设为基准图像、将第二图像设为比较图像的情况下，选择第二图像中的图像特征最接近第一图像中的像素(基准点)的像素作为对应点，求出基准点与对应点的坐标之差作为该基准点处的视差。对第一图像中的所有像素进行对应点的搜索，根据该搜索结果生成视差图。视差图是视差信息与各像素的坐标相关联的数据。
[0066]
(6)第二测量系统22使用三角测量原理将视差图的视差信息变换为距离信息，并且生成深度图(第二深度信息)。由第二测量系统22获得的第二深度信息的空间分辨率由第一图像和第二图像的分辨率确定。因此，与第一测量系统21相比，能够得到空间分辨率高的深度信息。
[0067]
在以往的一般的立体匹配中，由于从比较图像的整体进行对应点的搜索，所以若使用高分辨率的图像，则不可避免地处理时间变长。与此相对，在上述结构中，基于预测出的视差来限定对应点的搜索范围。由此，能够显著缩小搜索范围，因此能够大幅缩短对应点的搜索所需的时间。另外，由于使用合成随机图案得到的图案光，所以对象物表面的明暗分布的复杂度(图像特征的多样性)增加。由此，能够提高立体匹配、即对应点搜索的成功率以及精度。因此，根据本系统1，能够高速且高精度地进行空间分辨率高的三维测量。
[0068]
<图案光的说明>
[0069]
接着，对图3的合成图案32进行详细说明。合成图案32是对作为基础的空间编码图
案30重叠(合成)随机图案31得到的图案。可以从1个投光装置投射合成图案32，也可以从2个投光装置分别投射空间编码图案30和随机图案31，在对象物表面上重叠2个图案30、31。在图3等中以黑白描绘了图案，白色的部分表示明部(照射光的区域)，黑色的部分表示暗部(不照射光的区域)。另外，图案不需要是黑白(明暗)的二值，也可以是多值的图案。
[0070]
(空间编码图案)
[0071]
图4表示构成空间编码图案30的单位要素300的例子。单位要素300是与1个深度值对应的最小区域，也被称为“图元”。图4所示的单位要素300具有在被称为“网格(grid)”的2
×
2的格子的中央配置有被称为“位(bit)”的矩形的构造。由于网格的种类为2个，位的种类为2个，所以通过网格和位的组合，单位要素300能够取4种值。
[0072]
(随机图案)
[0073]
随机图案31是不规则地配置有多个随机片的图案。“不规则配置”既可以是完全没有规则性也没有再现性的完全随机的配置，也可以是使用伪随机数决定的配置。各随机片由1个点(像素)或连续的多个点(像素)构成，其形状和尺寸可以是固定的也可以是可变的，另外可以是1种也可以是多种。可以在单位要素300的区域内附加1个以上的随机片，各随机片可以具有能够与单位要素300内的构造(位、网格)区别的亮度或颜色。在图3的例子中，以随机片与单位要素300内的构造的明暗(黑白)反转的方式设定各随机片的亮度。
[0074]
通过附加随机图案31，与仅投射空间编码图案30的情况相比，能够期待立体匹配的成功率以及精度的提高。这是因为，若只有空间编码图案30，则由于在对象物表面上呈现的明暗分布具有规则性，因此在对应点搜索中选择不正确的对应点的可能性高，与此相对，当通过附加随机图案31而明暗分布的复杂度(图像特征的多样性)增加时，容易检测到正确的对应点。特别是在对象物表面的图像特征变得不清楚的低对比度条件下，该效果显著。
[0075]
(随机图案的附加量)
[0076]
图5表示改变了随机图案的附加量的情况下的、低对比度条件下的立体匹配的成功率的变化。横轴是随机图案31相对于空间编码图案30的比例，纵轴是立体匹配的成功率(对应点搜索的成功率)。
[0077]
在本说明书中，用指标s2/s1表示随机图案31相对于空间编码图案30的比例。这里，s1是空间编码图案30的单位要素300的面积，s2是单位要素300的区域内附加的随机片的合计面积。若为图6的例子，则单位要素300由64像素(8像素
×
8像素)的正方形构成，其中附加有4个随机片60(3个1像素的随机片和1个3像素的随机片)，因此s1＝64，s2＝6，s2/s1＝0.09375。
[0078]
图5的曲线50是设定为单位要素300在照相机的拍摄元件上成像为4像素
×
4像素的尺寸的情况下的实验结果，曲线51是设定为单位要素300在拍摄元件上成像为10像素
×
10像素的尺寸的情况下的实验结果。单位元件300的成像尺寸能够通过调整投光装置的投射倍率、照相机的镜头倍率、投光装置、照相机的配置(距对象物的距离)等而任意地设定。图7的(a)以及图7的(b)是将图6的单位要素300投射于对象物并在低对比度条件下进行拍摄的情况下得到的图像的模拟。图7的(a)是4像素
×
4像素的成像尺寸的图像，图7的(b)是10像素
×
10像素的成像尺寸的图像。
[0079]
从图5的曲线50、51可知，在未附加随机图案的情况下(s2/s1＝0)，立体匹配的成功率最低，随机图案的附加量越增加，立体匹配的成功率越上升。根据本发明人等的实验，
随机图案的附加量s2/s1优选大于0.02，更优选大于0.04。
[0080]
图8表示改变了随机图案的附加量的情况下的、低对比度条件下的空间编码图案方式的图案解码的成功率的变化。横轴是随机图案31相对于空间编码图案30的比例，纵轴是图案解码的成功率。图8的曲线80是设定为单位要素300在照相机的拍摄元件上成像为4像素
×
4像素的尺寸的情况下的实验结果，曲线81是设定为单位要素300在拍摄元件上成像为10像素
×
10像素的尺寸的情况下的实验结果。
[0081]
从图8的曲线80、81可知，在未附加随机图案的情况下(s2/s1＝0)，图案解码的成功率最高，如果随机图案的附加量超过某个阈值，则图案解码的成功率急剧降低。如果图案解码的成功率低，则能够计算深度的点，即能够预测视差的点的数量变少。这样，在立体匹配中，能够限定对应点搜索的范围的部位变少，作为其结果，立体匹配的处理时间增大。根据本发明人等的实验，随机图案的附加量s2/s1优选小于0.12，更优选小于0.1。
[0082]
根据以上内容，随机图案的附加量s2/s1优选至少满足：
[0083]
0.02<s2/s1<0.12。
[0084]
通过设定为该范围，能够实现取得了立体匹配的成功率与处理时间的平衡的处理。
[0085]
进而，随机图案的附加量s2/s1更优选为：
[0086]
0.04<s2/s1<0.1。
[0087]
通过设定为该范围，能够使立体匹配的成功率和图案解码的成功率双方实质上最大化。即，能够使立体匹配的精度和速度实质上最大化。
[0088]
(随机图案的尺寸)
[0089]
随机图案的尺寸可以设定为不使空间编码图案的构造变化的程度的大小。“使构造变化”是指从由照相机拍摄到的图像对图案进行解码时得到错误的值、或者解码本身失败。
[0090]
例如，在如本实施方式那样的黑白二值的图案的情况下，设表示单位要素300的值的构造(位、网格等)中最小的构造的面积为s3，单位要素300内附加的随机片中最大的随机片的面积为s4时，以满足
[0091]
s4<s3/2
[0092]
的方式设定随机图案的尺寸即可。
[0093]
图9的(a)～(c)表示白色的随机片91与黑色的构造90重叠的例子。图9的(a)是构造90的例子。如图9的(b)所示，如果随机片91占构造90的面积的一半以上(s4≥s3/2)，则白色的面积变大，因此应该解释为“黑”的构造90被错误地解释为“白”。与此相对，如图9的(c)所示，如果随机片91的尺寸比构造90的尺寸的一半小(s4＜s3/2)，则即使随机片91与构造90重叠，依然是黑色的面积较大，因此该构造90被正确地判定为“黑”。
[0094]
(成像尺寸)
[0095]
根据本发明人等的实验，单位要素300的成像尺寸优选为3像素
×
3像素以上。这是因为，若单位要素300的一边小于3像素，则单位要素300内的构造(位、网格)无法分辨，无法准确地判别构造的明暗(黑白)，图案的解码率显著降低。从图案的解码率的观点出发，优选单位要素300的成像尺寸尽可能大。但是，成像尺寸越大，以空间编码图案方式得到的深度信息的空间分辨率越低，因此在实用上优选为3像素
×
3像素～10像素
×
10像素左右。
[0096]
另外，单位要素300内的构造的成像尺寸优选为3/2像素
×
3/2像素以上。这是因为，若构造的一边小于3/2像素，则(例如，在构造正好在跨2个像素的位置成像的情况下等)构造不能很好地被分辨，不能正确地判别构造的明暗(黑白)，图案的解码率降低。另外，构造的尺寸的上限由与单位要素300的尺寸的关系决定。例如，在设单位要素300的面积为s1、构造的面积为s3时，设定为s3≤s1/4即可。
[0097]
另一方面，随机片的成像尺寸优选为1/4像素
×
1/4像素以上。为了以能够在图像上识别的信号值拍摄随机图案，可以使随机片与其周边的像素的信号值之差至少为2digit以上。如图10所示，随机片95跨越拍摄元件96的像素的情况是图案的对比度最小(即，失去图案的效果)的情况。例如，在以8bit(＝256digit)输出信号值的照相机的情况下，设白像素的信号值为128digit时，像素97所包含的随机片95的面积需要与1/64像素相当或比其大。为此，在拍摄元件96上需要设为1/16像素(＝1/4像素
×
1/4像素)以上。另外，在此例示了8bit输出的照相机中的成像尺寸，但优选的成像尺寸只要根据照相机(拍摄元件)的规格、性能适当设定为能够识别随机片与其周边像素的信号值之差即可。
[0098]
(其他图案)
[0099]
对合成图案的其他例子进行说明。图11的(a)是将位的形状设为圆形的例子，图11的(b)是将位的形状设为菱形的例子(网格的形状与图3的例子相同)。在任一种情况下，都可以附加与此前说明随机图案相同的随机图案。此外，位的形状也可以使用正方形、圆形、菱形以外的任意的形状。
[0100]
图12的(a)～图12的(d)表示存在于单位要素300内的构造的数量的不同。图12的(a)是1个的例子，图12的(b)是2个的例子，图12的(c)是3个的例子，图12的(d)是4个的例子。在各图中，左侧表示空间编码图案的单位要素300，右侧表示附加了随机图案的合成图案。随机图案的附加方法可以与以上说明的方法相同。
[0101]
图13的(a)～图13的(d)是利用了线(虚线、点线等)的图案的例子。图13的(a)是线为1条的例子，图13的(b)是线为2条的例子，图13的(c)是线为3条的例子，图13的(d)是线为4条的例子。在各图中，左侧表示空间编码图案的单位要素300，右侧表示附加了随机图案的合成图案。随机图案的附加方法可以与以上说明的方法相同。
[0102]
图14的(a)～图14的(d)是利用了网格的图案的例子。图14的(a)是网格线为1条的例子，图14的(b)是网格线为2条的例子，图14的(c)是网格线为3条的例子，图14的(d)是网格线为4条的例子。在各图中，左侧表示空间编码图案的单位要素300，右侧表示附加了随机图案的合成图案。随机图案的附加方法可以与以上说明的方法相同。
[0103]
在图12的(a)～图12的(d)、图13的(a)～图13的(d)、图14的(a)～图14的(d)中，在配置有构造的区域以外的区域(也称为背景区域)附加有随机片。根据这样的配置，具有能够减小随机片对图案解码造成不良影响的可能性的优点。当然，也可以与前述的例子同样地，在构造之上以重叠的方式配置随机片。
[0104]
图15的(a)是利用了浓淡的图案的例子。该图案由1个周期的亮度变化构成，通过亮度变化的相位来表示值。随机片可以附加于单位要素内的任意位置。但是，在由照相机拍摄到的图像中，需要随机片能够与周围的亮度变化图案区别开。因此，例如可以以随机片与其周围的明暗差为2digit以上的方式设定随机片的亮度。
[0105]
图15的(b)是利用了波长(颜色)的图案的例子。在图示的关系中，图15的(b)以黑
白进行了描绘，但实际上是彩色的图案。该图案由1个周期的波长变化构成，通过波长变化的相位来表示值。随机片可以附加于单位要素内的任意位置。但是，在由照相机拍摄到的图像中，需要随机片能够与周围的波长变化图案区别开。因此，例如可以以随机片与其周围的明暗差为2digit以上的方式设定随机片的亮度。或者，也可以以具有规定的波长差的方式设定随机片的波长(颜色)。
[0106]
图16的(a)是利用了偏振光的图案的例子。该图案是组合了纵向的线偏振光160和横向的线偏振光161来代替明暗(黑白)的图案。例如，当利用具有使纵向的线偏振光透过的偏振器162的照相机拍摄图16的(a)的图案时，得到图16的(b)那样的图像。即，纵向的偏振光成分透过，图像上成为白像素，横向的偏振光成分被阻止，图像上成为黑像素。在附加随机图案的情况下，可以以随机片与其周围的偏振方向不同的方式设定随机片的偏振方向。
[0107]
<实施方式>
[0108]
参照图17，对本发明的实施方式的三维测量系统1的结构例进行说明。图17是三维测量系统1的功能框图。
[0109]
(传感器单元)
[0110]
传感器单元10包括第一照相机101、第二照相机102、图案投光部103、照明部104、图像传送部105和驱动控制部106。
[0111]
第一照相机101和第二照相机102是构成所谓的立体照相机的照相机对，隔开规定的距离而配置。通过由2个照相机101、102同时进行拍摄，能够得到从不同的视点拍摄到的图像对(将第一照相机101的图像称为第一图像，将第二照相机102的图像称为第二图像)。2个照相机101、102可以以彼此的光轴交叉且水平线(或垂直线)位于同一平面上的方式配置。这是因为，通过采用这样的配置，核线与图像的水平线(或垂直线)平行，因此从相同位置的水平线(或垂直线)内搜索立体匹配中的对应点即可，能够实现搜索处理的简化。另外，作为照相机101、102，可以使用黑白照相机，也可以使用彩色照相机。
[0112]
图案投光部103是用于将在空间编码图案方式的测距中使用的图案光投射到对象物12的投光装置，也被称为投影仪。图18示意性地示出图案投光部103的结构例。图案投光部103例如由光源部180、导光透镜181、图案生成部182、投射镜头183等构成。作为光源部180，能够使用led、激光器、vcsel(vertical cavity surface
‑
emitting laser：垂直腔面发射激光器)。导光透镜181是用于将光从光源部180引导至图案生成部182的光学元件，能够使用透镜或玻璃棒等。图案生成部182是生成合成图案的部件或装置，能够使用光掩模、衍射光学元件(例如doe(diffractive optical element))、光调制元件(例如dlp(digital light processing：数字光处理)、lcd(liquid crystal display：液晶显示器)、lcos(liquid crystal on silicon：硅基液晶)、mems(micro electro mechanical systems：微机电系统))等。投射镜头183是对所生成的图案进行放大并投射的光学元件。
[0113]
照明部104是用于拍摄一般的可见光图像的均匀照明。例如使用白色led照明等。或者，也可以是与主动投光相同波段的照明。
[0114]
图像传送部105将由第一照相机101拍摄到的第一图像的数据以及由第二照相机102拍摄到的第二图像的数据传送到图像处理装置11。图像传送部105可以将第一图像和第二图像作为不同的图像数据传送，也可以将第一图像和第二图像彼此连接以生成并排图像，并且将并排图像作为单个图像数据传送。驱动控制部106是控制第一照相机101、第二照
相机102、图案投光部103及照明部104的单元。此外，图像传送部105和驱动控制部106也可以不设置在传感器单元10侧，而设置在图像处理装置11侧。
[0115]
(图像处理装置)
[0116]
图像处理装置11包括图像取得部110、图案解码部111、视差预测部112、预处理部113、搜索范围设定部115、对应点搜索部116、视差图后处理部117和深度图生成部118。
[0117]
图像取得部110具有从传感器单元10取入所需的图像数据的功能。图像取得部110将第一图像发送到图案解码部111，并且将包括第一图像和第二图像的立体图像对发送到预处理部113。
[0118]
图案解码部111具有通过空间编码图案方式从第一图像取得距离信息(第一深度信息)的功能。空间编码图案方式依赖于所使用的单位要素的尺寸来决定空间分辨率。例如，在使用5像素
×
5像素的单位要素的情况下，距离信息的空间分辨率为输入图像的1/25。视差预测部112具有基于由图案解码部111获得的距离信息来预测第一图像和第二图像之间的视差并输出参考视差图的功能。
[0119]
预处理部113具有对第一图像和第二图像进行必要的预处理的功能。搜索范围设定部115具有基于预测视差来设定对应点的搜索范围的功能。对应点搜索部116具有搜索第一图像和第二图像之间的对应点并且基于搜索结果生成视差图(第二深度信息)的功能。视差图后处理部117具有对视差图进行必要的后处理的功能。深度图生成部118具有将视差图的视差信息变换为距离信息以生成深度图的功能。
[0120]
图像处理装置11例如由具备cpu(处理器)、ram(存储器)、非易失性存储装置(硬盘、ssd等)、输入装置、输出装置等的计算机构成。在该情况下，cpu将存储于非易失性存储装置的程序在ram中展开，并执行该程序，由此实现上述的各种功能。但是，图像处理装置11的结构并不限定于此，也可以通过fpga或asic等专用电路来实现上述的功能中的全部或一部分，还可以通过云计算或分布式计算来实现。
[0121]
在本示例中，由第一照相机101、图案投光部103、图像传送部105、图像取得部110、驱动控制部106、图案解码部111和视差预测部112构成图2的第一测量系统21，由第一照相机101、第二照相机102、图案投光部103、图像传送部105、驱动控制部106、预处理部113、搜索范围设定部115、对应点搜索部116、视差图后处理部117和深度图生成部118构成图2的第二测量系统22。
[0122]
(测量处理)
[0123]
参照图19，对本实施方式的测量处理的流程进行说明。图19是表示由图像处理装置11执行的处理的流程的流程图。
[0124]
在步骤s400、s401中，图像取得部110从传感器单元10取得第一图像和第二图像。第一图像及第二图像分别是在从图案投光部103向对象物12投射了图案光的状态下由第一照相机101及第二照相机102拍摄到的图像。当从传感器单元10取得并排图像格式的数据时，图像取得部110将并排图像分割为第一图像和第二图像。图像取得部110向图案解码部111发送第一图像，向预处理部113发送第一图像和第二图像。
[0125]
在步骤s402中，预处理部113对第一图像和第二图像进行平行化处理(纠正)。平行化处理是指以2个图像之间的对应点存在于图像中的相同水平线(或垂直线)上的方式对一方或双方的图像进行几何变换的处理。通过平行化处理，核线与图像的水平线(或垂直线)
平行，因此后级的对应点搜索的处理变得简单。此外，在从传感器单元10取入的图像的平行度足够高的情况下，也可以省略步骤s402的平行化处理。
[0126]
在步骤s403中，预处理部113针对平行化后的第一图像和第二图像的各像素计算哈希特征量，并且将各像素的值替换为哈希特征量。哈希特征量表示以关注像素为中心的局部区域的亮度特征，在此，使用由8要素的位串构成的哈希特征量。这样，通过将各图像的亮度值变换为哈希特征量，后级的对应点搜索中的局部的亮度特征的类似度计算极其高效化。
[0127]
在步骤s404中，图案解码部111分析第一图像并解码图案，从而取得第一图像上的多个点处的深度方向上的距离信息。
[0128]
在步骤s405中，视差预测部112根据在步骤s405中得到的各点的距离信息，计算将各点投影到平行化后的第一图像的图像坐标系时的二维坐标、和将同一点投影到平行化后的第二图像的图像坐标系时的二维坐标，计算2个图像之间的坐标之差。该差是预测视差。视差预测部112求出针对在步骤s404中获得了距离信息的所有点的预测视差，并且输出该数据作为参考视差图。
[0129]
在步骤s406中，搜索范围设定部115基于预测视差针对第一图像和第二图像设定对应点的搜索范围。搜索范围的大小是考虑预测的误差而决定的。例如，在预测的误差为
±
10像素的情况下，认为即使包含余量，将以预测视差为中心的
±
20像素左右设定为搜索范围也足够。假设在水平线为640像素的情况下，如果能够将搜索范围缩小为
±
20像素(即40像素)，则与搜索水平线整体相比，能够简单地将搜索处理削减为1/16。
[0130]
在步骤s407中，对应点搜索部116在像素削减后的第一图像与第二图像之间进行对应点的搜索，求出各像素的视差。对应点搜索部116生成将视差信息与对应点的检测成功的点(像素的坐标)建立了关联的视差数据。该信息是视差图。
[0131]
在步骤s408中，视差图后期处理部117进行视差图的修正。由于在通过对应点搜索估计出的视差图中包含误测量点、测量遗漏等，所以基于周围的像素的视差信息进行误测量点的修正、测量遗漏的补充。
[0132]
在步骤s409中，深度图生成部118将视差图的各像素的视差信息变换为三维信息(深度方向上的距离信息)，并且生成深度图。该深度图(三维点群数据)例如用于对象物12的形状识别、物体识别等。
[0133]
<变形例>
[0134]
上述实施方式只不过是例示性地说明本发明的结构例。本发明并不限定于上述的具体的方式，能够在其技术思想的范围内进行各种变形。
[0135]
图20表示图案投光部的其他结构例。在图20的结构中，设置有用于投射空间编码图案30的空间编码图案投光部200和用于投射随机图案31的随机图案投光部201这2种投光部。从各投光部200、201投射的2个图案30、31在对象物表面上重合，形成合成图案32。在这样的结构中，也能够得到与上述的实施方式相同的作用效果。
[0136]
图21表示图案投光部的其他结构例。在图21的结构中，设置有空间编码图案30用的光源210、导光透镜211、图案生成部212、随机图案31用的光源213、导光透镜214、图案生成部215。然后，通过光束组合器216合成2个图案光，从投射镜头217投射合成图案32。在这样的结构中，也能够得到与上述的实施方式相同的作用效果。
[0137]
图22表示图案投光部的其他结构例。在图22的结构中，设置有第一光源220和第一导光透镜221、以及第二光源222和第二导光透镜223。然后，通过光束组合器224合成2种光，经由图案生成部225从投射镜头226投射合成图案32。作为2种光源220、222，例如能够使用波长不同的光源、偏振方向不同的光源等。
[0138]
在上述实施方式中，使用了第一照相机和第二照相机这2个照相机，但也可以在传感器单元中设置3个以上的照相机。也可以改变配对的照相机的组合来进行立体匹配，使用通过各组合得到的多个测量结果来提高测量结果的可靠性。其结果，能够提高精度。
[0139]
在上述实施方式中，在立体匹配中利用了哈希特征量，但在对应点的类似度评价中也可以使用其他方法。例如，作为类似度的评价指标，有基于sad(sum of absolute difference：绝对差和)、ssd(sum of squared difference：平方差和)、nc(normalized correlation：归一化相关)等的左右图像的像素的类似度计算方法。另外，在上述实施方式中，在参考深度图的生成(视差的预测)和立体匹配中使用了相同的照相机的图像，但也可以使用分别不同的三维测量用的照相机图像。
[0140]
<附记>
[0141]
(1)一种三维测量系统(1)，其特征在于，具备：
[0142]
投光装置(103)，其向对象物(12)投射图案光；
[0143]
第一照相机(101)，其拍摄所述对象物(12)；
[0144]
第二照相机(102)，其以与所述第一照相机(101)不同的视点拍摄所述对象物(12)；以及
[0145]
图像处理装置(11)，其通过对从所述第一照相机(101)得到的第一图像以及从所述第二照相机(102)得到的第二图像进行处理，取得所述对象物(12)的三维信息，
[0146]
所述图像处理装置(11)具有：
[0147]
第一测量单元(21、111)，其使用所述第一图像，通过空间编码图案方式取得第一深度信息；
[0148]
设定单元(115)，其基于根据所述第一深度信息预测的所述第一图像和所述第二图像之间的视差来设定立体匹配中的对应点的搜索范围；以及，
[0149]
第二测量单元(22、116)，其通过使用所述第一图像和所述第二图像进行限定于所设定的所述搜索范围的立体匹配，取得空间分辨率比所述第一深度信息高的第二深度信息，
[0150]
所述图案光具有合成图案(32)，该合成图案(32)是将作为与1个深度值对应的区域的单位要素规则地配置而成的空间编码图案(30)和多个随机片不规则地配置而成的随机图案(31)合成而得到的。
[0151]
标号说明
[0152]
1：三维测量系统；10：传感器单元；11：图像处理装置；12：对象物；21：第一测量系统；22：第二测量系统。