图像处理装置的制作方法

图像处理装置
1.本技术以日本专利申请2021-028830(申请日：2021年2月25日)为基础，从该申请享有优先的利益。本技术通过参照该申请而包括该申请的全部内容。
技术领域
2.本发明的实施方式涉及图像处理装置。


背景技术：

3.通常，为了取得到被摄体的距离，已知有使用由2个摄像装置(相机)或立体相机(多目相机)摄像到的图像的技术，但近年来，开发了使用由1个摄像装置(单目相机)摄像到的图像来取得到被摄体的距离的技术。
4.然而，需要提高从由1个摄像装置摄像到的图像取得的距离的精度以及从该图像取得距离时的环境鲁棒性。


技术实现要素：

5.本发明要解决的技术问题在于，提供能够使从图像取得的距离的精度以及从该图像取得距离时的环境鲁棒性提高的图像处理装置。
6.实施方式的图像处理装置具备保存单元、图像取得单元、修正单元和距离取得单元。所述保存单元保存统计模型，该统计模型通过学习在受到光学系统的像差的影响的第一图像中产生的、根据到该第一图像中的被摄体的距离而非线性地变化的模糊而生成。所述图像取得单元取得受到所述光学系统的像差的影响的第二图像。所述修正单元对该第二图像进行使在所述第二图像中表现的颜色的数量降低的颜色修正。所述距离取得单元将对所述第二图像进行了颜色修正后的第三图像输入至所述统计模型，取得表示到该第三图像中的被摄体的距离的距离信息。
附图说明
7.图1是表示包含第一实施方式的图像处理装置的测距系统的结构的一例的图。
8.图2是表示图像处理装置的系统结构的一例的图。
9.图3是用于说明测距系统的动作的概要的图。
10.图4是表示使用单透镜的情况下的到被摄体的距离与因色差而在图像中产生的模糊之间的关系性的图。
11.图5是表示使用消色差透镜的情况下的到被摄体的距离与因色差而在图像中产生的模糊之间的关系性的图。
12.图6是表示摄像装置的光学系统所具备的光圈机构的开口部的大小与psf形状之间的关系性的图。
13.图7是表示在各通道的图像中产生的psf形状的一例的图。
14.图8是表示在各通道的图像中产生的psf形状的另一例的图。
15.图9是表示在图像中的各位置产生的psf形状的一例的图。
16.图10是用于具体说明与透镜的类别对应的psf形状的位置依赖性的图。
17.图11是表示psf形状的非线性与光圈机构的开口部的形状之间的关系的图。
18.图12是表示取得距离信息的动作的概要的图。
19.图13是用于说明根据摄像图像来推定距离的第一方式的图。
20.图14是表示在第一方式中向统计模型输入的信息的一例的图。
21.图15是用于说明根据摄像图像来推定距离的第二方式的图。
22.图16是表示在第二方式中向统计模型输入的信息的一例的图。
23.图17是用于说明根据摄像图像来推定距离的第三方式的图。
24.图18是用于具体说明根据摄像图像来推定的到被摄体的距离的图。
25.图19是表示从摄像图像取得距离信息时的图像处理装置的处理顺序的一例的流程图。
26.图20是表示预览画面的一例的图。
27.图21是表示按下了测距区域选定按钮的情况下的预览画面的一例的图。
28.图22是用于说明依赖于环境的psf的图。
29.图23是用于说明白平衡修正的概要的图。
30.图24是用于说明对摄像图像中包含的像素计算出的修正系数的图。
31.图25是用于说明由统计模型计算出的不可靠度的图。
32.图26是表示设定了可靠度确认模式的情况下的预览画面的一例的图。
33.图27是表示统计模型的学习处理的一例的图。
34.图28是表示生成统计模型的处理的处理顺序的一例的流程图。
35.图29是表示包含第二实施方式的图像处理装置的测距系统的结构的一例的图。
36.图30是用于说明从摄像图像取得距离信息时的图像处理装置的处理顺序的一例的图。
37.图31是表示包含测距装置的移动体的功能结构的一例的图。
38.图32是用于说明移动体为汽车的情况的图。
39.图33是用于说明移动体为无人机的情况的图。
40.图34是用于对移动体为自主型的移动机器人的情况进行说明的图。
41.图35是用于说明移动体为机械臂的情况的图。
42.(附图标记说明)
[0043]1…
测距系统，2
…
摄像装置(摄像部)，3
…
图像处理装置(图像处理部)，21
…
透镜，22
…
图像传感器，31
…
统计模型保存部，32
…
显示处理部，33
…
测距区域选定部，34
…
图像取得部，35
…
图像修正部，36
…
距离取得部，37
…
可靠度确认模式设定部，38
…
输出部，39
…
评价部，221
…
第一传感器，222
…
第二传感器，223
…
第三传感器，301
…
cpu，302
…
非易失性存储器，303
…
ram，303a
…
图像处理程序，304
…
通信设备，305
…
输入设备，306
…
显示设备，307
…
总线。
具体实施方式
[0044]
以下，参照附图对各实施方式进行说明。
[0045]
(第一实施方式)
[0046]
首先，对第一实施方式进行说明。图1表示包含本实施方式的图像处理装置的测距系统的结构的一例。图1所示的测距系统1被使用于摄像图像，并使用该摄像到的图像来取得(测定)从摄像地点到被摄体的距离。
[0047]
如图1所示，测距系统1具备摄像装置2以及图像处理装置3。在本实施方式中，设为测距系统1具备作为独立的装置的摄像装置2及图像处理装置3而进行说明，但该测距系统1也可以作为摄像装置2作为摄像部发挥功能、且图像处理装置3作为图像处理部发挥功能的1个装置(以下，表述为测距装置)来实现。在测距系统1的情况下，例如能够使用数码相机等作为摄像装置2，使用个人计算机、智能手机或者平板电脑等作为图像处理装置3。在该情况下，图像处理装置3例如也可以作为执行云计算服务的服务器装置而进行动作。另一方面，在测距装置1的情况下，能够使用数码相机、智能手机及平板电脑等作为该测距装置1。
[0048]
摄像装置2用于摄像各种图像。摄像装置2具备透镜21和图像传感器22。透镜21及图像传感器22相当于摄像装置2的光学系统(单目相机)。另外，在本实施方式中，透镜21与用于通过调整该透镜21的位置来控制焦点位置的机构及透镜驱动电路等、具有用于调节向摄像装置2的光学系统取入的光的量(进光量)的开口部的光圈机构及光圈控制电路等、以及供预先保持与该透镜21有关的信息(以下，表述为透镜信息)的存储器等(未图示)搭载的控制电路等一起构成透镜单元。
[0049]
另外，在本实施方式中，摄像装置2也可以构成为能够手动将透镜21(透镜单元)更换为其他透镜。在该情况下，用户例如能够将标准透镜、望远透镜及广角透镜等多个种类的透镜中的1个透镜安装于摄像装置2来使用。此外，在更换了透镜的情况下，焦点距离、f值(光圈值)改变，能够摄像出与摄像装置2中使用的透镜对应的图像。
[0050]
在本实施方式中，焦点距离是指，从透镜到在光相对于该透镜平行地入射时该光收敛的位置为止的距离。另外，f值是指将根据光圈机构而取入到摄像装置2的光的量数值化而得到的值。另外，f值表示，随着值变小而取入到摄像装置2的光的量变多(即，开口部的大小变大)。
[0051]
向透镜21入射由被摄体反射后的光。入射到透镜21的光透射透镜21。透射透镜21后的光到达图像传感器22，由该图像传感器22受光(检测)。图像传感器22通过将接收到的光转换(光电转换)为电信号，由此生成由多个像素构成的图像。
[0052]
另外，图像传感器22通过例如ccd(charge coupled device：电荷耦合器件)图像传感器及cmos(complementary metal oxide semiconductor：互补金属氧化物半导体)图像传感器等来实现。图像传感器22例如包括检测红色(r)的波段的光的第一传感器(r传感器)221、检测绿色(g)的波段的光的第二传感器(g传感器)222及检测蓝色(b)的波段的光的第三传感器(b传感器)223。图像传感器22能够通过第一～第三传感器221～223接收对应的波段的光，生成与各波段(颜色成分)对应的传感器图像(r图像、g图像及b图像)。即，由摄像装置2摄像的图像是彩色图像(rgb图像)，在该图像中包含r图像、g图像及b图像。
[0053]
另外，在本实施方式中，设为图像传感器22包含第一～第三传感器221～223而进行说明，但图像传感器22只要构成为包含第一～第三传感器221～223中的至少1个即可。另外，图像传感器22也可以构成为包括用于生成例如单色图像的传感器来代替第一～第三传感器221～223。
[0054]
在本实施方式中，基于透射了透镜21的光而生成的图像是受到光学系统(所包含的透镜21)的像差的影响的图像，包含因该像差而产生的模糊。另外，关于在图像中产生的模糊的详细，在后面进行叙述。
[0055]
图像处理装置3包括统计模型保存部31、显示处理部32、测距区域选定部33、图像取得部34、图像修正部35、距离取得部36、可靠度确认模式设定部37及输出部38作为功能结构。
[0056]
在统计模型保存部31中保存有被使用于从由摄像装置2摄像到的图像中取得到被摄体的距离的统计模型。保存在统计模型保存部31中的统计模型通过学习在上述的受到光学系统的像差的影响的图像中产生的、根据到该图像中的被摄体的距离而非线性地变化的模糊而生成。统计模型保存部31可以保存多个统计模型。
[0057]
此外，统计模型设为能够应用例如神经网络、或者随机森林等已知的各种机器学习算法来生成。另外，在本实施方式中能够应用的神经网络例如可以包含卷积神经网络(cnn：convolutional neural network)、全耦合神经网络及递归型神经网络等。
[0058]
显示处理部32依次显示由上述的摄像装置2连续摄像到的多个图像作为预览显示。
[0059]
测距区域选定部33选定由显示处理部32显示的图像(即，由摄像装置2摄像到的图像)中的区域。此外，在本实施方式中，取得了到由测距区域选定部33选定的区域所包含的被摄体为止的距离(信息)。另外，由测距区域选定部33选定的区域例如基于用户的操作等而被决定。
[0060]
即，在本实施方式中，上述的预览显示是指为了用户确认成为取得距离的对象的被摄体等而事先显示图像。
[0061]
图像取得部34在由测距区域选定部33选定了由显示处理部32显示的图像中的区域的情况下，取得该图像。
[0062]
图像修正部35对由图像取得部34取得的图像进行颜色修正。在该情况下，图像修正部35对由图像取得部34取得的图像进行减少在该图像中表现的颜色的数量(能够减少颜色变化)的修正。
[0063]
距离取得部36取得距离信息，该距离信息表示到由图像修正部35进行了颜色修正后的图像(由测距区域选定部33选定的区域)中的被摄体的距离。在该情况下，距离取得部36如后述那样，通过将由图像修正部35进行了颜色修正后的图像输入至保存于统计模型保存部31的统计模型来取得距离信息。
[0064]
可靠度确认模式设定部37根据用户的操作，设定可靠度确认模式。可靠度确认模式是用于由用户确认相对于到被摄体的距离而言的可靠度(不可靠度的程度)的模式。在由可靠度确认模式设定部37设定了可靠度确认模式的情况下，用户例如能够在上述的预览画面中确认相对于由通过距离取得部36取得的距离信息表示的距离而言的可靠度。
[0065]
输出部38取得由距离取得部36取得的距离信息。另外，距离信息例如既可以经由显示处理部32显示，也可以输出到图像处理装置3的外部。
[0066]
图2表示图1所示的图像处理装置3的系统结构的一例。如图2所示，图像处理装置3具备cpu301、非易失性存储器302、ram303、通信设备304、输入设备305及显示设备306等。另外，图像处理装置3具有将cpu301、非易失性存储器302、ram303、通信设备304、输入设备305
及显示设备306相互连接的总线307。
[0067]
cpu301是用于控制图像处理装置3内的各种组件的动作的处理器。cpu301既可以是单一的处理器，也可以由多个处理器构成。cpu301执行从非易失性存储器302加载到ram303的各种程序。这些程序包括操作系统(os)、各种应用程序。应用程序包括使用由摄像装置2摄像到的图像来取得从该摄像装置2到该图像中的被摄体的距离的图像处理程序303a。
[0068]
非易失性存储器302是被用作辅助存储装置的存储介质。ram303是被用作主存储装置的存储介质。在图2中，仅示出了非易失性存储器302及ram303，但图像处理装置3也可以具备例如hdd(hard disk drive：硬盘驱动器)及ssd(solid state drive：固态驱动器)等其他存储装置。
[0069]
此外，在本实施方式中，图1所示的统计模型保存部31例如通过非易失性存储器302或者其他存储装置等来实现。
[0070]
另外，在本实施方式中，图1所示的显示处理部32、测距区域选定部33、图像取得部34、图像修正部35、距离取得部36、可靠度确认模式设定部37及输出部38的一部分或者全部，通过使cpu301(即，图像处理装置3的计算机)执行图像处理程序303a、即通过软件来实现。该图像处理程序303a既可以保存在计算机可读取的存储介质中发布，也可以通过网络而下载到图像处理装置3。此外，这些各部32～38的一部分或者全部既可以通过ic(integrated circuit：集成电路)等硬件来实现，也可以通过软件及硬件的组合来实现。
[0071]
通信设备304是构成为执行有线通信或无线通信的设备。通信设备304执行经由网络的与外部设备的通信等。该外部设备包括摄像装置2。在该情况下，图像处理装置3经由通信设备304从摄像装置2接收图像。
[0072]
输入设备305包括例如鼠标或键盘等。显示设备306包括例如液晶显示器(lcd：liquid crystal display)等。另外，输入设备305及显示设备306也可以如例如触摸屏显示器那样一体地构成。
[0073]
接着，参照图3，对本实施方式中的测距系统1的动作的概要进行说明。
[0074]
在测距系统1中，摄像装置2(图像传感器22)如上述那样生成受到光学系统(透镜21)的像差的影响的图像。
[0075]
图像处理装置3取得由摄像装置2生成的图像，并将该图像输入至被保存在统计模型保存部31中的统计模型。另外，虽然在图3中未示出，但在本实施方式中输入至统计模型的图像是进行了颜色修正后的图像。关于对图像进行的颜色修正的详细，在后面进行叙述。
[0076]
图像处理装置3(距离取得部36)取得距离信息，该距离信息表示从被输入了图像的统计模型输出的到该图像中的被摄体的距离。
[0077]
这样，在本实施方式中，能够使用统计模型从由摄像装置2摄像到的图像取得距离信息。
[0078]
在此，在本实施方式中，在由摄像装置2摄像到的图像中，如上述那样产生由该摄像装置2的光学系统的像差(透镜像差)引起的模糊。
[0079]
以下，对在由摄像装置2摄像到的图像中产生的模糊进行说明。首先，对由摄像装置2的光学系统的像差引起的模糊中的色差进行说明。
[0080]
图4示出到被摄体的距离与因色差而在图像中产生的模糊之间的关系。在以下的
说明中，将在摄像装置2中对焦的位置称为焦点位置。
[0081]
由于透射具有像差的透镜21时的光的折射率按每个波段而不同，因此例如在被摄体的位置从焦点位置偏离这样的情况下，各波段的光不集中在1点而到达不同的点。这在图像上表现为色差(模糊)。
[0082]
图4的上段表示被摄体相对于摄像装置2(图像传感器22)的位置比焦点位置远(即，被摄体的位置位于比焦点位置靠里侧的位置)的情况。
[0083]
在该情况下，关于红色的波段的光401，在图像传感器22(第一传感器221)中生成包含比较小的模糊br的图像。另一方面，关于蓝色的波段的光402，在图像传感器22(第三传感器223)中生成包含比较大的模糊bb的图像。此外，关于绿色的波段的光403，生成包含模糊br与模糊bb的中间大小的模糊的图像。因此，在这样的在被摄体的位置比焦点位置远的状态下摄像到的图像中，在该图像中的被摄体的外侧观察到蓝色的模糊。
[0084]
另一方面，图4的下段表示被摄体相对于摄像装置2(图像传感器22)的位置比焦点位置近(即，被摄体的位置位于比焦点位置靠近前的位置)的情况。
[0085]
在该情况下，关于红色的波段的光401，在图像传感器22(第一传感器221)中生成包含比较大的模糊br的图像。另一方面，关于蓝色的波段的光402，在图像传感器22(第三传感器223)中生成包含比较小的模糊bb的图像。此外，关于绿色的波段的光403，生成包含模糊br与模糊bb的中间大小的模糊的图像。因此，在这样的在被摄体的位置比焦点位置近的状态下摄像到的图像中，在该图像中的被摄体的外侧观察到红色的模糊。
[0086]
在此，图4示出了透镜21为单纯的单透镜的例子，但一般而言，在摄像装置2中，有时使用例如被实施了色差修正后的透镜(以下，表述为消色差透镜)。另外，消色差透镜是组合了低色散的凸透镜和高色散的凹透镜而成的透镜，是作为修正色差的透镜而透镜片数最少的透镜。
[0087]
图5示出使用上述的消色差透镜作为透镜21的情况下的到被摄体的距离与因色差而在图像中产生的模糊之间的关系性。在消色差透镜中，进行了使蓝色的波长和红色的波长的焦点位置一致的设计，但色差不能完全去除。因此，在被摄体的位置比焦点位置远的情况下，如图5的上段所示，产生绿色的模糊，在被摄体的位置比焦点位置近的情况下，如图5的下段所示，产生紫色的模糊。
[0088]
另外，图4及图5的中段表示被摄体相对于摄像装置2(图像传感器22)的位置与焦点位置一致的情况。在该情况下，在图像传感器22(第一～第三传感器221～223)中生成模糊较少的图像。
[0089]
在此，在摄像装置2的光学系统(透镜单元)中如上述那样具备光圈机构，但由该摄像装置2摄像到的图像中产生的模糊的形状根据该光圈机构的开口部的大小而不同。另外，模糊的形状被称为psf(point spread function：点扩散函数)形状，示出了在摄像了点光源时产生的光的扩散分布。
[0090]
图6的上段按被摄体的位置距摄像装置2从近到远的顺序从左起表示在使用了焦点距离为50mm的透镜的摄像装置2(的光学系统)中将焦点位置设为1500mm、将f值(光圈)设为f1.8的情况下、由该摄像装置2摄像到的图像的中央部产生的psf形状。图6的下段按被摄体的位置距摄像装置2从近到远的顺序从左起表示在使用了焦点距离为50mm的透镜的摄像装置2(的光学系统)中将焦点位置设为1500mm、将f值(光圈)设为f4的情况下、由该摄像装
置2摄像到的图像的中央部产生的psf形状。另外，图6的上段及下段的中央表示被摄体的位置与焦点位置一致的情况下的psf形状。
[0091]
图6的上段及下段的对应位置所示的psf形状是被摄体相对于摄像装置2的位置相同的情况下的psf形状，但即使在该被摄体的位置相同的情况下，在上段的psf形状(将f值设为f1.8而摄像到的图像中产生的psf形状)和下段的psf形状(将f值设为f4而摄像到的图像中产生的psf形状)中形状也不同。
[0092]
并且，如图6的最左侧的psf形状和最右侧的psf形状所示，即使在例如从被摄体的位置到焦点位置的距离为相同程度的情况下，在该被摄体的位置比焦点位置近的情况和该被摄体的位置比焦点位置远的情况下，psf形状也不同。
[0093]
此外，如上所述，psf形状根据光圈机构的开口部的大小、被摄体相对于摄像装置2的位置而不同的现象，在各通道(rgb图像、r图像、g图像及b图像)中也同样会产生。图7将在使用了焦点距离为50mm的透镜的摄像装置2中将焦点位置设为1500mm、将f值设为f1.8的情况下由该摄像装置2摄像到的各通道的图像中产生的psf形状分为被摄体的位置比焦点位置近(位于近前)的情况和被摄体的位置比焦点位置远(位于里侧)的情况进行表示。图8将在使用了焦点距离为50mm的透镜的摄像装置2中将焦点位置设为1500mm、将f值设为f4的情况下由该摄像装置2摄像到的各通道的图像中产生的psf形状分为被摄体的位置比焦点位置近的情况和被摄体的位置比焦点位置远的情况进行表示。
[0094]
进而，由摄像装置2摄像到的图像中产生的psf形状根据该图像中的位置也不同。
[0095]
图9的上段将在使用了焦点距离为50mm的透镜的摄像装置2中将焦点位置设为1500mm、将f值设为f1.8的情况下由该摄像装置2摄像到的图像中的各位置产生的psf形状分为被摄体的位置比焦点位置近的情况和被摄体的位置比焦点位置远的情况进行表示。
[0096]
图9的中段将在使用了焦点距离为50mm的透镜的摄像装置2中将焦点位置分为1500mm、将f值设为f4的情况下由该摄像装置2摄像到的图像中的各位置产生的psf形状分为被摄体的位置比焦点位置近的情况和被摄体的位置比焦点位置远的情况进行表示。
[0097]
如图9的上段及中段所示，在由摄像装置2摄像到的图像的端部附近(特别是左上等角部附近)，例如能够观察与位于图像中央附近的psf形状不同的psf形状。
[0098]
另外，图9的下段将在使用了焦点距离为105mm的透镜的摄像装置2中将焦点位置设为1500mm、将f值设为f4的情况下由该摄像装置2摄像到的图像中的各位置产生的psf形状分为被摄体的位置比焦点位置近的情况和被摄体的位置比焦点位置远的情况进行表示。
[0099]
上述图9的上段及中段表示使用同一透镜摄像到的图像中产生的psf形状，但如图9的下段所示，在使用焦点距离不同的透镜的情况下，观察到与该透镜对应的不同的psf形状(与图9的上段及中段不同的psf形状)。
[0100]
接着，参照图10，对与上述的摄像装置2的光学系统中使用的透镜的类别对应的psf形状(透镜的像差)的位置依赖性进行具体说明。图10将分别使用焦点距离不同的多个透镜而摄像到的图像的中央附近(画面中央)及端部附近(画面端)产生的psf形状分为被摄体的位置比焦点位置近的情况和被摄体的位置比焦点位置远的情况进行表示。
[0101]
如图10所示，在图像的中央附近产生的psf形状即使在透镜的类别不同的情况下也大致为圆形且相同，但在图像的端部附近产生的psf形状具有与在图像的中央附近产生的psf形状不同的形状，并且根据透镜的类别而特性(特征)分别不同。另外，在上述的图5中
说明的被摄体的位置比焦点位置近的情况下，在psf的边缘附近产生紫色的模糊，在被摄体的位置比焦点位置远的情况下，在psf的边缘附近产生绿色的模糊，关于这一点，即使在透镜的类别不同的情况下也是共通的。
[0102]
另外，在图10中，关于焦点距离为50mm的透镜，示出了2个例子(#1及#2)，这表示焦点距离为50mm且相同，但透镜的制造商不同(即，是不同的产品)。关于焦点距离为85mm的透镜也是同样的。
[0103]
在本实施方式的图像处理装置3(测距系统1)中，使用着眼于上述那样的根据到图像中的被摄体的距离(即，被摄体相对于摄像装置2的位置)而非线性地变化的模糊(颜色、尺寸及形状)而生成的统计模型，从图像取得到被摄体的距离。
[0104]
另外，本实施方式中的根据到被摄体的距离而非线性地变化的模糊包括：上述图4和图5中说明的根据摄像装置2的光学系统的色差而产生的模糊、在图6～图8中说明的根据对向摄像装置2的光学系统取入的光的量进行调节的光圈机构的开口部的大小(即，f值)而产生的模糊、在图9和图10中说明的根据由摄像装置2摄像到的图像中的位置而变化的模糊等。
[0105]
此外，psf形状也根据光圈机构的开口部的形状而不同。在此，图11表示psf形状的非线性(非对称性)与光圈机构的开口部的形状之间的关系。上述的psf形状的非线性在光圈机构的开口部的形状为圆以外的情况下容易产生。特别是，psf形状的非线性在开口部的形状为奇数边形、或者相对于图像传感器22的水平或垂直轴非对称地配置的偶数边形的情况下更容易产生。
[0106]
另外，在上述的图9中，在图像上表示到图像中的被摄体的距离及依赖于该图像中的位置的psf形状(即，具有距离依赖性及位置依赖性的模糊)，但该图像分别被称为像差映射(map)。像差映射是表示模糊的分布的映射形式的信息，该模糊是在受到光学系统的像差的影响的图像中产生的模糊、且为到该图像中的被摄体的距离及依赖于该图像中的位置的模糊。换言之，像差映射是表示由于像差而产生的图像中的模糊(即光学系统的像差)的距离依赖性和位置依赖性的信息。这样的像差映射可以在推定到图像中的被摄体的距离(即，取得表示该距离的距离信息)时被利用。
[0107]
图12表示在本实施方式中取得距离信息的动作的概要。在以下的说明中，将为了取得距离信息(到被摄体的距离)而由摄像装置2摄像到的图像称为摄像图像。
[0108]
在图12所示的摄像图像501中产生的模糊(模糊信息)502成为与到被摄像体503的距离有关的物理的线索。具体而言，模糊的颜色、psf的尺寸及形状成为与到被摄像体503的距离有关的线索。
[0109]
在本实施方式的图像处理装置3(距离取得部36)中，通过使用统计模型对作为物理线索的在摄像图像501中产生的模糊502进行分析(解析)来推定到被摄体503的距离504。
[0110]
以下，对在本实施方式中通过统计模型根据摄像图像来推定距离的方式的一例进行说明。在此，对第一～第三方式进行说明。
[0111]
首先，参照图13对第一方式进行说明。在第一方式中，距离取得部36从摄像图像501中提取局部区域(图像补片)501a。
[0112]
在该情况下，例如可以将摄像图像501的整个区域(或规定的区域)分割成矩阵状，并将该分割后的部分区域作为局部区域501a依次提取，也可以识别摄像图像501，并以包罗
检测到被摄像体(像)的区域的方式提取局部区域501a。另外，局部区域501a也可以与其他的局部区域501a之间一部分重叠。
[0113]
距离取得部36针对提取出的每个局部区域501a，将与该局部区域501a有关的信息(摄像图像501的信息)输入至统计模型，由此推定到该局部区域501a中的被摄体的距离504。
[0114]
这样被输入了与局部区域501a有关的信息的统计模型，按构成该局部区域501a的每个像素来推定距离。
[0115]
在此，例如在特定的像素属于第一局部区域501a及第二局部区域501a双方(即，在第一局部区域501a和第二局部区域501a之间包含该像素的区域重叠)的情况下，存在该像素被推定为是属于第一局部区域501a的像素的距离与作为该像素被推定为是属于第二局部区域501a的像素的距离不同的情况。
[0116]
因此，例如在如上述那样提取出一部分重叠的多个局部区域501a的情况下，构成该多个局部区域501a相重叠的区域的像素的距离例如也可以设为针对该重叠的一方的局部区域501a的一部分的区域(像素)推定出的距离与针对另一方的局部区域501a的一部分的区域(像素)推定出的距离的平均值。另外，在提取出一部分重叠的3个以上的局部区域501a的情况下，构成该3个以上的局部区域501a相重叠的区域的像素的距离也可以通过基于针对该重叠的3个以上的局部区域501a的一部分的每个区域而推定出的距离而进行的多数决来决定。
[0117]
图14表示在上述的第一方式中被输入至统计模型的与局部区域501a有关的信息的一例。
[0118]
距离取得部36针对摄像图像501所包含的r图像、g图像及b图像的每一个，生成从该摄像图像501提取出的局部区域501a的梯度数据(r图像的梯度数据、g图像的梯度数据及b图像的梯度数据)。这样由距离取得部36生成的梯度数据被输入至统计模型。
[0119]
另外，梯度数据表示各像素和与该像素相邻的像素之间的像素值的差分(差分值)。例如，在局部区域501a被提取为n像素(x轴方向)
×
m像素(y轴方向)的矩形区域的情况下，生成将针对该局部区域501a内的各像素计算出的例如与右相邻的像素之间的差分值配置为n行
×
m列的矩阵状而得到的梯度数据。
[0120]
统计模型使用r图像的梯度数据、g图像的梯度数据、b图像的梯度数据，根据在该各图像中产生的模糊来推定距离。在图14中，示出了将r图像、g图像及b图像各自的梯度数据被输入至统计模型的情况，但也可以是摄像图像501(rgb图像)的梯度数据被输入至统计模型的结构。
[0121]
接着，参照图15对第二方式进行说明。在第二方式中，作为第一方式中的与局部区域501a有关的信息，将每个该局部区域(图像补片)501a的梯度数据及摄像图像501中的该局部区域501a的位置信息输入至统计模型。
[0122]
位置信息501b例如既可以是表示局部区域501a的中心点的信息，也可以是表示左上边等预先确定的一边的信息。另外，作为位置信息501b，也可以使用构成局部区域(图像补片)501a的像素各自在摄像图像501上的位置信息。
[0123]
如上所述，通过将位置信息501b进一步输入至统计模型，例如能够考虑由透射透镜21的中心部的光成像的被摄体像的模糊和由透射该透镜21的端部的光成像的被摄体像
的模糊之间的差异来推定距离504。
[0124]
即，根据该第二方式，能够基于模糊、距离及图像上的位置的相关性，根据摄像图像501更可靠地推定距离。
[0125]
图16表示在上述的第二方式中被输入至统计模型的与局部区域501a有关的信息的一例。
[0126]
例如在提取n像素(x轴方向)
×
m像素(y轴方向)的矩形区域作为局部区域501a的情况下，距离取得部36取得与该局部区域501a的例如中心点对应的摄像图像501上的x坐标值(x坐标数据)和与该局部区域501a的例如中心点对应的摄像图像501上的y坐标值(y坐标数据)。
[0127]
在第二方式中，这样由距离取得部36取得的x坐标数据及y坐标数据与上述的r图像、g图像及b图像的梯度数据一起被输入至统计模型。
[0128]
进而，参照图17，对第三方式进行说明。在第三方式中，不进行如上述的第一方式及第二方式那样的来自摄像图像501的局部区域(图像补片)501a的提取。在第三方式中，距离取得部36例如将与摄像图像501的全部区域(或者规定的区域)有关的信息(r图像、g图像及b图像的梯度数据)输入至统计模型。
[0129]
与按每个局部区域501a推定距离504的第一方式及第二方式相比较，第三方式存在基于统计模型的推定的不确定性变高的可能性，但能够减轻距离取得部36的负荷。
[0130]
在以下的说明中，为了方便，将在上述的第一～第三方式中向统计模型输入的信息称为与图像有关的信息。
[0131]
在此，参照图18，具体说明根据摄像图像来推定的到被摄像体的距离。
[0132]
在图18中，将在被摄体比焦点位置近(位于近前)的情况下产生的模糊的尺寸在x轴上用负值表示，将在被摄体比焦点位置远(位于里侧)的情况下产生的模糊的尺寸在x轴上用正值表示。即，在图18中，以正负的值表示模糊的颜色及尺寸。
[0133]
在图18中，示出了在被摄体的位置比焦点位置近的情况及被摄体的位置比焦点位置远的情况下的任意情况下都是被摄体越远离焦点位置则模糊的尺寸(像素)的绝对值越大这一情况。
[0134]
在图18所示的例子中，假定摄像了图像的光学系统中的焦点位置为约1500mm的情况。在该情况下，例如约-4.8像素的模糊与距光学系统约1000mm的距离对应，0像素的模糊与距光学系统1500mm的距离对应，约4.8像素的模糊与距光学系统约750mm的距离对应。
[0135]
在此，为了方便，对在x轴上表示模糊的尺寸(像素)的情况进行了说明，但如上述的图6～图10中说明的那样，关于在图像中产生的模糊的形状(psf形状)，在该被摄体比焦点位置近的情况与该被摄体比焦点位置远的情况之间不同，且根据图像中的位置也不同。因此，在图18中，x轴上所示的值实际上是反映了该模糊的形状(psf形状)的值。
[0136]
上述的到被摄体的距离与模糊的颜色、尺寸及形状具有由例如图18的线段d1所示那样的相关性，因此，推定距离和推定模糊的颜色、尺寸及形状(以正负进行表示的模糊值)是同义的。
[0137]
另外，与使统计模型直接推定距离的情况相比，使该统计模型推定模糊的颜色、尺寸及形状的情况下，更能够提高基于统计模型的推定的精度。在该情况下，统计模型例如设为，按n像素(x轴方向)
×
m像素(y轴方向)的每个局部区域，将与该局部区域(图像)有关的
信息输入至该统计模型，由此输出将针对构成该局部区域的各像素推定出的模糊的颜色、尺寸及形状(表示的模糊值)排列为n行
×
m列而得到的距离。
[0138]
接着，参照图19的流程图，对从摄像图像取得距离信息时的图像处理装置3的处理顺序的一例进行说明。
[0139]
首先，摄像装置2(图像传感器22)通过连续地摄像被摄体，生成包含该被摄体的多个摄像图像。此外，在摄像装置2的焦点位置被固定的情况下，透射了透镜21的光具有根据到被摄体的距离而不同的点扩散函数(psf)或点像分布函数的响应形状，通过用图像传感器22检测这样的光，由此生成受到摄像装置2的光学系统的像差的影响的摄像图像。
[0140]
显示处理部32将如上述那样在摄像装置2中生成的多个摄像图像依次显示于例如显示设备306，由此进行预览显示(步骤s1)。
[0141]
在此，图20表示在步骤s1中进行预览显示时的图像处理装置3(显示设备306)的画面(以下，表述为预览画面)的一例。
[0142]
如图20所示，在预览画面306a上设置有图像显示区域306b、测距区域选定按钮306c及可靠度确认模式按钮306d。
[0143]
图像显示区域306b是用于依次显示在上述的摄像装置2中生成的多个摄像图像的区域。
[0144]
测距区域选定按钮306c是用于指示在图像显示区域306b中显示的摄像图像中的区域、即取得距离信息的区域(以下，表述为测距区域)的选定的按钮。
[0145]
可靠度确认模式按钮306d是用于指示可靠度确认模式的设定的按钮。
[0146]
在上述的图像显示区域306b显示有摄像图像的状态下由用户按下(指定)了测距区域选定按钮306c的情况下，图20所示的预览画面306a迁移到图21所示的预览画面306e，用户能够在设置于该预览画面306e的图像显示区域306b上进行指定测距区域的操作。
[0147]
具体而言，例如在设置于预览画面306e的图像显示区域306b上显示矩形形状的框306f，用户通过借助输入设备305进行使该框306f的尺寸变化的操作，由此能够将该框306f所包含的区域指定为测距区域。由此，用户能够将包含要取得距离信息的被摄体那样的区域指定为测距区域。
[0148]
再返回到图19，测距区域选定部33根据上述的用户的操作来判定是否选定测距区域(步骤s2)。在步骤s2中，在用户按下了设置在上述预览画面上的测距区域选定按钮的情况下，判定为选定测距区域。
[0149]
在判定为未选定测距区域的情况下(步骤s2的否)，返回到步骤s1，重复进行处理。
[0150]
另一方面，在判定为选定测距区域的情况下(步骤s2的是)，测距区域选定部33将通过上述的用户的操作(例如，使框306f的尺寸变化的操作)指定的区域选定为测距区域。此外，在执行了步骤s2的处理的情况下，测距区域选定部33取得表示在该步骤s2中选定的测距区域的信息(以下，表述为测距区域信息)。测距区域信息包括能够确定由摄像图像上的该测距区域信息表示的测距区域的信息(例如，坐标值等)。
[0151]
此外，在此设为由用户指定的区域被选定为测距区域而进行了说明，但例如也可以构成为在用户进行了对图像显示区域306b(摄像图像)上的位置进行指定的操作的情况下，进行基于该像素的像素值等对与该所指定的位置对应的像素的周围的各个像素进行类别分类的语义分割。在该情况下，能够自动地检测包含与由用户指定的位置对应的特定的
被摄体在内的区域，并将该检测出的区域选定为测距区域。即，在本实施方式中，也可以是将包含基于通过用户的操作而指定的摄像图像中的位置而检测出的被摄体在内的区域选定为测距区域的结构。
[0152]
另外，例如在摄像装置2(测距装置1)具有对特定的被摄体进行对焦的自动对焦(af)功能的情况下，也可以将包含通过该自动对焦功能提取的被摄体在内的区域选择为测距区域。测距区域也可以根据对摄像图像执行的其他图像处理等来选定。
[0153]
另外，在步骤s3中选定的测距区域既可以是1个，也可以是多个。另外，测距区域也可以不是摄像图像中的一部分区域，而是该摄像图像的全部区域。另外，测距区域的形状也可以不是矩形形状，例如可以是圆形形状等。
[0154]
接着，图像取得部34取得在步骤s3中被选定了测距区域的摄像图像(步骤s4)。以下，将在步骤s4中取得的摄像图像称为对象摄像图像。
[0155]
当执行步骤s4的处理时，图像修正部35进行针对对象摄像图像的颜色修正(步骤s5)。
[0156]
以下，对由图像修正部35进行的颜色修正具体地进行说明。另外，在本实施方式中，设为进行白平衡修正来作为颜色修正而进行说明。
[0157]
首先，本实施方式中的对象摄像图像是如上述那样受到光学系统的像差的影响的图像，但已知在该对象摄像图像中表现的颜色根据光源的色温的影响而变化(产生偏差)。另外，色温是表示光源发出的光的颜色的尺度，关于该色温，例如在室外成为光源的太阳光与在室内成为光源的荧光灯之间不同。即，可以说对象摄像图像(中表现的颜色)受到摄像装置2的周围的环境的影响。进而，在摄像图像中表现的颜色例如也根据图像传感器22(第一～第三传感器221～223)的特性(传感器rgb特性)而变化。
[0158]
具体而言，图22所示的白色点的psf(点扩散函数)表现为透镜特性h(λ)
×
物体表面反射光s(λ)，rgb(即，彩色图像所包含的r图像、g图像及b图像)的像素值一致。然而，如图22所示，白点的psf受光源e(λ)及传感器rgb特性(传感器灵敏度)qc(λ)的影响，因此在对象摄像图像中，观察到依赖于由透镜特性h(λ)
×
物体表面反射光s(λ)
×
光源e(λ)
×
传感器rgb特性qc(λ)而表示的环境的psf。另外，图22所示的光源e(λ)表示来自光源的光的波长(λ)的光谱特性，图22所示的传感器rgb特性qc(λ)表示rgb图像中的像素值的最大值的比。
[0159]
即，如果没有光源和传感器rgb特性的影响，则应该得到rgb像素值一致的白色点的psf的结果，在对象摄像图像中，观察到rgb像素值产生偏差的psf(即依赖于环境的psf)。
[0160]
如上所述，在对象摄像图像中，颜色由于光源的色温、传感器rgb特性而产生偏差，观察到依赖于环境的psf，但在从这样的对象摄像图像取得距离(信息)的情况下，存在该距离的精度低下的情况。具体而言，例如，若设为即使是相同的颜色也根据光源的色温、传感器rgb特性而显示(表现)不同的颜色，则难以取得(推定)精度高的距离。在这样的情况下，为了提高距离的精度，例如考虑生成学习了对由光源的色温、传感器rgb特性带来的影响加以考虑的全部颜色(颜色变化)的模糊的统计模型，但这样的学习需要巨大的劳力，因此难以提高从图像取得距离时的环境鲁棒性。
[0161]
因此，在本实施方式中，如图23所示，计算针对对象摄像图像(依赖于环境的psf)的修正系数，使用该修正系数进行恢复上述的白色psf这样的修正，由此吸收由光源的色温等带来的影响，减少在对象摄像图像中表现的颜色的数量(颜色变化)。另外，修正系数例如
相当于为了使彩色图像中表现的灰色那样的颜色成为白色而与该彩色图像所包含的r图像、g图像及b图像相乘的增益值(gain(r，g，b))。
[0162]
另外，上述的白平衡修正以对象摄像图像中包含的预先确定的区域为单位进行。在该情况下，针对对象摄像图像(测距区域)所包含的每个像素，基于包含该像素的预先确定的尺寸的区域(以下，表述为单位区域)所包含的多个像素各自的像素值来计算修正系数。
[0163]
在此，对图24所示那样的针对对象摄像图像501所包含的像素pi计算出的修正系数进行说明。
[0164]
首先，图像修正部35确定包含像素pi在内的预先确定的尺寸的单位区域ai。在该情况下，例如确定出像素pi位于中央的矩形形状的单位区域ai，但既可以确定出该像素pi位于角部的单位区域ai，也可以确定出矩形形状以外的形状的单位区域ai。
[0165]
接着，图像修正部35从对象摄像图像501取得所确定的单位区域ai所包含的多个像素各自的像素值。该单位区域ai中包含的多个像素中也包含像素pi。此外，在如上述那样对象摄像图像501是彩色图像的情况下，由图像修正部35取得的像素值分别包含该彩色图像所包含的r图像的像素值、g图像的像素值及b图像的像素值。
[0166]
图像修正部35基于所取得的多个像素各自所包含的r图像的像素值，计算该r图像的像素值的平均值(以下，表述为r图像的平均像素值)。同样地，图像修正部35基于所取得的多个像素各自所包含的g图像的像素值，计算该g图像的像素值的平均值(以下，表述为g图像的平均像素值)。进而，图像修正部35基于所取得的多个像素各自所包含的b图像的像素值，计算该b图像的像素值的平均值(以下，表述为b图像的平均像素值)。
[0167]
进而，图像修正部35确定计算出的r图像的平均像素值、g图像的平均像素值及b图像的平均像素值中的最大值(以下，表述为rgb平均像素值的最大值)。
[0168]
在该情况下，针对像素pi的修正系数通过以下的式(1)来计算。
[0169]
[数式1]
[0170][0171]
另外，在式(1)中，gain(r，g，b)表示针对像素pi(r图像、g图像及b图像各自的像素值)的修正系数(增益值)。r
ave
表示r图像的平均像素值，g
ave
表示g图像的平均像素值，b
ave
表示b图像的平均像素值。另外，max(r
ave
，g
ave
，b
ave
)表示rgb平均像素值的最大值。
[0172]
即，在本实施方式中，rgb平均像素值的最大值除以r图像的平均像素值而得到的值是针对像素pi的像素值所包含的r图像的像素值而言的修正系数(以下，表述为gain(r))。另外，rgb平均像素值的最大值除以g图像的平均像素值而得到的值是针对像素pi的像素值所包含的g图像的像素值而言的修正系数(以下，表述为gain(g))。另外，rgb平均像素值的最大值除以b图像的平均值而得到的值是针对像素pi的像素值所包含的b图像的像素值而言的修正系数(以下，表述为gain(b))。
[0173]
在如上述那样计算出针对像素pi的修正系数的情况下，使用该修正系数来修正该像素pi的像素值。具体而言，当将像素pi的像素值所包含的r图像的像素值、g图像的像素值及b图像的像素值设为pi(r，g，b)，将进行了白平衡修正后的像素pi的像素值设为pi′
(r，g，
b)时，pi′
(r，g，b)由以下的式(2)来计算。
[0174]
[数式2]
[0175]
pi
′
＝pi(r,g,b)
×
gain(r,g,b)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式(2)
[0176]
即，当进行白平衡修正时，像素pi的像素值pi(r，g，b)被修正像素值pi′
(r，g，b)，该像素值pi′
(r，g，b)包含通过将像素pi的像素值所包含的r图像的像素值乘以gain(r)而得到的值、通过将像素pi的像素值所包含的g图像的像素值乘以gain(g)而得到的值、通过将像素pi的像素值所包含的b图像的像素值乘以gain(b)而得到的值。
[0177]
在此，关于对象摄像图像501所包含的像素pi进行了说明，但关于该对象摄像图像501所包含的其他像素也执行同样的处理。
[0178]
另外，如上述那样被修正像素值的像素至少是测距区域所包含的像素，但也可以对对象摄像图像所包含的全部像素的像素值进行修正。
[0179]
另外，在此，设为单位区域是包含对像素值进行修正的像素在内的对象摄像图像的一部分区域进行了说明，但单位区域也可以是对象摄像图像的整体的区域。
[0180]
此外，例如在颜色变化丰富的图像是对象摄像图像那样的情况下，以微小的区域为单位区域更能够进行有效的白平衡修正。然而，在本实施方式中，由于是将在对象摄像图像中产生的模糊作为物理的线索来取得(推定)到被摄体的距离的结构，因此，优选将对光学系统的像差与到被摄体的距离之间的关系不造成影响(即，不使模糊的颜色等变化)的区域设为单位区域。另外，对光学系统的像差与到被摄体的距离之间的关系不造成影响的区域例如包括包含在对象摄像图像中产生的模糊在内的尺寸的区域，但在执行上述的步骤s5的处理的时刻，到测距区域所包含的被摄体的距离(即，模糊的尺寸)不明，因此例如将能够包含在该对象摄像图像(测距区域)中可能产生的模糊在内的程度的尺寸的区域作为单位区域。另外，由于在对象摄像图像中产生的模糊具有位置依赖性，因此单位区域的尺寸例如也可以基于测距区域的位置等来确定。
[0181]
再返回到图19，距离取得部36基于上述测距区域信息及步骤s5中进行了白平衡修正(颜色修正)后的对象摄像图像，取得表示到测距区域所包含的被摄体的距离的距离信息(步骤s6)。
[0182]
在该情况下，距离取得部36将与由测距区域信息所示的测距区域有关的信息(梯度数据)输入至保存在统计模型保存部31中的统计模型。由此，在统计模型中推定到测距区域中的被摄体的距离，该统计模型输出该推定出的距离。此外，到被摄体的距离是按构成测距区域的每个像素而被推定并被输出的。由此，距离取得部36能够取得距离信息，该距离信息表示从统计模型输出的距离。
[0183]
在此，例如如图25所示，统计模型在根据与摄像图像(对象摄像图像)501有关的信息推定距离504时，有时按每个像素来计算该推定的不可靠度的程度(以下，表述为不可靠度)601，并将该不可靠度601与距离504一起输出。该不可靠度601的计算方法不限定于特定的方法，能够应用已知的各种方法。
[0184]
在该情况下，距离取得部36将不可靠度与在步骤s6中取得的距离信息一起取得(步骤s7)。
[0185]
但是，在用户进行了将在上述图20所示的预览画面306a中设置的可靠度确认模式按钮306d按下的操作的情况下，可靠度确认模式设定部37设定可靠度确认模式。此外，用户
进行将可靠度确认模式按钮306d按下的操作的定时例如既可以是在上述的步骤s1中进行了预览显示的定时，也可以是例如执行了步骤s7的处理后。在由可靠度确认模式设定部37设定了可靠度确认模式的情况下，表示设定了该可靠度确认模式这一情况的信息(以下，表述为可靠度确认模式设定标记)被保持在图像处理装置3的内部。
[0186]
当执行上述步骤s7时，基于上述的可靠度确认模式设定标志，判定是否设定了可靠度确认模式(步骤s8)。
[0187]
在判定为设定了可靠度确认模式的情况下(步骤s8的是)，通过显示处理部32对在步骤s7中取得的不可靠度进行预览显示(步骤s9)。
[0188]
在该情况下，上述的图21所示的预览画面306e迁移到图26所示的预览画面306g。
[0189]
如图26所示，在预览画面306g中设置的图像显示区域306b中，如上所述按每个像素计算出的不可靠度作为可靠度而被重叠显示在对象摄像图像上。
[0190]
此外，在本实施方式中针对特定的像素计算出的不可靠度高的情况下，表示到与该特定的像素对应的被摄体的距离的可靠度低。另一方面，在针对特定的像素计算出的不可靠度低的情况下，表示到与该特定的像素对应的被摄体的距离的可靠度高。
[0191]
另外，在图像显示区域306b中，不可靠度以与该不可靠度对应的不同的颜色显示。由此，用户能够直观地掌握在对象摄像图像上显示的不可靠度(可靠度)。
[0192]
另外，不可靠度例如既可以通过与该不可靠度对应的颜色的浓淡等来表示，也可以通过对测距区域或者该测距区域所包含的被摄体的轮廓(边缘部)实施加工(例如，变更轮廓的粗细)来进行显示。另外，不可靠度既可以仅作为数值等显示，也可以以其他形式显示。
[0193]
在此，在预览画面306g中还设置有决定按钮306h及再次执行按钮306i。决定按钮306h是用于指示将在步骤s6中取得的距离信息输出的按钮。再次执行按钮306i是用于指示将距离信息的取得再次执行的按钮。
[0194]
用户参照如上述那样显示了不可靠度(可靠度)的预览画面306g(图像显示区域306b)，在能够判断为到测距区域所包含的被摄体的距离的可靠度高(即，不可靠度低)的情况下，进行按下决定按钮306h的操作(即，指示将距离信息输出的操作)。另一方面，用户在能够判断为到测距区域所包含的被摄体的距离的可靠度低(即，不可靠度高)的情况下，进行按下再次执行按钮306i的操作(即，指示再次执行距离信息的取得的操作)。
[0195]
在该情况下，距离取得部36根据用户的操作来判定是否将在步骤s6中取得的距离信息输出(步骤s10)。在步骤s10中，在上述预览画面306g中进行了按下决定按钮306h的操作的情况下判定为输出距离信息，在进行了按下再次执行按钮306i的操作的情况下判定为不输出距离信息。
[0196]
在判定为输出距离信息的情况下(步骤s10的是)，输出部38输出在步骤s6中取得的距离信息(步骤s11)。在该情况下，输出部38能够将距离信息作为与对象摄像图像中的测距区域在位置上建立对应地配置的映射形式的图像数据(由将由距离信息表示的距离设为像素值的像素构成的图像数据)而输出。此外，距离信息既可以仅作为数值等输出，也可以以其他形式输出。
[0197]
另外，距离信息既可以显示于上述预览画面，也可以显示于与该预览画面不同的画面。并且，距离信息例如也可以与对象摄像图像组合显示。另外，距离信息也可以保存在
图像处理装置3内部或外部的服务器装置等中。
[0198]
另一方面，在判定为不输出距离信息的情况下(步骤s10的否)，返回到步骤s5重复进行处理。在该情况下，在上述的步骤s5中变更进行了白平衡修正(在修正系数的计算中使用的)单位区域的尺寸，再次执行步骤s5的处理。
[0199]
在此，如上述那样进行白平衡修正的单位区域优选为不对光学系统的像差与到被摄体的距离之间的关系造成影响(即，不使模糊的颜色等变化的)的区域，但在执行上述步骤s5的处理的时刻，到被摄体的距离(即，模糊的尺寸)不明，因此在该步骤s5中，将能够包含在摄像图像(测距区域)中可能产生的模糊在内的程度的尺寸的区域作为单位区域进行白平衡修正。与此相对，在再次执行的步骤s5的处理中，通过执行上述的步骤s6的处理，根据统计模型来推定模糊的尺寸。因此，在再次执行的步骤s5中，将包含由统计模型推定出的模糊(即，根据到测距区域所包含的被摄体为止的距离而产生的模糊)的尺寸的区域设为单位区域。由此，能够在适合于实际在对象摄像图像中产生的模糊的尺寸的单位区域(微小的区域)进行更有效的白平衡修正，因此能够期待在之后再次执行的步骤s6中取得表示不可靠度低(即，可靠度高)的距离的距离信息。
[0200]
即，在本实施方式中，在重复执行步骤s5的处理的情况下，以不可靠度(或推定出可靠性低的距离的像素的比例)减少的方式计算修正系数(即，单位区域被变更)。
[0201]
在此，设为在进行了按下再次执行按钮306i的操作的情况下返回到步骤s5执行处理而进行了说明，但在进行了按下该再次执行按钮306i的操作的情况下，例如也可以返回到步骤s3再次选定不同的测距区域。
[0202]
另外，在本实施方式中，主要说明了在统计模型保存部31中保存有1个统计模型，但在该统计模型保存部31中也可以保存有多个统计模型。具体而言，如上所述，由于透镜的类别，特别是图像的端部附近的psf形状大不相同，所以在使用不考虑该透镜的类别而生成的1个统计模型来取得距离信息的结构中，有时从图像取得的距离的精度低下。因此，统计模型保存部31可以保存有例如每个透镜的统计模型。在这样的结构的情况下，也可以在如上述那样进行了按下再次执行按钮306i的操作时，将在上述的步骤s6的处理中使用的统计模型变更为例如与由透镜信息(透镜21的规格值)确定的透镜21对应的统计模型。此外，在这样变更统计模型的情况下，例如也可以利用通过解析对象摄像图像而得到的像差映射等。在该情况下，通过将像差映射和适于得到该像差映射的图像的统计模型预先建立对应，由此能够变更为与通过解析对象摄像图像而得到的像差映射对应的统计模型。另外，统计模型也可以根据在步骤s6中取得的距离信息而变更。
[0203]
例如，变更为通过得到了一次距离信息的以包含模糊尺寸的单位区域进行了颜色修正后的图像进行了学习后的统计模型。
[0204]
另外，虽然在图19中未示出，但在如上述那样变更统计模型的情况下，也可以不变更单位区域(修正系数)而执行步骤s6以后的处理。
[0205]
另一方面，在步骤s8中判定为未设定可靠度确认模式的情况下(步骤s8的否)，不执行步骤s9及s10的处理，执行步骤s11的处理。在该情况下，例如也可以仅输出在步骤s6中取得的距离信息中的对不可靠度为阈值以下(可靠度为阈值以上)的距离进行表示的距离信息(即，丢弃表示不可靠度为阈值以下的距离的距离信息)，但也可以将在该步骤s6中取得的距离信息全部输出。
[0206]
根据上述的图19所示的处理，基于用户的操作来选定测距区域，在对于对象摄像图像进行了白平衡修正之后，使用统计模型来取得距离信息及不可靠度，并在预览画面中显示不可靠度(可靠度)，但这样的一系列动作也可以交互地进行。例如，在图像处理装置3(测距装置1)由智能手机等实现的情况下，用户能够进行如下操作：一边参照预览画面一边指定测距区域，在该测距区域所包含的距离的可靠度低的情况下再次取得距离信息，并在得到期望的距离信息的时刻将该距离信息输出。
[0207]
此外，在本实施方式中，设为根据用户对预览画面(图像显示区域)的操作来选定测距区域而进行了说明，但该测距区域既可以不依赖于用户的操作而设为摄像图像的整体的区域，也可以设为包含通过图像处理自动地提取出的被摄体在内的区域。在该情况下，可以设为图1所示的测距区域选定部33被省略的结构，图19所示的步骤s2及s3的处理也可以被省略。
[0208]
进而，在本实施方式中，设为根据用户的操作来设定可靠度确认模式而进行了说明，但也可以进行始终设定有可靠度确认模式的动作或者始终未设定可靠度确认模式的动作。在该情况下，也可以设为图1所示的可靠度确认模式设定部37被省略的结构。另外，在进行始终设定有可靠度确认模式的动作的情况下，省略图19所示的步骤s8的处理。另一方面，在进行始终未设定可靠度确认模式的动作的情况下，省略图19所示的s8～s10的处理。
[0209]
另外，在本实施方式中，对统计模型被构建(生成)为计算不可靠度的情况进行了说明，但该统计模型也可以构建为在推定到被摄体的距离时不计算不可靠度。在该情况下，例如能够省略图19所示的步骤s7～s10的处理。
[0210]
进而，在本实施方式中，假定了用户一边参照预览画面一边对图像处理装置3(测距装置1)进行操作的使用方式，但本实施方式也可以构成为执行不进行预览显示、而仅输出对到由摄像装置2摄像到的摄像图像所包含的被摄体的距离进行表示的距离信息的、更简单的处理。在该情况下，只要执行图19所示的步骤s4～s6及s11的处理即可。
[0211]
如上所述，在本实施方式中，能够使用统计模型来从摄像图像取得到被摄体的距离，但该统计模型通过执行学习处理而生成。
[0212]
以下，对用于生成统计模型的学习处理(以下，简单表述为统计模型的学习处理)进行说明。图27表示本实施方式中的统计模型的学习处理(学习方法)的一例。在此，对使用了由摄像装置2摄像到的图像的统计模型的学习处理进行说明，但该统计模型的学习处理也可以使用例如由具有与摄像装置2的光学系统相同的光学系统的其他设备(相机等)摄像到的图像来进行。
[0213]
另外，在上述的说明中，为了取得距离信息而将由摄像装置2摄像到的图像作为摄像图像，但在本实施方式中，为了方便地将统计模型学习根据距离而非线性地变化的模糊所用的图像称为学习用图像。
[0214]
在使用参照上述的图13说明的第一方式、参照图15说明的第二方式、参照图17说明的第三方式的任意方式的情况下，统计模型的学习处理基本上通过将与学习用图像701有关的信息输入至统计模型，并将由该统计模型推定出的距离(距离信息)702与正确值703的误差反馈到该统计模型来进行。另外，反馈是指更新统计模型的参数(例如权重系数)以使误差减少。
[0215]
在应用第一方式作为上述的根据摄像图像来推定距离的方式的情况下，在统计模
型的学习处理时也是，按从学习用图像701提取出的每个局部区域(图像补片)，将与该局部区域有关的信息(梯度数据)输入至统计模型，通过该统计模型来推定各局部区域内的各像素的距离702。通过将这样推定出的距离702与正确值703进行比较而得到的误差被反馈到统计模型。
[0216]
同样地，在应用第二方式作为根据摄像图像来推定距离的方式的情况下，在统计模型的学习处理时也是，按从学习用图像701提取出的每个局部区域(图像补片)，将梯度数据及位置信息作为与该局部区域有关的信息而输入至统计模型，通过该统计模型来推定各局部区域内的各像素的距离702。通过将这样推定出的距离702与正确值703进行比较而得到的误差被反馈到统计模型。
[0217]
另外，在应用第三方式作为根据摄像图像来推定距离的方式的情况下，在统计模型的学习处理时也是，与学习用图像701的全部区域有关的信息(梯度数据)一并被输入至统计模型，通过该统计模型来推定该学习用图像701内的各像素的距离702。通过将这样推定出的距离702与正确值703进行比较而得到的误差被反馈到统计模型。
[0218]
另外，在如上述那样与学习用图像701有关的信息被输入至统计模型的情况下，与在上述的图25中说明的情况同样地，计算相对于距离702而言的不可靠度602。在该情况下的统计模型的学习处理中，反馈将距离702与正确值703的误差除以不可靠度602的平方而得到的误差。在该情况下，在将不可靠度602设为无限大时，误差成为零，因此将不可靠度602的平方作为补偿(penalty)与误差相加。
[0219]
根据上述的统计模型的学习处理，以通过不可靠度602对距离702与正确值703的误差进行修正而得到的值减少的方式来更新统计模型的参数(例如权重系数)。
[0220]
在此，例如在由统计模型推定出的距离702与正确值703的误差不存在、另一方面不可靠度602高的情况下，能够推测出该距离702有可能偶然被推定出。在该情况下，能够识别出距离702(正确值703)的学习不足。
[0221]
在这样使用了由统计模型计算出的不可靠度的情况下，还能够减少学习的偏差。
[0222]
另外，本实施方式中的统计模型例如通过重复执行使用在将焦点位置固定的状态下一边使从摄像装置2到被摄体的距离变化一边摄像到的学习用图像的学习处理来生成。另外，在针对1个焦点位置的学习处理完成的情况下，对于其他焦点位置也同样地执行学习处理，由此能够生成精度更高的统计模型。
[0223]
另外，在上述的图18中说明了推定距离与推定模糊的颜色、尺寸及形状是同义的，但在统计模型的学习时将与学习用图像有关的信息输入至统计模型的情况下，将与摄像到该学习用图像时的到被摄体的实际的距离对应的模糊的颜色、尺寸及形状(以正负进行表示的模糊值)用作正确值。根据进行了这样的学习的统计模型，作为到图像中的被摄体的距离而输出上述的模糊值。
[0224]
接着，参照图28的流程图，对生成在本实施方式的图像处理装置3中使用的统计模型的处理(即，统计模型的学习处理)的处理顺序的一例进行说明。另外，图28所示的处理既可以在例如图像处理装置3中执行，也可以在其他装置等中执行。
[0225]
首先，取得预先准备的学习用图像(步骤s21)。该学习用图像例如是基于透射了摄像装置2所具备的透镜21的光由图像传感器22生成的图像，而且是受到摄像装置2的光学系统(透镜21)的像差的影响的图像。具体而言，在学习用图像中，产生图4～图10中说明的根
据到被摄体的距离而非线性地变化的模糊。
[0226]
另外，在统计模型的学习处理中，预先准备从在图像处理装置3中能够取得(推定)的距离的下限值(近前)到上限值(里侧)为止以尽可能细的粒度、以各距离对被摄体摄像而得到的学习用图像。另外，作为学习用图像，优选准备被摄体不同的各种图像。
[0227]
在此，在本实施方式中，从如上述那样进行了颜色修正(白平衡修正)的摄像图像取得到被摄体的距离(予以表示的距离信息)。因此，对在步骤s1中取得的学习用图像也同样地进行颜色修正(步骤s22)。另外，步骤s22的处理不是必须的，但为了提高在上述的统计模型中推定的距离的精度，优选对学习用图像也进行颜色修正。步骤s22的处理是与上述图19所示的步骤s5的处理相同的处理，因此在此省略其详细说明。
[0228]
当执行步骤s22的处理时，与在该步骤s22中进行了颜色修正后的学习用图像有关的信息被输入至统计模型(步骤s23)。
[0229]
在应用上述的第一方式作为根据摄像图像来推定距离的方式的情况下，作为与学习用图像有关的信息，按该学习用图像的每个局部区域，将r图像、g图像及b图像的梯度数据输入至统计模型。
[0230]
在应用上述的第二方式作为根据摄像图像来推定距离的方式的情况下，作为与学习用图像有关的信息，按学习用图像的每个局部区域，将r图像、g图像及b图像的梯度数据与该局部区域的学习用图像上的位置信息输入至统计模型。
[0231]
在应用上述的第三方式作为根据摄像图像来推定距离的方式的情况下，作为与学习用图像有关的信息，将该学习用图像的全部区域的量的r图像、g图像及b图像的梯度数据输入至统计模型。
[0232]
另外，在本实施方式中，设为将r图像、g图像及b图像的梯度数据输入至统计模型而进行了说明，但在从上述的学习用图像中产生的模糊的形状(psf形状)的观点出发来推定距离的情况下，只要将r图像、g图像及b图像的梯度数据中的至少1个梯度数据输入至统计模型即可。另一方面，在从因色差而在学习用图像中产生的模糊的颜色及尺寸的观点来推定距离的情况下，只要将r图像、g图像及b图像的梯度数据中的至少2个梯度数据输入至统计模型即可。另外，在使用2色的梯度数据的情况下，也可以进行使该2色成为相同的平衡的颜色修正。根据这样的结构，能够有助于处理成本的削减。
[0233]
当对统计模型输入与学习用图像有关的信息时，通过统计模型来推定到被摄体的距离(步骤s24)。在该情况下，通过统计模型，从该学习用图像中提取在学习用图像中产生的模糊，并推定与该模糊对应的距离。
[0234]
另外，当执行步骤s24的处理时，统计模型计算相对于在该步骤s24中推定出的距离而言的不可靠度(步骤s25)。
[0235]
在步骤s24中推定出的距离与在摄像用图像的摄像时得到的正确值进行比较(步骤s26)。
[0236]
步骤s25中的比较结果(误差)被使用在步骤s25中计算出的不可靠度进行修正，并被反馈到统计模型(步骤s27)。由此，在统计模型中，以使误差减少的方式更新参数(即，在学习用图像中产生的模糊被学习)。
[0237]
通过针对每个学习用图像重复执行上述图28所示的处理，由此生成学习了模糊的统计模型，该模糊根据到该学习用图像中的被摄体的距离而非线性地变化。这样生成的统
计模型被保存在图像处理装置3所包含的统计模型保存部31中。
[0238]
在此，对1个统计模型的学习处理进行了说明，但在统计模型保存部31中预先存储每个透镜的统计模型(即，多个统计模型)的情况下，例如只要针对每个该透镜(使用该透镜摄像的学习用图像)执行上述的图28所示的处理即可。
[0239]
如上所述，在本实施方式中，取得受到光学系统的像差的影响的摄像图像(第二图像)，对该摄像图像进行降低在该摄像图像中表现的颜色的数量(即，颜色变化)的颜色修正，将进行了该颜色修正后的摄像图像(第三图像)输入至统计模型，取得对到该摄像图像中的被摄体的距离进行表示的距离信息(第一距离信息)。
[0240]
由摄像装置2摄像到的摄像图像受到光源的色温(即，摄像装置2的周围的环境)等的影响，但在本实施方式中，通过上述的结构，通过减少摄像图像的颜色变化，从而能够提高从该摄像图像取得的距离(在统计模型中推定的距离)的精度及从该摄像图像取得距离时的环境鲁棒性。
[0241]
另外，在本实施方式中，由于是从对因光源的色温等的影响而变化的颜色(即，像素值)进行了修正后的摄像图像取得表示到被摄体的距离的距离信息的结构，因此不需要对考虑了光源的色温等的影响的全部颜色(颜色变化)的模糊进行学习，能够减轻统计模型的学习处理所带来的负担。
[0242]
另外，在本实施方式中，以摄像图像中包含的预先确定的尺寸的区域(第一区域)为单位进行白平衡修正，但由于本实施方式是将在摄像图像中产生的模糊作为与到被摄体的距离有关的物理性的线索来推定(取得)该距离的结构，因此进行该白平衡修正的区域(单位区域)优选是对光学系统的像差与到被摄体的距离之间的关系性不造成影响的区域。对光学系统的像差与到被摄体的距离之间的关系性不造成影响的区域例如是至少包含根据到被摄体的距离而产生的模糊在内的尺寸的区域。由此，通过进行白平衡修正，不会使模糊的颜色变化，因此能够抑制该白平衡修正成为使距离的精度降低的主要原因。
[0243]
另外，在本实施方式中，例如基于包含第一像素的单位区域所包含的多个第二像素的像素值来计算针对该第一像素的修正系数(第一修正系数)，使用该修正系数进行针对第一像素的像素值而言的颜色修正(白平衡修正)，由此能够按构成摄像图像的每个像素(测距区域所包含的像素)适当地修正像素值。
[0244]
进而，在本实施方式中在设定有可靠度确认模式的情况下，根据基于相对于由统计模型推定出的距离而言的不可靠度(不可靠度的程度)的用户的操作，以在尺寸与进行了白平衡修正时的单位区域(第一区域)不同的单位区域(第二区域)再次进行白平衡修正。根据这样的结构，存在能够取得表示精度更高(不可靠度低)的距离的距离信息的可能性。
[0245]
另外，在本实施方式中，设为例如将包含由统计模型推定出的模糊的尺寸在内的尺寸的区域作为单位区域再次进行白平衡修正而进行了说明，但该单位区域只要以不可靠度减少的方式进行变更即可。在该情况下，也可以是一边任意地变更单位区域，一边重复进行处理直到不可靠度减少(例如，用户进行将在预览画面设置的决定按钮按下的操作)为止的结构。
[0246]
另外，用户参照由从被再次进行了白平衡修正后的摄像图像(第四图像)取得的距离信息(第二距离信息)所表示的距离的不可靠度(第二不可靠度)，在该不可靠度低的情况下，根据基于该不可靠度的用户的操作，输出该所取得的距离信息。根据这样的结构，能够
输出用户希望的距离信息(例如，表示不可靠度低的距离的距离信息)。
[0247]
此外，在未设定上述的可靠度确认模式的情况下，也可以构成为仅将不可靠度为阈值以下的距离信息输出(即，将不可靠度不为阈值以下的距离信息丢弃)。
[0248]
进而，在本实施方式中，选定摄像图像中的测距区域(第三区域)，对该测距区域进行颜色修正，取得对到该测距区域中的被摄体的距离进行表示的距离信息，由此能够输出用户希望的对到被摄体的距离进行表示的距离信息。在这种情况下，可以是通过用户的操作所指定的区域被选定为测距区域，也可以包含基于由该用户的操作所指定的摄像图像中的位置而检测的被摄体在内的区域被选定为测距区域。
[0249]
此外，在本实施方式中，主要对作为颜色修正而进行白平衡修正的情况进行了说明，但本实施方式只要是进行将与包含上述光源的色温等在内的摄像装置2的周边的环境相应地在摄像图像中产生的颜色变化降低那样的颜色修正的结构即可。
[0250]
(第二实施方式)
[0251]
接着，对第二实施方式进行说明。另外，在本实施方式中，省略与前述的第一实施方式相同的部分的详细说明，主要对与该第一实施方式不同的部分进行说明。
[0252]
图29表示包含本实施方式的图像处理装置的测距系统的结构的一例。在图29中，对与上述的图1相同的部分标注相同的附图标记并省略其详细的说明，对与该图1不同的部分进行说明。
[0253]
如图29所示，本实施方式的图像处理装置3与该第一实施方式的不同点在于，代替在上述的第一实施方式中说明的可靠度确认模式设定部37而包含评价部39。
[0254]
另外，本实施方式的图像处理装置3具有上述的图2所示的硬件结构，评价部39的一部分或全部通过使cpu301(即，图像处理装置3的计算机)执行图像处理程序303a、即通过软件实现。另外，评价部39的一部分或者全部既可以通过ic(integrated circuit：集成电路)等硬件来实现，也可以通过软件及硬件的组合来实现。
[0255]
评价部39基于在前述的第一实施方式中说明的不可靠度，对由距离取得部36取得的距离信息进行评价。在本实施方式中，基于评价部39的评价结果，再次进行图像修正部35的颜色修正。
[0256]
接着，参照图30的流程图，对从摄像图像取得距离信息时的图像处理装置3的处理顺序的一例进行说明。
[0257]
首先，执行与上述的图19所示的步骤s1～s3的处理相当的步骤s31～s33的处理。
[0258]
在此，当执行步骤s33的处理时，例如根据用户的操作来设定不可靠度的阈值(步骤s34)。
[0259]
当执行步骤s33的处理时，执行与图19所示的步骤s4～s7的处理相当的步骤s35～s38的处理。
[0260]
接着，评价部39为了评价由距离取得部36取得的距离信息，判定在步骤s38中取得的不可靠度是否为在步骤s34中设定的阈值以下(步骤s39)。
[0261]
此外，在上述步骤s38中，取得相对于测距区域所包含的每个像素所推定出的距离而言的不可靠度(即，每个像素的不可靠度)，但在步骤s39中，例如判定该测距区域所包含的多个像素的不可靠度的代表值(例如平均值等)是否为阈值以下。
[0262]
在判定为不可靠度(的代表值)不是阈值以下的情况下(步骤s39的否)，返回到步
骤s36重复进行处理(即，再次执行步骤s36的处理)。另外，该再次执行的步骤s36的处理与在前述的图19中说明的再次执行的步骤s5的处理相同，因此在此省略其详细的说明。
[0263]
另一方面，在判定为不可靠度(的代表值)为阈值以下的情况下(步骤s39的是)，执行与上述的图19所示的步骤s11的处理相当的步骤s40的处理。
[0264]
在上述的第一实施方式中，根据参照(确认)了不可靠度(可靠度)的用户的操作来输出距离信息，但如上所述，在本实施方式中，在不可靠度不为由用户设定的阈值以下的情况下再次进行白平衡修正，在该不可靠度为该阈值以下的情况下自动地输出距离信息。根据这样的结构，能够与从图像取得的距离的精度及从该图像取得距离时的环境鲁棒性一起，进一步得到用户期望的可靠度的距离信息，因此还能够提高实用性。
[0265]
此外，在上述的图30所示的步骤s38中，设为判定构成测距区域的每个像素的不可靠度的代表值是否为阈值以下进行了说明，但例如也可以判定相对于构成测距区域的全部像素而言的不可靠度为第一阈值以下的像素的比例是否为第二阈值以上。根据这样的结构，在相对于测距区域所包含的全部像素而言的不可靠度为第一阈值以下的像素的比例不为第二阈值以上的情况下，返回到步骤s35重复进行处理，在相对于测距区域所包含的全部像素而言的不可靠度为第一阈值以下的像素的比例为第二阈值以上的情况下，执行步骤s39的处理。
[0266]
另外，步骤s38的处理例如也可以以将测距区域分割的小区域(以下，表述为分割区域)为单位来执行。具体而言，对每个分割区域执行步骤s38的处理，仅针对被判定为不可靠度不为阈值以下的分割区域返回到步骤s35而重复进行处理。根据这样的结构，能够在分割了测距区域而得到的分割区域单位中一边参照不可靠度一边进行最优的白平衡修正，将该分割区域单位的结果(距离信息)合并后输出。
[0267]
进而，在图30所示的处理中，例如也可以将步骤s35～s37的处理重复执行预先决定的次数，在步骤s38中判定该处理是否执行了预先确定的次数。在该情况下，通过执行预先决定的次数的步骤s35～s37的处理来取得多个距离信息，但在步骤s39中，输出该多个距离信息中的不可靠度最小的距离信息。根据这样的结构，存在能够输出表示精度更高的距离的距离信息的可能性。
[0268]
另外，本实施方式与上述的第一实施方式同样，可以是不进行预览显示的结构，也可以是省略了测距区域选定部33的结构。
[0269]
(应用例)
[0270]
以下，对应用具有上述的第一实施方式及第二实施方式那样的结构的测距系统1的应用例进行说明。在此，为了方便，对测距系统1作为具备与图1及图29所示的摄像装置2相当的摄像部、与图像处理装置3相当的图像处理部的1个装置(测距装置)来实现的情况进行说明。在以下的附图中，设为测距装置1具备摄像部2及图像处理部3来进行说明。
[0271]
图31表示组装有测距装置1的移动体800的功能结构的一例。移动体800例如能够作为具有自动驾驶功能的汽车、无人飞行器、自主型的移动机器人等来实现。无人飞行器是人无法乘坐的飞机、旋翼航空器、滑翔机、飞艇，能够通过远程操作或自动操纵来飞行，例如包括无人机(多轴直升机)、无线电接收机、农药散布用直升机等。自主型的移动机器人包括无人搬运车(agv：automated guided vehicle)这样的移动机器人、用于对地面进行清扫的清扫机器人、对参观者进行各种引导的交流机器人等。在移动体800中，不仅包括机器人主
体移动的机器人，还包括机械臂那样的具有使机器人的一部分移动或旋转的驱动机构的工业用机器人等。
[0272]
如图31所示，移动体800例如具有测距装置1、控制信号生成部801及驱动机构802。测距装置1例如设置为摄像部2能够对移动体800或其一部分的行进方向的被摄体进行摄像。
[0273]
如图32所示，在移动体800为汽车800a的情况下，测距装置1被设置为摄像前方的所谓的前置摄像头。此外，测距装置1也可以设置为在倒车时摄像后方的所谓的后置摄像头。另外，也可以设置多个测距装置1作为前置摄像头及后置摄像头。进而，测距装置1也可以兼具作为所谓的行车记录仪的功能而设置的装置。即，测距装置1也可以是录像设备。
[0274]
图33示出移动体800是无人机800b的情况的例子。无人机800b具备相当于驱动机构802的无人机主体811和4个螺旋桨部812～815。各螺旋桨部812～815具有螺旋桨和马达。通过将马达的驱动传递至螺旋桨，该螺旋桨旋转，利用基于该旋转的升力使无人机800b上浮。在无人机主体811的例如下部搭载有测距装置1。
[0275]
另外，图34表示移动体800为自主型的移动机器人800c的情况的例子。在移动机器人800c的下部设置有相当于驱动机构802的、包括马达、车轮等的动力部821。动力部821控制马达的转速、车轮的朝向。移动机器人800c通过传递马达的驱动，从而设置于路面或者地面的车轮旋转，通过控制该车轮的朝向，能够向任意的方向移动。在图34所示的例子中，测距装置1例如以摄像部2摄像人型的移动机器人800c的前方的方式设置于该移动机器人800c的头部。此外，测距装置1既可以以对移动机器人800c的后方、左右进行摄像的方式设置，也可以以对多个方位进行摄像的方式设置多个。另外，通过在用于搭载传感器等的空间少的小型机器人中设置测距装置1，来推定自身位置、姿势及被摄体的位置，由此也能够进行航位推算(dead reckoning)。
[0276]
另外，如图35所示，在移动体800为机械臂800d、且对该机械臂800d的一部分的移动及旋转进行控制的情况下，测距装置1也可以设置于该机械臂800d的前端等。在该情况下，由测距装置1所具备的摄像部2摄像由机械臂800d把持的物体，图像处理部3能够推定机械臂800d要把持的到物体的距离。由此，在机械臂800d中，能够进行物体的准确的把持动作。
[0277]
控制信号生成部801基于从测距装置1(图像处理部3)输出的表示到被摄体的距离的距离信息，输出用于控制驱动机构802的控制信号。驱动机构802根据从控制信号生成部801输出的控制信号，驱动移动体800或该移动体800的一部分。驱动机构802例如进行移动体800或该移动体800的一部分的移动、旋转、加速、减速、推力(升力)的加减、行进方向的转换、通常运转模式与自动驾驶模式(碰撞避免模式)的切换及气囊等安全装置的工作中的至少1个。驱动机构802例如在到被摄体的距离小于阈值的情况下，也可以进行移动、旋转、加速、推力(升力)的加减、向接近物体的方向的方向转换及从自动驾驶模式(碰撞避免模式)向通常运转模式的切换中的至少1个。
[0278]
另外，图32所示的汽车800a的驱动机构802例如是轮胎。图33所示的无人机800b的驱动机构802例如是螺旋桨。图34所示的移动机器人800c的驱动机构802例如是腿部。图35所示的机械臂800d的驱动机构802例如是对设置有测距装置1的前端进行支承的支承部。
[0279]
移动体800还可以具备被输入从测距装置1输出的与到被摄体的距离有关的信息
(距离信息)的扬声器、显示器。该扬声器或显示器通过有线或无线与测距装置1连接，构成为输出与到被摄体的距离有关的声音或图像。进而，移动体800也可以具有发光部，该发光部被输入从测距装置1输出的与到被摄体的距离有关的信息，例如能够根据到被摄体的距离点亮和熄灭。
[0280]
另外，例如在移动体800是无人机800b的情况下，在从上空进行地图(物体的三维形状)的制作、大厦、地形的构造调查、裂纹、电线断裂等检查等时，摄像部2取得摄像了对象而得到的图像，判定到被摄体的距离是否为阈值以上。控制信号生成部801基于该判定结果，生成用于控制无人机800b的推力以使与检查对象的距离恒定的控制信号。在此，推力也包含升力。驱动机构802基于该控制信号使无人机800b动作，由此能够使该无人机800b与检查对象平行地飞行。在移动体800是监视用无人机的情况下，也可以生成用于控制无人机的推力以将与监视对象的物体之间的距离保持为恒定的控制信号。
[0281]
此外，在移动体800(例如无人机800b)用于各种基础设施(以下，简单表述为基础设施)的维护检查等的情况下，通过利用摄像部2来摄像该基础设施中的包含裂纹部位或生锈的部位等在内的需要修补的部位(以下，表述为修补部位)的图像，由此能够得到到该修补部位为止的距离。在该情况下，通过利用到修补部位的距离，由此能够根据图像来算出该修补部位的尺寸。由此，例如通过在表示基础设施整体的地图上显示修补部位，由此能够使该基础设施的维护检查人员识别修补部位。另外，预先将修补部位的尺寸传递给维护检查人员对实施顺利的修补作业而言也是有用的。
[0282]
另外，在无人机800b飞行时，摄像部2取得摄像了地面方向而得到的图像，并判定与地面的距离是否为阈值以上。控制信号生成部801基于该判定结果，生成用于控制无人机800b的推力以使距地面的高度成为所指定的高度的控制信号。驱动机构802基于该控制信号使无人机800b动作，由此能够使该无人机800b以所指定的高度飞行。如果无人机800b是农药散布用无人机，则通过这样将无人机800b距地面的高度保持为恒定，容易均匀地散布农药。
[0283]
另外，在移动体800是汽车800a或者无人机800b的情况下，在汽车800a的车队行驶、无人机800b的协作飞行时，摄像部2对前方的汽车、周围的无人机进行摄像，并判定到该汽车、无人机的距离是否为阈值以上。控制信号生成部801基于该判定结果，生成用于控制汽车800a的速度、无人机800b的推力以使与前方的汽车、周围的无人机的距离恒定的控制信号。驱动机构802基于该控制信号使汽车800a、无人机800b动作，由此能够容易地进行汽车800a的连队行驶、无人机800b的协作飞行。
[0284]
进而，在移动体800为汽车800a的情况下，也可以构成为能够经由用户接口受理驾驶员的指示，以使汽车800a的驾驶员能够设定(变更)阈值。由此，驾驶员能够以好的车间距离使汽车800a行驶。另外，也可以为了保持与前方的汽车的安全的车间距离，而根据汽车800a的速度使阈值变化。安全的车间距离根据汽车800a的速度而不同。因此，汽车800a的速度越快，能够将阈值设定得越大(越长)。
[0285]
另外，在移动体800为汽车800a的情况下，也可以将行进方向的规定的距离设定为阈值，在该阈值的近前出现物体时使制动器工作或者生成使气囊等安全装置工作的控制信号。在该情况下，自动制动器、气囊等安全装置被设置于驱动机构802。
[0286]
根据以上所述的至少1个实施方式，能够提供能够使从图像取得的距离的精度及
从该图像取得距离时的环境鲁棒性提高的图像处理装置、测距装置、方法及程序。
[0287]
另外，本实施方式及本变形例所记载的各种功能分别也可以通过电路(处理电路)来实现。在处理电路的例子中，包含中央处理装置(cpu)那样的被编程的处理器。该处理器通过执行存储在存储器中的计算机程序(指令组)，分别执行所记载的功能。该处理器也可以是包含电路的微处理器。在处理电路的例子中，也包括数字信号处理器(dsp)、面向特定用途的集成电路(asic)、微控制器、控制器、其他电路部件。本实施方式所记载的cpu以外的其他组件各自也可以通过处理电路来实现。
[0288]
另外，本实施方式的各种处理能够通过计算机程序来实现，因此仅通过存储该计算机程序的计算机可读取的存储介质将该计算机程序安装于计算机并执行，就能够容易地实现与本实施方式相同的效果。
[0289]
对本发明的几个实施方式进行了说明，但这些实施方式是作为例子而提示的，并不意图限定发明的范围。这些实施方式能够以其他各种方式实施，在不脱离发明的主旨的范围内，能够进行各种省略、置换、变更。这些实施方式及其变形包含在发明的范围或主旨中，同样包含在权利要求书所记载的发明及其等同的范围内。
[0290]
另外，能够将上述的实施方式汇总为以下的技术方案。
[0291]
[技术方案1]
[0292]
一种图像处理装置，具备：
[0293]
存储单元，保存统计模型，该统计模型通过学习模糊而被生成，该模糊是在受到光学系统的像差的影响的第一图像中产生的、根据到该第一图像中的被摄体的距离而非线性地变化的模糊；
[0294]
图像取得单元，取得受到了所述光学系统的像差的影响的第二图像；
[0295]
修正单元，对所述第二图像进行颜色修正，该颜色修正使在该第二图像中表现出的颜色的数量减少；以及
[0296]
距离取得单元，将对所述第二图像进行了颜色修正后的第三图像输入至所述统计模型，并取得第一距离信息，该第一距离信息表示到该第三图像中的被摄体的距离。
[0297]
[技术方案2]
[0298]
根据上述技术方案1，
[0299]
所述修正单元进行白平衡修正作为所述颜色修正。
[0300]
[技术方案3]
[0301]
根据上述技术方案2，
[0302]
所述修正单元以所述第二图像中包含的预先确定的尺寸的第一区域为单位对所述第二图像进行所述白平衡修正，
[0303]
所述第一区域是对所述像差与到所述被摄体的距离之间的关系性不造成影响的区域。
[0304]
[技术方案4]
[0305]
根据上述技术方案3，
[0306]
对所述像差与到所述被摄体的距离之间的关系性不造成影响的区域是所述第二图像中包含根据到所述被摄体的距离而产生的模糊在内的尺寸的区域。
[0307]
[技术方案5]
[0308]
根据上述技术方案3或4，
[0309]
所述修正单元基于包含第一像素的所述第一区域所包含的多个第二像素的像素值来计算针对该第一像素的第一修正系数，使用该第一修正系数进行针对该第一像素的像素值的颜色修正。
[0310]
[技术方案6]
[0311]
根据上述技术方案1～5，
[0312]
还具备输出单元，
[0313]
所述统计模型推定到所述第三图像中的被摄体的距离，并且计算第一不可靠度，该第一不可靠度表示针对所推定出的所述距离的不可靠度的程度，
[0314]
所述输出单元输出第一距离信息，该第一距离信息表示所述第一不可靠度为阈值以下的距离。
[0315]
[技术方案7]
[0316]
根据上述技术方案3，
[0317]
所述统计模型推定到所述第三图像中的被摄体的距离，并且计算第一不可靠度，该第一不可靠度表示针对所推定出的所述距离的不可靠度的程度，
[0318]
所述修正单元根据基于所述第一不可靠度的用户的操作，以尺寸与所述第一区域不同的第二区域为单位对所述第二图像进行白平衡修正，
[0319]
所述距离取得单元将以所述第二区域为单位对所述第二图像进行了白平衡修正后的第四图像输入至所述统计模型，取得第二距离信息，该第二距离信息表示到该第四图像中的被摄体的距离。
[0320]
[技术方案8]
[0321]
根据上述技术方案7，
[0322]
还具备输出单元，
[0323]
所述统计模型推定到所述第四图像中的被摄体的距离，并且计算第二不可靠度，该第二不可靠度表示针对所推定出的所述距离的不可靠度的程度，
[0324]
所述输出单元根据基于所述第二不可靠度的所述用户的操作，来输出所述第二距离信息。
[0325]
[技术方案9]
[0326]
根据上述技术方案3，
[0327]
所述统计模型推定到所述第三图像中的被摄体的距离，并且计算第一不可靠度，该第一不可靠度表示针对所推定出的所述距离的不可靠度的程度，
[0328]
所述修正单元在所述第一不可靠度不为阈值以下的情况下，以尺寸与所述第一区域不同的第二区域为单位对所述第二图像进行白平衡修正，
[0329]
所述距离取得单元将以所述第二区域为单位对所述第二图像进行了白平衡修正后的第四图像输入至所述统计模型，取得第二距离信息，该第二距离信息表示到该第四图像中的被摄体的距离。
[0330]
[技术方案10]
[0331]
根据上述技术方案9，
[0332]
还具备输出单元，
[0333]
所述统计模型推定到所述第四图像中的被摄体的距离，并且计算第二不可靠度，该第二不可靠度表示针对所推定出的所述距离的不可靠度的程度，
[0334]
所述输出单元在所述第二不可靠度为阈值以下的情况下，输出所述第二距离信息。
[0335]
[技术方案11]
[0336]
根据上述技术方案7～10，
[0337]
所述第二区域是以所述第一不可靠度减少的方式变更了所述第一区域后的区域。
[0338]
[技术方案12]
[0339]
根据上述技术方案1～11，
[0340]
还具备选定所述第二图像中的第三区域的区域选定单元，
[0341]
所述修正单元对所述第三区域进行所述颜色修正。
[0342]
[技术方案13]
[0343]
根据上述技术方案12，
[0344]
所述区域选定单元将通过用户的操作所指定的区域选定为所述第三区域。
[0345]
[技术方案14]
[0346]
根据上述技术方案12，
[0347]
所述区域选定单元将包含基于通过用户的操作所指定的所述第二图像中的位置而检测出的被摄体在内的区域选定为所述第三区域。
[0348]
[技术方案15]
[0349]
一种测距装置，具备：
[0350]
摄像单元，摄像图像；
[0351]
存储单元，保存统计模型，该统计模型通过学习模糊而被生成，该模糊是在受到光学系统的像差的影响的第一图像中产生的、根据到该第一图像中的被摄体的距离而非线性地变化的模糊；
[0352]
图像取得单元，取得受到了所述摄像单元的光学系统的像差的影响的第二图像；
[0353]
修正单元，对所述第二图像进行颜色修正，该颜色修正使在该第二图像中表现出的颜色的数量减少；以及
[0354]
距离取得单元，将对所述第二图像进行了颜色修正后的第三图像输入至所述统计模型，并取得距离信息，该距离信息表示到该第三图像中的被摄体的距离。
[0355]
[技术方案16]
[0356]
一种图像处理装置执行的方法，所述图像处理装置具备存储单元，该存储单元保存统计模型，该统计模型通过学习模糊而被生成，该模糊是在受到光学系统的像差的影响的第一图像中产生的、根据到该第一图像中的被摄体的距离而非线性地变化的模糊，
[0357]
该图像处理装置执行的方法包括如下步骤：
[0358]
取得受到了所述光学系统的像差的影响的第二图像；
[0359]
对所述第二图像进行颜色修正，该颜色修正使在该第二图像中表现出的颜色的数量减少；以及
[0360]
将对所述第二图像进行了颜色修正后的第三图像输入至所述统计模型，并取得距离信息，该距离信息表示到该第三图像中的被摄体的距离。
[0361]
[技术方案17]
[0362]
一种由图像处理装置的计算机执行的程序，所述图像处理装置具备存储单元，该存储单元保存统计模型，该统计模型通过学习模糊而被生成，该模糊是在受到光学系统的像差的影响的第一图像中产生的、根据到该第一图像中的被摄体的距离而非线性地变化的模糊，
[0363]
该程序使所述计算机执行如下步骤：
[0364]
取得受到了所述光学系统的像差的影响的第二图像；
[0365]
对所述第二图像进行颜色修正，该颜色修正使在该第二图像中表现出的颜色的数量减少；以及
[0366]
将对所述第二图像进行了颜色修正后的第三图像输入至所述统计模型，并取得距离信息，该距离信息表示到该第三图像中的被摄体的距离。