信息处理装置、信息处理方法和信息处理程序与流程

1.本公开内容涉及信息处理装置、信息处理方法和信息处理程序。更具体地，本公开内容涉及用于移动对象的自主驾驶的图像处理。


背景技术：

2.作为与诸如汽车的移动对象有关的技术，已知用于预先感测和避开障碍物的技术，例如高级驾驶员辅助系统(adas)。移动对象利用这种技术来自主驾驶。
3.关于自主驾驶，已知用于使用地理特征值进行匹配以测量自主驾驶的车辆正在行驶的位置的技术(例如，专利文献1)。此外，已知基于与伪路面信息的相关性来控制是否自主驾驶或执行手动驾驶准备请求的通知的技术(例如，专利文献2)。
4.引用列表
5.专利文献
6.专利文献1：日本专利申请特许公开第2015
‑
155903号
7.专利文献2：日本专利申请特许公开第2018
‑
77771号


技术实现要素：

8.本发明要解决的问题
9.根据现有技术，可以通过基于先前获取的地理特征值等的数据估计自主驾驶期间的自身位置，来提高自主驾驶的安全性。
10.然而，在现有技术中还有改进的空间。例如，在即使试图基于各种数据来估计自身位置而当前的环境(天气，照度等)与过去的环境明显不同的情况下，在这种状况下采用更改可能会失败，并且这样的信息可能不会用于自主驾驶。
11.因此，本公开内容提出一种能够获得减少了由于环境变化导致的图像质量的劣化的图像的信息处理装置、信息处理方法和信息处理程序。
12.问题的解决方案
13.为了解决上述问题，根据本公开内容的一种形式的信息处理装置包括：推断单元，所述推断单元基于第一图像与过去拍摄的多个图像之间的对照结果推断第三图像，所述第三图像是在下述位置处过去拍摄的图像：该位置对应于在所述第一图像的下一定时处拍摄的第二图像；以及生成单元，所述生成单元在获取了所述第二图像的情况下，生成第四图像，所述第四图像是通过基于所述第三图像校正所述第二图像而获得的图像。
附图说明
14.[图1]图1是示出根据本公开内容的实施方式的信息处理的概要的图。
[0015]
[图2]图2是描述根据本公开内容的实施方式的信息处理的图(1)。
[0016]
[图3]图3是描述根据本公开内容的实施方式的信息处理的图(2)。
[0017]
[图4]图4是描述根据本公开内容的实施方式的信息处理的图(3)。
[0018]
[图5]图5是示出根据本公开内容的实施方式的信息处理装置的配置示例的图。
[0019]
[图6]图6是示出根据本公开内容的实施方式的图像数据表的示例的图。
[0020]
[图7]图7是描述根据本公开内容的实施方式的对照处理的图(1)。
[0021]
[图8]图8是描述根据本公开内容的实施方式的对照处理的图(2)。
[0022]
[图9]图9是描述根据本公开内容的实施方式的生成处理的图(1)。
[0023]
[图10]图10是描述根据本公开内容的实施方式的生成处理的图(2)。
[0024]
[图11]图11是描述根据本公开内容的实施方式的生成处理的图(3)。
[0025]
[图12]图12是示出根据本公开内容的实施方式的处理流程的流程(1)。
[0026]
[图13]图13是示出根据本公开内容的实施方式的处理流程的流程(2)。
[0027]
[图14]图14是示出实现信息处理装置的功能的计算机的示例的硬件配置图。
具体实施方式
[0028]
下面将基于附图描述本公开内容的实施方式。注意，在下面实施方式的每个实施方式中，相同的部分被设置有相同的附图标记，从而省略了对这些部分的重复描述。
[0029]
将按照以下项目顺序描述本公开内容。
[0030]
1.实施方式
[0031]1‑
1.根据实施方式的信息处理的示例
[0032]1‑
2.根据实施方式的信息处理装置的配置
[0033]1‑
3.根据实施方式的信息处理过程
[0034]1‑
4.根据实施方式的修改
[0035]1‑4‑
1.地图数据的利用等
[0036]1‑4‑
2.适用于自主驾驶以外的情况
[0037]
2.其他实施方式
[0038]2‑
1.移动对象的配置
[0039]2‑
2.其他
[0040]
3.根据本公开内容的信息处理装置的效果
[0041]
4.硬件配置
[0042]
(1.实施方式)
[0043]
[1
‑
1.根据实施方式的信息处理的示例]
[0044]
图1是示出根据本公开内容的实施方式的信息处理的示例的图。具体地，图1示出了框图，该框图示出了根据本公开内容的信息处理的流程。
[0045]
根据本公开内容的实施方式的信息处理例如应用于自主驾驶的预定移动对象确定适当的行驶位置或识别周围对象以防止碰撞等的情况。在实施方式中，以汽车作为预定移动对象的示例。此外，根据实施方式的信息处理由安装在汽车上的信息处理装置100(在图1中省略图示)执行。
[0046]
信息处理装置100利用传感器观察周围状况，并且基于观察结果识别周围对象。在实施方式中，信息处理装置100使用包括图像传感器的摄像装置拍摄周围环境的图像并获取图像。然后，信息处理装置100通过对所获取的图像执行图像识别处理来获得用于自主驾驶的信息。
[0047]
顺便提及，在行驶的汽车中，并不总是能够拍摄适当地执行图像识别的图像。例如，由行驶中的汽车拍摄的图像容易受到环境的影响。具体地，环境影响是由于背光或雾度(雾或薄雾)引起的对比度降低，或者由于天气(例如雨或雪)或摄像装置镜头上的灰尘而妨碍可见度。此外，环境影响还包括由于在夜间或在隧道中行驶期间拍摄图像而引起的光量不足。即，由行驶中的汽车拍摄的图像受到拍摄环境的强烈影响。
[0048]
注意，还已知利用过去的行驶数据或过去的驾驶数据来避免对拍摄环境的影响的传统技术。然而，如果获得过去数据的环境与实际行驶期间的环境不同，则可能会存在原样利用过去数据进行自主驾驶的风险。即，实现安全的自主驾驶的问题在于，需要获得尽可能消除环境影响的图像，该图像是在实际行驶期间拍摄的。
[0049]
因此，根据本公开内容的信息处理装置100通过使用以下描述的处理解决上述问题。具体地，信息处理装置100对包括噪声的图像(例如已经受到环境影响的图像)执行被称为环境劣化补偿的处理，以校正该图像。例如，在环境劣化补偿中，可以通过使用劣化程度较小的图像的像素信息来校正包括相同被摄体并且由于环境而劣化的其他图像，来生成去除了噪声的图像。即，为了执行环境劣化补偿，需要包括与要校正的图像中的被摄体基本相同的被摄体的、劣化程度较小的图像(在基本相同的拍摄位置、角度或视角拍摄的图像)，作为与要校正的图像相对应的图像(在下文中称为“对照图像”)。
[0050]
关于这一点，根据本公开内容的信息处理装置100基于在自主驾驶期间拍摄的预定图像与过去拍摄的多个先前累积的图像的对照结果，将以下图像推断作为对照图像：过去在与在自主驾驶中的下一定时处要拍摄的图像相对应的位置处拍摄的图像。然后，在下一定时处实际拍摄图像的情况下，信息处理装置100基于对照图像校正拍摄图像，并且生成新的、劣化程度较小的图像。
[0051]
即，信息处理装置100基于过去行驶期间中积累的劣化程度较小的图像，对当前时刻拍摄的图像进行校正的同时，执行用于自主驾驶的图像识别处理。为此，信息处理装置100可以基于其中去除了噪声的影响的当前时刻的图像而不是过去的数据来执行图像识别处理，从而可以在不受环境变化的影响的情况下实现稳定的自主驾驶。注意，信息处理装置100并不总是要求信息处理装置100拍摄图像，并且可以通过获取例如由外部图像拍摄装置等拍摄的图像来执行上述处理。
[0052]
在下文中，将通过使用图1至图4描述由根据本公开内容的信息处理装置100执行的信息处理的示例。注意，在以下描述中，假定信息处理装置100安装在作为移动对象的汽车上，或者汽车本身用作信息处理装置100。即，在以下描述中，信息处理装置100可以被认为是汽车(移动对象)。
[0053]
在图1所示的示例中，假定信息处理装置100具有在过去的行驶期间拍摄和获取的多个过去的图像(累积图像集)。注意，可以将累积图像集认为是在过去的行驶期间拍摄的一系列运动图像。例如，在图1的示例中，假定信息处理装置100每天有规律地在相同的道路上行驶，并且在该过程中，获取累积图像集。
[0054]
首先，信息处理装置100在通过自主驾驶的行驶期间通过使用摄像装置拍摄周围环境的图像并且获取图像(步骤s1)。在下文中，实际行驶期间拍摄的图像将被称为“输入图像”。在图1的示例中，信息处理装置100获取图像p01作为输入图像。
[0055]
在图1的示例中，例如，假定图像p01是由于雾的影响等而劣化的图像。与正常图像
相比，劣化的图像例如是由于低透射率或模糊而不清楚的图像。替选地，劣化图像是指由于背光等的影响而在一部分上具有极强的高度的图像，或者由于夜间拍摄的影响而不能确保整个图像的亮度的图像。例如，如果将劣化的图像用于自主驾驶，则对象识别等的准确性降低，由此提高了自主驾驶中发生事故等的风险。
[0056]
因此，信息处理装置100执行用于校正劣化的图像p01的处理。具体地，信息处理装置100将在步骤s1中获取的图像p01发送至用于进行图像劣化补偿的处理单元(步骤s2)。此外，根据累积图像集，信息处理装置100识别图像p02，该图像p02是与图像p01相对应的对照图像，并且将图像p02发送至用于进行图像劣化补偿的处理单元(步骤s3)。注意，稍后将描述用于识别图像p02的处理细节。
[0057]
图像p02是在与图像p01基本相同的拍摄位置、角度或视角拍摄的图像，并且与图像p01相比是劣化程度较小的图像。信息处理装置100基于图像p02中包括的像素信息对图像p01执行环境劣化补偿处理(步骤s4)。稍后将描述环境劣化补偿的细节处理。信息处理装置100执行环境劣化补偿并生成图像p03，该图像p03是通过从图像p01中去除诸如雾的环境的影响而获得的(在下文中称为“恢复图像”)。
[0058]
此后，信息处理装置100将图像p03、即恢复图像发送至用于对照的处理单元(步骤s5)。此外，信息处理装置100通过利用图像p03控制自主驾驶(步骤s6)。信息处理装置100可以通过使用图像p03来执行更高安全性的自主驾驶控制，该图像p03是比图像p01更清楚的图像。
[0059]
基于在步骤s05中获取的图像p03，信息处理装置100将由信息处理装置100在下一定时处获取的图像与累积图像集对照(步骤s7)。由信息处理装置100在下一定时处获取的图像是信息处理装置100在行驶的同时拍摄的图像。在图1的示例中，由信息处理装置100在下一定时处获取的图像是信息处理装置100紧接图像p01获取的图像。例如，通过信息处理装置100的摄像装置的规格来确定获取图像的下一定时。具体地，基于运动图像拍摄中的帧速率等来确定获取图像的下一定时。例如，在帧速率是30帧/秒(fps)的情况下，获取图像的下一定时是1/30秒之后。
[0060]
基于在步骤s7中对照的信息，信息处理装置100从累积图像集中推断可以作为要与紧接图像p01要获取的图像进行对照的图像候选的图像(在下文中称为“候选图像”)(步骤s8)。例如，在帧速率为30fps的情况下，信息处理装置100将在图像p02之后1/30秒拍摄的图像推断为包括图像p02的累积图像集中的候选图像。
[0061]
将通过使用图2来描述这一点。图2是描述根据本公开内容的实施方式的信息处理的图(1)。图2概念性地示出了如何将由信息处理装置100拍摄的图像与累积图像集进行对照。
[0062]
在图2的示例中，累积图像集是在获得拍摄图像之前获取和累积的一系列运动图像。此外，所拍摄的图像是信息处理装置100在行驶期间继续获取的运动图像。即，累积图像集和拍摄图像是信息处理装置100在相同道路上行驶时的不同定时处获得的运动图像。
[0063]
通过图1中所示的处理，假定信息处理装置100通过对照判断图像p11和图像p15是彼此对应的成对的。此后，信息处理装置100获取图像p12作为拍摄图像，但是在此之前，推断出被预测为与图像p12相对应的图像p16。
[0064]
例如，信息处理装置100基于获得累积图像集时的行驶速度和获取图像p11时的行
驶速度，推断与预测接下来要拍摄的图像p12相对应的候选图像。具体地，在获得累积图像集时的行驶速度与获取图像p11时的行驶速度相同的情况下，信息处理装置100推断图像p16是与被预测为紧接图像p11拍摄的图像p12相对应的候选图像，图像p16是当获得图像p12时的下一图像。替选地，在获得累积图像集时的行驶速度与获取图像p11时的行驶速度彼此不同的情况下，信息处理装置100将以速度差偏移的候选图像推断为与图像p12相对应的图像。
[0065]
由于只要继续自主驾驶就继续图2所示的处理，因此信息处理装置100将图像p12与图像p16进行匹配，并且然后推断与图像p13相对应的候选图像，该图像p13是在下一定时处要获取的图像。具体地，信息处理装置100将图像p17推断为与图像p13相对应的图像。以这种方式，信息处理装置100将过去拍摄的多个图像与在当前时刻拍摄的图像一一匹配。此外，信息处理装置100通过使用对应的图像对顺序地执行环境劣化补偿。
[0066]
将通过使用图3描述这一点。图3是描述根据本公开内容的实施方式的信息处理的图(2)。图3示出了重复执行环境劣化补偿和对照处理的情况的框图。
[0067]
信息处理装置100在特定定时(t)处获取拍摄图像p21。由于是在定时(t)处获取的图像，因此拍摄图像p21也被表示为拍摄图像(t)。
[0068]
如果可以，信息处理装置100对拍摄图像(t)执行环境劣化补偿(步骤s11)。注意，在拍摄图像(t)是根据本公开内容的信息处理中最早的图像的情况下，由于不存在用于执行环境劣化补偿的对照图像，因此信息处理装置100跳过步骤s11。
[0069]
此后，信息处理装置100将拍摄图像(t)与作为与拍摄图像(t)相对应的图像的候选图像(t)进行对照(步骤s12)。信息处理装置100将识别信息(对照id(t))分配给与该对照有关的信息(例如，与候选图像(t)有关的信息或与候选图像(t)附近的图像有关的信息)，并且将对照信息发送至下一处理单元。
[0070]
信息处理装置100推断用于与接下来在定时(t 1)处要拍摄的图像进行对照的候选图像(步骤s13)。信息处理装置100获取关于车辆正在行驶的道路的行驶速度或位置信息等的自运动数据，并且基于所获取的数据来推断下一候选图像。信息处理装置100发布指示与该推断有关的信息(例如，用于识别候选图像(t 1)的识别信息等)的推断id(t 1)，并且询问存储单元120。
[0071]
信息处理装置100从存储单元120中提取候选图像(t 1)。然后，信息处理装置100基于候选图像(t 1)对在定时(t 1)处获得的拍摄图像p22执行环境劣化补偿(步骤s14)。此外，信息处理装置100对在环境劣化补偿之后生成的图像执行对照处理(步骤s15)。信息处理装置100发布检查id(t 1)，并且重复步骤s13和后续步骤中的处理。
[0072]
利用这种布置，信息处理装置100可以通过使用如下图像来继续自主驾驶从而可以继续高安全性自主驾驶控制，该图像是在当前时刻行驶期间拍摄的并且受环境劣化影响较小的图像。
[0073]
接下来，通过使用图4来示出包括自主驾驶控制的信息处理的流程。图4是描述根据本公开内容的实施方式的信息处理的图(3)。图4将包括自主驾驶控制的整个信息处理的流程示出为框图。
[0074]
如图4所示，信息处理装置100在自主驾驶期间获取拍摄图像p21。此时，信息处理装置100不仅可以获取可见图像而且还可以通过使用深度传感器等来获取深度数据作为拍
摄图像p21。如参照图1至3所描述的，信息处理装置100对所获取的拍摄图像p21执行环境劣化补偿(步骤s21)。信息处理装置100可以在推断与拍摄图像p21相对应的对照图像的处理中利用自运动数据。
[0075]
此后，信息处理装置100将通过环境劣化补偿生成的恢复图像发送至对照处理(步骤s22)。此时，信息处理装置100可以获取全球定位系统(gps)数据，并且将该数据用于对照处理。
[0076]
此后，信息处理装置100可以将恢复的图像与对照图像进行比较，选择更清楚的图像，并且更新所累积的图像(步骤s23)。信息处理装置100累积所选择的图像，并且准备图像以用于对拍摄的图像进行下一次环境劣化补偿。
[0077]
此外，信息处理装置100将在环境劣化补偿之后生成的恢复图像发送至执行异常感测的处理单元。信息处理装置100对恢复的图像执行图像识别处理并且执行异常感测(步骤s24)。此外，信息处理装置100将恢复的图像发送至执行障碍物感测的处理单元以执行障碍物感测(步骤s25)。
[0078]
此外，信息处理装置100参考存储诸如过去的行驶位置的行驶数据的存储单元，并且获取过去的行驶位置(步骤s26)。例如，信息处理装置100获取过去的驾驶历史，例如过去在当前时刻行驶的道路上采用的行驶位置或行驶速度。然后，信息处理装置100基于与步骤s25中的障碍物感测有关的信息、与过去的行驶位置有关的信息等来确定自主驾驶中的行驶位置(步骤s27)。
[0079]
此后，在当前时刻处行驶的行驶位置合适的情况下，信息处理装置100基于该信息来更新推荐行驶位置(步骤s28)。信息处理装置100将更新的信息存储在存储单元中，以准备用于将来的自主驾驶的信息。
[0080]
以这种方式，信息处理装置100通过使用在过去经过的路线上拍摄的劣化程度较小的图像来执行用于校正环境影响的图像处理。利用这种布置，信息处理装置100使得能够在不受环境变化的影响的情况下进行稳定的自主驾驶。
[0081]
此后，将使用图5详细描述执行上述信息处理的信息处理装置100的配置以及用于对照和用于进行环境劣化补偿的处理的细节。
[0082]
[1
‑
2.根据实施方式的信息处理装置的配置]
[0083]
将通过使用图5描述信息处理装置100的配置。图5是示出根据本公开内容的实施方式的信息处理装置100的配置示例的图。如图5所示，信息处理装置100具有通信单元110、存储单元120、控制单元130、感测单元140、输入单元150和输出单元160。注意，图5所示的配置是功能配置，并且硬件配置可以与功能配置不同。此外，信息处理装置100的功能可以在多个物理上分离的装置中分布和实现。
[0084]
通信单元110例如通过网络接口卡(nic)等来实现。通信单元110可以是包括通用串行总线(usb)主机控制器、usb端口等的usb接口。此外，通信单元110可以是有线接口或无线接口。例如，通信单元110可以是无线lan系统或蜂窝通信系统的无线通信接口。通信单元110用作信息处理装置100的通信装置或传输装置。例如，通信单元110有线或无线地连接至网络n(因特网等)，并且经由网络n向其他信息处理终端等发送信息或从其他信息处理终端等接收信息。
[0085]
存储单元120例如由诸如随机存取存储器(ram)或闪速存储器的半导体存储装置
或诸如硬盘或光盘的存储装置来实现。存储单元120存储各种数据。
[0086]
例如，存储单元120存储用于自主驾驶中的图像识别处理的学习机(图像识别模型)，该学习机已经学习了要检测的对象、与所检测的对象有关的数据等。此外，存储单元120可以存储地图数据等以用于执行自主驾驶。
[0087]
此外，存储单元120可以存储与由信息处理装置100通过自主驾驶控制的车辆有关的信息。例如，存储单元120存储诸如车身的尺寸、重量或车辆类型的信息。
[0088]
此外，存储单元120具有图像数据表121，该图像数据表121是对在过去的行驶期间拍摄的图像累积的数据表。图6示出了根据实施方式的图像数据表121的示例。图6是示出根据本公开内容的实施方式的图像数据表121的示例的图。在图6所示的示例中，图像数据表121具有诸如以下项：“图像id”、“图像数据”、“gps数据”、“行驶速度”、“更新日期和时间”、“天气”和“参数”。
[0089]“图像id”指示用于识别图像的识别信息。“图像数据”指示构成图像的像素数据。注意，尽管在图6的示例中以“a31”的概念指示图像数据，但是实际上诸如构成图像的像素数目或每个像素的颜色信息的特定信息被存储为图像数据项。
[0090]“gps数据”指示当获取图像时指示信息处理装置100(汽车)的位置的gps数据。“行驶速度”指示当获取图像时信息处理装置100(汽车)的行驶速度。“更新日期和时间”指示在拍摄图像的位置处更新到最新图像的日期和时间。“天气”指示当获取图像时的天气。
[0091]“参数”指示当获取图像时的各种参数。这些参数包括例如拍摄图像时的曝光时间、是否执行用于去除雨水的过滤处理等、降噪(nr)处理的强度的每个数值或设定值等。
[0092]
即，图6所示的示例指示，对于图像id为“p31”的图像，图像数据为“a31”，拍摄图像时的gps数据为“b31”，行驶速度为“30km/h”，更新日期和时间为“d31”，天气为“雨”，并且参数为“e31”。
[0093]
将返回图5继续描述。感测单元140感测与信息处理装置100相关的各种信息。具体地，感测单元140感测信息处理装置100周围的环境、信息处理装置100被定位的位置的信息、与连接至信息处理装置100的设备有关的信息等。感测单元140可以被认为是感测各种信息的传感器。根据实施方式的感测单元140具有成像单元141和测量单元142。
[0094]
成像单元141是具有捕获信息处理装置100的周围环境的图像的功能的传感器，并且是所谓的摄像装置。例如，成像单元141由立体摄像装置、单眼摄像装置、无透镜摄像装置等实现。
[0095]
测量单元142是测量信息处理装置100的信息的传感器并且是其上安装有信息处理装置100的车辆。
[0096]
例如，测量单元142感测信息处理装置100和其上安装有信息处理装置100的车辆的行为。例如，测量单元142是感测车辆的加速度的加速度传感器、感测车辆的行为的陀螺仪传感器、惯性测量单元(imu)等。
[0097]
此外，测量单元142可以测量其上安装有信息处理装置100的汽车的行为。例如，测量单元142测量汽车的制动器、加速器或转向器的操作量。例如，测量单元142通过利用安装在汽车的制动器、加速器和转向器的每一个上的传感器等，来测量与施加到制动器或加速器上的力(压力等)相对应的量。此外，测量单元142可以测量汽车的速度、加速度、加速度量和减速度量、偏航率信息等。测量单元142可以通过各种已知技术而不限于上述传感器等来
测量与汽车的行为有关的信息。
[0098]
此外，测量单元142可以包括用于测量到信息处理装置100周围的对象的距离的传感器。例如，测量单元142可以是读取信息处理装置100的周围环境的三维结构的光检测和测距、激光成像检测和测距(lidar)。lidar通过用诸如红外激光的激光束照射周围对象并且测量激光束反射和返回所需的时间来感测到周围对象的距离或相对速度。此外，测量单元142可以是使用毫米波雷达的距离测量系统。此外，测量单元142可以包括用于获取深度数据的深度传感器。
[0099]
此外，测量单元142可以包括：麦克风，其收集信息处理装置100周围的声音；照度传感器，其感测信息处理装置100周围的照度；湿度传感器，其感测信息处理装置100周围的湿度；地磁传感器，其感测信息处理装置100的位置处的磁场等。
[0100]
输入单元150是用于从利用信息处理装置100的用户等接收各种操作的处理单元。输入单元150经由例如键盘、触摸面板等接收各种信息的输入。
[0101]
输出单元160是用于输出各种信息的处理单元。输出单元160例如是显示器、扬声器等。例如，输出单元160显示由成像单元141捕获的图像或者将在图像中检测到的对象显示为矩形。
[0102]
控制单元130由存储在信息处理装置100中的程序(例如，根据本公开内容的信息处理程序)来实现，并且将随机存取存储器(ram)等用作工作区域，该程序例如由中央处理单元(cpu)、微处理单元(mpu)图形处理单元(gpu)等执行。此外，控制单元130是控制器，并且可以由例如诸如专用集成电路(asic)或现场可编程门阵列(fpga)的集成电路来实现。
[0103]
如图5所示，控制单元130具有获取单元131、推断单元132、生成单元133和自主驾驶单元134，并且实现或执行以下描述的信息处理的功能或操作。注意，控制单元130的内部配置不限于图5所示的配置，并且可以是另一种配置，只要该配置能够实现稍后描述的信息处理即可。
[0104]
获取单元131获取各种信息。例如，获取单元131获取由包括在其上安装有信息处理装置100的移动对象中的传感器(成像单元141)拍摄的图像。
[0105]
例如，作为传感器，获取单元131获取由立体摄像装置拍摄的图像。在这种情况下，获取单元131获取到对象的距离，该距离例如由立体距离测量来测量。注意，作为传感器，获取单元131可以获取由单眼摄像装置拍摄的图像。在这种情况下，获取单元131获取到对象的距离，该距离例如由使用激光的距离测量传感器(测量单元142)等测量。即，获取单元131不仅可以获取可见图像而且还可以获取包括深度数据的图像数据作为拍摄图像。
[0106]
获取单元131适当地将获取的信息存储在存储单元120中。此外，获取单元131可以适当地从存储单元120中获取处理所需的信息。此外，获取单元131可以经由感测单元140或输入单元150获取处理所需的信息，或者可以经由网络n从外部装置获取信息。即，获取单元131不一定获取由信息处理装置100拍摄的图像，而是可以获取由外部装置拍摄的图像、预先存储在存储单元120中的图像等。
[0107]
基于获取单元131获取的拍摄图像与过去拍摄的多个图像的对照结果，推断单元132推断图像(对照图像)，该图像是过去在与拍摄图像的下一定时处要拍摄的图像相对应的位置处所拍摄的图像。
[0108]
此外，在由稍后描述的生成单元133生成恢复图像之后，推断单元132还将恢复图
像与过去拍摄的多个图像对照，以推断过去在与恢复图像的下一定时处要拍摄的图像相对应的位置处拍摄的图像。即，推断单元132在自主驾驶继续进行的同时重复地对照恢复图像与过去拍摄的图像，并且顺序地推断用于对照以执行环境劣化补偿的图像。
[0109]
例如，推断单元132推断与由包括传感器的移动对象拍摄的图像相对应的对照图像。即，推断单元132针对根据移动对象的运动连续拍摄的每个图像推断对照图像。
[0110]
具体地，推断单元132基于拍摄了拍摄图像的移动对象的行驶速度，从过去拍摄的多个图像中推断对照图像。例如，如图2所示，根据过去拍摄运动图像时的行驶速度与当前时刻的行驶速度之间的关系，推断单元132推断与接下来要新拍摄的图像相对应的对照图像。
[0111]
替选地，基于移动对象的位置信息，推断单元132可以推断对照图像，该对照图像是过去在与要新拍摄的图像相对应的位置处拍摄的图像。例如，推断单元132将过去拍摄图像时的gps数据与当前时刻的gps数据进行比较，并且通过使用过去拍摄的图像作为在预期移动对象接下来要拍摄图像的位置处的对照图像来进行推断。
[0112]
注意，推断单元132不一定必须仅推断一个图像作为对照图像，而是可以推断多个图像作为对照图像的候选图像。例如，在推断单元132基于行驶速度或位置信息推断对照图像的情况下，取决于行驶速度或位置信息的准确性，可能难以仅推断一个图像作为对照图像。在这种情况下，推断单元132可以基于行驶速度和位置信息提取多个候选图像，并且从提取的图像中推断候选图像。替选地，在执行环境劣化补偿的定时处，稍后将描述的生成单元133还可以从多个提取的候选图像中提取与新拍摄的图像最对应的图像，并且基于一个提取图像来执行环境劣化补偿。
[0113]
此处，将通过使用图7来描述由推断单元132执行的对照处理的细节。图7是描述根据本公开内容的实施方式的对照处理的图(1)。
[0114]
推断单元132获取由生成单元133生成的恢复图像(环境劣化补偿图像)作为当前帧。此外，推断单元132从累积图像中获取对照帧。注意，对照帧可以包括多个帧，所述多个帧是基于gps数据等被期望在接近当前帧的位置处拍摄的。
[0115]
推断单元132通过使用块匹配方法来计算当前帧与对照帧之间的差异(步骤s31)。然后，根据每个块的误差(差异)，推断单元132计算帧之间的相似度。例如，推断单元132通过使用以下公式(1)将当前帧与对照帧进行比较。
[0116]
[数学公式1]
[0117][0118]
在上述公式(1)中，“e”表示当前帧与对照帧之间的误差(差异)。“块”表示图像的比较目标部分。例如，块是若干像素
×
若干像素的矩形。“c”和“r”表示每个像素的颜色信息。即，根据公式(1)，可以输出例如当前帧与对照帧差异多大的误差估计值。基于此，推断单元132计算帧之间的相似度(步骤s32)。
[0119]
然后，推断单元132基于计算的相似度确定与当前帧相对应的对照帧(步骤s33)。例如，推断单元132将候选图像中具有最高相似度的帧确定为对照帧。然后，推断单元132发
布对照id作为用于识别所确定的对照帧的信息(步骤s34)。
[0120]
注意，用于计算帧的相似度的方法不限于上述方法，并且可以利用各种已知技术。
[0121]
接下来，将通过使用图8来描述由推断单元132执行的对照处理的另一示例。图8是描述根据本公开内容的实施方式的对照处理的图(2)。在图8所示的处理中，通过执行用于判断图像中包括的静止对象(例如结构)和图像中运动的运动对象的处理，可以提高过去进一步累积的图像与当前时刻的图像的对照的准确性。
[0122]
在图8所示的示例中，除了对照帧和拍摄图像(t)以外，推断单元132还获取拍摄图像(t
‑
1)和自运动数据。拍摄图像(t
‑
1)是在紧接拍摄图像(t)之前的定时处拍摄的图像。
[0123]
推断单元132基于拍摄图像(t)与拍摄图像(t
‑
1)之间的差异计算图像中的运动矢量(步骤s41)。然后，推断单元132基于计算的运动矢量判断图像中的静止结构(步骤s42)。利用该布置，推断单元132通过在图像中的静止结构与运动对象之间区分来执行处理。
[0124]
此后，如与图7中的步骤s31类似的方式，推断单元132可以基于当将拍摄图像(t)与对照帧进行匹配时包括结构的可能性来执行匹配(步骤s43)。利用该布置，即使拍摄图像(t)包括诸如行人或动物的运动对象，推断单元132也可以减小运动对象的影响，并且因此，可以将拍摄图像(t)与过去在相同位置处拍摄的图像进行高准确性对照。
[0125]
随后，如与图7中的步骤s32和步骤s33类似的方式，推断单元132计算帧的相似度(步骤s44)并且确定对照帧(步骤s45)。此外，如与图7中的步骤s34类似的方式，推断单元132发布对照id(步骤s46)。
[0126]
此外，推断单元132可以将对照帧新登记为累积图像之一(步骤s47)。例如，为了将被推断作为对照帧的图像利用为将来累积图像之一，推断单元132将该图像登记在存储单元120中。此时，推断单元132可以获取与静止结构有关的信息，该信息在步骤s42中获得，基于该信息，可以累积通过从对照帧中排除运动对象而获得的图像数据。利用该布置，推断单元132可以存储其中减小了运动对象的影响的图像作为累积图像之一，并且因此，在将来处理中可以提高对照和环境劣化补偿的准确性。
[0127]
将返回图5继续描述。在获取了新图像的情况下，基于对照图像，生成单元133生成通过校正新获取的图像而获得的恢复图像。注意，生成单元133可以获取由信息处理装置100拍摄的新图像，或者可以经由网络n获取由其他成像装置(摄像装置等)拍摄的图像等。
[0128]
此外，当在恢复图像的下一定时处获取图像的情况下，生成单元133基于过去在与在恢复图像的下一定时处要获取的图像相对应的位置处拍摄的图像，校正在恢复图像的下一定时处拍摄的图像。即，推断单元132通过在自主驾驶继续的同时重复生成恢复图像来继续提供用于执行高安全性自主驾驶的图像。
[0129]
具体地，生成单元133通过基于新拍摄图像与对照图像之间的差异执行环境劣化补偿来校正新拍摄图像。针对环境劣化补偿，可以应用各种已知技术。
[0130]
例如，生成单元133可以通过基于对照图像中包括的自然环境的边界校正新拍摄的图像来生成恢复图像。将通过使用图9来描述这一点。图9是描述根据本公开内容的实施方式的生成处理的图(1)。
[0131]
在图9的示例中，生成单元133获取由于雾或薄雾等的影响而不清楚的图像p41作为新拍摄的图像。此外，生成单元133从存储单元120中获取图像p42作为对照图像，该图像p42是通过捕获与图像p41中相同的被摄体的图像而获得的图像(步骤s48)。
[0132]
生成单元133分析图像p42并且提取天空与地之间的边界20、表示道路的曲线21等。然后，生成单元133比较并验证分析图像p42和图像p41，并且生成作为恢复图像的图像p43(步骤s49)。例如，生成单元133从p42中获取在图像p41中不清楚的天空边界、表示道路的曲线等的信息，将获取的信息反映到图像p41，并且生成图像p43。利用该布置，生成单元133可以生成在天空与道路之间具有清楚边界的图像p43，而不是其中天空和道路不清楚的图像p41，并且因此，可以提高自主驾驶的安全性。
[0133]
此后，基于图像p43，推断单元132执行对照处理，以推断与被预期接下来要拍摄的图像相对应的对照图像(步骤s50)。基于由对照处理发布的对照id，从存储单元120中选择下一对照图像。
[0134]
根据导致环境劣化的因素，环境劣化补偿可以包括各种不同的处理。例如，在对照图像的透射率高于新拍摄的图像的透射率的情况下，生成单元133基于对照图像在新拍摄的图像上执行去雾，并且生成恢复图像。
[0135]
将通过使用图10来描述这一点。图10是描述根据本公开内容的实施方式的生成处理的图(2)。
[0136]
在执行去雾的情况下，生成单元133与rgb图像i(拍摄图像)分开地生成表示图像中的透射率的透射率图t。然后，生成单元133对rgb图像i执行透射率校正(步骤s51)。随后，生成单元133基于校正透射率对原始rgb图像i执行去雾(步骤s52)。利用该布置，生成单元133可以生成去除了雾的图像j。
[0137]
此外，生成单元133不仅可以执行去除诸如雾或薄雾的雾的处理，还可以执行用于去除由雨滴或镜头上的灰尘引起的噪声分量等的处理。例如，基于根据对照图像以及在对照图像之前或之后拍摄的图像计算出的运动矢量，生成单元133可以对新拍摄的图像执行噪声去除并且生成恢复图像。
[0138]
将通过使用图11来描述这一点。图11是描述根据本公开内容的实施方式的生成处理的图(3)。
[0139]
在执行噪声去除的情况下，例如，生成单元133从一系列运动图像中提取多个图像，并且基于所提取的多个图像来执行校正处理。这是基于以下事实的：通过添加在预定时刻处连续拍摄的多个图像来减小包括频繁运动的部分(可能引起噪声的部分)的影响，并且因此可以获得清楚的图像。
[0140]
首先，如图11所示，生成单元133通过利用已知技术根据多个图像计算运动矢量和运动矢量可靠性。
[0141]
生成单元133基于运动矢量对图像执行运动补偿(步骤s61)。此后，生成单元133通过在多个图像中使用噪声量、模糊量、折叠量、运动矢量可靠性、周期历史等的特征值来控制过去帧与当前帧的相加比率(步骤s62)。然后，基于与运动补偿有关的信息、相加比率和可见图像的每个信息，生成单元133将多个图像相加并获得去除了噪声影响的可见图像(步骤s63)。注意，生成单元133可以将通过将多个图像相加而获得的图像存储在帧存储器中，以将该图像用于下一处理(步骤s64)。
[0142]
以这种方式，通过根据对照图像以及对照图像之前或之后拍摄的图像计算运动矢量等，生成单元133基于与在图像中识别的静止对象有关的信息对图像执行噪声去除并且生成恢复图像。利用该布置，生成单元133可以针对由各种因素引起的环境劣化执行强的噪
声去除。
[0143]
此外，生成单元133可以通过利用运动矢量来判断诸如建筑物的静止结构，并且基于判断结果来选择要累积的图像。例如，生成单元133可以选择包括较少运动对象的图像，并且将该图像累积在存储单元120中。以这种方式，生成单元133将对照图像和恢复图像的像素信息进行比较，并且选择要在存储单元120中累积的图像。例如，生成单元133选择具有较小噪声的图像，例如具有较小信噪比的图像或图像中具有高对比度的图像，并且更新在图像数据表121中累积的图像。利用该布置，随着处理的进行，生成单元133可以在存储单元120中累积受噪声的影响更少的清楚图像。
[0144]
自主驾驶单元134在生成单元133的后级中执行处理。例如，自主驾驶单元134对由生成单元133生成的恢复图像执行图像识别处理，并且控制移动对象的自主驾驶。例如，根据作为图像识别处理的结果，在移动对象和对象可能彼此碰撞或者移动对象行驶的道路被阻塞的情况下，自主驾驶单元134控制移动对象的避开动作(转向操作或制动操作)，或者向移动对象的用户告警。
[0145]
[1
‑
3.根据实施方式的信息处理过程]
[0146]
接下来，将通过使用图12和图13描述根据实施方式的信息处理过程。图12是示出根据本公开内容的实施方式的处理流程的流程图(1)。
[0147]
如图12所示，在行驶期间，信息处理装置100经由诸如摄像装置40的传感器获取图像(步骤s101)。然后，信息处理装置100将获取的图像作为累积图像集存储在存储单元120中(步骤s102)。
[0148]
如图12所示，通过在行驶期间获取并累积图像，信息处理装置100可以在下次行驶相同路线时执行根据本实施方式的信息处理。例如，信息处理装置100可以在到达目的地的途中用后摄像装置记录迎面而来的车道，并且可以在回程中的自主驾驶中执行根据实施方式的信息处理。
[0149]
随后，将描述图13。图13是示出根据本公开内容的实施方式的处理流程的流程图(1)。
[0150]
信息处理装置100根据用户的操作等开始自主驾驶(步骤s201)。信息处理装置100在通过自主驾驶的行驶期间获取图像(步骤s202)。
[0151]
信息处理装置100判断是否已经识别出用于校正所获取的图像的校正图像(步骤s203)。例如，假定当在某一路线上开始自主驾驶时在第一帧中未识别出候选图像。以这种方式，在未识别出候选图像的情况下(步骤s203；否)，信息处理装置100通过使用例如诸如gps数据的位置信息来识别候选图像(步骤s204)。
[0152]
同时，在识别出候选图像的情况下(步骤s203；是)，信息处理装置100基于候选图像执行环境劣化补偿并生成恢复图像(步骤s205)。注意，在存在多个候选图像的情况下，信息处理装置100基于从候选图像中选择的对照图像来执行环境劣化补偿。
[0153]
此后，信息处理装置100对照累积图像与恢复图像(步骤s206)。然后，信息处理装置100基于对照的结果推断下一候选图像(步骤s207)。
[0154]
随后，信息处理装置100判断自主驾驶中是否存在异常(步骤s208)。在不存在异常的情况下(步骤s208；是)，信息处理装置100继续控制自主驾驶(步骤s209)。然后，信息处理装置100存储自主驾驶期间的操作和行驶历史。
[0155]
同时，在已经判断处在自主驾驶中存在异常的情况下(步骤s208；否)，信息处理装置100针对异常执行避开处理(步骤s211)。
[0156]
此后，信息处理装置100判断自主驾驶是否已经结束(步骤s212)。在自主驾驶尚未结束的情况下(步骤s212；否)，信息处理装置100继续用于获取图像的处理(步骤s202)。同时，在由于用户的操作、到达目的地等自主驾驶已经结束的情况下(步骤s212；是)，信息处理装置100结束一系列处理。
[0157]
[1
‑
4.根据实施方式的修改]
[0158]
除了上述实施方式以外，可以以各种不同的形式来执行根据实施方式的信息处理。因此，下面将描述信息处理装置100的其他实施方式。
[0159]
[1
‑4‑
1.地图数据的利用等]
[0160]
在上述实施方式中，示出了信息处理装置100基于移动对象的行驶速度等推断与在下一定时处拍摄的图像相对应的对照图像。此处，信息处理装置100不仅可以使用行驶速度而且可以使用不同的信息来推断对照图像。
[0161]
例如，信息处理装置100可以基于地图数据来推断对照图像。通常，自主驾驶的移动对象包括用于掌握移动对象的空间位置的地图数据。因此，移动对象在预测将来的行驶位置(例如移动对象接下来行驶的位置或移动对象进行转弯的位置)的同时行驶。基于地图数据，信息处理装置100可以判断将来要行驶的位置，并且根据判断结果，信息处理装置100可以推断与下一定时处要拍摄的图像相对应的对照图像。
[0162]
[1
‑4‑
2.适用于自主驾驶以外的情况]
[0163]
根据本公开内容的信息处理可以应用于除自主驾驶期间的环境劣化补偿以外的各种情况。例如，根据本公开内容的信息处理可以应用于诊断成像中的环境劣化补偿。
[0164]
例如，在诊断特定图像的情况下，可能存在直到几秒钟前已经捕获的被摄体图像的图像质量劣化的情况。作为示例，在执业医生在手术现场使用电子手术刀的情况下，可能存在会生成烟等并且将仅获得直到几秒钟前已成像的被摄体模糊的图像或者由于烟而导致透射率降低的图像的情况。
[0165]
在这样的情况下，可以执行根据本公开内容的信息处理以执行环境劣化补偿。具体地，信息处理装置100基于直到几秒钟前捕获的图像(该图像不受环境影响)，对受烟影响的图像执行环境劣化补偿。利用该布置，信息处理装置100可以获得从中消除了烟的影响的清楚的当前图像。
[0166]
(2.其他实施方式)
[0167]
可以以除了上述实施方式以外的各种不同的形式执行根据上述实施方式的每个实施方式的处理。
[0168]
[2
‑
1.移动对象的配置]
[0169]
尽管在上述实施方式中示出了将信息处理装置100安装在移动对象上的示例，但是信息处理装置100可以由自主驾驶的自主驾驶对象(汽车)本身来实现。在这种情况下，除了图5所示的配置之外，信息处理装置100还可以具有以下配置。注意，例如，以下所示的每个单元可以包括在图5所示的配置中。
[0170]
例如，移动对象具有自主驾驶控制单元、检测单元、自身位置估计单元、状况分析单元、计划单元和运动控制单元。此外，移动对象可以包括输入单元、数据获取单元、车辆通
信单元、车载设备、输出控制单元、输出单元、驱动系统控制单元、驱动系统、车身系统控制单元、车身系统、车辆存储单元和自主驾驶控制单元。
[0171]
输入单元包括乘员用来输入各种数据、指令等的装置。例如，输入单元包括诸如触摸面板、按钮、麦克风、开关或操纵杆的操作装置等，以及能够通过利用除了手动操作以外的方法通过声音、姿势等进行输入的操作装置。此外，例如，输入单元可以是利用红外线或其他无线电波的远程控制装置，或者是与信息处理装置100的操作相对应的外部连接设备，例如移动设备或可穿戴设备。输入单元基于乘员输入的数据、指令等来生成输入信号，并且将该输入信号提供给信息处理装置100的每个单元。
[0172]
数据获取单元包括用于获取用于处理移动对象的数据的各种传感器等，并且将所获取的数据提供给移动对象的每个单元。
[0173]
例如，数据获取单元包括用于检测自己车辆的状态等的各种传感器。具体地，例如，数据获取单元包括陀螺仪传感器、加速度传感器、惯性测量单元(imu)或者检测加速器踏板操作量、制动踏板操作量、方向盘转向角、引擎速度、电动机速度、车轮转速等的传感器等。
[0174]
此外，例如，数据获取单元包括用于检测自己车辆的外部信息等的各种传感器。具体地，例如，数据获取单元包括成像装置，例如飞行时间(tof)摄像装置、立体摄像装置、单眼摄像装置、红外摄像装置或其他摄像装置。此外，例如，数据获取单元包括用于检测天气、气象现象等的环境传感器以及用于检测自己车辆周围的对象的周围信息检测传感器。环境传感器包括例如雨滴传感器、雾传感器、日照传感器、雪传感器等。周围信息检测传感器包括例如超声波传感器、雷达、光检测和测距、激光成像检测和测距(lidar)、声纳等。
[0175]
此外，例如，数据获取单元包括用于检测自己车辆的当前位置等的各种传感器。具体地，例如，数据获取单元包括从gnss卫星接收gnss信号的全球导航卫星系统(gnss)接收设备等。
[0176]
此外，例如，数据获取单元包括用于检测车内信息等的各种传感器。具体地，例如，数据获取单元包括捕获驾驶员的图像的成像装置、检测驾驶员的生物信息的生物传感器、在车辆内部收集声音的麦克风等。生物传感器例如设置在座椅表面、方向盘等上，并且检测坐在座椅上的乘员或握持方向盘的驾驶员的生物信息。
[0177]
车辆通信单元与车载设备以及车辆外部的各种设备、服务器、基站等进行通信，并且发送从移动对象的每个单元提供的数据，或者将接收到的数据提供给每个移动对象的单元。注意，由车辆通信单元支持的通信协议不受特别限制，并且车辆通信单元还可以支持多种类型的通信协议。
[0178]
例如，车辆通信单元通过无线lan、蓝牙(注册商标)、近场通信(nfc)、无线usb(wusb)等与车载设备执行无线通信。此外，例如，车辆通信单元经由连接端子(和线缆，如有必要)通过使用通用串行总线(usb)、高清多媒体接口(hdmi)(注册商标)、移动高清链接(mhl)等与车载设备执行有线通信。
[0179]
此外，例如，车辆通信单元经由基站或接入点与存在于外部网络(例如，因特网、云网络或商业专用网络)上的设备(例如，应用服务器或控制服务器)进行通信。此外，例如，车辆通信单元通过使用对等(p2p)技术与存在于自己车辆附近的终端(例如，行人或商店的终端或机器类型通信(mtc)终端)进行通信。此外，例如，车辆通信单元执行v2x通信，例如车辆
到车辆通信、车辆到基础设施通信、车辆到家庭通信或车辆到行人通信。此外，例如，车辆通信单元包括信标接收单元，接收从安装在道路上的无线站等发送的无线电波或电磁波，并且获取当前位置、交通拥堵、交通规则、所需时间等的信息。
[0180]
车载设备包括例如乘员所拥有的移动设备或可穿戴设备、携带在或附接至自己车辆中的信息设备、用于搜索到任意目的地的路线的导航装置等。
[0181]
输出控制单元控制向自己车辆的乘员或车辆外部的各种信息的输出。例如，通过生成包括视觉信息(例如，图像数据)或听觉信息(例如，声音数据)中的至少一种的输出信号并将该输出信号提供给输出单元，输出控制单元控制来自输出单元的视觉信息或听觉信息的输出。具体地，例如，输出控制单元组合由数据获取单元的不同成像装置捕获的图像数据以生成鸟瞰图像、全景图像等，并且向输出单元提供包括所生成的图像的输出信号。此外，例如，输出控制单元生成包括针对诸如碰撞、接触或进入危险区域的危险的警告声音、警告消息等的声音数据，并且向输出单元提供包括所生成的声音数据的输出信号。
[0182]
输出单元包括能够将视觉信息或听觉信息输出到自己车辆的乘员或车辆外部的装置。例如，输出单元包括显示装置、仪表板、音频扬声器、耳机、乘员佩戴的可穿戴装置(例如眼镜型显示器)、投影仪、灯等。除了具有普通显示器的装置以外，包括在输出单元中的显示装置可以是例如在驾驶员的视场中显示视觉信息的装置例如平视显示器、透射显示器，或者具有增强现实(ar)显示功能的装置。
[0183]
驱动系统控制单元通过生成各种控制信号并将控制信号提供给驱动系统来控制驱动系统。此外，根据需要，驱动系统控制单元向除了驱动系统以外的每个单元提供控制信号，并且执行对驱动系统的控制状态的通知等。
[0184]
驱动系统包括与自己车辆驱动系统相关的各种装置。例如，该驱动系统包括：用于生成内燃机、驱动马达等的驱动力的驱动力生成装置；用于将驱动力传送至车轮的驱动力传送机构；用于调节转向角的转向机构；生成制动力的制动装置；防抱死制动系统(abs)；电子稳定控制(esc)；电子助力转向装置等。
[0185]
车身系统控制单元通过生成各种控制信号并将控制信号提供给车身系统来控制车身系统。此外，根据需要，车身系统控制单元向车身系统以外的每个单元提供控制信号，并且执行车身系统控制单元的控制状态的通知等。
[0186]
车身系统包括安装在车身上的各种车身装置。例如，车身系统包括无钥匙进入系统、智能钥匙系统、电动车窗装置、电动座椅、方向盘、空调装置、各种灯(例如，前大灯、尾灯、刹车灯、闪光灯、雾灯等)等。
[0187]
车辆存储单元包括例如：磁存储装置比如只读存储器(rom)、随机存取存储器(ram)或硬盘驱动器(hdd)；半导体存储装置；光存储装置；磁光存储装置等。车辆存储单元存储移动对象的每个单元所使用的各种程序、数据等。例如，车辆存储单元存储三维高精度地图的地图数据，三维高精度地图例如动态地图、与高精度地图相比覆盖区域广且精度较低的全局地图、包括自己车辆的周围信息的局部地图等。
[0188]
自主驾驶控制单元执行与自主驾驶相关的控制，例如自主行驶或驾驶支持。具体地，例如，自主驾驶控制单元执行协调控制，以实现高级驾驶员辅助系统(adas)的功能，包括避免自己车辆的碰撞或减轻影响、基于车辆间距离的跟随行驶、车速维持行驶、自己车辆的碰撞警告、自己车辆的车道偏离警告等。此外，例如，自主驾驶控制单元执行协调控制以
进行自主驾驶等目的，该自主驾驶等是在不依赖驾驶员的操作的情况下的自主行驶。自主驾驶控制单元包括检测单元、自身位置估计单元、状况分析单元、计划单元和运动控制单元。
[0189]
检测单元检测控制自主驾驶所需的各种信息。检测单元包括外部信息检测单元、车载信息检测单元和车辆状态检测单元。
[0190]
外部信息检测单元基于来自移动对象的每个单元的数据或信号来执行对自己车辆外部的信息的检测处理。例如，外部信息检测单元执行对自己车辆周围的对象的检测处理或识别处理、跟踪处理以及对到该对象的距离的检测处理。被检测的对象包括例如车辆、人、障碍物、建筑物、道路、交通信号灯、交通标志、道路标记等。此外，例如，外部信息检测单元执行自己车辆周围环境的检测处理。要检测的周围环境包括例如天气、温度、湿度、亮度、路面状况等。外部信息检测单元将指示检测处理的结果的数据提供给自身位置估计单元、状况分析单元的地图分析单元、交通规则识别单元或状况识别单元、运动控制单元的紧急情况避免单元等。
[0191]
车载信息检测单元基于来自移动对象的每个单元的数据或信号来执行车载信息的检测处理。例如，车载信息检测单元执行驾驶员认证处理、驾驶员识别处理、驾驶员状态检测处理、乘员检测处理、车内环境检测处理等。例如，要检测的驾驶员的状态包括身体状况、清醒水平、专注水平、疲劳水平、视线方向等。要检测的车内环境包括例如温度、湿度、亮度、气味等。车载信息检测单元将指示检测处理的结果的数据提供给状况分析单元的状况识别单元、运动控制单元的紧急情况避免单元等。
[0192]
车辆状态检测单元基于来自移动对象的每个单元的数据或信号来执行对自己车辆的状态的检测处理。要检测的自己车辆的状态包括例如速度、加速度、转向角、异常的存在与否或内容、驾驶操作状态、电动座椅的位置或倾斜度、门锁的状态、其他车载设备的状态等。车辆状态检测单元将指示检测处理的结果的数据提供给状况分析单元的状况识别单元、运动控制单元的紧急情况避免单元等。
[0193]
自身位置估计单元基于来自移动对象的诸如外部信息检测单元或状况分析单元的状况识别单元的每个单元的数据或信号，执行用于估计自己车辆的位置、取向等的处理。此外，自身位置估计单元根据需要生成用于自身位置估计的局部地图(以下，称为自身位置估计地图)。自身位置估计地图例如是使用诸如同时定位和映射(slam)的技术的高精度地图。自身位置估计单元将指示估计处理的结果的数据提供给状况分析单元的地图分析单元、交通规则识别单元或状况识别单元等。此外，自身位置估计单元将自身位置估计地图存储在车辆存储单元中。
[0194]
状况分析单元执行用于分析自己车辆或周围环境的状况的处理。状况分析单元包括地图分析单元、交通规则识别单元、状况识别单元和状况预测单元。
[0195]
地图分析单元根据需要，通过使用来自移动对象的诸如自身位置估计单元或外部信息检测单元的每个单元的数据或信号，来执行用于分析存储在车辆存储单元中的各种地图的处理，并且构建包括用于自主驾驶的处理所需的信息的地图。地图分析单元将构建的地图提供给交通规则识别单元、状况识别单元、状况预测单元、计划单元的路线计划单元、行动计划单元或运动计划单元等。
[0196]
交通规则识别单元基于来自移动对象的诸如自身位置估计单元、外部信息检测单
元或地图分析单元的每个单元的数据或信号，执行用于识别自己车辆周围的交通规则的处理。通过该识别处理，例如，可以识别自己车辆周围的交通信号的位置或状态、自己车辆周围的交通法规的内容、可驾驶车道等。交通规则识别单元将指示识别处理的结果的数据提供给状况预测单元等。
[0197]
状况识别单元基于来自移动对象的诸如自身位置估计单元、外部信息检测单元、车载信息检测单元、车辆状态检测单元或地图分析单元的每个单元的数据或信号，执行用于识别与自己车辆相关的状况的处理。例如，状况识别单元执行用于识别自己车辆的状况、自己车辆周围的状况、自己车辆的驾驶员的状况等的处理。此外，状况识别单元根据需要生成用于识别自己车辆周围的状况的局部地图(在下文中称为状况识别地图)。状况识别地图是例如占用栅格图。
[0198]
要识别的自己车辆的状况包括例如自己车辆的位置、取向、运动(例如，速度、加速度、运动方向等)、异常存在与否或内容等。要识别的自设车辆的周围环境的状况包括例如周围静止对象的类型或位置、周围运动对象的类型、位置或运动(例如，速度、加速度、运动方向等)、周围道路的配置、道路表面的状况、天气、温度、湿度或周围环境的亮度等。要识别的驾驶员的状态包括例如身体状况、清醒水平、专注水平、疲劳水平、视线移动、驾驶操作等。
[0199]
状况识别单元将指示识别处理的结果的数据(必要时包括状况识别地图)提供给自身位置估计单元、状况预测单元等。此外，状况识别单元将状况识别地图存储在车辆存储单元中。
[0200]
状况预测单元基于来自移动对象的诸如地图分析单元、交通规则识别单元或状况识别单元的每个单元的数据或信号，执行用于预测与自己车辆相关的状况的处理。例如，状况预测单元执行用于预测自己车辆的状况、自己车辆的周围状况、驾驶员的状况等的处理。
[0201]
要预测的自己车辆的状况包括例如自己车辆的行为、异常的发生、可行驶距离等。要预测的自己车辆的周围环境的状况包括例如，自己车辆周围的运动对象的行为、信号状态的变化、诸如天气的环境变化等。待预测的驾驶员的状况包括例如驾驶员的行为或身体状况等。
[0202]
状况预测单元将指示预测处理的结果的数据与来自交通规则识别单元和状况识别单元的数据一起提供给计划单元的路线计划单元、行动计划单元或运动计划单元等。
[0203]
路线计划单元基于来自移动对象的诸如地图分析单元或状况预测单元的每个单元的数据或信号来计划到目的地的路线。例如，路线计划单元基于全局地图来设置从当前位置到指定目的地的路线。此外，例如，路线计划单元基于交通拥堵、事故、交通法规、构造等的状况或驾驶员的状况等来适当地改变路线。路线计划单元向行动计划单元等提供指示计划路线的数据。
[0204]
行动计划单元基于来自移动对象的诸如地图解析单元、状况预测单元的每个单元的数据或信号，计划在计划时间内使本车在由路线计划单元计划的路线上安全行驶的行动。例如，行动计划单元计划出发、停止、行驶方向(例如，前进、后退、左转、右转、方向改变等)、驾驶车道、行驶速度、超车等。行动计划单元将指示自己车辆的计划行动的数据提供给运动计划单元等。
[0205]
运动计划单元基于来自移动对象的诸如地图解析单元或状况预测单元的每个单
元的数据或信号，计划自己车辆的运动，以实现由行动计划单元计划的行动。例如，运动计划单元计划加速度、减速度、行驶轨迹等。运动计划单元将指示自己车辆的计划运动的数据提供给运动控制单元的加速/减速控制单元或方向控制单元等。
[0206]
运动控制单元控制自己车辆的运动。运动控制单元包括紧急状况避免单元、加速/减速控制单元和方向控制单元。
[0207]
紧急状况避免单元基于外部信息检测单元、车载信息检测单元或车辆状态检测单元的检测结果，执行用于检测到诸如碰撞、接触、进入危险区域、驾驶员异常、车辆异常的紧急状况的处理。在检测到紧急状况的情况下，紧急状况避免单元计划自己车辆的运动，以避免诸如急停或急转弯的紧急状况。紧急情况避免单元将指示自己车辆的计划运动的数据提供给加速/减速控制单元或方向控制单元等。
[0208]
加速/减速控制单元执行加速/减速控制，以实现由运动计划单元或紧急状况避免单元计划的自己车辆的运动。例如，加速/减速控制单元计算用于实现计划的加速、减速或急停的驱动力生成装置或制动装置的控制目标值，并且将指示计算出的控制目标值的控制命令提供给驱动系统控制单元。
[0209]
方向控制单元执行方向控制，以实现由运动计划单元或紧急状况避免单元计划的自己车辆的运动。例如，方向控制单元计算用于实现由运动计划单元或紧急状况避免单元计划的行驶轨迹或急转弯的转向机构的控制目标值，并且将指示计算出的控制目标值的控制命令提供给驱动系统控制单元。
[0210]
[2
‑
2.其他]
[0211]
在上述每个实施方式中描述的处理中，被描述为自动执行的处理的全部或一部分可以手动执行，或者被描述为手动执行的处理的全部或一部分可以通过已知方法自动执行。另外，除非另外指明，否则可以任意改变上述文档或附图中所描述的处理过程、具体名称以及包括各种数据和参数的信息。例如，在每个附图中示出的各种信息不限于所示出的信息。
[0212]
此外，每个所示装置的每个部件是功能概念，并且不一定必须如附图中所示物理地配置。即，每个装置的分布或集成的具体形式不限于附图中所示的形式，并且装置的全部或一部分可以根据各种负载、使用条件等在功能上或物理上分布或集成在任何单元中。
[0213]
此外，只要处理的内容不相互矛盾，就可以适当地组合上述实施方式和修改。此外，尽管在上述实施方式中汽车被作为移动对象的示例，但是根据本公开内容的信息处理可以应用于除了汽车以外的移动对象。例如，移动对象可以是诸如自动二轮车或自动三轮车的小型车辆、诸如公共汽车或卡车的大型车辆、或者诸如机器人或无人机的自主移动对象。此外，信息处理装置100不一定与移动对象集成，而可以是经由网络n从移动对象获取信息并基于所获取的信息确定要移除的区域的云服务器等。
[0214]
此外，本文中描述的效果仅是示例，并且本技术的效果不限于这些效果。还可以获得附加的效果。
[0215]
(3.根据本公开内容的信息处理装置的效果)
[0216]
如上所述，根据本公开内容的信息处理装置(实施方式中的信息处理装置100)具有推断单元(实施方式中的推断单元132)和生成单元(实施方式中的生成单元133)。基于第一图像(实施方式中的拍摄图像)与过去拍摄的多个图像的对照结果，推断单元推断第三图
像(实施方式中的对照图像或候选图像)，该第三图像是过去在与要在第一图像的下一定时处拍摄的第二图像(实施方式中的紧接拍摄图像的要拍摄的拍摄图像)相对应的位置处拍摄的图像。生成单元推断第四图像(实施方式中的恢复图像)，该第四图像是在获取了第二图像的情况下通过基于第三图像校正第二图像而获得的图像。
[0217]
以这种方式，根据本公开内容的信息处理装置推断要与接下来要获取的图像对照的图像，并且基于推断图像来校正接下来要获取的图像(第二图像)。利用该布置，信息处理装置可以获得不受环境变化影响的图像。
[0218]
此外，在生成第四图像之后，推断单元对照第四图像与过去拍摄的多个图像，以推断过去在与在第四图像的下一定时处要拍摄的图像相对应的位置处拍摄的图像。在第四图像的下一定时处获取图像的情况下，生成单元基于过去在与在第四图像的下一定时处要获取的图像相对应的位置处拍摄的图像，来校正在第四图像的下一定时处拍摄的图像。利用该布置，信息处理装置可以连续获取劣化程度较小的图像，并且因此可以在诸如自主驾驶的连续处理中实现图像的稳定获取。
[0219]
此外，推断单元推断与由包括传感器的移动对象拍摄的第二图像相对应的第三图像。利用该布置，信息处理装置可以在利用了移动对象的拍摄图像的诸如自主驾驶的处理中获得不受环境变化的影响的图像。
[0220]
此外，推断单元基于拍摄第一图像的移动对象的行驶速度，从过去拍摄的多个图像推断第三图像。利用该布置，信息处理装置可以以高准确性推断与接下来要拍摄的图像相对应的第三图像。
[0221]
此外，基于移动对象的位置信息，推断单元推断过去在与第二图像相对应的位置处拍摄的第三图像。利用该布置，即使在不能获得对照结果的情况下，信息处理装置也可以从过去拍摄的图像中推断与当前时刻的图像相对应的图像。
[0222]
此外，生成单元通过基于第三图像中包括的自然环境的边界校正第二图像来生成第四图像。利用该布置，信息处理装置可以获得在利用边界的诸如自主驾驶的处理中有用的第四图像。
[0223]
此外，在第三图像的透射率高于第二图像的透射率的情况下，生成单元通过基于第三图像对第二图像执行去雾来生成第四图像。利用该布置，信息处理装置可以获得去除了雾或薄雾的影响的清楚的第四图像，并且因此能够增强自主驾驶等的处理的安全性。
[0224]
此外，生成单元通过根据基于第三图像和在第三图像之前或之后拍摄的图像而计算的运动矢量，对第二图像执行噪声去除来生成第四图像。利用该布置，信息处理装置可以获得去除了由于背光或夜间的光量的影响而生成的噪声或镜头上的灰尘所生成的噪声的、清楚的第四图像，并且因此能够增强自主驾驶等的处理的安全性。
[0225]
此外，生成单元通过根据与基于第三图像和在第三图像之前或之后拍摄的图像识别的静止对象有关的信息，对第二图像执行噪声去除来生成第四图像。利用该布置，信息处理装置可以通过从拍摄图像中去除移动对象的影响来获得第四图像，并且因此可以增强自主驾驶中的处理的安全性。
[0226]
此外，生成单元比较第三图像和第四图像的像素信息，并且选择要在存储单元中累积哪个图像。利用该布置，信息处理装置可以在存储单元中累积更清楚的图像，并且因此可以增强随后的环境劣化补偿处理的效果。
[0227]
(4.硬件配置)
[0228]
例如，通过具有图14所示的配置的计算机1000来实现诸如根据上述每个实施方式的信息处理装置100的信息装置。下面将以根据实施方式的信息处理装置100为例进行描述。图14是示出实现信息处理装置100的功能的计算机1000的示例的硬件配置图。计算机1000具有cpu 1100、ram 1200、只读存储器(rom)1300、硬盘驱动器(hdd)1400、通信接口1500和输入/输出接口1600。计算机1000的每个单元通过总线1050连接。
[0229]
cpu 1100基于存储在rom 1300或hdd 1400中的程序进行操作，并且控制每个单元。例如，cpu 1100将存储在rom 1300或hdd 1400中的程序加载到ram 1200中，并且执行与各种程序相对应的处理。
[0230]
rom 1300存储当计算机1000启动时由cpu 1100执行的诸如基本输入输出系统(bios)的引导程序、依赖于计算机1000的硬件的程序等。
[0231]
hdd 1400是计算机可读记录介质，其非暂态地记录由cpu 1100执行的程序、由该程序使用的数据等。具体地，hdd 1400是记录根据本公开内容的信息处理程序的记录介质，该信息处理程序是程序数据1450的示例。
[0232]
通信接口1500是用于计算机1000连接至外部网络1550(例如，因特网)的接口。例如，经由通信接口1500，cpu 1100从其他设备接收数据或者将由cpu 1100生成的数据发送至其他设备。
[0233]
输入/输出接口1600是用于连接输入/输出装置1650和计算机1000的接口。例如，cpu 1100经由输入/输出接口1600从诸如键盘或鼠标的输入装置接收数据。此外，经由输入/输出接口1600，cpu 1100将数据发送至诸如显示器、扬声器或打印机的输出装置。此外，输入/输出接口1600可以用作用于读取记录在预定记录介质(介质)上的程序等的介质接口。该介质例如是诸如数字通用盘(dvd)或相变可重写盘(pd)的光学记录介质、诸如磁光盘(mo)的磁光记录介质、磁带介质、磁记录介质、半导体存储器等。
[0234]
例如，在计算机1000用作根据本实施方式的信息处理装置100的情况下，计算机1000的cpu 1100通过执行加载到ram 1200中的信息处理程序来实现控制单元130等的功能。此外，hdd 1400将根据本公开内容的信息处理程序或数据存储在存储单元120中。注意，尽管cpu 1100从hdd 1400读取程序数据1450并且执行程序数据1450，作为另一示例，这些程序可以经由外部网络1550从其他装置获取。
[0235]
注意，本技术可以具有以下配置：
[0236]
(1)
[0237]
一种信息处理装置，包括：
[0238]
推断单元，所述推断单元基于第一图像与过去拍摄的多个图像之间的对照结果推断第三图像，所述第三图像是在下述位置处过去拍摄的图像：该位置对应于在所述第一图像的下一定时处拍摄的第二图像；以及
[0239]
生成单元，所述生成单元在获取了所述第二图像的情况下，生成第四图像，所述第四图像是通过基于所述第三图像校正所述第二图像而获得的图像。
[0240]
(2)
[0241]
根据(1)所述的信息处理装置，
[0242]
其中，在生成所述第四图像之后，所述推断单元对照所述第四图像与过去拍摄的
多个图像，并且推断在下述位置处过去拍摄的图像：该位置对应于在所述第四图像的下一定时处拍摄的图像，并且
[0243]
当在所述第四图像的下一定时处获取了图像的情况下，所述生成单元基于过去在与要在所述第四图像的下一定时处拍摄的图像相对应的位置处拍摄的图像，来校正在所述第四图像的下一定时处获取的图像。
[0244]
(3)
[0245]
根据(1)或(2)所述的信息处理装置，
[0246]
其中，所述推断单元推断与通过配备有传感器的移动对象拍摄的所述第二图像相对应的所述第三图像。
[0247]
(4)
[0248]
根据(3)所述的信息处理装置，
[0249]
其中，所述推断单元基于拍摄所述第一图像的所述移动对象的移动速度，从过去拍摄的多个图像中推断所述第三图像。
[0250]
(5)
[0251]
根据(3)或(4)所述的信息处理装置，
[0252]
其中，所述推断单元基于所述移动对象的位置信息推断第三图像，所述第三图像是在与所述第二图像相对应的位置处过去拍摄的图像。
[0253]
(6)
[0254]
根据(1)至(5)中的任意一项所述的信息处理装置，
[0255]
其中，所述生成单元通过基于所述第三图像中包括的自然环境的边界校正所述第二图像来生成所述第四图像。
[0256]
(7)
[0257]
根据(1)至(6)中的任意一项所述的信息处理装置，
[0258]
其中，在所述第三图像的透射率高于所述第二图像的透射率的情况下，所述生成单元通过基于所述第三图像对所述第二图像执行去雾来生成所述第四图像。
[0259]
(8)
[0260]
根据(1)至(7)中的任意一项所述的信息处理装置，
[0261]
其中，所述生成单元通过基于运动矢量对所述第二图像执行噪声去除来生成所述第四图像，所述运动矢量是基于所述第三图像和在所述第三图像之前或之后拍摄的图像计算的。
[0262]
(9)
[0263]
根据(1)至(8)中的任意一项所述的信息处理装置，
[0264]
其中，所述生成单元通过基于关于静止对象的信息对所述第二图像执行噪声去除来生成所述第四图像，所述静止对象是基于所述第三图像和在所述第三图像之前或之后拍摄的图像识别的。
[0265]
(10)
[0266]
根据(1)至(9)中的任意一项所述的信息处理装置，
[0267]
其中，所述生成单元比较所述第三图像的像素信息和所述第四图像的像素信息，并且选择要在存储单元中累积哪一个图像。
[0268]
(11)
[0269]
一种信息处理方法，包括由计算机执行以下操作：
[0270]
基于第一图像与过去拍摄的多个图像之间的对照结果推断第三图像，所述第三图像是在下述位置处过去拍摄的图像：该位置对应于在所述第一图像的下一定时处拍摄的第二图像；以及
[0271]
在获取了所述第二图像的情况下，生成第四图像，所述第四图像是通过基于所述第三图像校正所述第二图像而获得的图像。
[0272]
(12)
[0273]
一种信息处理程序，用于使计算机用作：
[0274]
推断单元，所述推断单元基于第一图像与过去拍摄的多个图像之间的对照结果推断第三图像，所述第三图像是在下述位置处过去拍摄的图像：该位置对应于在所述第一图像的下一定时处拍摄的第二图像；以及
[0275]
生成单元，所述生成单元在获取了所述第二图像的情况下，生成第四图像，所述第四图像是通过基于所述第三图像校正所述第二图像而获得的图像。
[0276]
附图标记列表
[0277]
100 信息处理装置
[0278]
110 通信单元
[0279]
120 存储单元
[0280]
130 控制单元
[0281]
131 获取单元
[0282]
132 推断单元
[0283]
133 生成单元
[0284]
134 自主驾驶单元
[0285]
140 感测单元
[0286]
141 成像单元
[0287]
142 测量单元
[0288]
150 输入单元
[0289]
160 输出单元