信息处理装置、感测装置、移动体、信息处理方法以及信息处理系统与流程

信息处理装置、感测装置、移动体、信息处理方法以及信息处理系统
1.相关申请的相互参照
2.本技术主张2019年12月25日在日本提出专利申请的日本特愿2019-235115号的优先权，并将该在先申请的公开内容全部援引入本技术用于参照。
技术领域
3.本发明涉及信息处理装置、感测装置、移动体、信息处理方法以及信息处理系统。


背景技术：

4.以往，提供一种基于搭载于车载摄像头等车辆的传感器的输出来检测检测对象的物体的类型、位置、大小等的装置。在这样的装置中，可能包括因传感器的性能以及周边环境而误检测的情况以及检测误差的情况。因此，提出了能够测定检测对象并且输出检测结果的可靠度的装置或者系统(例如，参照专利文献1)。
5.例如，在专利文献1中公开了一种摄像头系统，该摄像头系统从摄像头的图像中识别拍摄对象的被摄体，依次测量该被摄体的三维位置，并与测量信息一起创建作为该测量信息的可靠度的指标的信息。
6.现有技术文献
7.专利文献
8.专利文献1：日本特开平9-322048号公报。


技术实现要素：

9.本发明的信息处理装置具有：输入接口、处理器以及输出接口。所述输入接口获取从观测空间得到的观测数据。所述处理器从所述观测数据中检测检测对象，并计算多个个别指标，其中，该多个个别指标分别表示与该检测对象的识别信息以及测量信息中的至少任一方相关的可靠度，还计算将该计算出的多个个别指标综合后的综合指标。所述输出接口输出所述综合指标。
10.本发明的感测装置具备：传感器、处理器以及输出接口。所述传感器构成为，感测观测空间，获取检测对象的观测数据。所述处理器从所述观测数据中检测检测对象，并计算多个个别指标，其中，该多个个别指标分别表示与该检测对象的识别信息以及测量信息中的至少任一方相关的可靠度，还计算将该计算出的多个个别指标综合后的综合指标。所述输出接口输出所述综合指标。
11.本发明的移动体具备信息处理装置。所述信息处理装置具备：输入接口、处理器以及输出接口。所述输入接口获取从观测空间得到的观测数据。所述处理器从所述观测数据中检测检测对象，并计算多个个别指标，其中，该多个个别指标分别表示与该检测对象的识别信息以及测量信息中的至少任一方相关的可靠度，还计算将该计算出的多个个别指标综合后的综合指标。所述输出接口输出所述综合指标。
12.本发明的图像处理方法包括以下步骤：从观测空间中获取观测数据，从所述观测数据中检测检测对象，计算多个个别指标，其中，该多个个别指标分别表示与该检测对象的识别信息以及测量信息中的至少任一方相关的可靠度。所述图像处理方法包括以下步骤：还计算将所述计算出的多个个别指标综合后的综合指标，输出所述综合指标。
13.本发明的信息处理系统包括：传感器、信息处理装置以及判定装置。所述传感器从观测空间中获取观测数据。所述信息处理装置包括处理器。所述处理器从所述观测数据中检测检测对象，并计算多个个别指标，其中，该多个个别指标分别表示与该检测对象的识别信息以及测量信息中的至少任一方相关的可靠度。所述处理器还计算将计算出的多个个别指标综合后的综合指标。所述判定装置基于所述综合指标，判定可否使用基于所述传感器的所述识别信息以及所述测量信息中的至少任一方的信息。
附图说明
14.图1是表示一个实施方式的信息处理系统即图像处理系统的概略结构的框图。
15.图2是表示搭载图1的图像处理系统的车辆和被摄体的一个例子的图。
16.图3是图1的图像处理装置的控制部的功能框图。
17.图4是表示运动图像上的被摄体图像的一个例子的图。
18.图5是说明实际空间的被摄体、运动图像中的被摄体图像以及虚拟空间中的质点的关系的图。
19.图6是表示虚拟空间中的质点的移动的一个例子的图。
20.图7是表示被摄体位置的推定值的误差椭圆的图。
21.图8是说明第一指标的计算方法的图。
22.图9是表示第二指标的计算方法中的累积分布函数的图。
23.图10是表示图1的图像处理装置的控制部执行的处理的例子的流程图。
24.图11是表示一个实施方式的感测装置即拍摄装置的概略结构的框图。
25.图12是表示包含毫米波雷达的感测装置的概略结构的一个例子的框图。
26.图13是表示图12的感测装置的信息处理部执行的处理的例子的流程图。
27.图14是表示映射变换到虚拟空间上的观测数据的一个例子的图。
28.图15是表示对图14的观测数据进行聚类化的图。
具体实施方式
29.在对由车载摄像头等感测装置获取的观测数据进行处理的信息处理装置中，存在检测对象多种多样且涉及多个个体的情况。另外，在信息处理装置中，在检测的信息中可以包括定量的测量信息以及检测对象的类别等的识别信息。在这样的情况下，如果针对各个个体的各个信息创建可靠度的信息，则有可能变得非常繁杂。
30.如果能够综合多个可靠度的信息来计算一个可靠度的指标，则可能会易于使用。
31.以下，参照附图对本发明的实施方式进行说明。在以下的说明中使用的附图是示意性的图。附图上的尺寸比例等未必与现实一致。
32.本发明的一个实施方式的信息处理系统的一个例子即图像处理系统1包括：拍摄装置10、图像处理装置20以及判定装置30。拍摄装置10是感测观测空间的传感器的一个例
子。图像处理装置20是信息处理装置的一个例子。如图2所例示，图像处理系统1搭载于作为移动体的一个例子的车辆100。
33.如图2所示，在本实施方式中，在实际空间的坐标中，x轴方向是设置有拍摄装置10的车辆100的宽度方向。实际空间是用于获取观测数据的对象即观测空间。y轴方向是车辆100的后退的方向。x轴方向和y轴方向是与车辆100所处的路面平行的方向。z轴方向是垂直于路面的方向。能够将z轴方向称为铅垂方向。x轴方向、y轴方向以及z轴方向相互正交。x轴方向、y轴方向以及z轴方向的取用方法并不限定于此。x轴方向、y轴方向以及z轴方向能够互相替换。
34.(拍摄装置)
35.如图1所示，拍摄装置10构成为包括：拍摄光学系统11、拍摄元件12以及控制部13。
36.拍摄装置10可以设置于车辆100的各种位置。拍摄装置10包括前置摄像头、左侧摄像头、右侧摄像头以及后置摄像头等，但并不限定于这些。前置摄像头、左侧摄像头、右侧摄像头以及后置摄像头分别以能够对车辆100的前方、左侧方、右侧方以及后方的周边区域进行拍摄的方式设置于车辆100。在以下作为一例说明的实施方式中，如图2所示，拍摄装置10以光轴方向从水平方向朝下的方式安装于车辆100，以便对车辆100的后方进行拍摄。
37.拍摄元件12包括：ccd图像传感器(charge-coupled device image sensor：电荷耦合器件图像传感器)以及cmos图像传感器(complementary mos image sensor：互补金属氧化物半导体图像传感器)。拍摄元件12将由拍摄光学系统11在拍摄元件12的成像面上成像的被摄体图像变换为电信号。被摄体图像是作为检测对象的被摄体的图像。拍摄元件12能够以规定的帧率(frame rate)对运动图像进行拍摄。运动图像是观测数据的一个例子。将构成运动图像的各静止图像称为帧。将能够在一秒钟内拍摄的图像的数量称为帧率。帧率例如可以设为60fps(frames per second)、30fps等。
38.控制部13控制拍摄装置10整体，并且对从拍摄元件12输出的运动图像执行各种图像处理。控制部13进行的图像处理可以失真校正、亮度调整、对比度调整以及伽玛校正(gamma correction)等的任意的处理。
39.控制部13可以由1个或多个处理器构成。控制部13例如包括构成为通过执行存储于关联的存储器的指示来执行1个以上的数据计算步骤或者处理的1个以上的电路或单元。控制部13包括1个以上的处理器、微处理器、微控制器、专用集成电路(asic：application specific integrated circuit)、数字信号处理装置(dsp：digital signal processor)、可编程逻辑器件(pld：programmable logic device)、现场可编程逻辑门阵列(fpga：field-programmable gate array)、或者这些设备或结构的任意组合，或者其他已知的设备或结构的组合。
40.(图像处理装置)
41.图像处理装置20能够安装于车辆100的任意的位置。例如，图像处理装置20可以配置在车辆100的仪表板内、后备箱内或者座椅下等。图像处理装置20构成为包括：输入接口21、控制部22、输出接口23以及存储部24。
42.输入接口21构成为能够与拍摄装置10之间通过有线或无线的通信单元进行通信。输入接口21构成为能够从拍摄装置10获取运动图像。输入接口21可以与拍摄装置10发送的图像信号的传输方式对应。能够将输入接口21称为输入部或者获取部。拍摄装置10与输入
接口21之间可以通过can(controller area network：控制器域网)等车载通信网络连接。
43.控制部22控制图像处理装置20整体。控制部22从经由输入接口21获取的运动图像中检测被摄体图像，计算多个个别指标，其中，多个个别指标分别表示与被摄体图像的识别信息以及测量信息中的至少任一者相关的可靠度。控制部22还计算将计算出的多个个别指标综合后的综合指标。控制部22与拍摄装置10的控制部13相同，构成为包括一个或多个处理器。另外，控制部22与控制部13相同，可以构成为组合多个种类的设备。能够将控制部22称为处理器或控制器。
44.在本实施方式中，“识别信息”是表示从运动图像中检测出的被摄体40的特征的信息。“识别信息”包括从运动图像中检测出的被摄体40的“类型”、“颜色”以及“亮度”等。其中，被摄体40的“类型”是根据物体的类别对作为被摄体40的物体进行分类的类型。被摄体40的类型可以称为被摄体的“种类(class)”。“识别信息”分别由多个类别中的一个确定。被摄体40的“类型”的类别例如包括：“车辆”、“行人”以及“二轮车”等。在被摄体40为道路上的物体的情况下，控制部22将该“类型”确定为多个“类型”的类别中的一个。被摄体40的“颜色”的类别例如包含“红色”、“蓝色”以及“黄色”等。在被摄体40为位于路侧的信号灯的情况下，控制部22能够确定“红色”、“蓝色”以及“黄色”中的一个作为该颜色的类别。被摄体40的“亮度”通过根据由拍摄元件12检测出的亮度而设置阈值，从而被划分为“亮”、“暗”等多个类别。
45.在本实施方式中，“测量信息”是通过在连续帧中对运动图像中包含的被摄体40的图像进行处理并运算而得到的定量的信息。“测量信息”例如包括从运动图像中检测出的被摄体40的“位置”、“距离”以及“大小”等。“位置”例如表示被摄体40的实际空间中的坐标。“距离”例如是从车辆100尤其是拍摄装置10到被摄体40的距离。“大小”是被摄体40在实际空间中的宽度和高度等尺寸。
46.在本实施方式中，“可靠度”是由控制部22计算出的识别信息以及测量信息的准确度。“可靠度”是相对的概念。本发明的“可靠度”能够通过表示可靠度的指标用0至1的数值来表示。例如，可靠度的指标越小则可靠度越低。例如，可靠度的指标越大，则可靠度越高。
47.如图3所示，控制部22构成为包括：图像识别部51、测量信息计算部52、测量信息校正部53、第一指标计算部54、第二指标计算部55以及综合指标计算部56的各功能块。后面将详细描述各功能块进行的处理。
48.输出接口23构成为从图像处理装置20输出作为输出信息的输出信号。能够将输出接口23称为输出部。输出接口23能够将由控制部22计算出的识别信息和测量信息、以及表示这些信息的可靠度的综合指标输出到图像处理装置20的外部。输出接口23例如能够向图像处理装置20的外部的判定装置30输出上述识别信息、测量信息以及综合指标。判定装置30可以包含于碰撞防止装置以及警报装置等。
49.输出接口23可以构成为包含物理连接器以及无线通信机中的至少任一个。在多个实施方式中的一个中，输出接口23可以与can等车辆100的网络连接。输出接口23可以经由can等通信网络与判定装置30、车辆100的碰撞回避装置以及车间距离警报装置等连接。
50.存储部24是存储控制部22进行处理所需的数据以及程序的存储装置。例如，存储部24临时存储从拍摄装置10获取的运动图像。例如，存储部24顺序存储通过控制部22进行的处理而生成的数据。存储部24可以通过使用例如半导体存储器、磁存储器以及光存储器
等中的任一个以上来构成。半导体存储器可以包括易失性存储器和非易失性存储器。磁存储器可以包括例如硬盘和磁带等。光存储器可以包含例如cd(compact disc)、dvd(digital versatile disc)以及bd(blu-ray(注册商标)disc)等。
51.判定装置30基于从图像处理装置20输出的综合指标，判定可否使用与各被摄体40相关的识别信息以及测量信息中的至少任一方的信息。判定装置30可以组装于使用识别信息以及测量信息的其他装置。作为具有判定装置30的装置，包括提供碰撞警告、自动制动、自动转向等功能的装置。例如，判定装置30假设图像处理装置20在车辆100的行进方向上检测到特定类型的被摄体40和到该被摄体40的距离的情况。在综合指标的值接近0、可靠度极低的情况下，判定装置30能够不采用与图像处理装置20输出的被摄体40相关的信息。在综合指标的值接近1、可靠度高的情况下，判定装置30可以采用与图像处理装置20输出的被摄体40相关的信息来执行车辆等的控制等。
52.(控制部的功能)
53.以下，参照图3至图9，对控制部22的各功能块进行说明。控制部22的各功能块可以是硬件模块，也可以是软件模块。控制部22能够执行以下说明的各个功能块进行的动作。控制部22可以执行各功能块的所有动作。各功能块进行的动作可以称为控制部22进行的动作。控制部22使用各功能块中的任一个进行的处理可被认为是控制部22自身执行的处理。
54.(图像识别部)
55.图像识别部51经由输入接口21从拍摄装置10获取运动图像的各帧。在图4中示出了运动图像的1帧的图像的一个例子。在图4的例子中，在由uv坐标系构成的二维的图像空间41中显示有想要横穿车辆100的后方的行人的被摄体图像42a和在车辆100的后方行驶的其他车辆的被摄体图像42b。图像空间是显示空间的一个例子。显示空间是为了使利用者视觉辨认或者为了供其他装置利用而将检测对象二维地表现的空间。u坐标是图像的横向的坐标。v坐标是图像的纵向的坐标。在图4中，uv坐标的原点是图像空间41的左上端的点。另外，将从左向右的方向作为u坐标的正方向。将从上向下的方向作为v坐标的正方向。
56.图像识别部51从运动图像的各帧中检测被摄体图像42a、42b(以下，适当总称为被摄体图像42)。被摄体图像42的检测方法包括公知的各种方法。例如，被摄体图像42的识别方法包括：基于车辆以及行人等物体的形状识别的方法、基于模板匹配的方法、从图像中计算特征量并用于匹配的方法等。在使用特征量的被摄体图像42的检测方法的情况下，在特征量的计算中，能够使用能学习输入输出的关系的函数逼近器。能学习输入输出的关系的函数逼近器能够使用神经网络。例如，图像识别部51能够使用预先通过基于神经网络的深度学习而学习了车辆、行人、二轮车等被拍摄体40的类型的各类别的特征量的函数逼近器，计算特征量。
57.图像识别部51输出被摄体40的类型的信息作为识别信息的一例。图像识别部51针对每个检测出的被摄体图像42，计算被摄体40的类型的类别和每个类别的归属概率。归属概率表示归属该类别的概率。例如，图像识别部51在将被摄体图像42a的类型的类别设为“车辆”、“行人”、“二轮车”时，其归属概率计算为“车辆”0.7，“行人”0.2，“二轮车”0.1。在该情况下，类别的数量为3个。图像识别部51将归属概率最高的“行人”判定为被摄体图像42a的类型的类别。
58.图像识别部51能够对针对每个帧检测出的各个被摄体图像42，输出表示图像空间
41上的位置以及大小等的信息。例如，图像识别部51能够确定在图像空间41内被摄体图像42所占的横向(u方向)以及纵向(v方向)的范围，来作为被摄体图像42的大小。例如，在图4中用矩形的框表示被摄体图像42在图像空间41内所占的范围。另外，图像识别部51确定被摄体图像42在图像空间41中的位置。例如，图像识别部51将位于各个被摄体图像42a、42b在图像空间41中所占的范围的最下部的中央的点确定为表示被摄体图像42a、42b的位置的代表点43a、43b(以下，适当总称为代表点43)。假定该代表点43是与被摄体图像42对应的被摄体40的与路面或地面接触的位置。
59.图像识别部51能够将检测出的识别信息经由输出接口23输出至图像处理装置20的外部。图像识别部51将各被摄体40的识别信息和识别信息的每个类别的归属概率传输给第一指标计算部54。图像识别部51将被摄体图像42在图像空间41中的位置以及大小的信息传输给测量信息计算部52。
60.(测量信息计算部)
61.测量信息计算部52基于在图像识别部51中检测出的被摄体图像42在图像空间41中的位置以及大小，来计算测量信息。例如，测量信息计算部52通过将由图像识别部51确定出的代表点43的位置映射变换到实际空间来计算被摄体40的位置。
62.例如，在图5中，示出了位于三维的实际空间的被摄体40与二维的图像空间41上的被摄体图像42之间的关系。在拍摄装置10的内部参数已知的情况下，能够基于图像空间41的坐标(u，v)，计算从拍摄装置10的拍摄光学系统11的中心朝向实际空间中的对应的坐标(x，y，z)的方向。拍摄装置10的内部参数包括：拍摄光学系统11的焦距、畸变以及拍摄元件12的像素尺寸等信息。在实际空间中，将朝向与图像空间41的代表点43对应的方向的直线与z＝0的基准面44相交的点作为被摄体40的质点45。基准面44相当于车辆100所处的路面或地面。质点45具有三维的坐标(x，y，0)。因此，在将z＝0的二维平面作为虚拟空间46时，质点45的坐标能够用(x’，y’)来表示。虚拟空间是在控制部22中为了描述物体的运动而使用的虚拟空间。虚拟空间46上的质点45的坐标(x’，y’)相当于在实际空间中从沿着z轴的方向观察被摄体40时的xy平面(z＝0)上的被摄体40的特定的点的坐标(x，y)。特定的点是与质点45对应的点。
63.使用被摄体图像42检测被摄体40的位置的方法并不限定于图5所示那样的基于映射变换的方向。例如，通过使用多台拍摄装置10来构成立体照相机，从而测量信息计算部52能够检测被摄体40的三维的位置。在该情况下，测量信息计算部52可以基于从被设置为光轴彼此平行的多台拍摄装置10获取的图像的视差，来计算从拍摄装置10到被摄体图像42的各像素的距离。在该情况下，从多台拍摄装置10获取的运动图像包含在观测数据中。
64.另外，测量信息计算部52可以从搭载于车辆100的能够测量距离的测距装置获取到被摄体40为止的距离，并使其与由图像识别部51检测出的被摄体图像42的信息结合，来计算被摄体40在实际空间中的位置。测距装置包括lidar(laser imaging detection and ranging：激光成像探测与测距)、毫米波雷达、激光雷达、超声波传感器以及立体照相机。测距装置不限于上述的装置，也可以采用能够进行距离测定的各种装置。在该情况下，除了从拍摄装置10获取的运动图像之外，在观测数据中也包含从测距装置获取的到被摄体40为止的距离的数据。
65.测量信息计算部52能够基于图像空间41中的被摄体图像42的大小和到被摄体40
为止的距离的信息来计算实际空间中的被摄体40的大小。
66.(测量信息校正部)
67.当在图像空间41上被摄体图像42重叠的情况下，图像识别部51有时无法进行正确的检测。另外，在由测量信息计算部52进行的测量信息的检测中，可能包括因拍摄装置10的精度、拍摄时的振动以及周边的明亮度等各种因素引起的误差。因此，测量信息校正部53基于从连续的帧的图像获得的被摄体40的测量信息，推定正确的测量信息并校正测量信息。对在测量信息计算部52中计算质点45在虚拟空间46上的坐标(x’，y’)作为被摄体40的位置的情况进行说明。如图6所示，测量信息校正部53在虚拟空间46上追踪(跟踪)从被摄体图像42的代表点43映射变换到虚拟空间46的质点45的位置(x’，y’)以及速度(v
x'
，v
y'
)。假设图6中的k-1、k、k 1表示与质点45对应的帧的编号。由于质点45具有位置(x’，y’)以及速度(v
x'
，v
y'
)的信息，因此控制部22能够预测连续的帧中的质点45的位置(x’，y’)的范围。控制部22能够将位于在下一帧中预测到的范围中的质点45识别为与追踪的被摄体图像42对应的质点45。控制部22在每次接收到新的帧的输入时，依次更新质点45的位置(x’，y’)以及速度(v
x'
，v
y'
)。
68.例如，使用了基于状态空间模型的卡尔曼滤波器的推定能够用于质点45的追踪。通过进行使用了卡尔曼滤波器的预测/推定，从而针对要追踪的被摄体40的不能检测、误检测等的鲁棒性提高。通常，对于图像空间41的被摄体图像42，难以通过用于描述运动的适当模型来描述。因此，难以简单地进行高精度的位置的推定。在本发明的图像处理装置20中，通过将被摄体图像42映射变换为与实际空间的xy平面对应的虚拟空间上的质点45，能够应用用于描述实际空间中的运动的模型，因此使被摄体40的追踪的精度提高。另外，通过将被摄体40作为不具有大小的质点45来处理，能够实现简单易行的追踪。
69.每当从拍摄装置10获取运动图像的帧时，测量信息校正部53推定在该时间点的被摄体40的正确的位置。测量信息校正部53在被摄体40的位置的推定中，可以假定正态分布。测量信息校正部53计算被摄体40的位置的推定值，并计算误差协方差矩阵。测量信息校正部53通过使用误差协方差矩阵，可以规定虚拟空间46中的被摄体40的位置的概率密度分布。若使用误差协方差矩阵，则能够通过误差椭圆来表现误差的范围，从而图像处理装置20能够评价作为规格而确定的推定范围的准确度。误差椭圆是表示能够在统计上确定的范围的椭圆，其中，真值以规定的概率位于该范围内。
70.如图7所示，误差椭圆47能够显示为虚拟空间46中的被摄体40的质点45周围的椭圆形的区域。当在x’轴和y’轴方向观察时，质点45的概率密度分布分别为一维的正态分布。在图7中，x’轴方向和y’轴方向的概率密度分布以曲线的形式示出在x’轴和y’轴上。误差协方差矩阵的两个固有值λ1、λ2对应于误差椭圆的长轴长度和短轴长度。λ1λ2π是误差椭圆的面积。
71.每当从各帧的图像中获取测量信息时，测量信息校正部53基于质点45的位置等的推定值等，对由测量信息计算部52计算出的测量信息进行校正。测量信息校正部53经由输出接口23输出校正后的测量信息。测量信息校正部53计算误差协方差矩阵或者其固有值，并传输给第二指标计算部55。
72.(第一指标计算部)
73.第一指标计算部54基于由图像识别部51计算出的识别信息的每个类别的归属概
率，计算与识别信息相关的第一指标。第一指标也称为物体识别指标。第一指标是个别指标。当将以识别信息的每个类别的归属概率为元素的向量设为归属概率向量v
p
，并将类别的数量设为n时，第一指标计算部54通过以下的数学式来计算与识别信息相关的第一指标。
74.[数学式1]
[0075][0076]
其中，
[0077]
[数学式2]
[0078]
||v
p
||2[0079]
是指归属概率向量v
p
的l2范数。l2范数也称为欧几里德范数。
[0080]
第一指标是0以上且1以下的值。第一指标在特定的类别的归属概率接近1时变大。第一指标在类别间的归属概率没有差异时变小。例如，在类别的数量为两个且各自的概率为p1和p2这两者的情况下，式(1)如下表示。p1和p2的和始终为1。
[0081]
[数学式3]
[0082][0083]
图8表示将p1及p2的值设为两轴的坐标系中的、作为归属概率向量v
p
的例子的v
p1
、v
p2
。归属概率向量v
p
的前端位于将点(1，0)和点(0，1)连结的直线上。在两个类别的归属概率的组合(p1，p2)为(0.5，0.5)时，式(2)的值为最小值0。两个类别的归属概率的组合(p1，p2)越接近(1，0)或(0，1)，式(2)的值越接近1。可以说式(2)的值越接近1，图像识别部51越明确地判定识别信息的类别。
[0084]
即使在n为3以上的情况下，类似的判定也是有效的。例如，被摄体40的类型的类别分别为车辆、行人、二轮车这三种，如果将其归属概率向量v
p
为v
p
＝(0.9，0.1，0.0)的情况与v
p
＝(0.6，0.2，0.2)的情况进行比较，则前者的情况下的第一指标为0.77650，后者的情况下的第一指标为0.20341。在该情况下，图像识别部51都将被摄体40判定为车辆，但第一指标示出前者的可靠度比后者高。
[0085]
第一指标计算部54将第一指标输出至综合指标计算部56。第一指标并不限定于与被摄体40的类型相关的可靠度的指标。第一指标例如可以包含颜色以及亮度等指标。第一指标并不限定于一个，可以包含多个指标。
[0086]
(第二指标计算部)
[0087]
第二指标计算部55基于由测量信息校正部53计算出的误差协方差矩阵的固有值，来计算第二指标。第二指标是个别指标。误差协方差矩阵的固有值能够用于评价被摄体40的测量信息的推定范围的准确度。第二指标计算部55基于被摄体40的位置的推定范围的准确度来计算第二指标。
[0088]
通常，能够认为二维平面上的物体位置的推定误差遵从在统计学中利用的自由度为2的卡方分布。在自由度为2的卡方分布中，已知概率密度函数(pdf：probability density function)是式(3)。
[0089]
[数学式4]
[0090][0091]
另外，通常，在自由度为2的卡方分布中，已知累积分布函数(cdf：cumulative distribution function)是式(4)。
[0092]
[数学式5]
[0093][0094]
第二指标计算部55在将误差协方差矩阵的固有值设为λ1以及λ2、将作为图像处理装置20的误差范围而允许的x方向以及y方向的单侧公差裕度设为d1以及d2时，通过以下的式(5)计算卡方值χ2。x方向以及y方向中的一方是第一方向，另一方是第二方向。x方向以及y方向的公差裕度表示图像处理装置20对利用者或者下游的系统保证的、相对于推定值的真值的误差范围。例如，在测量值在x方向为10m，并且图像处理装置20所保证的公差为10％的情况下，x方向的单侧公差裕度为1m。
[0095]
[数学式6]
[0096][0097]
在式(5)的左边，分母相当于表示误差方差的标准偏差σ的范围的误差椭圆的长轴和短轴的乘积。通过式(5)计算出的χ2的值相当于公差圆的面积与误差椭圆的面积之比。第二指标计算部55将通过式(5)计算出的χ2应用于式(4)来计算第二指标。第二指标能够称为物体检测指标。
[0098]
如统计学上已知的那样，自由度为2的累积分布函数由图9那样的曲线图表示。其中，横轴表示χ2。纵轴是累积分布，相当于第二指标。χ2的值越接近0，误差椭圆越大，第二指标成为越接近0的值。在该情况下，能够判断为位置推定的可靠度较低。χ2的值越大越接近无限大，误差椭圆越小，第二指标成为越接近1的值。在该情况下，能够判断为位置推定的可靠度较高。第二指标取0以上且1以下的值。
[0099]
第二指标计算部55将第二指标输出至综合指标计算部56。第二指标不限于与物体位置相关的指标。第二指标可以包含将到被摄体40为止的距离以及被摄体40的大小的可靠度进行了指标化的指标。第二指标不限于一个，也可以是多个。
[0100]
(综合指标计算部)
[0101]
综合指标计算部56计算综合指标，综合指标为将包含由第一指标计算部54计算出的第一指标和/或由第二指标计算部55计算出的第二指标的多个个别指标综合后的指标。综合指标也称为物体检测指标。各个个别指标取0以上且1以下的值。在多个个别指标由n个个别指标ai(i是从1到n的自然数)构成的情况下，综合指标计算部56根据以下的式(6)计算综合指标a
total
。综合指标a
total
取0以上且1以下的值。
[0102]
[数学式7]
[0103][0104]
也可以取代式(6)，在个别指标ai之间进行加权来计算综合指标a
total
。例如，综合
指标a
total
可以通过式(7)来计算。
[0105]
[数学式8]
[0106][0107]
在式(7)中，wi表示个别指标ai的权重。
[0108]
综合指标计算部56能够将计算出的综合指标a
total
经由输出接口23输出至判定装置30等的图像处理装置20的外部。控制部22可以将综合指标a
total
与由图像识别部51检测出的被摄体图像42的类型、颜色以及亮度等识别信息，以及由测量信息校正部53计算出的校正后的被摄体40的位置、距离以及大小等测量信息一起输出。综合指标计算部56对于由图像识别部51识别出的各个被摄体图像42，能够输出一个综合指标a
total
。
[0109]
(图像处理装置的处理流程)
[0110]
接下来，参照图10的流程图，详细说明本发明的一个实施方式的图像处理方法。图像处理方法是信息处理方法的一个例子。图像处理装置20可以构成为，读取记录在非临时性计算机可读介质中的程序来执行以下说明的控制部22进行的处理。非临时性计算机可读介质包括但不限于磁存储介质、光学存储介质、光磁存储介质以及半导体存储介质。磁存储介质包括磁盘、硬盘以及磁带。光学存储介质包括cd(compact disc)、dvd、蓝光盘(blu-ray(注册商标)disc)等光盘。半导体存储介质包括：rom(read only memory：只读存储器)、eeprom(electrically erasable programmable read-only memory：带电可擦可编程只读存储器)、闪存。
[0111]
图10的流程图是获取运动图像的连续帧，并由控制部22执行的处理。图像处理装置20的控制部22根据图10的流程图，在每次获取运动图像的帧时，执行从步骤s101至步骤s108的处理。
[0112]
首先，控制部22经由输入接口21，从拍摄装置10获取运动图像的帧(步骤s101)。
[0113]
若在步骤s101中获取到运动图像的帧，则控制部22通过图像识别部51从该帧的图像中检测被摄体图像42(步骤s102)。控制部22与检测出的被摄体图像42一起计算被摄体40的识别信息的类别和该类别的归属概率。另外，控制部22计算被摄体图像42在图像空间41中的位置以及大小等的信息。
[0114]
控制部22在第一指标计算部54中，基于在步骤s102计算出的识别信息的每个类别的归属概率，计算表示识别信息的可靠度的第一指标(步骤s103)。第一指标取0以上且1以下的值。
[0115]
控制部22与步骤s103并行、或者在步骤s103的之前或之后，执行步骤s104～s106。
[0116]
控制部22在测量信息计算部52中，基于在步骤s102中计算出的被摄体图像42在图像空间41中的位置以及大小的信息，来计算实际空间中的被摄体40的位置、距离、大小等测量信息(步骤s104)。
[0117]
控制部22在测量信息校正部53中，对由测量信息计算部52计算出的测量信息进行校正(步骤s105)。控制部22使用过去的帧中的测量信息的推定值和在步骤s104中计算出的测量信息，推定正确的测量信息。控制部22与计算测量信息的推定值一起计算误差的分布。将误差的分布被计算为误差协方差矩阵。
[0118]
控制部22在第二指标计算部55中，使用在步骤s105中计算出的误差协方差矩阵的固有值，计算表示测量信息的可靠度的第二指标(步骤s106)。第二指标取0以上且1以下的值。
[0119]
控制部22在综合指标计算部56中，基于在步骤s103以及步骤s106中计算出的第一指标以及第二指标，计算将第一指标和第二指标综合后的综合指标(步骤s107)。综合指标取0以上且1以下的值。
[0120]
控制部22将在步骤s107中计算出的综合指标输出至外部(步骤s108)。控制部22可以将在步骤s102中检测出的被摄体图像42的识别信息以及在步骤s105中校正后的被摄体40的测量信息与综合指标一起输出。
[0121]
如上所述，根据本实施方式的图像处理装置20，控制部22能够将多个可靠度的信息进行综合，并针对一个检测对象的被摄体40计算一个可靠度的指标。由此，控制部22能够对通过图像识别作为被摄体图像42而被识别的各个被摄体40分别输出一个综合指标。
[0122]
另外，通过能够使用一个指标来表示是否可信赖针对各个被摄体40检测到的信息，从而在位于图像处理装置20的后段的判定装置30中，判定应该以何种程度信赖图像处理装置20的输出变得容易。例如，假定判定装置30被组装到车辆100的碰撞回避或者车间距离警报装置等的系统，判定装置30获取多个图像处理装置20计算出的综合指标的情况。判定装置30能够根据从多个图像处理装置20输出的多个综合指标的值，进行对应于可靠度的处理。假设在多个图像处理装置20的信息之间存在差异的情况下，如果一个图像处理装置20输出的综合指标的值更接近于1，则判定装置30能够更加信赖基于该图像处理装置20的信息，并优先使用该信息。
[0123]
本实施方式中的第一指标是基于包括多个类别的识别信息的针对每个类别的归属概率，根据式(1)而计算出的。由此，通过简单的运算能够将识别信息的可靠度作为从0到1的具有一致性的指标而计算出。
[0124]
本实施方式中的第二指标是基于测量信息的误差协方差矩阵和图像处理装置20所保证的公差，根据式(4)、(5)而计算出的。由此，通过简单的运算能够将测量信息的可靠度作为从0到1的具有一致性的指标而计算出。
[0125]
本发明的图像处理装置20由于用0以上且1以下的数值表示第一指标、第二指标以及综合指标的所有可靠度的指标，因此能够一致地处理可靠度的指标。例如，即使当要考虑的可靠性的指标增加时，也可以容易地使用式(6)或式(7)将该可靠性的指标综合成一个指标。
[0126]
(计算可靠度的指标的拍摄装置)
[0127]
在上述实施方式中说明的本发明的图像处理装置20的功能能够搭载于拍摄装置。图11是概略地表示具有图像处理装置20的功能的本发明的一个实施方式的拍摄装置60的图。拍摄装置60具有：拍摄光学系统61、拍摄元件62、控制部63、输出接口64以及存储部65。拍摄光学系统61以及拍摄元件62是与图1的拍摄装置10的拍摄光学系统11及拍摄元件12相似的结构要素。输出接口64以及存储部65是与图1的图像处理装置20的输出接口23以及存储部24相似的结构要素。控制部63是兼具图1的拍摄装置10的控制部13以及图像处理装置20的控制部22的功能的结构要素。
[0128]
在拍摄装置60中，通过拍摄元件62对由拍摄光学系统61成像的被摄体40的运动图
像进行拍摄。关于拍摄元件62输出的运动图像，控制部63执行与图10的流程图中记载的处理相同或类似的处理。由此，拍摄装置60能够计算被摄体图像42的识别信息以及测量信息，并且能够计算表示这些信息的可靠度的综合指标。计算出的综合指标经由输出接口64被输出到拍摄装置60的外部。由此，能获得与图1所示的图像处理系统1的图像处理装置20相似的效果。
[0129]
在上述实施方式中，将信息处理装置作为图像处理装置20，并将传感器作为拍摄装置10进行说明。传感器不限于检测可见光的拍摄装置，还包括通过远红外线获取图像的远红外线摄像头。另外，本发明的信息处理装置不限于获取运动图像作为观测数据并通过图像识别检测检测对象的装置。例如，传感器可以是能够感测作为观测对象的观测空间来检测检测对象的方向以及大小的拍摄装置以外的传感器。传感器例如包括使用电磁波或超声波的传感器。使用了电磁波的传感器包括毫米波雷达以及lidar(laser imaging detection and ranging：激光成像探测与测距)。因此，检测对象不限于被拍摄为图像的被摄体。信息处理装置可以获取从传感器输出的、包含检测对象的方向以及大小等的信息的观测数据，从而检测检测对象。另外，显示空间不限于显示运动图像的图像空间，还能够为能够二维地显示检测出的检测对象的空间。
[0130]
(包括毫米波雷达的感测装置)
[0131]
作为一例，参照图12对一个实施方式的感测装置70进行说明。感测装置70包括作为传感器的一例的毫米波雷达71、信息处理部72以及输出部73。感测装置70能够与拍摄装置10类似地搭载于车辆的各种位置。
[0132]
毫米波雷达71能够使用毫米波段的电磁波，检测检测对象的距离、速度以及方向等。毫米波雷达71包括发送信号生成部74、高频电路75、发送天线76、接收天线77以及信号处理部78。
[0133]
发送信号生成部74产生进行频率调制后的线性调频信号(chirp signal)。线性调频信号是频率以一定时间间隔上升或下降的信号。发送信号生成部74例如安装于dsp(digital signal processor：数字信号处理器)。发送信号生成部74可以由信息处理部72控制。
[0134]
线性调频信号被d/a变换后，在高频电路75中进行频率变换而成为高频信号。高频电路75通过发送天线76将高频信号作为电波发射到观测空间。高频电路75能够通过接收天线77接收从发送天线76发射的电波被检测对象反射后的反射波作为接收信号。毫米波雷达71可以具有多个接收天线77。毫米波雷达71能够通过在信号处理部78中检测各接收天线间的相位差，来推定检测对象的方向。毫米波雷达71中的方位检测的方法不限于使用相位差的方法。毫米波雷达71也能够通过用毫米波段的波束扫描来检测检测对象的方位。
[0135]
高频电路75对接收信号进行放大，与发送信号混合而变换为表示频率差的差拍信号。差拍信号被变换为数字信号，并且被输出到信号处理部78。信号处理部78对接收信号进行处理，执行距离、速度以及方向等的推定处理。毫米波雷达71中的距离、速度以及方向等的推定方法是公知的，因此省略由信号处理部78进行的处理的内容。信号处理部78例如安装于dsp。信号处理部78可以安装于与发送信号生成部74相同的dsp。
[0136]
信号处理部78将推定出的距离、速度以及方向等的信息作为检测对象的观测数据输出至信息处理部72。信息处理部72能够基于观测数据，将检测对象映射变换到虚拟空间
上，执行各种处理。信息处理部72由与拍摄装置10的控制部13相似的一个以上的处理器构成。信息处理部72可以控制感测装置70的整体。稍后将进一步描述信息处理部72执行的处理。
[0137]
输出部73是将由信息处理部72处理的结果输出到感测装置70的外部的显示装置或者车辆内的ecu的输出接口。输出部73可以包括与can等车辆的网络连接的通信处理回路以及通信连接器等。
[0138]
以下，参照图13的流程图对信息处理部72执行的处理的一部分进行说明。
[0139]
信息处理部72从信号处理部78获取观测数据(步骤s201)。
[0140]
接下来，信息处理部72将观测数据映射到虚拟空间上(步骤s202)。在图14中示出了映射到虚拟空间上的观测数据的一个例子。毫米波雷达71的观测数据作为点的信息而获得，其中，各点分别包括距离、速度以及方向的信息。信息处理部72将各观测数据映射到水平面上。在图14中，横轴是以中心为0，以米为单位表示左右方向即x轴方向的轴。纵轴是以最近的位置为0，以米为单位表示y轴方向即深度方向的距离的轴。
[0141]
接下来，信息处理部72对虚拟空间的各点的集合进行聚类化，来检测检测对象(步骤s203)。聚类化是指，从表示各个点的数据中提取作为点的集合的点群。如图15中用虚线的椭圆包围所示，信息处理部72能够提取作为表示观测数据的各点的集合的点群。信息处理部72能够判断为在多个观测数据集合的部分中实际存在有检测对象。与此相对地，能够判断为与各个离散的点对应的观测数据是因观测噪声产生的。信息处理部72可以对与观测数据对应的点的数量或密度等设置阈值，来判断观测数据的集合是否为检测对象。信息处理部72能够基于点群所占的区域的大小来推定检测对象的大小。
[0142]
接下来，信息处理部72跟踪所检测出的各个点群的虚拟空间内的位置(步骤s204)。信息处理部72能够将各点群所占的区域的中心或者点群中包含的点的位置的坐标的平均作为各个点群的位置。信息处理部72通过跟踪点群的运动，以时间序列的方式掌握检测对象的运动。信息处理部72在每次获取虚拟空间内的点群的位置时，推定在该时间点的检测对象的正确的位置。信息处理部72在检测对象的位置的推定中，与图3的测量信息校正部53相似地，可以计算位置的推定值，并且可以计算误差协方差矩阵。
[0143]
在步骤s204之后或者与步骤s204并行地，信息处理部72推定与各个点群对应的检测对象的类别(步骤s205)。检测对象的类别包括“车辆”、“行人”以及“二轮车”等。检测对象的类别的确定能够使用检测对象的速度、大小、形状、位置、观测数据的点的密度、检测出的反射波的强度等中的任一者以上来进行。例如，信息处理部72能够以时间序列积累从信号处理部78获取的检测对象的多普勒速度，并根据多普勒速度的分布模式来推定检测对象的类别。另外，信息处理部72能够根据在步骤s203中推定出的检测对象的大小的信息来推定检测对象的类别。进一步地，信息处理部72能够从信号处理部78获取与观测数据对应的反射波的强度，来推定检测对象的类别。例如，由于包含大量金属的车辆的反射截面积大，因此与反射截面积小的行人相比，反射波的强度更强。信息处理部72可以推定检测对象的类别，并且计算表示推定的准确度的可靠度。
[0144]
在步骤s205之后，信息处理部72将检测对象从虚拟空间映射变换到显示用空间即显示空间上(步骤s206)。显示空间可以是像图像空间那样用二维平面表示从利用者的视点观察的三维的观测空间。显示空间可以是从z轴方向(铅垂方向)看观察对象的二维空间。信
息处理部72也可以不经由步骤s203至s205而直接将在步骤s201中从信号处理部78获取的观测数据映射到显示空间上。
[0145]
信息处理部72能够基于映射变换到显示空间上的检测对象以及通过步骤s203～s206得到的检测对象的位置、速度、大小以及类别等的数据，进行进一步的数据处理(步骤s207)。例如，信息处理部72能够将在步骤s205中推定出的检测对象的类别作为表示检测对象的类型的识别信息，将可靠度作为每个类别的归属概率，来进行与图3的第一指标计算部54相似的处理。另外，信息处理部72能够将在步骤s203以及s204中推定出的检测对象的位置以及大小等的信息作为测量信息，使用误差协方差矩阵来进行与图3的第二指标计算部55相似的处理。因此，信息处理部72能够使用毫米波雷达71的观测数据来执行与图10所示的处理相似的处理。另外，信息处理部72能够从输出部73输出各数据，以用于其他装置中的处理(步骤s207)。
[0146]
如上所述，在使用毫米波雷达71作为传感器的情况下，感测装置70也能够执行与使用拍摄装置作为传感器的情况相似的处理并获得相似的效果。图12的感测装置70内置有毫米波雷达71和信息处理部72。但是，毫米波雷达和具有信息处理部72的功能的信息处理装置也可以独立地设置。
[0147]
对于本发明的实施方式，基于各附图及实施例进行了说明，但应该注意本领域技术人员容易基于本发明进行各种变形或修改。因此，应该注意的是，这些变形或修改包含在本发明的范围内。例如，各构成部或者各步骤等所包含的功能等能够以在逻辑上不矛盾的方式进行再配置，能够将多个构成部或者步骤等组合为一个或者进行分割。以装置为中心对本发明的实施方式进行了说明，但本发明的实施方式也能够作为包括装置的各构成部所执行的步骤的方法来实现。本发明的实施方式能够作为由装置所具备的处理器执行的方法、程序、或者记录有程序的存储介质来实现。应理解，在本发明的范围内也包含这些内容。
[0148]
本发明中的“移动体”包括车辆、船舶以及航空器。本发明中的“车辆”包括汽车以及工业车辆，但并不限定于此，还可以包括铁路车辆、生活车辆、以及在跑道上行驶的固定翼飞机。汽车包括但不限定于轿车、卡车、公交车、二轮车、以及无轨电车等，可以包括在道路上行驶的其他车辆。工业车辆包括农业以及建设用的工业车辆。工业车辆包括但不限定于叉车以及高尔夫球车。用于农业的工业车辆包括拖拉机、移栽机、割捆机、联合收割机以及割草机，但并不限定于此。用于建筑的工业车辆包括推土机、铲运机、挖掘机、吊车、翻斗车以及装卸车，但不限于此。车辆包括以人力行驶的车辆。此外，车辆的分类不限于上述的例子。例如，汽车可以包括能够在道路上行驶的工业车辆，同一车辆可以被包含在多个分类中。本发明的船舶包括喷气式水上飞机、船只、油船。本发明的航空器包括固定翼飞机以及旋翼飞机等。
[0149]
附图标记的说明：
[0150]
1：图像处理系统(信息处理系统)
[0151]
10：拍摄装置(感测装置)
[0152]
11：拍摄光学系统
[0153]
12：控制部
[0154]
20：图像处理装置(信息处理装置)
[0155]
21：输入接口
[0156]
22：控制部(处理器)
[0157]
23：输出接口
[0158]
24：存储部
[0159]
30：判定装置
[0160]
40：被摄体(检测对象)
[0161]
41：图像空间
[0162]
42、42a、42b：被摄体图像
[0163]
43：代表点
[0164]
44：基准面
[0165]
45：质点
[0166]
46：虚拟空间
[0167]
51：图像识别部
[0168]
52：测量信息计算部
[0169]
53：测量信息校正部
[0170]
54：第一指标计算部
[0171]
55：第二指标计算部
[0172]
56：综合指标计算部
[0173]
60：拍摄装置(感测装置)
[0174]
61：拍摄光学系统
[0175]
62：拍摄元件
[0176]
63：控制部
[0177]
64：输出接口
[0178]
70：感测装置
[0179]
71：毫米波雷达(传感器)
[0180]
72：信息处理部
[0181]
73：输出部
[0182]
74：发送信号生成部
[0183]
75：高频电路
[0184]
76：发送天线
[0185]
77：接收天线
[0186]
78：信号处理部
[0187]
100：车辆(移动体)
[0188]
v1、v2：归属概率向量