外部环境识别装置的制作方法

1.此处公开的技术涉及一种识别移动体的外部环境的外部环境识别装置。


背景技术：

2.在专利文献1中公开了安装于车辆的图像处理装置。该图像处理装置包括：路面检测部，其使用基于摄像头拍摄得到的拍摄图像的输入图像来检测路面区域；时间序列验证部，其进行以时间序列验证输入图像中的路面区域的检测结果的时间序列验证；检测区域选择部，其根据路面检测部的路面区域的检测结果以及时间序列验证部的时间序列验证的结果，在输入图像内设定用于检测对象物的检测区域；以及检测部，其在检测区域中检测对象物。
3.专利文献1：日本公开专利公报特开2018-22234号公报


技术实现要素：

4.－发明要解决的技术问题－
5.然而，为了检测设置在专利文献1那样的装置中的数据处理系统的异常，能够想到将成为异常检测对象的数据处理系统双重化。具体而言，能够想到采用如下方式(所谓的双锁步方式)：设置进行同一数据处理的两个处理部，向两个处理部输入同一数据，比较两个处理部的输出，在两个处理部的输出互不相同的情况下判断为数据处理存在异常。但是，如果将数据处理系统双重化，就要追加冗余的构成，数据处理系统的电路规模就会增大，功耗就会增加。
6.此处公开的技术正是为解决上述技术问题而完成的，其目的在于：提供一种外部环境识别装置，其能够减小电路规模伴随着追加异常检测功能的增大并能够减少功耗伴随着追加异常检测功能的增加。
7.－用以解决技术问题的技术方案－
8.此处公开的技术涉及一种识别移动体的外部环境的外部环境识别装置。该外部环境识别装置包括识别处理部和异常检测部，所述识别处理部根据由拍摄所述移动体的外部环境的摄像部得到的图像数据来识别该移动体的外部环境，基于根据该图像数据识别出的该移动体的外部环境和检测该移动体的外部环境的检测部的检测结果，来输出该移动体的外部环境的识别结果；所述异常检测部基于由所述识别处理部根据所述图像数据识别出的外部环境和由所述检测部检测出的外部环境之间的同一性，来检测包括所述摄像部、所述识别处理部以及所述检测部的数据处理系统的异常。
9.在上述构成方式下，不用将成为异常检测对象的数据处理系统的整体双重化，就能够检测数据处理系统的异常。这样一来，与将成为异常检测对象的数据处理系统的整体双重化的情况相比，能够减小电路规模伴随着追加异常检测功能的增大，并能够减少功耗伴随着追加异常检测功能的增加。
10.需要说明的是，所述检测部可以构成为：通过向所述移动体的外部环境发送探测
波并接收来自该外部环境的反射波来检测该移动体的外部环境。所述异常检测部可以构成为：所述异常检测部基于包括在由所述识别处理部根据所述图像数据识别出的外部环境中的人与物和包括在由所述检测部检测出的外部环境中的人与物之间的同一性，来检测所述数据处理系统的异常。
11.在上述构成方式下，异常检测部基于由识别处理部根据图像数据识别出的人与物和由检测部检测出的人与物之间的同一性，来检测数据处理系统的异常。需要说明的是，在检测部中，移动体的外部环境中所包括的人与物(例如车辆)比移动体的外部环境中所包括的可移动区域(例如车道)更容易被检测出来。因此，通过基于由识别处理部根据图像数据识别出的人与物及由检测部检测出的人与物之间的同一性来检测数据处理系统的异常，与基于由识别处理部根据图像数据识别出的可移动区域及由检测部检测出的可移动区域之间的同一性来检测数据处理系统的异常的情况相比，能够提高数据处理系统的异常的检测精度。
12.所述异常检测部可以构成为：所述异常检测部根据所述识别处理部的基于所述图像数据的识别结果和所述检测部的检测结果之间的同一性，来检测所述数据处理系统的异常，所述识别结果与所述移动体的外部环境所包括的人与物中与该移动体之间的距离在事先决定好的距离范围内的人与物相关。
13.在上述构成方式下，能够将人与物作为异常检测部的处理对象，所述人与物与移动体之间的距离为摄像部能够适当地进行拍摄以及检测部能够适当地进行检测的距离。这样一来，能够基于由识别处理部根据图像数据适当地识别出的人与物与由检测部适当地检测出的人与物之间的同一性来检测数据处理系统的异常，因此能够提高数据处理系统的异常的检测精度。
14.所述异常检测部可以构成为：基于由所述识别处理部根据所述图像数据识别出的外部环境和由所述检测部检测出的外部环境之间的同一性不成立的持续时间来检测所述数据处理系统的异常。
15.在上述构成方式下，基于由识别处理部根据图像数据识别出的外部环境和由检测部检测出的外部环境之间的同一性不成立的持续时间来检测数据处理系统的异常，从而能够降低数据处理系统的异常的过度检测。这样一来，能够适当地进行数据处理系统的异常的检测。
16.所述摄像部可以为设置在所述移动体上的摄像头。所述检测部可以为设置在所述移动体上的雷达。所述数据处理系统可以包括从所述摄像头到所述识别处理部的第一系统及从所述雷达到所述识别处理部的第二系统。
17.－发明的效果－
18.根据此处公开的技术，能够减小电路规模伴随着追加异常检测功能的增大并能够减少功耗伴随着追加异常检测功能的增加。
附图说明
19.图1是示例出实施方式的车辆控制系统的构成的方框图；
20.图2是示例出外部环境识别部的构成的方框；
21.图3是示例出外部环境识别部的基本工作情况的流程图；
22.图4是示例出图像数据的图；
23.图5是示例出图像数据的分类结果的图；
24.图6是示例出整合数据的概念的图；
25.图7是示例出二维数据的图；
26.图8是示例出异常检测部的异常检测工作的流程图；
27.图9是示例出运算装置的具体结构的图。
具体实施方式
28.以下，参照附图对实施方式做详细的说明。需要说明的是，用同一符号表示附图中相同或相应的部分，且不再重复做说明。以下，以控制移动体的工作情况的移动体控制系统之一例即车辆控制系统10为例进行说明。
29.(实施方式)
30.图1示例出车辆控制系统10的构成。车辆控制系统10设置于作为移动体之一例的车辆(于此例中为自动四轮车)。该车辆能够在手动驾驶、辅助驾驶和自动驾驶之间进行切换。手动驾驶是指根据驾驶员的操作(例如对油门的操作等)而行驶的驾驶。辅助驾驶是指辅助驾驶员操作而行驶的驾驶。自动驾驶是指在无驾驶员操作的情况下行驶的驾驶。车辆控制系统10在自动驾驶以及辅助驾驶中，通过控制设置于车辆的执行装置101来控制车辆工作。例如，执行装置101包括发动机、变速器、制动器、转向系等。
31.需要说明的是，在下述说明中，将设置有车辆控制系统10的车辆记载为“本车辆”，将存在于本车辆周围的其他车辆记载为“其他车辆”。
32.在该例中，车辆控制系统10包括：多个摄像头11、多个雷达12、位置传感器13、车辆状态传感器14、驾驶员状态传感器15、驾驶操作传感器16、通信部17、控制单元18、人机界面19、运算装置20。运算装置20为外部环境识别装置之一例。
33.〔摄像头(摄像部)〕
34.多个摄像头11彼此具有相同的结构。摄像头11通过拍摄本车辆的外部环境来获取表示本车辆的外部环境的图像数据。由摄像头11获得的图像数据发送给运算装置20。需要说明的是，摄像头11为拍摄移动体的外部环境的摄像部之一例。
35.在该例中，摄像头11为具有广角镜头的单目摄像头。将多个摄像头11布置在本车辆上，以使多个摄像头11对本车辆的外部环境的拍摄范围遍及本车辆的整个周围。例如，摄像头11由ccd(charge coupled device)或cmos(complementary metal-oxide-semiconductor)等固体图像传感器构成。需要说明的是，摄像头11还可以是具有一般镜头(例如窄角镜头)的单目摄像头，又可以是立体摄像头。
36.〔雷达(检测部)〕
37.多个雷达12彼此具有相同的结构。雷达12检测本车辆的外部环境。具体而言，雷达12向本车辆的外部环境发送电波(探测波之一例)，并接收来自本车辆的外部环境的反射波，由此对本车辆的外部环境进行检测。雷达12的检测结果发送给运算装置20。需要说明的是，雷达12为检测移动体的外部环境的检测部之一例。检测部通过对移动体的外部环境发送探测波并接收来自移动体的外部环境的反射波，来检测移动体的外部环境。
38.在该例中，将多个雷达12布置在本车辆上，以使多个雷达12对本车辆的外部环境
的检测范围遍及本车辆周围的整个周围。例如，雷达12既可以是发射毫米波(探测波之一例)的毫米波雷达，也可以是发射激光(探测波之一例)的激光雷达(light detection and ranging)，又可以是发射红外线(探测波之一例)的红外线雷达，还可以是发射超声波(探测波之一例)的超声波传感器。
39.〔位置传感器〕
40.位置传感器13检测本车辆的位置(例如纬度和经度)。例如，位置传感器13接收来自全球定位系统的gps信息，并根据gps信息检测本车辆的位置。由位置传感器13检测出的本车辆的位置发送给运算装置20。
41.〔车辆状态传感器〕
42.车辆状态传感器14检测本车辆的状态(例如速度、加速度、横摆率等)。例如，车辆状态传感器14由检测本车辆的速度的车速传感器、检测本车辆的加速度的加速度传感器、检测本车辆的横摆率的横摆率传感器等构成。由车辆状态传感器14检测出的本车辆的状态发送给运算装置20。
43.〔驾驶员状态传感器〕
44.驾驶员状态传感器15检测驾驶本车辆的驾驶员的状态(例如驾驶员的健康状态、情绪、身体举动等)。例如，驾驶员状态传感器15由拍摄驾驶员的车内摄像头、检测驾驶员的活体信息的生物信息传感器等构成。由驾驶员状态传感器15检测出的驾驶员的状态发送给运算装置20。
45.〔驾驶操作传感器〕
46.驾驶操作传感器16检测加给本车辆的驾驶操作。例如，驾驶操作传感器16由检测本车辆方向盘转角的方向盘转角传感器、检测对本车辆的油门的操作量的加速传感器、检测对本车辆的制动器的操作量的制动传感器等构成。由驾驶操作传感器16检测出的驾驶操作发送给运算装置20。
47.〔通信部〕
48.通信部17与设置在本车辆外部的外部装置之间进行通信。例如，通信部17接收来自位于本车辆周围的其他车辆(省略图示)的通信信息、来自导航系统(省略图示)的交通信息等。由通信部17接收到的信息发送给运算装置20。
49.〔控制单元〕
50.控制单元18由运算装置20控制，该控制单元18又控制设置在本车辆上的执行装置101。例如，控制单元18包括动力传动装置、制动装置、转向装置等。动力传动装置基于后述的驱动指令值所表示的目标驱动力控制包括在执行装置101中的发动机以及变速器。制动装置基于后述的制动指令值所表示的目标制动力控制包括在执行装置101中的制动器。转向装置基于后述的转向指令值所表示的目标转向量控制包括在执行装置101中的转向器。
51.〔人机界面〕
52.人机界面19是为了在运算装置20与本车辆的乘员(特别是驾驶员)之间进行信息的输入输出而设置的。例如，人机界面19包括显示信息的显示屏、以声音输出信息的扬声器、输入声音的麦克风、供本车辆的乘员(特别是驾驶员)操作的操作部等。操作部为触摸面板或按键。
53.〔运算装置〕
54.运算装置20基于设置在本车辆上的传感器类的输出以及从车外发送来的信息等，决定本车辆应行驶的路径即目标路径，并决定按目标路径行驶所需要的本车辆的运动即目标运动。运算装置20通过控制控制单元18来控制执行装置101工作，以便使本车辆的运动成为目标运动。例如，运算装置20由具有一个或多个运算芯片的电子控制单元(ecu)构成。换句话说，运算装置20由电子控制单元(ecu)构成，该电子控制单元(ecu)具有一个或多个处理器、以及一个或多个存储器等，该存储器存储一个或多个用于使处理器工作的程序或数据。
55.在该例中，运算装置20具有外部环境识别部21、候选路径生成部22、车辆举动识别部23、驾驶员举动识别部24、目标运动决定部25、以及运动控制部26。这些是运算装置20的功能的一部分。
56.外部环境识别部21识别本车辆的外部环境。候选路径生成部22根据外部环境识别部21的输出生成一个或多个候选路径。候选路径为本车辆能够行驶的路径，其为目标路径的候选。
57.车辆举动识别部23基于车辆状态传感器14的输出识别本车辆的举动(例如速度、加速度、横摆率等)。例如，车辆举动识别部23使用通过深层学习生成的学习模型，根据车辆状态传感器14的输出来识别本车辆的举动。驾驶员举动识别部24根据驾驶员状态传感器15的输出来识别驾驶员的举动(例如驾驶员的健康状态、情绪、身体举动等)。例如，驾驶员举动识别部24使用通过深层学习生成的学习模型，根据驾驶员状态传感器15的输出来识别驾驶员的举动。
58.目标运动决定部25基于车辆举动识别部23的输出以及驾驶员举动识别部24的输出，从候选路径生成部22所生成的一个或多个候选路径中选择成为目标路径的候选路径。例如，目标运动决定部25从多个候选路径中选择驾驶员感觉最舒适的候选路径。目标运动决定部25根据被选择为目标路径的候选路径来决定目标运动。
59.运动控制部26基于目标运动决定部25所决定的目标运动来控制控制单元18。例如，运动控制部26分别导出用于达成目标运动的驱动力、制动力、以及转向量即目标驱动力、目标制动力、以及目标转向量。接着，运动控制部26将表示目标驱动力的驱动指令值、表示目标制动力的制动指令值、以及表示目标转向量的转向指令值分别发送给包括在控制单元18中的动力传动装置、制动装置、以及转向装置。
60.〔外部环境识别部〕
61.图2示例出外部环境识别部21的构成。在该例中，外部环境识别部21由图像处理芯片31、人工智能加速器32、控制芯片33构成。图像处理芯片31、人工智能加速器32、以及控制芯片33分别由处理器及存储器构成，该存储器存储用于使处理器工作的程序或数据等。
62.在该例中，外部环境识别部21具有前处理部40、识别处理部41、整合数据生成部42、二维数据生成部43、以及异常检测部44。这些为外部环境识别部21的功能的一部分。在该例中，在图像处理芯片31上设置有前处理部40，在人工智能加速器32上设置有识别处理部41及整合数据生成部42，在控制芯片33上设置有二维数据生成部43及异常检测部44。
63.〈前处理部〉
64.前处理部40对摄像头11所获取的图像数据进行前处理。前处理包括：修正图像数据所表示的图像失真的失真修正处理、调整图像数据所表示的图像明度的白平衡调整处理
等。
65.〈识别处理部〉
66.识别处理部41基于由前处理部40进行过前处理的图像数据来识别本车辆的外部环境。在该例中，识别处理部41根据基于图像数据识别出的本车辆的外部环境和雷达12的检测结果(即由雷达12检测出的本车辆的外部环境)，输出本车辆的外部环境的识别结果。
67.〈整合数据生成部〉
68.整合数据生成部42根据识别处理部41的识别结果生成整合数据。整合数据是整合了识别处理部41识别出的本车辆的外部环境中包括的可移动区域以及人与物而得到的数据。在该例中，整合数据生成部42根据识别处理部41的识别结果生成整合数据。
69.〈二维数据生成部〉
70.二维数据生成部43根据整合数据生成部42所生成的整合数据来生成二维数据。二维数据是整合数据中包括的可移动区域以及人与物被二维化后的数据。
71.〈外部环境数据生成部〉
72.需要说明的是，在该例中，整合数据生成部42及二维数据生成部43构成外部环境数据生成部45。外部环境数据生成部45根据识别处理部41的识别结果来生成外部环境数据(物体数据：object data)。外部环境数据为表现识别处理部41所识别出的本车辆的外部环境的数据。在该例中，外部环境数据生成部45根据识别处理部41的识别结果来生成外部环境数据。
73.〈异常检测部〉
74.异常检测部44基于由识别处理部41根据图像数据识别出的车辆的外部环境与由雷达12检测出的车辆的外部环境之间的同一性，来检测包括摄像头11、识别处理部41、以及雷达12的数据处理系统的异常。在该例中，包括摄像头11、识别处理部41、以及雷达12的数据处理系统包括：从摄像头11经过前处理部40到识别处理部41的第一系统；以及从雷达12到识别处理部41的第二系统。例如，异常检测部44可以构成为：在检测数据处理系统的异常之异常检测处理中，使用通过深层学习生成的学习模型来检测识别处理部41的基于图像数据的识别结果与雷达12的检测结果之间的同一性。该学习模型为用于检测识别处理部41的基于图像数据的识别结果与雷达12的检测结果之间的同一性的学习模型。需要说明的是，异常检测部44也可以构成为：使用其他公知的同一性检测技术来检测识别处理部41的基于图像数据的识别结果与雷达12的检测结果的同一性。
75.〔外部环境识别部的基本工作〕
76.接下来，参照图3说明外部环境识别部21的基本工作。
77.〈步骤s11〉
78.首先，前处理部40对摄像头11所获取的图像数据进行前处理。在该例中，前处理部40对多个摄像头11所获取的多个图像数据分别进行前处理。前处理包括：修正图像数据所表示出的图像失真(在该例中为由摄像头11的广角化而引起的失真)的失真修正处理、调整图像数据所表示出的图像白平衡的白平衡调整处理等。需要说明的是，在摄像头11所获取的图像数据中没有失真的情况下(例如使用具有一般镜头的摄像头的情况下)，也可以省略失真修正处理。
79.如图4所示，图像数据d1所表示的本车辆的外部环境包括车道50、人行道71、及空
地72。车道50为本车辆能够移动的可移动区域之一例。该图像数据d1所表示的本车辆外部环境中包括其他车辆61、标志牌62、行道树63、以及建筑物80。其他车辆61(自动四轮车)是随着时间经过而发生位移的运动物体之一例。能够列举出的作为运动物体的其他例子有：自动二轮车、自行车、行人等。标志62和行道树63是随着时间经过却不发生位移的静止物体之一例。能够列举出的作为静止物体的其他例子有：中间分隔带、道路中央的柱子、建筑物等。运动物体和静止物体为人与物60之一例。
80.在图4的例子中，在车道50的外侧设有人行道71，在人行道71的外侧(远离车道50的一侧)设有空地72。在图4的例子中，一台其他车辆61在车道50中的本车辆行驶的车道上行驶，两台其他车辆61在车道50中的本车辆行驶的车道的反向车道上行驶。沿着人行道71的外侧排列有标志牌62和行道树63。在本车辆的前方较远的位置处设有建筑物80。
81.〈步骤s12〉
82.接着，识别处理部41对图像数据d1进行分类处理。在该例中，识别处理部41对多个摄像头11所获取的多个图像数据分别进行分类处理。在分类处理中，识别处理部41以像素为单位对图像数据d1所表示的图像进行分类，并将表示该分类结果的分类信息附加到图像数据d1中。通过该分类处理，识别处理部41从图像数据d1所表示的图像(表示本车辆的外部环境的图像)中识别可移动区域以及人与物。例如，识别处理部41使用通过深层学习生成的学习模型进行分类处理。该学习模型为用于以像素为单位对图像数据d1所表示的图像进行分类的学习模型。需要说明的是，识别处理部41也可以构成为使用其他公知的分类技术进行分类处理。
83.图5示出的分割图像d2示例出的是图像数据d1所表示的图像的分类结果。在图5的例子中，图像数据d1所表示的图像以像素单位被分类为车道、车辆、标志牌、行道树、人行道、空地、以及建筑物中的某一个。
84.〈步骤s13〉
85.接着，识别处理部41对图像数据进行可移动区域数据生成处理。在可移动区域数据生成处理中，识别处理部41从图像数据d1所表示的图像中确定通过分类处理被分类为可移动区域(在该例中为车道50)的像素区域，并根据该已确定出的像素区域生成可移动区域数据。可移动区域数据为表示识别处理部41所识别出的可移动区域的数据(在该例中为三维地图数据)。在该例中，识别处理部41根据在同一时刻由多个摄像头11获取的多个图像数据的每一个中的已确定的可移动区域，生成可移动区域数据。例如，在可移动数据生成处理中，可以使用公知的三维数据生成技术。
86.〈步骤s14〉
87.识别处理部41进行人与物信息生成处理。在人与物信息生成处理中，识别处理部41进行第一信息生成处理、第二信息生成处理、以及信息整合处理。
88.第一信息生成处理是针对图像数据进行的。在该例中，识别处理部41对多个摄像头11所获取的多个图像数据分别进行第一信息生成处理。在第一信息生成处理中，识别处理部41从图像数据d1所表示的图像中确定通过分类处理被分类为人与物60的像素区域，根据该确定的像素区域生成人与物信息。需要说明的是，在图像数据d1所表示的图像中识别出多个人与物60的情况下，识别处理部41对多个人与物60分别进行第一信息生成处理。人与物信息为关于人与物60的信息，表示人与物60的种类、人与物60的形状、从本车辆到人与
物60的距离以及方向、以本车辆为基准的人与物60的位置、人与物60相对于本车辆移动速度的相对速度的大小及方向等。例如，识别处理部41使用通过深层学习生成的学习模型来进行第一信息生成处理。该学习模型为基于已从图像数据d1所表示的图像中确定出的像素区域(被分类为人与物60的像素区域)来生成人与物信息的学习模型。需要说明的是，识别处理部41也可以构成为使用其他公知的信息生成技术(人与物检测技术)进行第一信息生成处理。
89.第二信息生成处理是针对雷达12的输出进行的。在该例中，识别处理部41根据多个雷达12各自的输出进行第二信息生成处理。在第二信息生成处理中，识别处理部41根据雷达12的检测结果生成人与物信息。例如，识别处理部41通过对雷达12的检测结果(表现本车辆的外部环境的反射波的强度分布)进行解析处理，而导出人与物信息(具体而言，为人与物60的种类、人与物60的形状、从本车辆到人与物60的距离以及方向、以本车辆为基准的人与物60的位置、人与物60相对于本车辆的移动速度的相对速度的大小以及方向等)。需要说明的是，识别处理部41既可以构成为使用通过深层学习生成的学习模型(用于根据雷达12的检测结果生成人与物信息的学习模型)进行第二信息生成处理，也可以构成为使用其他公知的解析技术(人与物检测技术)进行第二信息生成处理。
90.在信息整合处理中，识别处理部41通过整合第一信息生成处理所得到的人与物信息和第二信息生成处理所得到的人与物信息来生成新的人与物信息。例如，识别处理部41针对人与物信息中包括的多个参数(具体而言为人与物60的种类、人与物60的形状、从本车辆到人与物60的距离以及方向、以本车辆为基准的人与物60的位置、人与物60相对于本车辆移动速度的相对速度的大小以及方向等)中的每一个参数，通过比较第一信息生成处理所得到的人与物信息参数以及通过第二信息生成处理所得到的人与物信息参数，将两个参数中精度较高的参数作为新的人与物信息中包括的参数。
91.〈步骤s15〉
92.接着，整合数据生成部42通过整合在步骤s13中生成的可移动区域数据以及在步骤s14中生成的人与物信息来生成整合数据d3。整合数据d3是整合了识别处理部41所识别出的可移动区域(在该例中为车道50)以及人与物60而得到的数据(在该例中为三维地图数据)。例如，整合数据生成部42也可以构成为使用公知的数据整合技术，由可移动区域数据及人与物信息来生成整合数据d3。
93.图6示出了整合数据d3的概念。如图6所示，在整合数据d3中，人与物60被抽象化。
94.〈步骤s16〉
95.接着，二维数据生成部43通过将整合数据d3二维化来生成二维数据d4。二维数据d4为整合数据d3中包括的可移动区域(在该例中为车道50)以及人与物60被二维化后的数据(在该例中为二维地图数据)。例如，二维数据生成部43也可以构成为使用公知的二维化技术，由整合数据d3生成二维数据d4。
96.如图7所示，在二维数据d4中，可移动区域(在该例中为车道50)和人与物60(在该例中为本车辆100)被二维化。在该例中，二维数据d4对应本车辆100的俯视图(从上空俯视本车辆100而得到的图)。二维数据d4包括车道50、其他车辆61、以及本车辆100。
97.〔异常检测处理〕
98.接着，参照图8说明异常检测部44的异常检测处理(检测数据处理系统的异常的处
理)。
99.〈步骤s21〉
100.首先，异常检测部44获取识别处理部41的基于图像数据的识别结果和雷达12的检测结果。例如，异常检测部44获取由识别处理部41的第一信息生成处理得到的人与物信息(识别处理部41的基于图像数据的识别结果之一例)和由识别处理部41的第二信息生成处理得到的人与物信息(雷达12的检测结果之一例)。
101.〈步骤s22〉
102.接着，异常检测部44判断由识别处理部41根据图像数据识别出的外部环境和由雷达12检测出的外部环境是否具有同一性。在具有同一性的情况下，进行步骤s23的处理；在没有同一性的情况下，则进行步骤s24的处理。
103.〈步骤s23〉
104.在由识别处理部41根据图像数据识别出的外部环境和由雷达12检测出的外部环境具有同一性的情况下，异常检测部44判断为包括摄像头11、识别处理部41以及雷达12的数据处理系统未发生异常。
105.〈步骤s24〉
106.另一方面，在由识别处理部41根据图像数据识别出的外部环境和由雷达12检测出的外部环境不具有同一性的情况下，异常检测部44判断为包括摄像头11、识别处理部41以及雷达12的数据处理系统发生了异常。
107.〔异常的因果关系〕
108.接着，说明包括摄像头11、识别处理部41以及雷达12的数据处理系统的异常与识别处理部41的基于图像数据的识别结果和雷达12的检测结果之间的同一性不成立之间的因果关系。以下，将识别处理部41的基于图像数据的识别结果，简单地记载为“识别处理部41的识别结果”。在包括摄像头11、识别处理部41以及雷达12的数据处理系统中没有发生异常的情况下，由于识别处理部41的识别结果和雷达12的检测结果两者都正常，所以可以看成识别处理部41的识别结果与雷达12的检测结果彼此一致，识别处理部41的识别结果和雷达12的检测结果之间的同一性成立。而在包括摄像头11、识别处理部41以及雷达12的数据处理系统中发生异常时，由于识别处理部41的识别结果和雷达12的检测结果中的至少一者发生了异常，因此无法将识别处理部41的识别结果和雷达12的检测结果看成彼此一致，识别处理部41的识别结果和雷达12的检测结果之间的同一性就不成立。
109.〔同一性判断的具体例〕
110.接着，举出具体例来说明对异常检测部44的同一性(识别处理部41的识别结果和雷达12的检测结果之间的同一性)的判断。作为判断同一性的参数，能够举出可移动区域(在该例中为车道50)的形状、以本车辆为基准的可移动区域的位置、人与物60的种类、人与物60的形状、从本车辆到人与物60的距离和方向、以本车辆为基准的人与物60的位置、人与物60相对于本车辆的移动速度的相对速度的大小及方向等。
111.在根据可移动区域(或人与物60)的形状来判断同一性的情况下，如果由识别处理部41根据图像数据识别出的可移动区域(或人与物60)的形状与由雷达12检测出的可移动区域(或人与物60)的形状之差(例如面积之差)低于事先决定好的阈值，异常检测部44就判断为识别处理部41的识别结果和雷达12的检测结果之间具有同一性；如果并非如此，异常
检测部44就判断为识别处理部41的识别结果和雷达12的检测结果之间没有同一性(同一性不成立)。
112.在根据以本车辆为基准的可移动区域(或人与物60)的位置来判断同一性的情况下，如果在由识别处理部41根据图像数据识别出的可移动区域(或人与物60)的位置与由雷达12检测出的可移动区域(或人与物60)的位置之差(位置偏移的量)低于事先决定好的阈值，异常检测部44就判断为识别处理部41的识别结果与雷达12的检测结果之间具有同一性；如果并非如此，异常检测部44就判断为识别处理部41的识别结果和雷达12的检测结果之间没有同一性(同一性不成立)。
113.在根据人与物60的种类来判断同一性的情况下，如果由识别处理部41根据图像数据识别出的人与物60的种类与由雷达12检测出的人与物60的种类彼此一致，异常检测部44就判断为识别处理部41的识别结果与雷达12的检测结果之间具有同一性；如果并非如此，异常检测部44就判断为识别处理部41的识别结果与雷达12的检测结果之间没有同一性(同一性不成立)。
114.在根据从本车辆到人与物60的距离及方向来判断同一性的情况下，如果由识别处理部41根据图像数据识别出的人与物60的距离及方向与由雷达12检测出的人与物60的距离及方向之差(距离偏移量及方向偏移量)低于事先决定好的阈值，异常检测部44就判断为识别处理部41的识别结果与雷达12的检测结果之间具有同一性；如果并非如此，异常检测部44就判断为识别处理部41的识别结果与雷达12的检测结果之间没有同一性(同一性不成立)。
115.在根据人与物60相对于本车辆的移动速度的相对速度的大小及方向来判断同一性的情况下，如果由识别处理部41根据图像数据识别出的人与物60的相对速度的大小及方向与由雷达12检测出的人与物60的相对速度的大小及方向之差(速度偏移量及方向偏移量)低于事先决定好的阈值，异常检测部44就判断为识别处理部41的识别结果与雷达12的检测结果之间具有同一性；如果并非如此，异常检测部44就判定为识别处理部41的识别结果与雷达12的检测结果之间没有同一性(同一性不成立)。
116.需要说明的是，异常检测部44既可以构成为根据上述多个参数中的任意一个来判断同一性(识别处理部41的识别结果和雷达12的检测结果之间的同一性)，也可以构成为根据上述多个参数中的两个以上的参数来判断同一性。
117.在根据上述多个参数中的两个以上的参数来判断同一性的情况下，异常检测部44可以构成为：在两个以上的参数中被判断为具有同一性的参数的数量超过事先决定好的数量的情况下，该异常检测部44就判断为识别处理部41的识别结果和雷达12的检测结果之间具有同一性。
118.〔实施方式的效果〕
119.如上所述，该实施方式的运算装置20，不用将成为异常检测对象的数据处理系统整体双重化，就能够检测数据处理系统的异常。这样一来，与将成为异常检测对象的数据处理系统的整体双重化的情况相比，能够减小电路规模伴随着追加异常检测功能的增大，并能够减少功耗伴随着追加异常检测功能的增加。
120.(实施方式的变形例1)
121.需要说明的是，异常检测部44优选构成为：基于包括在由识别处理部41根据图像
数据识别出的车辆的外部环境中的人与物和包括在由雷达12检测出的车辆的外部环境中的人与物之间的同一性，来检测数据处理系统的异常。特别优选的是，异常检测部44构成为：基于识别处理部41的基于图像数据的识别结果和雷达12的检测结果之间的同一性来检测数据处理系统的异常。其中，该识别结果与车辆的外部环境所包括的人与物中与车辆之间的距离在事先决定好的距离范围内的人与物相关。
122.〔实施方式的变形例1的效果〕
123.在本实施方式的变形例1的运算装置20中，异常检测部44基于由识别处理部41根据图像数据识别出的人与物60和由雷达12检测出的人与物60之间的同一性，来检测数据处理系统的异常。需要说明的是，本车辆的外部环境中所包括的人与物60(例如其他车辆61)比本车辆的外部环境中所包括的可移动区域(例如车道50)更容易被雷达12检测出来。因此，通过基于由识别处理部41根据图像数据识别出的人与物60和由雷达12检测出的人与物60之间的同一性来检测数据处理系统的异常，与基于由识别处理部41根据图像数据识别出的可移动区域(在该例中为车道50)和由雷达12检测出的可移动区域之间的同一性来检测数据处理系统的异常的情况相比，能够提高数据处理系统的异常的检测精度。
124.另外，在本实施方式的变形例1的运算装置20中，能够将人与物60作为异常检测部44的处理对象，该人与物60与本车辆之间的距离要保证摄像头11能够适当地进行拍摄，雷达12能够适当地进行检测。这样一来，能够基于由识别处理部41根据图像数据适当地识别出的人与物60和由雷达12适当地检测出的人与物60之间的同一性来检测数据处理系统的异常，因此能够提高数据处理系统的异常的检测精度。
125.(实施方式的变形例2)
126.需要说明的是，异常检测部44可以构成为：基于由识别处理部41根据图像数据识别出的外部环境和由雷达12检测出的外部环境之间的同一性不成立的持续时间来检测数据处理系统的异常。具体而言，在该变形例2中，在由识别处理部41根据图像数据识别出的外部环境和由雷达12检测出的外部环境之间的同一性不成立的持续时间超过事先决定好的正常时间的情况下，异常检测部44就判断为发生了数据处理系统的异常；在该同一性不成立的持续时间未超过正常时间的情况下，异常检测部44就判断为未发生数据处理系统的异常。
127.〔实施方式的变形例2的效果〕
128.在本实施方式的变形例2的运算装置20中，异常检测部44基于由识别处理部41根据图像数据识别出的外部环境和由雷达12检测出的外部环境之间的同一性不成立的持续时间，来检测数据处理系统的异常。这样一来，能够减少数据处理系统的异常的过度检测。例如，当由识别处理部41根据图像数据识别出的外部环境和由雷达12检测出的外部环境之间的同一性因非数据处理系统的异常的其他原因(例如，一瞬间的噪声等)而在短暂的时间内不成立的情况下，能够避免数据处理系统的异常遭受误检测。这样一来，能够适当地进行数据处理系统的异常的检测。
129.(控制装置的具体结构)
130.图9示例出上述运算装置20的具体构成。运算装置20设置在车辆v上。运算装置20具有一个或多个电子控制单元(ecu)。电子控制单元具有一个或多个芯片a。芯片a具有一个或多个内核b。内核b具有处理器p及存储器m。也就是说，运算装置20具有一个或多个处理器
p及一个或多个存储器m。存储器m存储用于使处理器工作的程序以及信息。具体而言，存储器m存储能由处理器p执行的软件即模块、以及表示在处理器p的处理中利用的模型之数据等。上述控制装置20的各部分的功能通过处理器p执行存储在存储器m中的各模块来实现。
131.(其他实施方式)
132.在以上说明中，作为移动体以车辆(自动四轮车)为例进行了说明，但并不限于此。例如，移动体可以是船舶、火车、飞机、自动二轮车、自主移动机器人、吸尘器、无人机等。
133.在以上说明中，举例说明了二维数据生成部43设置在控制芯片33中的情况，但并不限于此。例如，二维数据生成部43既可以设置在人工智能加速器32中，也可以设置在其他运算芯片中。与此相同，异常检测部44可以设置在控制芯片33中，也可以设置在人工智能加速器32中，也可以设置在其他运算芯片中。需要说明的是，对于外部环境识别部21的其他构成(例如前处理部40等)以及运算装置20的其他构成(例如候选路径生成部22等)来说，也是一样的。
134.在以上的说明中，举例说明了外部环境识别部21由图像处理芯片31、人工智能加速器32、以及控制芯片33构成的情况，但并不限于此。例如，外部环境识别部21可以由两个以下的运算芯片构成，也可以由四个以上的运算芯片构成。需要说明的是，对于外部环境识别部21的其他构成(例如前处理部40等)以及运算装置20的其他构成(例如候选路径生成部22等)来说，也是一样的。
135.可以适当地组合以上实施方式以及变形例并实施。以上的实施方式以及变形例在本质上是优选的示例，并没有限制本发明、其适用对象或其用途范围的意图。
136.－产业实用性－
137.综上所述，这里所公开的技术作为识别移动体的外部环境的外部环境识别装置是有用的。
138.－符号说明－
139.10
ꢀꢀꢀꢀꢀ
车辆控制系统(移动体控制系统)
140.11
ꢀꢀꢀꢀꢀ
摄像头(摄像部)
141.12
ꢀꢀꢀꢀꢀ
雷达(检测部)
142.13
ꢀꢀꢀꢀꢀ
位置传感器
143.14
ꢀꢀꢀꢀꢀ
车辆状态传感器
144.15
ꢀꢀꢀꢀꢀ
驾驶员状态传感器
145.16
ꢀꢀꢀꢀꢀ
驾驶操作传感器
146.17
ꢀꢀꢀꢀꢀ
通信部
147.18
ꢀꢀꢀꢀꢀ
控制单元
148.19
ꢀꢀꢀꢀꢀ
人机界面
149.20
ꢀꢀꢀꢀꢀ
运算装置
150.21
ꢀꢀꢀꢀꢀ
外部环境识别部
151.22
ꢀꢀꢀꢀꢀ
候选路径生成部
152.23
ꢀꢀꢀꢀꢀ
车辆举动识别部
153.24
ꢀꢀꢀꢀꢀ
驾驶员举动识别部
154.25
ꢀꢀꢀꢀꢀ
目标运动决定部
155.26
ꢀꢀꢀꢀꢀ
运动控制部
156.31
ꢀꢀꢀꢀꢀ
图像处理芯片
157.32
ꢀꢀꢀꢀꢀ
人工智能加速器
158.33
ꢀꢀꢀꢀꢀ
控制芯片
159.40
ꢀꢀꢀꢀꢀ
前处理部
160.41
ꢀꢀꢀꢀꢀ
识别处理部
161.42
ꢀꢀꢀꢀꢀ
整合数据生成部
162.43
ꢀꢀꢀꢀꢀ
二维数据生成部
163.44
ꢀꢀꢀꢀꢀ
异常检测部
164.45
ꢀꢀꢀꢀꢀ
外部环境数据生成部
165.50
ꢀꢀꢀꢀꢀ
车道(可移动区域)
166.60
ꢀꢀꢀꢀꢀ
人与物
167.61
ꢀꢀꢀꢀꢀ
其他车辆
168.62
ꢀꢀꢀꢀꢀ
标志牌
169.63
ꢀꢀꢀꢀꢀ
行道树
170.71
ꢀꢀꢀꢀꢀ
人行道
171.72
ꢀꢀꢀꢀꢀ
空地
172.80
ꢀꢀꢀꢀꢀ
建筑物
173.100
ꢀꢀꢀꢀ
车辆(移动体)
174.101
ꢀꢀꢀꢀ
执行装置