外部环境识别装置的制作方法

1.此处公开的技术涉及一种识别移动体的外部环境的外部环境识别装置。


背景技术：

2.在专利文献1中公开了安装于车辆的图像处理装置。该图像处理装置包括：路面检测部，其使用基于摄像头拍摄得到的拍摄图像的输入图像来检测路面区域；时间序列验证部，其进行以时间序列验证输入图像中的路面区域的检测结果的时间序列验证；检测区域选择部，其根据路面检测部的路面区域的检测结果以及时间序列验证部的时间序列验证的结果，在输入图像内设定用于检测对象物的检测区域；以及检测部，其在检测区域中检测对象物。
3.专利文献1：日本公开专利公报特开2018-22234号公报


技术实现要素：

4.－发明要解决的技术问题－
5.然而，为了检测设置在专利文献1那样的装置中的数据处理系统的异常，能够想到将成为异常检测对象的数据处理系统双重化。具体而言，能够想到采用如下方式(所谓的双锁步方式)：设置进行同一数据处理的两个处理部，向两个处理部输入同一数据，比较两个处理部的输出，在两个处理部的输出互不相同的情况下判断为数据处理存在异常。但是，如果将数据处理系统双重化，就要追加冗余的构成，数据处理系统的电路规模就会增大，功耗就会增加。
6.此处公开的技术正是为解决上述技术问题而完成的，其目的在于：提供一种外部环境识别装置，其能够减小电路规模伴随着追加异常检测功能的增大并能够减少功耗伴随着追加异常检测功能的增加。
7.－用以解决技术问题的技术方案－
8.此处公开的技术涉及一种识别移动体的外部环境的外部环境识别装置。该外部环境识别装置包括识别处理部、外部环境数据生成部、以及异常检测部；所述识别处理部根据拍摄所述移动体的外部环境的摄像部所得到的图像数据来识别该移动体的外部环境；所述外部环境数据生成部根据所述识别处理部的识别结果，生成表现该识别处理部所识别出的外部环境的外部环境数据；所述异常检测部根据所述外部环境数据的异常，检测包括所述摄像部、所述识别处理部、以及所述外部环境数据生成部的数据处理系统的异常。
9.在上述构成方式下，不用将成为异常检测对象的数据处理系统双重化，就能够检测数据处理系统的异常。这样一来，与将成为异常检测对象的数据处理系统双重化的情况相比，能够减小电路规模伴随着追加异常检测功能的增大并能够减少功耗伴随着追加异常检测功能的增加。
10.需要说明的是，所述外部环境数据生成部可以包括：整合数据生成部以及二维数据生成部，所述整合数据生成部根据所述识别处理部的识别结果来生成整合数据，该整合
数据是整合了该识别处理部所识别出的包括在外部环境中的可移动区域以及人与物而得到的数据；所述二维数据生成部根据所述整合数据来生成包括在该整合数据中的可移动区域以及人与物被二维化后的二维数据。所述外部环境数据的异常可以为所述整合数据以及所述二维数据中的任一者的异常。
11.在上述构成方式下，异常检测部根据整合数据以及二维数据中任一者的异常，检测数据处理系统的异常。通过根据在生成二维数据之前生成的整合数据的异常来检测数据处理系统的异常，与根据二维数据的异常来检测数据处理系统的异常的情况相比，能够更快速地检测数据处理系统的异常。另一方面，通过根据在生成整合数据之后生成的二维数据的异常来检测数据处理系统的异常，与根据整合数据的异常来检测数据处理系统的异常的情况相比，能够在较大的范围内检测数据处理系统的异常。
12.或者，所述外部环境数据生成部可以包括：整合数据生成部以及二维数据生成部，所述整合数据生成部根据所述识别处理部的识别结果来生成整合数据，该整合数据是整合了该识别处理部所识别出的包括在外部环境中的可移动区域以及人与物而得到的数据；所述二维数据生成部根据所述整合数据来生成包括在该整合数据中的可移动区域以及人与物被二维化后的二维数据。所述外部环境数据的异常可以为所述整合数据以及所述二维数据两者的异常。
13.在上述构成方式下，异常检测部根据整合数据以及二维数据两者的异常，检测数据处理系统的异常。像这样，通过进行基于整合数据异常的异常检测处理(检测数据处理系统的异常的处理)和基于二维数据异常的异常检测处理这两者，能够快速地检测数据处理系统的异常，并且能够在较大的范围内检测数据处理系统的异常。
14.所述外部环境数据的异常可以为该外部环境数据所表现的外部环境的经时变化的异常。
15.在上述构成方式下，异常检测部根据外部环境数据所表现的外部环境的经时变化的异常，检测数据处理系统的异常。像这样，通过根据外部环境数据所表现的外部环境的经时变化，能够检测出仅靠单一时刻下的外部环境数据所表现的外部环境无法检测出的异常。这样一来，能够提高对数据处理系统的异常的检测精度。
16.所述异常检测部也可以构成为根据所述外部环境数据的异常的持续时间，检测所述数据处理系统的异常。
17.在上述构成方式下，通过根据外部环境数据所表现的外部环境的异常的持续时间来检测数据处理系统的异常，能够减少数据处理系统的异常的过度检测。这样一来，能够适当地进行数据处理系统的异常的检测。
18.－发明的效果－
19.根据此处公开的技术，能够减小电路规模伴随着追加异常检测功能的增大并能够减少功耗伴随着追加异常检测功能的增加。
附图说明
20.图1是示例出实施方式的移动体控制系统的构成的方框图。
21.图2是示例出外部环境识别部的构成的方框图。
22.图3是示例出外部环境识别部的基本工作情况的流程图。
23.图4是示例出图像数据的图。
24.图5是示例出图像数据的分类结果的图。
25.图6是示例出整合数据的概念的图。
26.图7是示例出二维数据的图。
27.图8是示例出外部环境识别部的数据量的变化情况的图。
28.图9是示例出异常检测部进行的异常检测处理的流程图。
29.图10是示出二维数据的异常的具体例1的图。
30.图11是示出二维数据的异常的具体例2的图。
31.图12是示出二维数据的异常的具体例3的图。
32.图13是示例出运算装置的具体结构的图。
具体实施方式
33.以下，参照附图对实施方式做详细的说明。需要说明的是，用同一符号表示附图中相同或相应的部分，且不再重复做说明。以下，以控制移动体工作的移动体控制系统之一例即车辆控制系统10为例进行说明。
34.(实施方式)
35.图1示例出车辆控制系统10的构成。车辆控制系统10设置于作为移动体之一例的车辆(于此例中为自动四轮车)。该车辆能够在手动驾驶、辅助驾驶和自动驾驶之间进行切换。手动驾驶是指根据驾驶员的操作(例如对油门的操作等)而行驶的驾驶。辅助驾驶是指辅助驾驶员操作而行驶的驾驶。自动驾驶是指在无驾驶员操作的情况下行驶的驾驶。车辆控制系统10在自动驾驶以及辅助驾驶中，通过控制设置于车辆的执行装置101来控制车辆工作。例如，执行装置101包括发动机、变速器、制动器、转向系等。
36.需要说明的是，在下述说明中，将设置有车辆控制系统10的车辆记载为“本车辆”，将存在于本车辆周围的其他车辆记载为“其他车辆”。
37.在该例中，车辆控制系统10包括：多个摄像头11、多个雷达12、位置传感器13、车辆状态传感器14、驾驶员状态传感器15、驾驶操作传感器16、通信部17、控制单元18、人机界面19、运算装置20。运算装置20为外部环境识别装置之一例。
38.〔摄像头(摄像部)〕
39.多个摄像头11彼此具有相同的结构。摄像头11通过拍摄本车辆的外部环境来获取表示本车辆的外部环境的图像数据。由摄像头11获得的图像数据发送给运算装置20。需要说明的是，摄像头11为拍摄移动体的外部环境的摄像部之一例。
40.在该例中，摄像头11为具有广角镜头的单目摄像头。将多个摄像头11布置在本车辆上，以使多个摄像头11对本车辆的外部环境的拍摄范围遍及本车辆的整个周围。例如，摄像头11由ccd(charge coupled device)或cmos(complementary metal-oxide-semiconductor)等固体图像传感器(solid state image sensor)构成。需要说明的是，摄像头11还可以是具有一般镜头(例如窄角镜头)的单目摄像头，又可以是立体摄像头。
41.〔雷达(检测部)〕
42.多个雷达12彼此具有相同的结构。雷达12检测本车辆的外部环境。具体而言，雷达12向本车辆的外部环境发送电波(探测波之一例)，并接收来自本车辆的外部环境的反射
波，由此对本车辆的外部环境进行检测。雷达12的检测结果发送给运算装置20。需要说明的是，雷达12为检测移动体的外部环境的检测部之一例。检测部通过对移动体的外部环境发送探测波并接收来自移动体的外部环境的反射波，来检测移动体的外部环境。
43.在该例中，将多个雷达12布置在本车辆上，以使多个雷达12对本车辆的外部环境的检测范围遍及本车辆周围的整个周围。例如，雷达12既可以是发射毫米波(探测波之一例)的毫米波雷达，也可以是发射激光(探测波之一例)的激光雷达(light detection and ranging)，又可以是发射红外线(探测波之一例)的红外线雷达，还可以是发射超声波(探测波之一例)的超声波传感器。
44.〔位置传感器〕
45.位置传感器13检测本车辆的位置(例如纬度和经度)。例如，位置传感器13接收来自全球定位系统的gps信息，并根据gps信息检测本车辆的位置。由位置传感器13检测出的本车辆的位置发送给运算装置20。
46.〔车辆状态传感器〕
47.车辆状态传感器14检测本车辆的状态(例如速度、加速度、横摆率等)。例如，车辆状态传感器14由检测本车辆的速度的车速传感器、检测本车辆的加速度的加速度传感器、检测本车辆的横摆率的横摆率传感器等构成。由车辆状态传感器14检测出的本车辆的状态发送给运算装置20。
48.〔驾驶员状态传感器〕
49.驾驶员状态传感器15检测驾驶本车辆的驾驶员的状态(例如驾驶员的健康状态、情绪、身体举动等)。例如，驾驶员状态传感器15由拍摄驾驶员的车内摄像头、检测驾驶员的活体信息的生物信息传感器等构成。由驾驶员状态传感器15检测出的驾驶员的状态发送给运算装置20。
50.〔驾驶操作传感器〕
51.驾驶操作传感器16检测加给本车辆的驾驶操作。例如，驾驶操作传感器16由检测本车辆方向盘转角的方向盘转角传感器、检测对本车辆的油门的操作量的加速传感器、检测对本车辆的制动器的操作量的制动传感器等构成。由驾驶操作传感器16检测出的驾驶操作发送给运算装置20。
52.〔通信部〕
53.通信部17与设置在本车辆外部的外部装置之间进行通信。例如，通信部17接收来自位于本车辆周围的其他车辆(省略图示)的通信信息、来自导航系统(省略图示)的交通信息等。由通信部17接收到的信息发送给运算装置20。
54.〔控制单元〕
55.控制单元18由运算装置20控制，该控制单元18又控制设置在本车辆上的执行装置101。例如，控制单元18包括动力传动装置、制动装置、转向装置等。动力传动装置基于后述的驱动指令值所表示的目标驱动力控制包括在执行装置101中的发动机以及变速器。制动装置基于后述的制动指令值所表示的目标制动力控制包括在执行装置101中的制动器。转向装置基于后述的转向指令值所表示的目标转向量控制包括在执行装置101中的转向器。
56.〔人机界面〕
57.人机界面19是为了在运算装置20与本车辆的乘员(特别是驾驶员)之间进行信息
的输入输出而设置的。例如，人机界面19包括显示信息的显示屏、以声音输出信息的扬声器、输入声音的麦克风、供本车辆的乘员(特别是驾驶员)操作的操作部等。操作部为触摸面板或按键。
58.〔运算装置〕
59.运算装置20基于设置在本车辆上的传感器类的输出以及从车外发送来的信息等，决定本车辆应行驶的路径即目标路径，并决定按目标路径行驶所需要的本车辆的运动即目标运动。运算装置20通过控制控制单元18来控制执行装置101工作，以便使本车辆的运动成为目标运动。例如，运算装置20由具有一个或多个运算芯片的电子控制单元(ecu)构成。换句话说，运算装置20由电子控制单元(ecu)构成，该电子控制单元(ecu)具有一个或多个处理器、以及一个或多个存储器等，该存储器存储一个或多个用于使处理器工作的程序或数据。
60.在该例中，运算装置20具有外部环境识别部21、候选路径生成部22、车辆举动识别部23、驾驶员举动识别部24、目标运动决定部25、以及运动控制部26。这些是运算装置20的功能的一部分。
61.外部环境识别部21识别本车辆的外部环境。候选路径生成部22根据外部环境识别部21的输出生成一个或多个候选路径。候选路径为本车辆能够行驶的路径，其为目标路径的候选。
62.车辆举动识别部23基于车辆状态传感器14的输出识别本车辆的举动(例如速度、加速度、横摆率等)。例如，车辆举动识别部23使用通过深层学习生成的学习模型，根据车辆状态传感器14的输出来识别本车辆的举动。驾驶员举动识别部24根据驾驶员状态传感器15的输出来识别驾驶员的举动(例如驾驶员的健康状态、情绪、身体举动等)。例如，驾驶员举动识别部24使用通过深层学习生成的学习模型，根据驾驶员状态传感器15的输出来识别驾驶员的举动。
63.目标运动决定部25基于车辆举动识别部23的输出以及驾驶员举动识别部24的输出，从候选路径生成部22所生成的一个或多个候选路径中选择成为目标路径的候选路径。例如，目标运动决定部25从多个候选路径中选择驾驶员感觉最舒适的候选路径。目标运动决定部25根据被选择为目标路径的候选路径来决定目标运动。
64.运动控制部26基于目标运动决定部25所决定的目标运动对控制单元18进行控制。例如，运动控制部26分别导出用于达成目标运动的驱动力、制动力、以及转向量即目标驱动力、目标制动力、以及目标转向量。运动控制部26还将表示目标驱动力的驱动指令值、表示目标制动力的制动指令值、以及表示目标转向量的转向指令值分别发送给包括在控制单元18中的动力传动装置、制动装置、以及转向装置。
65.〔外部环境识别部〕
66.图2示例出外部环境识别部21的构成。在该例中，外部环境识别部21由图像处理芯片31、人工智能加速器32、控制芯片33构成。例如，图像处理芯片31、人工智能加速器32、以及控制芯片33分别由处理器及存储器构成，该存储器存储用于使处理器工作的程序或数据等。
67.在该例中，外部环境识别部21具有前处理部40、识别处理部41、整合数据生成部42、二维数据生成部43、以及异常检测部44。这些为外部环境识别部21的功能的一部分。在
该例中，在图像处理芯片31上设置有前处理部40，在人工智能加速器32上设置有识别处理部41及整合数据生成部42，在控制芯片33上设置有二维数据生成部43及异常检测部44。
68.〈前处理部〉
69.前处理部40对摄像头11所获取的图像数据进行前处理。前处理包括：修正图像数据所表示的图像失真的失真修正处理、调整图像数据所表示的图像明度的白平衡调整处理等。
70.〈识别处理部〉
71.识别处理部41基于由前处理部40进行过前处理的图像数据来识别本车辆的外部环境。在该例中，识别处理部41根据基于图像数据识别出的本车辆的外部环境和雷达12的检测结果(即由雷达12检测出的本车辆的外部环境)，输出本车辆的外部环境的识别结果。
72.〈整合数据生成部〉
73.整合数据生成部42根据识别处理部41的识别结果生成整合数据。整合数据是整合了识别处理部41识别出的本车辆的外部环境中包括的可移动区域以及人与物而得到的数据。在该例中，整合数据生成部42根据识别处理部41的识别结果生成整合数据。
74.〈二维数据生成部〉
75.二维数据生成部43根据整合数据生成部42所生成的整合数据来生成二维数据。二维数据是整合数据中包括的可移动区域以及人与物被二维化后的数据。
76.〈外部环境数据生成部〉
77.需要说明的是，在该例中，整合数据生成部42及二维数据生成部43构成外部环境数据生成部45。外部环境数据生成部45根据识别处理部41的识别结果来生成外部环境数据(物体数据：object data)。外部环境数据为表现识别处理部41所识别出的本车辆的外部环境的数据。在该例中，外部环境数据生成部45根据识别处理部41的识别结果来生成外部环境数据。
78.〈异常检测部〉
79.异常检测部44根据由外部环境数据生成部45生成的外部环境数据的异常，检测包括摄像头11、识别处理部41、以及外部环境数据生成部45的数据处理系统的异常。在该例中，包括摄像头11、识别处理部41、以及外部环境数据生成部45的数据处理系统为从摄像头11依次经由前处理部40、识别处理部41、以及整合数据生成部42到达二维数据生成部43的数据处理系统。例如，异常检测部44可以构成为：在检测数据处理系统异常的异常检测处理中，使用通过深层学习生成的学习模型来检测外部环境数据的异常。该学习模型为用于检测外部环境数据的异常的学习模型。需要说明的是，异常检测部44也可以使用其他公知的异常检测技术来检测外部环境数据的异常。
80.在该例中，外部环境数据的异常是整合数据和二维数据中任一者的异常。也就是说，在该例中，异常检测部44根据整合数据以及二维数据中任一者的异常，检测数据处理系统的异常。
81.〔外部环境识别部的基本工作〕
82.接下来，参照图3说明外部环境识别部21的基本工作。
83.〈步骤s11〉
84.首先，前处理部40对摄像头11所获取的图像数据进行前处理。在该例中，前处理部
40对多个摄像头11所获取的多个图像数据分别进行前处理。前处理包括：修正图像数据所表示出的图像失真(在该例中为由摄像头11的广角化而引起的失真)的失真修正处理、调整图像数据表示的图像白平衡的白平衡调整处理等。需要说明的是，在摄像头11所获取的图像数据中没有失真的情况下(例如使用具有一般镜头的摄像头的情况下)，也可以省去失真修正处理。
85.如图4所示，图像数据d1所表示的本车辆的外部环境包括车道50、人行道71、及空地72。车道50为本车辆能够移动的可移动区域之一例。该图像数据d1所表示的本车辆外部环境中包括其他车辆61、标志牌62、行道树63、以及建筑物80。其他车辆61(自动四轮车)是随着时间经过而发生位移的运动物体之一例。能够列举出的作为运动物体的其他例子有：自动二轮车、自行车、行人等。标志牌62和行道树63是随着时间经过却不发生位移的静止物体之一例。能够列举出的作为静止物体的其他例子有：中间分隔带、道路中央的柱子、建筑物等。运动物体和静止物体为人与物60之一例。
86.在图4的例子中，在车道50的外侧设有人行道71，在人行道71的外侧(远离车道50的一侧)设有空地72。在图4的例子中，一台其他车辆61在车道50中本车辆行驶的那条车道上行驶，两台其他车辆61在车道50中本车辆行驶的那条车道的反向车道上行驶。沿着人行道71的外侧排列有标志牌62和行道树63。在本车辆的前方较远的位置处设有建筑物80。
87.〈步骤s12〉
88.接着，识别处理部41对图像数据d1进行分类处理。在该例中，识别处理部41对多个摄像头11所获取的多个图像数据分别进行分类处理。在分类处理中，识别处理部41以像素为单位对图像数据d1所表示的图像进行分类，并将表示该分类结果的分类信息附加到图像数据d1中。通过该分类处理，识别处理部41从图像数据d1所表示的图像(表示本车辆的外部环境的图像)中识别可移动区域以及人与物。例如，识别处理部41使用通过深层学习生成的学习模型进行分类处理。该学习模型为用于以像素为单位对图像数据d1所表示的图像进行分类的学习模型。需要说明的是，识别处理部41也可以构成为使用其他公知的分类技术进行分类处理。
89.图5示出的分割图像d2示例出的是图像数据d1所表示的图像的分类结果。在图5的例子中，图像数据d1所表示的图像以像素为单位被分类为车道、车辆、标志牌、行道树、人行道、空地、以及建筑物中的某一个。
90.〈步骤s13〉
91.接着，识别处理部41对图像数据进行可移动区域数据生成处理。在可移动区域数据生成处理中，识别处理部41从图像数据d1所表示的图像中确定通过分类处理被分类为可移动区域(在该例中为车道50)的像素区域，并根据该已确定出的像素区域生成可移动区域数据。可移动区域数据为表示由识别处理部41识别出的可移动区域的数据(在该例中为三维地图数据)。在该例中，识别处理部41根据在同一时刻由多个摄像头11获取的多个图像数据中的每一个图像数据中已确定出的可移动区域，生成可移动区域数据。例如，在可移动数据生成处理中，可以使用公知的三维数据生成技术。
92.〈步骤s14〉
93.识别处理部41进行人与物信息生成处理。在人与物信息生成处理中，识别处理部41进行第一信息生成处理、第二信息生成处理、以及信息整合处理。
94.第一信息生成处理是针对图像数据进行的。在该例中，识别处理部41对多个摄像头11所获取的多个图像数据分别进行第一信息生成处理。在第一信息生成处理中，识别处理部41从图像数据d1所表示的图像中确定通过分类处理被分类为人与物60的像素区域，根据该已确定出的像素区域生成人与物信息。需要说明的是，在图像数据d1所表示的图像中识别出多个人与物60的情况下，识别处理部41对多个人与物60分别进行第一信息生成处理。人与物信息为关于人与物60的信息，表示人与物60的种类、人与物60的形状、从本车辆到人与物60的距离以及方向、以本车辆为基准的人与物60的位置、人与物60相对于本车辆移动速度的相对速度的大小及方向等。例如，识别处理部41使用通过深层学习生成的学习模型来进行第一信息生成处理。该学习模型为基于已从图像数据d1所表示的图像中确定出的像素区域(被分类为人与物60的像素区域)来生成人与物信息的学习模型。需要说明的是，识别处理部41也可以构成为使用其他公知的信息生成技术(人与物检测技术)进行第一信息生成处理。
95.第二信息生成处理是针对雷达12的输出进行的。在该例中，识别处理部41根据多个雷达12各自的输出进行第二信息生成处理。在第二信息生成处理中，识别处理部41根据雷达12的检测结果生成人与物信息。例如，识别处理部41通过对雷达12的检测结果(表现本车辆的外部环境的反射波的强度分布)进行解析处理，而导出人与物信息(具体而言，为人与物60的种类、人与物60的形状、从本车辆到人与物60的距离以及方向、以本车辆为基准的人与物60的位置、人与物60相对于本车辆的移动速度的相对速度的大小以及方向等)。需要说明的是，识别处理部41既可以构成为使用通过深层学习生成的学习模型(用于根据雷达12的检测结果生成人与物信息的学习模型)进行第二信息生成处理，也可以构成为使用其他公知的解析技术(人与物检测技术)进行第二信息生成处理。
96.在信息整合处理中，识别处理部41通过整合第一信息生成处理所得到的人与物信息和第二信息生成处理所得到的人与物信息来生成新的人与物信息。例如，识别处理部41针对人与物信息中包括的多个参数(具体而言为人与物60的种类、人与物60的形状、从本车辆到人与物60的距离以及方向、以本车辆为基准的人与物60的位置、人与物60相对于本车辆移动速度的相对速度的大小以及方向等)中的每一个参数，通过比较第一信息生成处理所得到的人与物信息参数以及通过第二信息生成处理所得到的人与物信息参数，将两个参数中精度较高的参数作为新的人与物信息中包括的参数。
97.〈步骤s15〉
98.接着，整合数据生成部42通过整合在步骤s13中生成的可移动区域数据以及在步骤s14中生成的人与物信息来生成整合数据d3。整合数据d3是整合了识别处理部41所识别出的可移动区域(在该例中为车道50)以及人与物60而得到的数据(在该例中为三维地图数据)。例如，整合数据生成部42也可以构成为使用公知的数据整合技术，由可移动区域数据及人与物信息来生成整合数据d3。
99.图6示出了整合数据d3的概念。如图6所示，在整合数据d3中，人与物60被抽象化。
100.〈步骤s16〉
101.接着，二维数据生成部43通过将整合数据d3二维化来生成二维数据d4。二维数据d4为整合数据d3中包括的可移动区域(在该例中为车道50)以及人与物60被二维化后的数据(在该例中为二维地图数据)。例如，二维数据生成部43也可以构成为使用公知的二维化
技术，由整合数据d3生成二维数据d4。
102.如图7所示，在二维数据d4中，可移动区域(在本例中为车道50)和人与物60(在本例中为本车辆100)被二维化。在该例中，二维数据d4对应本车辆100的俯视图(从上空俯视本车辆100而得到的图)。二维数据d4包括车道50、其他车辆61、以及本车辆100。
103.〔外部环境识别部的数据量的变化情况〕
104.接着，参照图8说明外部环境识别部21的数据量的变化情况。
105.在识别处理部41中完成了前处理且进行了分类处理以后，对图像数据d1赋予分类信息。这样一来，数据量会增加。接着，在识别处理部41中完成分类处理以后，在整合数据生成部42中被附加了分类处理的图像数据d1就会转换为整合数据d3。由于在整合数据d3中本车辆的外部环境(特别是人与物60)被抽象化，因此整合数据d3的数据量就比图像数据d1的数据量少。结果，数据量通过将图像数据d1转换为整合数据d3而减少。接着，在整合数据生成部42完成了整合数据d3的生成以后，就在二维数据生成部43将整合数据d3转换为二维数据d4。由于整合数据d3所表现的本车辆的外部环境在二维数据d4中被二维化，因此二维数据d4的数据量比整合数据d3的数据量少。结果，数据量通过将整合数据d3转换为二维数据d4而进一步减少。
106.〔异常检测处理〕
107.接着，参照图9说明异常检测部44所进行的异常检测处理(检测数据处理系统的异常的处理)。
108.〈步骤s21〉
109.首先，异常检测部44获取由外部环境数据生成部45生成的外部环境数据(在本该例中为整合数据或二维数据)。
110.〈步骤s22〉
111.接着，异常检测部44判断外部环境数据是否发生了异常。在外部环境数据发生了异常的情况下进行步骤s23的处理；在外部环境数据没有发生异常的情况下则进行步骤s24的处理。
112.〈步骤s23〉
113.在外部环境数据发生了异常的情况下，异常检测部44判断包括有摄像头11、识别处理部41、以及外部环境数据生成部45的数据处理系统发生了异常。
114.〈步骤s24〉
115.另一方面，在外部环境数据没有发生异常的情况下，异常检测部44则判断包括有摄像头11、识别处理部41、以及外部环境数据生成部45的数据处理系统并没有发生异常。
116.〔外部环境数据的异常的具体例〕
117.接着，说明外部环境数据的异常。在该例中，外部环境数据的异常包括外部环境数据的静态异常、以及外部环境数据的经时变化的异常(动态异常)。也就是说，在该例中，在发生了外部环境数据的静态异常以及外部环境数据的经时变化的异常中的至少一者的情况下，由异常检测部44判断为发生了数据处理系统的异常；在外部环境数据的静态异常以及外部环境数据的经时变化的异常这两者都没有发生的情况下，由异常检测部44判断为没有发生数据处理系统的异常。
118.〈外部环境数据的静态异常〉
119.外部环境数据的静态异常为根据外部环境数据而检测出的异常，该外部环境数据为基于在单一时刻获取的图像数据而生成的。作为外部环境数据的静态异常的例子，能够列举出的有：外部环境数据的数据量的异常、外部环境数据所表现的本车辆的外部环境的异常等。
120.在基于外部环境数据的数据量的异常之异常检测处理(检测数据处理系统的异常的处理)中，在外部环境数据的数据量偏离了事先设定好的正常范围的情况下，由异常检测部44判断为发生了数据处理系统的异常；在外部环境数据的数据量没有偏离正常范围的情况下，由异常检测部44判断为没有发生数据处理系统的异常。
121.在基于外部环境数据所表现的本车辆的外部环境的异常之异常检测处理中，在外部环境数据所表现的本车辆的外部环境不现实的情况下，由异常检测部44判断为发生了数据处理系统的异常；在外部环境数据所表现的本车辆的外部环境很现实的情况下，由异常检测部44判断为没有发生数据处理系统的异常。需要说明的是，作为外部环境数据所表现的本车辆的外部环境不现实的例子，能够列举出的有：外部环境数据所表现的本车辆的外部环境中包括的车道50的位置及/或形状不现实的情况、外部环境数据所表现的本车辆的外部环境中包括的人与物60的位置及/或形状不现实的情况、外部环境数据所表现的本车辆的外部环境中包括的车道50及人与物60各自的位置及/或形状不现实的情况等。具体而言，能够列举出的有：车道50的宽度偏离了事先设定好的车道宽度范围(例如假定的车道50的宽度的最小值至最大值的范围)的情况、作为人与物60之一例的其他车辆61的车宽偏离了事先设定好的车宽范围(例如假定的其他车辆61的宽度的最小值至最大值的范围)的情况等。
122.〈外部环境数据的经时变化的异常〉
123.外部环境数据的经时变化的异常为根据多个外部环境数据而检测出的异常，该多个外部环境数据为基于分别在不同时刻获取的多个图像数据而生成的。作为外部环境数据的经时变化的异常的例子，能够列举出的有：外部环境数据的数据量的经时变化的异常、外部环境数据所表现的本车辆的外部环境的经时变化的异常等。
124.在基于外部环境数据的数据量的经时变化的异常之异常检测处理(检测数据处理系统的异常的处理)中，在外部环境数据的数据量的经时变化的变化量(例如每单位时间的变化量)偏离事先设定好的正常变化范围的情况下，由异常检测部44判断为发生了数据处理系统的异常；在外部环境数据的数据量的经时变化的变化量没有偏离正常变化范围的情况下，由异常检测部44判断为没有发生数据处理系统的异常。
125.在基于外部环境数据所表现的本车辆的外部环境的经时变化的异常之异常检测处理中，在外部环境数据所表现的本车辆的外部环境的经时变化不现实的情况下，由异常检测部44判断为发生了数据处理系统的异常；在外部环境数据所表现的本车辆的外部环境的经时变化为现实的情况下，由异常检测部44判断为没有发生数据处理系统的异常。需要说明的是，作为外部环境数据所表现的本车辆的外部环境的经时变化不现实的例子，能够举出的有：外部环境数据所表现的本车辆的外部环境中包括的车道50(可移动区域)的位置及/或形状的经时变化不现实的情况、外部环境数据所表现的本车辆的外部环境中包括的人与物60的位置及/或形状的经时变化不现实的情况、外部环境数据所表现的本车辆的外部环境中包括的车道50及人与物60各自的位置及/或形状的经时变化不现实的情况等。具
体而言，能够列举出的有：车道50的宽度的经时变化量超过事先设定好的车道宽度上限变化量(例如假定的车道50的宽度的经时变化量的上限)的情况、作为人与物60之一例即其他车辆61的车宽的经时变化量超过事先设定好的车宽上限变化量(例如假定的其他车辆61的宽度的经时变化量的上限)的情况、其他车辆61或标志牌62等人与物60突然消失而无法追踪人与物60的情况等。
126.〔异常的因果关系〕
127.接着，参照图10、图11、图12，举出具体例说明数据处理系统的异常与外部环境数据的异常之因果关系。
128.〈具体例1〉
129.例如，如果在用于累积由摄像头11获取的图像数据d1的行缓冲(line buffer)(省略图示)中发生了异常，就会在从行缓冲输出的图像数据中产生条状的噪声。如果在该情况下识别处理部41根据从行缓冲输出的图像数据进行识别处理，就有可能在识别处理部41发生人与物60的识别遗漏或误识别。如果这样在识别处理部41发生了人与物60的识别遗漏或误识别，本来应该存在的其他车辆61就会从根据识别处理部41的识别结果生成的二维数据d4中消失，而有可能无法追踪该其他车辆61，如图10的双点划线所示。像这样，如果在构成包括摄像头11、识别处理部41、以及外部环境数据生成部45的数据处理系统的一部分的行缓冲(line buffer)区中发生异常，外部环境数据所表现的本车辆的外部环境就会发生异常。
130.〈具体例2〉
131.当摄像头11发生摄像头11的曝光时间过短的异常时，由摄像头11得到的图像数据所表示的图像整体就会变暗。在该情况下，由于图像数据所表示的图像的明度不足，便有可能在识别处理部41发生车道50(可移动区域)以及人与物60的识别遗漏或误识别。如果这样在识别处理部41发生了车道50以及人与物60的识别遗漏或误识别，本来应该存在的其他车辆61就会从根据识别处理部41的识别结果生成的二维数据d4中消失，而有可能无法追踪该其他车辆61，如图11的双点划线所示。而且，本来应该存在的车道50的边界线从二维数据d4中消失，而有可能无法更新车道50。像这样，如果构成包括摄像头11、识别处理部41、以及外部环境数据生成部45的数据处理系统的一部分的摄像头11发生异常，外部环境数据所表现的本车辆的外部环境就会发生异常。
132.〈具体例3〉
133.如果前处理部40的失真修正处理发生异常，失真就会残留在从前处理部40输出的图像数据所表示的图像中。其结果是，在识别处理部41便有可能发生车道50(可移动区域)以及人与物60的识别遗漏或误识别。如果这样在识别处理部41发生车道50以及人与物60的识别遗漏或误识别，本来应该存在的其他车辆61就会从根据识别处理部41的识别结果生成的二维数据d4中消失，而有可能无法追踪该其他车辆61，如图12的双点划线所示。二维数据d4所表现的车道50的边界线(在图12之例中为车道边界线)有可能产生失真。像这样，如果构成包括摄像头11、识别处理部41、以及外部环境数据生成部45的数据处理系统的一部分的前处理部40发生异常，外部环境数据所表现的本车辆的外部环境就会发生异常。
134.(实施方式的效果)
135.如上所述，本实施方式的运算装置20，不用将成为异常检测对象的数据处理系统
双重化，就能够检测数据处理系统的异常。这样一来，与将成为异常检测对象的数据处理系统双重化的情况相比，能够减小电路规模伴随着追加异常检测功能的增大并能够减少功耗伴随着追加异常检测功能的增加。
136.需要说明的是，外部环境数据(整合数据d3或二维数据d4)的数据量比图像数据d1的数据量少。因此，通过由异常检测部44根据外部环境数据进行异常检测处理(用于检测数据处理系统的异常的处理)，与异常检测部44根据图像数据d1进行异常检测处理的情况相比，能够减轻异常检测部44的处理负荷。这样一来，能够实现异常检测部44的电路规模的缩小及减少功耗的减少二者中之至少一者。并且，还能够使异常检测部44对数据处理系统的异常的检测高速化。
137.在本实施方式的运算装置20中，异常检测部44根据整合数据以及二维数据中的任一者的异常检测数据处理系统的异常。通过根据在生成二维数据之前生成的整合数据的异常来检测数据处理系统的异常，与根据二维数据的异常来检测数据处理系统的异常的情况相比，能够更快速地检测数据处理系统的异常。另一方面，通过根据在生成整合数据之后生成的二维数据的异常来检测数据处理系统的异常，与根据整合数据的异常来检测数据处理系统的异常的情况相比，能够在较大的范围内检测数据处理系统的异常。具体而言，能够检测从摄像头11(摄像部)经由识别处理部41、整合数据生成部42到二维数据生成部43的数据处理系统的异常。
138.通过基于整合数据以及二维数据中的任一者的异常来检测数据处理系统的异常，与基于整合数据以及二维数据两者的异常来检测数据处理系统的异常的情况相比，能够减轻异常检测部44的处理负荷。因此，能够实现异常检测部44的电路规模的缩小及功耗的减少二者中之至少一者。并且，还能够使异常检测部44对数据处理系统的异常的检测高速化。
139.在本实施方式的运算装置20中，异常检测部44根据外部环境数据所表现的外部环境的经时变化的异常，检测数据处理系统的异常。像这样，通过根据外部环境数据所表现的外部环境的经时变化，能够检测出仅靠单一时刻下的外部环境数据所表现的外部环境无法检测出的异常。这样一来，能够提高对数据处理系统的异常的检测精度。
140.(实施方式的变形例1)
141.需要说明的是，外部环境数据的异常也可以是整合数据以及二维数据两者的异常。也就是说，异常检测部44也可以构成为根据整合数据以及二维数据两者的异常来检测数据处理系统的异常。具体而言，在本实施方式的变形例1中，在整合数据以及二维数据中的至少一者发生了异常的情况下，由异常检测部44判断为数据处理系统发生了异常；在整合数据以及二维数据两者都没有发生异常的情况下，由异常检测部44判断为数据处理系统没有发生异常。需要说明的是，在该变形例1中，外部环境数据的异常也可以包括外部环境数据的静态异常、外部环境数据的经时变化的异常(动态异常)。
142.〔实施方式的变形例1的效果〕
143.在本实施方式的变形例1的运算装置20中，异常检测部44根据整合数据以及二维数据两者的异常检测数据处理系统的异常。像这样，通过进行基于整合数据异常的异常检测处理(检测数据处理系统的异常的处理)和基于二维数据异常的异常检测处理这两者，能够快速地检测数据处理系统的异常，并且能够在较大的范围内检测数据处理系统的异常。
144.(实施方式的变形例2)
145.异常检测部44也可以构成为根据外部环境数据的异常的持续时间，检测数据处理系统的异常。具体而言，在该变形例2中，在外部环境数据的异常的持续时间超过事先设定好的正常时间的情况下，由异常检测部44判断为数据处理系统发生了异常；在外部环境数据的异常的持续时间没有超过正常时间的情况下，由异常检测部44判断为数据处理系统没有发生异常。需要说明的是，在该变形例2中，外部环境数据的异常也可以包括外部环境数据的静态异常、外部环境数据的经时变化的异常(动态异常)。
146.在该变形例2中，异常检测部44也可以构成为根据整合数据以及二维数据两者的异常来检测数据处理系统的异常。具体而言，在该实施方式的变形例2中，异常检测部44可以构成为：在整合数据以及二维数据的至少一者的异常的持续时间超过事先设定好的正常时间的情况下，由异常检测部44判断为数据处理系统发生了异常；在整合数据以及二维数据各自的异常的持续时间没有超过正常时间的情况下，由异常检测部44判断为数据处理系统没有发生异常。
147.〔实施方式的变形例2的效果〕
148.在本实施方式的变形例2的运算装置20中，异常检测部44根据外部环境数据所表现的外部环境的异常的持续时间，检测数据处理系统的异常。这样一来，能够减少数据处理系统的异常的过度检测。例如，在不是数据处理系统的异常的其他原因(例如一瞬间的噪声等)使外部环境数据所表现的外部环境仅在极短的时间内发生异常的情况下，能够避免发生误检测出数据处理系统的异常的情况。这样一来，能够适当地进行数据处理系统的异常的检测。
149.(控制装置的具体结构)
150.图13例示上述运算装置20的具体结构。运算装置20设置在车辆v上。运算装置20具有一个或多个电子控制单元(ecu)。电子控制单元具有一个或多个芯片a。芯片a具有一个或多个内核b。内核b具有处理器p及存储器m。也就是说，运算装置20具有一个或多个处理器p及一个或多个存储器m。存储器m存储用于使处理器工作的程序以及信息。具体而言，存储器m存储能由处理器p执行的软件即模块、以及表示在处理器p的处理中利用的模型之数据等。上述控制装置20的各部分的功能通过处理器p执行存储在存储器m中的各模块来实现。
151.(其他的实施方式)
152.在以上的说明中，作为移动体以车辆(自动四轮车)为例进行了说明，但并不限于此。例如，移动体可以是船舶、火车、飞机、自动二轮车、自主移动机器人、吸尘器、无人机等。
153.在以上的说明中，举例说明了二维数据生成部43设置在控制芯片33中的情况，但并不限于此。例如，二维数据生成部43既可以设置在人工智能加速器32中，也可以设置在其他运算芯片中。与此相同，异常检测部44既可以设置在控制芯片33中，也可以设置在人工智能加速器32中，也可以设置在其他运算芯片中。需要说明的是，对于外部环境识别部21的其他构成(例如前处理部40等)以及运算装置20的其他构成(例如候选路径生成部22等)来说，也是一样的。
154.在以上的说明中，举例说明了外部环境识别部21由图像处理芯片31、人工智能加速器32、以及控制芯片33构成的情况，但并不限于此。例如，外部环境识别部21可以由两个以下的运算芯片构成，也可以由四个以上的运算芯片构成。需要说明的是，对于外部环境识别部21的其他构成(例如前处理部40等)以及运算装置20的其他构成(例如候选路径生成部
22等)来说，也是一样的。
155.可以适当地组合以上实施方式以及变形例并实施。以上的实施方式以及变形例在本质上是优选的示例，并没有限制本发明、其适用对象或其用途范围的意图。
156.－产业实用性－
157.综上所述，这里所公开的技术作为识别移动体的外部环境的外部环境识别装置是有用的。
158.－符号说明－
159.10
ꢀꢀꢀꢀꢀ
车辆控制系统(移动体控制系统)
160.11
ꢀꢀꢀꢀꢀ
摄像头(摄像部)
161.12
ꢀꢀꢀꢀꢀ
雷达(检测部)
162.13
ꢀꢀꢀꢀꢀ
位置传感器
163.14
ꢀꢀꢀꢀꢀ
车辆状态传感器
164.15
ꢀꢀꢀꢀꢀ
驾驶员状态传感器
165.16
ꢀꢀꢀꢀꢀ
驾驶操作传感器
166.17
ꢀꢀꢀꢀꢀ
通信部
167.18
ꢀꢀꢀꢀꢀ
控制单元
168.19
ꢀꢀꢀꢀꢀ
人机界面
169.20
ꢀꢀꢀꢀꢀ
运算装置
170.21
ꢀꢀꢀꢀꢀ
外部环境识别部
171.22
ꢀꢀꢀꢀꢀ
候选路径生成部
172.23
ꢀꢀꢀꢀꢀ
车辆举动识别部
173.24
ꢀꢀꢀꢀꢀ
驾驶员举动识别部
174.25
ꢀꢀꢀꢀꢀ
目标运动决定部
175.26
ꢀꢀꢀꢀꢀ
运动控制部
176.31
ꢀꢀꢀꢀꢀ
图像处理芯片
177.32
ꢀꢀꢀꢀꢀ
人工智能加速器
178.33
ꢀꢀꢀꢀꢀ
控制芯片
179.40
ꢀꢀꢀꢀꢀ
前处理部
180.41
ꢀꢀꢀꢀꢀ
识别处理部
181.42
ꢀꢀꢀꢀꢀ
整合数据生成部
182.43
ꢀꢀꢀꢀꢀ
二维数据生成部
183.44
ꢀꢀꢀꢀꢀ
异常检测部
184.45
ꢀꢀꢀꢀꢀ
外部环境数据生成部
185.50
ꢀꢀꢀꢀꢀ
车道(可移动区域)
186.60
ꢀꢀꢀꢀꢀ
人与物
187.61
ꢀꢀꢀꢀꢀ
其他车辆
188.62
ꢀꢀꢀꢀꢀ
标志牌
189.63
ꢀꢀꢀꢀꢀ
行道树
190.71
ꢀꢀꢀꢀꢀ
人行道
191.72
ꢀꢀꢀꢀꢀ
空地
192.80
ꢀꢀꢀꢀꢀ
建筑物
193.100
ꢀꢀꢀꢀ
本车辆(移动体)
194.101
ꢀꢀꢀꢀ
执行装置