信息处理装置、信息处理方法和程序与流程

1.本技术涉及与用于安装在诸如汽车之类的车辆上的传感器的异常检测相关联的信息处理装置、信息处理方法和程序。


背景技术：

2.专利文献1已经描述了诸如汽车之类的自身车辆中的异常诊断装置。在专利文献1中，将由自身车辆的传感器获取的与自身车辆周围环境相关的环境信息与类似于该环境信息的过去环境信息进行比较，并且在误差等于或大于阈值的情况下检测到自身车辆的传感器的误动。
3.引文列表
4.专利文献
5.专利文献1：日本专利申请特许公开no.2010-126130


技术实现要素：

6.技术问题
7.在专利文献1中，在比较环境信息之前确定移动物体并且排除移动物体区域。因此，排除移动物体的处理步骤是必要的并且难以快速检测传感器异常。
8.在本公开中，提供了利用其可以检测安装在车辆上的传感器的异常的信息处理装置、信息处理方法和程序。
9.问题的解决方案
10.根据本技术的实施例的信息处理装置包括第一数据获取单元、第二数据获取单元、比较单元和检测单元。
11.第一数据获取单元获取第一数据，该第一数据包括通过使用安装在车辆上的一个或多个传感器的感测数据生成的存在于车辆周围环境中的物体的位置信息和路面倾斜信息中的至少一个信息以及指示获取该信息的日期和时间的时间戳。
12.第二数据获取单元获取第二数据，该第二数据包括通过使用车辆的传感器以外的一个或多个传感器的感测数据生成的存在于车辆周围环境中的物体的位置信息和路面倾斜信息中的至少一个信息以及指示获取该信息的日期和时间的时间戳。
13.比较单元基于第一数据和第二数据中的每一个中包括的时间戳将第一数据与第二数据进行比较。
14.检测单元基于比较单元的比较结果检测与安装在车辆上的传感器相关的异常。
15.通过这种配置，可以通过针对某个共同的目标对象比较和共享感测数据来快速检测传感器异常。
16.位置信息可以是三维位置信息。
17.时间戳可以由全球导航卫星系统(gnss)或车辆到基础设施通信系统获取。
18.传感器可以是相机、毫米波雷达或光检测和测距(lidar)中的至少一种。
19.第二数据获取单元可以基于与该车辆不同的其它车辆或路边单元中的至少一个来获取第二数据。
20.第二数据获取单元可以从路边单元获取关于车辆所位于的路面的倾斜的信息作为第二数据，该信息是由路边单元预先获取的。
21.第二数据获取单元可以获取通过使用安装在路边单元上的传感器的感测数据生成的物体的位置信息作为第二数据，以及比较单元通过使用从路边单元获取的第二数据作为主数据，将第一数据与第二数据进行比较。
22.比较单元可以将第一数据与第二数据进行比较，其中每个数据都被获取达预定时间。
23.存在于车辆周围环境中的物体可以是其位置已知且固定的标记。
24.第二数据获取单元可以从预先获取标记的位置信息的路边单元获取标记的位置信息作为第二数据。
25.存在于车辆周围环境中的物体的位置信息可以通过检测物体的特征量来生成。
26.检测单元可以检测传感器从正确位置倾斜的异常。
27.检测单元可以基于检测的结果来控制车辆。
28.检测单元可以基于检测的结果来控制车辆校正传感器从正确位置的倾斜。
29.检测单元可以基于检测的结果来控制传感器的使用/不使用。
30.检测单元可以基于检测的结果对传感器异常生成通知、车辆的紧急停止、车辆的驾驶模式的切换或车辆的驾驶模式的切换通知中的至少一项执行控制。
31.根据本技术的实施例的信息处理方法包括：该第一数据包括通过使用安装在车辆上的一个或多个传感器的感测数据生成的存在于车辆周围环境中的物体的位置信息和路面倾斜信息中的至少一个信息以及指示获取该信息的日期和时间的时间戳；获取第二数据，该第二数据包括通过使用车辆的传感器以外的一个或多个传感器的感测数据生成的存在于车辆周围环境中的物体的位置信息和路面倾斜信息中的至少一个信息以及指示获取该信息的日期和时间的时间戳；基于第一数据和第二数据中的每一个中包括的时间戳将第一数据与第二数据进行比较；以及基于比较结果检测与安装在车辆上的传感器相关的异常。
32.根据本技术的实施例的程序使信息处理装置执行包括以下步骤的处理：获取第一数据，该第一数据包括通过使用安装在车辆上的一个或多个传感器的感测数据生成的存在于车辆周围环境中的物体的位置信息和路面倾斜信息中的至少一个信息以及指示获取该信息的日期和时间的时间戳；获取第二数据，该第二数据包括通过使用车辆的传感器以外的一个或多个传感器的感测数据生成的存在于车辆周围环境中的物体的位置信息和路面倾斜信息中的至少一个信息以及指示获取该信息的日期和时间的时间戳；基于第一数据和第二数据中的每一个中包括的时间戳将第一数据与第二数据进行比较；以及基于比较结果检测与安装在车辆上的传感器相关的异常。
附图说明
33.[图1]根据本技术的第一实施例的异常检测系统的示意性配置图。
[0034]
[图2]描述使用根据第一实施例的异常检测系统的异常检测方法的第一示例的流
程图。
[0035]
[图3]描述使用根据第一实施例的异常检测系统的异常检测方法的第二示例的流程图。
[0036]
[图4]描述使用根据第一实施例的异常检测系统的异常检测方法的第三示例的流程图。
[0037]
[图5]根据本技术的第二实施例的异常检测系统的示意性配置图。
[0038]
[图6]描述使用根据第二实施例的异常检测系统的异常检测方法的第四示例的流程图。
[0039]
[图7]图6的流程图之后的流程图。
[0040]
[图8]描述使用根据第二实施例的异常检测系统的异常检测方法的第五示例的流程图。
[0041]
[图9]图8的流程图之后的流程图。
[0042]
[图10]根据本技术的第三实施例的异常检测系统的示意性配置图。
[0043]
[图11]描述对其应用根据本技术的异常检测系统的环境示例的示意图。
[0044]
[图12]示出从三个车辆中的每一个查看时车辆与存在于周边的物体(车辆、人)之间的关系的图。
[0045]
[图13]描述通过使用除车辆以外的物体生成虚拟平面9的示例的图。
[0046]
[图14]描述由于传感器异常而引起的误识别的图。
[0047]
[图15]用于描述基于传感器的感测数据的识别的图。
[0048]
[图16]用于描述车辆控制示例的图。
[0049]
[图17]用于描述异常检测方法的第三示例的环境示例的示意图。
[0050]
[图18]描述在传感器在偏航方向上倾斜的情况下车辆之间的位置关系的示意图。
具体实施方式
[0051]
《第一实施例》
[0052]
[异常检测系统的示意性配置]
[0053]
将参考图1描述根据本技术的实施例的异常检测系统。
[0054]
图1是异常检测系统1的示意性配置图并且是示出作为信息处理装置的车辆2和路边单元(下文中称为rsu)3的配置的框图。
[0055]
如图1中所示，异常检测系统1包括一个或多个车辆2以及rsu3。
[0056]
假设这个实施例中的异常检测系统1用在环境中，例如，如图11中所示，其中提供有gps接收器(位置测量单元)、获取车辆周围信息的传感器(诸如全向雷达和全向相机)，以及能够与rsu 3通信的车辆2。
[0057]
图11是示出多个车辆2a至2c在其中安装了rsu 3的道路7上行驶的情况的示意图。如图11中所示，rsu 3沿着道路7安装。在这个实施例中，示出了其中rsu 3安装在交通灯6中的示例，但不限于此。而且，其位置已知且固定的多个(图11中是两个)标记5布置在rsu 3附近。标记5布置在车辆2可以容易地检测到标记5的位置处。在图11中，人8位于沿着道路7定位的人行道上。
[0058]
在图11中，为了彼此区分多个车辆2，它们由附图标记表示为车辆2a、车辆2b和车
辆2c。但是，除非特别需要将多个车辆2彼此区分开，否则它们将被称为车辆2并进行描述。而且，在两个标记5当中，定位成更靠近rsu 3的标记由附图标记5a表示，并且定位成夹着道路7与标记5a相对的标记由附图标记5b表示。但是，除非特别需要将两个标记5彼此区分开，否则它们将被称为标记5并进行描述。
[0059]
在车辆2中，有可能通过使用识别周围的传感器(诸如安装在车辆2上的雷达和相机)来检测存在于自身车辆的周围环境中的物体和人。
[0060]
在异常检测系统1中，通过使用存在于车辆周围环境中的物体的三维物体位置信息来检测安装在车辆上的传感器的异常，该物体位置信息是基于由安装在每个车辆2上的传感器获取的感测数据生成的。
[0061]
此外，除了由车辆2生成的三维物体位置信息之外，还可以通过使用基于由安装在rsu 3上的传感器获取的感测数据生成的物体位置信息来检测安装在车辆上的传感器的异常。
[0062]
稍后将详细描述。
[0063]
执行与传感器异常检测相关联的一系列处理的稍后描述的运算单元可以在车辆中、可以在rsu中，或者可以在附加提供的服务器中。
[0064]
将给出在第一实施例中运算单元在车辆中的示例、在稍后描第二实施例中运算单元在服务器中的示例以及在稍后描述的第三实施例中运算单元在rsu中的示例的描述。
[0065]
[车辆(信息处理装置)的配置]
[0066]
如图1中所示，车辆2包括传感器组20、专用通信i/f 21、位置测量单元22、数据获取单元23、三维物体位置信息生成单元24、控制单元25、运算单元26、通用通信i/f 27和存储单元28。
[0067]
传感器组20包括用作成像单元的立体相机(下文中称为相机)201、使用回波定位方法的雷达(诸如毫米波雷达202和光检测和测距、激光成像检测和测距(lidar)203等)。这些传感器安装在车辆2中以能够检测所有方向并获取车辆2的周围信息。
[0068]
相机201在例如车辆的前鼻、侧视镜、后保险杠、后门、车厢内挡风玻璃的上部等中的至少一个位置处提供。在车厢前鼻和挡风玻璃的上部提供的相机主要获取车辆前方的图像。侧视镜中提供的相机主要获取车辆侧面的图像。后保险杠和后门中提供的相机主要获取车辆后方的图像。在车厢挡风玻璃的上部中提供的相机主要用于检测前方车辆、行人、障碍物、交通灯、交通标志、车道等。
[0069]
物体检测主要是通过使用从相机201获得的图像数据执行的。
[0070]
毫米波雷达202在例如车辆的车厢中的挡风玻璃的前部、后部、侧面、角部和上部中提供。lidar 203在例如车辆的前鼻、后保险杠、后门和车厢中的挡风玻璃的上部中提供。毫米波雷达202和lidar 203主要用于检测前方车辆、行人、障碍物等。
[0071]
通过使用毫米波雷达202和lidar 203可以检测自身车辆与物体之间的距离、从自身车辆到物体的方向以及物体的速度。脉冲法、调频连续波(fmcw)法等一般被用于检测。毫米波雷达202以高精度检测距离。可以通过使用毫米波雷达202和lidar 203获取诸如自身车辆2与物体之间的距离之类的位置关系。
[0072]
毫米波雷达202主要观察远距离，而相机201和lidar 203主要观察短距离和中距离。
[0073]
专用通信i/f 21是支持设计用于在车辆中使用的通信协议的通信i/f。专用通信i/f可以实现例如作为下属层ieee802.11p与上级层ieee1609的组合的车载环境无线接入(wave)、专用短程通信(dsrc)，或标准协议(诸如蜂窝通信协议)。专用通信i/f 21通常执行作为包括车辆到车辆通信、车辆到基础设施通信、车辆到家庭通信和车辆到行人通信中的一种或多种的概念的v2x通信。
[0074]
专用通信i/f 21能够在车辆与车辆之间发送和接收数据。
[0075]
例如，车辆2向其它车辆发送三维物体位置信息和路面倾斜信息。在此，三维物体位置信息和路面倾斜信息是通过使用由安装在自身车辆上的传感器组20获取的感测数据生成的。
[0076]
车辆2从其它车辆接收三维物体位置信息和路面倾斜信息。在此，通过使用由安装在其它车辆上的传感器组20获取的感测数据生成三维物体位置信息和路面倾斜信息。接收到的信息被输出到自身车辆的运算单元26。
[0077]
车辆2向其它车辆发送由自身车辆的运算单元26处理的异常通知信息。
[0078]
车辆2从其它车辆接收由该其它车辆的运算单元26处理的异常通知信息。接收到的信息被输出到控制单元25。
[0079]
专用通信i/f 21能够在车辆2和rsu 3之间发送和接收数据。
[0080]
例如，车辆2向rsu 3发送由稍后描述的位置测量单元22获取的包括时间戳的gps信息。
[0081]
车辆2从rsu 3接收在数据匹配处理时用于数据同步的基准时间数据。
[0082]
车辆2从rsu 3接收关于在数据匹配处理时使用的车辆的车辆id对的信息。
[0083]
车辆2向rsu 3发送由自身车辆的运算单元26处理的异常检测信息。
[0084]
位置测量单元22接收例如来自全球导航卫星系统(gnss)卫星的gnss信号(例如，来自全球定位系统(gps)卫星的gps信号)，执行位置测量，并生成包括车辆的纬度、经度和高度的位置信息。应当注意的是，位置测量单元22可以通过与无线接入点交换信号来确定当前位置，或者可以从具有位置测量功能的终端(诸如便携式电话、phs和智能电话)获取位置信息。
[0085]
除了其上安装有位置测量单元22的车辆2的位置信息之外，位置测量单元22获得指示执行位置测量的时间点的时间戳(时间信息)。由位置测量单元22获得的信息将被称为包括时间戳的gps信息。
[0086]
包括时间戳的gps信息经由专用通信i/f 21发送到rsu 3。
[0087]
数据获取单元23获取由相机201、毫米波雷达202、lidar 203、位置测量单元22等获取的传感数据。
[0088]
由相机201获取的感测数据是图像数据。
[0089]
由毫米波雷达202和lidar 203获取的感测数据是与毫米波和光反射波相关联的数据。
[0090]
使用由数据获取单元23获取的感测数据，三维物体位置信息生成单元24执行物体检测处理和自身车辆与周围物体之间距离的检测处理，并生成存在于车辆2的周围环境中的三维物体的位置信息。
[0091]
存在于车辆2的周围环境中的物体包括例如移动物体(诸如其它车辆和人)以及保
持静止的静态物体(诸如标记5、标志和建筑物)。
[0092]
在物体检测处理中，通过检测物体的特征量来识别各个物体。
[0093]
例如，在物体是车辆的情况下，有可能检测和识别车牌、汽车类型(例如，卡车或自驾汽车)、汽车形状、汽车颜色、汽车尺寸等作为特征量。在此，使用对于每个车辆都不同的车牌，车牌是每个车辆特有的信息。
[0094]
而且，在物体是人的情况下，有可能检测和识别身高、衣服颜色的直方图、走路方式(步态认证)等作为特征量。在此，使用人的身高和衣服的颜色。
[0095]
标记5布置在rsu 3附近并且是其位置已知且固定的静态物体。标记5可以用作基准标记。在这种情况下，标记5的位置信息被预先存储在稍后描述的rsu 3的存储单元37中作为参考数据。
[0096]
此外，基于车辆2的周围环境中存在的三维物体的位置信息，三维物体位置信息生成单元24可以生成车辆2在其上行驶的路面的倾斜信息。
[0097]
在图11中所示的示例中，作为存在于车辆2a的周围环境中的物体的车辆2b、车辆2c、标记5a、标记5b和人8中的每一个的三维物体位置信息可以通过使用安装在车辆2a上的传感器组20的感测数据来生成。
[0098]
多条三维物体位置信息将被称为三维物体信息集。这个三维物体信息集还包括路面倾斜信息。三维物体信息集包括时间戳。
[0099]
将描述路面倾斜信息的生成示例。
[0100]
通过使用存在于车辆2a的周围环境中的物体的三维物体位置信息，可以获取车辆2a与存在于周围环境中的物体的相对位置关系。
[0101]
例如，如图11中所示，可以通过使用三维物体位置信息来生成通过连接车辆2a、车辆2b和车辆2c所形成的三角形三维虚拟平面9。这个虚拟平面9表示路面倾斜信息。
[0102]
应当注意的是，在此示出了其中由自身车辆和另外两辆车生成虚拟平面9的示例，但是虚拟平面9可以通过使用自身车辆以外的物体(例如，诸如标记5、人物8和地标之类的物体)生成。在这个实施例中，通过在传感器异常检测处理中的数据比较时使用时间戳来同步要比较的数据。因此，要用于要比较的数据的感测目标可以是移动物体或者可以是静态物体，并且提供高环境稳健性。
[0103]
图12是示出从三辆车辆中的每一辆观察到的车辆与存在于周边的物体(车辆、人)之间的关系的图。
[0104]
图13是描述通过使用车辆以外的物体生成虚拟平面9的示例的图。
[0105]
如图12中所示，每个车辆2能够通过使用安装在车辆2上的传感器的感测数据来获取指示自身车辆、其它两辆车和人8之间的位置相互关系的三维物体位置信息。
[0106]
因此，可以生成连接三个物体的多个虚拟平面。
[0107]
例如，如图13(a)中所示，虚拟平面9可以由两辆车2a和2b以及人8生成。然后，可以在车辆2a至2c中的每一个中生成和比较由两个车辆2a和2b以及人8构成的虚拟平面9。
[0108]
如图13(b)所示，虚拟平面9可以由两辆车2a和2b以及标记5生成。然后，可以在车辆2a至2c中的每一个中生成和比较由两个车辆2a和2b以及标记5构成的虚拟平面9。
[0109]
如图13(c)中所示，虚拟平面9可以通过使用单个车辆2a、标记5和人8来生成。然后，可以在车辆2a至2c中的每一个中生成和比较由车辆2a、标记5和人8构成的虚拟平面9。
[0110]
以这种方式，可以通过使用车辆以外的物体生成路面倾斜信息，并且可以通过使用用于上面提到的不同虚拟平面中的每一个的比较结果来检测传感器异常。
[0111]
在图11中所示的示例中，对于车辆2a、车辆2b和车辆2c中的每一个，通过使用安装在其自身上的传感器组20的感测数据获得存在于周围环境中的物体的三维物体位置信息和路面倾斜信息。
[0112]
然后，可以通过相对于某个共同感测目标比较三维物体位置信息和路面倾斜信息来检测传感器异常。
[0113]
例如，考虑作为共同感测目标的三个车辆2a至2c之间的相对位置关系，分别在车辆2a至2c中生成虚拟平面9，并且相互比较虚拟平面9的倾斜。
[0114]
在虚拟平面9的倾斜信息在所有车辆2a至2c中都相同的情况下(在匹配的情况下)，可以判定不存在传感器异常。
[0115]
另一方面，在获取的仅与一个车辆相关的路面倾斜信息不同的情况下(在不匹配的情况下)，可以判定存在可能在安装在车辆上并获取周围环境信息的传感器中发生异常的可能性。
[0116]
控制单元25根据各种程序控制车辆2。
[0117]
控制单元25可以通过基于获取的车辆2的周围环境信息控制车辆的驱动力生成设备(未示出)、转向机构(未示出)、制动设备(未示出)等来执行旨在在没有驾驶员操作的情况下执行自动驾驶的自主驾驶的协同控制。这种自主驾驶要求高度准确的自身位置估计，并且获取周围环境的传感器被用于自身位置估计。因此，检测传感器异常对于安全的车辆驾驶是重要的。
[0118]
而且，在已经检测到传感器异常的情况下，控制单元25基于由运算单元26的检测单元265处理的异常通知信息来执行传感器异常通知并控制车辆。执行传感器异常通知，使得驾驶员可以识别传感器异常的发生。通常通过使用声音或显示设备上的显示中的至少一种来执行通知。
[0119]
在此，包括相机201、毫米波雷达202和lidar 203在内的传感器的光轴可以由于光碰撞等而从正确位置倾斜。否则，传感器的附接位置可能与正确位置不同。传感器从正确位置倾斜定位的这种情况被定义为传感器异常。
[0120]
由稍后描述的检测单元265生成的异常通知信息包括传感器异常通知、驾驶模式切换通知、车辆控制信息等。
[0121]
传感器异常通知(功能异常通知)用于通知传感器异常的发生。对其上安装有检测到异常的传感器的车辆2的驾驶员执行传感器异常通知。
[0122]
驾驶模式切换通知例如用于通知从自动驾驶到手动驾驶的切换。在包括检测到异常的传感器的车辆2的驾驶模式由于传感器异常而改变的情况下，将该事实通知驾驶员。
[0123]
车辆控制信息(功能限制指令信息)包括关于传感器使用的停止指令的信息、关于校正数据的信息、车辆2的紧急停止指令信息、关于车辆2的驾驶模式的切换指令的信息等。
[0124]
关于传感器使用的停止指令的信息是停止使用已检测到异常的传感器的指令。
[0125]
校正数据是用于校正与从检测到异常的传感器的正确位置的倾斜对应的量的校正数据。可以通过使用校正数据来执行根据自主驾驶等的车辆控制。
[0126]
驾驶模式切换指令是例如执行控制以从自主驾驶切换到手动驾驶的车辆指令。
[0127]
通用通信i/f 27是作为存在于外部环境中的各种设备之间的通信的中介的通用通信i/f。通用通信i/f 27可以实现诸如gsm(注册商标)(全球移动通信系统)、wimax(注册商标)、lte(注册商标)(长期演进)和lte-a(lte-advanced)之类的蜂窝通信协议，或无线lan(也称为wi-fi(注册商标))，诸如蓝牙(注册商标)之类的另一种无线通信协议。例如，通用通信i/f 27可以经由基站或接入点连接到存在于外部网络(例如，互联网、云网络或特定于公司的网络)中的设备(例如，应用服务器或控制服务器)。而且，通用通信i/f 27可以例如通过对等(p2p)技术连接到存在于车辆附近的终端(例如，驾驶员的、行人的或商店的终端，或者机器类型通信(mtc)终端)。
[0128]
存储单元28存储用于使信息处理装置执行与传感器异常检测相关联的一系列处理的程序。
[0129]
运算单元26包括第一数据获取单元261、第二数据获取单元262、处理开始判定单元263、比较单元264、检测单元265和指令单元266。
[0130]
第一数据获取单元261获取第一数据。
[0131]
第一数据包括三维物体位置信息和路面倾斜信息，它们是基于由安装在车辆上的执行传感器异常检测处理的传感器获取的感测数据生成的三维位置信息，以及指示获取该信息的日期和时间。
[0132]
第二数据获取单元262获取第二数据。
[0133]
第二数据包括从其它车辆获取的数据或从rsu 3获取的数据中的至少一个。
[0134]
从其它车辆获取的第二数据包括三维物体位置信息和路面倾斜信息，它们是根据安装在该其它车辆上的传感器获取的感测数据生成的三维位置信息，以及指示获取该信息的日期和时间的时间戳。
[0135]
从rsu 3获取的第二数据包括基于由安装在rsu 3上的传感器获取的感测数据生成的物体位置信息、预存储在rsu 3中的路面倾斜信息以及指示获取物体位置信息的日期和时间的时间戳。如稍后将描述的，rsu 3预先获得路面倾斜信息。
[0136]
处理开始判定单元263判定是否开始传感器异常检测处理。例如，处理开始判定单元263判定要相互比较的第一数据和第二数据是否存在三个或更多个集合，并且在三个或更多个集合存在的情况下开始处理，或者在两个或更少集合存在的情况下不开始处理。
[0137]
比较单元264基于时间戳将第一数据与第二数据进行比较。
[0138]
检测单元265基于比较单元264中的比较结果来检测传感器异常。此外，检测单元265基于检测的结果生成异常通知信息(异常通知处理)。
[0139]
指示单元266指示车辆2和rsu 3开始用于传感器异常检测的感测数据获取。
[0140]
在此，如上所述，传感器异常是指传感器从正确位置倾斜的状态。
[0141]
图14是描述由于传感器异常而引起的误识别的图。
[0142]
图14(a)示出了如从车辆a查看时与其它车辆2b、2c的位置关系，这是从安装在车辆2a上的相机201的图像数据检测到的。在图中，断线表示在相机201位于正确位置的情况下检测到的正确车辆位置，并且实线表示在相机201在俯仰方向上向下倾斜的情况下检测到的错误识别出的车辆位置。
[0143]
如图所示，在相机201的光轴在俯仰方向上向下倾斜的情况下，车辆2b和2c的位置被错误地识别为比从车辆2a查看的正确位置更靠前定位。以这种方式，相机201的识别结果
受到相机201的倾斜的影响。
[0144]
图14(b)是描述如从车辆2a查看的其它车辆2b的识别结果的图，这基于安装在车辆2a上的毫米波雷达202的检测结果。
[0145]
在毫米波雷达202位于正确位置的情况下，车辆2b被识别为相对于车辆2a定位在右斜前方。在这点上，在毫米波雷达202在偏航方向上向右倾斜的情况下，车辆2b被错误地识别为定位在车辆2a前方向前。以这种方式，毫米波雷达202的识别结果受毫米波雷达202的倾斜的影响。
[0146]
lidar 203也像毫米波雷达202一样受到倾斜的强烈影响。
[0147]
因此，传感器从正确位置的倾斜造成光轴偏移，并且生成的物体位置信息与实际物体位置不同，并且无法获得物体之间的准确相对位置关系。因此，例如，在使用传感器的感测数据的自主驾驶等中，检测传感器异常对于安全驾驶是非常重要的。
[0148]
通过将第一数据与第二数据进行比较，检测异常数据，从而检测异常传感器。基于这个检测结果，除了传感器异常通知之外，还执行车辆控制指令等。
[0149]
而且，在诸如相机、毫米波雷达和lidar之类的传感器中，很难区分是传感器从正确位置倾斜的异常还是由道路结构等(诸如路面状况)造成的传感器数据的噪声。
[0150]
例如，如图15中所示，假设单个车辆2位于水平路面71上，并且相机201对绘制在斜表面72上的停车标志进行成像，该斜表面72相对于水平路面71在车辆2的行驶方向上向前具有坡度。这个图像数据可以与通过安装在车辆上的相机201在行驶方向上向前的水平路面上对绘制在水平路面上的停车标志进行成像而获得的图像数据一致，该相机定位在没有斜表面的水平路面上的车辆上并且在俯仰方向上从正确位置倾斜。
[0151]
因此，很难区分从相机获得的图像数据是否包含由道路结构等(诸如路面状况)造成的传感器数据的噪声，或者是否包括由传感器倾斜的传感器异常造成的数据。一般而言，通过长时间检测路面，可以检测出是路面状况造成的还是传感器异常造成的，但是要花长时间。
[0152]
在这点上，在这个实施例中，可以通过比较车辆之间的三维物体位置信息或路面倾斜信息中的至少一个来快速检测异常传感器，该三维物体位置信息或路面倾斜信息是通过使用安装在车辆上的传感器的感测数据生成的。
[0153]
为了比较路面倾斜信息，还有可能通过使用由rsu 3预先获取并存储的rsu 3通信区域中路面的倾斜信息来检测传感器异常，而不是如上所述比较由多个车辆分别生成的路面倾斜信息。
[0154]
而且，除了传感器的光轴从正确位置倾斜造成的异常之外，还可以检测传感器的操作错误。
[0155]
例如，在毫米波雷达的前方存在造成不均匀发送的物体(诸如金属显示板和护栏)的情况下，无线电波可能会撞击这些物体并以不可预测的方式反射，这会导致毫米波雷达的操作错误。
[0156]
而且在这种情况下，类似地，通过比较通过使用安装在车辆和rsu上的传感器的感测数据生成的相应车辆的三维物体位置信息和路面倾斜信息，可以快速检测具有操作错误的异常传感器。
[0157]
应当注意的是，为了提高检测精度，最好通过使用为几秒钟获取的感测数据执行
检测处理。由于低于1hz的误差是由于车辆的振动引起的，因此检测周期最好等于或高于大约10hz。
[0158]
[rsu的配置]
[0159]
rsu 3例如安装在交通灯等中并且布置在道路的一侧。使用车辆到基础设施通信系统，可以在rsu 3和安装在车辆2上的设备之间执行通信，并且车辆2的驾驶员可以通过rsu 3获得交通信息、驾驶员辅助系统信息等。
[0160]
如图1中所示，rsu 3包括传感器30、数据获取单元31、物体位置信息生成单元32、通信单元34、判定单元35、基准时间发送单元36和存储单元37。
[0161]
传感器30是例如立体相机并且捕获作为周围信息的图像数据。
[0162]
数据获取单元31获取由传感器30获取的数据。
[0163]
通信单元34被配置为能够与作为信息处理装置的车辆2通信并且发送和接收各种类型的数据。
[0164]
使用由数据获取单元31获取的数据，物体位置信息生成单元32执行物体检测处理和距物体距离检测处理，并生成指示物体之间的位置关系的物体位置信息。
[0165]
例如，在图11中所示的示例中，由安装在rsu 3上的传感器(相机)获取的图像数据被处理以生成物体位置信息，该物体位置信息是三个车辆2a至2c之间的位置关系。应当注意的是，这个物体位置信息不包括关于路面的倾斜的信息。
[0166]
判定单元35判定是否开始用于传感器异常检测的感测数据获取。在这个实施例中，判定单元35判定是否存在生成要为了传感器异常检测处理而进行比较的三维物体位置信息和路面倾斜信息的三个或更多个车辆。在存在三个或更多个车辆的情况下，感测数据获取开始。在存在两个或更少车辆的情况下，不开始感测数据获取。
[0167]
在判定存在三个或更多个车辆之后，判定单元35经由通信单元34通知每个车辆2开始用于传感器异常检测的感测数据获取。
[0168]
而且，判定单元35通过使用从车辆2接收到的gps信息来判定车辆2是否定位在参考数据范围内。措辞“车辆定位在参考数据范围内”指示车辆存在于它们可以获取标记5的位置信息的位置，标记5的位置信息是由rsu 3预先获取的。
[0169]
在判定车辆存在于参考数据范围内之后，判定单元35经由通信单元34通知车辆2开始用于传感器异常检测的数据获取。
[0170]
基准时间发送单元36经由通信单元34向车辆2发送第一数据与第二数据进行比较时的数据同步基准时间。
[0171]
存储单元37存储rsu 3的通信区域中的路面的倾斜信息。而且，存储单元37预先获取两个标记5a和5b的位置信息。
[0172]
应当注意的是，虽然在这个实施例中时间戳是由位置测量单元(gps)获取的，但时间戳也可以由车辆到基础设施通信系统获取。
[0173]
[车辆控制示例]
[0174]
将参考图16描述控制示例。
[0175]
图16的(a)至(c)都是感测到相同路况的图。
[0176]
图16(a)示出了车辆2a至2c之间的正确位置关系。
[0177]
在图16(b)中，实线表示车辆2a至2c之间的位置关系，这是通过使用安装在车辆2a
上的相机的感测数据生成的。断线表示车辆之间的正确位置关系，这与图16(a)相同。
[0178]
在图16(c)中，实线表示通过使用安装在车辆2a上的相机的感测数据生成的车辆2a至2c之间的位置关系的另一个示例。断线表示车辆之间的正确位置关系，这与图16(a)相同。
[0179]
示出了安装在车辆2a上的传感器有异常而安装在车辆2b和2c上的传感器没有异常的示例。
[0180]
参考图16(b)，将描述与车辆控制相关联的校正数据的计算。
[0181]
运算单元26比较由相应车辆2生成的三维物体位置信息和路面倾斜信息，并且提取与其它数据不同并具有异常的数据(三维物体位置信息和路面倾斜信息)。
[0182]
由车辆2b和2c生成的车辆2a至2c之间的位置关系是如图16(a)中所示的正确位置关系，并且车辆之间三维物体位置信息和路面倾斜信息是一致的。
[0183]
在此，通过使用安装在车辆2a上的相机的感测数据生成并且被示为图16(b)的实线的关于车辆2a至2c之间的位置关系的数据作为具有异常的数据被提取。
[0184]
在被示为图16(b)的实线的车辆之间的位置关系中，与图16(a)中所示的正确位置关系相比，如从车辆2a查看的，车辆2b和2c位于更靠前的位置。在这种情况下，假设相机在俯仰方向上倾斜。
[0185]
接下来，将由车辆2a生成的连接车辆2a至2c的虚拟平面的倾斜与由车辆2b和2c生成的连接车辆2a至2c的虚拟平面的倾斜彼此进行比较，并基于其差异估计安装在车辆2a上的相机的倾斜。通过使用这个估计结果计算临时校正数据。然后，在用临时校正数据对数据进行校正时车辆2a至2c之间的位置关系与正确位置关系之间的误差变得较小时，采用这个校正数据。将如此计算出的校正数据发送到检测出传感器异常的车辆。可替代地，可以为车辆设置故障信息，用于执行传感器停止指令、驾驶模式切换指令等。
[0186]
对于毫米波传感器和lidar，也可以类似地计算校正数据。
[0187]
参考图16(c)，将描述其它车辆控制示例。
[0188]
运算单元26将由相应车辆2生成的三维物体位置信息和路面倾斜信息进行比较，并提取与其它数据不同的具有异常的数据(三维物体位置信息和路面倾斜信息)。
[0189]
由车辆2b和2c生成的车辆2a至2c之间的位置关系是如图16(a)中所示的正确位置关系。
[0190]
在此，通过使用安装在车辆2a上的相机的感测数据生成的被示为图16(c)的实线的关于车辆2a至2c之间的位置关系的数据作为具有异常的数据被提取。在此，假设由车辆2a生成的连接车辆2a至2c的虚拟平面的倾斜与由车辆2b和2c生成的连接车辆2a至2c的虚拟平面的倾斜基本上彼此一致，并且路面的倾斜没有问题，但车辆2b的位置信息有很大不同。
[0191]
在被示为图16(c)的实线的车辆之间的位置关系中，与图16(a)中所示的正确位置关系相比，如从车辆2a查看的车辆2b的位置误差大于车辆2c的位置误差。在这种情况下，假设定位在车辆左侧的相机的感测数据具有异常。在这种情况下，执行传感器控制以停止使用定位在左侧的相机。
[0192]
图18是描述在传感器在偏航方向上倾斜的情况下车辆之间的位置关系的图。
[0193]
图18的(a)和(b)都是感测到相同路况的示意图。
[0194]
图18(a)示出了车辆2a至2c之间的正确位置关系，这是基于rsu 3的传感器(相机)的感测数据生成的。
[0195]
图18(b)示出了车辆2a至2c之间的位置关系，这是基于其上安装有在偏航方向上倾斜的相机的车辆2a的感测数据生成的。
[0196]
连接车辆2a至2c而形成的平面被定义为虚拟平面9。
[0197]
在相机在偏航方向上倾斜的情况下，车辆2a估计的虚拟平面9在正确的位置关系中具有与虚拟平面9相同的倾斜。因此，通过将由车辆2a检测到的物体的位置信息与由rsu 3生成的数据进行比较来估计偏航方向上的旋转角度(倾斜)。在旋转角度等于或大于恒定值的情况下，认为是传感器的附接错误，并且可以将用于校正倾斜的校正数据发送到对应车辆或者可以将故障信息发送到用于执行传感器停止指令、驾驶模式切换指令等的车辆。
[0198]
这同样适用于毫米波传感器和lidar。
[0199]
在下文中，将描述异常检测系统1的异常检测方法的示例，但不限于此。
[0200]
(第一示例)
[0201]
在这个示例中，将通过例示rsu 3执行由相应车辆2获取的三维物体位置信息和路面倾斜信息(第一数据与第二数据之间的同步)的情况来参考图2和11给出描述。
[0202]
图2是描述第一示例中的异常检测方法的流程的图。在图2中，为了方便起见，示出了车辆2a和车辆2b这两个车辆并且省略了车辆2c，但是在车辆2c中也执行与车辆2b的流程相似的流程。
[0203]
在此，为了方便起见，将通过使用三个车辆即车辆2a至2c来给出描述，但是车辆的数量没有限制。随着车辆的数量变得更大，检测精度变得更高。而且，将示出其中车辆a执行异常检测处理的示例，但是其它车辆可以执行异常检测处理。而且，在图2中，通过示出其中车辆b具有异常的示例给出描述。
[0204]
当车辆2a至2c进入它们可以与rsu 3通信的区域时，车辆2a至2c中的每一个的数据获取单元23获取由安装的位置测量单元22获取的车辆2的gps信息(位置信息和时间戳)(s1)。
[0205]
所获取的车辆2a至2c中的每一个的包括时间戳的gps信息被发送到rsu 3。
[0206]
接下来，rsu 3的判定单元35判定是否开始用于传感器异常检测处理的数据获取(s2)。在此，判定单元35判定是否存在三个或更多个车辆。在判定存在三个或更多个车辆的情况下(是)，处理前进到s3。在判定存在两个或更少车辆的情况下(否)，处理返回到s1并重复处理。
[0207]
在s3中，判定单元35指示每个车辆2开始用于传感器异常检测处理的数据获取。
[0208]
当每个车辆2接收到数据获取开始指令时，每个车辆2的数据获取单元23从位置测量单元22获取带有时间戳的gps信息，并且还从传感器组20获取图像数据和反射波数据(s4)。对周边存在的物体的感测数据的获取被执行达预定时间，例如几秒钟。
[0209]
接下来，每个车辆2的三维物体位置信息生成单元24通过使用由数据获取单元23获取的数据生成三维物体位置信息和路面倾斜信息(s5)。从位置测量单元22获得的gps时间(时间戳)被应用于三维物体位置信息和路面倾斜信息。
[0210]
接下来，将由每个车辆2生成的三维物体位置信息和路面倾斜信息发送到执行传感器异常检测的车辆2，在此是车辆2a(s6)。在此，由执行传感器异常检测处理的车辆2a获
取的三维物体位置信息和路面倾斜信息被定义为第一数据。由车辆2a以外的车辆，在此是车辆2b和2c，获取的三维物体位置信息和路面倾斜信息被定义为第二数据。
[0211]
接下来，车辆2a的运算单元26的第一数据获取单元261获取由车辆2a获取的第一数据。第二数据获取单元262获取由车辆2b和2c中的每一个获取的第二数据。
[0212]
接下来，rsu 3向执行传感器异常检测的车辆2a发送在数据匹配处理时用于数据同步的基准时间数据(s7)。
[0213]
接下来，处理开始判定单元263通过使用时间戳和应用于第一数据和第二数据的基准时间数据来确定是否存在三个或更多个车辆并且还判定是否在基准时间内(s8)。
[0214]
在判定为存在三个或更多个车辆2并且判定在基准时间内的情况下(是)，处理前进到s9。
[0215]
在判定满足存在两个或更少车辆2的条件或在基准时间之外的条件中的至少一个的情况下(否)，处理返回到s6并重复处理。
[0216]
在s9中，比较单元264将获取的第一数据与获取的第二数据进行比较(数据匹配处理)。
[0217]
在检测单元265基于比较单元264中的比较结果判定存在异常数据的情况下(是)，处理前进到s11。在判定不存在异常数据的情况下(否)，传感器异常检测处理结束。措辞“存在异常数据”意指存在传感器从正确位置倾斜。
[0218]
在s11中，检测单元265基于检测结果执行异常通知处理。
[0219]
在异常通知处理中，向其上安装有被判定为存在异常数据的传感器的车辆通知传感器异常的发生(传感器异常通知)，并生成用于指示车辆控制的异常通知信息。异常通知信息被发送到rsu 3。
[0220]
基于接收到的异常通知信息，rsu 3识别其上安装有被判定为存在异常数据的传感器的车辆(s12)。rsu 3对识别出的车辆(在此为车辆2b)执行传感器异常通知并发送关于车辆控制指令(诸如传感器停止指令)的信息。
[0221]
已接收到通知的车辆2的控制单元25基于该指令执行车辆控制(s13)。
[0222]
应当注意的是，在第一示例中，rsu 3只需要至少包括通信单元34、判定单元35和基准时间发送单元36。
[0223]
而且，在这个示例中，已经示出了基于分别安装的传感器等获取的检测结果在车辆之间直接发送/接收三维物体位置信息和路面倾斜信息的示例，该发送/接收例如可以经由rsu来执行。
[0224]
(第二示例)
[0225]
在上面提到的第一示例中，示出了其中将由车辆2a生成的异常通知信息经由rsu发送到其它车辆的示例。但是，异常通知信息可以通过车辆到车辆通信直接发送到包括异常传感器的车辆而无需rsu的干预。在第二示例中，将示出其中通过车辆到车辆通信发送异常通知信息的示例。
[0226]
此外，在第二示例中，将示出其中除了由车辆2生成的三维物体位置信息和路面倾斜信息之外，还使用通过使用rsu 3的传感器30的感测数据生成的物体位置信息和预先在rsu 3中获得的路面倾斜信息的示例。
[0227]
在下文中，将参考图3和图11给出描述。
[0228]
图3是描述第二示例中的异常检测的流程的图。在图3中，为了方便起见，示出了车辆2a和车辆2b这两个车辆并且省略了车辆2c，但是在车辆2c中也执行与车辆2b的流程相似的流程。
[0229]
在此，为了方便起见，将通过使用三个车辆即车辆2a至2c来给出描述，但是车辆的数量没有限制。而且，将示出其中车辆a执行异常检测处理的示例，但是其它车辆可以执行异常检测处理。而且，在图3中，通过示出其中车辆2b具有异常的示例给出描述。
[0230]
当车辆2a至2c进入它们可以与rsu 3通信的区域时，车辆2a至2c中的每一个的数据获取单元23获取由安装的位置测量单元22获取的车辆2的gps信息(位置信息和时间戳)和分别应用于车辆的车辆id(s21)。
[0231]
所获取的包括时间戳的gps信息和所获取的车辆2a至2c中的每一个的车辆id被发送到rsu 3。
[0232]
接下来，rsu 3的判定单元35判定是否开始用于传感器异常检测处理的数据获取(s22)。在此，判定单元35判定是否存在三个或更多个车辆。在判定存在三个或更多个车辆的情况下(是)，处理前进到s23。在判定存在两个或更少车辆的情况下(否)，处理返回到s21并重复处理。
[0233]
在s23中，判定单元35判定(s23)车辆id对，在稍后描述的数据匹配处理(s29)中要在它们之间比较数据。传感器异常检测处理通过使用由所判定的车辆id对中的相应车辆生成的三维物体位置信息和路面倾斜信息来执行。
[0234]
关于所判定的车辆id对的信息被发送到作为执行异常检测处理的信息处理装置的车辆2a。
[0235]
当车辆2a从rsu 3接收到关于该车辆id对的信息时，指令单元266指示属于该对的车辆2和rsu 3中的每一个开始用于传感器异常检测的感测数据获取(s24)。
[0236]
当每个车辆2接收到数据获取开始指令时，每个车辆2的数据获取单元23从位置测量单元22获取带有时间戳的gps信息，并且还从传感器组20获取图像数据和反射波数据(s25)。
[0237]
当rsu 3接收到感测数据获取开始指令时，数据获取单元31从传感器30获取带有时间戳的图像数据(s25)。
[0238]
周边存在的物体的感测数据的获取被执行预定时间，例如几秒钟。
[0239]
接下来，在每个车辆2中，三维物体位置信息生成单元24通过使用由数据获取单元23获取的感测数据生成三维物体位置信息和路面倾斜信息(s26)。时间戳被应用于三维物体位置信息和路面倾斜信息。
[0240]
在rsu 3中，物体位置信息生成单元32通过使用由数据获取单元31获取的数据生成物体位置信息(s26)。时间戳被应用于物体位置信息。
[0241]
接下来，将由相应车辆2生成的三维物体位置信息和路面倾斜信息被发送到执行传感器异常检测的车辆2，此处是车辆2a(s27)。时间戳被应用于三维物体位置信息和路面倾斜信息。
[0242]
此外，由rsu 3生成的物体位置信息和存储在rsu 3的存储单元37中的路面倾斜信息被发送到车辆2a(s27)。时间戳被应用于物体位置信息。
[0243]
在此，由车辆2a获取的三维物体位置信息和路面倾斜信息被定义为第一数据。由
车辆2a以外的车辆2b和2c获取的三维物体位置信息和路面倾斜信息被定义为第二数据。由rsu 3获取的物体位置信息和路面倾斜信息被定义为第二数据。
[0244]
接下来，车辆2a的运算单元26的第一数据获取单元261获取第一数据。第二数据获取单元262获取由车辆2b和2c中的每一个获取的第二数据以及由rsu 3获取的第二数据。
[0245]
接下来，处理开始判定单元263判定是否存在三个或更多个车辆(s28)。在判定存在三个或更多个车辆的情况下(是)，处理前进到s29。在判定存在两个或更少车辆的情况下(否)，处理返回到s27并重复处理。
[0246]
在s29中，比较单元264将获取的第一数据与获取的第二数据进行比较(数据匹配处理)。
[0247]
接下来，检测单元265基于比较单元264中的比较结果判定异常数据的存在/不存在(s30)。
[0248]
在s30中判定存在异常数据的情况下(是)，处理前进到s31。在判定不存在异常数据的情况下(否)，传感器异常检测处理结束。
[0249]
在检测单元265基于比较单元264中的比较结果判定存在异常数据的情况下(是)，处理前进到s31。在判定不存在异常数据的情况下(否)，传感器异常检测处理结束。
[0250]
在s31中，检测单元265基于检测结果执行异常通知处理。
[0251]
在异常通知处理中，向其上安装有被判定为存在异常数据的传感器的车辆通知传感器异常的发生(传感器异常通知)，并指示车辆控制。在这个示例中，检测单元265对其上安装有被判定为存在异常的传感器的车辆2b执行传感器异常通知，并且通过车辆到车辆通信向其发送关于车辆控制指令的信息。
[0252]
已接收到通知的车辆2b的控制单元25基于指令控制车辆(s32)。
[0253]
应当注意的是，在rsu 3获取的数据为地面实况的情况下，由rsu 3获取的三维物体位置信息可以是主数据，即，参考数据(正确参考数据)。而且，预先由rsu 3获得的路面倾斜信息是参考数据(正确参考数据)。
[0254]
通过基于时间戳将rsu 3的参考数据与由车辆2获取的数据进行比较，可以检测安装在车辆2上的传感器的异常。而且，可以基于数据之间的差异来计算校正数据。
[0255]
(第三示例)
[0256]
在这个示例中，只有一个车辆通过使用从rsu 3接收到的参考数据来执行异常检测处理。参考数据是标记5a和5b的位置信息。
[0257]
在下文中，将参考图4和图17给出描述。
[0258]
图4是描述第三示例中的异常检测流程的图。
[0259]
图17是示出一个车辆2在其中安装了rsu 3的道路7上行驶的情况的示意图。其位置已知且固定的两个标记5布置在rsu 3附近。标记5布置在车辆2容易检测到标记5的位置并且定位在rsu 3的通信区域内。
[0260]
在下文中，将遵循图4的流程给出描述。
[0261]
如图4中所示，当车辆2a进入它可以与rsu 3通信的区域时，车辆2的数据获取单元23获取由安装的位置测量单元22获取的车辆2的gps信息(位置信息和时间戳)(s41)。
[0262]
所获取的包括时间戳的gps信息被发送到rsu 3。
[0263]
接下来，rsu 3的判定单元35判定车辆2是否在参考数据范围内(s42)。在判定车辆
2不在范围内的情况下(否)，处理返回到s41。在判定车辆2在范围内的情况下(是)，处理前进到s43。
[0264]
在s43中，判定单元35指示车辆2a开始用于传感器异常检测处理的数据获取。
[0265]
当车辆2a从rsu 3接收到数据获取开始指令时，数据获取单元23获取与作为周围基准标记的标记5相关的图像数据和反射波数据，这些数据由传感器组20获取(s44)。周边存在的物体的感测数据的获取被执行预定时间，例如几秒钟。
[0266]
接下来，在车辆2中，三维物体位置信息生成单元24通过使用由数据获取单元23获取的数据生成三维物体位置信息(s45)。
[0267]
当完成三维物体位置信息的生成时，向rsu 3发送感测完成通知(s46)。
[0268]
当rsu 3接收到感测完成通知时，rsu 3向车辆2a发送由rsu3预先获得的标记5的位置信息(参考数据)(s47)。
[0269]
接下来，车辆2a的运算单元26的第一数据获取单元261获取与作为由车辆2a获取的第一数据的标记5相关的三维物体位置信息。第二数据获取单元262获取作为由rsu 3预先获得的第二数据的标记5的位置信息(参考数据)。
[0270]
接下来，比较单元264将第一数据与第二数据进行比较并计算误差。
[0271]
接下来，检测单元265判定基于比较单元264中的比较结果计算出的误差是否在允许范围之外。在检测单元265判定误差在允许范围之外的情况下(是)，处理前进到s49，认为传感器具有异常。在判定误差在允许范围内的情况下(否)，传感器异常检测处理结束，认为传感器没有异常。
[0272]
在s49中，控制单元25将传感器异常通知给车辆2的驾驶员并指示车辆控制。
[0273]
而且在下面的第二和第三实施例中，与在第一实施例中一样，可以通过将第一数据与第二数据进行比较来快速检测异常传感器。在下文中，将参考附图给出描述。在此，将主要描述与上面提到的实施例不同的点，并且与上面提到的实施例相似的配置将由相同的附图标记表示并且在一些情况下将省略描述。
[0274]
《第二实施例》
[0275]
[异常检测系统的示意性配置]
[0276]
将参考图5描述根据本技术的实施例的异常检测系统。
[0277]
在这个实施例中，将示出其中运算单元26是车辆以外的服务器4的示例。图5是根据第二实施例的异常检测系统101的示意性配置图。
[0278]
如图5中所示，异常检测系统101包括一个或多个车辆2、rsu3和作为信息处理装置的服务器4。而且，在这个实施例的异常检测系统101中，假设在例如图11中所示的环境下的使用与第一实施例中相同。
[0279]
[车辆的配置]
[0280]
如图5中所示，车辆2包括传感器组20、专用通信i/f 21、位置测量单元22、数据获取单元23、三维物体位置信息生成单元24、控制单元25、通用通信i/f 27和存储单元28。
[0281]
专用通信i/f 21能够在车辆2和rsu 3之间发送和接收数据。
[0282]
例如，车辆2向rsu 3发送由位置测量单元22获取的包括时间戳的gps信息。
[0283]
车辆2从rsu 3接收数据获取开始处理指令。
[0284]
车辆2从rsu 3接收异常通知信息。
[0285]
控制单元25根据各种程序控制车辆2。
[0286]
控制单元25可以通过基于获取的车辆2的周围环境信息控制车辆的驱动力生成设备(未示出)、转向机构(未示出)、制动机构(未示出)等来执行旨在在没有驾驶员的操作的情况下执行自动驾驶的自主驾驶的协同控制。
[0287]
而且，控制单元25基于由服务器4的运算单元26的检测单元265处理的异常通知信息来执行传感器异常通知并控制车辆。
[0288]
通用通信i/f 27是作为存在于外部环境中的各种设备之间的通信的中介的通用通信i/f。通用通信i/f 27可以实现诸如gsm(注册商标)(全球移动通信系统)、wimax(注册商标)、lte(注册商标)(长期演进)和lte-a(lte-advanced)之类的蜂窝通信协议，或无线lan(也称为wi-fi(注册商标))，诸如蓝牙(注册商标)之类的另一种无线通信协议。例如，通用通信i/f 27可以经由基站或接入点连接到存在于外部网络(例如，互联网、云网络或特定于公司的网络)中的设备(例如，应用服务器或控制服务器)。而且，通用通信i/f 27可以例如通过对等(p2p)技术连接到存在于车辆附近的终端(例如，驾驶员的、行人的或商店的终端，或者机器类型通信(mtc)终端)。
[0289]
通用通信i/f 27在车辆2和服务器4之间执行数据发送/接收。
[0290]
例如，车辆2向服务器4发送三维物体位置信息和路面倾斜信息。
[0291]
车辆2从服务器4接收数据获取开始指令。
[0292]
车辆2从服务器4接收异常通知信息。
[0293]
[服务器的配置]
[0294]
服务器4包括通信单元41和运算单元26。
[0295]
经由通信单元41在服务器4和车辆2或rsu 3之间执行数据发送/接收。
[0296]
服务器4从rsu 3接收在数据匹配处理时用于数据同步的基准时间数据。
[0297]
服务器4从rsu 3接收关于在数据匹配处理时使用的车辆的车辆id对的信息。
[0298]
服务器4向车辆2和rsu 3发送数据获取开始指令。
[0299]
服务器4从车辆2和rsu 3接收三维物体位置信息和路面倾斜信息。
[0300]
服务器4向rsu 3发送由运算单元26执行的传感器异常通知信息。
[0301]
运算单元26根据存储在存储单元28中的用于执行与传感器异常检测相关联的一系列处理的程序来检测传感器异常。包括运算单元26的服务器4是执行传感器异常检测处理的信息处理装置。
[0302]
运算单元26包括第一数据获取单元261、第二数据获取单元262、处理开始判定单元263、比较单元264、检测单元265和指令单元266。
[0303]
第一数据获取单元261获取第一数据。
[0304]
第一数据包括基于由安装在任意车辆上的传感器获取的感测数据生成的三维物体位置信息和路面倾斜信息，以及指示获取那个信息的日期和时间的时间戳。
[0305]
第二数据获取单元262获取第二数据。
[0306]
第二数据包括从所述任意车辆以外的车辆获取的数据或从rsu 3获取的数据中的至少一个。
[0307]
从所述任意车辆以外的车辆获取的第二数据包括基于由安装在车辆上的传感器获取的感测数据生成的三维物体位置信息和路面倾斜信息，以及指示获取那个信息的日期
和时间的时间戳。
[0308]
从rsu 3获取的第二数据包括基于由安装在rsu 3上的传感器获取的感测数据生成的物体位置信息、预存储在rsu 3中的路面倾斜信息，以及指示获取物体位置信息的日期和时间的时间戳。
[0309]
[rsu的配置]
[0310]
如图5中所示，rsu 3包括传感器30、数据获取单元31、物体位置信息生成单元32、通信单元34、判定单元35、基准时间发送单元36和存储单元37。
[0311]
在下文中，将描述异常检测系统101的异常检测方法，但不限于此。
[0312]
(第四示例)
[0313]
在这个示例中，将参考图6、7和11通过例示rsu 3执行由每个车辆2获取的三维物体位置信息和路面倾斜信息的同步(第一数据与第二数据之间的同步)的情况进行描述。
[0314]
图6是描述第四示例中的异常检测方法的流程的图。图7是图6之后的流程图。在图6和7中，为了方便起见，示出了车辆2a和车辆2b这两个车辆并且省略了车辆2c，但是在车辆2c中也执行与车辆2b的流程相似的流程。
[0315]
在此，为了方便起见，将通过使用三个车辆，车辆2a至2c，给出描述，但是车辆的数量没有限制。而且，将示出其中车辆a执行异常检测处理的示例，但是其它车辆可以执行异常检测处理。而且，在图2中，通过示出其中车辆b具有异常的示例给出描述。
[0316]
当车辆2a至2c进入它们可以与rsu 3通信的区域时，车辆2a至2c中的每一个的数据获取单元23获取由安装的位置测量单元22获取的车辆2的gps信息(位置信息和时间戳)(s51)。
[0317]
所获取的车辆2a至2c中的每一个的包括时间戳的gps信息被发送到rsu 3。
[0318]
接下来，rsu 3的判定单元35确定是否开始用于传感器异常检测处理的数据获取(s52)。在此，判定单元35确定是否存在三个或更多个车辆。在确定存在三个或更多个车辆的情况下(是)，处理前进到s53。在确定存在两个或更少车辆的情况下(否)，处理返回到s51并重复处理。
[0319]
在s53中，判定单元35指示每个车辆2开始用于传感器异常检测处理的数据获取。
[0320]
当每个车辆2接收到数据获取开始指令时，每个车辆2的数据获取单元23从位置测量单元22获取带有时间戳的gps信息，并且还从传感器组20获取图像数据和反射波数据(s54)。周边存在的物体的感测数据的获取被执行预定时间，例如几秒钟。
[0321]
接下来，每个车辆2的三维物体位置信息生成单元24通过使用由数据获取单元23获取的数据生成三维物体位置信息和路面倾斜信息(s55)。从位置测量单元22获得的gps时间(时间戳)被应用于三维物体位置信息和路面倾斜信息。
[0322]
接下来，将由相应车辆2生成的三维物体位置信息和路面倾斜信息发送到服务器4(s56)。在此，由车辆2a获取的三维物体位置信息和路面倾斜信息被定义为第一数据。由车辆2a以外的车辆，在此是车辆2b和2c，获取的三维物体位置信息和路面倾斜信息被定义为第二数据。
[0323]
接下来，车辆2a的运算单元26的第一数据获取单元261获取由车辆2a获取的第一数据。第二数据获取单元262获取由车辆2b和2c中的每一个获取的第二数据。
[0324]
接下来，rsu 3将在数据匹配处理时用于数据同步的基准时间数据发送到服务器4
(s57)。
[0325]
接下来，处理开始判定单元263通过使用应用于三维物体位置信息和路面倾斜信息的时间戳和基准时间数据来判定是否存在三个或更多个车辆并且还判定是否在基准时间内(s58)。
[0326]
在判定存在三个或更多个车辆2并且判定在基准时间内的情况下(是)，处理前进到s59。
[0327]
在判定满足存在两个或更少车辆2的条件或在基准时间之外的条件中的至少一个的情况下(否)，处理返回到s56并重复处理。
[0328]
在s59中，比较单元264将获取的第一数据与获取的第二数据进行比较(数据匹配处理)。
[0329]
接下来，检测单元265基于比较单元264中的比较结果判定异常数据的存在/不存在(s60)。
[0330]
在s60中判定存在异常数据的情况下(是)，处理前进到s61。在判定不存在异常数据的情况下(否)，传感器异常检测处理结束。措辞“存在异常数据”的意思是存在传感器从正确的位置倾斜。
[0331]
在s61中，检测单元265基于检测结果执行异常通知处理。
[0332]
在异常通知处理中，向其上安装有被判定为存在异常数据的传感器的车辆通知传感器异常的发生(传感器异常通知)，并指示车辆控制。这种异常通知信息被发送到rsu 3。
[0333]
基于接收到的信息，rsu 3判定其上安装有被判定为存在异常数据的传感器的车辆(s62)。rsu 3对识别出的车辆(在此为车辆2b)执行传感器异常通知并向其发送关于车辆控制指令的信息。
[0334]
已接收到通知的车辆2的控制单元25基于指令来控制车辆(s63)。
[0335]
应当注意的是，在第四示例中，rsu 3只需要至少包括通信单元34、判定单元35和基准时间发送单元36。
[0336]
(第五示例)
[0337]
在上面提到的第四示例中，已经示出了其中由服务器4处理的异常通知信息经由rsu 3发送到车辆2的示例。但是，由服务器4处理的异常通知信息可以通过车辆到车辆通信直接发送到包括异常传感器的车辆，而无需服务器4的干预。在第五示例中，将示出其中通过车辆到车辆通信发送异常通知信息的示例。
[0338]
此外，在第五示例中，将示出其中除了由车辆2生成的三维物体位置信息和路面倾斜信息之外，还使用其中通过使用rsu 3的传感器30的感测数据生成的物体位置信息和由rsu 3预先获得的路面倾斜信息的示例。
[0339]
在下文中，将参考图8、9和11给出描述。
[0340]
图8是描述第五示例中的异常检测的流程的图，并且图9是图8之后的流程图。在图8和9中，为了方便起见，示出了车辆2a和车辆2b这两个车辆并且省略了车辆2c，但是在车辆2c中也执行与车辆2b的流程相似的流程。
[0341]
在此，为了方便起见，将通过使用三个车辆即车辆2a至2c来给出描述，但是车辆的数量没有限制。而且，将示出其中车辆a执行异常检测处理的示例，但是其它车辆可以执行异常检测处理。而且，在图8和9中，通过示出其中车辆b具有异常的示例给出描述。
[0342]
当车辆2a至2c进入它们可以与rsu 3通信的区域时，车辆2a至2c中的每一个的数据获取单元23获取由安装的位置测量单元22获取的车辆2的gps信息(位置信息和时间戳)和分别应用于车辆的车辆id(s71)。
[0343]
所获取的包括时间戳的gps信息和所获取的车辆2a至2c中的每一个的车辆id被发送到rsu 3。
[0344]
接下来，rsu 3的判定单元35判定是否开始用于传感器异常检测处理的数据获取(s72)。在此，判定单元35判定是否存在三个或更多个车辆。在判定存在三个或更多个车辆的情况下(是)，处理前进到s73。在判定存在两个或更少车辆的情况下(否)，处理返回到s71并重复处理。
[0345]
在s73中，判定单元35判定(s73)用于在稍后描述的数据匹配处理(s79)中相互比较数据的车辆id对。传感器异常检测处理通过使用由所判定的对中的相应车辆生成的三维物体信息集来执行。
[0346]
关于所判定的车辆id对的信息被发送到服务器4。
[0347]
当服务器4从rsu 3接收到关于该车辆id对的信息时，指令单元266指示属于那对的车辆2和rsu 3中的每一个开始用于传感器异常检测的感测数据获取(s74)。
[0348]
当每个车辆2接收到数据获取开始指令时，每个车辆2的数据获取单元23从位置测量单元22获取带有时间戳的gps信息，并且还从传感器组20中获取图像数据和反射波数据(s75)。
[0349]
当rsu 3接收到感测数据获取开始指令时，数据获取单元31从传感器30获取带有时间戳的图像数据(s75)。
[0350]
周边存在的物体的感测数据的获取被执行预定时间，例如几秒钟。
[0351]
接下来，在每个车辆2中，三维物体位置信息生成单元24通过使用由数据获取单元23获取的感测数据生成三维物体位置信息和路面倾斜信息(s76)。时间戳被应用于三维物体位置信息和路面倾斜信息。
[0352]
而且在rsu 3中，物体位置信息生成单元32通过使用由数据获取单元31获取的数据来生成物体位置信息(s76)。时间戳被应用于物体位置信息。
[0353]
接下来，将由相应车辆2生成的三维物体位置信息和路面倾斜信息发送到服务器4(s77)。时间戳被应用于三维物体位置信息和路面倾斜信息。
[0354]
此外，由rsu 3生成的物体位置信息和rsu 3的存储单元37中存储的路面倾斜信息被发送到服务器4(s77)。时间戳被应用于物体位置信息。
[0355]
在此，由任意车辆，在此是车辆2a，获取的三维物体位置信息和路面倾斜信息被定义为第一数据。由车辆2a以外的车辆2b、2c获取的三维物体位置信息和路面倾斜信息被定义为第二数据。由rsu 3获取的物体位置信息和路面倾斜信息被定义为第二数据。
[0356]
接下来，运算单元26的第一数据获取单元261获取由车辆2a获取的第一数据。第二数据获取单元262获取由车辆2b和2c中的每一个获取的第二数据以及由rsu 3获取的第二数据。
[0357]
接下来，处理开始判定单元263判定是否存在三个或更多个车辆(s78)。在判定存在三个或更多个车辆的情况下(是)，处理前进到s79。在判定存在两个或更少车辆的情况下(否)，处理返回到s77并重复处理。
[0358]
在s79中，比较单元264将获取的第一数据与获取的第二数据进行比较(数据匹配处理)。
[0359]
检测单元265基于比较单元264中的比较结果判定异常数据的存在/不存在(s80)。
[0360]
在s80中判定存在异常数据的情况下(是)，处理前进到s81。在判定不存在异常数据的情况下(否)，传感器异常检测处理结束。
[0361]
在s81中，检测单元265基于检测结果执行异常通知处理。
[0362]
在异常通知处理中，向其上安装有被判定为存在异常数据的传感器的车辆通知传感器异常的发生(传感器异常通知)，并指示车辆控制。在这个示例中，检测单元265对其上安装有被判定为存在异常的传感器的车辆2b执行传感器异常通知，并且向其发送关于车辆控制指令的信息。
[0363]
已接收到通知的车辆2b的控制单元25基于指令来控制车辆(s82)。
[0364]
《第三实施例》
[0365]
在上面提到的实施例中，已经通过例示运算单元位于车辆或服务器中的情况给出了描述。但是，运算单元26可以位于rsu 3中，如图10中所示的第三实施例中那样，并且下面将对其进行描述。
[0366]
如图10中所示，根据这个实施例的异常检测系统121包括作为信息处理装置的一个或多个车辆2和rsu 3。
[0367]
rsu 3包括传感器30、数据获取单元31、物体位置信息生成单元32、通信单元34、判定单元35、基准时间发送单元36、存储单元37和运算单元26。
[0368]
车辆2包括传感器组20、专用通信i/f 21、位置测量单元22、数据获取单元23、三维物体位置信息生成单元24和控制单元25。
[0369]
如上所述，在本技术中，由于共享感测数据，因此可以快速检测传感器异常，并且可以提高车辆驾驶的安全性。
[0370]
本技术的实施例不限于上面提到的实施例，并且可以在不脱离本技术的主旨的情况下进行各种修改。
[0371]
例如，在上面提到的实施例中，已经示出了其中安装在车辆上的相机是立体相机的示例，但不限于此。例如，安装在车辆上的相机可以是单目相机、rgb相机或tof相机。例如，在使用单目相机的情况下，本技术也可以在通过使用基于单目相机的感测数据生成的二维物体位置信息执行检测的情况下应用。应当注意的是，如上面提到的实施方式中那样，通过将三维物体位置信息用作位置信息，可以通过执行传感器异常检测来执行高度准确的检测。
[0372]
而且，例如，在上面提到的实施例中，已经通过例示相机、毫米波雷达和lidar作为传感器给出了描述，但是本技术可以在使用那些传感器中的至少一个的情况下应用。
[0373]
而且，在使用多个传感器的情况下，可以使用集成从多个传感器中的每一个获得的传感器数据的融合数据，该融合数据是通过称为传感器融合的技术生成的。因而，可以执行高度准确的物体识别。
[0374]
作为集成的传感器数据，可以使用在每个单独的传感器处本地预处理的数据，称为处理数据，或者可以使用在每个单独的传感器处未经过本地预处理的数据，称为未加工数据(未处理的数据，原始数据)。
[0375]
在使用处理数据的情况下，处理数据在本地被预处理，并省略包括噪声等的不必要信息。因此，强加于后期处理的负担轻并且可以以相对高的速度执行处理。
[0376]
另一方面，与使用处理数据的情况相比，在使用未加工始数据的情况下，未加工数据具有大量信息，因为从未在本地对其进行预处理，并且可以生成具有大量信息的融合数据。
[0377]
而且，多个传感器中的任何一个可以正在处理数据并且可以通过将未加工数据用于另一个传感器而生成融合数据。
[0378]
而且，例如，在上面提到的实施例中，示出了其中检测安装在车辆上的传感器的异常的示例，但是也有可能检测安装在rsu 3上的传感器的异常。
[0379]
通过将物体位置信息与三维物体位置信息进行比较可以检测安装在rsu 3上的传感器的异常，物体位置信息通过使用安装在rsu 3上的传感器的感测数据生成，三维物体位置信息通过使用安装在车辆2上的传感器的感测数据生成。
[0380]
当rsu 3本身、安装rsu 3的交通灯等由于诸如地震、大风、诡计等地壳变动而倾斜时，安装在rsu 3上的传感器有时会由于倾斜而倾斜。
[0381]
而且，在上面提到的实施例中，例如，已经示出了其中车辆2a至2c之间相对于rsu 3的位置关系是通过安装在rsu 3上的传感器(相机)30的图像数据的图像处理来获取的示例，但不限于此。例如，可以以取决于路面状况的方式从车辆2a至2c中的每一个的gps信息获取位置关系。而且，rsu 3和车辆2之间的位置关系可以通过使用车辆到基础设施通信系统来获取。
[0382]
应当注意的是，本技术还可以采用以下配置。
[0383]
(1)一种信息处理装置，包括:
[0384]
第一数据获取单元，其获取第一数据，该第一数据包括通过使用安装在车辆上的一个或多个传感器的感测数据生成的存在于车辆周围环境中的物体的位置信息和路面倾斜信息中的至少一个信息以及指示获取该信息的日期和时间的时间戳；
[0385]
第二数据获取单元，其获取第二数据，该第二数据包括通过使用车辆的传感器以外的一个或多个传感器的感测数据生成的存在于车辆周围环境中的物体的位置信息和路面倾斜信息中的至少一个信息以及指示获取该信息的日期和时间的时间戳；
[0386]
比较单元，其基于第一数据和第二数据中的每一个中包括的时间戳，将第一数据与第二数据进行比较；以及
[0387]
检测单元，其基于比较单元的比较结果，检测与安装在车辆上的传感器相关的异常。
[0388]
(2)根据(1)所述的信息处理装置，其中
[0389]
位置信息是三维位置信息。
[0390]
(3)根据(1)或(2)所述的信息处理装置，其中
[0391]
时间戳由全球导航卫星系统(gnss)或车辆到基础设施通信系统获取。
[0392]
(4)根据(1)至(3)中的任一项所述的信息处理装置，其中
[0393]
传感器是相机、毫米波雷达或光检测和测距(lidar)中的至少一种。
[0394]
(5)根据(1)至(4)中的任一项所述的信息处理装置，其中
[0395]
第二数据获取单元基于与车辆不同的其它车辆或路边单元中的至少一个来获取
第二数据。
[0396]
(6)根据(5)所述的信息处理装置，其中
[0397]
第二数据获取单元从路边单元获取关于车辆所位于的路面的倾斜的信息作为第二数据，该信息是由路边单元预先获取的。
[0398]
(7)根据(5)或(6)所述的信息处理装置，其中
[0399]
第二数据获取单元获取通过使用安装在路边单元上的传感器的感测数据生成的物体的位置信息作为第二数据，以及
[0400]
比较单元通过使用从路边单元获取的第二数据作为主数据，将第一数据与第二数据进行比较。
[0401]
(8)根据(1)至(7)中的任一项所述的信息处理装置，其中
[0402]
比较单元将第一数据与第二数据进行比较，其中每个数据都被获取达预定时间。
[0403]
(9)根据(1)至(8)中的任一项所述的信息处理装置，其中
[0404]
存在于车辆周围环境中的物体是位置已知且固定的标记。
[0405]
(10)根据(1)至(9)中的任一项所述的信息处理装置，其中
[0406]
第二数据获取单元从预先获取标记的位置信息的路边单元获取标记的位置信息作为第二数据。
[0407]
(11)根据(1)至(10)中的任一项所述的信息处理装置，其中
[0408]
存在于车辆周围环境中的物体的位置信息通过检测物体的特征量来生成。
[0409]
(12)根据(1)至(11)中的任一项所述的信息处理装置，其中
[0410]
检测单元检测传感器从正确位置倾斜的异常。
[0411]
(13)根据(1)至(10)中的任一项所述的信息处理装置，其中
[0412]
检测单元基于检测的结果来控制车辆。
[0413]
(14)根据(13)所述的信息处理装置，其中
[0414]
检测单元基于检测的结果来控制车辆校正传感器从正确位置的倾斜。
[0415]
(15)根据(13)所述的信息处理装置，其中
[0416]
检测单元基于检测的结果来控制传感器的使用/不使用。
[0417]
(16)根据(13)所述的信息处理装置，其中
[0418]
检测单元基于检测的结果来执行传感器异常发生通知、车辆的紧急停止、车辆的驾驶模式的切换和车辆的驾驶模式的切换通知中的至少一项的控制。
[0419]
(17)一种信息处理方法，包括：
[0420]
获取第一数据，该第一数据包括通过使用安装在车辆上的一个或多个传感器的感测数据生成的存在于车辆周围环境中的物体的位置信息和路面倾斜信息中的至少一个信息以及指示获取该信息的日期和时间的时间戳；
[0421]
获取第二数据，该第二数据包括通过使用车辆的传感器以外的一个或多个传感器的感测数据生成的存在于车辆周围环境中的物体的位置信息和路面倾斜信息中的至少一个信息以及指示获取该信息的日期和时间的时间戳；
[0422]
基于第一数据和第二数据中的每一个中包括的时间戳，将第一数据与第二数据进行比较；以及
[0423]
基于比较结果，检测与安装在车辆上的传感器相关的异常。
[0424]
(18)一种使信息处理装置执行处理的程序，包括以下步骤：
[0425]
获取第一数据，该第一数据包括通过使用安装在车辆上的一个或多个传感器的感测数据生成的存在于车辆周围环境中的物体的位置信息和路面倾斜信息中的至少一个信息以及指示获取该信息的日期和时间的时间戳；
[0426]
获取第二数据，该第二数据包括通过使用车辆的传感器以外的一个或多个传感器的感测数据生成的存在于车辆周围环境中的物体的位置信息和路面倾斜信息中的至少一个信息以及指示获取该信息的日期和时间的时间戳；
[0427]
基于第一数据和第二数据中的每一个中包括的时间戳，将第一数据与第二数据进行比较；以及
[0428]
基于比较结果，检测与安装在车辆上的传感器相关的异常。
[0429]
附图标记列表
[0430]2ꢀꢀꢀꢀꢀ
车辆(信息处理装置)
[0431]3ꢀꢀꢀꢀꢀ
rsu(信息处理装置)
[0432]4ꢀꢀꢀꢀꢀ
服务器(信息处理装置)
[0433]
261
ꢀꢀꢀ
第一数据获取单元
[0434]
262
ꢀꢀꢀ
第二数据获取单元
[0435]
254
ꢀꢀꢀ
比较单元
[0436]
265
ꢀꢀꢀ
检测单元