车载的异常检测装置的制作方法

车载的异常检测装置
1.相关申请的交叉引用
2.本国际申请主张基于在2019年10月16日向日本专利厅申请的日本专利申请第2019-189634号和在2020年9月30日向日本专利厅申请的日本专利申请第2020-166005号的优先权，并通过参照将日本专利申请第2019-189634号和日本专利申请第2020-166005号的全部内容引用至本国际申请。
技术领域
3.本公开涉及检测在用于检测车辆的周围的物体的光传感器和相机中的某个中发生了异常的技术。


背景技术：

4.已知有检测在用于检测车辆的周围的物体的光传感器和相机中的某个中发生了异常的技术。例如，在下述的专利文献1中记载有基于从自光传感器的发光部照射光束起到由受光部的多个受光元件接受由对象物反射的反射光为止的时间来测定到对象物的距离的技术。受光部基于按照每个像素测定出的距离来输出距离图像。并且，受光部基于接受到的反射光的光强度来输出第1明度图像。
5.另外，在专利文献1中记载有针对相机拍摄的拍摄图像的各像素获取与对象物的表面的明度对应的第2明度图像的技术。
6.而且，在专利文献1所记载的技术中，基于各像素的距离修正第1明度图像的各像素的明度，在修正后的第1明度图像的像素与第2明度图像的像素的明度差为阈值以上的情况下，将对应的距离图像的像素检测为误差像素。
7.专利文献1：日本特开2014-070936号公报
8.在专利文献1所记载的技术中，以相机正常并且相机拍摄的第2明度图像没有异常为前提。然而，发明人的详细的研究的结果是，发现了以下的课题。
9.即，由于以相机正常为前提，因此在相机异常的情况下，不能检测异常。


技术实现要素：

10.本公开的一个方面期望提供一种即使用于检测车辆的周围的物体的光传感器和相机中的某个异常也检测异常的技术。
11.基于本公开的一个方式的车载的异常检测装置是检测在用于检测车辆的周围的物体的光传感器和相机中的某个中发生了异常的异常检测装置，具备相关值计算部和异常判定部。
12.相关值计算部计算反射强度图像和背景光图像中的至少一方与相机拍摄的车辆的周围的拍摄图像的相关值，该反射强度图像是光传感器向车辆的周围照射光并接受所反射的反射光而检测的，该背景光图像是在光传感器不照射光时光传感器接受车辆的周围的光而检测的。
13.在相关值计算部计算的相关值脱离规定范围的情况下，异常判定部判定为光传感器和相机中的某个异常。
14.根据这样的结构，即使光传感器和相机中的某个异常，也能够检测异常。
附图说明
15.图1是表示第1实施方式的异常检测装置的结构的框图。
16.图2是表示发光部的示意图。
17.图3是表示受光部的示意图。
18.图4是表示被分割为小区域的反射强度图像或者背景光图像和拍摄图像的示意图。
19.图5是表示异常的小区域的示意图。
20.图6是表示使分辨率变高后的受光部的示意图。
21.图7是表示异常检测处理的流程图。
22.图8是表示第2实施方式的发光部的框图。
具体实施方式
23.以下，边参照附图边对本公开的实施方式进行说明。
24.[1.第1实施方式]
[0025]
[1-1.结构]
[0026]
图1所示的车载的异常检测系统2具备相机10、spad-lidar20以及异常检测装置40。spad-lidar20具备发光部22、受光部24、距离图像检测部26、反射强度图像检测部28以及背景光图像检测部30。spad是single photon avalanche diode(单光子雪崩二极管)的简称，lidar是light detection and range(光探测和测距)的简称。
[0027]
异常检测装置40具备相关值计算部42、异常判定部44以及分辨率调整部46。异常检测装置40检测在用于未图示的物体检测装置检测车辆的周围的物体的相机10和spad-lidar20中的某个中发生了异常。以下，也将spad-lidar简称为lidar。
[0028]
lidar20的发光部22例如作为车辆的周围的任意的方向，将作为车辆的行进方向的前方的规定区域作为检测区域，通过使用音圈等未图示的驱动部以恒定的帧率在水平方向上扫描并且间歇地照射脉冲状的激光。
[0029]
如图2所示，发光部22具备具有四个ld102～108的ld部100。通过ld部100的四个ld102～108，对车辆前方的规定区域在水平方向上扫描并照射在垂直方向上较长的激光。ld是laser diode(激光二极管)的简称。
[0030]
受光部24接受发光部22照射的激光被物体反射的反射光、和作为太阳光或者照明等光源的光及光源的光被物体反射的反射光的背景光。
[0031]
如图3所示，受光部24在受光面200具备二维地排列的多个像素202。各像素具备多个受光元件210。在图3中，一个像素202由基于6
×
8矩阵的48个受光元件210构成。受光元件210输出具有与受光强度对应的电流值的受光信号。
[0032]
对于受光元件210而言，作为雪崩光电二极管，使用以盖革模式动作的spad。作为受光元件210，例如也可以使用spad以外的雪崩光电二极管或者光电二极管等。
[0033]
lidar20的距离图像检测部26基于从发光部22照射激光起到受光部24接受反射光为止的时间，按照每个像素202检测到物体的距离，并检测距离图像作为车辆前方的规定区域的整体图像。
[0034]
反射强度图像检测部28检测受光部24按照每个像素202接受发光部22照射的激光的反射光的强度，并检测反射强度图像作为车辆前方的规定区域的整体图像。
[0035]
背景光图像检测部30在发光部22不照射激光的期间检测受光部24按照每个像素202接受的背景光的强度，并检测背景光图像作为车辆前方的规定区域的整体图像。此外，在本实施方式中，根据辉度以灰色标度表示反射光的强度和背景光的强度。
[0036]
如图4所示，将反射强度图像检测部28检测的反射强度图像300和背景光图像检测部30检测的背景光图像310分别分割为小区域302、312。而且，将相机10拍摄的拍摄图像320分割为与小区域302、312对应的小区域322。将图像在水平方向和垂直方向上分割的分割数是1以上的任意的数，可适当地设定。在分割数是1的情况下，是指不进行分割。
[0037]
此外，在反射强度图像300、背景光图像312以及拍摄图像320的重叠的区域分割小区域302、312、322。
[0038]
异常检测装置40的相关值计算部42针对反射强度图像检测部28检测的反射强度图像300和背景光图像检测部30检测的背景光图像310中的至少一方和相机10拍摄的拍摄图像320的对应的小区域302、312、322，根据相关函数计算相关值。例如通过各像素的相关值的合计来表示小区域302、312、322中的相关值。
[0039]
异常判定部44比较相关值计算部42计算的小区域302、312、322的相关值与规定范围，在相关值脱离规定范围的情况下，判定为相机10和lidar20中的某个异常。作为相机10和lidar20的异常的原因，例如考虑相机10主体和lidar20主体的故障、或者灰尘或者污垢向相机10和lidar20的检测部的附着、或者相机10和lidar20的像素不良等。
[0040]
异常判定部44如以下那样决定与相关值比较的规定范围。异常判定部44例如预先存储到此为止相关值计算部42计算出的相关值的数据，并计算相关值的标准偏差σ。然后，异常判定部44针对相关值的绝对值将5σ以内决定为规定范围。
[0041]
另外，异常判定部44若判定为相机10和lidar20中的某个异常，则当对相机10的透镜和lidar20的透光部设置有清洁装置的情况下，使清洁装置工作。若通过使清洁装置工作，除去污垢，相关值变为规定范围内，则能够判断为异常原因是污垢。在即使使清洁装置工作，相关值也脱离规定范围的情况下，能够判断为异常原因是污垢以外。
[0042]
另外，也可以如以下那样判定相机10和lidar20中的哪一个异常。
[0043]
异常判定部44在相关值脱离规定范围的小区域中，针对拍摄图像320的各像素、和反射强度图像300和背景光图像310中的至少一方的各像素，检查辉度的时间历史。异常判定部44将相机10和lidar20双方的装置中的在时间历史中辉度没有变化的装置判定为是异常。
[0044]
另外，异常判定部44在相关值脱离规定范围的小区域中，检查对拍摄图像320、和反射强度图像300和背景光图像310中的至少一方进行边缘处理后的时间历史。异常判定部44将相机10和lidar20双方的装置中的在时间历史中边缘数持续为规定值以上的装置判定为是异常。
[0045]
若特定相机10和lidar20中的异常的装置，则物体检测装置不使用相机10和
lidar20中的异常的装置，而使用正常的装置来检测车辆的周围的物体。
[0046]
另外，也可以在针对特定的小区域，相机10和lidar20中的某个装置异常，针对其它小区域，双方的装置正常的情况下，针对发生了异常的小区域，使用正常的装置，针对其它小区域，使用双方的装置来检测物体。
[0047]
对于在特定的小区域发生了异常的装置，能够通过将表示异常的诊断代码存储于闪存等，来特定物体检测装置的异常部位并进行异常部位的更换等。
[0048]
另外，当在所有的小区域中相关值脱离规定范围的情况下，考虑在向相机10和lidar20供给电力的电力路径存在异常，或者lidar20的发光部22整体的发光不良。在该情况下，也能够通过将表示异常的诊断代码存储于闪存等，来特定物体检测装置的异常部位并进行异常部位的更换等。
[0049]
另外，对于从ld部100的四个ld102～108的任意一个照射激光的范围的所有的小区域，在相关值始终脱离规定范围的情况下，异常判定部44判定为相应的ld102～108发光不良。在该情况下，也能够通过将表示异常的诊断代码存储于闪存等，来特定物体检测装置的异常部位并进行异常部位的更换等。
[0050]
若由于相关值脱离规定范围而判定为相机10和lidar20中的某个异常，则分辨率调整部46对lidar20指示使被判定为异常的小区域的反射强度图像300和背景光图像310的分辨率变高。
[0051]
通常，lidar20检测的反射强度图像300和背景光图像310的分辨率低于相机10拍摄的拍摄图像320的分辨率。因此，通过使被判定为异常的小区域的反射强度图像300和背景光图像310的分辨率变高，能够使小区域的反射强度图像300和背景光图像310的分辨率接近拍摄图像320。
[0052]
以下，对使被判定为异常的小区域的反射强度图像300和背景光图像310的分辨率变高的分辨率提高方式(1)～(3)进行说明。
[0053]
(1)检测区域的缩小
[0054]
例如，如图5所示，当在反射强度图像300和背景光图像310中斜线的小区域302、312的相关值脱离规定范围的情况下，分辨率调整部46对lidar20指示以与扫描车辆前方的规定区域时相同的帧率仅再次扫描与斜线的小区域302、312对应的水平方向的检测区域。
[0055]
若帧率相同，则检测区域变窄，由此被判定为异常的小区域302、312的分辨率变高。
[0056]
在使反射强度图像300的分辨率变高的情况下，从发光部22照射激光，受光部24接受激光的反射光，由此扫描小区域。在使背景光图像310的分辨率变高的情况下，不从发光部22照射激光，受光部24接受背景光，由此扫描小区域。
[0057]
对于通过分辨率调整部46的指示而分辨率变高的小区域，通过相关值计算部42再次计算相关值。而且，在通过相关值计算部42再次计算的相关值脱离规定范围的情况下，异常判定部44判定为相机10和lidar20中的某个异常。
[0058]
(2)扫描角度的调整
[0059]
分辨率调整部46对lidar20指示使与在图5中斜线的小区域302、312对应的水平方向的检测区域的扫描角度间隔小于扫描车辆前方的规定区域时的通常的扫描角度间隔，并使与其他的小区域302、312对应的水平方向的检测区域的扫描角度间隔大于通常的扫描角
度间隔来再次扫描规定区域。
[0060]
通过扫描角度间隔变小，从而被判定为异常的斜线的小区域302、312的分辨率变高。此外，优选以即使变更扫描角度间隔，对车辆前方的规定区域的扫描次数也相同的方式设定扫描角度间隔。
[0061]
(3)每一个像素的spad数的减少
[0062]
分辨率调整部46对lidar20指示在被判定为异常的小区域中减少向每一个像素分配的spad数并再次扫描。通过每一个像素的spad数减少，从而被判定为异常的小区域的像素数增加，因此分辨率变高。
[0063]
例如，如图6所示，在受光部24的受光面200中，在由6
×
8的spad210构成一个像素202的情况下，通过由3
×
8的spad210构成一个像素204，从而在图6中纵向即垂直方向的分辨率变高。也可以通过减少水平方向的spad数来使水平方向的分辨率变高。
[0064]
[1-2.处理]
[0065]
接下来，使用图7的流程图对异常检测装置40执行的异常检测处理进行说明。图7的流程图表示的异常检测处理在物体检测处理的数个周期中执行1次，或者在车辆的启动开关变为接通时执行1次。
[0066]
在图7的s400中，相关值计算部42判定车辆的周围的亮度是否为规定值以上。
[0067]
例如，在具备受光传感器的情况下，也可以比较受光传感器的检测值与规定值来判定车辆的周围的亮度是否为规定值以上。
[0068]
或者也可以与是否具备受光传感器无关，基于反射强度图像是亮还是暗、和背景光图像是亮还是暗，来判定车辆的周围的亮度是否为规定值以上。
[0069]
基于受光部24按照每个像素接受的反射光的平均值是否为规定值以上，来决定反射强度图像是亮还是暗。同样，基于受光部24按照每个像素接受的背景光的平均值是否为规定值以上，来决定背景光图像是亮还是暗。在判定反射强度图像和背景光图像分别是亮还是暗时使用的规定值可以相同，也可以不同。
[0070]
在反射强度图像较亮而背景光图像较暗的情况下，判定为车辆的周围的亮度小于规定值，车辆的周围较暗。在反射强度图像和背景光图像双方较亮的情况下，判定为车辆的周围的亮度为规定值以上，车辆的周围较亮。
[0071]
另外，在反射强度图像和背景光图像双方较暗的情况下，若后面求出的相机10的拍摄图像与反射强度图像或者背景光图像的相关值脱离规定范围，则判定为lidar20的故障。
[0072]
在s400的判定为是、即车辆的周围的亮度为规定值以上的情况下，在s402中，相关值计算部42从lidar20获取背景光图像作为要计算与相机10拍摄的拍摄图像的相关值的图像。这是因为，若车辆的周围的亮度为规定的亮度以上，则能够判断为背景光的强度足够大，背景光图像的各像素的强度也足够大。
[0073]
在s400的判定为否、即车辆的周围的亮度小于规定的亮度的情况下，在s404中，相关值计算部42从lidar20获取反射强度图像作为要计算与相机10拍摄的拍摄图像的相关值的图像。这是因为，若车辆的周围的亮度小于规定的亮度，则背景光的强度较小，背景光图像的各像素的强度也较小，因此能够判断为反射强度图像的强度大于背景光图像的强度。
[0074]
在s406中，相关值计算部42按照所分割的每个小区域根据相关函数计算在s402或
者s404中获取到的背景光图像或者反射强度图像的一方、与相机10拍摄的拍摄图像的相关值。
[0075]
在s408中，异常判定部44判定在这次的小区域中计算出的相关值是否在规定范围内。在相关值较大的一方的相关性较强的情况下，根据相关值是否为规定值以上来判定是否在规定范围内。在相关值较小的一方的相关性较强的情况下，根据相关值是否为规定值以下来判定是否在规定范围内。
[0076]
在s408的判定为否、即在这次的小区域中计算出的相关值脱离规定范围的情况下，处理移至s412。
[0077]
在s408的判定为是、即在这次的小区域中计算出的相关值在规定范围内的情况下，在s410中，异常判定部44判定是否针对所有的小区域执行了s408的判定。
[0078]
在s410的判定为否、即存在未执行s408的判定的小区域的情况下，处理移至s406。在s410的判定为是、即针对所有的小区域执行了s408的判定的情况下，判断为在相机10和lidar20中的哪一个中都没有发生异常而是正常，本处理结束。
[0079]
在s412中，分辨率调整部46对lidar20指示针对相关值脱离规定范围的小区域，例如基于上述的分辨率提高方式(1)～(3)来使在s402或者s404中采用的背景光图像或者反射强度图像的分辨率变高。
[0080]
在s414中，相关值计算部42在小区域中计算分辨率变高后的背景光图像或者反射强度图像与相机10的拍摄图像的相关值。
[0081]
在s416中，异常判定部44判定在这次的小区域中再次计算出的相关值是否在规定范围内。在s416的判定为是、即再次计算出的相关值在规定范围内的情况下，异常判定部44判断为在相机10和lidar20中没有异常，并将处理移至s410。
[0082]
在s416的判定为否、即再次计算出的相关值脱离规定范围的情况下，在s418中，异常判定部44确定为相机10和lidar20中的某个异常。在该情况下，中止使用了相机10和lidar20的物体检测处理。
[0083]
[1-3.效果]
[0084]
根据以上说明的上述第1实施方式，能够获得以下的效果。
[0085]
(1a)通过计算lidar20检测的反射强度图像和背景光图像中的一方与相机10拍摄的拍摄图像的相关值，即使lidar20和相机10中的某个异常，也能够检测异常。
[0086]
(1b)若根据在小区域中计算出的反射强度图像和背景光图像中的一方与拍摄图像的相关值判定为临时异常，则在被判定为临时异常的小区域中，提高反射强度图像和背景光图像中的要计算与拍摄图像的相关值的一方的图像的分辨率来再次检测图像。由此，能够使用分辨率变高后的反射强度图像和背景光图像中的一方来高精度地计算与拍摄图像的相关值，因此能够高精度地执行异常判定。
[0087]
(1c)在仅使被判定为临时异常的小区域为检测区域的情况下，不针对图像整体，而仅针对被判定为临时异常的小区域，对lidar20进行指示，提高反射强度图像和背景光图像中的要与拍摄图像计算相关值的一方的图像的分辨率，再次检测图像。而且，不针对图像整体，而针对被判定为临时异常的小区域，计算反射强度图像和背景光图像中的分辨率变高后的图像与拍摄图像的相关值。由此，能够减轻异常判定所需的处理负荷。
[0088]
(1d)基于车辆的周围的亮度来选择反射强度图像和背景光图像中的要计算与相
机10拍摄的拍摄图像的相关值的图像，因此与计算反射强度图像和背景光图像双方与拍摄图像的相关值来进行异常判定的情况相比，能够减轻异常判定的处理负荷。
[0089]
在上述实施方式中，lidar20与光传感器对应。
[0090]
[2.第2实施方式]
[0091]
[2-1.与第1实施方式的不同点]
[0092]
图8所示的第2实施方式的发光部22的ld部110在除了具备通常使用的第1ld部120之外还具备预备的第2ld部130这一点上与第1实施方式不同。其他的第2实施方式的基本结构与图1所示的第1实施方式相同。此外，与第1实施方式相同的附图标记表示相同的结构，参照之前的说明。
[0093]
[2-2.处理]
[0094]
如图8所示，第2实施方式的发光部22通常从第1ld部120的四个ld122～128照射激光，不从第2ld部130的ld132～138照射激光。在图8中，用白色表示使用的ld122～128、132～138，用斜线表示不使用的ld122～128、132～138。
[0095]
在关于从第1ld部120的四个ld122～128中的例如ld122照射激光的范围的所有的小区域，相关值始终脱离规定范围的情况下，异常判定部44判定为相应的ld122发光不良。
[0096]
在该情况下，异常判定部44对发光部22指示代替相应的异常的ld122而从与异常的ld122相邻的第2ld部130的ld132照射激光。
[0097]
[2-3.效果]
[0098]
在第2实施方式中，除了第1实施方式的效果之外，还能够获得以下的效果。
[0099]
(2a)若在第1ld部120的四个ld122～128中的例如ld122发生发光不良，则代替异常的ld122而从相邻的第2ld部130的ld132照射激光，因此能够正常地继续进行物体检测装置的物体检测。
[0100]
[3.其他的实施方式]
[0101]
以上，对本公开的实施方式进行了说明，但本公开并不限定于上述的实施方式，能够进行各种变形来实施。
[0102]
(3a)在上述实施方式中，基于车辆的周围的亮度来选择反射强度图像和背景光图像中的要计算与相机10拍摄的拍摄图像的相关值的图像。与此相对，也可以与车辆的周围的亮度无关，计算反射强度图像和背景光图像双方与拍摄图像的相关值来进行异常判定。在该情况下，若反射强度图像和背景光图像中的至少一方的图像与拍摄图像的相关值在规定范围内，则判定为相机10和lidar20正常。
[0103]
(3b)在上述实施方式中，基于按照将整体图像分割而成的每个小区域计算的反射强度图像和背景光图像中的一方与拍摄图像的相关值执行了异常判定。与此相对，也可以不分割整体图像，计算反射强度图像和背景光图像中的一方、或者反射强度图像和背景光图像双方与拍摄图像的整体图像彼此的相关值来执行异常判定。
[0104]
在该情况下，在执行异常判定前，针对整体图像，提高反射强度图像和背景光图像中的一方、或者反射强度图像和背景光图像双方的分辨率之后，计算与拍摄图像的相关值。
[0105]
(3c)在上述实施方式中，作为光传感器的lidar20的发光部22对作为车辆的行进方向的前方的规定区域在水平方向上扫描并且间歇地照射脉冲状的激光，受光部24接受被物体反射的反射光。
[0106]
与此相对，也可以对作为车辆的行进方向的前方的规定区域照射高输出的激光，并通过二维受光元件阵列接受反射光。由此，通过从发光部的1次照射检测存在于作为车辆的行进方向的前方的规定区域的物体。
[0107]
在该情况下，若判定为反射强度图像和背景光图像中的一方与拍摄图像的相关值脱离规定范围，则分辨率调整部46例如对光传感器指示减少向每一个像素分配的spad数并再次照射光。通过每一个像素的spad数减少，从而与前方的规定区域对应的像素数增加，因此分辨率变高。
[0108]
(3d)在上述实施方式中，作为光传感器的lidar20的发光部22对作为车辆的行进方向的前方的规定区域在水平方向上扫描并照射在垂直方向上较长的激光。与此相对，根据光传感器20的发光部22的结构，也可以向水平方向和垂直方向的两个方向扫描并照射激光。
[0109]
(3e)本公开所记载的异常检测装置40及其手法也可以通过专用计算机来实现，该专用计算机通过构成以执行被计算机程序具体化后的一个乃至多个功能的方式被程序化后的处理器和存储器来提供。或者本公开所记载的异常检测装置40及其手法也可以通过以下专用计算机来实现，该专用计算机通过由一个以上的专用硬件逻辑电路构成处理器来提供。或者本公开所记载的异常检测装置40及其手法也可以通过一个以上的专用计算机来实现，该一个以上的专用计算机由以执行一个乃至多个功能的方式被程序化后的处理器及存储器、与由一个以上的硬件逻辑电路构成的处理器的组合构成。另外，计算机程序也可以作为由计算机执行的指令存储于计算机可读取的非过渡有形记录介质。实现异常检测装置40所包括的各部的功能的手法并不一定需要包括软件，其所有的功能也可以使用一个或者多个硬件来实现。
[0110]
(3f)也可以通过多个结构要素来实现上述实施方式中的一个结构要素具有的多个功能，或者通过多个结构要素实现一个结构要素具有的一个功能。另外，也可以通过一个结构要素实现多个结构要素具有的多个功能，或者通过一个结构要素实现由多个结构要素实现的一个功能。另外，也可以省略上述实施方式的结构的一部分。另外，也可以相对于其他的上述实施方式的结构附加或者置换上述实施方式的结构的至少一部分。
[0111]
(3g)除了上述的异常检测装置40之外，也能够以将该异常检测装置40作为结构要素的系统、用于使计算机作为该异常检测装置40发挥功能的程序、记录有该程序的半导体存储器等非过渡的实体的记录介质、异常检测方法等各种方式来实现本公开。