信息处理方法、存储介质和信息处理装置与流程

1.本发明涉及一种信息处理方法、存储介质和信息处理装置。


背景技术：

2.近年来，人们对避免自动驾驶车辆引发事故的技术进行了如火如荼的研究。例如，已知将处理器的驾驶能力水平与人类的驾驶能力水平进行比较，使其在水平相对较高的一侧进行驾驶的技术(例如，参照专利文献1)。现有技术文献专利文献
3.专利文献1：美国专利9566986号公报


技术实现要素：

发明所要解决的课题
4.然而，自动驾驶系统使用基于拍摄装置拍摄的图像识别的对象物(标志、信号等)来控制自动驾驶。因此，如现有技术那样，当在假定图像识别的对象物为真的情况下控制自动驾驶时，如果图像识别的对象物被错误识别的话，则会有导致严重事故的可能性。例如，近年出现的被称为单像素攻击(jiawei su，danilo vasconcellos vargas，sakurai kouichi，“one pixel attack for fooling deep neural networks，”ieee transactions on evolu tionary computation}，vol.23，issue.5，pp.828
‑‑
841.publisher:ieee.2019)的攻击可以仅篡改单个像素来诱导神经网络识别错误的图像并返回特定的结果。对于受到这样的攻击而被错误识别的对象物、例如红灯被错误识别而成的绿灯，需要采取措施将该错误识别判定为异常。
5.因此，本发明提供了一种信息处理方法、程序和信息处理装置，即使例如在受到攻击而错误地图像识别对象物的情况下，也能够适当地判定在对象物中产生的异常。用于解决课题的手段
6.本发明的一个方面提供的信息处理方法，由信息处理装置中的处理器执行：从拍摄装置获取包含对象物的图像；从设置在所述对象物或所述对象物附近的物体上的一个或多个传感器获取由各传感器感测的各数据；使用所述各数据判定基于所述图像的所述对象物的识别结果是否异常。发明效果
7.通过本发明，可以提供了一种信息处理方法、存储介质和信息处理装置，即使在对象物被错误地图像识别的情况下，也能够适当地判定在对象物中产生的异常。
附图说明
8.图1是示出本发明一实施方式提供的信息处理系统的一例的图。图2是示出本实施方式提供的信息处理装置的处理块的一例的图。
图3是示出本实施方式提供的信息处理装置的物理配置的一例的图。图4是示出实施例1提供的用于异常判定的数据例的图。图5是示出实施例1提供的信息处理系统1的判定处理的一例的时序图。图6是示出实施例2提供的用于异常判定的数据例的图。
具体实施方式
9.将参照附图对本发明的实施方式进行说明。再者，在各图中，标有相同标号即具有相同或近似的结构。
10.《系统概要》图1是示出本发明一实施方式提供的信息处理系统的一例的图。图1所示的信息处理系统1包括信息处理装置10、搭载有拍摄装置的车辆20和设有各传感器30的物体，并且能够经由网络n彼此进行数据通信。
11.图1所示的信息处理装置10例如为服务器，并经由网络与各种人或物品连接。例如，信息处理装置10与能够以自动驾驶水平3以上进行自动驾驶的各车辆20连接，并获取由搭载在各车辆20上的相机等拍摄装置拍摄的图像。此外，信息处理装置10获取设置在各车辆20周围的物体(例如信号灯、道路、行人等)上的各传感器30感测到的各数据。车辆20包括用于控制行驶的处理器，并且例如具有用于对由拍摄装置拍摄的图像执行图像识别处理的装置。
12.对于所获取的图像，信息处理装置10使用例如cnn(convolutional neural network)这样的图像识别模型来识别图像中的对象物是什么。在这种情况下，信息处理装置10从设置在识别对象物上的各传感器30或设置在位于该对象物附近的物体(例如，地上物、车辆20、人等)上的各传感器30获取感测到的各数据。各传感器30为包括例如视觉、听觉、味觉、嗅觉、触觉等之中的至少一个的五感传感器，或者当设置于人身上时，除了五感传感器之外，各传感器30还可以包括用于感测脑电波的脑电波传感器。
13.例如，当道路标志为识别对象物时，该道路标志设置有视觉传感器(相机等拍摄装置)、听觉传感器(用于收集声音数据的麦克风等)、味觉传感器、嗅觉传感器和触觉传感器中的至少一个。然后，预先使信息处理装置10学习从各传感器30感测到的数据，并对所获取的数据使用学习后的学习模型来输出数据是否异常的判定结果。再者，当学习模型包含神经网络时，信息处理装置10可以通过误差反向传播法更新神经网络的参数，并校正学习模型，以输出适当的判定结果。
14.例如，当道路标志弯曲时，可以使用视觉传感器或听觉传感器根据从道路标志拍摄的图像的变化、或根据弯曲时的声音等来判定异常。此外，当道路标志上被喷射了喷雾等的情况下，可以使用味觉传感器、嗅觉传感器、听觉传感器、触觉传感器等来判定异常。
15.信息处理装置10使用从各传感器30获取的各数据来判定识别结果是否存在异常。例如，信息处理装置10通过使用对来自各传感器30的各数据进行异常判定的各判定结果来执行多数表决处理，从而即使使用对受到任意攻击的道路标志进行拍摄得到的图像错误地识别了对象物，也可以根据其他各传感器30显示异常这一情况来检测到错误地识别了对象物。
16.从而，当包括信息处理装置10的自动驾驶系统控制车辆20的行驶时，即使当错误
地识别信号灯和道路标志等对象物时，也可以使用从设置在该对象物等之上的各传感器输出的各数据来进行异常判定，从而检测对象物本身被如何篡改，其结果是，可以针对被错误地图像识别了的对象物检测到错误识别。
17.《实施例1》下面，将对本发明提供的一实施例进行说明。在实施例1中，识别对象物设置有一个或多个传感器30，并且信息处理装置10使用由各传感器30感测到的各数据来判定识别对象物本身是否被篡改(是否存在异常)。
18.例如，当识别对象物在可能进行单像素攻击的位置被篡改时，则基于识别对象物的图像进行图像识别的结果是识别为不同的对象物，而不会从识别对象物的外观上注意到篡改。然而，在实施例1中，设置在识别对象物上的各传感器30等检测到识别对象物的变化(异常)，并可以检测到识别为了与真实的识别对象物不同的对象物。下面，将对实施例1中的识别对象物的异常判定进行具体说明。
19.图2是示出本实施方式提供的信息处理装置10的处理块的一例的图。信息处理装置10包括处理控制部11、第一获取部12、第二获取部13、判定部14、图像识别部15、学习模型15a、异常判定部16、学习模型16a、输出部17和存储部18。
20.第一获取部12从例如搭载在车辆20上的相机等拍摄装置获取包括对象物的图像。由拍摄装置所发送的图像经由网络被获取至信息处理装置10，并存储在存储部18中。例如，第一获取部12从存储部18依次获取在预定时机从拍摄装置输出的图像。图像为拍摄车辆20的外部(例如车辆前方)的、包含一个或多个地上物的图像。
21.第二获取部13从设置在所获取的图像中包括的对象物或对象物附近的物体上的一个或多个传感器30获取由各传感器30感测的各数据。如上所述，各传感器例如是包括在五感传感器中的视觉传感器、听觉传感器、味觉传感器、嗅觉传感器和触觉传感器中的至少一个。此外，各传感器30设置在例如道路标志、信号、分隔线等在自动驾驶的行驶控制时一旦被错误识别的话将会产生很大影响的地上物等之上。此外，各传感器30可以是佩戴在行人身上的脑电波传感器或五感传感器。
22.由各传感器30感测的数据(也称为“传感器数据”)从各传感器30经由网络被获取至信息处理装置10，并存储在存储部18中。例如，第二获取部13从存储部18获取在预定时机从各传感器输出的各传感器数据。
23.判定部14使用所获取的各数据来判定基于所获取的图像的对象物的识别结果是否异常。例如，判定部14包括：用于从所获取的图像中识别对象物的图像识别部15和用于判定识别对象物本身是否发生异常的异常判定部16。
24.图像识别部15对所获取的图像执行物体识别处理，并利用例如使用cnn的学习模型15a来识别图像中的对象物。对于学习模型15a不做特别限制，可以是能够使用图像对对象物进行检测和识别的任何学习模型(包含参数的推理算法)。
25.异常判定部16使用从各传感器30获取的各传感器数据来判定识别对象物是否异常。例如，当传感器数据中有至少预定数量的传感器数据超过预定阈值等情况下，异常判定部16可以进行异常判定。
26.在视觉传感器的情况下，例如，当要拍摄的场景由于识别对象物的位置的偏移或弯曲而大不相同时，判定异常。此外，在听觉传感器的情况下，例如，当对识别对象物施加撞
击或喷射涂料时，检测其声音并判定异常。此外，在味觉传感器的情况下，例如，当涂料等被喷射到识别对象物时，检测该涂料的化学量的变化并判定异常。此外，在嗅觉传感器的情况下，例如，当预定物被添加到识别对象物时，检测该预定物的气味并判定异常。此外，在触觉传感器的情况下，例如，当涂料等被喷射到识别对象物时，检测由涂料等引起的识别对象物的接触面的压力、振动等的变化并判定异常。
27.异常判定部16可以使用由设置在行人身上的五感传感器或脑电波传感器获取的传感器数据来判定异常。例如，当搭载有用于获取图像的拍摄装置的车辆20由于错误识别识别对象物而危险行驶时，存在于该车辆20周围的行人在看到车辆20时大声叫喊、惊讶或心率增加，从而出现生物信号的变化。设置在行人身上的传感器将脑电波信号和语音信号等生物信号发送至信息处理装置10，异常判定部16可以使用行人的生物信号的变化来判定异常。例如，对于存在于车辆周围的行人，异常判定部16可以获取车辆20的位置信息，获取行人的位置信息，并确定存在于距离车辆20的位置在预定范围内的行人。
28.当在所获取的各传感器数据中有预定数量以上的传感器数据中判定了异常时，异常判定部16判定为识别对象物中发生异常。
29.通过以上处理，即使当在图像的识别结果中发生错误识别时，也可以使用其他传感器的数据来检测到识别结果中发生错误(存在异常)。例如，即使在应当使用由搭载在车辆20上的拍摄装置拍摄的图像来识别位于交叉路口附近的停车让行标志时，该标志被加工而被识别为了另一标志的情况下，也可以使用来自于设置在该标志中的至少一个传感器的传感器数据来判定异常。也就是说，即使当识别对象物被错误地图像识别时，也可以适当地判定对象物中发生了异常。
30.输出部17也可以将判定部14的判定结果存储在存储部18中、向外部输出、或在显示装置上显示。
31.此外，异常判定部16可以将从各传感器30获取的各传感器数据中的对应传感器数据分别输入至各学习模型16a并判定对象物是否异常，其中各学习模型16a将来自于各传感器30的过去的各传感器数据作为学习数据对对象物是否异常进行了学习。各学习模型16a可以使用适合于各个数据的学习模型。例如，学习模型16a是通过进行对过去的传感器数据赋予是否异常的正确答案标签的监督式学习而生成的模型，并且是在输入传感器数据后将会输出异常还是正常的学习模型。
32.在这种情况下，判定部14获取从各学习模型16a输出的对于各传感器数据的各判定结果。判定部14可以使用各判定结果来判定图像识别部15的识别结果是否异常。例如，判定部14可以对各传感器数据的判定结果进行多数表决处理，从而可以在显示异常的判定结果为多数时判定为异常。
33.通过以上处理，使用学习模型对各传感器数据输出判定结果，从而可以提高来自于各传感器数据的判定结果的判定精度，其结果是，可以更适当地进行对象物的异常判定。
34.判定部14可以对异常判定部16的各判定结果进行集成学习，并判定图像识别部15的识别结果是否异常。例如，作为集成学习，判定部14使用包括最大投票(max voting)、加权平均投票(weighted average voting)、装袋(bagging)、提升(boosting)、堆叠(stackin g)等预定学习方法。再者，集成学习的学习方法不限于上述示例，还可以是用于通过将作为单独的学习器学习的各学习器合并来提高对未学习的数据的预测能力的学习方法。
35.此外，当使用最大投票的学习方法作为集成学习时，判定部14可以使用例如逻辑回归、决策树、支持向量机和最大投票集成中的至少一个作为预定模型，但不限于这些示例。
36.此外，当使用加权平均投票(weighted average voting)的学习方法作为集成学习时，判定部14可以使用例如逻辑回归、决策树、支持向量机和加权平均投票集成中的至少一个作为预定模型，但不限于这些示例。
37.此外，当使用装袋(bagging)的学习方法作为集成学习时，判定部14可以使用例如决策树和装袋集成的决策树作为预定模型，但不限于这些示例。
38.此外，当使用提升(boosting)的学习方法作为集成学习时，判定部14可以使用例如逻辑回归和决策树中的至少一个作为预定模型。在这种情况下，可以使用随机森林、adaboost、gradientboosting、xgboost、lightgbm和catboost中的至少一个作为集成学习的算法，但不限于这些示例。
39.此外，当使用堆叠(stacking)的学习方法作为集成学习时，判定部14可以使用例如逻辑回归、决策树、支持向量机和堆叠集成中的至少一个作为预定模型，但不限于这些示例。
40.通过以上处理，可以针对各传感器数据使用集成学习来判定识别对象物的异常，从而更适当地进行异常判定。
41.此外，如上所述，拍摄装置可以搭载在可自动驾驶的车辆20上，被图像识别的对象物可以包括与道路、信号灯或标志相关的地上物，设置有传感器的物体可以包括地上物、人或者车辆20。
42.因此，实施例1中的系统可以应用于自动驾驶系统，并能够有助于提高自动驾驶系统的安全性能。例如，对于道路标志等识别对象物由其自身的传感器或周围的传感器追踪，并且当识别对象物发生了异常时，可以适当地进行判定。
43.此外，第一获取部12可以在获取图像的同时获取搭载有拍摄装置的车辆20的位置信息。此外，第二获取部13可以在获取各数据的同时获取各传感器30的位置信息。再者，位置信息可以表示设置有各传感器30的物体的位置信息。
44.在这种情况下，判定部14可以包括：使用与基于车辆20的位置信息确定的位置信息相对应的各传感器30发送的数据来判定识别对象物的识别结果是否异常。例如，判定部14使用车辆20的位置信息以及各传感器30的位置信息，确定距离车辆20的位置在预定范围内的各传感器，并使用从该各传感器30发送的数据。
45.此外，当为了确定设置有各传感器30的地上物(道路标志等)而被赋予了识别信息(id)时，各传感器30可以将地上物的id与位置信息一起发送。在这种情况下，判定部14通过使用车辆20的位置信息和根据图像识别结果的对象物的类别来确定识别对象物的种类(道路标志、信号灯、分隔线、护栏等的种类)。此外，判定部14使用各传感器的位置信息和id来确定设置有各传感器的物体的种类(道路标志、信号灯、分隔线、护栏等的种类)。
46.当识别对象物或物体的种类被确定时，判定部14可以将各个对应种类的识别对象物与物体相关联，并使用从设置在与识别对象物相关联的物体上的各传感器获取的各传感器数据来判定识别对象物的识别结果的异常。
47.通过以上处理，即使当拍摄装置移动时，也可以适当地确定识别对象物，可以适当
地确定用于异常判定的各传感器数据，并可以使用最低必要限度的传感器数据来适当地判定识别对象物的异常。
48.此外，近年来，能够获取高精度三维位置信息的地图数据正被开发。在这些地图数据中，信号灯和道路标志等地上物被作为地上物数据进行管理，并且可以从车辆20的位置信息确定存在于该车辆20附近的地上物。判定部14可以使用该地图数据来确定位于车辆20周围的地上物，并且可以确定从设置在该地上物上的各传感器输出的各传感器数据。
49.图3是示出本实施方式提供的信息处理装置10的物理配置的一例的图。信息处理装置10具有：相当于运算部的cpu(central processing unit，中央处理器)10a、相当于存储部的ram(random access memory，随机存取存储器)10b、相当于存储部的rom(read only memory，只读存储器)10c、通信部10d、输入部10e、显示部10f。
50.图3所示的各配置经由总线彼此连接，以便能够发送和接收数据。再者，在本示例中，虽然对由一台计算机构成信息处理装置10时的情形进行说明，但是信息处理装置10也可以是多台计算机或多个运算部组合实现。此外，图3所示的配置是一个示例，信息处理装置10可以具有这些以外的配置，也可以不具有这些配置中的一部分。
51.cpu10a是进行与ram10b或rom10c中所存储的程序的执行有关的控制或数据的运算、加工的控制部。cpu10a是例如用于执行如图2所示的处理控制部11的各处理的运算部。cpu10a从输入部10e或通信部10d接受各种数据，并将数据的运算结果显示在显示部10f上或存储在ram10b中。
52.ram10b是能够进行数据重写的存储部，例如可以由半导体存储元件构成。ram10b可以存储的数据诸如有由cpu10a执行的程序、包括图2所示的学习模型15a和学习模型16a的性能的学习数据。再者，这些仅为示例，ram10b中可以存储这些以外的数据，也可以不存储这些数据中的一部分。
53.rom10c是能够进行数据读取的存储部，例如可以由半导体存储元件构成。rom10c可以存储例如预定程序或不进行重写的数据。再者，图2所示的存储部18可以由ram10b和/或rom10c实现。
54.通信部10d是用于将信息处理装置10连接到其他设备的接口。通信部10d可以与互联网等通信网络连接。
55.输入部10e接受来自用户的数据输入，例如可以包括键盘和触摸面板。
56.显示部10f将cpu10a的运算结果进行视觉地显示，例如可以由lcd(liquid crystal display，液晶显示器)构成。显示部10f可以显示例如图像识别结果和异常判定结果。
57.执行处理控制部11的各处理的判定程序可以由ram10b或rom10c等非暂时性计算机可读存储介质存储并提供，也可以经由通过通信部10d连接的通信网络来提供。在信息处理装置10中，cpu10a执行判定程序从而实现参照图2进行了说明的各种操作。注意，这些物理配置仅为示例，且并不一定为独立的配置。例如，信息处理装置10可以包括集成了cpu10a以及ram10b或rom10c的lsi(large-scale integration，大规模集成电路)。此外，信息处理装置10可以包括gpu(graphical processing unit，图形处理单元)或asic(applicati on specific integrated circuit，专用集成电路)。
58.图4是示出实施例1提供的用于异常判定的数据例的图。在图4所示的示例中，通过
使用视觉传感器、嗅觉传感器、触觉传感器、听觉传感器、味觉传感器、周围行人的脑电波传感器或五感传感器来判定图像中识别对象物的异常。
59.例如，如实施例1所示，在应用于自动驾驶系统时，可自动驾驶的车辆20从所拍摄的图像中识别对象物，并基于所识别的对象物进行行驶控制，然而，如果在对象物中进行如上述单像素攻击那样在外观上不可知的攻击时，则自动驾驶系统可能会错误地识别，并且可能发生严重事故。
60.此外，由于近年来各种物或人连接到互联网，并且每一个都可以进行数据通信，因此可以从受到上述攻击的对象物自身、周围的物或人来验证异常，从而可以适当地判定和检测异常。
61.在图4所示的示例中，对于道路标志和信号灯等识别对象物，可以使用来自设置在该识别对象物上的视觉传感器、嗅觉传感器、触觉传感器、听觉传感器、味觉传感器以及设置在周围行人身上的脑电波传感器和五感传感器的各传感器数据来适当地判定和检测识别对象物的异常。再者，图4所示的示例并不意在使用图4所示的所有传感器，使用至少一个传感器即可。
62.图5是示出实施例1提供的信息处理系统1的判定处理的一例的时序图。在图5所示的处理中，拍摄装置搭载在车辆20上，并且各传感器30设置在道路标志等地上物上，但是不限于该示例。
63.在步骤s102中，车辆20经由网络n将拍摄装置拍摄的图像发送至信息处理装置10。车辆20可以将使用gnss(global navigation satellite system，全球导航卫星系统)系统测量的车辆20的位置信息与图像一起发送。
64.在步骤s104中，各传感器30经由网络n将感测到的传感器数据发送至信息处理装置10。从各传感器30输出的各感测数据可以先获取至另一装置，再从另一装置发送。
65.在步骤s106中，信息处理装置10的第一获取部12和第二获取部13分别获取图像和各传感器数据，判定部14对所获取的图像使用物体识别技术或学习模型15a来识别图像中的对象物。
66.在步骤s108中，信息处理装置10的判定部14使用所获取的各传感器数据来判定图像中的识别对象物是否存在异常。再者，步骤s102至s108的处理不限顺序，可以先获取传感器数据来进行异常判定。
67.在步骤s110中，判定部14使用各传感器数据的判定结果来判定图像中的识别对象物是否存在异常。
68.在步骤s112中，输出部17将判定部14的判定结果输出至显示装置或外部装置。例如，当判定部14判定为了异常时，输出部17向设置有各传感器30的对象物通知存在异常。从而，例如，设置于接收到异常通知的对象物上的装置可以掌握其自身存在异常这件事，并可以向管理对象物的企业等通知其更换或撤去等。
69.如上，根据实施例1，可以使用来自于设置在识别对象物本身上的各传感器30或由周围行人携带的各传感器30的传感器数据来判定图像识别的识别对象物的异常。
70.再者，可以对从设置在识别对象物中的各传感器30获取的各传感器数据进行异常判定，而与图像的获取无关。例如，异常判定部16通过使用从各传感器30获取的各传感器数据来进行集成学习，并预先进行识别对象物的异常判定。此时，当在识别对象物中检测到异
常时，可以预先向在该识别对象物周围行驶的车辆20通知在该识别对象物中发生异常。例如，异常判定部16预先向设置在车辆20中并用于执行图像识别处理的装置(例如，处理器)通知识别对象物的异常。从而，车辆20可以预先掌握该识别对象物的图像识别结果不可靠。
71.《实施例2》接下来，将对本发明提供的实施例2进行说明。在实施例2中，对于道路标志等识别对象物，在位于该识别对象物周围的物体上设置有一个或多个传感器30，信息处理装置10使用由各传感器30感测到的各数据来判定识别对象物是否被篡改(是否存在异常)。所谓物体是指例如上述地上物、人、车辆等之中的至少一个。
72.此外，实施例2中的系统配置与图1所示的配置类似，信息处理装置10的配置与图2和3所示的配置类似，信息处理系统1处理的过程与图5所示处理的过程类似。在实施例2中，使用来自设置在除了识别对象物之外的周围地上物等物体上的各传感器30的各传感器数据。
73.图6是示出实施例2提供的用于异常判定的数据例的图。在图6所示的示例中，对于图像的识别对象物，使用设置在其他车辆20上的传感器、从卫星获取的卫星图像、设置在信号灯上的传感器、设置在周围地上物上的听觉传感器、设置在道路上的传感器、设置在周围行人身上的脑电波传感器、设置在后视镜上的传感器、设置在护栏上的传感器等来判定异常。
74.在图6所示的示例中，对于道路标志或信号灯等识别对象物，可以使用来自设置在该识别对象物周围的各种传感器的传感器数据或卫星图像来适当地判定和检测识别对象物的异常。再者，图6所示的示例并不意在使用图6所示的所有传感器或图像，使用至少一个传感器或图像即可。
75.通过实施例2，可以使用来自于设置在除了识别对象物之外的周围地上物等物体上的各传感器30的各传感器数据来判定识别对象物的异常，并可以检测识别对象物中发生的异常。
76.以上包含实施例1和2的实施方式仅是为了便于理解本发明，而不是为了对本发明进行限制性解释。实施方式所具备的各要素及其配置、材料、条件、形状和尺寸等可以适当地改变，而不限于例示的实施方式。此外，不同实施方式中所示的配置之间可以部分地替换或组合。
77.在上述实施方式中，拍摄装置搭载在能够自动驾驶的车辆20上，但是拍摄装置也可以搭载在能够自动行驶的飞行体上，或者也可以搭载在不能移动的物体上。
78.此外，在上述实施方式中，虽然各传感器30发送了位置信息，但也可以发送其自身被赋予的识别信息(id)。在这种情况下，信息处理装置10的存储部18可以预先存储与每个id建立对应的传感器的位置信息，判定部14可以从传感器的id确定位置信息。
79.此外，在上述实施方式中，虽然说明了当识别对象物本身被加工的情况下也可以检测到异常，但是当拍摄识别对象物的图像被进行了单像素攻击时，由于识别对象物本身没有被加工，因此难以检测到异常。在这种情况下，可以通过增加从设置在周围行人身上的传感器获取的数据的权重来检测到异常。例如，通过增加表示来自于设置在周围行人身上的脑电波传感器的脑电波信号的传感器数据和来自于五感传感器的传感器数据的权重，并使用加权平均投票的学习方法进行集成学习，从而可以检测到异常。这是由于图像本身受
到单像素攻击并且标志等被错误地识别的结果是因此车辆20进行危险行驶，而看到该情况的周围行人大声叫喊或惊讶，从而可以从来自于周围行人的传感器数据中检测到异常。通过增大设定该传感器数据的权重，即使当图像被进行了单像素攻击时，也可以检测到异常。
80.此外，从各传感器输出的传感器数据可以使用区块链技术进行管理。区块链由于几乎不可篡改，可以防止各传感器输出的传感器数据被篡改，提高系统的可靠性。
81.《附记》[附记1]一种存储有程序的非暂时性计算机可读存储介质，该程序使信息处理装置中的处理器执行：从拍摄装置获取包含对象物的图像；从设置在所述对象物或所述对象物附近的物体上的一个或多个传感器获取由各传感器感测的各数据；将从所述各传感器获取的各数据中的对应数据分别输入至各学习模型中并获取所述对象物是否异常的各判定结果，所述各学习模型将来自于所述各传感器的过去的各数据作为学习数据对所述对象物是否异常进行了学习；使用所述各判定结果判定基于所述图像的所述对象物的识别结果是否异常。[附记2]一种存储有程序的非暂时性计算机可读存储介质，该程序使信息处理装置中的处理器执行：从搭载在可自动驾驶的车辆上的拍摄装置获取图像，所述图像包含对象物，所述对象物包括与道路、信号灯、或标志有关的地上物；从设置在所述对象物或所述对象物附近的物体上的一个或多个传感器获取各数据，所述各数据由各传感器感测，所述物体包括地上物、人、或车辆；使用所述各数据判定基于所述图像的所述对象物的识别结果是否异常。[附记3]一种信息处理方法，由信息处理装置中的处理器执行：从设置在预定对象物或所述预定对象物附近的物体上的一个或多个传感器获取由各传感器感测的各数据；使用所述各数据判定所述预定对象物是否异常；当所述预定对象物存在异常时，将所述预定对象物的异常通知给与对于所述预定对象物的图像识别处理有关的装置。[附记4]如附记1所述的信息处理方法，其中，可自动驾驶的车辆具备所述装置。[附记5]如附记4所述的信息处理方法，其中，所述通知包括：在从搭载在所述车辆上的拍摄装置拍摄的图像中识别所述预定对象物之前通知所述异常。[附记6]一种存储有程序的非暂时性计算机可读存储介质，该程序使信息处理装置中的处
理器执行：从设置在预定对象物或所述预定对象物附近的物体上的一个或多个传感器获取由各传感器感测的各数据；使用所述各数据判定所述预定对象物是否异常；当所述预定对象物存在异常时，将所述预定对象物的异常通知给与对于所述预定对象物的图像识别处理有关的装置。[附记7]一种具有处理器的信息处理装置，所述处理器执行：从设置在预定对象物或所述预定对象物附近的物体上的一个或多个传感器获取由各传感器感测的各数据；使用所述各数据判定所述预定对象物是否异常；当所述预定对象物存在异常时，将所述预定对象物的异常通知给与对于所述预定对象物的图像识别处理有关的装置。附图标记
[0082]
1-信息处理系统，10-信息处理装置，10a-cpu，10b-ram，10c-rom，10d-通信部，10e-输入部，10f-显示部，11-处理控制部，12-第一获取部，13-第二获取部，14-判定部，15-图像识别部，15a-学习模型，16-异常判定部，16a-学习模型，17-输出部，18-存储部。