图像处理装置以及图像处理方法与流程

1.本发明涉及图像处理装置以及图像处理方法。


背景技术：

2.以往，已知有根据由相机拍摄到的图像来检测人、车辆等物体的技术。此外，已知有如下技术：根据由相机拍摄到的图像来检测车辆，并根据该检测结果来进行车牌的识别(例如参照专利文献1)。
3.在先技术文献
4.专利文献
5.专利文献1：日本特开2015-64752号公报


技术实现要素：

[0006]-发明所要解决的课题-[0007]
然而，例如，即便在从由相机拍摄的图像中可检测到车辆的情况下，也存在无法检测出该车辆所包含的车牌的情况。此外，例如即便在从由相机拍摄的图像中可检测到人的情况下，也存在无法识别该人所包含的面部的情况。即，即便在从由相机拍摄到的图像中可检测到某物体的情况下，有时也无法进行该物体的一部分的检测。
[0008]
这样的现象例如在拍摄图像中物体的部位相对于物体整体非常小的情况下容易发生。在为了减少检测处理的负担而降低了用于物体检测的拍摄图像的分辨率的情况下，尽管能够检测到物体，也容易引起无法检测出该物体的部位这样的现象。
[0009]
本发明是鉴于上述课题而完成的，其目的在于提供一种能够减少产生映现在拍摄图像中的想要检测的对象的未检测的可能性的技术。
[0010]-用于解决课题的手段-[0011]
为了实现上述目的，本发明的图像处理装置具备：第一检测部，设置为能够从所取得的拍摄图像中检测给定的物体及所述给定的物体所包括的给定的部位；设定部，在由所述第一检测部仅检测到所述给定的物体及所述给定的部位中的所述给定的物体的情况下，基于所述第一检测部的检测结果，在所述拍摄图像中设定检测范围；以及第二检测部，尝试从所述检测范围检测所述给定的部位。
[0012]-发明效果-[0013]
根据本发明，能够减少产生映现在拍摄图像中的想要检测的对象的未检测的可能性。
附图说明
[0014]
图1是表示第一实施方式所涉及的图像处理装置的结构的图。
[0015]
图2是用于说明第一实施方式的图像处理装置的变形例的图。
[0016]
图3是表示第一实施方式所涉及的图像处理装置的动作例的流程图。
[0017]
图4是表示由取得部取得的拍摄图像的一例的图。
[0018]
图5是例示针对图4所示的拍摄图像的第一检测部的检测结果的图。
[0019]
图6是用于说明图5所示的检测结果由第一检测部得到的情况下的设定部的处理的图。
[0020]
图7是表示进行了综合处理的图像的图。
[0021]
图8是表示第二实施方式所涉及的图像处理装置的结构的图。
[0022]
图9是表示第二实施方式所涉及的图像处理装置的动作例的流程图。
[0023]
图10是表示第三实施方式所涉及的图像处理装置的动作例的流程图。
[0024]
图11是表示第四～第六实施方式所涉及的个人信息保护系统的结构的图。
[0025]
图12是表示第四实施方式所涉及的图像处理装置的结构的图。
[0026]
图13是表示第四实施方式所涉及的图像处理装置的动作例的流程图。
[0027]
图14是表示由取得部取得的拍摄图像的一例的图。
[0028]
图15例示针对图14所示的拍摄图像的检测部的检测结果的图。
[0029]
图16是例示按照图15所示的检测结果执行的隐藏处理的结果的图。
[0030]
图17是用于说明隐藏部进行的隐藏处理的变形例的图。
[0031]
图18是表示第五实施方式所涉及的图像处理装置的结构的图。
[0032]
图19是表示第五实施方式所涉及的图像处理装置的动作例的流程图。
[0033]
图20是例示针对图14所示的拍摄图像的图像分割的结果的图。
[0034]
图21是例示在第五实施方式的图像处理装置中输入了图14所示的拍摄图像的情况下的隐藏处理结果的图。
[0035]
图22是表示个人信息保护系统的动作例的图(其一)。
[0036]
图23是表示个人信息保护系统的动作例的图(其二)。
[0037]
图24是表示个人信息保护系统的动作例的图(其三)。
[0038]
图25是第六实施方式所涉及的图像处理方法的概要说明图(其一)。
[0039]
图26是第六实施方式所涉及的图像处理方法的概要说明图(其二)。
[0040]
图27是第六实施方式所涉及的图像处理方法的概要说明图(其三)。
[0041]
图28是表示第六实施方式所涉及的图像处理装置的结构的图。
[0042]
图29是第六实施方式所涉及的隐藏处理的处理说明图。
[0043]
图30是第六实施方式的第一变形例所涉及的隐藏处理的处理说明图。
[0044]
图31是表示第六实施方式所涉及的图像处理装置的动作例的流程图。
[0045]
图32是表示第六实施方式的第二变形例所涉及的图像处理装置的动作例的流程图。
具体实施方式
[0046]
以下，参照附图对本发明的例示性的实施方式进行详细地说明。
[0047]
《1.第一实施方式》
[0048]
(1-1.图像处理装置的结构)
[0049]
图1是表示本发明的第一实施方式所涉及的图像处理装置1的结构的图。另外，在图1中，仅表示说明第一实施方式的图像处理装置1的特征所需的结构要素，省略关于一般
的结构要素的记载。此外，在图1中，为了容易理解，还示出了作为与图像处理装置1不同的结构要素的相机2。
[0050]
图像处理装置1例如可以搭载于车辆等移动体。在车辆中广泛包括例如汽车、电车、自动导引车等带有车轮的交通工具。图像处理装置1例如可以包括在搭载于车辆的导航装置、行车记录仪等车载装置中。图像处理装置1也可以不搭载于移动体，例如，也可以配置在设置于商业设施、停车场等的监控设施、高速公路的收费站等建筑物内。此外，图像处理装置1例如也可以包括在能够经由网络等与车载装置等终端装置进行通信的云服务器等服务器装置中。此外，图像处理装置1例如也可以包括在智能手机、平板电脑等便携终端中。
[0051]
相机2可以搭载于车辆等移动体，也可以固定配置于商业设施等建筑物内、停车场等室外。相机2例如通过有线或者无线或者利用网络将拍摄到的图像(拍摄图像)输出到图像处理装置1。
[0052]
如图1所示，图像处理装置1具备取得部11、控制部12以及存储部13。
[0053]
取得部11取得拍摄图像。取得部11例如从搭载于车辆的相机2以给定的周期(例如1/30秒的周期)在时间上连续取得模拟或者数字的拍摄图像。由取得部11取得的拍摄图像的集合体是由相机2拍摄到的动态图像。在所取得的拍摄图像为模拟的情况下，取得部11将该模拟的拍摄图像变换(a/d变换)为数字的拍摄图像。取得部11将所取得的拍摄图像(在进行了a/d变换的情况下为变换后的图像)输出至控制部12。
[0054]
控制部12是统一控制图像处理装置1的整体的控制器。控制部12例如构成为包括作为硬件处理器的cpu(central processing unit：中央处理单元)、ram(random access memory：随机存取存储器)以及rom(read only memory：只读存储器)等的计算机。
[0055]
存储部13例如由ram、闪存等半导体存储器元件、硬盘、或者使用光盘等可移动型的记录介质的存储装置等构成。存储部13存储作为固件的程序、各种数据。在本实施方式中，存储部13存储第一学习完毕模型131和第二学习完毕模型132。另外，关于第一学习完毕模型131以及第二学习完毕模型132，例如可以构成为能够从云服务器等通过利用无线通信等来下载已被更新的学习完毕模型。即，第一学习完毕模型131以及第二学习完毕模型132可以构成为能够更新。
[0056]
第一学习完毕模型131以及第二学习完毕模型132例如通过利用深度神经网络(dnn：deep neural network)等机器学习的算法进行学习而得到。第一学习完毕模型131以及第二学习完毕模型132例如可以通过有教师的学习而得到。在本实施方式中，第一学习完毕模型131用于检测给定的物体以及给定的物体所包括的给定的部位。第二学习完毕模型132用于检测给定的部位。
[0057]
作为给定的物体，例如可列举出人、车辆等。另外，给定的物体可以包括人的面部、车辆的前部等被理解为某物体的一部分的部分。给定的部位例如在给定的物体是人的情况下是面部等。给定的部位例如在给定的物体是车辆的情况下是车牌等。给定的部位例如在给定的物体是面部的情况下是眼睛等。另外，也可以在给定的物体中包括多个给定的部位。此外，给定的物体可以包括多种物体。例如，第一学习完毕模型131可以用于检测人以及车辆作为给定的物体。
[0058]
图1所示的第一检测部121、设定部122、第二检测部123以及判断部124是通过控制部12的cpu按照存储于存储部13的程序来执行运算处理而实现的控制部12的功能。换言之，
图像处理装置1具备第一检测部121、设定部122、第二检测部123以及判断部124。另外，控制部12也可以不具备判断部124。
[0059]
另外，控制部12中的第一检测部121、设定部122、第二检测部123以及判断部124中的至少任意一个也可以由asic(application specific integrated circuit)、fpga(field programmable gate array)、gpu(graphics processing unit)等硬件构成。
[0060]
此外，第一检测部121、设定部122、第二检测部123以及判断部124是概念性的结构要素。可以使一个结构要素所执行的功能分散于多个结构要素，或者使多个结构要素所具有的功能统一为一个结构要素。此外，取得部11也可以是通过控制部12的cpu按照程序进行运算处理来实现的结构。此外，关于图像处理装置1的具体的硬件结构，可以根据实施方式适当地进行结构要素的省略、置换或者追加。例如，控制部12也可以包括多个硬件处理器。
[0061]
第一检测部121设置成能够从所取得的拍摄图像中检测给定的物体以及给定的物体所包括的给定的部位。在本实施方式中，第一检测部121使用存储于存储部13的第一学习完毕模型131，从拍摄图像中检测给定的物体以及给定的物体所包括的给定的部位。第一检测部121优选使用降低了从取得部11取得的拍摄图像的分辨率的低分辨率图像，进行基于第一学习完毕模型131的物体检测。由此，能够减少第一检测部121中的物体检测处理的处理负担。
[0062]
第一学习完毕模型131优选使用dnn来检测给定的物体以及给定的部位的结构。其中，第一学习完毕模型131例如也可以是通过利用了hog(histogram of gradient)特征量的svm(support vector machine)等其他机器学习的算法来检测给定的物体以及给定的部位的结构。
[0063]
另外，第一检测部121也可以构成为，将拍摄图像的一部分的范围作为检测想要检测的物体(在本实施方式中为给定的物体以及给定的部位)的检测对象区域，并缩小到该检测对象区域而进行使用了第一学习完毕模型131的物体检测处理。通过这样构成，能够减少物体检测处理的处理量。检测对象区域例如可以基于相机2的已知的安装位置信息、以及从相机2到检测对象为止的预先求出的适当距离范围等来设定。
[0064]
其中，在拍摄图像中设置检测对象区域的情况下，在检测对象区域外存在物体的情况下，无法得到该信息。因此，如图2所示，在由第一检测部121进行检测处理时，可以构成为对拍摄图像p设定以检测想要检测的物体为目的而设置的主检测对象区域(第一区域)tr1、和与主检测对象区域tr1相邻且以补充主检测对象区域tr1中的检测处理为目的而设置的副检测对象区域(第二区域)r2。副检测对象区域tr2可以是包围主检测对象区域tr1的区域。
[0065]
第一检测部121可以是在主检测对象区域tr1和副检测对象区域tr2中进行互不相同的检测处理的结构。根据这样的结构，能够减少物体检测处理的负担，并且能够抑制与想要检测的物体相关的信息缩减。
[0066]
详细而言，关于主检测对象区域tr1，例如可以构成为，使用与第一学习完毕模型131同样的学习完毕模型(进行物体的分类的学习完毕模型)进行检测处理，对于副检测对象区域tr2，使用与主检测对象区域tr1不同的学习完毕模型(通过机器学习而得到)来进行检测处理。对副检测对象区域tr2进行的检测处理与对主检测对象区域tr1进行的检测处理相比是轻负载的处理。对于副检测对象区域tr2，例如可以是进行对每个像素标注含义的图
像分割的结构。
[0067]
在图2所示的例子中，在拍摄图像p中设定有与副检测对象区域tr2相邻且不进行检测处理的检测非对象区域(第三区域)ntr。检测非对象区域ntr例如可以是包围副检测对象区域tr2的结构。也可以不设定该检测非对象区域ntr，但通过设定检测非对象区域ntr，能够进一步实现第一检测部121的处理负担的减轻。
[0068]
返回图1，设定部122在通过第一检测部121仅检测到给定的物体以及给定的部位中的给定的物体的情况下，基于第一检测部121的检测结果，在拍摄图像中设定检测范围。检测范围是为了检测未能检测到的给定部位而设定的。设定检测范围的拍摄图像可以是由取得部11得到的拍摄图像，也可以是在从取得部11得到之后进行过加工的拍摄图像。加工过的拍摄图像可以是例如低分辨率化的拍摄图像。设定部122例如在由第一检测部121检测到作为给定的物体的人但未检测到作为给定的部位的面部的情况下，基于第一检测部121的检测结果，对拍摄图像设定用于检测面部的检测范围。
[0069]
详细而言，设定部122在被判断为在检测到给定的物体的区域内存在给定的部位的可能性高的区域中设定检测范围。由此，能够从存在给定部位的可能性高的区域再次尝试给定部位的检测，能够高效地进行给定部位的再检测处理。
[0070]
在本实施方式中，第一检测部121在使用了第一学习完毕模型131的物体检测处理时，例如也能够取得给定的物体的朝向、姿势、类型等附加信息。这样的附加信息的取得例如能够在通过学习器进行用于得到第一学习完毕模型131的机器学习时，准备针对附加信息的大量数据，进行有教师的学习。
[0071]
例如，第一检测部121在使用了第一学习完毕模型131的物体检测处理时，也取得检测到的人的姿势、朝向等附加信息。设定部122在第一检测部121的检测处理中得到的人的位置信息中加入姿势等附加信息，求出在拍摄图像中存在人的面部的可能性高的区域。另外，在存储部13中存储有与人的姿势、朝向相关联的人的构造化信息，第一检测部121也可以参照该人的构造化信息来求出存在人的面部的可能性高的区域。设定部122将所求出的区域设定为检测范围。
[0072]
另外，在通过第一检测部121的检测处理检测到给定的部位(例如面部或者车牌)的情况下，不需要进行用于再次检测给定的部位的处理，因此设定部122不进行设定检测范围的处理。此外，在通过第一检测部121的检测处理未检测到给定的物体的情况下，判断为在拍摄图像中不存在给定的部位，因此设定部122不进行设定检测范围的处理。
[0073]
第二检测部123尝试从由设定部122设定的检测范围检测给定的部位。另外，第二检测部123的检测处理仅在设定了检测范围的情况下进行。即，第二检测部123的检测处理在不能由第一检测部121检测到给定的物体的情况、以及能够检测到给定的部位的情况下不进行。
[0074]
在本实施方式中，第二检测部123使用存储于存储部13的第二学习完毕模型132，尝试从所设定的检测范围检测给定的部位。另外，第二检测部123在检测处理中使用的图像可以是保持在从取得部11取得的状态不变的分辨率的图像。其中，也可以是从取得部11取得后进行了低分辨率化的图像。
[0075]
在使用了第二学习完毕模型132的第二检测部123的物体检测处理中，仅检测出给定的部位。因此，能够减小第二检测部123的物体检测处理的处理负载。在本实施方式中，第
二检测部123的检测处理的处理负载比第一检测部121的检测处理小。第二学习完毕模型132例如可以是使用dnn来检测给定的部位的结构。其中，第二学习完毕模型132例如也可以是通过利用了hog特征量的svm等其他机器学习的算法来检测给定的部位的结构。
[0076]
另外，第二检测部123也可以不利用通过机器学习而得到的第二学习完毕模型132，而例如使用模板匹配等其他方法来检测给定的部位。
[0077]
根据本实施方式，在尽管能够由第一检测部121检测到物体但未能检测出该物体的给定的部位的情况下，通过第二检测部123尝试检测给定的部位。因此，能够减少产生在拍摄图像中映现的想要检测的对象(在本实施方式中，给定的物体以及给定的物体所包括的给定的部位)的未检测的可能性。此外，第二检测部123检测给定的部位的范围被设定部122适当地筛选为拍摄图像的一部分的范围，因此第二检测部123能够高效地检测给定的部位。
[0078]
判断部124基于第二检测部123的检测结果，判断第一检测部121对给定的物体的检测是否为误检测。详细而言，判断部124在由第二检测部123检测到给定的部位的情况下，判断为第一检测部121对给定的物体的检测不是误检测。判断部124在由第二检测部123未能检测到给定的部位的情况下，判断为第一检测部121对给定的物体的检测是误检测。由此，能够减少将可靠性低的信息输出到图像处理装置1外的可能性。另外，能够检测出物体、该物体的给定部位的范围例如设定为在第四实施方式以后通过后述的“隐藏处理”进行隐藏的范围。隐藏处理是为了保护个人信息而对拍摄图像进行加工的处理。此外，例如，能够检测出物体、该物体的给定部位的范围能够用于监视、分选。作为一个例子，能够在自动检票机、飞机的搭乘口、金融机构的窗口等中的面部认证等中使用，在能够进行个体识别的情况下和不能进行个体识别的情况下，能够改变针对识别对象的处理。
[0079]
(1-2.图像处理装置的动作例)
[0080]
图3是表示本发明的第一实施方式所涉及的图像处理装置1的动作例的流程图。另外，图像处理装置1例如在每次由取得部11取得拍摄图像时进行图3所示的流程图的动作。
[0081]
在步骤s1中，取得部11从相机2取得拍摄图像。取得部11例如取得图4所示的拍摄图像p。在图4所示的拍摄图像p中，映现有1台车辆v在道路rd上行驶的样子。在拍摄图像p中映现有车辆v的前方的车牌n。当取得部11取得拍摄图像时，处理进入下一步骤s2。
[0082]
在步骤s2中，对第一检测部121所取得的拍摄图像进行物体检测处理(第一检测处理)。详细而言，第一检测部121利用第一学习完毕模型131，尝试从拍摄图像中检测给定的物体以及给定的物体所包括的给定的部位。例如，在给定的物体是车辆，该车辆所包括的给定的部位是车牌的情况下，第一检测部121尝试拍摄图像所包括的车辆以及车牌的检测。当第一检测处理结束时，处理进入步骤s3。
[0083]
图5是例示针对图4所示的拍摄图像p的第一检测部121的检测结果的图。在图5中，粗框b是边界框。第一检测部121对边界框b内的物体完成分类。即，在图5所示的例子中，第一检测部121能够检测拍摄图像中的车辆v(边界框b)无法检测车辆v所包括的给定部位即车牌n。
[0084]
在步骤s3中，通过设定部122确认第一检测部121是否检测到给定的物体。例如，在给定的物体是车辆的情况下，确认是否从拍摄图像检测到车辆。在判断为检测到给定的物体的情况下(在步骤s3中为“是”)，处理进入步骤s4。另一方面，在判断为未检测到给定的物
体的情况下(在步骤s3中为“否”)，暂时结束图3中流程图所示的处理。
[0085]
在图5所示的例子中，能够检测作为给定的物体的车辆v。因此，在图5所示的例子中，处理进入步骤s4。
[0086]
在步骤s4中，通过设定部122确认第一检测部121是否检测到给定的物体所包括的给定的部位。例如，在给定的部位是车牌的情况下，确认是否从拍摄图像检测到车牌。在判断为检测到给定的部位的情况下(在步骤s4中为“是”)，暂时结束图3中流程图所示的处理。另一方面，在判断为未检测到给定的部位的情况下(在步骤s4中为“否”)，处理进入步骤s5。
[0087]
另外，在步骤s4中，在步骤s2的处理中检测到多个给定的物体的情况下，确认是否正对各给定的物体检测给定的部位。即，针对由第一检测部121检测出的各物体，判断处理是否进入步骤s5。
[0088]
在图5所示的例子中，车辆v所包括的给定部位即车牌n未能被第一检测部121检测。因此，在步骤s4中，判断为使处理进入步骤s5。
[0089]
在步骤s5中，设定部122对拍摄图像设定用于检测给定的部位的范围即检测范围。例如，在未能被检测的给定的部位是车牌的情况下，在判断为在检测到车辆的区域内存在车牌的可能性高的区域中设定检测范围。当检测范围的设定完成时，处理进入步骤s6。另外，在存在多个未检测到给定的部位的给定的物体的情况下，对各给定的物体设定检测范围。
[0090]
图6是用于说明由图5所示的检测结果由第一检测部121得到的情况下的设定部122的处理的图。在图5中，由第一检测部121检测到一个未检测到车牌n的车辆v。因此，如图6所示，设定部122对拍摄图像设定用于检测由第一检测部121检测到的1台车辆v的车牌n的检测范围dr。
[0091]
在本例中，第一检测部121构成为，除了存在车辆v的区域以外，还能够得到例如车辆v的朝向、车辆v的类型这样的附加信息。如上所述，这样的附加信息的取得例如能够通过使用使dnn进行有教师的学习的学习完毕模型来取得。例如，车辆v的朝向能够通过使用与车辆v的朝向相关联的轮胎的外观不同的大量的图像数据进行机器学习而取得。例如，车辆v的类型能够通过使用两轮车、轻型汽车、普通汽车、大型汽车等与车辆v的类型相关联的大量的图像数据进行机器学习而取得。
[0092]
设定部122在由第一检测部121的检测处理得到的车辆v的位置信息中加入车辆v的朝向、类型这样的附加信息，求出在拍摄图像中存在车牌n的可能性高的区域。设定部122在求出车牌n存在的可能性高的区域时，参照在储部13中存储的表示车辆v的朝向、类型与车牌n的位置的关系的构造化信息。
[0093]
在步骤s6中，第二检测部123尝试从拍摄图像中设定的检测范围给定的部位的检测处理(第二检测处理)。详细而言，第二检测部123利用第二学习完毕模型132，尝试从所设定的检测范围检测给定的部位。例如，在给定的部位是车牌的情况下，第二检测部123尝试拍摄图像所包括的车牌的检测。当第二检测处理结束时，处理进入步骤s7。另外，在步骤s5中设定了多个检测范围的情况下，对各检测范围进行检测给定部位的处理。
[0094]
在图6所示的例子中，从拍摄图像中设定的检测范围dr尝试利用了第二学习完毕模型132的车牌n的检测。
[0095]
在步骤s7中，判断部124确认是否通过步骤s6的第二检测处理检测到给定的部位。
在检测到给定的部位的情况下(在步骤s7中为“是”)，处理进入步骤s8。在未检测到给定的部位的情况下(在步骤s7中为“否”)，处理进入步骤s9。另外，在步骤s5中设定了多个检测范围的情况下，确认针对各检测范围的第二检测处理的结果，针对各确认结果，判断使处理进入步骤s8和步骤s9中的哪一个。
[0096]
在步骤s8中，由于检测到给定的部位，因此判断部124判断为第一检测部121对给定的物体的检测不是误检测。然后，判断部124进行由第一检测部121检测到给定的物体的结果和由第二检测部123检测到给定的部位的结果的综合处理。例如，判断部124生成针对一个拍摄图像追加了表示检测到给定的物体的边界框和表示检测到给定的部位的边界框双方的图像。另外，也可以不一定进行综合处理。当步骤s8的处理完成时，图3所示的流程图的处理暂时结束。
[0097]
图7是表示进行了综合处理的图像的图。图7是假定通过第二检测部123对图6所示的检测范围dr进行检测处理的结果，检测到车牌n的图。如图7所示，通过综合处理，生成在一个拍摄图像p中追加了表示作为给定的物体的车辆v的检测的边界框b1、和表示作为给定的部位的车牌n的检测的边界框b2的图像。
[0098]
在步骤s9中，由于未检测到给定的部位，因此判断部124判断为第一检测部121对给定的物体的检测是误检测。关于判断为第一检测部121的误检测的检测结果，禁止向外部的输出。当步骤s9的处理完成时，图3所示的流程图的处理暂时结束。
[0099]
《2.第二实施方式》
[0100]
接下来，对第二实施方式所涉及的图像处理装置进行说明。在说明第二实施方式的图像处理装置时，对于与第一实施方式重复的部分，在不需要特别说明的情况下省略说明。
[0101]
(2-1.图像处理装置的结构)
[0102]
图8是表示本发明的第二实施方式所涉及的图像处理装置1a的结构的图。另外，在图8中，仅表示用于说明第二实施方式的图像处理装置1a的特征所需的结构要素，省略关于一般的结构要素的记载。此外，在图8中，为了容易理解，还示出了作为与图像处理装置1a不同的结构要素的相机2。另外，在本实施方式中，相机2搭载于车辆。即，在本实施方式中，拍摄图像是由搭载于车辆的相机2拍摄到的图像。详细而言，拍摄图像是由搭载于车辆的相机2拍摄到的车辆周边的图像。
[0103]
如图8所示，图像处理装置1a具备取得部11、控制部12a以及存储部13。由于取得部11以及存储部13与第一实施方式相同，因此省略其说明。
[0104]
与第一实施方式同样，控制部12a是统一控制图像处理装置1a的整体的控制器。控制部12a例如构成为包括cpu、ram以及rom等的计算机。其中，控制部12a具备与第一实施方式不同的功能。图8所示的第一检测部121、设定部122、第二检测部123、判断部124以及推断部125是通过控制部12a的cpu按照在存储部13中存储的程序执行运算处理而实现的控制部12a的功能。换言之，图像处理装置1a具备第一检测部121、设定部122、第二检测部123、判断部124以及推断部125。
[0105]
另外，控制部12a的各部121～125中的至少任意一个也可以由asic、fpga、gpu等硬件构成。此外，各部121～125是概念性的结构要素。可以使一个结构要素所执行的功能分散于多个结构要素，或者使多个结构要素所具有的功能统一为一个结构要素。此外，可以适当
地省略各部121～125中的设定部122、第二检测部123以及判断部124中的至少任意一个。
[0106]
第一检测部121、设定部122、第二检测部123以及判断部124的结构与第一实施方式相同，因此省略其说明。另外，在控制部12a例如是不具备设定部122、第二检测部123以及判断部124的结构的情况下，第一检测部121可以是仅使用进行了基于机器学习的学习的学习完毕模型来检测给定的物体的结构。
[0107]
推断部125推断车辆的行驶环境。在此，车辆是搭载有相机2的车辆。车辆的行驶环境例如是与存在于车辆的周边的物体(例如周边车辆、人、静止物等)的距离、车辆的周边的明亮度、车辆行驶的道路状况、车辆行驶的道路的种类(一般道路/高速公路等)、驾驶模式(自动驾驶)等。推断部125例如基于从车辆所具备的各种传感器、装置等取得的信息来推断行驶环境。
[0108]
各种传感器例如可以包括雷达、lidar(laser imaging detection and ranging)、超声波传感器、速度传感器、舵角传感器、gps(global positioning system)等。各种传感器也可以包括相机2。在各种装置中，例如可以包括能够通过与导航装置等外部装置进行通信而得到信息(道路信息等)的装置。例如，能够从雷达、lidar、超声波传感器、相机2等取得与存在于车辆的周边的物体的距离。
[0109]
在本实施方式的图像处理装置1a中，基于行驶环境来调整第一检测部121在检测处理中使用的拍摄图像的分辨率。拍摄图像的分辨率的调整例如由第一检测部121、新设置的分辨率调整部执行。在第一检测部121的检测处理中使用的拍摄图像的分辨率从取得部11取得的拍摄图像的分辨率起有所降低。基于由推断部125推断的行驶环境来调整该分辨率的降低程度。
[0110]
在物体的检测精度比物体检测所需要的处理时间优先时基于行驶环境来判断的第一情况下、和在前述的处理时间比前述的检测精度优先时基于行驶环境来判断的第二情况下，分辨率的降低程度不同。详细而言，在第一情况下，分辨率的降低程度比第二情况小。即，输入到第一学习完毕模型131的拍摄图像的分辨率在第一情况下比第二情况大。
[0111]
例如，在与存在于车辆周边的物体的距离长的情况下，期望处理时间有富余，物体的检测精度良好。另一方面，在与存在于车辆周边的物体的距离短的情况下，期望处理时间没有富余，以短时间检测物体。因此，在由推断部125判断为到物体的距离为给定的距离以下的情况下(相当于第二情况)，与判断为到物体的距离比给定的距离长的情况下(相当于第一情况)相比，输入到第一学习完毕模型131的拍摄图像的分辨率变小。
[0112]
如本实施方式那样，若使第一检测部121的物体检测中使用的拍摄图像的分辨率比由取得部11取得的拍摄图像的分辨率降低，则能够减少第一检测部121的处理负担。而且，在本实施方式中，是根据行驶环境来调整拍摄图像的分辨率的降低程度的结构，并非单纯地使第一检测部121的物体检测所使用的拍摄图像的分辨率降低。根据本实施方式，能够适当地减少物体检测中的处理量，并且进行适度地抑制了检测精度的降低的适当的物体检测处理。
[0113]
(2-2.图像处理装置的动作例)
[0114]
图9是表示本发明的第二实施方式所涉及的图像处理装置1a的动作例的流程图。图9所示的动作例与第一实施方式的图像处理装置1的动作例(参照图3)大体相同。在图9中，省略了与图3相同的一部分处理(步骤s2之后的处理)。在图9所示的动作例中，在图3所
示的动作例的步骤s1的处理与步骤s2的处理之间进行步骤s11的处理和步骤s12的处理，这一点与第一实施方式不同。以下对该不同部分的处理进行说明。
[0115]
在步骤s11中，推断部125推断搭载有相机2的车辆的行驶环境。若推断行驶环境，则处理进入接下来的步骤s12。另外，在本例中，成为在步骤s1的处理(图像的取得处理)之后进行步骤s11的处理的结构，但步骤s11的处理例如可以与步骤s1的处理并行地进行。
[0116]
在步骤s12中，利用由推断部125得到的行驶环境的推断结果，进行由取得部11取得的拍摄图像的分辨率的调整处理。在本例中，分辨率的调整处理是调整分辨率的降低程度的处理。当步骤s12的处理完成时，处理进入步骤s2，使用分辨率被调整后的拍摄图像进行第一物体检测处理。此后的处理与第一实施方式相同，因此省略说明。
[0117]
《3.第三实施方式》
[0118]
接下来，对第三实施方式所涉及的图像处理装置进行说明。在说明第三实施方式的图像处理装置时，对于与第一实施方式以及第二实施方式重复的部分，在不需要特别说明的情况下省略说明。
[0119]
(3-1.图像处理装置的结构)
[0120]
第三实施方式的图像处理装置的结构与第二实施方式的图像处理装置的结构相同。第三实施方式的图像处理装置也具备推断部125。其中，推断部125的推断结果的利用方法不同。以下，着重对该不同点进行说明。另外，在第三实施方式中，相机2也搭载于车辆，拍摄图像是由搭载于车辆的相机2拍摄到的图像。详细而言，拍摄图像是由搭载于车辆的相机2拍摄到的车辆周边的图像。
[0121]
在第三实施方式中，第一检测部121基于由推断部125推断出的行驶环境，对检测给定的物体以及给定的物体所包括的给定的部位的检测处理进行变更。若行驶环境不同，则拍摄图像中映现的要素的倾向改变。例如，市区行驶时的拍摄图像与高速公路行驶时的拍摄图像相比，存在拍摄图像中映现的要素变多的倾向。如本实施方式那样，通过根据行驶环境来变更物体的检测处理，能够适当地将物体的检测处理的条件设为适当，抑制物体检测所需的时间过长、物体的检测精度降低。
[0122]
在第三实施方式的图像处理装置中，也与第一实施方式以及第二实施方式同样地，第一检测部121设置为能够使用通过机器学习而生成的学习完毕模型来检测给定的物体以及给定的物体所包括的给定的部位。其中，在第三实施方式中，第一检测部121仅使用存储于存储部13的一个第一学习完毕模型131。
[0123]
第一检测部121基于由推断部125推断出的行驶环境来变更所使用的学习完毕模型。即，在本实施方式中，在存储部13中，代替第一学习完毕模型131，存储有第一检测部121根据行驶环境而区分使用的多个学习完毕模型。根据行驶环境区分使用的多个学习完毕模型的数量只要是2个以上即可，其数量可以适当变更。根据本实施方式，能够根据行驶环境使用适当的学习完毕模型进行物体检测，能够使检测处理所需的时间缩短，或者抑制检测精度的降低。
[0124]
另外，根据行驶环境区分使用的多个学习完毕模型也可以不预先存储在存储部13中。例如，也可以是根据需要从能够经由服务器装置等网络进行通信的装置下载的结构。在这种情况下，在初始状态下，也可以构成为在存储部13中一个都不存储第一检测部121使用的学习完毕模型，但也可以构成为至少存储一个第一检测部121使用的学习完毕模型。此
外，在下载学习完毕模型的结构中，例如可以构成为每次执行下载时，删除已经存储在存储部13中的学习完毕模型的至少一部分。
[0125]
(3-2.图像处理装置的动作例)
[0126]
图10是表示本发明的第三实施方式所涉及的图像处理装置的动作例的流程图。图10所示的动作例与第一实施方式的图像处理装置1的动作例(参照图3)大体相同。在图10中，省略了与图3相同的一部分处理(步骤s2之后的处理)。在图10所示的动作例中，在图3所示的动作例的步骤s1的处理与步骤s2的处理之间进行步骤s13的处理和步骤s14的处理，这一点与第一实施方式不同。以下对该不同部分的处理进行说明。
[0127]
在步骤s13中，推断部125推断搭载有相机2的车辆的行驶环境。若推断行驶环境，则处理进入接下来的步骤s12。另外，在本例中，成为在步骤s1的处理(图像的取得处理)之后进行步骤s13的处理的结构，但步骤s13的处理例如可以与步骤s1的处理并行地进行。
[0128]
在步骤s14中，利用由推断部125得到的行驶环境的推断结果，决定第一检测部121为了检测给定的物体以及给定的物体所包括的给定的部位而使用的学习完毕模型。当步骤s14的处理结束时，处理进入步骤s2，第一检测部121使用之前决定的学习完毕模型来进行第一物体检测处理。在需要从外部下载学习完毕模型的情况下，在第一物体检测处理之前进行该下载。步骤s2的第一物体检测处理以后的处理与第一实施方式相同，因此省略说明。
[0129]
《4.第四实施方式》
[0130]
然而，对于在拍摄图像中检测到的物体以及该物体所包括的给定的部位，有时需要保护隐私。作为保护隐私的技术，已知有“隐藏处理”。隐藏处理是为了保护个人信息而对拍摄图像进行加工的处理。
[0131]
其中，在拍摄图像中想要检测的对象物的尺寸小等无法检测出对象物的特征的情况下，有时想要检测的对象物的检测会失败。若能够确定面部等的个人的对象物的检测失败，则有可能在隐藏面部等的隐藏处理中产生遗漏。
[0132]
此外，若在拍摄图像中进行隐藏的范围变得过大，则能够从拍摄图像中提取的信息减少。因此，期望避免对拍摄图像的过度的隐藏。
[0133]
此外，在使用通过机器学习而得到的学习模型来从图像中识别出人等被摄体的情况下，表示该识别概率、换言之检测的可靠度的程度的检测准准确度有时会因例如与图像混杂的噪声的影响等而在时间序列上瞬间或者断续地降低。
[0134]
于是，检测准确度低的被摄体被判断为不是隐藏的对象，不能说瞬间或者断续，有可能不进行隐藏而隐私未被保护。
[0135]
在第四实施方式以及后述的第五、第六实施方式中，关于这一点，说明用来适当地进行对拍摄图像进行的用于个人信息的保护的隐藏的结构。另外，以下，设上述给定的物体以及上述给定的部位是包括需要保护个人信息的隐藏的特定部位的物体以及上述特定部位。
[0136]
(4-0.个人信息保护系统)
[0137]
图11是表示本发明的第四～第六实施方式所涉及的个人信息保护系统s的结构的图。个人信息保护系统s具备车辆用装置100和数据收集装置200。
[0138]
车辆用装置100是搭载于车辆而使用的终端装置。车辆例如是汽车、摩托车、电车、自动导引车等具有车轮的交通工具。在车辆上搭载有包括相机的各种传感器。车辆用装置
100从各种传感器取得各种数据。在各种数据中，除了由相机拍摄到的拍摄图像之外，还可以包括例如车辆的速度、车辆的位置、车辆的特定位置的通过时间等。
[0139]
另外，车辆用装置100例如可以由行车记录仪、导航装置兼用。其中，车辆用装置100也可以是与行车记录仪、导航装置不同的装置。此外，车辆用装置100可以是车载装置，也可以是车辆的乘员能够携带的便携终端。在车辆用装置100为便携终端的情况下，车辆用装置100例如可以是智能手机、平板电脑等。
[0140]
数据收集装置200例如经由因特网、移动电话网络等网络(未图示)与车辆用装置100可通信地设置。数据收集装置200例如构成为提供经由网络的云服务的云服务器。数据收集装置200从数据利用者(未图示)受理数据的收集请求，并且基于受理的收集请求将从车辆用装置100收集到的数据提供给数据利用者。另外，数据收集装置200通常设置为能够与多台车辆用装置100通信，从各车辆用装置100收集数据。
[0141]
如图11所示，车辆用装置100具备个人信息保护处理部101。个人信息保护处理部101针对从搭载于车辆的各种传感器得到的数据所包括的个人信息，进行成为无法确定个人的状态的保护处理。车辆用装置100对各种数据适当地进行保护个人信息的保护处理并发送给数据收集装置200。
[0142]
另外，个人信息原则上是能够确定特定的个人的信息，但在本说明书中，个人信息可以与隐私同义地使用。个人信息例如包括由相机拍摄的拍摄图像中包括的人的面部、车的车牌、能够确定车辆通过的场所的地点名标识等。此外，个人信息并不局限于拍摄图像中包括的信息、也可以包括车辆识别编号(vin：vehicle identification number)、各种时间等。个人信息也可以仅包括与搭载有车辆用装置100的车辆的乘员相关的个人信息和与存在于搭载有车辆用装置100的车辆外的人相关的个人信息这两者、或者任意一者。
[0143]
作为个人信息保护处理部101的个人信息的保护方法，例如可以举出使拍摄图像的分辨率降低的处理、对拍摄图像的整体或者一部分进行加密的处理、对字符、数字数据进行加密的处理、将拍摄图像内的不需要的信息(包括个人信息)全部屏蔽的处理这样的“隐藏处理”。另外，在进行加密的情况下，优选为能够在数据收集装置200侧进行解密的结构。
[0144]
在本实施方式中，个人信息保护处理部101针对所取得的拍摄图像，进行通过车辆用装置100所包括的后述的图像处理装置3、3a、5(参照图12、图18、图28)来保护个人信息的保护处理。个人信息保护处理部101对从车辆识别编号等拍摄图像以外检测出的个人信息，通过加密单元进行加密。车辆用装置100针对由个人信息保护处理部101进行了保护处理的数据，经由发送部102向数据收集装置200发送。
[0145]
如图11所示，数据收集装置200具备个人信息管理部201。个人信息管理部201经由从车辆用装置100的发送部102接收数据的接收部202取得各种数据，对该各种数据的个人信息进行管理。个人信息管理部201将取得的数据加工成个人不被确定并存储在存储部203中。存储在存储部203中的数据由上述的数据利用者利用。
[0146]
另外，在本实施方式中，在车辆用装置100中进行保护个人信息的保护处理，但并不局限于此，也可以在数据收集装置200侧进行保护个人信息的保护处理。在这种情况下，后述的图像处理装置3、3a、5包括在数据收集装置200侧。其中，进行保护个人信息的处理的图像处理装置3、3a、5不是作为服务器而构成的数据收集装置200，优选包括在发送数据的车辆用装置100侧。此外，向数据收集装置200发送数据的装置也可以不是车辆用装置100，
而是例如设置于具备监视相机的商业设施、车站、停车场等的终端装置等。
[0147]
(4-1.图像处理装置的结构)
[0148]
图12是表示本发明的第四实施方式所涉及的图像处理装置3的结构的图。另外，在图12中，仅表示用于说明第四实施方式的图像处理装置3的特征所需的结构要素，省略关于一般的结构要素的记载。此外，在图12中，为了容易理解，还示出了作为与图像处理装置3不同的结构要素的相机4。如图12所示，图像处理装置3具备取得部31、控制部32以及存储部33。
[0149]
取得部31取得拍摄图像。在本实施方式中，取得部31从搭载于车辆的相机4以给定的周期(例如1/30秒周期)在时间上连续取得模拟或者数字的拍摄图像。由取得部31取得的拍摄图像的集合体是由相机4拍摄到的动态图像。在所取得的拍摄图像为模拟的情况下，取得部31将该模拟的拍摄图像变换为数字的拍摄图像(a/d变换)。取得部31将所取得的拍摄图像(在进行了a/d变换的情况下为变换后的图像)输出至控制部32。
[0150]
另外，相机4例如是对车辆的前方、后方等车辆的周围进行监视的相机。其中，相机4例如也可以是拍摄车辆的室内的相机。
[0151]
控制部32是统一控制图像处理装置3的整体的控制器。控制部32例如构成为包括作为硬件处理器的cpu、ram以及rom等的计算机。
[0152]
存储部33例如由ram、闪存等半导体存储器元件、硬盘、或者使用光盘等可移动型的记录介质的存储装置等构成。存储部33存储作为固件的程序、各种数据。在本实施方式中，存储部33存储能够检测物体的学习完毕模型331。学习完毕模型331例如通过利用dnn等机器学习的算法进行学习而得到。学习完毕模型331例如可以通过有教师的学习而得到。
[0153]
图12所示的检测部321以及隐藏部322是通过控制部32的cpu按照存储于存储部33的程序来执行运算处理而实现的控制部32的功能。换言之，图像处理装置3具备检测部321和隐藏部322。
[0154]
另外，控制部32的检测部321以及隐藏部322中的至少任意一个也可以由asic、fpga、gpu等硬件构成。此外，检测部321以及隐藏部322是概念性的结构要素。可以使一个结构要素所执行的功能分散于多个结构要素，或者使多个结构要素所具有的功能统一为一个结构要素。此外，取得部31也可以构成为通过控制部32的cpu按照程序进行运算处理来实现。此外，关于图像处理装置3的具体的硬件结构，可以根据实施方式适当地进行结构要素的省略、置换或者追加。例如，控制部32也可以包括多个硬件处理器。
[0155]
检测部321设置为能够从所取得的拍摄图像中检测包括需要保护个人信息的隐藏的特定部位的物体以及前述的特定部位。在本实施方式中，检测部321使用存储于存储部33的学习完毕模型331，从拍摄图像中检测包括需要隐藏的特定部位的给定的物体以及给定的物体的特定部位。检测部321优选使用降低了从取得部31取得的拍摄图像的分辨率的低分辨率图像，进行基于学习完毕模型331的物体检测。由此，能够减少检测部321中的物体检测处理的处理负担。
[0156]
作为给定的物体，例如可列举出人、汽车等车辆、以及确定设置于信号灯的附近等的场所的地点名标识等。特定部位是能够确定特定的个人、或者推断个人的隐私的部位。在给定的物体是人的情况下，特定部位例如是面部。在给定的物体是车辆的情况下，特定部位例如是车牌。在给定的物体是地点名标识的情况下，特定部位例如是标识的文字部分。另
外，也可以在给定的物体中包括多个特定部位。此外，给定的物体可以包括多种物体。优选在检测部321可检测地设置的给定的物体中包括人以及车辆中的至少一方。
[0157]
学习完毕模型331优选使用dnn来检测物体以及特定部位的结构。其中，学习完毕模型331例如也可以是通过利用了hog特征量的svm等其他机器学习的算法来检测物体以及特定部位的结构。此外，检测部321也可以是不使用进行了机器学习的学习完毕模型331，例如，使用模板匹配等来检测物体以及特定部位的结构。
[0158]
隐藏部322基于检测部321的检测结果，对拍摄图像进行用于隐藏的隐藏处理。隐藏处理是为了保护个人信息而对拍摄图像(数据)进行加工的处理。隐藏处理在检测到物体(包括特定部位)以及特定部位这两者的情况和仅检测出物体(包括特定部位)以及特定部位中的物体的情况不同。即，隐藏部322在检测到物体以及特定部位这两者的情况下和仅检测到物体以及特定部位中的物体的情况下变更隐藏的方法。例如，在检测到车辆和车牌这两者的情况和仅检测到车牌而仅检测到车辆的情况下，变更隐藏处理的方法。
[0159]
根据本结构，在能够检测出需要保护个人信息的特定部位的情况下，能够抑制隐藏的范围变得过度而实现特定部位的隐藏。此外，即便在未能检测到特定部位的情况下，在能够检测到包括特定部位的物体的情况下，也能够以与检测到特定部位的情况不同的方法进行隐藏处理，因此能够减少在用于个人信息的保护的隐藏处理中产生遗漏的可能性。
[0160]
另外，特定部位是物体的一部分要素，在能够检测特定部位的情况下，通常也能够检测包括特定部位的物体。即，在包括特定部位的物体以及特定部位中仅检测特定部位的状态产生的可能性较少。假设在产生了这样的状态的情况下，进行与能够检测到物体和特定部位这两者的情况同样的隐藏处理即可。由此，能够保护个人信息。此外，在无法检测到物体以及特定部位这两者的情况下，不存在保护个人信息的对象，不进行隐藏处理。
[0161]
详细而言，由隐藏部322进行的隐藏处理是在检测到物体以及特定部位这两者的情况下，以特定部位为对象进行隐藏的第一隐藏处理。第一隐藏处理是只对拍摄图像中的物体整体中的特定部位进行隐藏的处理。例如，第一隐藏处理是只对拍摄图像中的车辆整体的车牌进行隐藏的处理。第一隐藏处理例如可以是用一个颜色涂抹特定部位的处理。此外，第一隐藏处理例如也可以是对特定部位进行晕映、或者对特定部位实施马赛克的处理。
[0162]
另外，通过第一隐藏处理进行隐藏的范围可以与特定部位的检测范围完全一致，但也可以不完全一致。只要通过特定部位的隐藏处理来实现个人信息的保护即可。优选通过第一隐藏处理进行隐藏的范围比特定部位的检测范围宽。由此，能够考虑特定部位的检测范围的误差来适当地实现个人信息的保护。
[0163]
由隐藏部322进行的隐藏处理是在仅检测出物体以及特定部位中的物体的情况下，以物体为对象进行隐藏的第二隐藏处理。第二隐藏处理是对拍摄图像中的物体整体进行隐藏的处理。例如，第二隐藏处理是在能够从拍摄图像检测到车辆但未能检测到车牌的情况下，对拍摄图像中的车辆整体进行隐藏的处理。第二隐藏处理例如可以是将拍摄图像中的物体整体用一个颜色涂满的处理。此外，第二隐藏处理例如也可以是使拍摄图像中的物体整体晕映或者对物体整体实施马赛克的处理。
[0164]
另外，通过第二隐藏处理进行隐藏的范围可以与物体的检测范围完全一致，但也可以不完全一致。只要通过物体的隐藏处理来进行个人信息的保护即可。优选通过第二隐藏处理进行隐藏的范围比物体的检测范围宽。由此，能够考虑物体的检测范围的误差而适
当地实现个人信息的保护。
[0165]
在本实施方式中，图像处理装置3在能够检测到需要保护个人信息的特定部位的情况下，只对该特定部分进行隐藏。因此，能够抑制过度地对拍摄图像实施加工，从而能够抑制与物体相关的信息被过度削减。另一方面，根据本实施方式，即便在未能检测到特定部位的情况下，在能够检测到包括特定部位的物体的情况下，由于以物体整体为对象进行隐藏，也能够减少在特定部位的隐藏产生遗漏的可能性。
[0166]
(4-2.图像处理装置的动作例)
[0167]
图13是表示本发明的第四实施方式所涉及的图像处理装置3的动作例的流程图。此外，图14是表示由取得部31取得的拍摄图像的一例的图。另外，图像处理装置3例如在每次由取得部31取得拍摄图像时进行图13所示的流程图的动作。
[0168]
在步骤s51中，取得部31从相机4取得拍摄图像。取得部31例如取得如图14所示的拍摄图像。在图14所示的拍摄图像中，映现有两个人h1、h2沿着配置在道路rd的旁边的墙壁w行走的样子。当取得部31取得拍摄图像时，处理进入下一步骤s52。
[0169]
在步骤s52中，检测部321进行物体检测处理。详细而言，检测部321利用学习完毕模型331，尝试检测给定的物体以及给定的物体所包括的特定部位。例如，在给定的物体是人的情况下，检测部321尝试检测包括在拍摄图像中的人以及面部。当物体检测处理结束时，处理进入步骤s53。
[0170]
图15是例示检测部321相对于图14所示的拍摄图像的检测结果的图。在图15中，粗框b1至b3是边界框。检测部321对各边界框b1～b3内的物体完成分类。在图15所示的例子中，检测部321能够检测拍摄图像中的人h1(边界框b1)，但不能检测到人h1的面部。在本例中，例如人h1朝下等成为原因，认为面部的特征未被识别，无法检测到人h1的面部。对于拍摄图像中的人h2，检测部321能够检测人(边界框b2)以及面部(边界框b3)。
[0171]
在步骤s53中，通过隐藏部322判断检测部321是否检测到给定的物体。例如，在给定的物体是人的情况下，判断是否从拍摄图像检测到人。在判断为检测到给定的物体的情况下(在步骤s53中为“是”)，处理进入步骤s54。另一方面，在判断为未检测到给定的物体的情况下(在步骤s53中为“否”)，暂时结束图13中流程图所示的处理。另外，在图13所示的例子中，以不产生未检测到给定的物体而仅检测特定部位的情况为前提。
[0172]
在图15所示的例子中，能够对人h1以及人h2这两者进行人的检测。因此，在图15所示的例子中，处理进入步骤s54。
[0173]
在步骤s54中，通过隐藏部322判断检测部321是否检测到包括在给定的物体中的特定部位。例如，在由检测部321检测到的物体是人的情况下，判断是否从拍摄图像检测到作为特定部位的面部。在判断为检测到特定部位的情况下(在步骤s54中为“是”)，处理进入步骤s55。另一方面，在判断为未检测到特定部位的情况下(步骤s54为“否”)，处理进入步骤s56。
[0174]
另外，在步骤s54中，在步骤s52中检测到多个给定的物体的情况下，判断是否对各给定的物体检测到特定部位。即，对于检测到的各物体，判断向步骤s55和步骤s56中的哪一个推进处理。
[0175]
在图15所示的例子中，由于检测到人h1和人h2，因此判断是否对每个人h1、h2检测到作为特定部位的面部。关于人h1，由于没有检测到面部，因此判断为使处理进入步骤s56。
关于人h2，由于检测到面部，因此判断为使处理进入步骤s55。
[0176]
在步骤s55中，隐藏部322进行以特定部位为对象的第一隐藏处理。例如，在由检测部321检测到的物体是人的情况下，将检测到的面部作为对象来进行第一隐藏处理。当第一隐藏处理结束时，图13中的流程图所示的处理暂时结束。
[0177]
在步骤s56中，隐藏部322进行以给定的物体为对象的第二隐藏处理。例如，在由检测部321检测到的物体是人的情况下，将检测到的人整体作为对象来进行第二隐藏处理。当第二隐藏处理结束时，图13中的流程图所示的处理暂时结束。
[0178]
图16是例示按照图15所示的检测结果执行的隐藏处理的结果的图。对于人h1，由于没有检测到作为特定部位的面部，因此处理进入步骤s56，进行将检测到的人整体作为对象的隐藏。在图16所示的例子中，对由表示人h1的检测的边界框b1包围的区域的整体实施用于隐藏的马赛克。另一方面，由于对人h2检测到作为特定部位的面部，因此处理进入步骤s55，进行将检测到的面部作为对象的隐藏。在图16所示的例子中，对由表示人h2的面部的检测的边界框b3包围的区域的整体实施用于隐藏的马赛克。
[0179]
另外，也可以代替用于隐藏的马赛克处理，例如进行晕映处理、涂抹处理。此外，用于隐藏的处理例如可以在比由边界框b1、b3包围的区域稍宽的范围内实施。
[0180]
(4-3.变形例)
[0181]
图17是用于说明由隐藏部322进行的隐藏处理的变形例的图。图17是表示实施了隐藏处理的拍摄图像的图。另外，在图17所示的例子中，与上述的图16同样地，对人h1进行以检测到的人整体为对象的隐藏处理(第二隐藏处理)，对人h2进行以特定部位(面部)为对象的隐藏处理(第一隐藏处理)。
[0182]
在进行隐藏处理时，隐藏部322也可以将从拍摄图像得到的物体(包括特定部位)以及特定部位中的至少一方置换为cg(computer graphics，计算机图形)。在图17所示的例子中，仅将从拍摄图像得到的特定部位(人h2的面部)置换为cg。针对从拍摄图像得到的物体(人h1)，为了隐藏不是利用cg进行置换，而是实施了马赛克。其中，也可以对从拍摄图像得到的物体(人h1)进行向cg的置换。此外，也可以将从拍摄图像得到的物体(人h1)置换为cg，对特定部位(人h2的面部)不进行向cg的置换而实施马赛克等。
[0183]
此外，隐藏部322可以针对从拍摄图像得到的物体(包括特定部位)以及特定部位中的至少一方，反映从拍摄图像得到的特征并进行隐藏处理。由此，能够在进行个人信息的保护的同时，抑制从拍摄图像得到的信息量减少。
[0184]
在图17所示的例子中，仅针对从拍摄图像得到的特定部位(人h2的面部)，一边反映从拍摄图像得到的特征一边进行隐藏处理。针对从拍摄图像得到的物体(人h1)，仅实施用于隐藏的马赛克。其中，针对从拍摄图像得到的物体(人h1)，也可以在反映从拍摄图像得到的特征的同时进行隐藏处理。此外，也可以构成为针对从拍摄图像得到的物体(人h1)，一边反映从拍摄图像得到的特征一边进行隐藏处理，针对特定部位(人h2的面部)，仅实施马赛克等。
[0185]
从拍摄图像得到的特征例如在特定部位是面部的情况下，是面部的朝向、视线、表情、年龄层、性别等。从拍摄图像得到的特征例如在包括特定部位的物体是人的情况下是年龄、性别等。从拍摄图像得到的特征例如在包括特定部位的物体是车辆的情况下，是车辆的类别(汽车、摩托车等)、基于汽车的用途的类别(乘用车、卡车、公共汽车、出租车等)、汽车
的车身类别(轿车、小型厢式车、小型客车等)等。
[0186]
在图17所示的例子中，使用反映了从拍摄图像得到的表情(笑脸)的cg。除了显示之外，例如，在检测到人h1是女子的情况下，可以将拍摄图像中的女子的面部置换为笑脸的女子的cg。从拍摄图像得到的特征的检测例如可以利用dnn等机器学习的算法、模板匹配等。此外，从拍摄图像得到的特征也可以考虑从生物体传感器等相机以外的传感器得到的信息来检测。
[0187]
此外，隐藏部322可以通过针对拍摄图像中的物体(包括特定部位)以及特定部位中的至少一方能够解密地进行加密来进行隐藏。由此，例如，在为了解决事件需要确认拍摄图像中的个人信息等特殊情况的情况下，能够通过对加密后的拍摄图像进行解密来确认个人信息。
[0188]
例如，在车辆用装置100中进行加密，在数据收集装置200侧，在满足给定的条件的情况下进行解密。给定的条件例如是从车辆用装置100的乘员得到许可的情况等。加密方式例如可以使用公知的公共密钥加密、公开密钥加密、或者公共密钥加密和公开密钥加密的混合方式等。在混合方式中，例如，在公共密钥的交接时使用使用公开密钥和秘密密钥的公开密钥加密，在图像数据的加密中使用公共密钥。另外，车辆用装置100既可以保存加密前的数据，也可以保存加密后的数据。
[0189]
《5.第五实施方式》
[0190]
接下来，对第五实施方式所涉及的图像处理装置进行说明。在说明第五实施方式的图像处理装置时，针对与第四实施方式重复的部分，在不需要特别说明的情况下省略说明。
[0191]
(5-1.图像处理装置的结构)
[0192]
图18是表示本发明的第五实施方式所涉及的图像处理装置3a的结构的图。另外，在图18中，仅表示用于说明第五实施方式的图像处理装置3a的特征所需的结构要素，省略关于一般的结构要素的记载。此外，在图18中，为了容易理解，还示出了作为与图像处理装置3a不同的结构要素的相机4。如图18所示，图像处理装置3a具备取得部31、控制部32a以及存储部33a。
[0193]
取得部31与第四实施方式相同，因此省略其说明。
[0194]
与第四实施方式同样，控制部32a是统一控制图像处理装置3a的整体的控制器。控制部32a例如构成为包括cpu、ram以及rom等的计算机。其中，控制部32a具备与第四实施方式不同的功能。关于该不同点，将在后面叙述。
[0195]
存储部33a也是与第四实施方式相同的结构，但存储第一学习完毕模型331和第二学习完毕模型332这一点与第四实施方式不同。第一学习完毕模型331与第四实施方式的学习完毕模型331相同，用于物体检测。第二学习完毕模型332用于后述的图像分割。第二学习完毕模型332例如通过利用dnn等机器学习的算法进行学习而得到。
[0196]
图18所示的检测部321、隐藏部322以及图像分割部323是通过控制部32a的cpu按照存储于存储部33a的程序来执行运算处理而实现的控制部32a的功能。换言之，图像处理装置3a具备检测部321、隐藏部322a和图像分割部323。
[0197]
另外，控制部32a的各部321、322a、323中的至少任意一个也可以由asic、fpga、gpu等硬件构成。此外，各部321、322a、323是概念性的结构要素。可以使一个结构要素所执行的
功能分散于多个结构要素，或者使多个结构要素所具有的功能统一为一个结构要素。
[0198]
检测部321的结构与第四实施方式相同，因此省略其说明。另外，检测部321使用第一学习完毕模型331，从拍摄图像中检测包括需要隐藏的特定部位的给定的物体以及给定的物体的特定部位。
[0199]
图像分割部323对由取得部31取得的拍摄图像进行对每个像素标注含义的图像分割。图像分割部323使用存储于存储部33a的第二学习完毕模型332，对拍摄图像进行图像分割。通过图像分割，划分拍摄图像中包括的多个要素。
[0200]
在本实施方式中，作为一例，通过图像分割，以相对其他物体等要素区分的等级将包括特定部位的物体进行分割，不进行划分构成包括特定部位的物体的各要素的等级的分割。通过图像分割，能够提取包括特定部位的物体在图像中占据的区域。
[0201]
另外，在本实施方式中，由检测部321进行的物体检测和由图像分割部323进行的图像分割并行地进行。此外，图像分割部323优选使用降低了从取得部31取得的拍摄图像的分辨率的低分辨率图像，进行基于第二学习完毕模型332的图像分割。由此，能够减少图像分割部323中的图像分割的处理负担。由检测部321进行的物体检测所使用的低分辨率图像与用于图像分割的低分辨率图像可以是相同的分辨率，但也可以互不相同。例如，用于图像分割的低分辨率图像可以具有比用于物体检测的低分辨率图像更低的分辨率。
[0202]
与第四实施方式同样地，隐藏部322a基于检测部321的检测结果，切换进行以特定部位为对象的第一隐藏处理和以包括特定部位的物体为对象的第二隐藏处理。隐藏部322a进行的第一隐藏处理与第四实施方式相同。其中，隐藏部322a进行的第二隐藏处理与第四实施方式不同。
[0203]
在第五实施方式中，第二隐藏处理是将通过图像分割得到的物体(包括特定部位)的区域设为削减了物体的特征的图像的处理。削减了物体的特征的图像例如是涂抹图像、晕映图像、马赛克图像等。根据这样的结构，在以包括特定部位的物体为对象进行隐藏的情况下，能够尽量保留物体的形状而进行隐藏。即，能够减少通过隐藏处理从拍摄图像削减的信息量，并且适当地进行用于个人信息保护的隐藏。在本实施方式中，第二隐藏处理能够解释为一边反映从拍摄图像得到的物体(包括特定部位)的特征一边进行隐藏处理。
[0204]
另外，通过第二隐藏处理进行隐藏的范围可以与通过图像分割得到的物体(包括特定部位)的区域完全一致，也可以不完全一致。通过第二隐藏处理进行隐藏的范围例如可以比通过图像分割得到的物体的区域稍宽。
[0205]
(5-2.图像处理装置的动作例)
[0206]
图19是表示本发明的第五实施方式所涉及的图像处理装置3a的动作例的流程图。第五实施方式的图像处理装置3a的动作大体与第四实施方式的图像处理装置3的动作相同，因此以不同点为中心进行说明。
[0207]
首先，取得部31从相机4取得拍摄图像(步骤s51)。使用所取得的拍摄图像，并行地进行由检测部321进行的物体检测处理(给定的物体以及特定部位的检测)和由图像分割部323进行的图像分割(步骤s52a)。
[0208]
图20是例示对图14所示的拍摄图像的图像分割的结果的图。通过图像分割，将道路rd、墙壁w和人h分类。在图20所示的例子中，被分类的各要素rd、w、h改变涂抹的颜色来进行区别。另外，被分类的各要素的区别也可以不是改变涂抹的颜色，而是例如通过改变阴影
的种类等来进行。
[0209]
当由检测部321进行的物体检测和由图像分割部323进行的图像分割结束时，由检测部321判断是否检测到给定的物体(步骤s53)。在未检测到给定的物体的情况下(在步骤s53中为“否”)，暂时结束图13中流程图所示的处理。在检测到给定的物体的情况下(步骤s53为“是”)，通过检测部321判断是否检测到给定的物体所包括的特定部位(步骤s54)。另外，在步骤s54中，在步骤s52中检测到多个给定的物体的情况下，判断对各给定的物体是否检测到特定部位。
[0210]
在检测到特定部位的情况下(在步骤s54中为“是”)，以该特定部位为对象进行第一隐藏处理(步骤s55)。在未检测到特定部位的情况下(在步骤s54中为“否”)，以包括该特定部位的物体为对象进行第二隐藏处理(步骤s56)。基于图像分割的结果来执行第二隐藏处理。
[0211]
图21是例示在五实施方式的图像处理装置3a中输入了图14所示的拍摄图像的情况下的隐藏处理结果的图。在该例子中，检测部321的检测结果与第四实施方式的图15所示的结果相同。即，人h1被检测为人，但不能检测作为特定部位的面部。关于人h2，能够进行人以及面部的检测。
[0212]
在图21中，关于人h1，进行第二隐藏处理。即，针对由取得部31取得的拍摄图像，通过图像分割得到的人h1的区域成为削减了人的特征的图像(本例中为涂抹图像)。由此，在保留人h1的大小、姿势等信息的同时，人h1的个人信息被隐藏。
[0213]
在本例中，详细而言，在削减了人的特征的图像中应用在图像分割时生成的图像(参照图20)。即，在削减了物体(包括特定部位)的特征的图像中应用在图像分割时生成的图像。由此，例如能够利用阿尔法混合等图像合成方法，得到进行了个人信息的隐藏的图像。
[0214]
在图21中，关于人h2，进行了第一隐藏处理。在图21所示的例子中，由检测部321检测到的特定部位(面部)的区域被置换为cg。其中，针对特定部位的隐藏，例如可以利用涂抹、晕映、马赛克等。
[0215]
然而，虽然在之前示出的图11中未图示，但在车辆用装置100向数据收集装置200发送的数据中包括标签数据和实际数据。
[0216]
作为包括这一点在内的补充事项，使用图22～图24具体说明在个人信息保护系统s中向数据利用者提供数据为止的一系列流程。图22是表示个人信息保护系统s的动作例的图(其一)。此外，图23是表示个人信息保护系统s的动作例的图(其二)。此外，图24是表示个人信息保护系统s的动作例的图(其三)。
[0217]
如图22所示，首先，数据利用者通过与数据收集装置200连接的利用者终端300来指定收集条件。
[0218]
此外，此时，数据收集装置200附加于所收集的实际数据r，生成用于生成具有作为用于该实际数据r的检索、概要掌握、选择等的索引数据的特性的标签数据t的生成用数据。另外，该标签数据t的生成用数据使用存储于利用者终端300或者数据收集装置200的程序、生成用数据，并且基于数据利用者的操作而生成。
[0219]
然后，所指定的收集条件、所生成的标签数据t的生成用数据存储于数据收集装置200，并且向成为数据收集的对象的车辆分发，也存储于车辆用装置100。
[0220]
接下来，各车辆用装置100监视各种传感器的输出数据，在发生了满足所存储的收集条件的事件的情况下，将该实际数据r存储在存储设备中。此外，各车辆用装置100基于所存储的标签数据t的生成用数据和实际数据r，生成并存储与该实际数据r对应的标签数据t。
[0221]
另外，标签数据t不是单纯摘录实际数据r的一部分那样的数据，优选在数据利用者参照时掌握实际数据r的概要，以能够判断是否需要实际数据r的程度被元信息化。
[0222]
然后，各车辆用装置100随时将标签数据t上传至数据收集装置200，数据收集装置200随时存储该标签数据t。另外，此时，实际数据r不被上传到数据收集装置200。此外，这里所说的“随时”除了实时(即，“立即”)的含义以外，广泛包括在通信环境整齐的情况下一并上传这样的具有某种程度的实时性的情况。不限于通信环境准备好的情况，也可以包括蓄积了给定的数据容量的情况、从上次的上传起经过了给定时间、或者行驶了给定距离的情况等。此外，也可以包括“周期性地”的含义。
[0223]
然后，当通过利用者终端300为了确认数据收集状况、收集实际数据r而与数据收集装置200连接时，数据利用者将基于由数据收集装置200收集到的标签数据t的元信息显示于利用者终端300。同时，显示用于进行选择与各标签数据t对应的实际数据r的操作的ui(user interface)画面。
[0224]
然后，如图23所示，当数据利用者通过利用者终端300指定与想要收集的实际数据r对应的标签数据t时，经由数据收集装置200向相应的车辆用装置100发送指定实际数据r的“指示数据”。
[0225]
之后，如图24所示，选择所指定的实际数据r，从各车辆用装置100上传至数据收集装置200，并存储于数据收集装置200。然后，数据利用者通过利用者终端300访问存储于数据收集装置200的实际数据r，进行该实际数据r的阅览或者下载等。针对加密后的个人信息，在此时被解密。
[0226]
另外，从车辆用装置100的存储容量的观点出发，优选上传至数据收集装置200的实际数据r以及与其对应的标签数据t在向数据收集装置200的上传结束后从车辆用装置100删除。
[0227]
《6.第六实施方式》
[0228]
接下来，使用图25～图27对第六实施方式所涉及的图像处理方法进行说明。图25是第六实施方式所涉及的图像处理方法的概要说明图(其一)。此外，图26是第六实施方式所涉及的图像处理方法的概要说明图(其二)。此外，图27是第六实施方式所涉及的图像处理方法的概要说明图(其三)。
[0229]
在第六实施方式所涉及的图像处理方法中，根据所取得的拍摄图像，尝试检测包括需要保护个人信息的隐藏的特定部位的物体或者上述特定部位，基于该检测结果，对上述拍摄图像的上述物体或者上述特定部位执行进行上述隐藏的隐藏处理。此外，以检测出的上述物体或者上述特定部位的检测准确度越小则进行上述隐藏的隐藏范围越大地执行上述隐藏处理。
[0230]
具体而言，如图25所示，在第六实施方式所涉及的图像处理方法中，个人信息保护系统s所包括的图像处理装置5尝试从所取得的拍摄图像p中检测包括需要保护个人信息的隐藏的特定部位的物体或者该特定部位。
[0231]
该检测例如使用通过机器学习而得到的学习完毕模型531(参照图28)来进行。在所输入的拍摄图像p中包括给定的物体以及该物体的特定部位的情况下，学习完毕模型531将与该物体或者特定部位对应的范围作为检测范围输出。此外，学习完毕模型531一并输出表示检测的可靠度的程度的检测准确度(以下，有时仅记载为“准确度”)。
[0232]
然后，图像处理装置5基于该检测结果，对拍摄图像p的物体或者特定部位执行“隐藏处理”。“隐藏处理”已经叙述，例如是使拍摄图像p的分辨率降低的处理、对拍摄图像p的整体或者一部分进行加密的处理、对文字、数字数据进行加密的处理、将拍摄图像p内的不需要的信息(包括个人信息)全部屏蔽的处理等。
[0233]
例如，在图25中示出了如下例子：将边界框b作为检测范围，在拍摄图像p中检测出车辆v的车牌n，执行通过马赛克处理对边界框b内进行加密的隐藏处理。
[0234]
然而，如图26所示，针对依据时间序列连续取得的拍摄图像p，依次执行这样的隐藏处理。在此，如图26所示，在过去的拍摄图像pt-1、pt-2...中，与所述边界框b对应的检测范围的准确度为100％，与此相对，在最近的拍摄图像pt中为20％，准确度降低。
[0235]
该现象例如可能由于与图像混杂的噪声的影响等而发生。而且，在这样准确度降低的情况下，在给定的物体或者特定部位的检测范围产生偏差。此外，准确度越低，该偏差的大小越大。
[0236]
因此，在第六实施方式所涉及的图像处理方法中，图像处理装置5在检测到的物体或者特定部位的准确度在时间序列上的最近的拍摄图像pt、换言之在本次的拍摄图像pt中降低了的情况下，以这样的准确度越小则进行隐藏的隐藏范围越大地执行隐藏处理。
[0237]
具体而言，如图26以及图27所示，在第六实施方式所涉及的图像处理方法中，图像处理装置5针对过去的拍摄图像pt-1、pt-2...，在最近的拍摄图像pt中准确度降低了的情况下，根据该最近的拍摄图像pt中的准确度，大于作为检测范围的边界框b地扩大隐藏范围，对最近的拍摄图像pt执行隐藏处理。图27示出了在边界框b的四个方向上扩大隐藏范围的例子。
[0238]
另外，在与准确度对应的隐藏范围的关系存在方向性的情况下，在隐藏范围的扩大处理中，使扩大率具有方向性(例如，将纵/横向的扩大率分别乘以系数)成为优选的处理。
[0239]
由此，能够防止过度地隐藏，并且能够无遗漏地隐藏个人信息。即，根据第六实施方式所涉及的图像处理方法，能够适当地进行对拍摄图像p进行的个人信息的保护用的隐藏。
[0240]
以下，更具体地说明第六实施方式所涉及的图像处理装置5的结构例。另外，以下，有时将最近的拍摄图像pt适当记载为“本次的拍摄图像pt”。此外，与此相伴，有时将最近的拍摄图像pt中的准确度适当地记载为“本次的准确度”。
[0241]
(6-1.图像处理装置的结构)
[0242]
图28是表示第六实施方式所涉及的图像处理装置5的结构的图。另外，在图28中，仅示出了用于说明图像处理装置5的特征所需的结构要素，省略了对一般的结构要素的记载。此外，在图28中，为了容易理解，还示出了作为与图像处理装置5不同的结构要素的相机6。如图28所示，图像处理装置5具备取得部51、控制部52以及存储部53。
[0243]
取得部51取得拍摄图像p。在本实施方式中，取得部51从搭载于车辆的相机6以给
定的周期(例如1/30秒周期)在时间上连续取得模拟或者数字的拍摄图像p。由取得部51取得的拍摄图像p的集合体是由相机6拍摄到的动态图像。在所取得的拍摄图像p为模拟的情况下，取得部51将该模拟的拍摄图像p变换为数字数据(a/d变换)。取得部51将所取得的拍摄图像p(在进行了a/d变换的情况下为变换后的图像)输出至控制部52。
[0244]
另外，相机6例如是对车辆的前方、后方等车辆的周围进行监视的相机。其中，相机6例如也可以是拍摄车辆的室内的相机。
[0245]
控制部52是统一控制图像处理装置5的整体的控制器。控制部52例如构成为包括作为硬件处理器的cpu、ram以及rom等的计算机。
[0246]
存储部53例如由ram、闪存等半导体存储器元件、硬盘、或者使用光盘等可移动型的记录介质的存储装置等构成。存储部53存储作为固件的程序、各种数据。在本实施方式中，存储部53存储能够检测物体的学习完毕模型531。学习完毕模型531例如通过利用dnn等机器学习的算法进行学习而得到。学习完毕模型531例如可以通过有教师的学习而得到。
[0247]
图28所示的检测部521以及隐藏部522是通过控制部52的cpu按照存储于存储部53的程序来执行运算处理而实现的控制部52的功能。换言之，图像处理装置5具备检测部521和隐藏部522。
[0248]
另外，控制部52的检测部521以及隐藏部522中的至少任意一个也可以由asic、fpga、gpu等硬件构成。此外，检测部521以及隐藏部522是概念性的结构要素。可以使一个结构要素所执行的功能分散于多个结构要素，或者使多个结构要素所具有的功能统一为一个结构要素。此外，取得部51也可以构成为通过控制部52的cpu按照程序进行运算处理来实现。此外，关于图像处理装置5的具体的硬件结构，可以根据实施方式适当地进行结构要素的省略、置换或者追加。例如，控制部52也可以包括多个硬件处理器。
[0249]
检测部521设置为能够从所取得的拍摄图像p中检测包括需要保护个人信息的隐藏的特定部位的物体以及前述的特定部位。在本实施方式中，检测部521使用存储于存储部53的学习完毕模型531，从拍摄图像p检测包括需要隐藏的特定部位的给定的物体、或者给定的物体的特定部位。检测部521优选使用降低了从取得部51取得的拍摄图像p的分辨率的低分辨率图像，进行基于学习完毕模型531的物体检测。另外，分辨率的降低度需要设定为不降低到需要基于学习完毕模型531的物体检测精度的精度以下。由此，能够减少检测部521中的物体检测处理的处理负担。
[0250]
作为给定的物体，例如可列举出人、汽车等车辆、以及确定设置于信号灯的附近等的场所的地点名标识等。特定部位是能够确定特定的个人、或者推断个人的隐私的部位。在给定的物体是人的情况下，特定部位例如是面部。在给定的物体是车辆的情况下，特定部位例如是车牌。在给定的物体是地点名标识的情况下，特定部位例如是标识的文字部分。另外，也可以在给定的物体中包括多个特定部位。此外，给定的物体可以包括多种物体。此外，给定的物体本身也可以是特定的部位。优选的是，在设置为检测部521能够检测的给定的物体中包括人以及车辆的至少一方。
[0251]
学习完毕模型531优选使用dnn来检测物体以及特定部位的结构。其中，学习完毕模型531例如也可以是通过利用了hog特征量的svm等其他机器学习的算法来检测物体以及特定部位的结构。此外，检测部521也可以是不使用进行了机器学习的学习完毕模型531，例如使用模板匹配等来检测物体以及特定部位的结构。
[0252]
隐藏部522基于检测部521的检测结果，执行对拍摄图像p的物体或者特定部位进行隐藏的隐藏处理。此外，隐藏部522在由检测部521检测出的物体或者特定部位的准确度在本次的拍摄图像pt中降低了的情况下，执行隐藏处理，以使得这样的准确度越小则进行隐藏的隐藏范围越大。
[0253]
此外，在本次的拍摄图像pt中的准确度比给定的第一阈值小的情况下，如果与本次的拍摄图像pt相比在过去的拍摄图像pt-1、pt-2...中的准确度为比第一阈值大的第二阈值以上，则隐藏部522判断为在本次的拍摄图像pt中准确度降低。
[0254]
此外，若连续地在过去的拍摄图像pt-1、pt-2...中的准确度为第二阈值以上，则隐藏部522判断为在本次的拍摄图像pt中准确度降低。
[0255]
在此，图29是第六实施方式所涉及的隐藏处理的处理说明图。具体而言，如图29所示，隐藏部522例如将第一阈值设定为50％。此外，隐藏部522例如将第二阈值设定为90％。
[0256]
而且，在本次的拍摄图像pt中的准确度小于50％的情况下，若与本次的拍摄图像pt相比在过去的拍摄图像pt-1、pt-2...中的准确度为90％以上，则隐藏部522判定为在本次的拍摄图像pt中准确度降低。
[0257]
另外，过去的拍摄图像pt-1、pt-2...中的准确度既可以是本次的拍摄图像pt紧跟前的过去的拍摄图像pt-1的准确度，也可以是连续的过去的拍摄图像pt-1、pt-2...的准确度。此外，也可以是过去的拍摄图像pt-1、pt-2...的准确度的统计量(例如，平均)等。
[0258]
此外，如图29所示，隐藏部522在判断为在本次的拍摄图像pt中准确度降低了的情况下，根据本次的拍摄图像pt中的准确度，相对于检测范围变大地扩大隐藏范围，执行隐藏处理。
[0259]
在图29的例子中，隐藏部522例如本次的拍摄图像pt中的准确度比50％越小则隐藏范围成为检测范围的1倍以上、准确度＝0％成为2倍的大小地扩大隐藏范围，执行隐藏处理。由此，能够防止过度地隐藏，并且能够无遗漏地隐藏个人信息。
[0260]
另外，隐藏部522也可以根据由检测部521检测到的物体或者特定部位的运动矢量，以使隐藏范围变大地执行隐藏处理。使用图30对作为该变形例的第一变形例进行说明。图30是第六实施方式的第一变形例所涉及的隐藏处理的处理说明图。
[0261]
隐藏部522能够基于过去的拍摄图像pt-1、pt-2...中的检测范围的时间序列的推移，计算检测范围的运动矢量。在此，如图30所示，假设隐藏部522得到矢量v1，以作为检测范围即边界框b的运动矢量。
[0262]
在这种情况下，如图30所示，隐藏部522能够沿着矢量v1扩大隐藏范围。由此，能够根据时间序列上变化的检测范围的运动，不遗漏地隐藏需要隐藏的检测范围。
[0263]
(6-2.图像处理装置的动作例)
[0264]
接下来，使用图31对第六实施方式所涉及的图像处理装置5的动作例进行说明。图31是表示第六实施方式所涉及的图像处理装置5的动作例的流程图。
[0265]
如图31所示，首先，取得部51取得本次的拍摄图像pt(步骤s101)。然后，检测部521针对本次的拍摄图像pt，使用学习完毕模型531来执行物体检测处理(步骤s102)。
[0266]
而且，隐藏部522判断是否由检测部521检测到给定的物体或者特定部位(步骤s103)。在此，在检测到给定的物体或者特定部位的情况下(在步骤s103中为“是”)，隐藏部522判断该物体或者特定部位的检测范围是否为隐藏对象(步骤s104)。
[0267]
在此，在检测范围是隐藏对象的情况下(在步骤s104中为“是”)，隐藏部522取得学习完毕模型531输出的本次的准确度(步骤s105)。然后，隐藏部522判断本次的准确度是否为给定的第一阈值(例如，50％)以上(步骤s106)。
[0268]
然后，在本次的准确度为第一阈值以上的情况下(在步骤s106中为“是”)，隐藏部522隐藏检测范围(步骤s107)，结束处理。另一方面，在本次的准确度比第一阈值小的情况下(在步骤s106中为“否”)，隐藏部522判断过去的准确度是否是比第一阈值大的给定的第二阈值(例如，90％)以上(步骤s108)。
[0269]
然后，在过去的准确度为第二阈值以上的情况下(在步骤s108为“是”)，隐藏部522根据本次的准确度将隐藏范围扩大为比检测范围大(步骤s109)。然后，隐藏部522隐藏扩大后的隐匿范围(步骤s110)，并且结束处理。
[0270]
此外，在过去的准确度比第二阈值小的情况下(在步骤s108中为“否”)，隐藏部522不进行隐藏(步骤s111)，结束处理。另外，在该过去的准确度比第二阈值小的情况下，由于准确度低的状态持续，因此通过推断为不存在应该隐藏的部分，从而不进行隐藏。为了更可靠地进行不应该隐藏的部分的推断，能够使用比第一阈值小的第三阈值。关于该例子，使用图32在后面叙述。
[0271]
此外，在检测范围不是隐藏对象的情况下(在步骤s104中为“否”)，隐藏部522不进行隐藏(步骤s111)，结束处理。
[0272]
此外，在未由检测部521检测到给定的物体或者特定部位的情况下(在步骤s103中为“否”)，隐藏部522不执行步骤s104以后的隐藏处理，结束处理。
[0273]
(6-3.第二变形例的动作例)
[0274]
然而，在第六实施方式中，列举了使用给定的第一阈值作为用于判断检测出的检测范围的准确度是多少则进行隐藏的阈值的例子。然而，若过去的准确度例如连续大，则也可以根据本次的准确度来设定比第一阈值小的第三阈值，使用该第三阈值来判断是否进行隐藏。
[0275]
即，隐藏部522在判断为在本次的拍摄图像pt中准确度降低了的情况下，若该准确度是根据该准确度而设定的、比第一阈值小的第三阈值以上，则也可以执行隐藏处理。作为第二变形例，使用图32对第二变形例所涉及的图像处理装置5的动作例进行说明。图32是表示第六实施方式的第二变形例所涉及的图像处理装置5的动作例的流程图。
[0276]
另外，图32与图31对应，图32所示的步骤s201～s208、s213分别依次与图31的步骤s101～s108、s111相同，因此在使用图32的说明中省略。
[0277]
如图32所示，在步骤s208中过去的准确度为第二阈值以上的情况下(在步骤s208中为“是”)，即，在判断为在本次的拍摄图像pt中准确度降低了的情况下，隐藏部522根据本次的准确度来设定比第一阈值小的第三阈值(步骤s209)。
[0278]
隐藏部522例如在第一阈值为50％、本次的准确度为30％的情况下，对第三阈值设定20％。然后，隐藏部522判断本次的准确度是否为第三阈值以上(步骤s210)。
[0279]
然后，在本次的准确度为第三阈值以上的情况下(在步骤s210中为“是”)，根据本次的准确度将隐藏范围扩大为比检测范围大(步骤s211)。然后，隐藏部522隐藏扩大后的隐藏范围(步骤s212)，并结束处理。另外，在此，也可以代替步骤s211、s212，而不将隐藏范围扩大到比检测范围大，而仅隐藏检测范围。
[0280]
此外，在本次的准确度比第三阈值小的情况下(在步骤s210为“否”)，隐藏部522不进行隐藏(步骤s213)，并结束处理。根据这样的第二变形例，能够有助于不遗漏地隐藏需要隐藏的检测范围。
[0281]
如上所述，第六实施方式所涉及的图像处理装置5具备检测部521和隐藏部522。检测部521设置为能够从所取得的拍摄图像p中检测包括需要保护个人信息的隐藏的特定部位的物体或者特定部位。隐藏部522基于检测部521的检测结果，执行对拍摄图像p的物体或者特定部位进行隐藏的隐藏处理。此外，隐藏部522执行隐藏处理，以使得由检测部521检测出的物体或者特定部位的准确度(相当于“检测准确度”的一例)越小则进行隐藏的隐藏范围越大。
[0282]
因此，根据第六实施方式所涉及的图像处理装置5，能够适当地进行用于对拍摄图像p进行的个人信息的保护的隐藏。
[0283]
此外，隐藏部522在上述准确度在本次的拍摄图像pt(“时间序列上的最近的拍摄图像”的一例)中降低的情况下，执行隐藏处理，以使得上述准确度越小则进行隐藏的隐藏范围越大。
[0284]
因此，根据第六实施方式所涉及的图像处理装置5，能够基于拍摄图像p的时间序列上的变化，适当地进行用于对拍摄图像p进行的个人信息的保护的隐藏。
[0285]
此外，在本次的拍摄图像pt中的上述准确度比给定的第一阈值小的情况下，若与本次的拍摄图像pt相比过去的拍摄图像pt-1、pt-2...中的上述准确度为比第一阈值大的第二阈值以上，则隐藏部522判断为在本次的拍摄图像pt中上述准确度降低。
[0286]
因此，根据第六实施方式所涉及的图像处理装置5，即便针对过去一次也以高准确度检测到的检测范围，即便准确度降低，也能够无遗漏地隐藏。
[0287]
此外，若连续地在过去的拍摄图像pt-1、pt-2...中的上述准确度为第二阈值以上，则隐藏部522判断为在本次的拍摄图像pt中上述准确度降低。
[0288]
因此，根据第六实施方式所涉及的图像处理装置5，针对以时间序列上连续高的准确度检测到的检测范围，即便准确度瞬间降低，也能够无遗漏地隐藏。
[0289]
此外，隐藏部522在判断为在本次的拍摄图像pt中上述准确度降低了的情况下，若该准确度是根据该准确度而设定的、比第一阈值小的第三阈值以上，则执行隐藏处理。
[0290]
因此，根据第六实施方式所涉及的图像处理装置5，能够有助于不遗漏地隐藏需要隐藏的检测范围。
[0291]
此外，隐藏部522根据由检测部521检测到的物体或者特定部位的运动矢量，执行隐藏处理，以使得隐藏范围变大。
[0292]
因此，根据第六实施方式所涉及的图像处理装置5，能够根据时间序列上变化的检测范围的运动，不遗漏地隐藏需要隐藏的检测范围。
[0293]
《7.注意事项等》
[0294]
本说明书中公开的各种技术特征除了上述实施方式之外，在不脱离其技术创作的主旨的范围内能够施加各种变更。即，应该理解上述实施方式在所有方面都是例示，并不是限制性的，本发明的技术范围不是由上述实施方式的说明而是由权利要求书示出的，包括与权利要求书等同的含义以及属于范围内的全部变更。此外，本说明书中所示的多个实施方式以及变形例可以在可能的范围内适当组合来实施。
[0295]-符号说明-[0296]
1、1a、3、3a、5 图像处理装置
[0297]
100 车辆用装置
[0298]
101 个人信息保护处理部
[0299]
121 第一检测部
[0300]
122 设定部
[0301]
123 第二检测部
[0302]
124 判断部
[0303]
125 推断部
[0304]
200 数据收集装置
[0305]
201 个人信息管理部
[0306]
300 利用者终端
[0307]
321 检测部
[0308]
322，322a 隐藏部
[0309]
323 图像分割部
[0310]
521
ꢀꢀ
检测部
[0311]
522
ꢀꢀ
隐藏部
[0312]
dr
ꢀꢀ
检测范围
[0313]
p
ꢀꢀ
拍摄图像
[0314]sꢀꢀ
个人信息保护系统
[0315]
tr1 主检测对象区域
[0316]
tr2 副检测对象区域
[0317]vꢀꢀ
车辆。