信息处理装置、信息处理方法和程序与流程

1.本技术涉及信息处理装置、信息处理方法和程序，具体地，涉及即使在诸如捕获图像的待处理的图像中包括诸如人的面部的大量抽象目标的情况下，也可以快速且可靠地抽象所有抽象目标的信息处理装置、信息处理方法和程序。


背景技术：

2.在专利文献1中公开了在捕获图像中隐藏(抽象)预定对象的技术。
3.现有技术文献
4.专利文献
5.专利文献1：日本专利特开号2019-092076


技术实现要素：

6.[本发明要解决的技术问题]
[0007]
在诸如捕获图像的待处理的图像中包括大量诸如人的面部的抽象目标的情况下，由于处理负荷增加，因此难以快速且可靠地抽象所有抽象目标。
[0008]
已经鉴于上述情况设计了本技术，并且即使在诸如捕获图像的待处理的图像中包括大量诸如人的面部的抽象目标的情况下，也可以快速且可靠地抽象所有抽象目标。
[0009]
[问题的解决方案]
[0010]
本技术的信息处理装置或程序是包括使这种信息处理装置用作计算机的图像处理部或程序的信息处理装置。图像处理部根据目标图像中包括的抽象目标的数量，在对目标图像中的抽象目标的图像区域进行单独抽象的第一处理与对该目标图像进行整体抽象的第二处理之间切换，并且执行相应的处理。
[0011]
本技术的信息处理方法是这样的信息处理方法，即根据目标图像中包括的抽象目标的数量，在对目标图像中的抽象目标的图像区域进行单独抽象的第一处理与对目标图像进行整体抽象的第二处理之间继续拧切换，并且执行相应的处理。
[0012]
在本技术中，根据在目标图像中包括的抽象目标的数量，在对目标图像中的抽象目标的图像区域进行单独抽象的第一处理与对目标图像进行整体抽象的第二处理之间进行切换，并且执行相应的处理。
附图说明
[0013]
图1是示意性示出应用本技术的成像装置的总体配置的框图。
[0014]
图2是示出作为框的图像处理部的第一实施方式的功能的功能框图。
[0015]
图3是以简化形式示出目标图像的示例的图。
[0016]
图4是描述在图像处理部的第一实施方式中对图3中的目标图像执行的隐私保护处理的图。
[0017]
图5是示出在使图3中的目标图像经过图像处理部中执行的隐私保护处理之后获
得的目标图像的图，并且是示出在遮掩处理部中执行第一遮掩处理之后获得的目标图像的图。
[0018]
图6是以简化形式示出在遮掩目标的数量大于用于进行处理切换的阈值的情况下的目标图像的示例的图。
[0019]
图7是描述在图像处理部中对图6中的目标图像执行的隐私保护处理的图。
[0020]
图8是示出在使图6中的目标图像经过图像处理部中执行的隐私保护处理之后获得的目标图像的图，并且是示出在遮掩处理部中执行第二遮掩处理之后获得的目标图像的图。
[0021]
图9是示出图像处理部的第一实施方式中的隐私保护处理的处理过程的流程图。
[0022]
图10是示出作为框的图像处理部的第二实施方式的功能的功能框图。
[0023]
图11是以简化形式示出存储在非遮掩目标存储部中的非遮掩目标图像的示例的图。
[0024]
图12是描述在图像处理部的第二实施方式中对图3中的目标图像执行的隐私保护处理的图。
[0025]
图13是示出在图3中的目标图像经过图像处理部中执行的隐私保护处理之后获得的目标图像的图，并且是示出在遮掩处理部中执行第一遮掩处理之后获得的目标图像的图。
[0026]
图14是示出图像处理部的第二实施方式中的隐私保护处理的处理过程的流程图。
[0027]
图15是示出通过程序执行一系列处理的计算机的硬件配置示例的框图。
具体实施方式
[0028]
下面将参考附图给出关于本技术的实施方式的描述。
[0029]
《《应用本技术的成像装置1》》
[0030]
图1是示意性示出应用本技术的成像装置1的总体配置的框图。
[0031]
图1中的成像装置1是用作例如情况评估相机的成像装置并且可以是监控相机、数码相机、数码摄像机、平板终端、智能电话等。
[0032]
成像装置1可通信地连接到外部装置，诸如未示出的服务器。外部装置获取由成像装置1捕获的图像，存储获取的图像，对获取的图像执行预定类型的图像定制，将获取的图像传送到其他外部装置，或执行其他任务。应注意，外部装置可以是用于任何目的的信息处理装置。此外，由成像装置1捕获的图像可以是静止图像或视频。
[0033]
成像装置1具有图像传感器11、应用处理器12、操作部13、显示部14和通信部15。应注意，可能存在成像装置1既不具有操作部13也不具有显示部14并且可通信地连接至成像装置1的外部装置不用作与操作部13或显示部14对应的功能的情况。
[0034]
图像传感器11是包括例如单个芯片的互补金属氧化物半导体(cmos)图像传感器。图像传感器11从拍摄范围内的被摄体接收入射光，将光转换为电，并且获取与入射光量相对应的图像作为电信号。此外，图像传感器11将通过使所获取的图像经受预定处理所获得的图像输出到应用处理器12。
[0035]
应用处理器12是中央处理单元(cpu)或执行各种应用的任何其他处理器。应用处理器12根据正在执行的应用执行各种处理。此外，应用处理器12执行基于来自操作部13的
操作信号检测用户的操作的处理、在显示部14上显示来自图像传感器11的图像的处理、以及经由通信部15将图像等从图像传感器11发送到外部装置的处理。
[0036]
操作部13包括诸如各种开关和触摸面板的输入装置，并且将与输入装置的用户操作相匹配的操作信号提供给应用处理器12。
[0037]
显示部14包括诸如显示器的显示装置，并且输出从应用处理器12提供的图像。
[0038]
通信部15通过有线或无线通信与外部装置交换各种信息。例如，通信部15经由诸如广域网(wan)(包括互联网)、局域网(lan)、公共交换电话网络或移动通信网络的任何网络可通信地连接到外部装置。可替换地，通信部15例如通过诸如通用串行总线(usb)或蓝牙(注册商标)的标准直接地并且可通信地耦接至外部装置。
[0039]
(图像传感器11的配置)
[0040]
图像传感器11具有成像部21、控制部22、信号处理部23、图像处理部24、存储部25和选择部26。
[0041]
成像部21接收来自拍摄范围内的对象的入射光，将光转换为电，并且获取与入射光量相对应的图像。成像部21包括光学系统31和像素阵列部32。
[0042]
光学系统31将从被摄体入射到光学系统31的入射光会聚到拍摄范围内，并且在像素阵列部32的光接收表面上形成图像。
[0043]
像素阵列部32包括单位像素，每个单位像素包括光接收元件(光电转换部)并且被布置成二维矩阵图案。像素阵列部32将进入每个单位像素的入射光转换成电并且累积与入射光量成比例的电荷。
[0044]
成像部21读出在像素阵列部32中累积的每个单位像素的电荷，并且通过未示出的ad转换器将电荷从模拟信号转换成数字信号。成像部21将转换的数字信号作为表示由成像部21捕获图像的信号提供至信号处理部23。
[0045]
应注意，由成像部21捕获的图像可以是例如仅具有亮度的rgb(红、绿、蓝)彩色图像或单色图像。而且，成像部21通过以预定间隔捕获在像素阵列部32的光接收表面上形成的对象的图像并将所捕捉的图像提供给信号处理部23，将视频提供给信号处理部23。
[0046]
控制部22从应用处理器12接收基于用户对操作部13的操作的指令、动作模式等。控制部22根据从应用处理器12接收的用户的操作或动作模式控制图像传感器11的每个部分。
[0047]
信号处理部23对从成像部21供应的图像执行各种处理。例如，信号处理部23对来自成像部21的图像进行噪声去除、白平衡调整等处理。信号处理部23将处理后的图像临时存储在存储部25中。此外，信号处理部23将处理图像提供至选择部26。
[0048]
图像处理部24读出暂时存储在存储部25中、在信号处理部23中进行处理的图像，作为隐私保护处理的目标图像(以下被简称为目标图像)。图像处理部24检测(识别)包括在目标图像中的诸如人的面部的遮掩目标(抽象目标)作为对目标图像的隐私保护处理。另外，图像处理部24通过遮掩处理(抽象处理)来遮掩(隐藏)目标图像中的遮掩目标的图像区域。然后，图像处理部24将抽出了遮掩目标的图像区域的隐私保护处理后的目标图像暂时存储在存储部25中。此外，图像处理部24的隐私保护处理在后面详细说明。
[0049]
存储部25暂时存储由信号处理部23处理后的图像(尚未实施隐私保护处理的图像)、由图像处理部24实施了隐私保护处理的图像等。另外，存储部25存储用于信号处理部
23、图像处理部24等的处理的数据。
[0050]
选择部26根据控制部22的指令，将来自信号处理部23的图像或从存储部25中读出的图像提供给应用处理器12。在不执行隐私保护处理的正常模式中，例如，选择部26将图像从信号处理部23提供至应用处理器12。另一方面，选择部26在进行隐私保护处理的保密模式(隐私遮遮掩式)下，从存储部25读出图像处理部24实施了隐私保护处理而存储在存储部25中的图像，并且提供给应用处理器12。
[0051]
应注意，在隐私保护模式下，在不经过存储部25而从图像处理部24向选择部26提供由图像处理部24实施了隐私保护处理的图像的情况下，从成像部21提供给信号处理部23的图像也可以不经过存储部25而从信号处理部23向图像处理部24提供。而且，即使在如图1所图像处理部24经由存储部25与信号处理部23和选择部26交换图像的情况下，由成像部21捕获图像(静止图像或视频)也受到图像处理部24的隐私保护处理并且基本没有任何延迟地输出至图像传感器11。
[0052]
《图像处理部24的第一实施方式的细节》
[0053]
接着，说明图像处理部24的第一实施方式。
[0054]
图2是作为方框示出图像处理部24的第一实施方式的功能的功能框图。
[0055]
在图2中，图像处理部24具有图像加载部51、遮掩目标检测部(抽象目标检测部)52、遮掩处理部53以及剪切部54。
[0056]
图像加载部51在隐私保护模式下从图1中的存储部25加载要进行隐私保护处理的目标图像。图像加载部51将加载的目标图像提供给遮掩目标检测部52。
[0057]
遮掩目标检测部52从图像加载部51检测(识别)包括在目标图像中的人的脸等遮掩目标(抽象目标)。即，遮掩目标检测部52检测目标图像中的遮掩目标的图像区域。
[0058]
遮掩目标是要经遮掩处理(抽象处理)隐藏(抽象)的被摄体或信息。遮掩目标检测部52能够检测到的遮掩目标的种类例如包括人的面部、人的身体、人的姿势、人的衣服、字符串等。字符串是目标图像中包括的车牌、电话号码、名、姓等字符信息。
[0059]
关于遮掩目标检测部52检测出的遮掩目标的种类，用户通过对操作部13进行预定的操作(见图1)，来指定诸如人的面部、人的身体、人的姿势、人的衣服、字符串的可选择的种类中的一种或者多种。用户指定的遮掩目标的种类从控制部22通过遮掩目标指定而被提供给遮掩目标检测部52。
[0060]
应注意，在本第一实施方式(以及后述的第二实施方式)中，作为示例，说明由遮掩目标检测部52检测出的遮掩目标是人的面部的情况。此外，已知技术中使用检测具有与遮掩目标的特征量类似的特征量的图像区域的特征量提取算法、模板匹配、机器学习模型等的可选技术可用于检测诸如人的面部的遮掩目标。将省略这些技术的描述。
[0061]
遮掩目标检测部52在检测出在目标图像内包括的遮掩目标的情况下，将包括遮掩目标的图像区域的预定形状的图像区域设定为遮掩目标边界。遮掩目标边界的形状被固定为预定形状，在本第一实施方式(以及后述的第二实施方式)中，例如被设定为椭圆形。但是，遮掩目标边界也可以是诸如矩形形状的自由选择的形状，遮掩目标边界的形状可以通过用户的操作等切换成多个候选形状中的一个。
[0062]
图3是以简化形式示出目标图像的示例的图。
[0063]
在图3中的目标图像的示例中，目标图像71包括多个人的面部。
[0064]
图4是描述在图像处理部24的第一实施方式中对图3中的目标图像71执行的隐私保护处理的图。
[0065]
在图4中，由遮掩目标检测部52检测包括在目标图像71中的多个人的面部x1至x8作为遮掩目标。假设人的面部y1的部分位于目标图像71的边界之外，因此没有被检测为遮掩目标。
[0066]
针对人的面部x1至x8的各个图像区域设置包括被检测为遮掩目标的人的面部x1至x8的图像区域的椭圆遮掩目标边界fx1至fx8。
[0067]
在图2中，遮掩目标检测部52将来自图像加载部51的目标图像和关于设置在目标图像中的遮掩目标边界的信息提供给遮掩处理部53。关于遮掩目标边界的信息是识别目标图像中的遮掩目标边界的位置、形状和尺寸的信息。
[0068]
此外，遮掩目标检测部52将从目标图像检测的遮掩目标的数量(遮掩目标计数)提供给控制部22。
[0069]
应注意，遮掩目标检测部52可以不检测遮掩目标的图像区域，也可以检测包括遮掩目标的图像区域的遮掩目标边界。在这种情况下，不必逐像素地识别遮掩目标的图像区域，这使得可以降低遮掩目标检测部52所需的处理性能，并且通过使用便宜的装置快速地执行遮掩目标检测部52的处理。但是，遮掩目标检测部52可以检测遮掩目标的图像区域，遮掩目标的边界也可以与遮掩目标自身的图像区域(遮掩目标的图像区域的边界)相对应。
[0070]
在图2中，遮掩处理部53接收来自控制部22的处理切换指令。遮掩处理部53根据来自控制部22的处理切换指示，在单独对目标图像的遮掩目标的图像区域(遮掩目标边界)进行抽象的第一处理(以下被称为第一遮掩处理)和对目标图像进行整体抽象的第二处理(以下被称为第二遮掩处理)之间切换，并且执行相应的该处理。控制部22在来自遮掩目标检测部52的遮掩目标的数量为预定的阈值以下的情况下，对遮掩处理部53指示处理切换，进行第一遮掩处理。另外，控制部22在来自遮掩目标检测部52的遮掩目标的数量(检测数量)比预定的阈值多的情况下，对遮掩处理部53指示处理切换，进行第二遮掩处理。另外，在遮掩目标的数量为0的情况下，控制部22指示遮掩处理部53将来自图像加载部51的目标图像原样地供给到剪切部54。
[0071]
在本第一实施方式(后述的第二实施方式)中，阈值(用于处理切换的阈值)例如为19。在由遮掩目标检测部52检测出的遮掩目标的数量比19多、即20以上的情况下，遮掩处理部53假设遮掩目标检测部52的处理负荷可能超过用于检测遮掩目标的处理性能极限，执行将目标图像整体进行抽象化的第二遮掩处理。
[0072]
即，遮掩处理部53根据目标图像中包括的遮掩目标的数量，在第一遮掩处理和第二遮掩处理之间切换，并执行相应的处理。包括在目标图像中的遮掩目标的数量对应于检测包括在目标图像中的所有目标图像所需要的遮掩目标检测部52(图像处理部24)的处理负荷的大小。如果包括在目标图像中的遮掩目标的数量大于预定数量，那么发生图像处理部24的处理性能不能处理处理负荷的情况，这是因为处理负荷超过其处理性能极限。图像处理部24的处理性能极限被超过的情况例如与检测所有遮掩目标所需要的时间超过分配给遮掩目标的检测的时间极限的情况和包括在目标图像中的遮掩目标的数量超过可由遮掩目标检测部52检测的遮掩目标的最大数量的情况对应，而不管时间极限是否被超过。
[0073]
鉴于此，将用于处理切换的阈值设置为小于使图像处理部24的处理性能极限达到
的目标图像中所包括的遮掩目标的数量。即，将处理切换阈值设定为小于图像处理部24(遮掩目标检测部52)检测遮掩目标所需的处理负荷达到处理性能极限的遮掩目标的个数(以下被称为极限计数)。此时，在将极限次数设定为用于处理切换的阈值的情况下，即使包括在目标图像内的遮掩目标的数量比用于处理切换的阈值大，但由遮掩目标检测部52检测出的遮掩目标的数量也始终是用于处理切换的阈值，其结果，有时不会切换为第二遮掩处理。因而，将用于处理切换的阈值设置为小于极限计数。
[0074]
因此，在目标图像中包括的遮掩目标的数量等于或小于小于极限计数的用于处理切换的阈值的情况下(即，小于极限计数并等于或小于阈值)，遮掩处理部53执行第一遮掩处理。另外，在目标图像中包括的遮掩目标的个数大于小于极限计数的用于处理切换的阈值的情况下(即，至少等于或大于极限次数)，遮掩处理部53执行第二遮掩处理。在本第一实施方式(以下描述的第二实施方式)中，例如，极限计数被设置为20，并且用于处理切换的阈值被设置为19，该阈值仅比极限计数小1。
[0075]
此外，图像处理部24(遮掩目标检测部52)也可以利用由遮掩目标检测部52检测出的遮掩目标的数量以外的检测值(处理时间等)，对遮掩目标的检测所需要的处理负荷的大小进行评价。在这种情况下，例如在遮掩目标的检测所需的处理负荷为预定的阈值以下的情况下，遮掩处理部53执行第一遮掩处理，在遮掩目标的检测所需的处理负荷大于预定的阈值的情况下，遮掩处理部53执行第二遮掩处理。
[0076]
遮掩处理部53在执行了第一遮掩处理的情况下，通过遮掩处理(抽象处理)，根据目标图像和来自遮掩目标检测部52的与遮掩目标边界有关的信息，对目标图像提取针对目标图像设定的遮掩目标边界的图像。
[0077]
图5是示出在使图3中的目标图像71经受图像处理部24的第一实施方式中执行的隐私保护处理之后获得的目标图像的图，并且是示出在遮掩处理部53中执行第一遮掩处理之后获得的目标图像的图。
[0078]
图5中的目标图像72是通过使图3中的目标图像71在图像处理部24中经过隐私保护处理所获得的图像。在图3的目标图像71中，如图4所示，包括在目标图像71中的遮掩目标的数量是8，并且用于处理切换的阈值等于或小于19。在这种情况下，遮掩处理部53执行第一遮掩处理并生成图5中的目标图像72。
[0079]
在图5的目标图像72中，通过第一遮掩处理的遮掩处理将遮掩图像m1至m8叠加在相应图像上，单独地抽象由遮掩目标检测部52设定的人的面部x1至x8(参见图3)的遮掩目标边界fx1至fx8的图像。这使得人的面部x1至x8不可识别，并且保护人的面部x1至x8的隐私。
[0080]
图5中的遮掩图像m1至m8示出其中通过作为遮掩处理的填充处理以预定颜色填充遮掩目标边界fx1至fx8的情况。然而，应当注意，第一遮掩处理中的遮掩处理可以是除填充处理以外的处理，诸如马赛克处理、模糊处理、混合处理或者固定图像叠加处理，并且可以执行任何处理，只要遮掩目标边界的图像被抽象。在马赛克处理中，例如，将遮掩目标边界内的图像分割成多个矩形区域，并对每个区域中的内部颜色(亮度)进行平均。在模糊处理中，例如，遮掩目标边界内的图像的每个像素被周围颜色(亮度)的平均值替代。在混合处理中，例如，遮掩目标边界内的图像被替换为通过将该图像与任何图像(诸如单色图像)进行α混合(alpha-blending)而获得的图像。在固定图像叠加中，例如在遮掩目标边界内的图像
上叠加规定的任意固定图像。
[0081]
遮掩处理部53在执行了第二遮掩处理的情况下，通过遮掩处理(抽象处理)来整体抽象目标图像。
[0082]
图6是以简化形式示出在遮掩目标的数量大于用于处理切换的阈值的情况下的目标图像的示例的图。
[0083]
在图6的目标图像81的示例中，目标图像81包括超过19(这是处理切换的阈值)的20个或更多个人的面部。
[0084]
图7是描述在图像处理部24中对图6中的目标图像81执行的隐私保护处理的图。
[0085]
在图7中，在包括在目标图像81中的20个以上的人的面部中，人的面部x1至x20被遮掩目标检测部52检测为遮掩目标。应注意，在图7中，仅用参考标号表示人的面部x1至x3和x20。在该目标图像81中，由遮掩目标检测部52检测出的遮掩目标的个数大于作为用于处理切换的阈值的19，因此通过由遮掩处理部53进行第二遮掩处理来整体抽取目标图像81。即，难以利用遮掩目标检测部52的处理性能来检测包括在目标图像81中的人的面部，并且难以通过第一处理单独地抽象所有人的面部的图像区域。因而，遮掩处理部53利用第二处理整体抽象目标图像81，保护所有人的隐私。
[0086]
图8是示出在使图6中的目标图像81经过图像处理部24中执行的隐私保护处理之后获得的目标图像的图，并且是示出在遮掩处理部53中执行第二遮掩处理之后获得的目标图像的图。
[0087]
图8中的目标图像82是通过图像处理部24对图6中的目标图像81进行隐私保护处理所获得的图像。图8中的目标图像82通过对图6中的目标图像81执行马赛克处理作为第二遮掩处理中的遮掩处理来整体抽象。
[0088]
第二遮掩处理中的遮掩处理可以是除马赛克处理之外的模糊处理、混合处理、固定图像叠加处理或填充处理等处理，只要对目标图像整体进行抽象就可以进行任何处理。
[0089]
遮掩处理部53将通过上述第一遮掩处理或第二遮掩处理进行了遮掩处理的目标图像提供给图2中的剪切部54。
[0090]
图2中的剪切部54通过剪切处理从来自遮掩处理部53的目标图像中切出左边缘区域和右边缘区域(图像区域)。剪切部54将在剪切处理之后获得的目标图像提供至图1中的存储部25作为在图像处理部24中经过隐私保护处理的目标图像。
[0091]
在被加载到图1的图像加载部51中的图4的目标图像71中，例如，人的面部y1的靠近左边缘的部分在目标图像71的边界的外部。因此，存在遮掩目标检测部52不能将人的面部y1检测为遮掩目标的可能性。因此，存在通过遮掩处理部53的第一遮掩处理可能不能对人的面部y1的图像区域进行抽象的可能性。同时，存在即使人的面部y1是局部图像，也可识别人的可能性。
[0092]
因此，剪切部54通过剪切处理从目标图像71中切除左边缘区域el和右边缘区域er。在对图2中的目标图像71进行隐私保护处理之后获得的图5中的目标图像72中，目标图像71的左边缘区域el和右边缘区域er的图像已经被截断，并且人的面部y1的图像已经从目标图像72中排除。
[0093]
应注意，图6中的目标图像81中的左边缘区域el和右边缘区域er的图像也被切除，如在图8中的在使图6中的目标图像81经过图像处理部24中执行的隐私保护处理之后获得
的目标图像82中所示。但是，在通过遮掩处理部53进行的第二遮掩处理来整体提取目标图像的情况下，剪切部54无需要对该目标图像进行剪切处理。
[0094]
另外，修边处理部54也可以不通过剪切处理而将来自遮掩处理部53的目标图像的左、右边缘区域切除，而是将上、下边缘区切除。可选地，剪切部54可以切除目标图像中的左边缘区域、右边缘区域、上边缘区域和下边缘区域中的一个或多个区域，并且用户可以选择要切掉哪个区域。
[0095]
另外，作为与切出处理相对应的处理，剪切部54也可以不进行对目标图像的遮掩处理(抽象处理)。
[0096]
另外，也可以不对经过隐私保护处理的目标图像实施由剪切部54进行的剪切处理(或遮掩处理)，图像处理部24也可以不具有剪切部54。
[0097]
另外，遮掩处理部53、剪切部54等也可以在实施隐私保护处理之后获得的目标图像中添加表示该目标图像实施了隐私保护处理的信息。例如，该信息可以是指示目标图像已经受到隐私保护处理的标识、字符串、许可号等。此外，指示提供隐私保护功能的信息可在应用本技术的装置的外部、使用本技术提供服务的服务器的网站等上标记或显示。
[0098]
图像处理部24的所有或一些以上处理可以由包括在图像传感器11中的数字信号处理器(dsp)执行。例如，dsp通过执行存储在存储部25中的程序通过使用学习的机器学习模型等执行各种处理。例如，神经网络，并且具体地，诸如卷积神经网络(cnn)的深度神经网络(dnn)被用作机器学习模型。
[0099]
根据利用机器学习模型的dsp的算术处理，可以在遮掩目标检测部52中执行遮掩目标检测处理。例如，通过使用从存储部25读出的要进行隐私保护处理的目标图像作为机器学习模型的输入数据，由dsp计算包括在目标图像中的诸如人的面部的遮掩目标的图像区域的位置和尺寸或者包括遮掩目标的图像区域的具有预定形状的遮掩目标边界的位置和尺寸，作为来自机器学习模型的输出数据。
[0100]
此外，根据dsp的算术处理，还可以执行遮掩处理部53和剪切部54的处理。
[0101]
应注意，遮掩目标检测部52的处理不仅可在使用dsp的情况下而且在其他情况下通过使用神经网络的机器学习模型来执行。
[0102]
而且，例如，由除了成像部21(控制部22、信号处理部23、图像处理部24、存储部25、以及选择部26)之外的内置在图1中的图像传感器11内的部件执行的一些或所有处理可由成像装置1连接的任何信息处理装置执行。此外，要进行隐私保护处理的目标图像可以不是直接从预定成像装置提供的图像。此外，飞行时间(tof)传感器、毫米波雷达、光检测和测距(lider)或任何其他传感器可用于检测遮掩目标。
[0103]
(图像处理部24的第一实施方式中的处理过程)
[0104]
图9是示出图像处理部24的第一实施方式中的隐私保护处理的处理过程的流程图。
[0105]
在步骤s11中，图像处理部24(图像加载部51)从存储部25加载要进行隐私保护处理的目标图像(参见图1)。处理从步骤s11进入步骤s12。
[0106]
在步骤s12中，图像处理部24(遮掩目标检测部52)识别(检测)在步骤s11中加载的目标图像所包括的遮掩目标。处理从步骤s12进入步骤s13。
[0107]
在步骤s13中，图像处理部24(控制部22)确定是否有在步骤s12中识别出的遮掩对
象(遮掩对象的个数是否为1以上)。
[0108]
在步骤s13中确定不存在识别到的遮掩目标的情况下，处理进入步骤s14，并且图像处理部24(遮掩处理部53)不对目标图像执行遮掩处理。处理从步骤s14前进到步骤s18。
[0109]
在步骤s13中确定出有识别到的遮掩目标的情况下，进入步骤s15，控制部22确定在步骤s12中用于识别(检测)遮掩目标的处理负荷是否达到了处理性能极限(用于识别的处理性能极限)。具体地，控制部22确定在步骤s12中识别出的遮掩目标的数量(遮掩目标的数量)是否小于或等于19。
[0110]
在步骤s15中确定出尚未达到识别的处理性能极限的情况下(遮掩目标的数量小于或等于19的情况下)，进入步骤s16，图像处理部24(遮掩处理部53)通过第一遮掩处理对遮掩目标进行单独抽象(使遮掩目标无法被识别)。处理从步骤s16进行到步骤s18。
[0111]
在步骤s15中确定出已达到用于识别的处理性能极限的情况下(遮掩目标的数量大于19的情况下)，该处理进入步骤s17，图像处理部24(遮掩处理部53)通过第二遮掩处理(通过诸如马赛克处理的遮掩处理)，对在步骤s11中加载的目标图像进行整体抽象(使目标图像整体无法被识别)。处理从步骤s17进入步骤s18。
[0112]
在步骤s18中，图像处理部24(剪切部54)通过剪切处理从步骤s14、步骤s16或步骤s17中获得的目标图像中切除例如左边缘或右边缘区域。处理从步骤s18进行到步骤s19。
[0113]
在步骤s19中，图像处理部24(剪切部54)将在步骤s18中的剪切处理之后获得的目标图像输出至存储部25(图1)作为在隐私保护处理之后获得的目标图像。
[0114]
根据上述图像处理部24的第一实施方式，根据目标图像中包括的遮掩目标的数量，在第一遮掩处理和第二遮掩处理之间进行切换，并且进行切换的处理，这使得无论遮掩目标的数量如何，都可以快速且可靠地抽象遮掩目标。这允许在基本上没有任何延迟的情况下保护甚至来自现场相机等的实时图像(静止图像或视频)的隐私。
[0115]
《图像处理部24的第二实施方式的细节》
[0116]
接下来将给出图1中的图像处理部24的第二实施方式的描述。
[0117]
图10是作为框示出图像处理部24的第二实施方式的功能的功能框图。应注意，在图10中，对与图2中的图像处理部24的部分对应的部分分配相同的参考标记，并且将省略其描述。此外，图像处理部24的第一实施方式中可采用的方面(例如，扩展示例或修改示例)可类似地用于本第二实施方式中，并且将省略其描述。
[0118]
图10的图像处理部24具有图像加载部51、遮掩目标检测部52、遮掩处理部53、剪切部54以及非遮掩目标检测部101。由此，图10的图像处理部24与图2的情况的共同点在于，具有图像加载部51、遮掩目标检测部52、遮掩处理部53以及剪切部54。然而，应注意，图10中的图像处理部24与图2的情况下的图像处理部的不同之处在于新设置有非遮掩目标检测部101。
[0119]
非遮掩目标检测部101从遮掩目标检测部52接收由图像加载部51加载的目标图像、和由遮掩目标检测部52在目标图像中设定的遮掩目标边界的信息。
[0120]
另外，非遮掩目标检测部101从非遮掩目标存储部102取得非遮掩目标(非抽象目标)图像。非遮掩目标为目标图像中包括的遮掩目标中的从要抽象的目标中排除的遮掩目标。例如，在遮掩目标是人的面部的情况下，要从待抽象的目标中排除的特定人的面部是非遮掩目标。
[0121]
非遮掩目标存储部102表示图1的存储部25中存储非遮掩目标的信息的部分。非遮掩目标存储部102存储预先确定的非遮掩目标图像。另外，非遮掩目标存储部102存储一个或多个非遮掩目标图像。在非遮掩目标存储部102中存储的非遮掩目标图像中，例如通过用户的操作而指定为非遮掩目标的一个或多个非遮掩目标图像被读出到非遮掩目标检测部101。例如，除了特定的人的面部之外，可以将特定的衣服、特定的字符串等设置为非遮掩目标。
[0122]
应当注意，在第二实施方式中也将假定遮掩目标是人的面部并且非遮掩目标是特定的人的面部给出描述。
[0123]
图11是以简化形式示出存储在非遮掩目标存储部102中的非遮掩目标图像的示例的图。
[0124]
在图11中的图像91中看到作为非遮掩目标的人的面部t1。通过捕获从制作目标中排除的人面部t1而获得的这种图像91被预先存储在非遮掩目标存储部102中。
[0125]
非遮掩目标检测部101基于从非遮掩目标存储部102获取的作为非遮掩目标的特定人的面部的图像，检测(识别)包括在目标图像中的作为非遮掩目标的特定人的面部。即，非遮掩目标检测部101检测目标图像中与作为非遮掩目标的特定人的面部相同的人的面部的图像区域。另外，非遮掩目标检测部101也可以检测在由遮掩目标检测部52设定在目标图像内的遮掩目标边界中的、与作为非遮掩目标的特定人的面部相同的人的面部。
[0126]
非遮掩目标检测部101将由遮掩目标检测部52设定的遮掩目标边界中的、包括检测到作为非遮掩目标的特定人的面部的图像区域的遮掩目标边界以外的其他遮掩目标边界设定为新的遮掩目标边界。然后，非遮掩目标检测部101将来自遮掩目标检测部52的目标图像和新设定的遮掩目标的边界的信息提供给遮掩处理部53。
[0127]
遮掩处理部53根据来自非遮掩目标检测部101的目标图像和新设定的遮掩目标边界，与第一实施方式同样地进行遮掩处理。
[0128]
图12是描述在图像处理部24的第二实施方式中对图3中的目标图像71执行的隐私保护处理的图。应注意，对与图4中的部分对应的图12中的部分分配相同的参考标号并且将适当地省略其描述。
[0129]
在图12中，由遮掩目标检测部52检测包括在目标图像71中的多个人的面部x1至x8作为遮掩目标。
[0130]
包括被检测为遮掩目标的人物面部x1至x8的图像区域的椭圆形遮掩目标边界fx1至fx8由遮掩目标检测部52针对人物面部x1至x8的各个图像区域进行设置。
[0131]
例如，假设非遮掩目标检测部101在由遮掩目标检测部52检测的人的面部x1至x8中检测(识别)人的面部x1作为非遮掩目标的人的面部。此时，非遮掩目标检测部101将遮掩目标边界fx1至fx8中除了遮掩边界fx1之外的遮掩目标边界fx2至fx8新设定为遮掩目标边界，并且将与遮掩目标边界fx2至fx8有关的信息供应至遮掩处理部53。
[0132]
与第一实施方式相同，遮掩处理部53对被设定为遮掩目标边界的遮掩目标边界fx2至fx8执行遮掩处理。另外，与第一实施方式相同，剪切部54从目标图像71中切出左边缘区域el和右边缘区域er。
[0133]
图13是示出图3中的目标图像71经过图像处理部24的第二实施方式中执行的隐私保护处理之后获得的目标图像的图和示出通过遮掩处理部53执行第一遮掩处理之后获得
的目标图像的图。应注意，在图13中对应于图5中的部分分配相同的参考标号并且将省略其描述。
[0134]
图13中的目标图像73是通过图像处理部24使图3中的目标图像71经过隐私保护处理所获得的图像。在图3的目标图像71中，如图12中所示，包括在目标图像71中的遮掩目标的数量为8，并且用于处理切换的阈值等于或小于19。在这种情况下，遮掩处理部53执行第一遮掩处理并生成图13中的目标图像73。
[0135]
在图13中的目标图像73中，在由遮掩目标检测部52设置的人的面部x1至x8中，通过遮掩处理部53的第一遮掩处理将遮掩图像m2至m8叠加在相应图像上来单独地抽象除由非遮掩目标检测部101检测的人的面部x1之外的人的面部x2至x8的图像(见图12)。人的面部x1的作为非遮掩目标的图像区域从待抽象区域中排除。
[0136]
应注意，如图6和图7所示，在目标图像中包括的遮掩目标的个数比处理切换阈值多的情况下，非遮掩目标检测部101不进行任何处理，从遮掩目标检测部52提供给非遮掩目标检测部101的目标图像和与遮掩目标边界相关的信息以原样的状态提供给遮掩处理部53。然后，如图8所示，通过遮掩处理部53的第二遮掩处理对目标图像进行整体抽象。
[0137]
另外，在非遮掩目标存储部102中未存储应从遮掩目标中排除的非遮掩目标的情况下，或者由于用户的操作等所选择的操作模式设定，设定为不进行从遮掩目标中排除非遮掩目标的处理的模式的情况下，非遮掩目标检测部101不进行任何处理，从遮掩目标检测部52提供给非遮掩目标检测部101的目标图像和遮掩目标的边界的信息原样提供给遮掩处理部53。因此，在这种情况下执行与第一实施方式中的隐私保护处理类似的隐私保护处理。
[0138]
应注意，关于非遮掩目标检测部101的非遮掩目标检测处理，与遮掩目标检测处理同样地，能够使用使用了特征量提取算法、模板匹配、机器学习模型等的公知技术中的任意技术。此外，非遮掩目标检测过程可通过dsp算术处理通过使用机器学习模型(诸如神经网络)来执行，如在遮掩目标检测过程中。
[0139]
(图像处理部24的第二实施方式中的处理过程)
[0140]
图14是示出图像处理部24的第二实施方式中的隐私保护处理的处理过程的流程图。
[0141]
在步骤s31中，图像处理部24(图像加载部51)从存储部25加载要进行隐私保护处理的目标图像(参见图1)。处理从步骤s31进行至步骤s32。
[0142]
在步骤s32中，图像处理部24(遮掩目标检测部52)识别(检测)在步骤s31中加载的目标图像中包括的遮掩目标。处理从步骤s32进行至步骤s33。
[0143]
在步骤s33中，图像处理部24(非遮掩目标检测部101)识别在步骤s31中加载的目标图像中包括的非遮掩目标。处理从步骤s33进行至步骤s34。
[0144]
在步骤s34中，图像处理部24(控制部22)确定是否存在在步骤s32中识别出的遮掩目标(遮掩目标的个数是否为1以上)。
[0145]
在步骤s34中确定不存在识别的遮掩目标的情况下，处理进入步骤s35，并且图像处理部24(遮掩处理部53)不对目标图像执行遮掩处理。处理从步骤s35进行到步骤s39。
[0146]
在步骤s34中确定出已识别到遮掩目标的情况下，进入步骤s36，控制部22确定在步骤s32中识别(检测)遮掩目标的处理负荷是否达到了处理性能极限(用于识别的处理性能极限)。具体地，控制部22确定在步骤s32中识别出的遮掩目标的数量(遮掩目标的数量)
是否为等于或小于19。
[0147]
在步骤s36中确定出尚未达到用于识别的处理性能极限的情况下(遮掩目标的数量等于或小于19的情况下)，进入步骤s37，图像处理部24(遮掩处理部53)将在步骤s32中识别出的遮掩目标中、除在步骤s33中通过第一遮掩处理而识别出的非遮掩目标之外的遮掩目标单独抽象(使遮掩目标无法被识别)。处理进入步骤s39。
[0148]
在步骤s36中确定出已达到用于识别的处理性能极限的情况下(遮掩目标的数量大于19的情况下)，处理从步骤s36进入步骤s38，图像处理部24(遮掩处理部53)通过第二遮掩处理(通过诸如马赛克处理的遮掩处理)对在步骤s31中加载的目标图像进行整体抽象(使整个目标图像无法被识别)。处理从步骤s38进行至步骤s39。
[0149]
在步骤s39中，图像处理部24(剪切部54)通过剪切处理从在步骤s35、步骤s37或步骤s38中获得的目标图像中切除例如左边缘区域或右边缘区域。处理从步骤s39进入步骤s40。
[0150]
在步骤s40中，图像处理部24(剪切部54)将在步骤s39中的剪切处理之后获得的目标图像作为在隐私保护处理之后获得的目标图像输出至存储部25(图1)。
[0151]
根据以上的图像处理部24的第二实施方式，根据目标图像中包括的遮掩目标的数量，在第一遮掩处理和第二遮掩处理之间进行切换，并且进行切换的处理，这使得无论遮掩目标的数量如何，都可以快速且可靠地抽象遮掩目标。此外，在遮掩目标中，未被抽象的特定遮掩目标的图像可以留在没有被抽象的目标图像中。这允许在基本上没有任何延迟的情况下可靠地保护甚至来自现场照相机等的实时图像(静止图像或视频)的隐私。
[0152]
《程序》
[0153]
图像处理部24的隐私保护处理的上述一系列处理能够通过硬件或软件执行。在一系列处理由软件执行的情况下，将软件中包括的程序安装到计算机。这里，计算机包括内置到专用硬件中的计算机、诸如当安装各种程序时能够执行各种功能的通用个人计算机的计算机等。
[0154]
图15是示出通过程序执行上述一系列处理的计算机的硬件配置示例的框图。
[0155]
在计算机中，中央处理单元(cpu)201、只读存储器(rom)202和随机存取存储器(ram)203通过总线204彼此连接。
[0156]
输入/输出接口205也连接至总线204。输入部206、输出部207、存储部208、通信部209和驱动器210连接至输入/输出接口205。
[0157]
输入部206包括键盘、鼠标、麦克风等。输出部207包括显示器、扬声器等。存储部208包括硬盘、易失性存储器等。通信部209包括网络接口等。驱动器210驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移除介质211。
[0158]
在如上配置的计算机中，当cpu 201经由输入/输出接口205和总线204将例如存储在存储部208中的程序加载到ram 203中并且执行程序时，执行上述一系列处理。
[0159]
由计算机(cpu 201)执行的程序可以以记录在作为封装介质等的可移除介质211中的方式提供。此外，可以经由诸如局域网、互联网或数字卫星广播的有线或无线传输介质提供程序。
[0160]
在计算机中，通过将可移除介质211插入到驱动器210中，可以经由输入/输出接口205将程序安装到存储部208。此外，通过经由有线或无线传输介质与通信部209接收程序，
可以将程序安装到存储部208。另外，程序可以预先安装到rom202和存储部208中。
[0161]
应注意，由计算机执行的程序可以根据本说明书中描述的顺序、并行地、或者在调用程序时的这种必要的时间，按时间顺序执行处理。
[0162]
本技术还可具有以下配置。
[0163]
(1)一种信息处理装置，包括：
[0164]
图像处理部，根据包括在目标图像中的抽象目标的数量，在对目标图像中的抽象目标的图像区域进行单独抽象的第一处理和对目标图像进行整体抽象的第二处理之间进行切换，并执行相应的处理。
[0165]
(2)根据(1)的信息处理装置，其中。
[0166]
在目标图像中包括的抽象目标的数量等于或小于预定的阈值的情况下，图像处理部执行第一处理，并且
[0167]
在目标图像中包括的抽象目标的数量大于预定的阈值的情况下，图像处理部执行第二处理。
[0168]
(3)根据(2)的信息处理装置，其中，
[0169]
图像处理部具有检测目标图像中包括的抽象目标的抽象目标检测部，并且
[0170]
阈值是比抽象目标检测部的处理性能达到极限时抽象目标的极限计数小的值。
[0171]
(4)根据(3)的信息处理装置，其中，
[0172]
阈值是比极限计数仅小1的值。
[0173]
(5)根据(1)的信息处理装置，其中，
[0174]
图像处理部在检测目标图像中的抽象目标所需的处理负荷等于或小于预定烦人阈值的情况下执行第一处理，并且
[0175]
在处理负荷大于阈值的情况下，图像处理部执行第二处理。
[0176]
(6)根据(1)至(5)中任一项的信息处理装置，其中
[0177]
第一处理对具有预定形状的图像区域进行抽象，该图像区域包括抽象目标的图像区域。
[0178]
(7)根据(1)至(6)中任一项的信息处理装置，其中
[0179]
第一处理通过马赛克处理、模糊处理、混合处理、固定图像叠加处理或填充处理来对抽象目标的图像区域进行抽象。
[0180]
(8)根据(1)至(7)中任一项的信息处理装置，其中
[0181]
图像处理部切除或抽象目标图像中的左边缘区域、右边缘区域、上边缘区域和下边缘区域中的任何一个或多个区域。
[0182]
(9)根据(1)至(8)中任一项的信息处理装置，其中
[0183]
图像处理部通过特征量提取算法或神经网络检测抽象目标。
[0184]
(10)根据(1)至(9)中任一项的信息处理装置，其中
[0185]
抽象目标包括人的面部、人的身体、人的姿势、人的衣服和字符串中的至少一项。
[0186]
(11)根据(1)至(10)中任一项的信息处理装置，其中
[0187]
第一处理对抽象目标中的已被排除了预先确定的非抽象目标的抽象目标进行抽象。
[0188]
(12)根据(11)的信息处理装置，其中
[0189]
抽象目标包括特定人的面部、特定衣服和特定字符串。
[0190]
(13)根据(1)至(12)中任一项的信息处理装置，其中
[0191]
图像处理部内置于图像传感器中。
[0192]
(14)根据(1)至(13)中任一项的信息处理装置，其中
[0193]
图像处理部将指示图像已经过隐私保护处理的信息添加至通过第一处理或第二处理生成的图像。
[0194]
(15)一种信息处理方法，用于信息处理装置，该信息处理装置包括：
[0195]
图像处理部，其中，
[0196]
图像处理部根据包括在目标图像中的抽象目标的数量，在对目标图像中的抽象目标的图像区域进行单独抽象的第一处理和对目标图像进行整体抽象的第二处理之间切换，并且执行相应的处理。
[0197]
(16)一种程序，使计算机用作：
[0198]
图像处理部，根据包括在目标图像中的抽象目标的数量，在对目标图像中的抽象目标的图像区域进行单独抽象的第一处理和对目标图像进行整体抽象的第二处理之间进行切换，并且执行相应的处理。
[0199]
[参考标号列表]
[0200]
1：成像装置
[0201]
11：图像传感器
[0202]
12：应用处理器
[0203]
13：操作部
[0204]
14：显示部
[0205]
15：通信部
[0206]
21：成像部
[0207]
22：控制部
[0208]
23：信号处理部
[0209]
24：图像处理部
[0210]
25：存储部
[0211]
26：选择部
[0212]
51：图像加载部
[0213]
遮掩目标检测部
[0214]
53：遮掩处理部
[0215]
54：剪切部
[0216]
101：非遮掩目标检测部。