图像处理设备、图像处理方法和存储程序的记录介质与流程

1.本发明涉及图像处理装置、图像处理方法和程序，并且例如涉及执行对人的面部认证的图像处理装置。


背景技术：

2.在机场、体育场等的入口/出口管理中，面部认证用于安全验证或身份验证。使用另一个人的面部图像(例如，打印的照片等)执行试图破坏面部认证的行为。这种行为是伪装成另一个人的行为进行欺骗的一个示例。
3.将参考图8详细描述欺骗的示例。如图8所示，一个人通过在自己的面部的前面举起打印的照片、显示器等来隐藏自己的面部。另一个人的面部图像显示在打印件或显示器上。该人通过使用在打印件或显示器上显示的另一个人的面部图像来非法通过面部认证。ptl 1和npl 1公开了用于检测如上所述的欺骗的相关技术。
4.在ptl 1中描述的相关技术中，人的面部被成像为运动图像，并且基于时间序列图像之间的差异来检测人的眨眼。然后，当在预定时间段内未检测到人的眨眼时，确定人的面部是不真实的。人的面部不真实的事实意味着该人的面部不是其本人的面部。以这种方式，在ptl1中描述的相关技术中，确定欺骗。
5.在npl 1中描述的相关技术中，通过使用机器学习来确定欺骗。具体地，使用卷积神经网络学习真实面部的特征。然后，生成用于鉴别打印件或显示器上出现的面部图像和真实面部的鉴别器。通过使用所学习的鉴别器来确定人的面部是假的还是真实的。
6.引用列表
7.专利文献
8.[ptl 1]jp5061563b2
[0009]
非专利文献
[0010]
[npl 1]koichi itoet al.,“a liveness detection method using convolutional neural network”(ieice transactions a)，december 1,2017,vol.j100
‑
a,no.12,pp.455
‑
464。
[0011]
[npl 2]shen linlin,“gabor features and support vector machine for face identification”,biomedical fuzzy and human sciences,the official journal of the biomedical fuzzy systems association 14(1),pp.61
‑
66,2009
‑
01
‑
08。


技术实现要素：

[0012]
技术问题
[0013]
在ptl 1中描述的相关技术中，通过检测人的眨眼来识别欺骗。因此，当通过对眨眼的另一个人的面部进行成像而获得的运动图像显示在显示器上时，在ptl 1中描述的相关技术中，存在将显示器上显示的面部图像错误地识别为真实的可能性。因此，当如图8所示手持显示有其他人的面部图像的显示器时,不可能防止恶意的人非法通过面部认证。
[0014]
在npl 1中描述的相关技术中，随着显示器上显示的面部图像的分辨率的提高，鉴别器的准确性降低，面部图像被错误地识别为真实面部的可能性高。
[0015]
鉴于上述问题做出本发明，并且本发明的目的是提供一种能够使用面部图像准确地识别欺骗的图像处理装置等。
[0016]
问题的解决方案
[0017]
根据本实施例的一个方面的图像处理装置包括：运动检测装置，用于从时间序列图像中检测与人的头部的运动有关的特征和与作为除了人的头部以外的区域的身体部分的运动有关的特征；以及指标值计算装置，用于计算表示与人的头部的运动有关的特征和与人的身体部分的运动有关的特征之间的一致性程度的指标值。
[0018]
根据本实施例的一个方面的图像处理方法包括：从时间序列图像中检测与人的头部的运动有关的特征和与作为除了人的头部以外的区域的身体部分的运动有关的特征；以及计算表示与人的头部的运动有关的特征和与人的身体部分的运动有关的特征之间的一致性程度的指标值。
[0019]
根据本实施例的一个方面的程序使计算机执行：从时间序列图像中检测与人的头部的运动有关的特征和与作为人的头部以外的区域的身体部分的运动有关的特征；以及计算表示与人的头部的运动有关的特征和与人的身体部分的运动有关的特征之间的一致性程度的指标值。
[0020]
有益效果
[0021]
根据本实施例的一个方面，可以准确地识别使用面部图像的欺骗。
附图说明
[0022]
图1是示出根据第一示例实施例的图像处理装置的配置的框图。
[0023]
图2是示出人的头部/身体部分的运动与欺骗之间的关系的图。
[0024]
图3是示出根据第一示例实施例的用于识别欺骗的过程的流程的流程图。
[0025]
图4是示出根据第二示例实施例的图像处理装置的配置的框图。
[0026]
图5是示出作为第二示例实施例中的欺骗判定标准的标准值的图。
[0027]
图6是示出在根据第二示例实施例的图像处理装置中从图像获取到欺骗判定处理的流程的流程图。
[0028]
图7是示出根据第三示例实施例的装置的硬件配置的图。
[0029]
图8是示出执行欺骗的人的示例的图。
具体实施方式
[0030]
在以下描述中参考的附图中所描绘的箭头表示某一信号或数据的流动方向，并不旨在排除该信号或数据在两个方向或与箭头方向相反的方向上的通信。
[0031]
[第一示例实施例]
[0032]
(图像处理装置100)
[0033]
图1是示出根据第一示例实施例的图像处理装置100的配置的框图。如图1所示，图像处理装置100包括运动检测单元104和指标值计算单元106。运动检测单元104是运动检测装置的示例。指标值计算单元106是指标值计算装置的示例。
[0034]
运动检测单元104从时间序列图像中检测与人的头部的运动有关的特征和与作为除人的头部以外的区域的身体部分的运动有关的特征。例如，运动检测单元104通过使用深度学习神经网络针对来自时间序列图像中的每个图像检测与人的头部的运动有关的特征和与身体部分的运动有关的特征。
[0035]
在本文中，人的头部是包括人的颈部、面部、头和后脑勺在内的区域。身体部分是整个人的除头部之外的区域的至少一部分。具体地，身体部分是躯干、手臂、腿或其组合。时间序列图像例如是通过一个或多个成像装置(未示出)对人成像而获得的运动图像的多个帧图像的数据。在下文中，为了方便，帧图像的数据也被称为图像。时间序列图像可以是通过成像装置对同一个人重复成像而获得的多个静止图像。
[0036]
以下将描述上述运动检测单元104的配置的示例。在获取时间序列图像之后，运动检测单元104分析这些图像以检测人的头部的区域和身体部分的区域中的每一个。
[0037]
然后，运动检测单元104从时间序列图像中的头部区域的图像中检测表示头部位置变化的第一信息，并从第一信息提取与头部的运动有关的特征。运动检测单元104从时间序列图像中的身体部分的区域的图像中检测表示身体部分的位置变化的第二信息，并从第二信息提取与身体部分的运动有关的特征。在下文中，将与运动有关的特征简称为运动特征。
[0038]
表示头部的位置变化的第一信息例如是表示从时间序列图像中的头部的区域检测出的跟踪点的位置的变化(位移)的信息。表示身体部分的位置变化的第二信息例如是表示从时间序列图像之间的身体部分的区域检测出的跟踪点的位置的变化(位移)的信息。
[0039]
头部的运动特征包括例如表示头部移动的方向的运动向量。运动检测单元104可以基于第一信息来计算在某一时间段中的头部位置的变化，并且可以计算在某一时间段中头部移动的方向。备选地，头部的运动特征可以包括头部的位移的幅度、或者头部运动的周期。基于第一信息，运动检测单元104可以计算头部的位置从最上面的顶点到下一个最上面的顶点改变的平均时间作为头部运动的周期。
[0040]
表示头部的运动特征的信息可以是与表示头部移动的方向的运动向量有关的数据、表示头部位移的幅度的数据、或者表示头部运动的周期的数据。例如，与头部运动有关的运动向量的信息包括与头部区域中的跟踪点的运动向量有关的数据。该数据可以包括跟踪点被移位之前和之后的位置坐标、以及表示向量的方向和幅度的数据。
[0041]
另一方面，身体部分的运动特征包括例如表示身体部分移动的方向的运动向量。备选地，身体部分的运动特征可以包括身体部分的位移的幅度或身体部分的运动的周期。表示身体部分的运动特征的信息可以是与表示身体部分移动的方向的运动向量有关的数据、表示身体部分的位移的幅度的数据、或表示身体部分的运动的周期的数据。例如，与身体部分的运动有关的运动向量的信息可以包括与身体部分的区域中的跟踪点的运动向量有关的数据。该数据可以包括跟踪点被移位之前和之后的位置坐标、以及表示向量的方向和幅度的数据。
[0042]
运动检测单元104将表示头部的运动特征的信息和表示身体部分的运动特征的信息发送给指标值计算单元106。
[0043]
指标值计算单元106从运动检测单元104接收表示头部的运动特征的信息和表示身体部分的运动特征的信息。指标值计算单元106基于表示头部的运动特征的信息和表示
身体部分的运动特征的信息，来计算表示在人的头部的运动和人的身体部分的运动之间的一致性程度的指标值。
[0044]
在本文中提到的一致性不是仅包括人的头部的运动和人的身体部分的运动彼此完全匹配的概念。表示人的头部的运动特征与人的身体部分的运动特征之间的接近程度的相似度也包括在一致性概念的范畴中。
[0045]
例如，由指标值计算单元106计算出的指标值是深度学习神经网络的输出，该深度学习神经网络具有表示头部移动的方向的运动向量和表示身体部分移动的方向的运动向量作为输入。备选地，指标值是表示头部移动的方向的运动向量与表示身体部分移动的方向的运动向量之间的距离。备选地，指标值可以是表示头部移动的方向的运动向量与表示身体部分移动的方向的运动向量之间的角度。计算方法不受限制，只要指标值表示人的头部的运动与人的身体部分的运动之间的一致性程度。下面将描述由指标值计算单元106计算的指标值与人的欺骗之间的关系。
[0046]
(指标值与欺骗之间的关系)
[0047]
如上所述，指标值表示人的头部的运动和人的身体部分的运动之间的一致性程度。欺骗是假装一个人是另一个人的行为。这里，将描述一个人通过使用打印件或显示器上显示的另一个人的面部图像来执行假冒另一个人的情况。
[0048]
将参考图2描述指标值与人的欺骗行为之间的关系。图2是说明指标值与存在或不存在欺骗之间的关系的图。
[0049]
图2中的情况(a)示出指标值为低的情况。低指标值表明头部的运动特征和身体部分的运动特征之间存在矛盾。在情况(a)中，一个人正在通过使用另一个人的面部图像执行欺骗。该人手持显示器并将显示器举到面部的前面，如图8所示。由于该原因，在情况(a)中，随着一个人的运动，在头部的运动和身体部分的运动之间可能发生矛盾。更具体地，在穿行认证中，当一个人手持显示器行走时，相对于运动的周期和幅度，身体部分的运动和手臂(肘部)的运动之间出现了人为无意的偏差，并且随着一个人的运动，显示器上显示的头部的运动与人的身体部分的运动之间发生矛盾。因此，指标值越低，该人执行欺骗的可能性就越高。
[0050]
在图2的(b)中，示出了指标值为高的情况。高指标值表示头部的运动特征和身体部分的运动特征是彼此一致的。在情况(b)中，该人没有执行欺骗。由于该原因，人的头部移动的方向与身体部分移动的方向同步，并且头部的位移和身体部分的位移几乎没有差异。也就是说，在情况(b)中，头部的运动和身体部分的运动彼此匹配或至少彼此相似。因此，指标值越低，一个人执行欺骗的可能性就越低。
[0051]
(指标值计算过程的流程)
[0052]
将参考图3描述由根据第一示例实施例的图像处理装置100执行的指标值计算过程。图3是示出图像处理装置100的指标值计算过程的流程的流程图。
[0053]
如图3所示，运动检测单元104获取时间序列图像。例如，运动检测单元104获取由监控摄像机(未示出)成像的运动图像，并从运动图像提取包括人的多个图像。
[0054]
运动检测单元104从获取的时间序列图像中检测一个人的头部的区域和一个人的身体部分的区域(s101)。
[0055]
运动检测单元104分析从时间序列图像中检测到的人的头部的区域和人的身体部
分的区域，以检测与人的头部的运动有关的特征(头部的运动特征)和与身体部分的运动有关的特征(身体的运动特征)(s102)。
[0056]
运动检测单元104将在步骤s102中检测到的表示头部的运动特征的信息和表示身体部分的运动特征的信息发送给指标值计算单元106。
[0057]
指标值计算单元106从运动检测单元104接收头部的运动特征和身体部分的运动特征。然后，指标值计算单元106根据接收到的头部的运动特征和身体部分的运动特征来计算上述指标值(s103)。
[0058]
尽管未示出，但是在步骤s103之后，指标值计算单元106可以将计算出的指标值输出给诸如显示设备之类的外部设备(未示出)。另外，在第一示例实施例中，图像处理装置100可以根据指标值的幅度来确定使用面部图像进行欺骗并且输出警报。
[0059]
在上述过程之后，由根据第一示例实施例的图像处理装置100执行的指标值计算过程结束。
[0060]
(本示例实施例的效果)
[0061]
根据本示例实施例的配置，运动检测单元104检测与人的头部的运动有关的特征和与身体部分的运动有关的特征，所述身体部分是除了人的头部以外的区域。指标值计算单元106计算表示在与人的头部的运动有关的特征和与身体部分的运动有关的特征之间的一致性程度的指标值。指标值表示识别欺骗的结果。
[0062]
当人的面部是打印件或显示器上显示的面部图像时，人的头部的运动与除了头部以外的区域的运动之间出现矛盾。因此，由于运动检测单元104计算出的头部的运动特征和身体部分的运动特征彼此不匹配，所以由指标值计算单元106计算出的指标值较低。也就是说，指标值是反映一个人执行欺骗的可能性的参数。根据第一示例实施例，可以准确地识别使用面部图像的欺骗。
[0063]
[第二示例实施例]
[0064]
第二示例实施例包括这样的配置：不仅计算表示识别欺骗的结果的指标值，而且基于该指标值确定一个人是否正在执行欺骗并输出确定结果。在第二示例实施例中描述的欺骗分数是基于指标值的参数的示例。
[0065]
(图像处理装置200)
[0066]
将参照图4描述根据第二示例实施例的图像处理装置200的配置。图4是示出图像处理装置200的配置的框图。如图4所示，图像处理装置200包括运动检测单元210、指标值计算单元230和欺骗判定单元240。运动检测单元210是运动检测装置的示例。指标值计算单元230是指标值计算装置的示例。欺骗判定单元240是欺骗判定装置的示例。
[0067]
图像处理装置200连接到输入单元10和输出单元20。输入单元10将时间序列图像输入到图像处理装置200的运动检测单元210中包括的头部检测单元211和身体部分检测单元212。输入单元10可以包括生成时间序列图像的成像设备。
[0068]
输出单元20从图像处理装置200的欺骗判定单元240接收表示一个人是否正在执行欺骗的判定结果(在图4中描述为欺骗判定结果)和稍后描述的欺骗分数的数据。输出单元20将接收到的欺骗分数和欺骗判定结果输出到诸如显示设备之类的外部设备。
[0069]
如图4所示，图像处理装置200、输入单元10、输出单元20、权值存储单元30、标准值存储单元40和阈值存储单元50构成了欺骗检测设备1。
[0070]
如图4所示，运动检测单元210包括头部检测单元211、身体部分检测单元212、头部运动特征提取单元215、身体部分运动特征提取单元216和特征整合单元220。
[0071]
头部检测单元211是头部检测装置的示例。身体部分检测单元212是身体部分检测装置的示例。
[0072]
头部检测单元211检测与时间序列图像中的人的头部相对应的区域。如第一示例实施例中所述，人的头部是包括人的颈部、面部、头和后脑勺在内的区域。身体部分检测单元212检测与时间序列图像中的人的身体部分相对应的区域。身体部分是整个人的除头部之外的区域的至少一部分。
[0073]
例如，头部检测单元211通过模式匹配从每个时间序列图像中检测人的头部的轮廓。例如，身体部分检测单元212通过模式匹配从每个时间序列图像中检测人的身体部分的轮廓。在这种情况下，头部检测单元211通过将预先收集的头部轮廓的样本图像与从输入单元10获取的时间序列图像进行匹配，来从时间序列图像中检测人的头部的轮廓。类似地，身体部分检测单元212通过模式匹配方法从时间序列图像中检测人的身体部分的轮廓。
[0074]
头部检测单元211在检测到的人的头部区域中检测人的头部的跟踪点。头部的跟踪点为例如面部上的部位(例如，眼睛、鼻子或耳朵)的位置、或者颈部或头顶的位置。身体部分检测单元212在由身体部分检测单元212检测到的人的身体部分的区域中检测人的身体部分的跟踪点。身体部分的跟踪点为例如躯干、手臂或腿上的关节的位置。然而，头部和身体部分的跟踪点不限于本文描述的示例。
[0075]
具体地，头部检测单元211通过使用用于指定跟踪点的信息，从每个时间序列图像中检测人的头部的跟踪点。身体部分检测单元212通过使用用于指定跟踪点的信息，从每个时间序列图像中检测人的身体部分的跟踪点。
[0076]
用于指定跟踪点的信息例如是跟踪点的特征值。跟踪点的特征值可以是与同跟踪点相对应的像素和跟踪点的周围像素之间的亮度差相关的类haar特征值。备选地，可以通过使用gabor滤波器(npl 2)将与跟踪点相对应的像素的亮度或色调(hue)转换为向量数据(数字数据串)来获得表示跟踪点的信息。向量数据还称为特征向量。
[0077]
作为用于将时间序列图像的数据转换成向量数据的另一种方法，可以使用尺度不变特征变换(sift)方法或方向梯度直方图(hog)方法。头部检测单元211和身体部分检测单元212可以被设计为根据图像的类型来选择合适的特征值转换滤波器。
[0078]
头部检测单元211将多个时间序列图像中的头部的跟踪点的检测结果与多个时间序列图像的数据一起发送给头部运动特征提取单元215。身体部分检测单元212将多个时间序列图像中的身体部分的跟踪点的检测结果与多个时间序列图像的数据一起发送给身体部分运动特征提取单元216。
[0079]
备选地，头部检测单元211可以将头部区域的检测结果(例如，头部轮廓的位置信息)而不是头部跟踪点的检测结果发送给头部运动特征提取单元215。身体部分检测单元212可以将身体部分的区域的检测结果(例如，身体部分的轮廓的位置信息)而不是身体部分的跟踪点的检测结果发送给身体部分运动特征提取单元216。
[0080]
头部运动特征提取单元215从头部检测单元211接收时间序列图像中的人的头部的检测结果以及多个时间序列图像的数据。身体部分运动特征提取单元216从身体部分检测单元212接收时间序列图像中的人的身体部分的检测结果以及多个时间序列图像的数
据。
[0081]
头部运动特征提取单元215通过使用时间序列图像中的人的头部的检测结果，从多个时间序列图像中提取与头部的运动有关的特征(头部的运动特征)。头部的运动特征包括人的头部的跟踪点的运动向量。
[0082]
身体部分运动特征提取单元216通过使用时间序列图像中的人的身体部分的检测结果，从多个时间序列图像中提取与身体部分的运动有关的特征(身体部分的运动特征)。身体部分的运动特征包括人的身体部分的跟踪点的运动向量。
[0083]
具体地，头部运动特征提取单元215基于从头部检测单元211接收到的人的头部的检测结果来计算时间序列图像中的头部的位置变化。例如，头部运动特征提取单元215从时间序列图像中的头部区域的图像中检测表示头部的位置变化的第一信息。然后，头部运动特征提取单元215根据计算出的表示头部的位置变化的第一信息来计算人的头部的运动特征。例如，头部运动特征提取单元215根据第一信息来计算与表示人的头部的运动特征的运动向量有关的信息。
[0084]
身体部分运动特征提取单元216基于从身体部分检测单元212接收到的人的身体部分的检测结果，来计算时间序列图像中的身体部分的位置变化。例如，身体部分运动特征提取单元216从时间序列图像中的身体部分的区域的图像中检测表示身体部分的位置变化的第二信息。身体部分运动特征提取单元216根据计算出的表示身体部分的位置变化的第二信息来计算人的身体部分的运动特征。例如，身体部分运动特征提取单元216根据第二信息来计算与表示人的身体部分的运动特征的运动向量有关的信息。
[0085]
头部运动特征提取单元215将从时间序列图像提取的表示头部的运动特征的信息发送给特征整合(integration)单元220。身体部分运动特征提取单元216将从时间序列图像提取的表示身体部分的运动特征的信息发送给特征整合单元220。
[0086]
特征整合单元220从头部运动特征提取单元215和身体部分运动特征提取单元216分别接收指示头部的运动特征的信息和指示身体部分的运动特征的信息。特征整合单元220通过整合与人的头部的运动有关的特征和与身体部分的运动有关的特征来生成一个整合特征。换言之，特征整合单元220根据头部的运动特征和身体部分的运动特征，来生成与人的头部的运动和人的身体部分的运动的组合相关的整合特征。下面描述整合特征的示例。
[0087]
(整合特征的示例)
[0088]
例如，整合特征是通过将表示头部的运动特征的头部运动向量和表示身体部分的运动特征的头部运动向量进行连接而获得的向量。备选地，整合特征是头部的运动特征和身体部分的运动特征的加权和。在后一种情况下，整合特征可以表示为下面的表达式(1)。这里，头部的跟踪点的标识符用符号i(i为等于或大于1的整数)表示，身体部分的跟踪点的标识符用符号j(j为等于或大于1的整数)表示。
[0089]
表达式1：
[0090][0091]
在表达式(1)中，f(i,j,x
i
,y
j
)为整合特征，f(i)为头部的跟踪点i的运动特征，g
(j)为身体部分的跟踪点j的运动特征。x
i
和y
j
分别是头部的运动特征的权值和身体部分的运动特征的权值。稍后将描述特征整合单元220设置权值x
i
和y
j
的方法。
[0092]
特征整合单元220使用头部的运动特征和身体部分的运动特征根据表达式(1)来计算整合特征f。特征整合单元220将表示计算出的整合特征f的信息发送给指标值计算单元230。
[0093]
指标值计算单元230从特征整合单元220接收表示整合特征的信息。第二示例实施例的指标值计算单元230根据整合特征来计算指标值。具体地，指标值计算单元230将整合特征输入到深度学习神经网络，并获得指标值作为输出值。
[0094]
备选地，指标值计算单元230计算整合特征与标准值之间的距离。标准值是根据没有执行欺骗的人的头部的运动特征和身体部分的运动特征的组合依据表达式(1)而获得的整合特征的代表值。稍后将描述标准值的示例。
[0095]
例如，整合特征与标准值之间的距离可以是特征空间中的欧氏距离，或者可以是除了欧氏距离之外的距离。在第二示例实施例中，指标值计算单元230计算整合特征与标准值之间的距离作为指标值。类似于第一示例实施例，第二示例实施例的指标值表示在人的头部的运动与人的身体部分的运动之间的一致性程度。
[0096]
指标值计算单元230将计算出的指标值的数据发送给欺骗判定单元240。
[0097]
欺骗判定单元240从指标值计算单元230接收指标值的数据。欺骗判定单元240基于接收到的指标值根据欺骗判定标准来确定该人是否正在执行欺骗。欺骗判定标准是用于与指标值进行比较的阈值。稍后将参考图5描述由欺骗判定单元240使用的欺骗判定标准的具体示例。
[0098]
此外，欺骗判定单元240基于由指标值计算单元230计算出的指标值来计算“欺骗分数”。欺骗分数是表示一个人正在执行欺骗的可能性程度的参数(见图2)。例如，欺骗分数是指标值的倒数。备选地，可以通过从指标值的最大值中减去指标值来获得欺骗分数。指标值的最大值是当人的头部的运动与人的身体部分的运动彼此完全一致时的指标值。
[0099]
根据上述定义，指标值越大，欺骗分数越小，一个人执行欺骗的可能性就越低。另一方面，指标值越小，欺骗分数越大，一个人执行欺骗的可能性就越大。
[0100]
欺骗判定单元240将表示欺骗判定结果的信息和欺骗分数的数据发送给输出单元20。输出单元20输出欺骗判定结果和欺骗分数。输出目的地(destination)可以是监控违法的操作者的显示设备或终端。备选地，欺骗判定单元240可以仅将欺骗判定结果输出给输出单元20。
[0101]
(权值)
[0102]
特征整合单元220需要预先设置运动特征f(i)、g(j)的权值x
i
,y
j
(i，j为跟踪点的标识符)，以生成表达式(1)所示的整合特征。
[0103]
特征整合单元220首先获取从执行欺骗的人(图2中的情况(a))的多个样本图像中检测到的头部的运动特征和身体部分的运动特征的组合(以下称为组a)、以及从未执行欺骗的人(图2中的情况(b))的多个样本图像中检测到的头部的运动特征和身体部分的运动特征的组合(以下称为组b)。
[0104]
备选地，特征整合单元220可以根据从头部运动特征提取单元215和身体部分运动特征提取单元216接收到的多个运动特征的组合来生成这些组a和组b。
[0105]
当属于组a的头部的运动特征和身体部分的运动特征的组合被替换为上述表达式(1)中的f(i)和g(j)时的整合特征被设置为f
a
(x
i
,y
j
)。当属于组b的头部的运动特征和身体部分的运动特征的组合被替换为表达式(1)中的f(i)和g(j)时的整合特征被设置为f
b
(x
i
,y
j
)。
[0106]
特征整合单元220设置权值x
i
和y
j
，使得可以区分整合特征f
a
(x
i
,y
j
)和整合特征f
b
(x
i
,y
j
)。例如，特征整合单元220设置权值x
i
,y
j
，使得f
b
(x
i
,y
j
)和f
b
(x
m
,y
n
)(m、n分别是与i、j不同的跟踪点的标识符)之间的差的绝对值无论(i,j,m,n)的组合如何总是等于或小于预定阈值th，并且使得f
a
(x
i
,y
j
)和f
b
(x
i
,y
j
)之间的差的绝对值无论(i,j)的组合如何总是超过预定阈值th。更具体地，特征整合单元220例如仅需要在改变i、j、m、n的值时综合得到整合特征f
a
、整合特征f
b
的值，并得到满足上述条件的权值x
i
、y
j
。在这种情况下，假设权值x
i
、y
j
、x
m
、y
n
可以取例如等于或大于0且等于或小于1的一些值，并且特征整合单元220仅需要在改变要替换权值x
i
、y
j
、x
m
、y
n
的值时执行上述综合计算。
[0107]
也就是说，特征整合单元220设置权值x
i
和y
j
，使得未执行欺骗的人的整合特征彼此相似，而未执行欺骗的人的整合特征与执行欺骗的人的整合特征不相似。对于头部的跟踪点和身体部分的跟踪点的每个组(i，j)，权值x
i
、y
j
可以不同。阈值th的数据预先存储在图4所示的阈值存储单元50中。
[0108]
特征整合单元220将设置的权值x
i
、y
j
的数据存储在图5所示的权值存储单元30中。
[0109]
(标准值)
[0110]
根据第二示例实施例的指标值计算单元230预先设置标准值以计算上述指标值。如上所述，标准值是根据未执行欺骗的人的头部的运动特征和身体部分的运动特征的组合依据表达式(1)而获得的整合特征的代表值。例如，标准值可以是统计值，例如根据未执行欺骗的人的多个样本图像而得到的整合特征f
b
(x
i
,y
j
)(i,j为跟踪点的标识符)的平均值。
[0111]
指标值计算单元230将设置的标准值的数据存储在图5所示的标准值存储单元40中。
[0112]
(欺骗判定标准的示例)
[0113]
将参考图5描述欺骗判定单元240判定欺骗的方法的示例。图5是说明特征空间的图。该特征空间是n维(n>1)欧氏空间。图5示出三个维度中的n维(n>1)欧氏空间。特征空间的轴分别对应于整合特征中包括的彼此不相同的特征值。
[0114]
在图5所示的图中，表示了标准值。如上所述，标准值是根据未执行欺骗的人的多个样本图像而获得的整合特征的统计水平值。以标准值为中心，网格被应用于达到某一距离(阈值th)的范围的外侧。从标准值到整合特征f的距离由d表示。在图5中，d<th。也就是说，在整合特征f中，整合特征在以标准值为中心达到某一距离(阈值th)的范围内。
[0115]
在图5所示的特征空间中，如果整合特征f在以标准值为中心的达到某一距离(阈值th)的范围内，则欺骗判定单元240确定该人是真实的(即，该人没有执行欺骗)。另一方面，如果整合特征在以标准值为中心的达到某一距离(阈值th)的范围之外，则欺骗判定单元240确定一个人正在执行欺骗。
[0116]
对于图5，整合特征f越接近标准值，该人假冒另一个人的可能性越低。反之，随着整合特征f偏离标准值，该人假冒另一个人的可能性就越高。因此，当整合特征与标准值之间的距离d(对应于指标值)等于或小于阈值th时，欺骗判定单元240确定该人未执行欺骗。
另一方面，当整合特征与标准值之间的距离d超过阈值th时，欺骗判定单元240确定该人正在执行欺骗。
[0117]
(图像处理装置200的操作)
[0118]
将参照图6描述由根据第二示例实施例的图像处理装置200执行的操作。图6是示出从图像处理装置200获取图像到欺骗判定的过程的流程的流程图。
[0119]
如图6所示，头部检测单元211和身体部分检测单元212中的每一个从输入单元10获取多个时间序列图像(s201)。
[0120]
例如，头部检测单元211和身体部分检测单元212获取由一台相机在预定时间段(例如10秒)内成像的运动图像的帧图像的数据。
[0121]
头部检测单元211从所获取的每个时间序列图像中检测人的头部。身体部分检测单元212从所获取的每个相同的时间序列图像中检测人的身体部分(s202)。
[0122]
在步骤s202中，头部检测单元211可以首先通过模式匹配等从每个图像提取人的头部区域，然后从提取的人的头部区域中检测头部的跟踪点。类似地，身体部分检测单元212可以首先通过模式匹配等从每个图像提取人的身体部分的区域，然后从提取的人的身体部分的区域中检测身体部分的跟踪点。
[0123]
头部检测单元211将人的头部的检测结果与时间序列图像的数据一起发送给头部运动特征提取单元215。身体部分检测单元212将人的身体部分的检测结果与时间序列图像的数据一起发送给身体部分运动特征提取单元216。
[0124]
头部运动特征提取单元215从头部检测单元211接收人的头部的检测结果以及时间序列图像的数据。身体部分运动特征提取单元216从身体部分检测单元212接收人的身体部分的检测结果以及时间序列图像的数据。
[0125]
头部运动特征提取单元215从时间序列图像提取人的头部运动的特征。身体部分运动特征提取单元216从时间序列图像提取人的身体部分的运动特征(s203)。
[0126]
头部运动特征提取单元215将表示检测到的头部的运动特征的信息发送给特征整合单元220。身体部分运动特征提取单元216将表示检测到的身体部分的运动特征的信息发送给特征整合单元220。
[0127]
特征整合单元220从头部运动特征提取单元215和身体部分运动特征提取单元216分别接收表示头部的运动特征的信息和表示身体部分的运动特征的信息。
[0128]
特征整合单元220通过整合头部的运动特征和身体部分的运动特征来生成整合特征(s204)。
[0129]
具体地，利用预先存储在权值存储单元30中的权值x
i
和y
j
(i，j分别为头部、身体的跟踪点的标识符)(见图4)，根据上述表达式(1)，特征整合单元220生成与权值x
i
和y
j
、头部的运动特征f(i)、以及身体部分的运动特征g(j)相关联的整合特征f(i,j,x
i
,y
j
)。特征整合单元220将表示所生成的整合特征的信息发送给指标值计算单元230。
[0130]
指标值计算单元230从特征整合单元220接收表示整合特征的信息。指标值计算单元230获取预先存储在标准值存储单元40(见图5)中的标准值，并计算整合特征与特征空间中的标准值之间的距离d(见图5)作为指标值(s205)。
[0131]
备选地，在步骤s205中，指标值计算单元230可以基于距离d计算指标值。例如，指标值计算单元230计算取决于距离d的函数值作为指标值。指标值计算单元230将计算出的
指标值的数据发送给欺骗判定单元240。
[0132]
欺骗判定单元240从指标值计算单元230接收指标值的数据。欺骗判定单元240参考阈值存储单元50以获取阈值th。欺骗判定单元240确定指标值是否等于或小于阈值th(见图5)(s206)。
[0133]
在步骤s206之后，欺骗判定单元240如下确定欺骗的存在或不存在。
[0134]
当整合特征与标准值之间的距离d(对应于指标值)等于或小于阈值th时(s206中的“是”)，欺骗判定单元240确定该人未执行欺骗(s207a)。
[0135]
另一方面，当整合特征与标准值之间的距离d超过阈值th时(s206中的“否”)，欺骗判定单元240确定该人正在进行欺骗(s207b)。
[0136]
此后，欺骗判定单元240输出在步骤s207a或s207b中的欺骗判定结果以及欺骗分数的数据(s208)。
[0137]
输出目的地可以是操作者的显示设备或终端。在步骤s208中，欺骗判定单元240可以将指标值计算单元230计算的指标值与欺骗判定结果和欺骗分数的数据一起输出。
[0138]
在上述过程之后，由根据第二示例实施例的图像处理装置200执行的欺骗判定过程结束。
[0139]
(本示例实施例的效果)
[0140]
根据本示例实施例的配置，运动检测单元210从时间序列图像中检测与人的头部的运动有关的特征和与作为除了人的头部以外的区域的身体部分的运动有关的特征。指标值计算单元230计算表示与人的头部的运动有关的特征和与身体部分的运动有关的特征之间的一致性程度的指标值。
[0141]
当一个人正在利用打印件或显示器上显示的面部图像执行欺骗时，与人的头部的运动有关的特征和与身体部分的运动有关的特征之间出现矛盾，并失去一致性。在第二示例实施例中，可以根据表示与人的头部的运动有关的特征和与身体部分的运动有关的特征之间的一致性程度的指标值来准确地识别欺骗。
[0142]
欺骗判定单元240基于指标值来判定该人是否正在假冒另一个人。指标值表示人的头部的运动与人的身体部分的运动之间的一致性程度。为此，欺骗判定单元240可以高精确度地确定该人是否正在假冒另一个人。
[0143]
此外，指标值计算单元230基于特征整合单元220生成的整合特征和预先设置的标准值来计算指标值。整合特征可以是与人的头部的运动有关的特征和与人的身体部分的运动有关的特征的加权和。由于标准值是根据未执行欺骗的人的头部的运动特征和身体部分的运动特征的组合而得到的整合特征的代表值，因此整合特征越接近标准值，该人未执行欺骗的可能性就越高。通过使用整合特征和标准值，可以高精确度地计算表示与人的头部的运动有关的特征和与身体部分的运动有关的特征之间的一致性程度的指标值。
[0144]
[第三示例实施例]
[0145]
下面将参考图7描述第三示例实施例。
[0146]
(关于硬件配置)
[0147]
在第一和第二示例实施例中描述的图像处理装置100、200的组件均表示功能单元的块。例如，这些组件中的一些或全部由如图7所示的信息处理装置900来实现。图7是示出信息处理装置900的硬件配置的示例的框图。
[0148]
如图7所示，信息处理装置900包括作为示例的以下配置。
[0149]
·
中央处理单元(cpu)901
[0150]
·
只读存储器(rom)902
[0151]
·
随机存取存储器(ram)903
[0152]
·
加载到ram 903的程序904
[0153]
·
存储程序904的存储设备905
[0154]
·
从/向记录介质906执行读取/写入的驱动设备907
[0155]
·
用于连接通信网络909的通信接口908
[0156]
·
用于输入/输出数据的输入/输出接口910
[0157]
·
用于连接每个组件的总线911
[0158]
在第一和第二示例实施例中描述的图像处理装置100、200的组件通过cpu 901读取并执行实现这些组件的功能的程序904来实现。例如，实现组件的功能的程序904预先存储在存储设备905或rom 902中，并且cpu 901将程序加载到ram 903中并在必要时执行该程序。程序904可以经由通信网络909提供给cpu 901，或者可以预先存储在记录介质906中，并且驱动设备907可以读取该程序并将该程序提供给cpu 901。
[0159]
(本示例实施例的效果)
[0160]
根据本示例实施例的配置，上述示例实施例中描述的图像处理装置以硬件方式实现。因此，可以获得与上述示例实施例中描述的效果类似的效果。
[0161]
以上，已经参考示例实施例描述了本实施例；然而，本实施例不限于上述示例实施例。在本公开的范围内，可以对本实施例的配置和细节进行本领域技术人员能够理解的各种修改。
[0162]
本技术基于并要求2019年3月22日提交的日本专利申请no.2019
‑
055164的优先权，其全部公开通过引用并入本文。
[0163]
附图标记列表
[0164]
100 图像处理装置
[0165]
104 运动检测单元
[0166]
106 指标值计算单元
[0167]
201 图像处理装置
[0168]
210 运动检测单元
[0169]
211 头部检测单元
[0170]
212 身体部分检测单元
[0171]
215 头部运动特征提取单元
[0172]
216 身体运动特征提取单元
[0173]
220 特征整合单元
[0174]
230 指标值计算单元
[0175]
240 欺骗判定单元。