评价方法、信息处理装置以及评价程序与流程

1.本发明涉及评价方法、信息处理装置以及评价程序。


背景技术：

2.例如，能够使用由一般地普及的照相机拍摄到的图像实现面部认证的系统广泛地普及。然而，近年，例如能够利用sns(social networking service：社交网络服务)等容易地得到他人的面部图像。其结果，使用他人的面部图像进行面部认证那样的基于伪造图像的攻击广为人知。
3.因此，也已知有根据由于他人的面部图像的伪造图像以及实际的图像的反射特性不同而产生的摩尔图案来探测伪造图像的技术。
4.专利文献1：日本特开2006－190259号公报
5.专利文献2：日本特开2006－133945号公报
6.专利文献3：日本特开2018－36965号公报
7.非专利文献1：diago caetano garcia et al.，“face-spoofing2d-detection based on moire-pattern analysis”，ieee transactions on information forensics and security，vol.10，no.4，april 2015.
8.然而，例如在利用一般的web照相机拍摄以高画质进行拍摄，并由高亮度高分辨率的显示器提示的图像的情况下，难以将拍摄到的图像识别为伪造图像(伪造物)。


技术实现要素：

9.在一个侧面，提供能够进行高精度的伪造判定的评价方法、信息处理装置以及评价程序。
10.在一个方式中，作为评价方法，计算机获取由照相机拍摄到的包含对象物的图像数据。计算机基于获取的上述图像数据，检测由上述照相机拍摄到的包含上述对象物的被拍摄体上的多个位置各自的移动。计算机确定上述被拍摄体上的上述多个位置中检测出的上述移动的大小比基准值大的多个位置。计算机基于确定出的上述多个位置的在上述图像数据中的分布，进行与由上述照相机拍摄到的上述对象物相关的评价。
11.作为一个侧面，能够进行高精度的伪造判定。
附图说明
12.图1是表示实施例1的评价装置的构成的一个例子的说明图。
13.图2是表示对象物图像的移动直线的一个例子的说明图。
14.图3是表示对象物图像的移动直线的检测处理的一个例子的说明图。
15.图4是表示对象物图像的移动直线的确定处理的一个例子的说明图。
16.图5是表示与第一评价处理相关的评价装置内的cpu的处理动作的一个例子的流程图。
17.图6是表示实施例2的评价装置的构成的一个例子的说明图。
18.图7是表示从对象物图像的移动直线的检测到确定为止的处理的一个例子的说明图。
19.图8是表示与第二评价处理相关的评价装置内的cpu的处理动作的一个例子的流程图。
20.图9是表示执行评价程序的计算机的一个例子的说明图。
具体实施方式
21.以下，基于附图，对本技术公开的评价装置等的实施例进行详细的说明。另外，并不通过本实施例，对公开技术进行限定。另外，以下所示的各实施例也可以在不引起矛盾的范围内适当地组合。
22.实施例1
23.图1是表示实施例1的评价装置1的构成的一个例子的说明图。图1所示的评价装置1例如是评价在用于生物体认证时拍摄的对象物图像是否为伪造的装置。评价装置1具有照相机11、显示部12、操作部13、存储器14、以及cpu(central processing unit：中央处理器)15。照相机11例如是拍摄被拍摄体的输入接口。照相机11例如是web照相机，ir(infrared：红外线)照相机或者深度照相机等。显示部12是显示各种信息的显示器装置等输出接口。操作部13例如是用于输入指令等的输入接口。存储器14是存储各种信息的例如rom(read only memory：只读存储器)、ram(random access memory：随机存储器)、闪存(flash memory)等半导体存储器元件、或者是hdd(hard disk drive：硬盘驱动器)、光盘等存储装置。cpu15是控制评价装置1整体的电子电路。
24.cpu15例如将储存于rom的程序展开在ram上。cpu15通过将展开在ram上的程序作为进程来执行，而例如作为获取部15a、检测部15b、确定部15c、评价部15d以及控制部15e发挥作用。
25.获取部15a获取由照相机11拍摄到的包含对象物的图像数据。检测部15b基于获取的连续的前后的图像数据，检测由照相机11拍摄到的包含对象物的被拍摄体上的多个位置各自的移动。即，检测部15b检测作为移动向量的移动直线作为包含对象物的被拍摄体的对象物图像上的多个位置各自的移动。另外，在使对象物为面部图像的情况下，对象物是由照相机11拍摄到的实物的面部或者显示于其它的终端的面部等。被拍摄体是在对象物图像映出的全部的图像例如面部图像、背景图像、智能手机框架图像等。
26.确定部15c确定被拍摄体上的多个位置中检测出的移动的大小比基准值大的多个位置。即，确定部15c确定检测出的移动直线的大小比基准值大的多个移动直线。并且，确定部15c确定相邻的移动直线的移动方向的差小于规定值的多个移动直线。确定部15c计算对象物图像上的确定出的移动直线的分布。
27.评价部15d基于确定出的多个位置的在图像数据上的分布，进行与由照相机11拍摄到的对象物相关的评价。即，评价部15d基于确定出的多个移动直线的分布的对象面积，判定由照相机11拍摄到的对象物图像是否为实物。另外，对象物例如是面部图像、静脉图像或者虹膜图像等生物体对象。控制部15e控制cpu15整体。控制部15e执行面部认证、静脉认证或者虹膜认证等生物体认证。
28.在前后的对象物图像是实际的图像的情况下，在对象物图像产生人的自然的复杂的移动。与此相对，在前后的对象物图像为伪造物的图像的情况下，在对象物图像，例如由于在罩在高画质的显示器上时产生的手抖而产生基于简单的直线性的移动的移动直线。着眼于这一点，使用对象物图像上的移动直线的分布判定对象物图像是否为伪造物。
29.在评价装置1中，并不检测对象物图像上的单纯的直线，而检测移动直线。在检测单纯的直线的情况下，由于受到位于对象物图像上的背景上的直线的影响，所以在背景有较多的直线的情况下，有将对象物图像判定为伪造物的担心。换句话说，即使对象物图像不为伪造物，也将对象物图像判定为伪造物。因此，评价装置1并不检测对象物图像上的单纯的直线，而检测移动直线，并基于对象物图像上的移动直线的分布，评价对象物图像。其结果，即使在背景包含较多的直线的情况下，也能够进行高精度的伪造判定。
30.图2是表示对象物图像100的移动直线x的一个例子的说明图。对象物图像100是评价装置1的照相机11拍摄到的图像。另外，图2所示的对象物图像100例如是包含攻击者在平板终端的显示器显示了合法的利用者的面部图像的伪造物的图像的图像。实际的图像例如是由照相机11拍摄到的合法的利用者的实际的面部图像。在利用照相机11拍摄显示于显示器的图像的情况下，由于显示器的手抖而产生连续拍摄的前后的拍摄图像的各位置的移动直线x。
31.图3是表示对象物图像100的移动直线x的检测处理的一个例子的说明图。检测部15b例如使用使由于物体或者照相机11的移动而产生的相邻帧间的物体的移动数值化的光流，使连续的前后的对象物图像100上的多个位置各自的移动数值化来检测各位置的移动直线x。
32.图3所示的对象物图像100例如是由照相机11拍摄攻击者的伪造物的连续的三个图像。检测部15b对i(i－1)的对象物图像100与连续的i(i)的对象物图像100进行比较，检测包含各位置的移动直线x的移动直线组。然后，检测部15b检测包含移动直线组的iv(i－1)的对象物图像101。另外，检测部15b对i(i)的对象物图像100与连续的i(i 1)的对象物图像100进行比较，检测包含各位置的移动直线x的移动直线组。然后，检测部15b检测包含移动直线组的iv(i)的对象物图像101。
33.图4是表示对象物图像100的移动直线x的确定处理的一个例子的说明图。确定部15c确定检测部15b检测出的iv(i)的对象物图像101上的各位置的移动直线x中，比基准值大的移动直线x1。并且，确定部15c确定iv1(i)的对象物图像102上的确定出的移动直线x1中相邻的移动直线x1的移动方向的差小于规定值，例如同一方向的移动直线x2。并且，确定部15c将iv2(i)的对象物图像103上的确定出的移动直线x2的区域二值化变换为“1”，并将对象物图像103上的“1”的区域以外的区域二值化变换为“0”，得到二值化变换后的ib(i)的对象物图像104。另外，在图4所示的ib(i)的对象物图像104中，以空心表现“1”的区域x3，并以黑底表现“0”的区域。若为单位时间则手抖看起来是线性的动作，所以对象物图像104内的移动直线x2的区域x3越宽，越能够将对象物图像判定为伪造物。
34.而且，评价部15d计算ib(i)的对象物图像104内的“1”的区域x3的对象面积，并对“1”的区域x3的对象面积与ib(i)的对象物图像104整体的面积进行比较。评价部15d在“1”的区域x3的对象面积在阈值例如规定的比例以上的情况下，将对象物图像100判断为伪造物。另外，评价部15d在“1”的区域x3的面积小于规定的比例的情况下，将对象物图像100判
断为实物。
35.控制部15e在将对象物图像100判断为伪造物的情况下，不执行基于对象物图像100的面部认证，而在显示部12显示警告。控制部15e在将对象物图像100判断为实物的情况下，利用对象物图像100开始面部认证。
36.图5是表示与第一评价处理相关的评价装置1内的cpu15的处理动作的一个例子的流程图。在图5中cpu15内的获取部15a判定是否连续地获取了对象物图像100(步骤s11)。cpu15内的检测部15b在连续地获取了对象物图像100的情况下(步骤s11：是)，根据连续的两个对象物图像100检测被拍摄体的移动直线x(步骤s12)。
37.cpu15内的确定部15c确定检测出的移动直线x中移动直线x的大小比基准值大的移动直线x1(步骤s13)。并且，确定部15c确定确定出的移动直线x1中相邻的移动直线x的方向的差小于规定值的移动直线x2(步骤s14)。
38.然后，确定部15c变换为使对象物图像103中在步骤s14确定出的移动直线x2的区域x3为“1”，并使其以外的区域为“0”的二值化图像(步骤s15)。确定部15c计算二值化变换后的对象物图像104中“1”的区域x3的对象面积(步骤s16)。
39.cpu15内的评价部15d判定区域x3的对象面积是否在阈值以上(步骤s17)。评价部15d在对象面积在阈值以上的情况下(步骤s17：是)，将对象物图像100判定为伪造物(步骤s18)，并结束图5所示的处理动作。
40.评价部15d在对象面积不在阈值以上的情况下(步骤s17：否)，将对象物图像100判定为实物(步骤s19)，并结束图5所示的处理动作。而且，cpu15内的控制部15e在将对象物图像100判断为实物的情况下，使用对象物图像100上的对象物开始生物体认证。获取部15a在未连续地获取对象物图像100的情况下(步骤s11：否)，结束图5所示的处理动作。
41.评价装置1根据连续的前后的对象物图像100检测被拍摄体的各位置的移动直线x，并确定检测出的移动直线x中大小比基准值大，并且，相邻的移动直线x的方向的差小于规定值的移动直线x2。评价装置1使确定出的移动直线x2的分布二值化，在对象物图像100内的移动直线x2的区域x3的对象面积在阈值以上的情况下，将对象物图像100判断为伪造物。并且，评价装置1在对象物图像100内的移动直线x2的区域x3的对象面积小于阈值的情况下，将对象物图像100判断为实物。其结果，即使在背景包含较多的直线的情况下，也能够进行高精度的伪造判定。另外，例如在利用照相机11拍摄以高画质拍摄，并提示在高亮度高分辨率的显示器的图像的情况下，能够将拍摄到的对象物图像100识别为伪造物。
42.在评价装置1中，由于不需要以往那样的根据是否根据挑战&响应正确地移动了终端的判定结果对合法的利用者进行生物体探测那样的有意的操作，所以能够减轻合法的利用者的操作负担。
43.另外，在实施例1的评价装置1中，例示了使确定出的移动直线x的分布二值化，在对象物图像100内的移动直线x2的区域x3的对象面积在阈值以上的情况下，将对象物图像100判断为伪造物的情况。然而，并不限定于特定的移动直线x的分布的对象面积，也可以基于对象物图像100内的例如特定的移动直线x的条数，来判定对象物图像100是否为伪造物，对于该实施方式，作为实施例2在以下进行说明。
44.实施例2
45.图6是表示实施例2的评价装置1a的构成的一个例子的说明图。另外，通过对与实
施例1的评价装置1相同的构成附加相同的附图标记，省略其重复的构成以及动作的说明。
46.图6所示的评价装置1a内的cpu15除了获取部15a、检测部15b以及控制部15e之外，还具有确定部151c和评价部151d。确定部151c确定检测出的移动直线x的大小比基准值大，并且，相邻的移动直线x的移动方向的差小于规定值的多个移动直线x2。确定部151c对在对象物图像100上确定出的多个移动直线x2进行直线估计。确定部151c计算对象物图像100上直线估计结果的移动直线x4的条数。
47.评价部151d判定对象物图像100上的移动直线x4的条数是否在阈值条数以上。评价部151d在移动直线x4的条数在阈值条数以上的情况下，将对象物图像100判定为伪造物。评价部151d在移动直线x4的条数小于阈值条数的情况下，将对象物图像100判定为实物。
48.控制部15e在将对象物图像100判断为伪造物的情况下，不执行基于对象物图像100的面部认证，而在显示部12显示警告。控制部15e在将对象物图像100判断为实物的情况下，利用对象物图像100开始面部认证。
49.图7是表示从对象物图像100的移动直线x的检测到确定为止的处理的一个例子的说明图。检测部15b根据连续的前后的对象物图像100检测各位置的移动直线x。确定部151c确定由检测部15b检测出的iv11(i)的对象物图像101a上的各位置的移动直线x中比基准值大的移动直线x1。并且，确定部151c确定iv12(i)的对象物图像102a上的确定出的移动直线x1中相邻的移动直线x的移动方向的差小于规定值的移动直线x2。确定部151c根据对象物图像102a上的移动直线x2估计直线，并获取对象物图像105上的直线估计的移动直线x4的条数(五条)。
50.评价部151d判定对象物图像105上的移动直线x4的条数是否在阈值以上。评价部151d在移动直线x4的条数在阈值条数以上的情况下，将对象物图像100判定为伪造物。评价部151d在移动直线x4的条数小于阈值条数的情况下，将对象物图像100判定为实物。
51.图8是表示与第二评价处理相关的评价装置1a内的cpu15的处理动作的一个例子的流程图。在图8中cpu15内的确定部151c执行确定确定出的移动直线x1中相邻的移动直线的方向的差小于规定值的移动直线x2的步骤s14的处理。确定部151c对对象物图像105中在步骤s14确定出的移动直线x2进行直线估计(步骤s21)。
52.确定部151c基于直线估计结果，计算对象物图像105内的直线估计的移动直线x4的条数(步骤s22)。评价部151d判定计算出的移动直线x4的条数是否在阈值条数以上(步骤s23)。
53.评价部151d在移动直线x4的条数在阈值条数以上的情况下(步骤s23：是)，将对象物图像100判定为伪造物(步骤s24)，并结束图8所示的处理动作。
54.评价部151d在移动直线x4的条数不在阈值条数以上的情况下(步骤s23：否)，将对象物图像100判定为实物(步骤s25)，并结束图8所示的处理动作。而且，控制部15e在将对象物图像100判断为实物的情况下，使用对象物图像100上的对象物开始生物体认证。
55.评价装置1a根据连续的前后的对象物图像100检测被拍摄体的各位置的移动直线x，并确定检测出的移动直线x中移动直线的大小比基准值大，并且，相邻的移动直线的方向的差小于规定值的移动直线x2。评价装置1a对确定出的移动直线x2进行直线估计，并计算直线估计出的移动直线x4的条数。评价装置1b在对象物图像100内的移动直线x4的条数在阈值条数以上的情况下，将对象物图像100判断为伪造物。并且，评价装置1a在对象物图像
100内的移动直线x4的条数小于阈值条数的情况下，将对象物图像100判断为实物。其结果，即使在背景包含较多的直线的情况下，也能够进行高精度的伪造判定。另外，例如在利用照相机11拍摄以高画质拍摄，并提示在高亮度高分辨率的显示器的图像的情况下，能够将拍摄到的对象物图像识别为伪造物。
56.另外，为了方便说明，在评价装置1(1a)中，例示了根据连续的前后的两个对象物图像100检测移动直线x的情况。然而，并不限定于两个对象物图像，也可以根据三个以上的对象物图像中前后的组的对象物图像来按每一组检测移动直线的大小比基准值大，并且，相邻的移动直线的方向的差小于规定值的移动直线x2。也可以基于按每一组检测出的移动直线x2分布对每一组评价对象物图像，并汇总每一组的评价结果，基于该汇总结果，评价对象物图像。其结果，能够实现更高精度的伪造判定。
57.例示了评价装置1(1a)确定移动直线的大小比基准值大，并且，相邻的移动直线的差小于规定值的移动直线，并基于确定出的移动直线的分布，判定对象物图像是否为伪造物的情况。然而，也可以基于移动直线的大小比基准值大的移动直线的分布，来判定对象物图像是否伪造。
58.虽然例示了评价装置1(1a)根据利用内置的照相机11拍摄到的前后的对象物图像检测移动直线的情况，但也可以接收由能够通信连接的外部的照相机拍摄到的前后的对象物图像。并且，评价装置1(1a)也可以根据接收到的前后的对象物图像检测移动直线，能够适当地变更。
59.另外，例示了评价装置1(1a)应用于在对象物图像为实物的情况下使用对象物图像上的对象物执行生物体认证的生物体认证装置的情况。作为生物体认证装置，例如也可以是执行向设备的登录时的生物体认证、kiosk终端的生物体认证、出入室管理时的生物体认证、银行atm使用时的生物体认证的装置，能够适当地变更。
60.虽然例示了由计算机执行评价装置1(1a)的情况，但也可以通过云端执行，也可以通过云端根据前后的对象物图像检测移动直线x。另外，评价装置1(1a)也可以不利用计算机，而利用管理多个评价装置1(1a)的服务器装置，根据前后的对象物图像检测移动直线x，能够适当地变更。
61.另外，例示了评价装置1(1a)确定检测出的移动直线的大小比基准值大，并且，相邻的移动直线的移动方向的差小于规定值的多个移动直线x2的情况。然而，也可以利用云端或者服务器装置，确定检测出的移动直线的大小比基准值大，并且，相邻的移动直线的移动方向的差小于规定值的多个移动直线x2，能够适当地变更。
62.例示了评价装置1基于确定出的多个移动直线x2的分布的对象面积，判定由照相机11拍摄到的对象物图像是否为实物的情况。然而，也可以利用云端或者服务器装置，基于确定出的多个移动直线x2的分布的对象面积，判定由照相机11拍摄到的对象物图像是否为实物，能够适当地变更。
63.例示了评价装置1a对在对象物图像100上确定出的多个移动直线x2进行直线估计，并计算对象物图像100上直线估计结果的移动直线x4的条数的情况。然而，也可以利用云端或者服务器装置，对在对象物图像100上确定出的多个移动直线x2进行直线估计，并计算对象物图像100上直线估计结果的移动直线x4的条数，能够适当地变更。
64.例示了评价装置1a判定对象物图像100上的移动直线x4的条数是否在阈值条数以
上的情况。然而，也可以利用云端或者服务器装置，判定对象物图像100上的移动直线x4的条数是否在阈值条数以上，能够适当地变更。
65.另外，图示的各部的各构成要素并不需要在物理上一定如图示那样构成。即，各部的分散/统一的具体方式并不限定于图示的方式，能够构成为根据各种负荷、使用状况等，以任意的单位在功能上或者物理上对其全部或者一部分进行分散/统一。
66.并且，由各装置进行的各种处理功能也可以在cpu(或者mpu(micro processing unit：微处理器)、mcu(micro controller unit：微控制单元)等微型计算机)上执行其全部或者任意的一部分。另外，各种处理功能当然也可以在由cpu(或者mpu、mcu等微型计算机)进行解析执行的程序上、或者在基于布线逻辑的硬件上执行其全部或者任意的一部分。
67.然而，能够通过由计算机等信息处理装置执行预先准备的程序来实现在本实施例进行了说明的各种处理。因此，以下，对执行具有与上述实施例相同的功能的程序的计算机的一个例子进行说明。图9是表示执行评价程序的计算机200的一个例子的说明图。
68.在图9所示的执行评价程序的计算机200中，具有通信装置210、输入装置220、输出装置230、rom240、ram250、cpu260、以及总线270。另外，输入装置220包含拍摄对象物的照相机等。
69.而且，在rom240预先存储有发挥与上述实施例相同的功能的评价程序。另外，也可以不在rom240，而在能够由未图示的驱动器读取的记录介质记录评价程序。另外，作为记录介质，例如也可以是cd－rom、dvd盘、usb存储器、sd卡等便携式记录介质、闪存等半导体存储器等。作为评价程序，如图9所示，为获取程序240a、检测程序240b、确定程序240c以及评价程序240d。另外，程序240a、240b、240c以及240d也可以适当地统一或者分散。
70.而且，cpu260从rom240读出这些程序240a、240b、240c以及240d，并将这些读出的各程序展开在ram250的工作区上。而且，如图9所示，cpu260使展开在ram250上的各程序240a、240b、240c以及240d作为获取工序250a、检测工序250b、确定工序250c以及评价工序250d发挥作用。
71.cpu260获取由照相机拍摄到的包含对象物的图像数据。cpu260基于获取的上述图像数据，检测由上述照相机拍摄到的包含上述对象物的被拍摄体上的多个位置各自的移动。cpu260确定上述被拍摄体上的上述多个位置中检测到的上述移动的大小比基准值大的多个位置。cpu260基于确定出的上述多个位置的在上述图像数据中的分布，进行与由上述照相机拍摄到的上述对象物相关的评价。其结果，能够进行高精度的伪造判定。
72.附图标记说明
[0073]1…
评价装置，15a
…
获取部，15b
…
检测部，15c
…
确定部，15d
…
评价部，151c
…
确定部，151d
…
评价部。