估计装置、估计方法、估计程序与流程

本发明涉及一种估计装置、估计方法、估计程序。

背景技术

公知有使用各种生物认证来进行本人认证的技术。作为这种认证技术，例如，具有进行根据包含作为认证对象的人物的全身的图像数据估计骨骼的位置坐标的骨骼估计，基于估计结果进行本人认证的技术。

现有技术文献

专利文献

专利文献1：日本特开2018-013999号公报

技术实现要素：

发明要解决的问题

然而，在以往的骨骼估计的方法中，存在有时不能高精度地进行骨骼估计的课题。例如，在以往的骨骼估计的方法中，存在如下课题：在图像中仅包含图像数据中的作为认证对象的人物的身体的一部分的情况下，骨骼估计的精度降低。

用于解决问题的手段

为了解决上述的课题并达成目的，本发明的估计装置的特征在于，所述估计装置具有：取得部，其取得缺失人物的身体的一部分的图像数据；复原部，其将由所述取得部取得的图像数据作为输入，使用用于将所述图像数据中的人物的身体的缺失的一部分复原的全身复原模型，将所述图像数据中的人物的身体的缺失的一部分复原；以及估计部，其将由所述复原部复原后的图像数据作为输入，使用用于估计与所述人物的骨骼有关的骨骼数据的骨骼估计模型，来估计所述骨骼数据。

此外，本发明的估计方法是由估计装置执行的估计方法，由估计装置执行的估计方法的特征在于，包括如下步骤：取得步骤，取得缺失人物的身体的一部分的图像数据；复原步骤，将由所述取得步骤取得的图像数据作为输入，使用用于将所述图像数据中的人物的身体的缺失的一部分复原的全身复原模型，将所述图像数据中的人物的身体的缺失的一部分复原；以及估计步骤，将由所述复原步骤复原后的图像数据作为输入，使用用于估计与所述人物的骨骼有关的骨骼数据的骨骼估计模型，来估计所述骨骼数据。

另外，本发明的估计程序的特征在于，所述估计程序使计算机执行如下步骤：取得步骤，取得缺失人物的身体的一部分的图像数据；复原步骤，将由所述取得步骤取得的图像数据作为输入，使用用于将所述图像数据中的人物的身体的缺失的一部分复原的全身复原模型，将所述图像数据中的人物的身体的缺失的一部分复原；以及估计步骤，将由所述复原步骤复原后的图像数据作为输入，使用用于估计与所述人物的骨骼有关的骨骼数据的骨骼估计模型，来估计所述骨骼数据。

发明效果

根据本发明，具有即使是仅包含人物的身体的一部分的图像数据，也能够维持认证处理的精度这样的效果。

附图说明

图1是示出第1实施方式所涉及的估计装置的结构例的框图。

图2是对缺失人物的身体的一部分的图像数据进行说明的图。

图3是对由第1实施方式所涉及的估计装置进行的骨骼估计处理的概要进行说明的图。

图4是对计算骨骼的类似度的处理例进行说明的图。

图5是示出第1实施方式所涉及的估计装置中的处理的流程的一例的流程图。

图6是示出变形例所涉及的估计装置中的处理的流程的一例的流程图。

图7是示出执行估计程序的计算机的图。

具体实施方式

以下，根据附图对本申请所涉及的估计装置、估计方法及估计程序的实施方式进行说明。另外，本申请所涉及的估计装置、估计方法及估计程序并不限于该实施方式。

[第1实施方式]

在以下的实施方式中，依次对第1实施方式所涉及的估计装置10的结构、估计装置10的处理的流程进行说明，最后对第1实施方式的效果进行说明。

[估计装置的结构]

首先，使用图1对估计装置10的结构进行说明。图1是示出第1实施方式所涉及的估计装置的结构例的框图。估计装置10为了进行本人认证，取得显现了作为认证对象的人物的身体的一部分的图像数据，根据所取得的图像数据，对作为认证对象的人物所缺失的一部分进行复原而估计该人物的骨骼数据。并且，估计装置10是通过计算估计出的骨骼数据与正解的骨骼数据的类似度而进行本人认证的装置。

如图1所示，该估计装置10具有通信处理部11、控制部12以及存储部13。以下对估计装置10所具有的各部件的处理进行说明。

通信处理部11对与在所连接的装置之间交互的各种信息有关的通信进行控制。例如，通信处理部11从外部的装置接收作为骨骼估计的处理对象的图像数据。此外，存储部13存储由控制部12进行的各种处理所需的数据和程序，并且具有登记信息存储部13a。例如，存储部13是RAM(Random Access Memory：随机存取存储器)、闪存(Flash Memory)等的半导体存储器元件等的存储装置。

登记信息存储部13a存储用户预先登记的骨骼数据。例如，作为骨骼数据，登记信息存储部13a存储根据用户在照相机前采取预定的姿势(例如，举起双手等)的状态下的用户的全身的图像而估计出的骨骼数据。另外，对于该姿势，可以是在登记时由用户自由决定的，也可以是预先决定的姿势且仅被合法的用户知晓的姿势。

控制部12具有用于存储规定有各种的处理过程等的程序和所需数据的内部存储器，并据此执行各种处理。例如，控制部12具有取得部12a、复原部12b、估计部12c、计算部12d以及认证部12e。在此，控制部12例如是CPU(Central Processing Unit：中央处理单元)、MPU(Micro Processing Unit：微处理单元)、GPU(Graphical Processing Unit：图形处理单元)等电子电路、ASIC(Application Specific Integrated Circuit：专用集成电路)、FPGA(Field Programmable Gate Array：现场可编程门阵列)等集成电路。

取得部12a取得缺失人物的身体的一部分的图像数据。例如，取得部12a从拍摄了作为认证对象的人物的照相机取得图像数据，并向复原部12b输出图像数据。如图2所例示，此处取得的图像数据是图像中仅包含人物的身体的一部分的图像数据。在图2的示例中，对于图像数据，图像中仅包含从腰部往上的上半身，但图像中未显现从腰部往下的下半身。

复原部12b将由取得部12a取得的图像数据作为输入，使用用于对图像数据中的人物的身体的缺失的一部分进行复原的全身复原模型，将图像数据中的人物的身体的缺失的一部分复原。即，复原部12b向全身复原模型输入缺失人物的身体的一部分的图像数据，取得从全身复原模型输出的、缺失的一部分被复原的图像数据。另外，该全身复原模型可以是预先生成的已学习模型。

估计部12c将由复原部12b复原后的图像数据作为输入，使用用于估计与人物的骨骼有关的骨骼数据的骨骼估计模型，来估计骨骼数据。该骨骼估计模型是使用包含全身的图像数据学习后的已学习模型，是以输入了包含全身或者身体的大部分的图像数据作为输入数据为前提生成的模型。

例如，估计部12c通过向骨骼估计模型输入图像数据，确定图像数据内的人物的骨骼中的各部位的位置，估计“右肩”、“右上臂”、“右前臂”、“左肩”、“左上臂”、“左前臂”、“右上腿”、“右下腿”、“左上腿”以及“左下腿”，作为相当于各关节的部分。

计算部12d计算由估计部12c估计出的骨骼数据与事先登记的骨骼数据的类似度。在此，使用图4对计算骨骼的类似度的处理例进行说明。图4是对计算骨骼的类似度的处理例进行说明的图。

如图4所例示，计算部12d针对由估计部12c估计出的骨骼数据即全身信息A以及预先存储的骨骼数据即全身信息B分别确定骨骼中的各部位的位置，作为各关节，而确定“右肩”、“右上臂”、“右前臂”、“左肩”、“左上臂”、“左前臂”、“右上腿”、“右下腿”、“左上腿”以及“左下腿”的角度。骨骼数据通过表示各部位的点以及将相邻的点彼此连结而得到的线或者箭头来表述。针对各关节，计算部12d例如通过余弦类似度将矢量的角度的接近度计算为类似度。在该情况下，两个矢量的角度越接近则成为越接近1的值。此外，例如，计算部12d可以针对全部关节分别求出类似度，将各关节的类似度的合计值计算为用户的骨骼的类似度。

认证部12e判定由计算部12d计算出的类似度是否是预定阈值以上，在类似度是预定阈值以上的情况下，判定为认证成功，类似度小于预定阈值的情况下，判定为认证失败。另外，估计装置10进行直到骨骼数据的估计处理为止的处理，关于类似度计算处理、认证处理，可以在其他的装置中进行。

[估计装置的处理过程]

接着，使用图5对由第1实施方式所涉及的估计装置10进行处理过程的示例进行说明。图5是示出第1实施方式所涉及的估计装置中的处理的流程的一例的流程图。

如图5所例示，在估计装置10中，当取得部12a取得了缺失人物的身体的一部分的图像数据时(步骤S101肯定)，复原部12b将由取得部12a取得的图像数据中的人物的身体的缺失的一部分复原(步骤S102)。具体而言，复原部12b将由取得部12a取得的图像数据作为输入，使用将图像数据中的人物的身体的缺失的一部分复原的全身复原模型，将图像数据中的人物的身体所缺失的一部分复原。

而后，估计部12c根据缺失的一部分被复原后的全身的图像数据估计骨骼(步骤S103)。具体而言，估计部12c将由复原部12b复原后的图像数据作为输入，使用用于估计与人物的骨骼有关的骨骼数据的骨骼估计模型，来估计骨骼数据。

接着，计算部12d计算由估计部12c估计出的骨骼数据与事先登记的骨骼数据的类似度(步骤S104)。而后，认证部12e判定由计算部12d计算出的类似度是否是预定阈值以上，在类似度是预定阈值以上的情况下，判定为认证成功，在类似度小于预定阈值的情况下，判定为认证失败(步骤S105)。

[第1实施方式的效果]

第1实施方式所涉及的估计装置10取得缺失人物的身体的一部分的图像数据，将取得的图像数据作为输入，使用将图像数据中的人物的身体的缺失的一部分复原的全身复原模型，将图像数据中的人物的身体所缺失的一部分复原。而后，估计装置10将复原后的图像数据作为输入，使用估计与人物的骨骼有关的骨骼数据的骨骼估计模型，来估计骨骼数据。因此，即使是仅包含人物的身体的一部分的图像数据，估计装置10也能够维持骨骼估计的精度，能够维持认证处理的精度。

此外，在估计装置10中，骨骼估计模型的学习可以是全身的图像数据，在学习中不需要准备仅显现了身体的一部分的图像数据，因此骨骼估计模型的学习是容易的。

[变形例]

另外，估计装置可以在将缺失人物的身体的一部分的图像数据中的人物的身体的缺失的一部分复原时，判定图像数据中是否包含认证所需最低限的部分，在图像数据中未包含认证所需最低限的部分的情况下，不进行认证处理。在此，关于认证所需最低限的部分，能够预先设定。例如，在通过判定用户是否采取举起双手的姿势来进行认证的情况下，作为认证所需最低限的部分，判定图像数据中是否包含用户的上半身。

如上所述，将对判定图像数据中是否包含认证所需最低限的部分的情况作为变形例，使用图6对处理进行说明。图6是示出变形例所涉及的估计装置中的处理的流程的一例的流程图。

如图6所例示，在变形例所涉及的估计装置中，当取得部12a取得了缺失人物的身体的一部分的图像数据时(步骤S201肯定)，判定图像数据中是否包含认证所需的部分(步骤S202)。例如，取得部12a对取得的图像数据进行解析，确定图像数据中所包含的身体的部位，判定图像数据中是否包含认证所需的身体的部分。

其结果，在取得部12a判定为图像数据中未包含认证所需的部分的情况下(步骤S202否定)，返回步骤S201，重新取得图像。此外，在取得部12a判定为图像数据中包含认证所需的部分的情况下(步骤S202肯定)，复原部12b将由取得部12a取得的图像数据中的人物的身体的缺失的一部分复原(步骤S203)。

而后，估计部12c根据缺失的一部分被复原后的全身的图像数据估计骨骼(步骤S204)。接着，计算部12d计算由估计部12c估计出的骨骼数据与事先登记的骨骼数据的类似度(步骤S205)。而后，认证部12e判定由计算部12d计算出的类似度是否是预定阈值以上，在类似度是预定阈值以上的情况下，判定为认证成功，在类似度小于预定阈值的情况下，判定为认证失败(步骤S206)。

由此，在变形例所涉及的估计装置中，由于在判定了图像数据中是否包含认证所需最低限的部分的基础上，进行全身的复原处理、认证处理，因此例如在进行认证处理的基础上，在未显现重要的身体的部位的状态下进行全身的复原处理，防止进行错误的认证处理，能够维持认证处理的精度。

[系统结构等]

此外，图示的各装置的各结构要素是功能概念性的结构要素，不一定需要在物理上如图示那样构成。即，各装置的分散/整合的具体的方式不限于图示的方式，可以根据各种的负载、使用状况等，按照任意的单位以功能性或者物理性的方式将其全部或者一部分散/整合而构成。另外，在各装置中进行的各处理功能的全部或者任意的一部分可以在CPU、GPU以及由对应CPU、GPU解析执行的程序中实现，或者也可以被实现为基于布线逻辑的硬件。

此外，在本实施方式中说明的各处理中的、说明为自动地进行的处理的全部或者一部分也可以手动地进行，或者说明为手动地进行的处理的全部或者一部分也可以通过公知的方法自动地进行。除此以外，关于上述说明书或附图中所示的处理过程、控制过程、具体的名称、包含各种数据及参数的信息，除非另有记载，能够任意地变更。

[程序]

此外，还能够生成通过计算机可执行的语言记述了上述实施方式中说明的信息处理装置所执行的处理的程序。例如，还能够生成通过计算机可执行的语言记述了实施方式所涉及的估计装置10所执行的处理的计算程序。在该情况下，通过计算机执行程序，能够得到与上述实施方式同样的效果。另外，可以将有关的程序记录在计算机可读取的记录介质中，使计算机读取并执行该记录介质中记录的程序而实现与上述实施方式同样的处理。

图7是示出执行估计程序的计算机的图。如图7所例示，计算机1000例如具有存储器1010、CPU1020、硬盘驱动器接口1030、盘驱动器接口1040、串行端口接口1050、视频适配器1060、网络接口1070，这些各部件通过总线1080连接。

如图7所例示，存储器1010包括ROM(Read Only Memory：只读存储器)1011以及RAM1012。ROM1011例如存储BIOS(Basic Input Output System：基本输入输出系统)等的引导程序。如图7所例示，硬盘驱动器接口1030与硬盘驱动器1090连接。如图7所例示，盘驱动器接口1040与盘驱动器1100连接。例如，磁盘或光盘等的可拆卸的存储介质被插入盘驱动器1100中。如图7所例示，串行端口接口1050例如与鼠标1110、键盘1120连接。如图7所例示，视频适配器1060例如与显示器1130连接。

在此，如图7所例示，硬盘驱动器1090例如存储OS 1091、应用程序1092、程序模块1093、程序数据1094。即，上述的程序被存储在例如硬盘驱动器1090中，作为记述有由计算机1000执行的指令的程序模块。

此外，上述实施方式中所说明的各种数据例如被存储在存储器1010、硬盘驱动器1090中，作为程序数据。而后，CPU1020根据需要向RAM1012读出存储器1010、硬盘驱动器1090中存储的程序模块1093、程序数据1094，来执行各种处理过程。

另外，与程序有关的程序模块1093、程序数据1094不限于存储于硬盘驱动器1090中的情况，例如，可以存储于可拆卸的存储介质中，并经由盘驱动器等由CPU1020读出。或者，与程序有关的程序模块1093、程序数据1094可以存储于经由网络(LAN(Local Area Network：局域网)、WAN(Wide Area Network：广域网)等)连接的其他的计算机中，并经由网络接口1070由CPU1020读出。

上述的实施方式及其变形包含在权利要求书所记载的发明及其等同的范围内，如同包含在本申请所公开的技术中一样。

标号说明：

10 估计装置

11 通信处理部

12 控制部

12a 取得部

12b 复原部

12c 估计部

12d 计算部

12e 认证部

13 存储部

13a 登记信息存储部