一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

信息处理装置、信息处理方法和面部图像分类装置与流程

2022-08-13 00:16:13 来源:中国专利 TAG:


1.本公开涉及信息处理领域,具体涉及一种信息处理装置、信息处理方法和面部图像分类装置。


背景技术:

2.近年来面部图像识别技术得到了广泛的应用。然而,在面部被诸如眼镜、口罩等的对象部分地遮挡的情况下,所获取的面部图像丢失了部分面部信息,从而可能导致识别结果不准确。因此,需要提高对被对象部分地遮挡的部分遮挡面部图像的识别准确度。


技术实现要素:

3.在下文中给出了关于本公开的简要概述,以便提供关于本公开的某些方面的基本理解。但是,应当理解,这个概述并不是关于本公开的穷举性概述。它并不是意图用来确定本公开的关键性部分或重要部分,也不是意图用来限定本公开的范围。其目的仅仅是以简化的形式给出关于本公开的某些概念,以此作为稍后给出的更详细描述的前序。
4.鉴于以上问题,本公开的目的是提供一种信息处理装置、信息处理方法和面部图像分类装置,其至少使得可以提高对被对象部分地遮挡的部分遮挡面部图像的分类准确度。
5.根据本公开的一方面,提供了一种信息处理装置,包括:面部模板创建单元,被配置成基于部分地被对象遮挡的部分遮挡面部图像创建部分遮挡面部模板;合成图像获取单元,被配置成基于原始面部图像和经由所述面部模板创建单元创建的部分遮挡面部模板获取合成图像;以及模型训练单元,被配置成利用所述合成图像或者所述原始面部图像和所述合成图像对分类模型进行训练,以获得经训练的分类模型。其中,所述原始面部图像是没有被所述对象遮挡的面部图像。
6.根据本公开的另一方面,提供了一种利用通过上述信息处理装置所得到的经训练的分类模型对输入面部图像进行分类的装置,包括:第一特征提取单元,被配置成利用所述经训练的分类模型来提取所述输入面部图像的特征;以及分类单元,被配置成基于通过所述第一特征提取单元所提取的所述输入面部图像的特征对所述输入面部图像进行分类。
7.根据本公开的再一方面,提供一种信息处理方法,包括:面部模板创建步骤,用于基于部分地被对象遮挡的部分遮挡面部图像创建部分遮挡面部模板;合成图像获取步骤,用于基于原始面部图像和经由所述面部模板创建单元创建的部分遮挡面部模板获取合成图像;以及模型训练步骤,用于利用所述合成图像或者所述原始面部图像和所述合成图像对分类模型进行训练,以获得经训练的分类模型。其中,所述原始面部图像是没有被所述对象遮挡的面部图像。
8.根据本公开的其它方面,还提供了用于实现上述根据本公开的方法的计算机程序代码和计算机程序产品,以及其上记录有该用于实现上述根据本公开的方法的计算机程序代码的计算机可读存储介质。
9.在下面的说明书部分中给出本公开实施例的其它方面,其中,详细说明用于充分地公开本公开实施例的优选实施例,而不对其施加限定。
附图说明
10.本公开可以通过参考下文中结合附图所给出的详细描述而得到更好的理解,其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并形成说明书的一部分,用来进一步举例说明本公开的优选实施例和解释本公开的原理和优点。其中:
11.图1是示出根据本公开的实施例的信息处理装置的功能配置示例的框图;
12.图2是示出根据本公开的实施例的信息处理装置的一种具体实现方式的架构示例的框图;
13.图3是示出根据本公开的实施例的面部模板创建单元102和合成图像获取单元104所执行的处理的示例的示意图;
14.图4a示出现有技术所利用的对象图像的示例;
15.图4b示出根据本公开的实施例的面部模板创建单元102所执行的处理的示例;
16.图4c和图4d分别示出利用现有技术和根据本公开的实施例的信息处理装置100所获取的合成图像的示例;
17.图5是示出根据本公开的实施例的模型训练单元106的功能配置示例的框图;
18.图6是示出根据本公开的实施例的模型训练单元106的一种具体实现方式的架构示例;
19.图7是示出利用根据本公开的实施例的信息处理装置100所获得的分类模型的分类准确度的示例;
20.图8是示出根据本公开的实施例的利用经训练的分类模型对输入面部图像进行分类的装置的功能配置示例的框图;
21.图9示出根据本公开的实施例的装置800的分类准确度的示例;
22.图10是示出根据本公开的实施例的信息处理方法的流程示例的流程图;
23.图11是示出根据本公开的实施例的利用经训练的分类模型进行分类的方法的流程示例的流程图;以及
24.图12是示出作为本公开的实施例中可采用的个人计算机的示例结构的框图。
具体实施方式
25.在下文中将结合附图对本公开的示范性实施例进行描述。为了清楚和简明起见,在说明书中并未描述实际实施方式的所有特征。然而,应该了解,在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定,以便实现开发人员的具体目标,例如,符合与系统及业务相关的那些限制条件,并且这些限制条件可能会随着实施方式的不同而有所改变。此外,还应该了解,虽然开发工作有可能是非常复杂和费时的,但对得益于本公开内容的本领域技术人员来说,这种开发工作仅仅是例行的任务。
26.在此,还需要说明的一点是,为了避免因不必要的细节而模糊了本公开,在附图中仅仅示出了与根据本公开的方案密切相关的设备结构和/或处理步骤,而省略了与本公开
关系不大的其它细节。
27.下面结合附图详细说明根据本公开的实施例。
28.首先,将参照图1和图2描述根据本公开的实施例的信息处理装置100的实现示例。图1是示出根据本公开的实施例的信息处理装置100的功能配置示例的框图。图2是示出根据本公开的实施例的信息处理装置100的一种具体实现方式的架构示例的框图。
29.如图1和图2所示,根据本公开的实施例的信息处理装置100可以包括面部模板创建单元102、合成图像获取单元104和模型训练单元106。
30.面部模板创建单元102可以被配置成基于部分地被对象遮挡的部分遮挡面部图像创建部分遮挡面部模板。作为示例,对象可以是口罩、眼镜、面纱、帽子、头巾等,然而对象不限于此。在图2所示的示例中,对象是口罩。例如,作为部分遮挡面部图像的示例的戴口罩的面部图像可以从网络下载。为了方便描述,下面将主要结合对象是口罩的示例对本公开的技术进行描述,然而本领域技术人员可以理解,本公开的技术还可以适用于其他对象的情形。
31.合成图像获取单元104可以被配置成基于原始面部图像(下文中,也可以称为“原始训练图像”)和经由面部模板创建单元102创建的部分遮挡面部模板获取合成图像。原始面部图像是没有对象遮挡的面部图像。例如,合成图像获取单元104可以利用部分遮挡面部模板,针对原始训练图像集的部分或全部原始训练图像创建合成图像,从而获得合成训练图像集。原始训练图像集和合成训练图像集的集合可以称为“增强训练图像集”。在针对部分原始训练图像创建合成图像的情况下,合成图像获取单元104可以从原始训练图像集随机选择上述部分原始训练图像或者根据预定规则选择上述部分原始训练图像。
32.例如,面部模板创建单元102可以针对要获取其合成图像的每个原始面部图像,基于部分地被对象遮挡的部分遮挡面部图像创建部分遮挡面部模板,并且合成图像获取单元104可以基于该原始面部图像和部分遮挡面部模板来创建相应的合成图像。
33.此外,例如,面部模板创建单元102可以预先基于部分地被对象遮挡的部分遮挡面部图像创建部分遮挡面部模板,并且将所创建的部分遮挡面部模板存储在合适的存储器中。面部模板创建单元102的这种配置使得不需要针对要获取其合成图像的每个原始面部图像均创建部分遮挡面部模板,从而可以节省处理时间。例如,在这种情况下,合成图像获取单元104可以针对要获取其合成图像的每个原始面部图像,基于该原始面部图像和所存储的部分遮挡面部模板来创建相应的合成图像。
34.模型训练单元106可以被配置成利用合成图像(也就是说,合成训练图像集)对分类模型进行训练,以获得经训练的分类模型,从而使得至少可以提高经训练的分类模型对部分遮挡面部图像的分类准确度。此外,模型训练单元106可以被配置成利用合成图像和原始图像(也就是说,增强训练图像集)对分类模型进行训练,以获得经训练的分类模型,从而使得经训练的分类模型对没有对象遮挡的面部图像和部分遮挡面部图像两者均具有良好的分类准确度。
35.例如,分类模型可以是任意合适的分类模型,例如,深度学习网络模型,比如卷积神经网络模型。
36.作为示例,分类模型可以是预先通过使用原始图像对初始分类模型(比如,卷积神经网络模型)进行训练而得到的预先训练的分类模型。此外,分类模型也可以是初始分类模
型。
37.例如,根据本公开的实施例,面部模板创建单元102可以针对多种类型的对象中的每种类型的对象,基于部分地被该类型的对象遮挡的部分遮挡面部图像创建针对该类型的对象的部分遮挡面部模板。如图2所示,合成图像获取单元104可以进一步被配置成针对要获取其合成图像的每个原始面部图像,基于该原始面部图像和经由面部模板创建单元102创建的针对多种类型的对象的多个部分遮挡面部模板中的部分或全部创建相应的合成图像。例如,合成图像获取单元104可以针对要获取其合成图像的每个原始面部图像,根据应用场景,从经由面部模板创建单元102创建的针对多种类型的对象的多个部分遮挡面部模板中选择一个或更多个部分遮挡面部模板,并且基于所选择的一个或更多个部分遮挡面部模板和该原始面部图像创建相应的合成图像。
38.为了提高分类模型对部分遮挡面部图像的识别准确度,一种方法是利用包括部分遮挡面部图像的训练图像集对分类模型进行训练。然而,采集这样的训练图像集耗时耗力,尤其在对象包括多种类型的情况下。如上所述,根据本公开的实施例的信息处理装置100可以基于部分遮挡面部图像创建部分遮挡面部模板,并且基于原始面部图像和所创建的部分遮挡面部模板获取合成图像。因此对于每种类型的对象,仅需要获取被该类型的对象遮挡的一个部分遮挡面部图像,并且利用基于该部分遮挡面部图像创建的部分遮挡面部模板和原始训练图像集来获得合成训练图像集(即,部分遮挡面部图像训练集),从而可以节省获得部分遮挡面部图像训练集的时间和成本。
39.另外,根据本公开的实施例的信息处理装置100可以基于原始面部图像和所创建的部分遮挡面部模板获取合成图像,与将对象图像与原始面部图像简单叠加以获取合成图像的情况相比,可以获得更准确、更自然的合成图像,从而可以提高经训练的分类模型对部分遮挡面部图像的分类准确度。例如,可以基于被部分遮挡的正面面部图像来创建部分遮挡面部模板,从而可以进一步提高合成图像的准确度和自然度,由此进一步提高经训练的分类模型对部分遮挡面部图像的分类准确度。
40.例如,根据本公开的实施例,面部模板创建单元102可以通过如下方式来创建部分遮挡面部模板:对部分遮挡面部图像进行面部检测和关键点检测,基于面部检测结果和关键点检测结果对部分遮挡面部图像中的面部区域和对象区域进行分割,以及基于面部检测结果、关键点检测结果和分割结果来创建部分遮挡面部模板。例如,面部模板创建单元102可以使用各种合适的面部检测和关键点检测方法(诸如dlib)对部分遮挡面部图像进行面部检测和关键点检测。此外,例如,面部模板创建单元102可以在没有手动标注的情况下,自动地对部分遮挡面部图像中的面部区域和对象区域进行分割。比如,可以使用诸如grabcut的图像分割技术来对面部区域和对象区域进行分割。
41.作为示例,面部模板创建单元102可以使用不规则三角网技术,基于面部检测结果、关键点检测结果和分割结果来创建部分遮挡面部模板,使得可以进一步提高基于所创建的部分遮挡面部模板所获取的合成图像的准确度和自然度,由此可以进一步提高经训练的分类模型对部分遮挡面部图像的分类准确度。
42.例如,面部模板创建单元102可以使用不规则三角网技术基于面部检测结果、关键点检测结果和分割结果来创建形变模型(deformation model),作为部分遮挡面部模板。
43.例如,根据本公开的实施例,合成图像获取单元104可以根据原始面部图像与部分
遮挡面部模板之间的几何关系,例如,原始面部图像的尺寸和面部姿态与部分遮挡面部模板的尺寸和面部姿态之间的关系,对部分遮挡面部模板进行渲染,以获得经渲染的面部图像;以及将经渲染的面部图像与原始面部图像融合,以获取融合图像作为合成图像。上述渲染操作考虑了原始面部图像与部分遮挡面部模板之间的几何关系,从而使得经渲染的面部图像与原始面部图像具有相似的尺寸和面部姿态等,由此可以进一步提高所获取的合成图像的准确度和自然度,进而可以进一步提高经训练的分类模型对部分遮挡面部图像的分类准确度。
44.作为示例,合成图像获取单元104可以被配置成通过如下方式来对部分遮挡面部模板进行渲染,以获得考虑了原始面部图像与部分遮挡面部模板之间的几何关系的经渲染的面部图像:基于原始图像中的关键点和部分遮挡面部模板对原始图像构建不规则三角网;以及针对不规则三角网中的每个三角部分,使用仿射变换技术将部分遮挡面部模板的相应位置的坐标变换为原始图像的相应位置的坐标。
45.图3是示出根据本公开的实施例的面部模板创建单元102和合成图像获取单元104所执行的处理的示例的示意图。图3中所示的预处理指代对原始训练图像和戴口罩的面部图像所执行的面部检测处理、关键点检测处理以及分割处理等。如图3所示,经渲染的面部图像(即,图3的上部中的第三幅图像)与原始面部图像具有相似的尺寸和面部姿态。
46.例如,根据本公开的实施例,合成图像获取单元104可以进一步被配置成对通过将经渲染的面部图像与原始面部图像进行融合而获得的融合图像进行后处理,以使得融合图像中的对象区域与面部区域之间的边界平滑,并且使对象区域与面部区域之间的亮度差异小于预定阈值,从而使得经过后处理的融合图像(即,合成图像)更加准确、更加自然,由此可以进一步提高经训练的分类模型对部分遮挡面部图像的分类准确度。
47.例如,合成图像获取单元104可以采用阿尔法抠图(alpha matting)技术对融合图像进行后处理,以使得融合图像中的对象区域与面部区域之间的边界平滑。此外,例如,合成图像获取单元104可以对用以获得部分遮挡面部模板的部分遮挡面部图像的部分区域(例如,左半部分区域)和原始面部图像中的对应区域进行直方图均衡化,以获得灰度映射函数,然后将所获得的灰度映射函数应用于融合图像中的对象区域,从而使对象区域与面部区域之间的亮度差异小于预定阈值。
48.图4c和图4d分别示出利用现有技术和根据本公开的实施例的信息处理装置100所获取的合成图像的示例。如图4c中的b’和d’以及图4d中的b’和d’所示,与将口罩与原始面部图像简单叠加以获取合成图像的现有技术相比,利用根据本公开的实施例的信息处理装置100获取的合成图像更加自然、更加准确,并且合成图像中的口罩区域与其他区域之间的亮度差异较小。另外,即使在原始面部图像的面部姿态较大的情况下,利用根据本公开的实施例的信息处理装置100也可以获得准确、自然的合成图像,如图4d中的a’和c’所示的那样。然而,在原始面部图像的面部姿态较大的情况下,将口罩与原始面部图像简单叠加而获取的合成图像不太自然,如图4c中的a’和c’所示的那样。
49.此外,如图4a所示,现有技术需要手动对诸如口罩的对象的关键点进行标注,而根据本公开的实施例的信息处理装置100不需要进行手动标注,如图4b所示的那样。因而,根据本公开的实施例的信息处理装置100可以节省人工操作和处理时间。
50.接下来,将参照图5和图6描述根据本公开的实施例的信息处理装置100所包括的
模型训练单元106的一种具体实现示例。图5是示出根据本公开的实施例的模型训练单元106的功能配置示例的框图。图6是示出在采用卷积神经网络模型作为分类模型的情况下、根据本公开的实施例的模型训练单元106的一种具体实现方式的架构示例。
51.如图5和图6所示,根据本公开的实施例的模型训练单元106可以包括特征提取子单元1062、贡献计算子单元1064、特征调整子单元1066和训练子单元1068。
52.特征提取子单元1062可以被配置成利用分类模型的特征提取层来提取输入图像的特征。输入图像可以来自增强训练图像集或合成训练图像集。如图6所示,分类模型的特征提取层可以包括卷积神经网络模型的一个或更多个卷积层c。注意,分类模型的特征提取层不限于图6所示的示例,并且本领域技术人员可以根据实际需要设置相应的特征提取层,这里将不再赘述。
53.贡献计算子单元1064可以被配置成利用分类模型的贡献计算层来计算输入图像的特征所包括的各个分量对输入图像的分类结果的贡献。输入图像的特征所包括的各个分量指代表征输入图像的特征的矩阵(例如,特征图)所包括的各个分量。例如,贡献可以表示每个分量对输入图像的分类结果的影响程度,比如,正面影响程度。比如,对于某个分量,该分量对输入图像的分类结果的正面影响程度越大或者该分量使得输入图像被正确分类的可能性越大,该分量的贡献越大。
54.如图6所示,在采用卷积神经网络模型作为分类模型的情况下,贡献计算层可以包括卷积神经网络模型的一个或更多个卷积层c。例如,可以对常用的卷积神经网络模型添加一个分支(诸如,一个或更多个卷积层)作为贡献计算层。贡献计算层所包括的卷积层的数目可以与特征提取层所包括的卷积层的数目相同。注意,分类模型的贡献计算层不限于图6所示的示例,并且本领域技术人员可以根据实际需要设置相应的贡献计算层,这里将不再赘述。
55.特征调整子单元1066可以被配置基于通过贡献计算子单元1064所计算出的、输入图像的特征所包括的各个分量的贡献,对特征提取子单元1062所提取的输入图像的特征进行调整,从而获得输入图像的经调整的特征。例如,可以通过下式(1)来获取输入图像的经调整的特征fc。
[0056][0057]
在式(1)中,fi表示特征提取子单元1062所提取的输入图像的特征,cs是空间贡献矩阵,其表示通过贡献计算子单元1064所计算出的、输入图像的特征所包括的各个分量的贡献。其中,fi和cs具有相同的宽度、高度和通道数目。此外,空间贡献矩阵cs的各个元素的值通过sigmoid函数被映射到[0,1]的区间。
[0058]
训练子单元1068可以被配置成利用通过特征调整子单元1066所获得的输入图像的经调整的特征,基于针对分类模型的损失函数对分类模型进行训练,以获得经训练的分类模型。
[0059]
注意,如本领域技术人员可以理解的,图6中所示出的不同卷积层和全连接层的结构参数可以不同。
[0060]
如上所述,根据本公开的上述实施例的模型训练单元106可以计算输入图像的特征所包括的各个分量对输入图像的分类结果的贡献,并且基于所计算出的贡献对输入图像的特征进行调整,从而基于输入图像的经调整的特征对输入图像组进行分类。与简单地直
接基于利用分类模型的特征提取层所提取的输入图像的特征进行分类的情况下相比,根据本公开的上述实施例的模型训练单元106可以在考虑输入图像的特征所包括的各个分量对输入图像的分类结果的贡献的情况下对输入图像进行分类,使得可以进一步提高分类准确度。
[0061]
图7是示出利用根据本公开的实施例的信息处理装置100所获得的分类模型的分类准确度的示例。在图7中,baseline表示采用增强训练图像集、利用不包括上面参照5和图6所描述的贡献计算子单元1064和特征调整子单元1066的模型训练单元106进行训练所获得的分类模型,并且a-masknet表示采用增强训练图像集、利用包括贡献计算子单元1064和特征调整子单元1066的模型训练单元106进行训练所获得的分类模型。其中,所采用的增强训练图像集是通过利用本公开的信息处理装置100对cox训练图像集中的训练图像随机创建合成图像而获得的。另外,wo/wo表示id图像(即,分类结果已知的带标签的图像)和待分类的图像(例如,现场捕获的图像)两者均为未戴口罩的面部图像的情形,wo/w表示id图像为未戴口罩的面部图像而待分类的图像为戴口罩的面部图像的情形,并且w/w表示id图像和待分类的图像两者均为戴口罩的面部图像的情形。从图7可以看出,在wo/wo、wo/w和w/w这三种情形下,分类模型a-masknet的分类准确度相比于分类模型baseline的分类准确度均有进一步提高。尤其是在wo/w和w/w这两种情况下,分类模型a-masknet的分类准确度相比于分类模型baseline的分类准确度分别提高约1.2%和1.1%。
[0062]
通过实验分析,在引入贡献计算处理之后,所获得的输入图像的特征更加集中于对于分类而言区别更大的图像区域。例如,对于戴口罩的面部图像,所获得的特征更加集中于眼部区域。
[0063]
例如,如图5所示,模型训练单元106还可以包括特征融合子单元1070。特征融合子单元1070可以被配置成对通过特征调整子单元1066所获取的输入图像的多个经调整的特征进行融合,以获得融合后的特征。在这种情况下,如图6所示,训练子单元1068可以被配置成利用通过特征融合子单元1070所获得的输入图像的融合后的特征,基于针对分类模型的损失函数对分类模型进行训练,以获得经训练的分类模型。
[0064]
例如,如图6所示,在采用卷积神经网络模型作为分类模型的情况下,特征融合子单元1070可以包括一个或更多个全连接层fc。
[0065]
上文已经描述了根据本公开的实施例的信息处理装置100,本公开还提供了以下利用通过根据本公开的实施例的信息处理装置100所得到的经训练的分类模型对输入面部图像进行分类的装置800。下面将参照图8对根据本公开的实施例的利用经训练的分类模型对输入面部图像进行分类的装置800进行描述。
[0066]
图8是示出根据本公开的实施例的利用经训练的分类模型对输入面部图像进行分类的装置800的功能配置示例的框图。如图8所示,根据本公开的实施例的装置800可以包括第一特征提取单元802和分类单元804。
[0067]
第一特征提取单元802可以被配置成利用经训练的分类模型来提取输入面部图像的特征。例如,输入面部图像可以是部分遮挡面部图像或者未被遮挡的面部图像。
[0068]
分类单元804可以被配置成基于通过第一特征提取单元802所提取的输入面部图像的特征对输入面部图像进行分类。
[0069]
如上所述,根据本公开的实施例的装置800基于利用根据本公开的实施例的信息
处理装置100所得到的经训练的分类模型所提取的输入面部图像的特征对输入面部图像进行分类,使得至少可以提高对部分遮挡面部图像的分类准确度。
[0070]
例如,根据本公开的实施例,第一特征提取单元802可以包括第二特征提取子单元、第二贡献计算子单元和第二特征调整子单元(图中未示出)。
[0071]
第二特征提取子单元可以被配置成利用经训练的分类模型的特征提取层来提取输入面部图像的特征。例如,第二特征提取子单元的具体配置可以与上面参照图5和图6所描述的特征提取子单元1062的具体配置类似,因此这里将不再描述。
[0072]
第二贡献计算子单元可以被配置成利用经训练的分类模型的贡献计算层来计算输入面部图像的特征所包括的各个分量对输入图像的分类结果的贡献。例如,第二贡献计算子单元的具体配置可以与上面参照图5和图6所描述的贡献计算子单元1064的具体配置类似,因此这里将不再描述。
[0073]
第二特征调整子单元可以被配置基于通过第二贡献计算子单元所计算出的、输入图像的特征所包括的各个分量的贡献,对第二特征提取子单元所提取的输入面部图像的特征进行调整,从而获得输入面部图像的经调整的特征。在这种情况下,分类单元804可以基于通过第二特征调整子单元所获取的输入面部图像的经调整的特征对输入面部图像进行分类,由此可以进一步提高分类准确度。
[0074]
例如,根据本公开的实施例,如图8所示,装置800还可以包括对象检测单元806和第二合成图像获取单元810。
[0075]
对象检测单元806可以被配置成检测输入面部图像是否被对象遮挡。
[0076]
第二合成图像获取单元810可以被配置成在对象检测单元806检测到输入面部图像被对象遮挡的情况下,基于装置800中所存储的分类结果已知的目标图像以及与对象检测单元806所检测到的对象相对应的部分遮挡面部模板获取合成目标图像。在这种情况下,第一特征提取单元802可以进一步被配置成利用经训练的分类模型来提取合成目标图像的特征。分类单元804可以基于通过第一特征提取单元802所提取的输入面部图像的特征和合成目标图像的特征对输入面部图像进行分类,由此可以进一步提高分类准确度。
[0077]
例如,在1:1认证的情况下,目标图像可以是与待分类的输入面部图像对应的id图像。此外,例如,在1:n(n>1)认证的情况下,目标图像可以是装置800中所存储的所有id图像。
[0078]
例如,根据本公开的实施例,如图8所示,装置800还可以包括第二面部模板创建单元808。第二面部模板创建单元808可以被配置成在对象检测单元806检测到输入面部图像被对象遮挡的情况下,基于输入面部图像创建部分遮挡面部模板。第二面部模板创建单元808的具体配置可以与上面参照图1和图2所描述的面部模板创建单元102的具体配置类似,因此这里将不再详细描述。在这种情况下,第二合成图像获取单元810可以基于装置800中所存储的分类结果已知的目标图像和经由第二面部模板创建单元810创建的部分遮挡面部模板获取合成目标图像。由于第二合成图像获取单元810利用基于输入面部图像而创建的部分遮挡面部模板来获取合成图像,因此所获取的合成图像中的对象与输入面部图像中的对象一致,由此可以进一步提高分类准确度。
[0079]
图9示出根据本公开的实施例的装置800的分类准确度的示例。在图9中,情形1表示装置800不包括对象检测单元806、第二面部模板创建单元808和第二合成图像获取单元
810的情形,并且情形2表示装置800包括对象检测单元806、第二面部模板创建单元808和第二合成图像获取单元810的情形。另外,图9中的分类准确度是在id图像为未戴口罩的面部图像而待分类的图像为戴口罩的面部图像(即,wo/w)的情况下而获得的。
[0080]
从图9可见,对象检测单元806、第二面部模板创建单元808和第二合成图像获取单元810的引入使得分类模型a-masknet和baseline的分类准确度均有进一步提高。
[0081]
例如,根据本公开的实施例,如图8所示,装置800还可以包括目标图像选择单元812。目标图像选择单元812可以被配置成在存在多个目标图像的情况(例如,1:n(n>1)认证的情况)下,基于分类单元804对输入面部图像的初始分类结果从多个目标图像选择预定数目的目标图像。在这种情况下,可以仅针对目标图像选择单元812所选择的预定数目的目标图像,通过第二合成图像获取单元810来获取相应的合成目标图像,并且分类单元804可以基于通过第一特征提取单元802所提取的输入面部图像的特征和针对预定数目的目标图像的合成目标图像的特征对输入面部图像进行分类。
[0082]
上述初始分类结果可以是基于通过第一特征提取单元802所提取的输入面部图像的特征和上述多个目标图像的特征对输入面部图像进行分类而获得的。
[0083]
例如,目标图像选择单元812可以基于初始分类结果,选择多个目标图像中的、与输入面部图像涉及同一目标对象(例如,人)的可能性最高的预定数目的目标图像。
[0084]
如上所述,在存在多个目标图像的情况下,根据本公开的实施例的装置800可以基于初始分类结果选择预定数目的目标图像,并且基于所选择的预定数目的目标图像的合成图像对输入面部图像进行分类。与基于所有目标图像的合成图像对输入面部图像进行分类的情况相比,可以进一步减小处理量并且提高分类速度。
[0085]
上文已经描述了根据本公开的实施例的信息处理装置100,与上述信息处理装置的实施例相对应地,本公开还提供了以下信息处理方法的实施例。
[0086]
图10是示出根据本公开的实施例的信息处理方法1000的流程示例的流程图。如图10所示,根据本公开的实施例的信息处理方法1000可以开始于开始步骤s1002,并且结束于结束步骤s1010。信息处理方法1000可以包括面部模板创建步骤s1004、合成图像获取步骤s1006和模型训练步骤s1008。
[0087]
在面部模板创建步骤s1004中,可以基于部分地被对象遮挡的部分遮挡面部图像创建部分遮挡面部模板。作为示例,对象可以是口罩、眼镜、面纱、帽子、头巾等,然而对象不限于此。例如,面部模板创建步骤s1004可以由上文描述的面部模板创建单元102来实施,因此具体细节可参照上文对面部模板创建单元102的描述,这里将不再赘述。
[0088]
在合成图像获取步骤s1006中,可以基于原始面部图像和经由面部模板创建步骤s1004创建的部分遮挡面部模板获取合成图像。原始面部图像是没有对象遮挡的面部图像。例如,合成图像获取步骤s1006可以由上文描述的合成图像获取单元104来实施,因此具体细节可参照上文对合成图像获取单元104的描述,这里将不再赘述。
[0089]
在模型训练步骤s1008中,可以利用合成图像(也就是说,合成训练图像集)对分类模型进行训练,以获得经训练的分类模型,从而使得至少可以提高经训练的分类模型对部分遮挡面部图像的分类准确度。此外,在模型训练步骤s1008中,可以利用合成图像和原始图像(也就是说,增强训练图像集)对分类模型进行训练,以获得经训练的分类模型,从而使得经训练的分类模型对没有对象遮挡的面部图像和部分遮挡面部图像两者均具有良好的
分类准确度。例如,模型训练步骤s1008可以由上文描述的模型训练单元106来实施,因此具体细节可参照上文对模型训练单元106的描述,这里将不再赘述。
[0090]
作为示例,分类模型可以是预先通过使用原始图像对初始分类模型(比如,卷积神经网络模型)进行训练而得到的预先训练的分类模型。此外,分类模型也可以是初始分类模型。
[0091]
例如,根据本公开的实施例,在面部模板创建步骤s1004中,可以针对多种类型的对象中的每种类型的对象,基于部分地被该类型的对象遮挡的部分遮挡面部图像创建针对该类型的对象的部分遮挡面部模板。在这种情况下,在合成图像获取步骤s1006中,可以针对要获取其合成图像的原始面部图像,基于该原始面部图像和经由面部模板创建步骤s1004创建的针对多种类型的对象的多个部分遮挡面部模板中的部分或全部创建相应的合成图像。
[0092]
如上所述,与根据本公开的实施例的信息处理装置100类似地,根据本公开的实施例的信息处理方法1000可以基于部分遮挡面部图像创建部分遮挡面部模板,并且基于原始面部图像和所创建的部分遮挡面部模板获取合成图像。因此对于每种类型的对象,仅需要获取被该类型的对象遮挡的一个部分遮挡面部图像,并且利用基于该部分遮挡面部图像创建的部分遮挡面部模板和原始训练图像集来获得合成训练图像集(即,部分遮挡面部图像训练集),从而可以节省获得部分遮挡面部图像训练集的时间和成本。
[0093]
另外,根据本公开的实施例的信息处理方法1000可以基于原始面部图像和所创建的部分遮挡面部模板获取合成图像,与将对象图像与原始面部图像简单叠加以获取合成图像的情况相比,可以获得更准确、更自然的合成图像,从而可以提高经训练的分类模型对部分遮挡面部图像的分类准确度。例如,可以基于被部分遮挡的正面面部图像来创建部分遮挡面部模板,从而可以进一步提高合成图像的准确度和自然度,由此进一步提高经训练的分类模型对部分遮挡面部图像的分类准确度。
[0094]
例如,根据本公开的实施例,在面部模板创建步骤s1004中,可以通过如下方式来创建部分遮挡面部模板:对部分遮挡面部图像进行面部检测和关键点检测,基于面部检测结果和关键点检测结果对部分遮挡面部图像中的面部区域和对象区域进行分割,以及基于面部检测结果、关键点检测结果和分割结果来创建部分遮挡面部模板。
[0095]
作为示例,在面部模板创建步骤s1004中,可以使用不规则三角网技术,基于面部检测结果、关键点检测结果和分割结果来创建部分遮挡面部模板,使得可以进一步提高基于所创建的部分遮挡面部模板所获取的合成图像的准确度和自然度,由此进一步提高经训练的分类模型对部分遮挡面部图像的分类准确度。
[0096]
例如,根据本公开的实施例,在合成图像获取步骤s1006中,可以根据原始面部图像与部分遮挡面部模板之间的几何关系,例如,原始面部图像的尺寸和面部姿态与部分遮挡面部模板的尺寸和面部姿态之间的关系,对部分遮挡面部模板进行渲染,以获得经渲染的面部图像;以及将经渲染的面部图像与原始面部图像融合,以获取融合图像作为合成图像。上述渲染操作考虑了原始面部图像与部分遮挡面部模板之间的几何关系,从而使得经渲染的面部图像与原始面部图像具有相似的尺寸和面部姿态等,由此可以进一步提高所获取的合成图像的准确度和自然度,进而进一步提高经训练的分类模型对部分遮挡面部图像的分类准确度。
[0097]
作为示例,在合成图像获取步骤s1006中,可以通过如下方式来对部分遮挡面部模板进行渲染,以获得考虑了原始面部图像与部分遮挡面部模板之间的几何关系的经渲染的面部图像:基于原始图像中的关键点和部分遮挡面部模板对原始图像构建不规则三角网;以及针对不规则三角网中的每个三角部分,使用仿射变换技术将部分遮挡面部模板的相应位置的坐标变换为原始图像的相应位置的坐标。
[0098]
例如,根据本公开的实施例,在合成图像获取步骤s1006中,可以对通过将经渲染的面部图像与原始面部图像进行融合而获得的融合图像进行后处理,以使得融合图像中的对象区域与面部区域之间的边界平滑,并且使对象区域与面部区域之间的亮度差异小于预定阈值,从而使得经过后处理的融合图像(即,合成图像)更加准确、更加自然,由此可以进一步提高经训练的分类模型对部分遮挡面部图像的分类准确度。
[0099]
例如,根据本公开的实施例,模型训练步骤s1008可以包括特征提取子步骤、贡献计算子步骤、特征调整子步骤和训练子步骤(图中未示出)。
[0100]
在特征提取子步骤中,可以利用分类模型的特征提取层来提取输入图像的特征。输入图像可以来自增强训练图像集或合成训练图像集。例如,特征提取子步骤可以由上文描述的特征提取子单元1062来实施,因此具体细节可参见上文对特征提取子单元1062的描述,这里将不再赘述。
[0101]
在贡献计算子步骤中,可以利用分类模型的贡献计算层来计算输入图像的特征所包括的各个分量对输入图像的分类结果的贡献。例如,贡献计算子步骤可以由上文描述的贡献计算子单元1064来实施,因此具体细节可参见上文对贡献计算子单元1064的描述,这里将不再赘述。
[0102]
在特征调整子步骤中,可以基于通过贡献计算子步骤所计算出的、输入图像的特征所包括的各个分量的贡献,对通过特征提取子步骤所提取的输入图像的特征进行调整,从而获得输入图像的经调整的特征。例如,特征调整子步骤可以由上文描述的特征调整子单元1066来实施,因此具体细节可参见上文对特征调整子单元1066的描述,这里将不再赘述。
[0103]
在训练子步骤中,可以利用通过特征调整子步骤所获得的输入图像的经调整的特征,基于针对分类模型的损失函数对分类模型进行训练,以获得经训练的分类模型。例如,训练子步骤可以由上文描述的训练子单元1068来实施,因此具体细节可参见上文对训练子单元1068的描述,这里将不再赘述。
[0104]
如上所述,在根据本公开的实施例的模型训练步骤s1008中,可以计算输入图像的特征所包括的各个分量对输入图像的分类结果的贡献,并且基于所计算出的贡献对输入图像的特征进行调整,从而基于输入图像的经调整的特征对输入图像组进行分类。与简单地直接基于利用分类模型的特征提取层所提取的输入图像进行分类的现有技术相比,在根据本公开的实施例的模型训练步骤s1008中,可以在考虑输入图像的特征所包括的各个分量对输入图像的分类结果的贡献的情况下对输入图像进行分类,使得可以进一步提高分类准确度。
[0105]
上文已经描述了根据本公开的实施例的信息处理方法1000,本公开还提供了以下利用通过根据本公开的实施例的信息处理方法1000所得到的经训练的分类模型对输入面部图像进行分类的方法1100。下面将参照图11对根据本公开的实施例的利用经训练的分类
模型对输入面部图像进行分类的方法1100进行描述。
[0106]
图11是示出根据本公开的实施例的利用经训练的分类模型对输入面部图像进行分类的方法1100的流程示例的流程图。如图11所示,根据本公开的实施例的方法1100可以开始于开始步骤s1102,并且结束于结束步骤s1116。此外,根据本公开的实施例的方法1100可以包括第一特征提取步骤s1104和分类步骤s1114。
[0107]
在第一特征提取步骤s1104中,可以利用经训练的分类模型来提取输入面部图像的特征。例如,输入面部图像可以是部分遮挡面部图像或者未被遮挡的面部图像。例如,第一特征提取步骤s1104可以由上文描述的第一特征提取单元802来实施,因此具体细节可参见上文对第一特征提取单元802的描述,这里将不再赘述。
[0108]
在分类步骤s1114中,可以基于在第一特征提取步骤s1104中所提取的输入面部图像的特征对输入面部图像进行分类。
[0109]
如上所述,根据本公开的实施例的方法1100基于利用根据本公开的实施例的信息处理方法1000所得到的经训练的分类模型所提取的输入面部图像的特征对输入面部图像进行分类,使得至少可以提高对部分遮挡面部图像的分类准确度。
[0110]
例如,根据本公开的实施例,如图11所示,方法1100还可以包括对象检测步骤s1106、第二面部模板创建步骤s1108和第二合成图像获取步骤s1112。
[0111]
在对象检测步骤s1106中,可以检测输入面部图像是否被对象遮挡。例如,对象检测步骤s1106可以由上文描述的对象检测单元806来实施,因此具体细节可参见上文对对象检测单元806的描述,这里将不再赘述。
[0112]
在对象检测步骤s1106中检测到输入面部图像被对象遮挡的情况下(s1106,是),处理可以进行至第二面部模板创建步骤s1108。在第二面部模板创建步骤s1108中,可以基于输入面部图像创建部分遮挡面部模板。第二面部模板创建步骤s1108可以由上文描述的第二面部模板创建单元808来实施,因此具体细节可参见上文对第二面部模板创建单元808的描述,这里将不再赘述。
[0113]
另一方面,在对象检测步骤s1106中没有检测到输入面部图像被对象遮挡的情况下(s1106,否),处理可以进行至分类步骤s1114。
[0114]
在第二合成图像获取步骤s1112中,可以基于所存储的分类结果已知的目标图像和在第二面部模板创建步骤s1108中创建的部分遮挡面部模板获取合成目标图像。在这种情况下,在分类步骤s1114中,可以基于输入面部图像的特征和合成目标图像的特征对输入面部图像进行分类。由于在第二合成图像获取步骤s1112中利用基于输入面部图像而创建的部分遮挡面部模板来获取合成图像,因此所获取的合成图像中的对象与输入面部图像中的对象一致,由此可以进一步提高分类准确度。
[0115]
例如,根据本公开的实施例,在存在多个目标图像的情况(例如,1:n(n>1)认证的情况)下,如图11所示,方法1100还可以包括目标图像选择步骤s1110。在目标图像选择步骤s1110中,可以基于对输入面部图像的初始分类结果从多个目标图像选择预定数目的目标图像。在这种情况下,在第二合成图像获取步骤s1112中,可以仅针对在目标图像选择步骤s1110所选择的预定数目的目标图像,创建相应的合成目标图像,并且在分类步骤s1114中,可以基于输入面部图像的特征和针对预定数目的目标图像的合成目标图像的特征对输入面部图像进行分类。
[0116]
上述初始分类结果可以是基于在第一特征提取步骤s1104中所提取的输入面部图像的特征和上述多个目标图像的特征对输入面部图像进行分类而获得的。
[0117]
如上所述,在存储有多个目标图像的情况下,可以基于初始分类结果选择预定数目的目标图像,并且基于所选择的预定数目的目标图像的合成图像对输入面部图像进行分类。与基于所有目标图像的合成图像对输入面部图像进行分类的情况相比,可以进一步减小处理量并且提高分类速度。
[0118]
应指出,尽管以上描述了根据本公开的实施例的信息处理装置和方法以及利用经训练的分类模型对输入面部图像进行分类的装置和方法的功能配置和操作,但是这仅是示例而非限制,并且本领域技术人员可根据本公开的原理对以上实施例进行修改,例如可对各个实施例中的功能模块和操作进行添加、删除或者组合等,并且这样的修改均落入本公开的范围内。
[0119]
此外,还应指出,这里的方法实施例是与上述装置实施例相对应的,因此在方法实施例中未详细描述的内容可参见装置实施例中相应部分的描述,在此不再重复描述。
[0120]
此外,本公开还提供了存储介质和程序产品。应理解,根据本公开的实施例的存储介质和程序产品中的机器可执行的指令还可以被配置成执行上述信息处理方法和利用经训练的分类模型对输入面部图像进行分类的方法,因此在此未详细描述的内容可参考先前相应部分的描述,在此不再重复进行描述。
[0121]
相应地,用于承载上述包括机器可执行的指令的程序产品的存储介质也包括在本发明的公开中。该存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。
[0122]
另外,还应该指出的是,上述系列处理和装置也可以通过软件和/或固件实现。在通过软件和/或固件实现的情况下,从存储介质或网络向具有专用硬件结构的计算机,例如图12所示的通用个人计算机700安装构成该软件的程序,该计算机在安装有各种程序时,能够执行各种功能等等。
[0123]
在图12中,中央处理单元(cpu)701根据只读存储器(rom)702中存储的程序或从存储部分708加载到随机存取存储器(ram)703的程序执行各种处理。在ram 703中,也根据需要存储当cpu 701执行各种处理等时所需的数据。
[0124]
cpu 701、rom 702和ram 703经由总线704彼此连接。输入/输出接口705也连接到总线704。
[0125]
下述部件连接到输入/输出接口705:输入部分706,包括键盘、鼠标等;输出部分707,包括显示器,比如阴极射线管(crt)、液晶显示器(lcd)等,和扬声器等;存储部分708,包括硬盘等;和通信部分709,包括网络接口卡比如lan卡、调制解调器等。通信部分709经由网络比如因特网执行通信处理。
[0126]
根据需要,驱动器710也连接到输入/输出接口705。可拆卸介质711比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器710上,使得从中读出的计算机程序根据需要被安装到存储部分708中。
[0127]
在通过软件实现上述系列处理的情况下,从网络比如因特网或存储介质比如可拆卸介质711安装构成软件的程序。
[0128]
本领域的技术人员应当理解,这种存储介质不局限于图12所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质711。可拆卸介质711的例子包含
磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(cd-rom)和数字通用盘(dvd))、磁光盘(包含迷你盘(md)(注册商标))和半导体存储器。或者,存储介质可以是rom702、存储部分708中包含的硬盘等等,其中存有程序,并且与包含它们的设备一起被分发给用户。
[0129]
以上参照附图描述了本公开的优选实施例,但是本公开当然不限于以上示例。本领域技术人员可在所附权利要求的范围内得到各种变更和修改,并且应理解这些变更和修改自然将落入本公开的技术范围内。
[0130]
例如,在以上实施例中包括在一个单元中的多个功能可以由分开的装置来实现。替选地,在以上实施例中由多个单元实现的多个功能可分别由分开的装置来实现。另外,以上功能之一可由多个单元来实现。无需说,这样的配置包括在本公开的技术范围内。
[0131]
在该说明书中,流程图中所描述的步骤不仅包括以所述顺序按时间序列执行的处理,而且包括并行地或单独地而不是必须按时间序列执行的处理。此外,甚至在按时间序列处理的步骤中,无需说,也可以适当地改变该顺序。
[0132]
另外,根据本公开的技术还可以如下进行配置。
[0133]
附记1.一种信息处理装置,包括:
[0134]
面部模板创建单元,被配置成基于部分地被对象遮挡的部分遮挡面部图像创建部分遮挡面部模板;
[0135]
合成图像获取单元,被配置成基于原始面部图像和经由所述面部模板创建单元创建的部分遮挡面部模板获取合成图像;以及
[0136]
模型训练单元,被配置成利用所述合成图像或者所述原始面部图像和所述合成图像对分类模型进行训练,以获得经训练的分类模型,
[0137]
其中,所述原始面部图像是没有被所述对象遮挡的面部图像。
[0138]
附记2.根据附记1所述的信息处理装置,其中,
[0139]
所述面部模板创建单元进一步被配置成针对多种类型的对象中的每种类型的对象,基于部分地被该类型的对象遮挡的部分遮挡面部图像创建针对该类型的对象的部分遮挡面部模板;以及
[0140]
合成图像获取单元进一步被配置成针对相应的原始面部图像,基于该原始面部图像和经由所述面部模板创建单元创建的针对多种类型的对象的多个部分遮挡面部模板中的部分或全部获取相应的合成图像。
[0141]
附记3.根据附记1所述的信息处理装置,其中,所述面部模板创建单元通过如下方式来创建部分遮挡面部模板:对所述部分遮挡面部图像进行面部检测和关键点检测,基于面部检测结果和关键点检测结果对所述部分遮挡面部图像中的面部区域和对象区域进行分割,以及基于所述面部检测结果、所述关键点检测结果和所述分割结果来创建所述部分遮挡面部模板。
[0142]
附记4.根据附记3所述的信息处理装置,其中,所述面部模板创建单元使用不规则三角网技术,基于所述面部检测结果、所述关键点检测结果和所述分割结果来创建所述部分遮挡面部模板。
[0143]
附记5.根据附记4所述的信息处理装置,其中,所述合成图像获取单元被配置成通过如下方式来获取所述合成图像:
[0144]
根据所述原始面部图像和所述部分遮挡面部模板之间的几何关系对所述部分遮
挡面部模板进行渲染,以获得经渲染的面部图像;以及
[0145]
将所述经渲染的面部图像与所述原始面部图像融合,以获取融合图像作为所述合成图像。
[0146]
附记6.根据附记5所述的信息处理装置,其中,所述合成图像获取单元进一步被配置成对所述融合图像进行后处理,以使得所述融合图像中的对象区域与面部区域之间的边界平滑,并且使所述对象区域与所述面部区域之间的亮度差异小于预定阈值。
[0147]
附记7.根据附记5所述的信息处理装置,其中,所述合成图像获取单元被配置成通过如下方式来对所述部分遮挡面部模板进行渲染,以获得所述经渲染的面部图像:
[0148]
基于所述部分遮挡面部模板和所述原始图像中的关键点对所述原始图像构建不规则三角网,
[0149]
针对所述不规则三角网中的每个三角部分,使用仿射变换技术将所述部分遮挡面部模板的相应位置的坐标变换为所述原始图像的相应位置的坐标。
[0150]
附记8.根据附记1所述的信息处理装置,其中,所述模型训练单元包括:
[0151]
特征提取子单元,被配置成利用所述分类模型的特征提取层来提取输入图像的特征,其中,所述输入图像是所述原始图像和所述合成图像中至少之一;
[0152]
贡献计算子单元,被配置成利用所述分类模型的贡献计算层来计算所述输入图像的特征所包括的各个分量对所述输入图像的分类结果的贡献;
[0153]
特征调整子单元,被配置基于通过所述贡献计算子单元所计算出的、所述输入图像的特征所包括的各个分量的贡献,对所述特征提取子单元所提取的所述输入图像的特征进行调整,从而获得所述输入图像的经调整的特征;以及
[0154]
训练子单元,被配置成利用通过特征调整子单元所获得的所述输入图像的经调整的特征,基于针对所述分类模型的损失函数对所述分类模型进行训练,以获得经训练的分类模型。
[0155]
附记9.根据附记1所述的信息处理装置,其中,所述分类模型是预先通过使用所述原始图像对初始分类模型进行训练而得到的预先训练的分类模型。
[0156]
附记10.根据附记1至9中任一项所述的信息处理装置,其中,所述对象是口罩或眼镜。
[0157]
附记11.一种利用通过根据附记1至10中任一项所述的信息处理装置所得到的经训练的分类模型对输入面部图像进行分类的装置,包括:
[0158]
第一特征提取单元,被配置成利用所述经训练的分类模型来提取所述输入面部图像的特征;以及
[0159]
分类单元,被配置成基于通过所述第一特征提取单元所提取的所述输入面部图像的特征对所述输入面部图像进行分类。
[0160]
附记12.根据附记11所述的装置,所述装置还包括:
[0161]
对象检测单元,被配置成检测所述输入面部图像是否被对象遮挡;以及
[0162]
第二合成图像获取单元,被配置成在所述对象检测单元检测到所述输入面部图像被对象遮挡的情况下,基于所述装置中所存储的分类结果已知的目标图像和与所述对象检测单元所检测到的对象相对应的部分遮挡面部模板获取合成目标图像,
[0163]
其中,所述第一特征提取单元进一步被配置成利用所述经训练的分类模型来提取
所述合成目标图像的特征,以及
[0164]
其中,所述分类单元基于通过所述第一特征提取单元所提取的所述输入面部图像的特征和所述合成目标图像的特征对所述输入面部图像进行分类。
[0165]
附记13.根据附记12所述的装置,所述装置还包括:第二面部模板创建单元,被配置成在所述对象检测单元检测到所述输入面部图像被对象遮挡的情况下,基于所述输入面部图像创建部分遮挡面部模板,
[0166]
其中,所述第二合成图像获取单元进一步被配置成在所述对象检测单元检测到所述输入面部图像被对象遮挡的情况下,基于所述装置中所存储的分类结果已知的目标图像和经由所述第二面部模板创建单元创建的所述部分遮挡面部模板获取合成目标图像。
[0167]
附记14.根据附记13所述的装置,所述装置还包括:目标图像选择单元,被配置成在所述装置中存储有多个目标图像的情况下,基于所述分类单元对所述输入面部图像的初始分类结果从所述多个目标图像选择预定数目的目标图像,
[0168]
其中,所述第一特征提取单元进一步被配置成利用所述经训练的分类模型来提取所述多个目标图像的特征,
[0169]
其中,所述初始分类结果是基于通过所述第一特征提取单元所提取的所述输入面部图像的特征和所述多个目标图像的特征对所述输入面部图像进行分类而获得的,
[0170]
其中,仅针对所述目标图像选择单元所选择的所述预定数目的目标图像,通过所述第二合成图像获取单元来获取相应的合成目标图像,以及
[0171]
其中,所述分类单元基于通过所述第一特征提取单元所提取的所述输入面部图像的特征和所述预定数目的目标图像的合成目标图像的特征对所述输入面部图像进行分类。
[0172]
附记15.一种信息处理方法,包括:
[0173]
面部模板创建步骤,用于基于部分地被对象遮挡的部分遮挡面部图像创建部分遮挡面部模板;
[0174]
合成图像获取步骤,用于基于原始面部图像和经由所述面部模板创建步骤创建的部分遮挡面部模板获取合成图像;以及
[0175]
模型训练步骤,用于利用所述合成图像或者所述原始面部图像和所述合成图像对分类模型进行训练,以获得经训练的分类模型,
[0176]
其中,所述原始面部图像是没有被所述对象遮挡的面部图像。
[0177]
附记16.根据附记15所述的信息处理方法,其中,
[0178]
在所述面部模板创建步骤中,针对多种类型的对象中的每种类型的对象,基于部分地被该类型的对象遮挡的部分遮挡面部图像创建针对该类型的对象的部分遮挡面部模板;以及
[0179]
在所述合成图像获取步骤中,针对相应的原始面部图像,基于该原始面部图像和经由所述面部模板创建步骤创建的针对多种类型的对象的多个部分遮挡面部模板中的部分或全部创建相应的合成图像。
[0180]
附记17.根据附记15所述的信息处理方法,其中,在所述面部模板创建步骤通过如下方式来创建部分遮挡面部模板:对所述部分遮挡面部图像进行面部检测和关键点检测,基于面部检测结果和关键点检测结果对所述部分遮挡面部图像中的面部区域和对象区域进行分割,以及使用不规则三角网技术,基于所述面部检测结果、所述关键点检测结果和所
述分割结果来创建所述部分遮挡面部模板。
[0181]
附记18.根据附记17所述的信息处理方法,其中,在所述合成图像获取步骤中,通过如下方式来获取所述合成图像:
[0182]
根据所述原始面部图像和所述部分遮挡面部模板之间的几何关系对所述部分遮挡面部模板进行渲染,以获得经渲染的面部图像;以及
[0183]
将所述经渲染的面部图像与所述原始面部图像融合,以获取融合图像作为所述合成图像。
[0184]
附记19.根据附记18所述的信息处理方法,其中,在所述合成图像获取步骤中,通过如下方式来对所述部分遮挡面部模板进行渲染,以获得所述经渲染的面部图像:
[0185]
基于所述原始图像中的关键点和所述部分遮挡面部模板对所述原始图像构建不规则三角网,
[0186]
针对所述不规则三角网中的每个三角部分,使用仿射变换技术将所述部分遮挡面部模板的相应位置的坐标变换为所述原始图像的相应位置的坐标。
[0187]
附记20.一种存储有程序指令的计算机可读存储介质,当所述程序指令被计算机执行时用于执行附记14至19中任一项所述的信息处理方法。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献