活体检测方法、活体检测模型的训练方法及对应装置与流程

1.本技术涉及人工智能技术领域，特别是涉及一种活体检测方法、活体检测模型的训练方法及对应装置。


背景技术：

2.近年来，活体检测作为识别任务的补充被广泛应用于多种场景，例如智能门锁、手机刷脸解锁、刷脸支付、应用刷脸登录等多种用户认证场景。鉴于这些场景大多涉及用户的居住、隐私、金融等重要方面，因此如何能够准确地实现活体检测成为各大服务提供商致力解决的问题。


技术实现要素：

3.有鉴于此，本技术提供了一种活体检测方法、活体检测模型的训练方法及对应装置，以便于提高活体检测的准确性。
4.本技术提供了如下方案：
5.第一方面，提供了一种活体检测方法，所述方法包括：
6.获取第一摄像头和第二摄像头针对待检测对象采集的第一图像和第二图像；
7.依据所述第一图像和第二图像的视差获取深度图信息；
8.通过活体检测模型对所述第一图像和所述深度图信息分别进行特征提取得到图像特征和深度图特征后，将所述图像特征和深度图特征进行融合得到多模态融合特征，利用所述多模态融合特征得到所述待检测对象是否为活体的检测结果，其中，所述活体检测模型为机器学习模型。
9.根据本技术实施例中一可实现的方式，依据所述第一图像和第二图像的视差获取深度图信息包括：
10.利用对所述第一摄像头和所述第二摄像头分别标定的内参矩阵、畸变系数矩阵和旋转矩阵，对所述第一图像和所述第二图像进行极线校正；
11.将极线校正后的第一图像作为基准，确定各位置处第一图像和第二图像的视差；
12.利用各位置处第一图像和第二图像的视差、以及所述第一摄像头和所述第二摄像头的光心距离，确定各位置处的深度信息得到所述深度图信息。
13.根据本技术实施例中一可实现的方式，所述活体检测模型包括：特征提取层、特征融合层和解码层；
14.所述特征提取层对所述第一图像和所述深度图信息分别进行特征提取，得到图像特征和深度图特征；
15.所述特征融合层对所述图像特征和深度图特征进行第二合并处理得到第二融合特征；对所述第二融合特征分别进行第一注意力处理和第二注意力处理得到图像注意力矩阵和深度图注意力矩阵；将所述图像注意力矩阵和深度图注意力矩阵进行融合得到多模态注意力矩阵；利用所述多模态注意力矩阵分别对所述图像特征和所述深度图特征进行第三
合并处理，得到多模态融合特征；
16.所述解码层利用所述多模态融合特征得到所述待检测对象是否为活体的检测结果。
17.根据本技术实施例中一可实现的方式，所述特征融合层对所述图像特征和深度图特征进行第二合并处理得到第二融合特征包括：
18.所述特征融合层对所述图像特征和深度图特征进行第一合并处理得到第一融合特征；
19.对所述第一融合特征进行全连接处理，得到多模态上下文矩阵；
20.利用所述多模态上下文矩阵分别对所述图像特征和所述深度图特征进行第一增强处理，得到第一增强图像特征和第一增强深度图特征；
21.对所述第一增强图像特征和所述第一增强深度图特征进行第二合并处理，得到第二融合特征。
22.根据本技术实施例中一可实现的方式，所述图像特征包括n个分辨率尺度的图像特征，所述深度图特征包括n个分辨率尺度的深度图特征，所述n为大于1的正整数；
23.将所述图像特征和深度图特征进行融合得到多模态融合特征包括：将各分辨率尺度的图像特征和深度图特征分别进行融合，得到n个分辨率尺度的多模态融合特征。
24.第二方面，提供了一种用户认证方法，该方法包括：
25.采用如上第一方面所述的活体检测方法对待检测对象进行活体检测，得到所述待检测对象是否为活体的检测结果；以及
26.对所述待检测对象进行生物特征识别，获得是否通过生物特征识别的识别结果；
27.若所述待检测对象为活体且通过生物特征识别，则确定所述用户认证成功。
28.第三方面，提供了一种活体检测模型的训练方法，所述方法包括：
29.获取训练数据，所述训练数据包括图像样本、深度图样本和对所述图像样本中对象标注的是否为活体的标签；其中，所述图像样本包括多个图像对，每个图像对包括第一摄像头和第二摄像头针对同一对象采集的第一图像和第二图像，所述深度图样本包括依据各图像对中第一图像和所述第二图像的视差获取的深度图信息；
30.将所述图像样本中的第一图像和深度图样本作为输入，将对所述图像样本中对象标注的是否为活体的标签作为目标输出，训练活体检测模型；其中，所述活体检测模型对所述第一图像和深度图样本分别进行特征提取得到图像特征和深度图特征后，将所述图像特征和深度图特征进行融合得到多模态融合特征，利用所述多模态融合特征得到所述第一图像中对象是否为活体的检测结果，其中，所述活体检测模型为机器学习模型。
31.根据本技术实施例中一可实现的方式，所述活体检测模型包括：特征提取层、特征融合层和解码层；
32.所述特征提取层对所述第一图像和所述深度图样本分别进行特征提取，得到图像特征和深度图特征；
33.所述特征融合层对所述图像特征和深度图特征进行第二合并处理得到第二融合特征；对所述第二融合特征分别进行第一注意力处理和第二注意力处理得到图像注意力矩阵和深度图注意力矩阵；将所述图像注意力矩阵和深度图注意力矩阵进行融合得到多模态注意力矩阵；利用所述多模态注意力矩阵分别对所述图像特征和所述深度图特征进行第三
合并处理，得到所述多模态融合特征；
34.所述解码层利用所述多模态融合特征得到所述第一图像中对象是否为活体的检测结果。
35.根据本技术实施例中一可实现的方式，所述特征融合层对所述图像特征和深度图特征进行第二合并处理得到第二融合特征包括：
36.所述特征融合层对所述图像特征和深度图特征进行第一合并处理得到第一融合特征；
37.对所述第一融合特征进行全连接处理，得到多模态上下文矩阵；
38.利用所述多模态上下文矩阵分别对所述图像特征和所述深度图特征进行第一增强处理，得到第一增强图像特征和第一增强深度图特征；
39.对所述第一增强图像特征和所述第一增强深度图特征进行第二合并处理，得到第二融合特征。
40.根据本技术实施例中一可实现的方式，所述特征融合层进一步利用所述多模态融合特征对所述图像特征和所述深度图特征进行第二增强处理，得到第二增强图像特征和第二增强深度图特征；
41.所述解码层包括图像编码器、深度编码器和融合编码器；
42.所述图像编码器利用所述第二增强图像特征进行二分类，得到所述第一图像中对象是否为活体的第一检测结果；
43.所述深度编码器利用所述第二增强深度图特征进行二分类，得到所述第一图像中对象是否为活体的第二检测结果；
44.所述融合编码器利用所述多模态融合特征得到所述第一图像中对象是否为活体的第三检测结果；
45.训练目标为最小化总损失函数的值，所述总损失函数由第一损失函数值、第二损失函数值和第三损失函数值确定，所述第一损失函数值由所述第一检测结果与对所述图像样本中对象标注的是否为活体的标签之间的差异确定，所述第二损失函数值由所述第二检测结果与对所述图像样本中对象标注的是否为活体的标签之间的差异确定，所述第三损失函数值分别由所述第三检测结果与对所述图像样本中对象标注的是否为活体的标签之间的差异确定；
46.所述训练结束后所述解码层仅保留所述融合编码器。
47.根据本技术实施例中一可实现的方式，所述图像特征包括n个分辨率尺度的图像特征，所述深度图特征包括n个分辨率尺度的深度图特征，所述n为大于1的正整数；
48.将所述图像特征和深度图特征进行融合得到多模态融合特征包括：将各分辨率尺度的图像特征和深度图特征分别进行融合，得到n个分辨率尺度的多模态融合特征。
49.第四方面，提供了一种活体检测装置，所述装置包括：
50.图像获取单元，被配置为获取第一摄像头和第二摄像头针对待检测对象采集的第一图像和第二图像；
51.深度获取单元，被配置为依据所述第一图像和第二图像的视差获取深度图信息；
52.活体检测单元，被配置为通过活体检测模型对所述第一图像和所述深度图信息分别进行特征提取得到图像特征和深度图特征后，将所述图像特征和深度图特征进行融合得
到多模态融合特征，利用所述多模态融合特征得到所述待检测对象是否为活体的检测结果，其中，所述活体检测模型为机器学习模型。
53.第五方面，提供了一种活体检测模型的训练装置，所述装置包括：
54.样本获取单元，被配置为获取训练数据，所述训练数据包括图像样本、深度图样本和对所述图像样本中对象标注的是否为活体的标签；其中，所述图像样本包括多个图像对，每个图像对包括第一摄像头和第二摄像头针对同一对象采集的第一图像和第二图像中的一个图像，所述深度图样本包括依据各图像对中第一图像和所述第二图像的视差获取的深度图信息；
55.模型训练单元，被配置为将所述图像样本中的第一图像和深度图样本作为输入，将对所述图像样本中对象标注的是否为活体的标签作为目标输出，训练活体检测模型；其中，所述活体检测模型对所述第一图像和深度图样本分别进行特征提取得到图像特征和深度图特征后，将所述图像特征和深度图特征进行融合得到多模态融合特征，利用所述多模态融合特征得到所述第一图像中对象是否为活体的检测结果，其中，所述活体检测模型为机器学习模型。
56.根据第六方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面中任一项所述的方法的步骤。
57.根据第七方面，提供了一种电子设备，其特征在于，包括：
58.一个或多个处理器；以及
59.与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行上述第一方面中任一项所述的方法的步骤。
60.根据本技术提供的具体实施例，本技术可以具备以下技术效果：
61.1)本技术采用两个摄像头采集图像后，利用图像间的视差获取深度图信息，将深度图信息作为图像的补充输入活体检测模型进行多模态特征融合的活体检测，相比较利用图像进行单模态检测的方式，提高了活体检测的准确度。
62.2)本技术提供的技术方案中仅需要利用摄像头进行图像采集，无需额外部署诸如结构光传感器、体感传感器等昂贵的传感器，能够有效降低设备体积且降低成本，方便在终端设备部署。
63.3)本技术中利用对摄像头的标定结果对第一图像和第二图像进行极线校正，在极线校正后的图像基础上计算视差并进一步得到深度图信息，使得得到的深度图信息更加准确，进而基于此进行的活体检测也更加准确。
64.4)本技术中在针对第一图像和深度图信息进行特征提取时，均提取n个分辨率尺度的特征，这种“多层次”的特征提取方式，使得后续融合得到的多模融合特征能够更好地捕捉有效地深度图特征和图像特征，从而提高模型检测的效果。
65.5)在活体检测模型训练的过程中，第二增强图像特征、第二增强深度图特征与多模态融合特征分别输入图像编码器、深度图编码器和融合编码器，获得三个检测结果，并利用这三个检测结果得到的损失函数值对模型进行训练。训练完成后编码层仅保留融合编码器，在达到较高识别准确率的前提下，尽可能减少模型参数和计算量，缩短预测时间。
66.当然，实施本技术的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
67.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
68.图1是可以应用本技术实施例的示意性系统架构图；
69.图2为本技术实施例提供的活体检测方法流程图；
70.图3为本技术实施例提供的获取深度图信息的方法流程图；
71.图4为本技术实施例提供的活体检测模型的原理示意图；
72.图5为本技术实施例提供的特征融合层的原理示意图；
73.图6为本技术实施例提供的建立活体检测模型的方法流程图；
74.图7为本技术实施例提供的训练活体检测模型的原理示意图；
75.图8示出了根据一个实施例的活体检测装置的示意性框图；
76.图9示出了根据一个实施例的建立活体检测模型的装置的示意性框图；
77.图10为本技术实施例提供的电子设备的架构图。
具体实施方式
78.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本技术保护的范围。
79.在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
80.应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
81.取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
82.传统的活体检测技术大多需要用户配合，例如在采集用户的图像信息时，需要用户依据指令配合执行诸如张嘴、眨眼、转头等动作，这种方式对于用户而言需要执行额外的一连串动作，需要的检测时间也较长，综合体验较差。随着深度学习技术的快速发展，大部分基于传统方法的活体检测技术已经被深度学习模型替代。目前主要存在以下实现方式：
83.第一种方式：将单个摄像头采集的图像这种单模态信息作为活体检测模型的输入，由活体检测模型对图像进行分析以得到图像中的待检测对象是否为活体的检测结果。
84.第二种方式：将单个摄像头采集的图像以及其他传感器采集的信息作为活体检测模型的输入，由活体检测模型利用这种多模态的输入进行分析以得到待检测对象是否为活
体的检测结果。这种多模态方法相比较单模态的方法具有更高的准确率，但往往需要额外布设昂贵的传感器，例如结构光传感器、体感传感器等等。这些传感器会增加设备体积且成本较高，不利于在终端设备部署。
85.有鉴于此，本技术提供了一种全新的思路来实现活体检测。为了方便对本技术实施例的理解，首先对适用于本技术的系统架构进行简单描述。图1是可以应用本技术实施例的示意性系统架构。如图1所示，该系统架构可以包括终端设备101和102，网络103和服务器104。网络103用以在终端设备101、102和服务器104之间提供通信链路。网络103可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
86.用户可以使用终端设备101和102通过网络103与服务器104交互。终端设备101和102上可以安装有各种应用，在这些应用中的一个或者多个需要配合活体检测技术完成用户认证。
87.以终端设备101为例，在该设备端部署有双目摄像头来进行用户图像的采集。作为其中一种可实现的方式，终端设备101端部署的双目摄像头采集到的图像可以发送至服务器104。在服务器104侧预先训练得到活体检测模型，在接收到终端设备101发送的用户图像后，由服务器104利用活体检测模型进行活体检测。本技术实施例提供的活体检测装置可以设置于服务器104中，其可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块，在此不做具体限定。
88.作为另一种可实现的方式，服务器104训练得到活体检测模型，将活体检测模型下发至终端设备101侧进行部署。终端设备101端部署的双目摄像头采集到用户图像后，输入活体检测模型，由活体检测模型进行活体检测。这种情况下，本技术实施例提供的活体检测装置设置于终端设备101中，其可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。
89.终端设备101和102可以包括但不限于诸如：智能移动终端、智能家居设备、网络设备、可穿戴式设备、智能医疗设备、pc(personal computer，个人计算机)等。其中智能移动设备可以包括诸如手机、平板电脑、笔记本电脑、pda(personal digital assistant，个人数字助理)、互联网汽车等。智能家居设备可以包括智能家电设备，诸如智能电视、智能空调、智能冰箱等等，智能家居设备还可以包括智能门锁、智能摄像头等。网络设备可以包括诸如交换机、无线ap、服务器等。可穿戴式设备可以包括诸如智能手表、智能眼镜、智能手环、虚拟现实设备、增强现实设备、混合现实设备(即可以支持虚拟现实和增强现实的设备)等等。智能医疗设备可以包括诸如智能体温计、智能血压仪、智能血糖仪等等。
90.服务器104可以是单一服务器，也可以是多个服务器构成的服务器群组，还可以是云服务器。云服务器又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决传统物理主机与虚拟专用服务器(vps，virtual private server)服务中存在的管理难度大，服务扩展性弱的缺陷。
91.应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
92.图2为本技术实施例提供的活体检测方法流程图，如图2中所示，该方法可以包括以下步骤：
93.步骤202：获取第一摄像头和第二摄像头针对待检测对象采集的第一图像和第二
图像。
94.步骤204：依据第一图像和第二图像的视差获取深度图信息。
95.步骤206：通过活体检测模型对第一图像和深度图信息分别进行特征提取得到图像特征和深度图特征后，将图像特征和深度图特征进行融合得到多模态融合特征，利用多模态融合特征得到待检测对象是否为活体的检测结果。
96.由以上流程可以看出，本技术采用两个摄像头采集图像后，利用图像间的视差获取深度图信息，将深度图信息作为图像的补充输入活体检测模型进行多模态特征融合的活体检测，相比较利用图像进行单模态检测的方式，提高了活体检测的准确度。
97.另外，该技术方案中仅需要利用摄像头进行图像采集，无需额外部署诸如结构光传感器、体感传感器等昂贵的传感器，能够有效降低设备体积且降低成本。
98.下面分别对上述各步骤进行具体描述。
99.首先结合实施例对上述步骤202即“获取第一摄像头和第二摄像头针对待检测对象采集的第一图像和第二图像”进行详细描述。
100.作为其中一种可实现的方式，可以布设两个独立的摄像头，位置相对固定且针对同一待检测对象进行图像采集。
101.作为另一种可实现的方式，可以采用双目摄像头对待检测对象进行图像采集。
102.在本技术实施例中，可以根据活体检测的实际应用场景将第一摄像头和第二摄像头设置于合适的位置。例如设置于智能门锁上用以获取用户图像进行活体检测来辅助用户认证，认证通过后进行开锁。再例如在手机的前置摄像头设置双目摄像头，用以在屏幕锁定的情况下获取用户图像进行活体检测来辅助用户认证，认证通过后进行屏幕解锁。再例如在自助支付设备上设置双目摄像头，用以在进行人脸支付时获取用户图像进行活体检测来辅助用户认证，认证通过后进行支付。其他场景不再一一列举。
103.下面结合实施例对上述步骤204即“依据第一图像和第二图像的视差获取深度图信息”进行详细描述。
104.作为其中一种可实现的方式，本步骤可以采用图3所示流程实现，如图3中所示，可以具体包括以下步骤：
105.步骤302：利用对第一摄像头和第二摄像头分别标定的内参矩阵、畸变系数矩阵和旋转矩阵，对第一图像和第二图像进行极线校正。
106.由于摄像头的制造工艺限制，无法保证两个摄像头采集的第一图像和第二图像完全水平，从而影响视差计算的准确性，因此需要对两个摄像头进行标定后对得到的第一图像和第二图像进行极线校正。
107.为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立摄像头成像的几何模型，这些几何模型参数就是相机参数，确定相机参数的过程就是标定过程。对相机参数的标定过程已经是目前较为成熟的技术，可以采用诸如张正友标定法等，在此不做详述。
108.经过相机标定后可以得到第一摄像头和第二摄像头的3
×
3内参矩阵n1和n2、1
×
4的畸变系数矩阵d1和d2、3
×
3的旋转矩阵r1和r2以及两个摄像头之间的外部参数，例如平移向量t。
109.极线校正可以采用目前已有的任意的极线校正方法，目标是经过校正后两个摄像
头的光轴平行，同一个目标点在左右两个摄像头平面上的投影高度一致，即水平。例如fusiello算法和bouguet算法。
110.首先进行去畸变处理，包括：利用每个摄像头的内部参数将第一图像和第二图像进行坐标系转换，转换为世界坐标系下；再利用畸变系数矩阵d1和d2分别对转换后的第一图像和第二图像进行去畸变处理，得到去畸变后的第一图像和第二图像。
111.然后进行极线校正，对去畸变后的第一图像和第二图像进行诸如bouguet算法的以下极线校正：
112.为了使得第一摄像头和第二摄像头依据r1和r2分别围绕光轴旋转，实现行对齐。以第一摄像头为例，本步骤需要构造变换矩阵r1
rec
使得第一摄像头以光轴为中心旋转。可以对r1
rec
进行坐标分解：
113.r1
rec
＝[e1 e2 e3]
ꢀꢀꢀꢀꢀ
(1)
[0114][0115]
e3＝e1
×
e2
ꢀꢀꢀꢀꢀꢀꢀ
(4)
[0116]
其中，||||表示向量求模，[]
t
表示转置，
×
表示向量叉积，t
x
、ty和tz表示t在x轴、y轴和z轴方向上的分量。
[0117]
然后将旋转矩阵和变换矩阵相乘，获得第一摄像头的整体旋转矩阵r1’：
[0118]
r1’＝r1
rec
*r1
ꢀꢀꢀꢀꢀꢀꢀ
(5)
[0119]
第二摄像头的整体旋转矩阵r2’采用类似方式获得。
[0120]
然后利用第一摄像头的整体旋转矩阵r1’和第二摄像头的整体旋转矩阵r2’分别对第一图像和第二图像进行旋转，得到共面且行对齐的图像，即极线校正后的第一图像和第二图像。
[0121]
步骤304：将极线校正后的第一图像作为基准，确定各位置处第一图像和第二图像的视差。
[0122]
经过极线校正后得到的第一图像和第二图像的对应像素完全水平。以第一图像作为基准，针对第一图像中的各位置分别执行：在第一图像的当前位置处取图像块，在第二图像中相同位置处开始按照预设方向进行相同大小的图像块滑动，将每个滑动位置的图像块与第一图像中的图像块进行相似度计算。若在滑动了disp个像素后得到的相似度最大，则第一图像的当前位置处的视差就是disp。其中，第一图像可以是第一摄像头和第二摄像头针对同一对象采集的其中任一个图像。对于双目摄像头而言，若第一图像为左视图，以左视图为基准，则上述预设方向可以是从左向右；若第一图像为右视图，以右视图为基准，则上述预设方向可以是从右向左。
[0123]
步骤306：利用各位置处第一图像和第二图像的视差、第一摄像头和第二摄像头的光心距离，确定各位置处的深度信息得到深度图信息。
[0124]
可以针对各位置处分别采用如下公式得到该位置处的深度信息depth：
[0125]
[0126]
其中，fx为摄像头在x轴上的焦距，其中x轴与水平方向平行，b为第一摄像头和第二摄像头的光心距离。
[0127]
在得到各位置处的深度信息后，可以由各位置处的深度信息得到深度图信息。深度图信息可以包括深度信息及其对应的位置信息，或者按照位置排列的深度信息组成的序列或矩阵。
[0128]
通过对大量活体和假体对应的深度图进行分析后，发现假体和活体在深度图上的表现具有较大区分度。假体的深度图中深度或比较单一，或比较杂乱，而活体的深度图则具有层次性且具有对象的轮廓。因此，本技术实施例基于此将深度图信息作为活体检测模型的一个模态输入。
[0129]
下面结合实施例对上述步骤206即“通过活体检测模型对第一图像和深度图信息分别进行特征提取得到图像特征和深度图特征后，将图像特征和深度图特征进行融合得到多模态融合特征，利用多模态融合特征得到待检测对象是否为活体的检测结果”进行详细描述。
[0130]
本步骤中输入活体检测模型的是多模态的信息，即将深度图信息作为第一图像的补充输入活体检测模型进行多模态特征融合的活体检测。本技术实施例提供的活体检测模型可以采用机器学习模型，如图4中所示，包括特征提取层、特征融合层和解码层。
[0131]
其中特征提取层，用于对第一图像和深度图信息分别进行特征提取，得到图像特征和深度图特征。
[0132]
特征提取层可以包括两个特征提取网络，两个特征提取网络的结构相同但网络参数不共享。其中一个特征提取网络用以对第一图像进行特征提取，得到图像特征。另一个特征提取网络用以对深度图特征进行特征提取，得到深度图特征。
[0133]
每个特征提取层主要包括两部分：
[0134]
第一部分网络首先对输入的内容(即第一图像或深度图信息)进行前处理，前处理主要是对输入的内容进行简单的抽象，提取初步的特征。作为其中一种可实现的方式，这部分可以由一个卷积模块、批归一化模块、激活模块和最大池化模块构成。其中，激活模块可以采用诸如relu等激活函数。
[0135]
第二部分网络对初步的特征进行进一步的特征提取，分别得到图像特征img和深度图特征nlcd。作为其中一种可实现的方式，可以依次包含一个卷积核为1的卷积模块、批归一化模块、激活模块、卷积核为3的卷积、批归一化模块、激活模块、卷积核为1的卷积模块、批归一化模块和激活模块，其中激活模块可以采用诸如relu等激活函数。
[0136]
作为一种更优选的实施方式，上述第二部分网络为fpn(feature pyramid networks,金字塔特征提取网络)，进行特征提取后，可以得到n个分辨率尺度对应的图像特征和深度图特征，n为大于1的正整数。以n取3为例，这部分可以由3个轻量块堆叠得到，抽取3个不同分辨率尺度的特征。作为其中一种可实现的方式，每个轻量的块可以依次包含一个卷积核为1的卷积模块、批归一化模块、激活模块、卷积核为3的卷积、批归一化模块、激活模块、卷积核为1的卷积模块、批归一化模块和激活模块，其中激活模块可以采用诸如relu等激活函数。得到的3个分辨率尺度的图像特征可以表示为img 1、img 2和img 3，得到的3个分辨率尺度的深度图特征可以表示为nlcd 1、nlcd 2和nlcd 3。
[0137]
下面结合图5对特征融合层的实现过程进行详细描述。
[0138]
若特征提取层针对图像特征和深度图特征仅为一个分辨度尺度的，则特征融合层对该图像特征和深度图特征进行融合处理得到多模态融合特征。若特征提取层针对图像特征和深度图特征为n个分辨度尺度的，则针对每个分辨率尺度的图像特征和深度图特征分别进行融合处理，得到n个多模态融合特征。
[0139]
特征融合层首先对图像特征和深度图特征进行第二合并处理得到第二融合特征。作为其中一种可实现的方式，可以将图像特征和深度图特征直接进行合并得到上述的第二融合特征。
[0140]
但作为另一种可实现的方式，上述特征融合层对图像特征和深度图特征进行第二合并处理得到第二融合特征可以具体包括以下过程：
[0141]
如图5中所示，特征融合层可以首先对图像特征(表示为img)和深度图特征(表示为nlcd)进行第一合并处理得到第一融合特征i，可以表示为：
[0142]
i＝f
gp
(img||nlcd)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0143]
其中，f
gp
()表示全局平均池化处理，||为拼接处理。
[0144]
然后，对第一融合特征i进行全连接处理，得到多模态上下文矩阵。在本技术实施例中可以分别进行第一全连接处理得到针对图像特征的多模态上下文矩阵w
img
，进行第二全连接处理得到针对深度图特征的多模态上下文矩阵w
nlcd
。
[0145]wimg
＝σ(f
mlp1
(i))
ꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0146]wnlcd
＝σ(f
mlp2
(i))
ꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0147]fmlp1
()和f
mlp2
()是两个结构相同但参数不共享的全连接层处理，σ()表示激活函数。
[0148]
上述全连接处理也可以对第一融合特征i进行全连接处理，得到针对图像特征和深度图特征的统一多模态上下文矩阵。
[0149]
再利用多模态上下文矩阵分别对图像特征img和深度图特征nlcd进行第一增强处理，得到第一增强图像特征img
rec
和第一增强深度图特征nlcd
rec
。可以表示为：
[0150]
img
rec
＝img*w
img
img
[0151]
nlcd
rec
＝nlcd*w
nlcd
nlcd
[0152]
最后对第一增强图像特征img
rec
和第一增强深度图特征nlcd
rec
进行第二合并处理，得到第二融合特征i
rec
。可以表示为：
[0153]irec
＝(img
rec
||nlcd
rec
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)
[0154]
在采用上述过程得到第二融合特征i
rec
之后，特征融合层可以对第二融合特征i
rec
分别进行第一注意力处理和第二注意力处理得到图像注意力矩阵att
img
和深度图注意力矩阵att
nlcd
。可以表示为：
[0155]
att
img
＝f
conv1
(i
rec
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(11)
[0156]
att
nlcd
＝f
conv2
(i
rec
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(12)
[0157]fconv1
()和f
conv2
()表示2个结构相同参数不共享的卷积层处理。
[0158]
然后，特征融合层将图像注意力矩阵att
img
和深度图注意力矩阵att
nlcd
进行融合得到多模态注意力矩阵att。可以表示为：
[0159]
att＝softmax(att
img
||att
nlcd
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(13)
[0160]
softmax()为softmax函数。
[0161]
特征融合层再利用多模态注意力矩阵att分别对图像特征img和深度图特征nlcd进行第三合并处理，得到多模态融合特征m。可以表示为：
[0162]
m＝img*att[:,0:1] nlcd*att[:,1:2]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(14)
[0163]
att[:,0:1]表示对att进行切片的方法，表示取att第一维中的所有数据，取第二维中的第0个数据，取第三维中的第1个数据。att[:,1:2]表示取att第一维中的所有数据，取第二维中的第1个数据，取第三维中的第2个数据。
[0164]
继续参见图4，解码层利用多模态融合特征得到待检测对象是否为活体的检测结果。
[0165]
作为其中一种可实现的方式，解码层可以仅利用多模态融合特征进行二分类，得到待检测对象是否为活体的检测结果。
[0166]
若依据n个分辨率尺度的图像特征和深度图特征得到n个多模态融合特征，则将该n个多模态融合特征均输入解码层，由解码层利用该n个多模态融合特征进行二分类。
[0167]
作为另一种可实现的方式，特征融合层可以进一步利用多模态融合特征m，对图像特征和深度特征进行第二增强处理，得到第二增强图像特征img
new
和第二增强深度图特征nlcd
new
。可以表示为：
[0168]
img
new
＝(img m)/2
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(15)
[0169]
nlcd
new
＝(nlcd m)/2
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(16)
[0170]
解码层可以利用多模态融合特征、第二增强图像特征和第二增强深度图特征分别进行二分类，综合各二分类结果得到待检测对象是否为活体的检测结果。例如，利用各二分类结果进行投票或者综合评分，依据投票结果或者综合评分结果确定待检测对象是否为活体的检测结果。
[0171]
同样，若存在n个分辨率尺度的图像特征和深度图特征，则相应地获取到n个第二增强图像特征和第二深度图图像特征，则利用n个第二增强图像特征进行二分类，利用n个第二深度图特征进行二分类。
[0172]
经过测试后，发现解码层仅利用多模态融合特征进行二分类得到的检测结果已经能够对活体测试样本达到90％的通过率，针对假体测试样本达到99.969％的拦截率，且这种方式模型参数少，计算量较小，且能够减少推理时间，因此优选仅利用多模态融合特征进行二分类得到的检测结果的方式。
[0173]
以上是利用活体检测模型进行活体检测过程，该检测过程可以是线上的执行过程。其中活体检测模型可以采用离线的方式预先建立。图6为本技术实施例提供的建立活体检测模型的方法流程图，如图6中所示，该方法可以包括以下步骤：
[0174]
步骤602：获取训练数据，训练数据包括图像样本、深度图样本和对图像样本中对象标注的是否为活体的标签；其中，图像样本包括多个图像对，每个图像对包括第一摄像头和第二摄像头针对同一对象采集的第一图像和第二图像，深度图样本包括依据各图像对中第一图像和第二图像的视差获取的深度图信息。
[0175]
在本技术实施例中，可以采用第一摄像头和第二摄像头对同一对象进行图像采集，得到第一图像和第二图像。其中该同一对象是已知活体或已知假体的对象。然后利用对第一摄像头和第二摄像头分别标定的内参矩阵、畸变系数矩阵和旋转矩阵，对第一图像和第二图像进行极线校正；然后将极线校正后的第一图像作为基准，确定各位置处第一图像
和第二图像的视差；再利用各位置处第一图像和第二图像的视差、第一摄像头和第二摄像头的光心距离，确定各位置处的深度信息得到深度图信息。具体确定方式可以参见图3所示方法实施例，在此不做赘述。采用这种方式可以产生大量样本和标签作为训练数据。
[0176]
步骤604：将图像样本中的第一图像和深度图样本作为输入，将对图像样本中对象标注的是否为活体的标签作为目标输出，训练活体检测模型；其中，活体检测模型对第一图像和深度图样本分别进行特征提取得到图像特征和深度图特征后，将图像特征和深度图特征进行融合得到多模态融合特征，利用多模态融合特征得到第一图像中对象是否为活体的检测结果。
[0177]
其中，活体检测模型的结构可以如图7中所示，包括：特征提取层、特征融合层和解码层。
[0178]
特征提取层对第一图像和深度图样本分别进行特征提取，得到图像特征和深度图特征。
[0179]
特征融合层对图像特征和深度图特征进行第二合并处理得到第二融合特征；对第二融合特征分别进行第一注意力处理和第二注意力处理得到图像注意力矩阵和深度图注意力矩阵；将图像注意力矩阵和深度图注意力矩阵进行融合得到多模态注意力矩阵；利用多模态注意力矩阵分别对图像特征和深度图特征进行第二增强处理，将第二增强图像特征和第二增强深度图特征进行第三合并处理，得到多模态融合特征。
[0180]
解码层利用多模态融合特征得到第一图像中对象是否为活体的检测结果。
[0181]
作为其中一种可实现的方式，特征融合层在对图像特征和深度图特征进行第二合并处理得到第二融合特征时，可以对图像特征和深度图特征进行第一合并处理得到第一融合特征；对第一融合特征进行全连接处理，得到多模态上下文矩阵；利用多模态上下文矩阵分别对图像特征和深度图特征进行第一增强处理，得到第一增强图像特征和第一增强深度图特征；对第一增强图像特征和第一增强深度图特征进行第二合并处理，得到第二融合特征。
[0182]
更进一步地，特征融合层可以利用多模态融合特征对图像特征和深度特征进行第二增强处理，得到第二增强图像特征和第二增强深度图特征。
[0183]
在模型训练时，如图7中所示，解码层包括图像编码器、深度编码器和融合编码器。
[0184]
图像编码器利用第二增强图像特征img
new
进行二分类，得到第一图像中对象是否为活体的第一检测结果d
img
。可以表示为：
[0185]dimg
＝decode1(img
new
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(17)
[0186]
其中，decode1()为图像编码器采用的处理函数。
[0187]
深度编码器利用第二增强深度图特征nlcd
new
进行二分类，得到第一图像中对象是否为活体的第二检测结果d
nlcd
。可以表示为：
[0188]dnlcd
＝decode2(nlcd
new
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(18)
[0189]
其中，decode2()为深度编码器采用的处理函数。
[0190]
融合编码器利用多模态融合特征m进行二分类，得到第一图像中对象是否为活体的第三检测结果dm。可以表示为：
[0191]dm
＝decode3(dm)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(19)
[0192]
其中，decode3()为融合编码器采用的处理函数。
[0193]
训练目标为最小化总损失函数l的值，总损失函数由第一损失函数值、第二损失函数值和第三损失函数值确定，可以表示为：
[0194]
l＝w1*l1 w2*l2 w3*l3
[0195]
其中，w1、w2和w3为加权系数，根据重要程度可以设置w3》w1》w2。
[0196]
第一损失函数l1值由第一检测结果与对图像样本中对象标注的是否为活体的标签y之间的差异确定，第二损失函数l2值由第二检测结果与对图像样本中对象标注的是否为活体的标签y之间的差异确定，第三损失函数l3值分别由第三检测结果与对图像样本中对象标注的是否为活体的标签y之间的差异确定。可以分别表示为：
[0197]
l1＝ce(d
img
,y)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(20)
[0198]
l2＝ce(d
nlcd
,y)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(21)
[0199]
l3＝ce(dm,y)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(22)
[0200]
ce()表示交叉熵损失函数。
[0201]
在每一轮迭代中利用总损失函数的取值，采用诸如梯度下降等方式更新活体检测模型的模型参数，直至满足预设的训练结束条件。其中训练结束条件可以包括诸如损失函数的取值小于或等于预设的损失函数阈值，迭代次数达到预设的次数阈值等。
[0202]
作为一种可实现的方式，在训练结束后解码层可以均保留融合编码器、图像编码器和深度编码器。
[0203]
经过测试后，发现解码层仅利用多模态融合特征进行二分类得到的检测结果已经能够对活体测试样本达到90％的通过率，针对假体测试样本达到99.969％的拦截率，且这种方式模型参数少，计算量较小，且能够缩短预测时间。因此，作为一种优选的实施方式，在训练结束后解码层可以仅保留融合编码器，将图像编码器和深度编码器删除。
[0204]
本技术实施例提供的上述活体检测方法可以广泛地应用于多种场景的用户认证，除了采用上述实施例中的方式对待检测对象进行活体检测之外，对待检测对象进行生物特征识别，获得是否通过生物特征识别的识别结果；若待检测对象为活体且通过生物特征识别，则确定用户认证成功。下面列举几种本技术实施例适用的应用场景，可以包括但不限于：
[0205]
场景1：在智能门锁上设置双目摄像头，当人开门时，通过本技术实施例提供的方法获取双目摄像头采集的第一图像和第二图像后，获取两图像的视差并进一步获取深度图信息，然后将第一图像和深度图信息输入活体检测模型，从而获得第一图像中的对象是否为活体的检测结果。该检测结果可以配合智能门锁的人脸识别、指纹识别、虹膜识别等生物特征识别技术共同按成用户认证。例如在人脸识别出是认证用户的同时检测结果为活体，则确认用户通过认证，打开门锁。人脸识别和活体检测只要有一个不符合，则无法打开门锁，这样能够避免非法用户通过手持认证用户的照片等方式来打开门锁。
[0206]
场景2：手机的前置摄像头设置为双目摄像头，通过前置摄像头获取到人脸图像后，一方面进行人脸识别，另一方面通过本技术实施例提供的方法获取双目摄像头采集的第一图像和第二图像后，获取两图像的视差并进一步获取深度图信息，然后将第一图像和深度图信息输入活体检测模型，从而获得第一图像中的对象是否为活体的检测结果。只有人脸识别通过并且检测出活体，手机屏幕才能够解锁。人脸识别和活体检测只要有一个不符合，则无法解锁屏幕，这样能够避免非法用户手持认证用户的照片等方式来解锁手机屏
幕。
[0207]
场景3：在自助支付设备上设置双目摄像头，在触发支付功能时，一方面进行人脸识别，另一方面，通过本技术实施例提供的方法获取双目摄像头采集的第一图像和第二图像后，获取两图像的视差并进一步获取深度图信息，然后将第一图像和深度图信息输入活体检测模型，从而获得第一图像中的对象是否为活体的检测结果。只有人脸识别通过并且检测出活体，才能够完成支付。人脸识别和活体检测只要有一个不符合，则无法进行支付，这样能够避免非法用户手持认证用户的照片等方式来实现支付功能。
[0208]
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0209]
根据另一方面的实施例，提供了一种活体检测装置。图8示出根据一个实施例的活体检测装置的示意性框图。如图8所示，该装置800包括：图像获取单元801、深度获取单元802和活体检测单元803。其中各组成单元的主要功能如下：
[0210]
图像获取单元801，被配置为获取第一摄像头和第二摄像头针对待检测对象采集的第一图像和第二图像。
[0211]
深度获取单元802，被配置为依据第一图像和第二图像的视差获取深度图信息。
[0212]
活体检测单元803，被配置为通过活体检测模型对第一图像和深度图信息分别进行特征提取得到图像特征和深度图特征后，将图像特征和深度图特征进行融合得到多模态融合特征，利用多模态融合特征得到待检测对象是否为活体的检测结果，其中，活体检测模型为机器学习模型。
[0213]
作为其中一种可实现的方式，上述第一摄像头和第二摄像头可以为双目摄像头。
[0214]
作为其中一种可实现的方式，深度获取单元802可以具体被配置为：利用对第一摄像头和第二摄像头分别标定的内参矩阵、畸变系数矩阵和旋转矩阵，对第一图像和第二图像进行极线校正；将极线校正后的第一图像作为基准，确定各位置处第一图像和第二图像的视差；利用各位置处第一图像和第二图像的视差、第一摄像头和第二摄像头的光心距离，确定各位置处的深度信息得到深度图信息。
[0215]
其中，活体检测模型包括：特征提取层、特征融合层和解码层。
[0216]
特征提取层对第一图像和深度图信息分别进行特征提取，得到图像特征和深度图特征；
[0217]
特征融合层对图像特征和深度图特征进行第二合并处理得到第二融合特征；对第二融合特征分别进行第一注意力处理和第二注意力处理得到图像注意力矩阵和深度图注意力矩阵；将图像注意力矩阵和深度图注意力矩阵进行融合得到多模态注意力矩阵；利用多模态注意力矩阵分别对图像特征和深度图特征进行第三合并处理，得到多模态融合特征。
[0218]
解码层利用多模态融合特征得到待检测对象是否为活体的检测结果。
[0219]
作为其中一种可实现的方式，特征融合层对图像特征和深度图特征进行第二合并处理得到第二融合特征时，可以具体执行：
[0220]
对图像特征和深度图特征进行第一合并处理得到第一融合特征；
[0221]
对第一融合特征进行全连接处理，得到多模态上下文矩阵；
[0222]
利用多模态上下文矩阵分别对图像特征和深度图特征进行第一增强处理，得到第一增强图像特征和第一增强深度图特征；
[0223]
对第一增强图像特征和第一增强深度图特征进行第二合并处理，得到第二融合特征。
[0224]
作为其中一种可实现的方式，图像特征可以包括n个分辨率尺度的图像特征，深度图特征包括n个分辨率尺度的深度图特征，n为大于1的正整数。
[0225]
相应地，将图像特征和深度图特征进行融合得到多模态融合特征包括：将各分辨率尺度的图像特征和深度图特征分别进行融合，得到n个分辨率尺度的多模态融合特征。
[0226]
关于活体检测模型的原理可以参见方法实施例中关于图4和图5的相关记载，在此不做赘述。
[0227]
根据另一方面的实施例，提供了一种活体检测模型的训练装置。图9示出根据一个实施例的活体检测模型的训练装置的示意性框图。如图9所示，该装置900包括：样本获取单元901和模型训练单元902。其中各组成单元的主要功能如下：
[0228]
样本获取单元901，被配置为获取训练数据，训练数据包括图像样本、深度图样本和对图像样本中对象标注的是否为活体的标签；其中，图像样本包括多个图像对，每个图像对包括第一摄像头和第二摄像头针对同一对象采集的第一图像和第二图像，深度图样本包括依据各图像对中第一图像和第二图像的视差获取的深度图信息。
[0229]
模型训练单元902，被配置为将图像样本中的第一图像和深度图样本作为输入，将对图像样本中对象标注的是否为活体的标签作为目标输出，训练活体检测模型；其中，活体检测模型对第一图像和深度图样本分别进行特征提取得到图像特征和深度图特征后，将图像特征和深度图特征进行融合得到多模态融合特征，利用多模态融合特征得到第一图像中对象是否为活体的检测结果。
[0230]
具体地，活体检测模型可以包括：特征提取层、特征融合层和解码层。
[0231]
特征提取层对第一图像和深度图样本分别进行特征提取，得到图像特征和深度图特征。
[0232]
特征融合层对图像特征和深度图特征进行第二合并处理得到第二融合特征；对第二融合特征分别进行第一注意力处理和第二注意力处理得到图像注意力矩阵和深度图注意力矩阵；将图像注意力矩阵和深度图注意力矩阵进行融合得到多模态注意力矩阵；利用多模态注意力矩阵分别对图像特征和深度图特征进行第三合并处理，得到多模态融合特征。
[0233]
解码层利用多模态融合特征得到第一图像中对象是否为活体的检测结果。
[0234]
作为其中一种可实现的方式，特征融合层对图像特征和深度图特征进行第二合并处理得到第二融合特征时，可以执行：
[0235]
特征融合层对图像特征和深度图特征进行第一合并处理得到第一融合特征；
[0236]
对第一融合特征进行全连接处理，得到多模态上下文矩阵；
[0237]
利用多模态上下文矩阵分别对图像特征和深度图特征进行第一增强处理，得到第一增强图像特征和第一增强深度图特征；
[0238]
对第一增强图像特征和第一增强深度图特征进行第二合并处理，得到第二融合特征。
[0239]
更进一步地，特征融合层可以利用多模态融合特征对图像特征和深度图特征进行第二增强处理，得到第二增强图像特征和第二增强深度图特征。
[0240]
解码层包括图像编码器、深度编码器和融合编码器。
[0241]
图像编码器利用第二增强图像特征进行二分类，得到第一图像中对象是否为活体的第一检测结果。
[0242]
深度编码器利用第二增强深度图特征进行二分类，得到第一图像中对象是否为活体的第二检测结果。
[0243]
融合编码器利用多模态融合特征得到第一图像中对象是否为活体的第三检测结果。
[0244]
训练目标为最小化总损失函数的值，总损失函数由第一损失函数值、第二损失函数值和第三损失函数值确定，第一损失函数值由第一检测结果与对图像样本中对象标注的是否为活体的标签之间的差异确定，第二损失函数值由第二检测结果与对图像样本中对象标注的是否为活体的标签之间的差异确定，第三损失函数值分别由第三检测结果与对图像样本中对象标注的是否为活体的标签之间的差异确定。
[0245]
在训练结束后解码层可以仅保留融合编码器。也可以保留图像编码器、深度编码器和融合编码器。但在综合模型效果、参数量、计算量等因素后，优选仅保留融合编码器的方式。
[0246]
作为其中一种可实现的方式，图像特征包括n个分辨率尺度的图像特征，深度图特征包括n个分辨率尺度的深度图特征，n为大于1的正整数。
[0247]
将图像特征和深度图特征进行融合得到多模态融合特征包括：将各分辨率尺度的图像特征和深度图特征分别进行融合，得到n个分辨率尺度的多模态融合特征。
[0248]
关于活体检测模型训练的具体原理可以参见方法实施例中关于图7的相关记载，在此不做赘述。
[0249]
另外，本技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述方法实施例中任一项所述的方法的步骤。
[0250]
以及一种电子设备，包括：
[0251]
一个或多个处理器；以及
[0252]
与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行前述方法实施例中任一项所述的方法的步骤。
[0253]
本技术还提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现前述方法实施例中任一项所述的方法的步骤。
[0254]
其中，图10示例性的展示出了电子设备的架构，具体可以包括处理器1010，视频显示适配器1011，磁盘驱动器1012，输入/输出接口1013，网络接口1014，以及存储器1020。上述处理器1010、视频显示适配器1011、磁盘驱动器1012、输入/输出接口1013、网络接口1014，与存储器1020之间可以通过通信总线1030进行通信连接。
[0255]
其中，处理器1010可以采用通用的cpu(central processing unit，中央处理器)、
微处理器、应用专用集成电路(application specific integrated circuit，asic)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本技术所提供的技术方案。
[0256]
存储器1020可以采用rom(read only memory，只读存储器)、ram(random access memory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储用于控制电子设备1000运行的操作系统1021，用于控制电子设备1000的低级别操作的基本输入输出系统(bios，basic input output system)1022。另外，还可以存储网页浏览器1023，数据存储管理系统1024，以及活体检测装置/活体检测模型的训练装置1025等等。上述活体检测装置/活体检测模型的训练装置1025就可以是本技术实施例中具体实现前述各步骤操作的应用程序。总之，在通过软件或者固件来实现本技术所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
[0257]
输入/输出接口1013用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
[0258]
网络接口1014用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式实现通信，例如usb(universal serial bus，通用串行总线)、网线等。也可以通过无线方式实现通信，例如移动网络、wifi、蓝牙等。
[0259]
总线1030包括一通路，在设备的各个组件(例如处理器1010、视频显示适配器1011、磁盘驱动器1012、输入/输出接口1013、网络接口1014，与存储器1020)之间传输信息。
[0260]
需要说明的是，尽管上述设备仅示出了处理器1010、视频显示适配器1011、磁盘驱动器1012、输入/输出接口1013、网络接口1014，存储器1020，总线1030等，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本技术方案所必需的组件，而不必包含图中所示的全部组件。
[0261]
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机程序产品的形式体现出来，该计算机程序产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例或者实施例的某些部分所述的方法。
[0262]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0263]
以上对本技术所提供的技术方案进行了详细介绍，本文中应用了具体个例对本申
请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的一般技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本技术的限制。