活体检测方法、装置、计算机设备及存储介质与流程

1.本技术涉及人工智能领域，尤其涉及一种活体检测方法、装置、计算机设备及存储介质。


背景技术：

2.随着人工智能(artificial intelligence，ai)领域中活体检测子领域的快速发展，人脸识别系统在人脸解锁、人脸支付等诸多涉及身份认证的场景中具有广泛的应用(如对用户人脸进行活体检测)，因此提高活体检测的鲁棒性以开发安全可靠的人脸识别系统尤为重要。
3.本技术的发明人在研究和实践过程中发现，在一现有技术中，可从用户的一段视频或者多张照片中恢复出稀疏的三维(three dimensional，可以简称为3d)人脸模型，并从3d人脸模型中选取45个关键点的三维坐标并联合起来作为人脸特征向量，将人脸特征向量输入支持向量机(support vector machines，svm)中进行活体分类，以得到用户人脸为活体或者非活体，然而3d人脸模型的计算精度不高，且在面对高精度的3d人脸面具攻击时存在活体风险，活体检测的鲁棒性较差。在另一现有技术中，在检测到用户根据人脸识别系统的指令正确完成指定动作(如眨眼、摇头等)时，可判定该用户的人脸为活体，然而需要用户和人脸识别系统进行交互配合，检测时间过长，且在使用频次高的场景(如门禁)中检测效率低，用户使用体验差。


技术实现要素：

4.本技术提供一种活体检测方法、装置、计算机设备及存储介质，可提高活体检测的鲁棒性和检测效率，提升了用户使用体验，适用性强。
5.第一方面，本技术提供了一种活体检测方法，在该方法中，计算机设备可获取待检测对象(如用户)的人脸可见光图像数据，并基于人脸可见光图像数据获取待检测对象的第一活体特征，这里的第一活体特征为空域特征。计算机设备可获取待检测对象的人脸近红外光谱(near-infrared spectroscopy，nir)数据，并基于人脸近红外光谱数据获取待检测对象的第二活体特征，这里的第二活体特征为谱域特征。进一步地，计算机设备可获取待检测对象的多通道的人脸远程光电容积描记(remote photoplethysmography，可以简称为rppg)信号，并基于多通道的人脸rppg信号获取待检测对象的第三活体特征，这里的第三活体特征为时频域特征，该时频域特征可包括时域特征和频域特征。这时，计算机设备可基于第一活体特征、第二活体特征以及第三活体特征确定待检测对象的融合活体特征，并基于融合活体特征确定待检测对象是否为活体。在本技术中，可通过第一活体特征、第二活体特征以及第三活体特征确定待检测对象的融合活体特征，以判断待检测对象是否为活体，可有效抵抗各类攻击，提高了活体检测的鲁棒性；另外，无需和用户进行交互配合，检测时间短，从而提升了用户使用体验，并且提高了活体检测效率，适用性强。
6.结合第一方面，在第一种可能的实施方式中，在获取待检测对象的第一活体特征
的过程中，计算机设备可通过rgb摄像头采集待检测对象的人脸可见光图像数据，将人脸可见光图像数据输入第一特征提取器，并通过第一特征提取器输出待检测对象的第一活体特征。这里的第一特征提取器可以包括卷积神经网络(convolutional neural network，可以简称为cnn)、传统图像特征提取器(如方向梯度直方图(histogram of oriented gradient，hog)或者尺度不变特征变换(scale-invariant feature taransform，sift))、或者其它类型的特征提取器。在本技术提供的方法中，可通过第一特征提取器从人脸可见光图像数据中提取出第一活体特征以判断待检测对象是否为活体，提高了活体检测的鲁棒性和检测效率，适用性更强。
7.结合第一方面，在第二种可能的实施方式中，在获取待检测对象的第二活体特征的过程中，计算机设备可通过近红外光谱仪采集待检测对象的人脸近红外光谱数据，将人脸近红外光谱数据输入第二特征提取器，并通过第二特征提取器输出待检测对象的第二活体特征。这里的第二特征提取器可以包括卷积神经网络(如一维卷积(1dimension convolution，可以简称为1d-conv)神经网络)、或者其它类型的特征提取器。在本技术提供的方法中，可通过第二特征提取器从人脸近红外光谱数据中提取出第二活体特征以判断待检测对象是否为活体，提高了活体检测的鲁棒性和检测效率，适用性更强。
8.结合第一方面，在第三种可能的实施方式中，在获取待检测对象的第二活体特征的过程中，计算机设备可通过近红外光谱仪采集待检测对象的人脸近红外光谱数据，对人脸近红外光谱数据进行多尺度卷积以得到人脸近红外光谱数据对应的特征峰信息，并基于特征峰信息确定待检测对象的第二活体特征。这里的特征峰信息可用于反映人脸的分子结构和化学基团信息。在本技术提供的方法中，可基于人脸近红外光谱数据对应的特征峰信息确定第二活体特征以判断待检测对象是否为活体，提高了活体检测的鲁棒性和检测效率，适用性更强。
9.结合第一方面至第一方面第三种可能的实施方式中任一种，在第四种可能的实施方式中，在获取待检测对象的多通道的人脸rppg信号的过程中，计算机设备可从人脸可见光图像数据中提取出rgb三通道中各通道的人脸rppg信号，例如，红光通道的人脸rppg信号、绿光通道的人脸rppg信号以及蓝光通道的人脸rppg信号。进一步地，计算机设备可从人脸近红外光谱数据中提取出n个通道中各通道的人脸rppg信号，并将rgb三通道中各通道的人脸rppg信号和n个通道中各通道的人脸rppg信号确定为待检测对象的多通道的人脸rppg信号。其中，n可以为用于采集人脸近红外光谱数据的近红外光谱仪的通道数，且n为大于1的正整数。
10.可选的，计算机设备可将待检测对象的多通道的人脸rppg信号输入第三特征提取器中，并通过第三特征提取器输出待检测对象的第三活体特征，这里的第三特征提取器可包括传统的信号处理方法(如傅里叶变换或者经验模态分解(empirical mode decomposition，emd))、时间序列模型(如长短期记忆网络(long short-term memory，lstm)或者门控循环单元(gate recurrent unit，gru))或者其它类型的特征提取器。在本技术提供的方法中，可从人脸可见光图像数据和人脸近红外光谱数据中提取出待检测对象的多通道的人脸rppg信号，并通过第三特征提取器从多通道的人脸rppg信号中提取出第三活体特征以判断待检测对象是否为活体，提高了活体检测的鲁棒性和检测效率，适用性更强。
11.结合第一方面第四种可能的实施方式，在第五种可能的实施方式中，在获取待检测对象的第三活体特征的过程中，计算机设备可对各通道的人脸rppg信号进行滤波以得到各通道的人脸rppg信号中的波峰个数，并基于各通道的人脸rppg信号中的波峰个数确定待检测对象的第三活体特征(如时域特征)。在本技术提供的方法中，可基于各通道的人脸rppg信号中的波峰个数确定第三活体特征以判断待检测对象是否为活体，从而提高了活体检测的鲁棒性和检测效率，适用性更强。
12.结合第一方面第四种可能的实施方式，在第六种可能的实施方式中，在获取待检测对象的第三活体特征的过程中，计算机设备可对各通道的人脸rppg信号进行经验模态分解以得到各通道的交流信号和直流信号，并基于各通道的交流信号和直流信号确定待检测对象的第三活体特征(如频域特征)，其中一个通道的人脸rppg信号对应一个交流信号和一个直流信号。在本技术提供的方法中，可基于各通道的交流信号和直流信号确定第三活体特征以判断待检测对象是否为活体，提高了活体检测的鲁棒性和检测效率，适用性更强。
13.结合第一方面第四种可能的实施方式，在第七种可能的实施方式中，在获取待检测对象的第三活体特征的过程中，计算机设备可对各通道的人脸rppg信号进行傅里叶变换以得到各通道的人脸rppg信号对应的频域信号，并基于各通道的人脸rppg信号对应的频域信号(如频域信号的强度)确定待检测对象的第三活体特征(如频域特征)。在本技术提供的方法中，可基于各通道的人脸rppg信号对应的频域信号确定第三活体特征以判断待检测对象是否为活体，提高了活体检测的鲁棒性和检测效率，适用性更强。
14.结合第一方面至第一方面第七种可能的实施方式中任一种，在第八种可能的实施方式中，在确定待检测对象的融合活体特征的过程中，计算机设备可对第一活体特征、第二活体特征以及第三活体特征进行特征融合，以得到待检测对象的融合活体特征。这里的特征融合方式可包括拼接(concat)方式、叠加(add)方式或者其它特征融合方式。在本技术提供的方法中，可对第一活体特征、第二活体特征以及第三活体特征进行特征融合以得到融合活体特征，从而基于该融合活体特征判断待检测对象是否为活体，提高了活体检测的鲁棒性和检测效率，适用性更强。
15.结合第一方面至第一方面第八种可能的实施方式中任一种，在第九种可能的实施方式中，在得到待检测对象的融合活体特征之后，计算机设备可将待检测对象的融合活体特征输入二分类器(如多层感知机(multilayer perceptron，mlp))，并通过二分类器输出待检测对象为活体或者非活体。在本技术提供的方法中，可通过二分类器确定待检测对象为活体或者非活体，从而提高了活体检测效率，适用性更强。
16.结合第一方面至第一方面第九种可能的实施方式中任一种，在第十种可能的实施方式中，在获取待检测对象的人脸可见光图像数据之前，计算机设备可在检测到目标区域内存在待检测对象时，对待检测对象和目标数据库中的目标用户进行匹配，若待检测对象匹配成功，则对待检测对象进行活体检测。其中，目标用户可以为目标数据库中预存的允许进行活体检测的用户。具体地，若目标数据库中的目标用户中存在待检测对象，则计算机设备可确定待检测对象匹配成功，并对待检测对象进行活体检测。反之，若目标数据库中的目标用户中不存在待检测对象，则计算机设备可确定待检测对象的人脸识别失败(即不进行活体检测)。可选的，若目标数据库中的目标用户与待检测对象之间的匹配度大于匹配度阈值，则计算机设备可确定待检测对象匹配成功，并对待检测对象进行活体检测。这里的匹配
度阈值可以为用户设置的阈值或者目标数据库中预存的匹配度阈值。反之，若目标数据库中的目标用户与待检测对象之间的匹配度小于匹配度阈值，则计算机设备可确定待检测对象的人脸识别失败。在本技术提供的方法中，可在待检测对象匹配成功时进行活体检测(即待检测对象为允许进行活体检测的用户)，进一步提高了活体检测效率，适用性更强。
17.可选的，计算机设备可获取活体检测网络，该活体检测网络的网络参数可用于确定任一用户为活体或者非活体。进一步地，计算机设备可将待检测对象的人脸可见光图像数据、人脸近红外光谱数据、多通道的人脸rppg信号输入活体检测网络，并基于活体检测网络的网络参数确定待检测对象为活体或者非活体，提高了活体检测的鲁棒性和检测效率，适用性更强。
18.第二方面，本技术提供了一种活体检测装置，该活体检测装置包括：第一特征获取单元，可用于获取待检测对象的人脸可见光图像数据，并基于人脸可见光图像数据获取待检测对象的第一活体特征。第二特征获取单元，可用于获取待检测对象的人脸近红外光谱数据，并基于人脸近红外光谱数据获取待检测对象的第二活体特征。第三特征获取单元，可用于获取待检测对象的多通道的人脸远程光电容积描记rppg信号，并基于多通道的人脸rppg信号获取待检测对象的第三活体特征。活体检测单元，可用于基于第一活体特征、第二活体特征以及第三活体特征确定待检测对象的融合活体特征，并基于融合活体特征确定待检测对象是否为活体。
19.结合第二方面，在第一种可能的实施方式中，上述第一特征获取单元用于：通过rgb摄像头采集待检测对象的人脸可见光图像数据，将人脸可见光图像数据输入第一特征提取器，并通过第一特征提取器输出待检测对象的第一活体特征。
20.结合第二方面，在第二种可能的实施方式中，上述第二特征获取单元用于：通过近红外光谱仪采集待检测对象的人脸近红外光谱数据，将人脸近红外光谱数据输入第二特征提取器，并通过第二特征提取器输出待检测对象的第二活体特征。
21.结合第二方面，在第三种可能的实施方式中，上述第二特征获取单元用于：通过近红外光谱仪采集待检测对象的人脸近红外光谱数据，对人脸近红外光谱数据进行多尺度卷积以得到人脸近红外光谱数据对应的特征峰信息，并基于特征峰信息确定待检测对象的第二活体特征。
22.结合第二方面至第二方面第三种可能的实施方式中任一种，在第四种可能的实施方式中，上述第三特征获取单元用于：从人脸可见光图像数据中提取出rgb三通道中各通道的人脸rppg信号；从人脸近红外光谱数据中提取出n个通道中各通道的人脸rppg信号，并将rgb三通道中各通道的人脸rppg信号和n个通道中各通道的人脸rppg信号确定为待检测对象的多通道的人脸rppg信号，其中n为用于采集人脸近红外光谱数据的近红外光谱仪的通道数，且n为大于1的正整数。
23.可选的，上述第三特征获取单元用于：将待检测对象的多通道的人脸rppg信号输入第三特征提取器中，并通过第三特征提取器输出待检测对象的第三活体特征，这里的第三特征提取器可包括传统的信号处理方法(如傅里叶变换或者经验模态分解)、时间序列模型(如长短期记忆网络或者门控循环单元)或者其它类型的特征提取器。
24.结合第二方面第四种可能的实施方式，在第五种可能的实施方式中，上述第三特征获取单元用于：对各通道的人脸rppg信号进行滤波以得到各通道的人脸rppg信号中的波
峰个数，并基于各通道的人脸rppg信号中的波峰个数确定待检测对象的第三活体特征。
25.结合第二方面第四种可能的实施方式，在第六种可能的实施方式中，上述第三特征获取单元用于：对各通道的人脸rppg信号进行经验模态分解以得到各通道的交流信号和直流信号，并基于各通道的交流信号和直流信号确定待检测对象的第三活体特征，其中一个通道的人脸rppg信号对应一个交流信号和一个直流信号。
26.结合第二方面第四种可能的实施方式，在第七种可能的实施方式中，上述第三特征获取单元用于：对各通道的人脸rppg信号进行傅里叶变换以得到各通道的人脸rppg信号对应的频域信号，并基于各通道的人脸rppg信号对应的频域信号确定待检测对象的第三活体特征。
27.结合第二方面至第二方面第七种可能的实施方式中任一种，在第八种可能的实施方式中，上述活体检测单元用于：对第一活体特征、第二活体特征以及第三活体特征进行特征融合，以得到待检测对象的融合活体特征。
28.结合第二方面至第二方面第八种可能的实施方式中任一种，在第九种可能的实施方式中，上述活体检测单元用于：将融合活体特征输入二分类器，并通过二分类器输出待检测对象为活体或者非活体。
29.结合第二方面至第二方面第九种可能的实施方式中任一种，在第十种可能的实施方式中，上述活体检测装置还包括：匹配单元，可用于在检测到目标区域内存在待检测对象时，对待检测对象和目标数据库中的目标用户进行匹配，若待检测对象匹配成功，则对待检测对象进行活体检测。其中，目标用户可以为目标数据库中预存的允许进行活体检测的用户。
30.可选的，上述活体检测装置还包括：网络获取单元，可用于获取活体检测网络，该活体检测网络的网络参数可用于确定任一用户为活体或者非活体。活体确定单元，可用于将待检测对象的人脸可见光图像数据、人脸近红外光谱数据、多通道的人脸rppg信号输入活体检测网络，并基于活体检测网络的网络参数确定待检测对象为活体或者非活体。
31.第三方面，本技术提供了一种计算机设备，该计算机设备可包括至少一个存储器以及处理器。其中，该处理器用于调用存储器存储的代码执行上述第一方面至第一方面第十种可能的实施方式中任一种所提供的活体检测方法，因此也能实现第一方面提供的活体检测方法所具备的有益效果(或者优点)。
32.第四方面，本技术提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，该指令可以由处理电路上的一个或多个处理器执行。当其在计算机设备上运行时，使得计算机设备执行上述第一方面至第一方面第十种可能的实施方式中任一种所提供的活体检测方法，也能实现第一方面提供的活体检测方法所具备的有益效果(或者优点)。
33.第五方面，本技术提供了一种包含指令的计算机程序产品，当其在计算机设备上运行时，使得计算机设备执行上述第一方面至第一方面第十种可能的实施方式中任一种所提供的活体检测方法，也能实现第一方面提供的活体检测方法所具备的有益效果(或者优点)。
34.在本技术中，可通过第一活体特征、第二活体特征以及第三活体特征确定待检测对象的融合活体特征，以判断待检测对象是否为活体，可有效抵抗各类攻击，提高了活体检测的鲁棒性；另外，无需和用户进行交互配合，检测时间短，从而提升了用户使用体验，适用
性强。
附图说明
35.图1是本技术提供的活体检测方法的应用场景示意图；
36.图2是本技术提供的活体检测方法的流程示意图；
37.图3是本技术提供的获取待检测对象的第三活体特征的方法流程示意图；
38.图4是本技术提供的活体检测网络的工作流程示意图；
39.图5是本技术提供的活体检测装置的结构示意图；
40.图6是本技术提供的计算机设备的结构示意图。
具体实施方式
41.人工智能是一种利用数字计算机或者数字计算机控制的机器来模拟、延伸和扩展人的智能，是感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能技术也就是研究各种智能机器的设计原理与实现方法，使智能机器具有感知、推理与决策功能的一门综合学科，一般可包括计算机视觉(computer vision，cv)技术、语音处理技术、自然语言处理技术以及机器学习/深度学习技术。其中，计算机视觉技术是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉技术是研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别(optical character recognition，ocr)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术(如活体检测)。
42.本技术提供的活体检测方法可适用于人工智能领域中的活体检测子领域，本技术中的计算机设备可以为具有活体检测功能的实体终端，该实体终端可以为服务器，也可以为用户终端，在此不做限定。其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network，cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。用户终端可以包括但不限于摄像头、考勤机、监控仪、平板设备、台式电脑、笔记本电脑、手机或者其他任何能够完成信息交互的终端设备。
43.在本技术提供的活体检测方法中，计算机设备可获取待检测对象(如用户)的人脸可见光图像数据，并基于人脸可见光图像数据获取待检测对象的第一活体特征。计算机设备可获取待检测对象的人脸近红外光谱数据，并基于人脸近红外光谱数据获取待检测对象的第二活体特征。这时，计算机设备可获取待检测对象的多通道的人脸rppg信号，并基于多通道的人脸rppg信号获取待检测对象的第三活体特征。进一步地，计算机设备可基于第一活体特征、第二活体特征以及第三活体特征确定待检测对象的融合活体特征，并基于融合
活体特征确定待检测对象是否为活体。在本技术中，可有效抵抗各类攻击，提高了活体检测的鲁棒性，并且检测时间短，提升了用户使用体验，适用性强。本技术提供的活体检测方法可适配于不同的人脸识别应用场景，例如，人脸解锁、人脸支付等诸多涉及身份认证的场景中具有广泛的应用场景，下面将以人脸支付应用场景为例进行说明，以下不再赘述。
44.在人脸支付应用场景下，本技术中的计算机设备可以为自动售货机的控制中心(可以理解为自动售货机的控制器、控制系统或者数据处理中心等)。请一并参见图1，图1是本技术提供的活体检测方法的应用场景示意图。如图1所示，计算机设备可以与rgb摄像头和近红外光谱仪建立通讯，在用户需要对其购买的物品进行支付时，rgb摄像头可采集用户的人脸可见光图像数据，并向计算机设备发送该人脸可见光图像数据。这时，计算机设备可接收人脸可见光图像数据，并基于人脸可见光图像数据获取用户的第一活体特征。近红外光谱仪可采集用户的人脸近红外光谱数据，并向计算机设备发送该人脸近红外光谱数据。这时，计算机设备可接收人脸近红外光谱数据，并基于人脸近红外光谱数据获取用户的第二活体特征。与此同时，计算机设备可获取用户的多通道的人脸rppg信号，并基于多通道的人脸rppg信号获取用户的第三活体特征。进一步地，计算机设备可基于第一活体特征、第二活体特征以及第三活体特征确定用户的融合活体特征，并基于融合活体特征确定用户是否为活体，在用户为活体(即人脸识别成功)时可确定用户支付成功，在整个过程中无需用户进行交互配合，提升了用户使用体验，并且提高了人脸支付的安全性，适用性更强。
45.下面将结合图2至图4对本技术提供的活体检测方法进行示例说明。请一并参见图2，图2是本技术提供的活体检测方法的流程示意图。如图2所示，该方法可包括以下步骤s101至步骤s104：
46.步骤s101，获取待检测对象的人脸可见光图像数据，并基于人脸可见光图像数据获取待检测对象的第一活体特征。
47.在一些可行的实施方式中，计算机设备可基于人脸检测器检测目标区域内是否存在待检测对象(如用户)，并在检测到目标区域内存在待检测对象时对待检测对象进行人脸识别，其中人脸检测器可以理解为计算机设备中的一段代码，且该代码具有检测目标区域内是否存在用户的功能。本技术可以将计算机设备的显示屏上用于检测用户的区域称之为目标区域。这时，计算机设备可对待检测对象和目标数据库中的目标用户进行匹配，若待检测对象匹配成功，则对待检测对象进行活体检测。其中，目标用户可以为目标数据库中预存的允许进行活体检测的用户(也可以称为合法用户)。本技术可以将用于存储允许进行活体检测的用户的数据库称之为目标数据库。具体地，计算机设备在检测到目标用户中不存在待检测对象时，可确定待检测对象的人脸识别失败(即不进行活体检测)。反之，计算机设备在检测到目标用户中存在待检测对象时，可确定待检测对象匹配成功，并对待检测对象进行活体检测。可选的，计算机设备在检测到目标用户与待检测对象之间的匹配度小于匹配度阈值时，可确定待检测对象的人脸识别失败。反之，计算机设备在检测到目标用户与待检测对象之间的匹配度大于匹配度阈值时，可确定待检测对象匹配成功，并对待检测对象进行活体检测。
48.在一些可行的实施方式中，在对待检测对象进行活体检测时，计算机设备可通过rgb摄像头采集待检测对象的人脸可见光图像数据(如连续的图像序列)，将人脸可见光图像数据输入第一特征提取器，并通过第一特征提取器输出待检测对象的第一活体特征(即
空域特征)。其中，rgb摄像头中的rgb可代表三原色，r可以表示红色(red)，g可以表示绿色(green)，b可以表示蓝色(blue)。这里的rgb摄像头通常是通过三个独立的ccd传感器来获取三种彩色信号(即红色信号、绿色信号和蓝色信号)，因此rgb摄像头可用来采集非常精确的彩色图像(如上述人脸可见光图像数据)。这里的第一特征提取器可以包括卷积神经网络、传统图像特征提取器(如方向梯度直方图或者尺度不变特征变换)、或者其它类型的特征提取器。其中，卷积神经网络可以包括inception-v3(一种卷积神经网络)、resnet50(一种卷积神经网络)、resnet152(一种卷积神经网络)以及其它卷积神经网络。其中，该卷积神经网络的网络参数(如权重)可以为imagenet(数据集)的预训练初始值，或者在随机初始状态下对卷积神经网络进行训练得到的网络参数，或者在预训练初始值的基础上对卷积神经网络进行训练得到的网络参数。为方便描述，下面将以卷积神经网络为例进行说明，计算机设备可获取多个活体(如用户)的人脸可见光图像数据和多个非活体(如照片、视频或者3d面具)的人脸可见光图像数据。进一步地，计算机设备可通过多个活体的人脸可见光图像数据和多个非活体的人脸可见光图像数据对卷积神经网络进行训练，以使卷积神经网络达到收敛，这时卷积神经网络中的网络参数可用于确定任一用户的第一活体特征。进一步地，计算机设备可将待检测对象的人脸可见光图像数据输入卷积神经网络，并基于卷积神经网的网络参数确定待检测对象的第一活体特征。
49.步骤s102，获取待检测对象的人脸近红外光谱数据，并基于人脸近红外光谱数据获取待检测对象的第二活体特征。
50.在一些可行的实施方式中，计算机设备可通过近红外光谱仪采集待检测对象的人脸近红外光谱数据(即连续的光谱数据)，其中，人脸近红外光谱数据的维度为nxn，n可以为采用的光谱点数，n为近红外光谱仪的通道数，且n为大于1的正整数。在人脸近红外光谱数据为单点的人脸近红外光谱数据时，n等于1；在人脸近红外光谱数据为多点的人脸近红外光谱数据时，n为大于1的正整数；在人脸近红外光谱数据为区域平均的人脸近红外光谱数据时，n为正整数，这里的区域平均是指一个人脸区域(如脸颊或者脸部的其它部位)中的多个光谱点数在同一波段光谱的平均值。进一步地，计算机设备可以将人脸近红外光谱数据输入第二特征提取器，并通过第二特征提取器输出待检测对象的第二活体特征(即谱域特征)。这里的第二特征提取器可以包括卷积神经网络(如一维卷积神经网络)、或者其它类型的特征提取器。为方便描述，下面将以一维卷积神经网络为例进行说明，计算机设备可获取多个活体的人脸近红外光谱数据和多个非活体的人脸近红外光谱数据。进一步地，计算机设备可通过多个活体的人脸近红外光谱数据和多个非活体的人脸近红外光谱数据对一维卷积神经网络进行训练，以使一维卷积神经网络达到收敛，这时一维卷积神经网络的网络参数可用于确定任一用户的第二活体特征。进一步地，计算机设备可将待检测对象的人脸可见光图像数据输入一维卷积神经网络，并基于一维卷积神经网络的网络参数确定待检测对象的第二活体特征。
51.可选的，在一些可行的实施方式中，计算机设备可通过近红外光谱仪采集待检测对象的人脸近红外光谱数据，进一步地，计算机设备可采用不同长度和步长的多个卷积核对人脸近红外光谱数据进行多尺度卷积以得到人脸近红外光谱数据对应的特征峰信息，并基于特征峰信息确定待检测对象的第二活体特征。这里的特征峰信息(也可以称为特征峰谱线信息)中包括多个特征峰、以及各特征峰的位置、数目和强度，其中各特征峰的位置、数
目和强度可用于反映人脸的分子结构和化学基团信息，例如，胶原纤维、生色团(如含氧血红蛋白、黑色素等)以及含水量。
52.步骤s103，获取待检测对象的多通道的人脸rppg信号，并基于多通道的人脸rppg信号获取待检测对象的第三活体特征。
53.请一并参见图3，图3是本技术提供的获取待检测对象的第三活体特征的方法流程示意图。如图3所示，该方法可包括以下步骤s1031至步骤s1034：
54.步骤s1031，获取待检测对象的多通道的人脸rppg信号。
55.在一些可行的实施方式中，计算机设备可基于独立成分分析(independent component analysis，ica)算法、主成分分析(principal components analysis，pca)算法或者其它特征提取方式从人脸可见光图像数据中提取出rgb三通道中各通道的人脸rppg信号。其中，rgb三通道中各通道的人脸rppg信号可包括红光通道的人脸rppg信号、绿光通道的人脸rppg信号以及蓝光通道的人脸rppg信号。计算机设备也可以基于ica算法、pca算法或者其它特征提取方式从人脸近红外光谱数据中提取出n个通道中各通道的人脸rppg信号，并将rgb三通道中各通道的人脸rppg信号和n个通道中各通道的人脸rppg信号确定为待检测对象的多通道的人脸rppg信号。其中，人脸rppg信号是反映光谱反射率变化的时变信号，可用于检测血液容积变化以计算多种生命体征(即下述第三活体特征)。进一步地，计算机设备可将待检测对象的多通道的人脸rppg信号输入第三特征提取器中，并通过第三特征提取器输出待检测对象的第三活体特征(即时频域特征，可包括时域特征和频域特征)。这里的第三特征提取器可包括传统的信号处理方法(如傅里叶变换或者经验模态分解)、时间序列模型(如长短期记忆网络或者门控循环单元)、神经网络或者其它类型的特征提取器。
56.步骤s1032，对各通道的人脸rppg信号进行滤波以得到各通道的人脸rppg信号中的波峰个数，并基于各通道的人脸rppg信号中的波峰个数确定待检测对象的第三活体特征。
57.为方便描述，下面将以心率特征为例进行说明，计算机设备可基于固定参数(如12或者其它值)以及一定时间内各通道的人脸rppg信号中的波峰个数确定待检测对象的心率特征，并将待检测对象的心率特征确定为待检测对象的第三活体特征，这里的第三活体特征为时域特征。由于人脸rppg信号是反映光谱反射率变化的时变信号，且人脸rppg信号中的波峰是由心脏跳动引起血液容积变化从而导致反射率发生变化后产生的，因此可通过一定时间内各通道的人脸rppg信号中的波峰个数得到心率特征。
58.步骤s1033，对各通道的人脸rppg信号进行经验模态分解以得到各通道的交流信号和直流信号，并基于各通道的交流信号和直流信号确定待检测对象的第三活体特征。
59.在一些可行的实施方式中，一个通道的人脸rppg信号对应一个交流信号和一个直流信号。例如，计算机设备可分别对红光通道的人脸rppg信号和近红外光谱仪的一个通道(可以简称为近红外一通道)的人脸rppg信号进行经验模态分解，以得到红光通道的交流信号和直流信号、以及近红外一通道的交流信号和直流信号。进一步地，计算机设备可根据红光通道的交流信号和直流信号之间的比值、以及近红外一通道的交流信号和直流信号之间的比值确定待检测对象的血氧特征，并将待检测对象的血氧特征确定为待检测对象的第三活体特征，这里的第三活体特征可以为频域特征。
60.步骤s1034，对各通道的人脸rppg信号进行傅里叶变换以得到各通道的人脸rppg
信号对应的频域信号，并基于各通道的人脸rppg信号对应的频域信号确定待检测对象的第三活体特征。
61.在一些可行的实施方式中，计算机设备可基于各通道的人脸rppg信号对应的频域信号的信号幅度(也可以称为信号强度)确定待检测对象的心率特征，并将待检测对象的心率特征确定为待检测对象的第三活体特征，这里的第三活体特征为频域特征。
62.在一些可行的实施方式中，计算机设备可从各通道的人脸rppg信号提取出待检测对象的多个生命体征，并对多个生命体征进行拼接以得到待检测对象的第三活体特征。其中，多个生命体征可包括心率特征、血氧特征、血压特征、各项血液成分以及其它特征。由此可见，计算机设备可结合rgb三通道中各通道的人脸rppg信号以及n个通道中各通道的人脸rppg信号计算多个生命体征，以得到待检测对象的第三活体特征进行活体检测，从而提高了活体检测的可靠性，适用性更强。
63.步骤s104，基于第一活体特征、第二活体特征以及第三活体特征确定待检测对象的融合活体特征，并基于融合活体特征确定待检测对象是否为活体。
64.在一些可行的实施方式中，计算机设备可对第一活体特征、第二活体特征以及第三活体特征进行特征融合，以得到待检测对象的融合活体特征。这里的特征融合方式可包括拼接(concat)方式、叠加(add)方式或者其它特征融合方式。进一步地，计算机设备可将待检测对象的融合活体特征输入二分类器(如多层感知机)，并通过二分类器输出待检测对象为活体或者非活体。这里的二分类器(也可以称为二分类网络)可以为全连接网络，且该全连接网络的激活函数可包括sigmoid函数以及其它激活函数(如tanh函数、relu函数和softmax函数)，全连接网络的损失函数可包括交叉熵(cross-entropy)损失函数以及其它损失函数(如合页损失函数、逻辑斯谛损失函数和指数损失函数)。具体地，计算机设备可获取多个活体的融合活体特征和多个非活体的融合活体特征，并基于多个活体的融合活体特征和多个非活体的融合活体特征对二分类器进行训练直至二分类器的损失值不变(这里的损失值可由上述损失函数得到)，以使二分类器具有确定任一用户为活体或者非活体的能力。进一步地，计算机设备可将待检测对象的融合活体特征输入二分类器，并通过二分类器输出待检测对象为活体或者非活体。例如，计算机设备在二分类器输出0时可确定待检测对象为非活体，且确定待检测对象人脸识别失败(如无法进行人脸支付)；或者在二分类器输出1时可确定待检测对象为活体，且确定待检测对象人脸识别成功(如可成功进行人脸支付)，从而提高了人脸识别的安全性，适用性更强。
65.在一些可行的实施方式中，计算机设备可获取活体检测网络，该活体检测网络的网络参数可用于确定任一用户为活体或者非活体。进一步地，计算机设备可将待检测对象的人脸可见光图像数据、人脸近红外光谱数据、多通道的人脸rppg信号输入活体检测网络，并通过活体检测网络的网络参数确定待检测对象为活体或者非活体。请一并参见图4，图4是本技术提供的活体检测网络的工作流程示意图。如图4所示，活体检测网络中包括神经网络1、神经网络2、神经网络3、特征融合网络(也可以称为特征融合器)以及二分类网络(也可以称为二分类器)。其中，神经网络1的网络参数可用于确定任一用户的第一活体特征(即空域特征)，神经网络2的网络参数可用于确定任一用户的第二活体特征(即谱域特征)，神经网络3的网络参数可用于确定任一用户的第三活体特征(即时频域特征)。因此，活体检测网络可以理解为结合空域特征、谱域特征以及时频域特征的多模态神经网络，且空域特征(可
以理解为图像特征)、谱域特征以及时频域特征均为通过深度学习方法(如神经网络)所提取的特征。其中，特征融合网络的网络参数可用于确定任一用户的融合活体特征，二分类网络的网络参数可用于确定任一用户为活体或者非活体，这里神经网络1的网络参数、神经网络2的网络参数、神经网络3的网络参数、特征融合网络的网络参数以及二分类网络的网络参数可以统称为活体检测网络的网络参数。
66.如图4所示，在对待检测对象进行活体检测的过程中，计算机设备可通过rgb摄像头采集待检测对象的人脸可见光图像数据，将人脸可见光图像数据输入活体检测网络中的神经网络1，并基于神经网络1的网络参数确定待检测对象的第一活体特征，这时神经网络1可输出待检测对象的第一活体特征。计算机设备可通过近红外光谱仪采集待检测对象的人脸近红外光谱数据，将人脸近红外光谱数据输入活体检测网络中的神经网络2，并基于神经网络2的网络参数确定待检测对象的第二活体特征，这时神经网络2可输出待检测对象的第二活体特征。计算机设备可获取待检测对象的多通道的人脸rppg信号，将多通道的人脸rppg信号输入活体检测网络中的神经网络3，并基于神经网络3的网络参数确定待检测对象的第三活体特征，这时神经网络3可输出待检测对象的第三活体特征。这时，计算机设备可以将待检测对象的第一活体特征、第二活体特征以及第三活体特征输入活体检测网络中的特征融合网络，并基于特征融合网络的网络参数确定待检测对象的融合活体特征，这时特征融合网络可输出待检测对象的融合活体特征。进一步地，计算机设备可将待检测对象的融合活体特征输入活体检测网络中的二分类网络，并基于二分类网络的网络参数确定待检测对象为活体或者非活体，这时二分类网络会输出待检测对象为活体或者非活体，换言之，活体检测网络可输出待检测对象为活体或者非活体，从而提高了活体检测的鲁棒性和人脸识别的安全性，适用性更强。
67.请参见图5，图5是本技术提供的活体检测装置的结构示意图。该活体检测装置可以是运行于计算机设备中的一个计算机程序(包括程序代码)，例如，该活体检测装置为一个应用软件；该活体检测装置可以用于执行本技术提供的方法中的相应步骤。如图5所示，该活体检测装置包括：
68.第一特征获取单元10，可用于获取待检测对象的人脸可见光图像数据，并基于人脸可见光图像数据获取待检测对象的第一活体特征。
69.第二特征获取单元20，可用于获取待检测对象的人脸近红外光谱数据，并基于人脸近红外光谱数据获取待检测对象的第二活体特征。
70.第三特征获取单元30，可用于获取待检测对象的多通道的人脸远程光电容积描记rppg信号，并基于多通道的人脸rppg信号获取待检测对象的第三活体特征。
71.活体检测单元40，可用于基于第一活体特征、第二活体特征以及第三活体特征确定待检测对象的融合活体特征，并基于融合活体特征确定待检测对象是否为活体。
72.在一些可能的实施方式中，上述第一特征获取单元10还用于通过rgb摄像头采集待检测对象的人脸可见光图像数据，将人脸可见光图像数据输入第一特征提取器，并通过第一特征提取器输出待检测对象的第一活体特征。
73.在一些可能的实施方式中，上述第二特征获取单元20还用于通过近红外光谱仪采集待检测对象的人脸近红外光谱数据，将人脸近红外光谱数据输入第二特征提取器，并通过第二特征提取器输出待检测对象的第二活体特征。
74.在一些可能的实施方式中，上述第二特征获取单元20还用于通过近红外光谱仪采集待检测对象的人脸近红外光谱数据，对人脸近红外光谱数据进行多尺度卷积以得到人脸近红外光谱数据对应的特征峰信息，并基于特征峰信息确定待检测对象的第二活体特征。
75.在一些可能的实施方式中，上述第三特征获取单元30还用于从人脸可见光图像数据中提取出rgb三通道中各通道的人脸rppg信号。从人脸近红外光谱数据中提取出n个通道中各通道的人脸rppg信号，并将rgb三通道中各通道的人脸rppg信号和n个通道中各通道的人脸rppg信号确定为待检测对象的多通道的人脸rppg信号。这里的n为用于采集人脸近红外光谱数据的近红外光谱仪的通道数，且n为大于1的正整数。
76.可选的，在一些可能的实施方式中，上述第三特征获取单元30还用于将待检测对象的多通道的人脸rppg信号输入第三特征提取器中，并通过第三特征提取器输出待检测对象的第三活体特征。
77.在一些可能的实施方式中，上述第三特征获取单元30还用于对各通道的人脸rppg信号进行滤波以得到各通道的人脸rppg信号中的波峰个数，并基于各通道的人脸rppg信号中的波峰个数确定待检测对象的第三活体特征。
78.在一些可能的实施方式中，上述第三特征获取单元30还用于对各通道的人脸rppg信号进行经验模态分解以得到各通道的交流信号和直流信号，并基于各通道的交流信号和直流信号确定待检测对象的第三活体特征，其中一个通道的人脸rppg信号对应一个交流信号和一个直流信号。
79.在一些可能的实施方式中，上述第三特征获取单元30还用于对各通道的人脸rppg信号进行傅里叶变换以得到各通道的人脸rppg信号对应的频域信号，并基于各通道的人脸rppg信号对应的频域信号确定待检测对象的第三活体特征。
80.在一些可能的实施方式中，上述活体检测单元40还用于对第一活体特征、第二活体特征以及第三活体特征进行特征融合，以得到待检测对象的融合活体特征。
81.在一些可能的实施方式中，上述活体检测单元40还用于将融合活体特征输入二分类器，并通过二分类器输出待检测对象为活体或者非活体。
82.在一些可能的实施方式中，上述活体检测装置还包括匹配单元50，该匹配单元50可用于在检测到目标区域内存在待检测对象时，对待检测对象和目标数据库中的目标用户进行匹配，若待检测对象匹配成功，则对待检测对象进行活体检测。其中，目标用户可以为目标数据库中预存的允许进行活体检测的用户。
83.可选的，在一些可能的实施方式中，上述活体检测装置还包括网络获取单元(图中未示出)和活体确定单元(图中未示出)，该获取单元可用于获取活体检测网络，该活体检测网络的网络参数可用于确定任一用户为活体或者非活体。该活体确定单元，可用于将待检测对象的人脸可见光图像数据、人脸近红外光谱数据、多通道的人脸rppg信号输入活体检测网络，并基于活体检测网络的网络参数确定待检测对象为活体或者非活体。
84.具体实现中，上述第一特征获取单元10、第二特征获取单元20、第三特征获取单元30、活体检测单元40以及匹配单元50实现上述各种可能的实现方式中的步骤的过程具体可参见上述实施例一中的计算机设备所执行的相应的过程，此处便不再赘述。
85.在本技术中，可通过第一活体特征、第二活体特征以及第三活体特征确定待检测对象的融合活体特征，以判断待检测对象是否为活体，可有效抵抗各类攻击，提高了活体检
测的鲁棒性；另外，无需和用户进行交互配合，检测时间短，从而提升了用户使用体验，适用性强。
86.本技术还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机执行时实现上述方法实施例中计算机设备执行的方法或者步骤。
87.本技术还提供了一种计算机程序产品，该计算机程序产品被计算机设备执行时实现上述方法实施例中计算机设备执行的方法或者步骤。
88.请参见图6，图6是本技术提供的计算机设备的结构示意图。如图6所示，该计算机设备主要包括至少一个处理器101以及至少一个存储器102。其中，处理器101和存储器102通过通信总线或者通信接口连接并完成相互间的通信。这里，上述处理器101以及存储器102可用于实现上述图5中所示的第一特征获取单元10、第二特征获取单元20、第三特征获取单元30、活体检测单元40以及匹配单元50所能实现的计算机设备的各种功能。
89.其中，上述存储器102用于存储执行上述方法实施例中计算机设备所实现的活体检测方法的程序代码，上述处理器101可用于执行上述存储器102中存储的程序代码以实现方法实施例中计算机设备所执行的活体检测方法的步骤。
90.例如，处理器101可用于基于人脸可见光图像数据获取待检测对象的第一活体特征，或者基于人脸近红外光谱数据获取待检测对象的第二活体特征，或者基于多通道的人脸rppg信号获取待检测对象的第三活体特征。处理器101还可用于基于第一活体特征、第二活体特征以及第三活体特征确定待检测对象的融合活体特征，并基于融合活体特征确定待检测对象是否为活体。
91.可选的，在通过有线方式获取待检测对象的人脸可见光图像数据、人脸近红外光谱数据及多通道的人脸rppg信号的场景下，该计算机设备可通过通信总线或者通信接口来获取待检测对象的人脸可见光图像数据、人脸近红外光谱数据及多通道的人脸rppg信号。
92.可选的，在通过无线方式获取待检测对象的人脸可见光图像数据、人脸近红外光谱数据及多通道的人脸rppg信号的场景下，如图6所示，该装置还可包括至少一个无线通信模块103，该计算机设备可通过无线通信模块103来获取到待检测对象的人脸可见光图像数据、人脸近红外光谱数据及多通道的人脸rppg信号。实际应用中，该无线通信模块103可以是包括射频处理芯片和基带处理芯片的通信芯片等。
93.在本技术中，处理器可以是通用中央处理器(central processing unit，cpu)，微处理器，特定应用集成电路(application-specific integrated circuit，asic)，或一个或多个用于控制以上方案程序执行的集成电路。
94.存储器可以是只读存储器(read-only memory，rom)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，ram)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable readonly memory，eeprom)、只读光盘(compact disc read-only memory，cd-rom)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。
95.无线通信模块(也可以称为无线通信系统)可以是能够实现与其他设备或者通信
网络通信的装置或者模块，如射频模块等。
96.在上述方法实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。上述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行上述计算机指令时，全部或部分地产生按照本技术实施例上述的流程或功能。上述计算机设备可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。上述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，上述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，dsl)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。上述计算机可读存储介质可以是计算机设备能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。上述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，高密度数字视频光盘(digital video disc，dvd)、或者半导体介质(例如，固态硬盘(solid state disk，ssd)等。
97.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
98.在本技术所提供的实施例中，应该理解到，所揭露的装置和方法可以通过其它的方式实现。例如，以上所描述的装置仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
99.另外，在本技术实施例中的各功能单元可以集成在一个单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
100.总之，以上上述仅为本技术技术方案的较佳实施例而已，并非用于限定本技术的保护范围。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。