非接触式心率测量方法及系统

1.本发明涉及生理参数检测设备技术领域，具体涉及一种非接触式心率测量方法及系统。


背景技术：

2.传统的心率测量需要通过胸前导联的心电图技术进行检查。该方法需要将多个电极准确安置在身体指定部位，为降低接触阻抗电极往往要打入导电膏以增强导电性，致使检测过程费时费力，且无法在受试者运动状态下进行检测。
3.光电容积脉搏波描记技术(photoplethysmography，ppg)检测心率，其原理是：心血管系统中传播的脉动血液改变了皮肤组织中的血量，含氧血液循环导致血红蛋白分子和蛋白质数量的波动，从而导致整个光谱的光学吸收的波动，而这种光学吸收波动随时间变化的曲线就是脉搏波，可对其处理从而提取出心率信号。但由于ppg监测区域位置单一、需要与待测者的皮肤进行接触等问题，限制了其应用范围。
4.成像式光电容积描记技术(imaging photoplethysmography，ippg)，是一种以成像为基础的脉搏波测量方法，该技术的原理是利用rgb摄像头来捕获皮肤反射的微小颜色变化从而识别血液循环的阶段，提取出脉搏波信号,具有不与被测试部位接触、操作简单易行等优点，可以解决皮肤烧伤或者肢体残缺的病人以及婴幼儿难以使用接触式仪器测量生理参数的难题。但成像式光电容积描记技术对光照和运动比较敏感，只能在光源充足和静息状态下才能较为准确的测量心率。


技术实现要素：

5.本发明的目的在于提供一种基于色度远程光电容积描记技术(chrominance-based rppg，chrom)和变分模态分解(variational mode decomposition，vmd)的非接触式心率测量方法及系统，以解决上述背景技术中存在的至少一项技术问题。为了实现上述目的，本发明采取了如下技术方案：
6.一方面，本发明提供一种非接触式心率测量方法，包括：
7.获取待测者的多帧人脸图像；
8.确定每一帧人脸图像中的人脸感兴趣区域；
9.对所有人脸感兴趣区域内的皮肤像素进行累加平均，获得ippg信号；
10.基于ippg信号获取色度信号；
11.对色度信号进行变分模态分解算法，得到多个模态分量，频谱中具有最大峰值的模态分量即为心率信号。
12.优选的，获取人脸感兴趣区域包括：利用landmark人脸识别模型获取人脸标记点，设定人脸感兴趣区域，使用肤色检测器剔除掉人脸边缘的环境信息。
13.优选的，所述肤色检测器使用多色彩空间肤色检测算法。
14.优选的，获取色度信号包括：
15.对ippg信号进行rgb三通道提取，再对rgb通道信号进行归一化处理；
16.将归一化后的rgb值投射到两个正交色度向量；
17.对两个正交向量经过巴特沃斯带通滤波器滤波，得到滤波后的信号；
18.基于滤波后的信号计算色度信号。
19.优选的，采用交替方向乘子算法更新迭代求解正交色度向量计算中的鞍点，在频域利用增广lagrange函数以及约束变分模型迭代更新模态分量和增广lagrange函数乘子，直至满足迭代终止条件，得到模态分量。
20.优选的，变分模态分解算法中涉及的约束变分模型为：
[0021][0022][0023]
其中，{uk}表示第k个模态分量，{wk}表示第k个模态分量的中心频率，k表示模态分量的个数，表示偏导运算，δ(t)表示单位脉冲函数，j表示虚数单位，*表示卷积运算，f表示目标信号；
[0024]
引入惩罚因子α和lagrange乘子λ以求解变分约束问题，增广lagrange函数表达式如下：
[0025][0026]
优选的，在频域利用下式更新模态分量的中心频率：
[0027][0028][0029]
其中，ω表示频率，i表示第i模态分量，d表示求导。
[0030]
结合下式更新λ：
[0031][0032]
其中，τ表示保真系数，∧表示傅里叶变换，n表示迭代次数。
[0033]
优选的，迭代终止条件为：
[0034][0035]
其中，ε表示判别精度，且ε＞0。
[0036]
第二方面，本发明提供一种非接触式心率测量系统，包括：
[0037]
获取模块，用于获取待测者的多帧人脸图像；
[0038]
识别模块，用于确定每一帧人脸图像中的人脸感兴趣区域；
[0039]
第一计算模块，用于对所有人脸感兴趣区域内的皮肤像素进行累加平均，获得ippg信号；
[0040]
第二计算模块，用于基于ippg信号获取色度信号；
[0041]
第三计算模块，用于对色度信号进行变分模态分解算法，得到多个模态分量，频谱中具有最大峰值的模态分量即为心率信号。
[0042]
第三方面，本发明提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如上所述的非接触式心率测量方法。
[0043]
第四方面，本发明提供一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如上所述的非接触式心率测量方法的指令。
[0044]
本发明有益效果：
[0045]
通过chrom算法可将像素值的强度和光强以及颜色分离，消除噪声；对信号进行vmd算法，根据心跳频率特征，使用vmd算法将主要信号分解为不同模态，保证了各模态之间信号频率范围互不重叠，分离出较为完整且无谐波残留的心跳信号。
[0046]
针对复杂的面部条件，特别是当存在着头发、眼镜或者胡子等非皮肤像素干扰信息时，采用多色彩空间肤色检测算法进行非肤色像素的剔除，获得高稳定性、高信噪比的roi。
[0047]
在进行脉搏波信号提取时，脉搏波中不可避免地存在由于人脸移动、光照方向改变而引入的噪声，为了进一步剔除这些噪声，采用自动寻优的变分模态分解算法，可实现噪声的剔除获得高信噪比的脉搏波信息，实现高准确性的非接触式心率检测。
[0048]
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
[0049]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0050]
图1为本发明实施例所述的非接触式心率测量方法的流程图；
[0051]
图2为本发明实施例所述人脸感兴趣区域示意图；
[0052]
图3为本发明实施例所述的人脸图像的处理过程示意图；
[0053]
图4为本发明实施例所述的获取模块的结构图；
[0054]
图5为本发明实施例所述的模态分量的个数和惩罚因子自动寻优的流程图。
具体实施方式
[0055]
下面详细叙述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
[0056]
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。
[0057]
还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
[0058]
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件和/或它们的组。
[0059]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0060]
为便于理解本发明，下面结合附图以具体实施例对本发明作进一步解释说明，且具体实施例并不构成对本发明实施例的限定。
[0061]
本领域技术人员应该理解，附图只是实施例的示意图，附图中的部件并不一定是实施本发明所必须的。
[0062]
实施例1
[0063]
本实施例1提供一种非接触式心率测量系统，使用该系统实现了非接触式的心率测量，无需对皮肤涂抹导电膏，无需利用电极接触身体的指定部位，其通过精准定位人脸检测，结合光强以及颜色信息的剔除和噪声去除，来提取心率信号。
[0064]
本实施例1中，所述的非接触式心率测量系统，其主要包括如下功能模块：
[0065]
获取模块，用于获取待测者的多帧人脸图像；
[0066]
识别模块，用于确定每一帧人脸图像中的人脸感兴趣区域；
[0067]
第一计算模块，用于对所有人脸感兴趣区域内的皮肤像素进行累加平均，获得ippg信号；
[0068]
第二计算模块，用于基于ippg信号获取色度信号；
[0069]
第三计算模块，用于对色度信号进行变分模态分解算法，得到多个模态分量，频谱中具有最大峰值的模态分量即为心率信号。
[0070]
本实施例1中，利用上述的非接触式心率测量系统，实现了非接触式心率测量方法，该方法包括：
[0071]
使用获取模块来获取待测者的多帧人脸图像；
[0072]
利用识别模块确定每一帧人脸图像中的人脸感兴趣区域；
[0073]
使用第一计算模块对所有人脸感兴趣区域内的皮肤像素进行累加平均，获得ippg信号；
[0074]
使用第二计算模块对ippg信号进行处理获取色度信号；
[0075]
使用第三模块对色度信号进行变分模态分解算法，得到多个模态分量，频谱中具有最大峰值的模态分量即为心率信号。
[0076]
本实施例1中，获取人脸感兴趣区域包括：利用landmark人脸识别模型获取人脸标记点，设定人脸感兴趣区域，使用肤色检测器剔除掉人脸边缘的环境信息。
[0077]
本实施例1中，获取色度信号包括：
[0078]
对ippg信号进行rgb三通道提取，再对rgb通道信号进行归一化处理；
[0079]
将归一化后的rgb值投射到两个正交色度向量；
[0080]
对两个正交向量经过巴特沃斯带通滤波器滤波，得到滤波后的信号；
[0081]
基于滤波后的信号计算色度信号。
[0082]
本实施例1中，采用交替方向乘子算法更新迭代求解正交色度向量计算中的鞍点，在频域利用增广lagrange函数以及约束变分模型迭代更新模态分量和增广lagrange函数乘子，直至满足迭代终止条件，得到模态分量。
[0083]
本实施例1中，变分模态分解算法中涉及的约束变分模型为：
[0084][0085][0086]
其中，{uk}表示第k个模态分量，{wk}表示第k个模态分量的中心频率，k表示模态分量的个数，表示偏导运算，δ(t)表示单位脉冲函数，j表示虚数单位，*表示卷积运算，f表示目标信号；
[0087]
引入惩罚因子α和lagrange乘子λ以求解变分约束问题，增广lagrange函数表达式如下：
[0088][0089]
本实施例1中，在频域利用下式更新模态分量的中心频率：
[0090][0091][0092]
其中，ω表示频率，i表示第i模态分量，d表示求导。
[0093]
结合下式更新λ：
[0094][0095]
其中，τ表示保真系数，∧表示傅里叶变换，n表示迭代次数。
[0096]
本实施例1中，迭代终止条件为：
[0097][0098]
其中，ε表示判别精度，且ε＞0。
[0099]
本实施例1中，提出的非接触式心率测量系统及使用该系统实现的心率测量方法，基于色度远程光电容积描记技术(chrominance-based rppg，chrom)和变分模态分解(variational mode decomposition，vmd)，可用于复杂光照和大幅运动下的非接触式心率测量，对复杂环境下生命体征实时监测有重要的应用价值。
[0100]
实施例2
[0101]
本实施例2中，提供一种非接触式心率测量系统，通过获取人脸图像，对人脸图像进行信号处理，最终获得心率信号。
[0102]
本实施例2中，所述的非接触式心率测量系统，其主要包括如下功能模块：
[0103]
获取模块，用于获取待测者的多帧人脸图像；
[0104]
识别模块，用于确定每一帧人脸图像中的人脸感兴趣区域；
[0105]
第一计算模块，用于对所有人脸感兴趣区域内的皮肤像素进行累加平均，获得ippg信号；
[0106]
第二计算模块，用于基于ippg信号获取色度信号；
[0107]
第三计算模块，用于对色度信号进行变分模态分解算法，得到多个模态分量，频谱中具有最大峰值的模态分量即为心率信号。
[0108]
本实施例2中，利用上述的非接触式心率测量系统，实现了非接触式心率测量方法，该方法包括：
[0109]
使用获取模块来获取待测者的多帧人脸图像；
[0110]
利用识别模块确定每一帧人脸图像中的人脸感兴趣区域；
[0111]
使用第一计算模块对所有人脸感兴趣区域内的皮肤像素进行累加平均，获得ippg信号；
[0112]
使用第二计算模块对ippg信号进行处理获取色度信号；
[0113]
使用第三模块对色度信号进行变分模态分解算法，得到多个模态分量，频谱中具有最大峰值的模态分量即为心率信号。
[0114]
本实施例2中，获取模块包括工业相机，通过工业相机，结合卤素灯(其光波范围包括可见光和不可见光范围)用来对人脸进行补光，以获得较好图像质量。将捕捉到的人脸视频序列通过usb3.0数据传输线输入到pc端(计算机系统)中，利用该pc端中的识别模块、第一计算模块、第二计算模块、第三计算模块对图像进行处理，最终获得心率信号。
[0115]
首先对捕获到的视频进行帧处理，获取每一帧人脸图像。
[0116]
获取人脸感兴趣区域包括：利用landmark人脸识别模型获取人脸标记点，设定人
脸感兴趣区域，使用肤色检测器剔除掉人脸边缘的环境信息。
[0117]
识别模块中的人脸识别程序使用的是基于梯度提高学习的回归树方法(ensemble of regression trees，ert)生成的landmark模型。通过landmark模型获取68个人脸标记点，设定人脸感兴趣区域如图2所示，其中，左上角的图为人脸标记点掩膜图，右上角的图为实际人脸掩膜图，左下角的图为使用肤色检测器后的实际roi图，右下角的图为实际roi图的二值图。在检测过程中，难免会遇到人脸边缘包含少部分环境信息，在后续使用肤色检测器，将感兴趣区域通过肤色检测器剔除掉人脸边缘的环境信息。
[0118]
对处理过后的所有皮肤像素进行累加平均获得原始的ippg信号。
[0119]
本实施例2中，使用第二计算模块获取色度信号包括：对ippg信号进行rgb三通道提取，再对rgb通道信号进行归一化处理；将归一化后的rgb值投射到两个正交色度向量；对两个正交向量经过巴特沃斯带通滤波器滤波，得到滤波后的信号；基于滤波后的信号计算色度信号。具体的：
[0120]
利用chrom算法，对原始的ippg信号进行处理，其步骤如下：
[0121]
对原始ippg信号进行rgb三通道提取，再对rgb通道信号进行归一化处理；将归一化的rgb值投射到两个正交色度向量x
chrom
和y
chrom
：
[0122]
x
chrom
(t)＝3xr(t)-2xg(t)
ꢀꢀꢀꢀꢀ
(2)
[0123]ychrom
(t)＝1.5xr(t) xg(t)-1.5xb(t)
ꢀꢀꢀꢀꢀ
(3)
[0124]
最后输出s(t)为：
[0125]
s(t)＝x
f-αyf；
ꢀꢀꢀꢀ
(4)
[0126]
其中，xr表示原始ippg信号的红色通道分量，xg表示原始ippg信号的绿色通道分量，xb表示原始ippg信号的蓝色通道分量，t表示时间，信号波形随时间t变化，xf、yf分别是x
chrom
，y
chrom
经过五阶0.7hz-4hz巴特沃斯带通滤波器滤波后的信号；α是xf、yf标准差的比值，s(t)为经过chrom算法处理过的ippg信号。
[0127]
在经过chrom算法后，原始ippg信号中大部分噪声得到消除。再对s(t)进行vmd算法以得到更精准的心率信号。
[0128]
本实施例2中，采用交替方向乘子算法更新迭代求解正交色度向量计算中的鞍点，在频域利用增广lagrange函数以及约束变分模型迭代更新模态分量和增广lagrange函数乘子，直至满足迭代终止条件，得到模态分量。
[0129]
本实施例2中，变分模态分解算法中涉及的约束变分模型为：
[0130][0131][0132]
其中，{uk}＝{u1,u2,...,uk}表示第k个模态分量，{wk}＝{w1,w2,...,wk}表示第k个模态分量的中心频率，k表示模态分量的个数，表示偏导运算，δ(t)表示单位脉冲函数，j表示虚数单位，*表示卷积运算，f表示目标信号，e表示超越数。
[0133]
引入惩罚因子α和lagrange乘子λ以求解变分约束问题，增广lagrange函数表达式如下：
[0134][0135]
本实施例2中，采用交替方式乘子算法更新迭代求解(7)式中的鞍点，在频域迭代更新uk、wk、λ。
[0136]
本实施例2中，vmd算法将信号分解为3个模态分量(模态分量数量由实验确定)，惩罚因子α为2000，分解步骤如下：
[0137]
步骤1：初始化n为零；
[0138]
步骤2：uk和wk分别由(8)式和(9)式迭代更新：
[0139][0140][0141]
其中，ω表示频率，i表示第i模态分量，d表示求导。
[0142]
步骤3：通过(10)式更新λ：
[0143][0144]
其中，τ表示保真系数，∧表示傅里叶变换，n表示迭代次数。
[0145]
步骤4：重复步骤2和3，至满足迭代终止条件，终止条件由(11)式给出。
[0146][0147]
其中，ε表示判别精度，且ε＞0，上标n为迭代步数，下标k表示当前模态数。
[0148]
步骤5：输出3个模态分量。
[0149]
vmd算法输出的3个模态分量中，其中频谱中具有最大峰值的模态分量即为心率信号。
[0150]
本实施例2中，提出的非接触式心率测量系统及使用该系统实现的心率测量方法，基于色度远程光电容积描记技术(chrominance-based rppg，chrom)和变分模态分解(variational mode decomposition，vmd)，可用于复杂光照和大幅运动下的非接触式心率测量，对复杂环境下生命体征实时监测有重要的应用价值。
[0151]
实施例3
[0152]
本实施例3中，提供一种非接触式心率测量系统，通过获取人脸图像，对人脸图像进行信号处理，最终获得心率信号。
[0153]
本实施例3中，所述的非接触式心率测量系统，其主要包括如下功能模块：
[0154]
获取模块，用于获取待测者的多帧人脸图像；
[0155]
识别模块，用于确定每一帧人脸图像中的人脸感兴趣区域；
[0156]
第一计算模块，用于对所有人脸感兴趣区域内的皮肤像素进行累加平均，获得ippg信号；
[0157]
第二计算模块，用于基于ippg信号获取色度信号；
[0158]
第三计算模块，用于对色度信号进行变分模态分解算法，得到多个模态分量，频谱中具有最大峰值的模态分量即为心率信号。
[0159]
本实施例3中，利用上述的非接触式心率测量系统，实现了非接触式心率测量方法，该方法包括：
[0160]
使用获取模块来获取待测者的多帧人脸图像；
[0161]
利用识别模块确定每一帧人脸图像中的人脸感兴趣区域；
[0162]
使用第一计算模块对所有人脸感兴趣区域内的皮肤像素进行累加平均，获得ippg信号；
[0163]
使用第二计算模块对ippg信号进行处理获取色度信号；
[0164]
使用第三模块对色度信号进行变分模态分解算法，得到多个模态分量，频谱中具有最大峰值的模态分量即为心率信号。
[0165]
本实施例3中，如图4所示，获取模块包括工业相机a1，通过工业相机，结合卤素灯a2(其光波范围包括可见光和不可见光范围)用来对受试者a4的人脸进行补光，以获得较好图像质量。将捕捉到的人脸视频序列通过usb3.0数据传输线a5输入到pc端a3(计算机系统)中，利用该pc端中的识别模块、第一计算模块、第二计算模块、第三计算模块对图像进行处理，最终获得心率信号。
[0166]
首先对捕获到的视频进行帧处理，获取每一帧人脸图像。
[0167]
获取人脸感兴趣区域包括：利用landmark人脸识别模型获取人脸标记点，设定人脸感兴趣区域，使用肤色检测器剔除掉人脸边缘的环境信息。
[0168]
识别模块中的人脸识别程序使用的是基于梯度提高学习的回归树方法(ensemble of regression trees，ert)生成的landmark模型。通过landmark模型获取68个人脸标记点，设定人脸感兴趣区域如图2中左上角的图所示，使用标记点0、8、16新生成标记点hl和标记点hr，其中hl和hr的坐标点计算如下：
[0169][0170]
其中，y
p8
为标记点8的纵坐标，y
p0
为标记点0的纵坐标，x
p0
为标记点0的横坐标，y
p0
为标记点0的纵坐标，x
p16
为标记点16的横坐标，y
p16
为标记点16的纵坐标；x
hr
、y
hr
和x
hl
、y
hl
分解为新标记点hr的横纵坐标和新标记点hl的横纵坐标；通过将标记点0到标记点16、hr、hl依次连接获得人脸区域，将标记点48到标记点59依次连接剔除嘴部区域，最后获得人脸掩膜图，即感兴趣区域。
[0171]
在检测过程中，难免会遇到人脸边缘包含少部分环境信息，在后续使用肤色检测器，将感兴趣区域通过肤色检测器剔除掉人脸边缘的环境信息，具体的，肤色检测器使用多色彩空间肤色检测算法在保留皮肤区域信息的同时尽可能地剔除非皮肤干扰，其核心方法是：使用rgb、ycrcb和cmyk三种不同的色彩空间肤色阈值进行准确的肤色像素判断。
[0172]
多色彩空间肤色检测算法具体为：
[0173]
(1)rgb色彩空间中肤色阈值条件如下：
[0174]
r＞95∩g＞40∩b＞20∩r》g∩r＞b∩|r-g|》15
[0175]
其中，r为红色通道值，g为绿色通道值，b为蓝色通道值；
[0176]
(2)ycrcb色彩空间中肤色阈值条件如下：
[0177]
cr＞135∩cb＞85∩yl》80∩cr＜＝(1.5874*cb) 20∩
[0178]
cr＞＝(0.3447*cb) 76.2068∩cr＞＝(-4.5653*cb) 234.5652∩
[0179]
cr＜＝(-1.15*cb) 301.78∩cr＜＝(-2.2868*cb) 433.85
[0180]
其中，yl为颜色亮度值，cr为红色的浓度偏移量值，cb为蓝色成分偏移量值；
[0181]
(3)cmyk色彩空间中肤色阈值条件如下：
[0182]
k＜0.8∩0《＝c《0.05∩0.1＜＝y/m＜4.8
[0183]
∩0.088＜y＜1∩0＜c/y＜1
[0184]
其中，c是青色通道值，m是品红色通道值，y是黄色通道值，k是黑色通道值；
[0185]
对人脸感兴趣区域，使用(1)-(3)的阈值进行计算，对人脸感兴趣区域中符合rgb色彩空间中肤色阈值条件、ycrcb色彩空间中肤色阈值条件和cmyk色彩空间中肤色阈值条件的像素给予保留，对不符合阈值条件的像素的rgb值设为(0,0,0)，以剔除掉人脸边缘的环境信息，得到准确的人脸感兴趣区域。
[0186]
对处理过后的所有皮肤像素进行累加平均获得原始的ippg信号。
[0187]
本实施例3中，使用第二计算模块获取色度信号包括：对ippg信号进行rgb三通道提取，再对rgb通道信号进行归一化处理；将归一化后的rgb值投射到两个正交色度向量；对两个正交向量经过巴特沃斯带通滤波器滤波，得到滤波后的信号；基于滤波后的信号计算色度信号。具体的：
[0188]
利用chrom算法，对原始的ippg信号进行处理。
[0189]
在经过chrom算法后，原始ippg信号中大部分噪声得到消除。再对s(t)进行vmd算法以得到更精准的心率信号。
[0190]
本实施例3中，采用交替方向乘子算法更新迭代求解正交色度向量计算中的鞍点，在频域利用增广lagrange函数以及约束变分模型迭代更新模态分量和增广lagrange函数乘子，直至满足迭代终止条件，得到模态分量。
[0191]
本实施例3中，vmd算法将信号分解为k个模态分量。
[0192]
与实施例2的区别为，模态分量不再定值为3，惩罚因子α不再为定值为2000。在进行模态分解之前需要先设定参数，模态分量的个数k和惩罚因子α。不恰当的参数可能会导致信号的模态混叠，信号频率成分丢失等情况。为了解决以上情况，本发明提出了对模态分量的个数k和惩罚因子α自动寻优的算法，进行自动的参数确认。
[0193]
如图5所示，模态分量的个数k和惩罚因子α的自动寻优过程包括：
[0194]
①
由于心率主要频域范围较小(大约在0.7-4hz之间)，所以，设置模态分量的个数
k∈[1，4]，步长为1，得到4个k值；设置惩罚因子α的范围为α∈[0，2000]，惩罚因子α的步长为400，得到6个惩罚因子α值。α选择恰当，各模态分量之间的相关性较小，α选择不恰当，会导致各模态分量之间的相关性变大。
[0195]
②
将4个k值和6个惩罚因子α值进行组合，得到24个参数对，判断每种参数对得到的模态分量是否满足寻优相关性限制条件和频率损失的限制条件，保留满足寻优相关性限制条件和频率损失的限制条件的参数对：
[0196]
寻优相关性限制条件为：
[0197][0198][0199]
其中，c(
·
)表示相关性函数，k是第k模态分量，k是模态分量的个数；mc是固定模态数k下相邻两个模态之间的相关性平均值；c表示参数α的寻优次数，公式表示第c次寻优和第c-1次寻优相关性的比值；当α设置过大后，或导致模态分量之间的相关性突然上升，所以，将判断阈值设定为了0.5，当相关性比值小于0.5时，保留c-1次寻优值α为该模态数k值下的α；最后得到4对参数对，即4对k和α。例如，[k＝1,α＝400]，[k＝2,α＝400]，[k＝3,α＝400]，[k＝4,α＝400]。其中α是不确定的，当无法满足条件时，α迭代到2000停止，并使用2000为α值。
[0200]
在进行模态分解的过程中，可能会出现频率损失，频率损失的限制条件为：
[0201][0202]
其中，s(t)为色度算法处理过后的ippg信号，||
·
||2为二范数；保留小于阈值条件的参数对。
[0203]
③
使用最大包络峰度的方法在步骤
②
保留下来的参数对中来选择最优的参数对：
[0204][0205]
其中，k是第k模态分量，时模态数k下第k模态分量的希尔伯特变换的模；需要注意的是，因为步骤
②
保留下来的参数对中，每个模态数k下，只有一对参数对，所以在数量上，参数对的数量和模态数k的数量是等价的。
[0206][0207]
其中，分子为的四阶中心矩，σ(
·
)为平方差，ekk为第k模态分量希尔伯特变换取模后的峰度值；
[0208][0209]
[0210][0211]
其中，为k模态数下，所有模态分量希尔伯特变换取模后的峰度值组成的向量，为中最大的峰度值，为所有参数对中最大峰度值；
[0212]
④
最后返回中模态数k值和α，就完成了对参数的自动寻优。
[0213]
自动寻优的vmd算法输出的k个模态分量中，其中，频谱中具有最大峰值的模态分量即为心率信号；通过傅里叶变换求解最大峰值频率，就可以得到最终的心率值。
[0214]
本实施例3涉及的具体步骤与实施例2一致，这里不再累述。
[0215]
实施例4
[0216]
本实施例4中，提供一种非接触式心率测量方法，该方法包括如下步骤：
[0217]
获取待测者的多帧人脸图像；
[0218]
确定每一帧人脸图像中的人脸感兴趣区域；
[0219]
对所有人脸感兴趣区域内的皮肤像素进行累加平均，获得ippg信号；
[0220]
基于ippg信号获取色度信号；
[0221]
对色度信号进行变分模态分解算法，得到多个模态分量，频谱中具有最大峰值的模态分量即为心率信号。
[0222]
如图1所示，本实施例4所述的非接触是心率测量方法中，首先对获取的人脸图像通过landmark人脸识别模型进行人脸检测，获取感兴趣区域(roi)，然后再进行肤色检测剔去边缘环境像素，再获取得到原始脉搏波信号(ippg)，提取生成rgb三通道信号，再利用chrom算法得到色度信号，利用变分模态分解(vdm算法)对色度信号得到去噪后的ippg信号，最后进行傅里叶变换得到心率。
[0223]
本实施例4中，通过工业相机获取受试者的人脸视频图像，结合卤素灯2(其光波范围包括可见光和不可见光范围)用来对人脸进行补光，以获得较好图像质量。将捕捉到的人脸视频序列通过usb3.0数据传输线输入到pc端3中等待pc端对图像进行处理。首先对捕获到的视频进行帧处理，获取每一帧人脸图像。
[0224]
人脸识别程序使用的是基于梯度提高学习的回归树方法(ensemble of regression trees，ert)生成的landmark人脸识别模型。然后通过landmark人脸识别模型获取68个人脸标记点，人脸感兴趣区域如图2所示。
[0225]
在检测过程中，难免会遇到人脸边缘包含少部分环境信息，在后续使用肤色检测器，将感兴趣区域通过肤色检测器剔除掉人脸边缘的环境信息。
[0226]
对处理过后的所有皮肤像素进行累加平均获得ippg信号。
[0227]
利用chrom算法，对原始的ippg信号进行处理，其步骤如下：
[0228]
对原始ippg进行rgb三通道提取，再对rgb通道信号进行归一化处理。
[0229]
将归一化的rgb值投射到两个正交色度向量x
chrom
和y
chrom
，公式如下：
[0230]
x
chrom
(t)＝3xr(t)-2xg(t)
ꢀꢀꢀꢀꢀ
(2)
[0231]ychrom
(t)＝1.5xr(t) xg(t)-1.5xb(t)
ꢀꢀꢀꢀꢀ
(3)
[0232]
最后输出s(t)为：
[0233]
s(t)＝x
f-αyf；
ꢀꢀꢀꢀ
(4)
[0234]
其中，xr表示原始ippg信号的红色通道分量，xg表示原始ippg信号的绿色通道分
量，xb表示原始ippg信号的蓝色通道分量，t表示时间，信号波形随时间t变化，xf、yf分别是x
chrom
，y
chrom
经过五阶0.7hz-4hz巴特沃斯带通滤波器滤波后的信号；α是xf、yf标准差的比值，s(t)为经过chrom算法处理过的ippg信号。
[0235]
在经过chrom算法后，原始ippg信号中大部分噪声得到消除。再对s(t)进行vmd算法以得到更精准的心率信号。
[0236]
vmd算法中涉及的约束变分模型如下：
[0237][0238][0239]
其中，{uk}＝{u1,u2,...,uk}表示第k个模态分量，{wk}＝{w1,w2,...,wk}表示第k个模态分量的中心频率，k表示模态分量的个数，表示偏导运算，δ(t)表示单位脉冲函数，j表示虚数单位，*表示卷积运算，f表示目标信号，e表示超越数。
[0240]
引入惩罚因子α和lagrange乘子λ以求解变分约束问题。所得增广lagrange表达式如下：
[0241][0242]
采用交替方式乘子算法更新迭代求解(7)式中的鞍点，在频域迭代更新uk、wk、λ。
[0243]
vmd算法将信号分解为3个模态分量(模态分量数量由实验确定)，惩罚因子α为2000，分解步骤如下：
[0244]
(1)初始化n为零；
[0245]
(2)uk和wk分别由(8)式和(9)式迭代更新：
[0246][0247][0248]
其中，ω表示频率，i表示第i模态分量，d表示求导。
[0249]
(3)通过(10)式更新λ：
[0250][0251]
其中，τ表示保真系数，∧表示傅里叶变换，n表示迭代次数。
[0252]
(4)重复步骤2和3，至满足迭代终止条件，终止条件由(11)式给出。
[0253][0254]
其中，ε表示判别精度，且ε＞0，上标n为迭代步数，下标k表示当前模态数。
[0255]
(5)输出3个模态分量。
[0256]
本实施例4所述的人脸图像的处理过程示意图如图3所示，先由landmark人脸识别返回标记点后根据图2中左上角的图绘制感兴趣区域，后通过肤色检测剔去边缘的环境信息，然后对脉搏波进行rgb三通道处理，对rgb三通道信号进行chrom算法得到去除光强和颜色的脉搏波信号，再通过vdm进行模态分解去噪，重构得到心率信号波形以及傅里叶频谱图。
[0257]
本实施例4中，通过landmark模型对人脸的精准定位，使用chrom算法和vmd算法对原始ippg信号消噪处理，从而得到了精准的心率，实现了以非接触检测的方式获取心率。
[0258]
其解决了以下几个主要技术问题：
[0259]
面部追踪检测对于人脸大幅度移动的跟踪效果较好，但在人脸相对静止的情况下，由于视频的每一帧图片都是相对独立的，导致人脸识别标记点的抖动，从而额外的引入噪声；人脸的移动会导致光线入射角度和肤色的变化，从而引入噪声，通过chrom算法可将像素值的强度和光强以及颜色分离，消除噪声；对脉搏波信号进行vmd，根据心跳频率特征，使用vmd算法将主要信号分解为不同模态，保证了各模态之间信号频率范围互不重叠，分离出较为完整且无谐波残留的心跳信号。
[0260]
实施例5
[0261]
本实施例5中，提供一种非接触式心率测量方法，该方法包括如下步骤：
[0262]
获取待测者的多帧人脸图像；
[0263]
确定每一帧人脸图像中的人脸感兴趣区域；
[0264]
对所有人脸感兴趣区域内的皮肤像素进行累加平均，获得ippg信号；
[0265]
基于ippg信号获取色度信号；
[0266]
对色度信号进行变分模态分解算法，得到多个模态分量，频谱中具有最大峰值的模态分量即为心率信号。
[0267]
如图1所示，本实施例5所述的非接触是心率测量方法中，首先对获取的人脸图像通过landmark人脸识别模型进行人脸检测，获取感兴趣区域(roi)，然后再进行肤色检测剔去边缘环境像素，再获取得到原始脉搏波信号(ippg)，提取生成rgb三通道信号，再利用chrom算法得到色度信号，利用变分模态分解(vdm算法)对色度信号得到去噪后的ippg信号，最后进行傅里叶变换得到心率。
[0268]
本实施例5中，通过工业相机获取受试者的人脸视频图像，结合卤素灯(其光波范围包括可见光和不可见光范围)用来对人脸进行补光，以获得较好图像质量。将捕捉到的人脸视频序列通过usb3.0数据传输线输入到pc端中等待pc端对图像进行处理。首先对捕获到的视频进行帧处理，获取每一帧人脸图像。
[0269]
人脸识别程序使用的是基于梯度提高学习的回归树方法(ensemble of regression trees，ert)生成的landmark人脸识别模型。然后通过landmark模型获取68个人脸标记点，使用标记点0、8、16新生成标记点hl和标记点hr，其中hl和hr的坐标点计算如
下：
[0270][0271]
其中，y
p8
为标记点8的纵坐标，y
p0
为标记点0的纵坐标，x
p0
为标记点0的横坐标，y
p0
为标记点0的纵坐标，x
p16
为标记点16的横坐标，y
p16
为标记点16的纵坐标；x
hr
、y
hr
和x
hl
、y
hl
分解为新标记点hr的横纵坐标和新标记点hl的横纵坐标；通过将标记点0到标记点16、hr、hl依次连接获得人脸区域，将标记点48到标记点59依次连接剔除嘴部区域，最后获得人脸掩膜图，即人脸感兴趣区域，如图2中左上角的图所示。
[0272]
在检测过程中，难免会遇到人脸边缘包含少部分环境信息，在后续使用肤色检测器，将感兴趣区域通过肤色检测器剔除掉人脸边缘的环境信息。具体的，肤色检测器使用多色彩空间肤色检测算法在保留皮肤区域信息的同时尽可能地剔除非皮肤干扰，其核心方法是：使用rgb、ycrcb和cmyk三种不同的色彩空间肤色阈值进行准确的肤色像素判断。
[0273]
多色彩空间肤色检测算法具体为：
[0274]
(1)rgb色彩空间中肤色阈值条件如下：
[0275]
r＞95∩g＞40∩b＞20∩r》g∩r＞b∩|r-g|》15
[0276]
其中，r为红色通道值，g为绿色通道值，b为蓝色通道值；
[0277]
(2)ycrcb色彩空间中肤色阈值条件如下：
[0278]
cr＞135∩cb＞85∩yl》80∩cr＜＝(1.5874*cb) 20∩
[0279]
cr＞＝(0.3447*cb) 76.2068∩cr＞＝(-4.5653*cb) 234.5652∩
[0280]
cr＜＝(-1.15*cb) 301.78∩cr＜＝(-2.2868*cb) 433.85
[0281]
其中，yl为颜色亮度值，cr为红色的浓度偏移量值，cb为蓝色成分偏移量值；
[0282]
(3)cmyk色彩空间中肤色阈值条件如下：
[0283]
k＜0.8∩0《＝c《0.05∩0.1＜＝y/m＜4.8
[0284]
∩0.088＜y＜1∩0＜c/y＜1
[0285]
其中，c是青色通道值，m是品红色通道值，y是黄色通道值，k是黑色通道值；
[0286]
对人脸感兴趣区域，使用(1)-(3)的阈值进行计算，对人脸感兴趣区域中符合rgb色彩空间中肤色阈值条件、ycrcb色彩空间中肤色阈值条件和cmyk色彩空间中肤色阈值条件的像素给予保留，对不符合阈值条件的像素的rgb值设为(0,0,0)，以剔除掉人脸边缘的环境信息，得到准确的人脸感兴趣区域。
[0287]
对处理过后的所有皮肤像素进行累加平均获得ippg信号。
[0288]
利用chrom算法，对原始的ippg信号进行处理，其步骤如下：
[0289]
对原始ippg进行rgb三通道提取，再对rgb通道信号进行归一化处理。
[0290]
将归一化的rgb值投射到两个正交色度向量x
chrom
和y
chrom
。
[0291]
在经过chrom算法后，原始ippg信号中大部分噪声得到消除。再对s(t)进行vmd算法以得到更精准的心率信号。
[0292]
vmd算法将信号分解为k个模态分量。
[0293]
与实施例4的区别为，模态分量不再定值为3，惩罚因子α不再为定值为2000。在进行模态分解之前需要先设定参数，模态分量的个数k和惩罚因子α。不恰当的参数可能会导致信号的模态混叠，信号频率成分丢失等情况。为了解决以上情况，本发明提出了对模态分量的个数k和惩罚因子α自动寻优的算法，进行自动的参数确认。
[0294]
模态分量的个数k和惩罚因子α的自动寻优过程包括：
[0295]
①
由于心率主要频域范围较小(大约在0.7-4hz之间)，所以，设置模态分量的个数k∈[1，4]，步长为1，得到4个k值；设置惩罚因子α的范围为α∈[0，2000]，惩罚因子α的步长为400，得到6个惩罚因子α值。α选择恰当，各模态分量之间的相关性较小，α选择不恰当，会导致各模态分量之间的相关性变大。
[0296]
②
将4个k值和6个惩罚因子α值进行组合，得到24个参数对，判断每种参数对得到的模态分量是否满足寻优相关性限制条件和频率损失的限制条件，保留满足寻优相关性限制条件和频率损失的限制条件的参数对：
[0297]
寻优相关性限制条件为：
[0298][0299][0300]
其中，c(
·
)表示相关性函数，k是第k模态分量，k是模态分量的个数；mc是固定模态数k下相邻两个模态之间的相关性平均值；c表示参数α的寻优次数，公式表示第c次寻优和第c-1次寻优相关性的比值；当α设置过大后，或导致模态分量之间的相关性突然上升，所以，将判断阈值设定为了0.5，当相关性比值小于0.5时，保留c-1次寻优值α为该模态数k值下的α；最后得到4对参数对，即4对k和α。例如，[k＝1,α＝400]，[k＝2,α＝400]，[k＝3,α＝400]，[k＝4,α＝400]。其中α是不确定的，当无法满足条件时，α迭代到2000停止，并使用2000为α值。
[0301]
在进行模态分解的过程中，可能会出现频率损失，频率损失的限制条件为：
[0302][0303]
其中，s(t)为色度算法处理过后的ippg信号，||
·
||2为二范数；保留小于阈值条件的参数对。
[0304]
③
使用最大包络峰度的方法在步骤
②
保留下来的参数对中来选择最优的参数对：
[0305][0306]
其中，k是第k模态分量，时模态数k下第k模态分量的希尔伯特变换的模；需要注意的是，因为步骤
②
保留下来的参数对中，每个模态数k下，只有一对参数对，所以在数量
上，参数对的数量和模态数k的数量是等价的。
[0307][0308]
其中，分子为的四阶中心矩，σ(
·
)为平方差，ekk为第k模态分量希尔伯特变换取模后的峰度值；
[0309][0310][0311][0312]
其中，为k模态数下，所有模态分量希尔伯特变换取模后的峰度值组成的向量，为中最大的峰度值，为所有参数对中最大峰度值；
[0313]
④
最后返回中模态数k值和α，就完成了对参数的自动寻优。
[0314]
自动寻优的vmd算法输出的k个模态分量中，其中，频谱中具有最大峰值的模态分量即为心率信号；通过傅里叶变换求解最大峰值频率，就可以得到最终的心率值。
[0315]
本实施例5涉及的具体步骤与实施例4一致，这里不再累述。
[0316]
实施例6
[0317]
本发明实施例6提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现非接触式心率测量方法的指令，该方法包括：
[0318]
获取待测者的多帧人脸图像；
[0319]
确定每一帧人脸图像中的人脸感兴趣区域；
[0320]
对所有人脸感兴趣区域内的皮肤像素进行累加平均，获得ippg信号；
[0321]
基于ippg信号获取色度信号；
[0322]
对色度信号进行变分模态分解算法，得到多个模态分量，频谱中具有最大峰值的模态分量即为心率信号。
[0323]
实施例7
[0324]
本发明实施例7提供一种计算机程序(产品)，包括计算机程序，所述计算机程序当在一个或多个处理器上运行时，用于实现如上所述的非接触式心率测量方法，该方法包括：
[0325]
获取待测者的多帧人脸图像；
[0326]
确定每一帧人脸图像中的人脸感兴趣区域；
[0327]
对所有人脸感兴趣区域内的皮肤像素进行累加平均，获得ippg信号；
[0328]
基于ippg信号获取色度信号；
[0329]
对色度信号进行变分模态分解算法，得到多个模态分量，频谱中具有最大峰值的模态分量即为心率信号。
[0330]
实施例8
[0331]
本发明实施例8提供一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行
所述存储器存储的计算机程序，以使电子设备执行如上所述的非接触式心率测量方法，该方法包括：
[0332]
获取待测者的多帧人脸图像；
[0333]
确定每一帧人脸图像中的人脸感兴趣区域；
[0334]
对所有人脸感兴趣区域内的皮肤像素进行累加平均，获得ippg信号；
[0335]
基于ippg信号获取色度信号；
[0336]
对色度信号进行变分模态分解算法，得到多个模态分量，频谱中具有最大峰值的模态分量即为心率信号。
[0337]
综上所述，本发明实施例所述的非接触式心率检测方法及系统通过chrom算法可将像素值的强度和光强以及颜色分离，消除噪声；对信号进行vmd算法，根据心跳频率特征，使用vmd算法将主要信号分解为不同模态，保证了各模态之间信号频率范围互不重叠，分离出较为完整且无谐波残留的心跳信号。
[0338]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0339]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0340]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0341]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0342]
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明公开的技术方案的基础上，本领域技术人员在不需要付出创造性劳动即可做出的各种修改或变形，都应涵盖在本发明的保护范围之内。