一种基于现实应用场景下的非接触式心率变异性特征提取方法与流程

1.本发明涉及到计算机视觉、信号处理技术领域，尤其涉及非接触式心率变异性特征提取方法。


背景技术：

2.心率变异性(hrv)是评价自主神经活动及心脏内在动力学机制的重要指标。心率变异的现象源自自主神经系统对心率的调节作用，交感神经系统与副交感神经系统间相互作用引起了心率的周期性变化。心率变异性在心脏疾病、精神类疾病、情感识别等研究中被广泛应用。
3.心率变异性特征主要通过接触式方法采集的心电信号进行提取。在现实应用场景下，使用接触式方式获取心率变异性特征需要被试者主动配合、佩戴相关采集设备，这给现实应用带来很多不便。特别是当心率变异性特征用于情感识别时，采用接触式方式采集心率变异性特征时，由于采集过程中人为接触因素的影响，也会对提取的被试者心率变异性特征产生影响。
4.非接触式心率检测方式主要有激光多普勒技术、微波或毫米波多普勒雷达及热成像技术等。但上述技术一般设备造价较高，而且设备长时间使用对人体会有影响，不适于在实际应用中广泛使用。近年来，基于光电容积描记技术(ppg)发展而来的成像式光电容积描记法(ippg)已经能够较为准确的获得人体心率信息，这也使得通过该原理进行非接触式心率变异性测量成为可能。
5.通过ippg提取心率变异性特征的一般流程首先是通过摄像头采集包含人脸的视频，对视频进行人脸检测划定人脸区域，再从人脸区域内选取特定区域作为roi区域，并对此区域通过颜色空间进行通道分离，计算每一帧单通道或多通道的像素均值，根据像素均值间的差异应用信号处理方法得到心率值。但是在现实应用场景下，直接应用上述流程提取hrv特征存在的问题是由于需要逐帧进行人脸检测，提取速度较慢，不能满足实际应用的需求。另外，在现实应用场景下，由于被测者晃动、不同光照条件等环境因素也会影响心率变异性特征提取的准确性，上述提取流程也不能很好地解决这个问题。


技术实现要素：

6.为了解决上述问题，本发明从非接触式心率变异性特征提取速度慢、不同光照条件和晃动对非接触心率变异性特征提取准确度影响大两个方面出发，基于ippg原理综合图像处理技术、信号处理技术、特征提取技术，提出了一个基于现实应用场景下的非接触式心率变异性特征提取方法，提取到的特征与接触式的提取结果具有一致性。
7.本发明提出的非接触式心率变异性特征提取方法，为了提高心率变异性特征的提取速度提出了一个结合人脸检测和人脸跟踪获取人脸区域的解决策略，通过人脸检测获取人脸位置然后对该人脸位置进行跟踪，同时在跟踪过程中按照固定时间间隔通过人脸检测
对人脸位置进行重定位防止跟踪偏移，并不断对因晃动而产生的人脸偏移进行人脸校正防止人脸区域提取不全，从而保证在提升速度的同时不影响人脸区域获取的准确性。并且本发明还将从摄像头获取图像和图像处理分别放在两个线程中依靠一个共享队列来实现同时进行，从而更好提高提取速度。
8.为了减轻不同光照条件对提取结果产生影响，本发明提出了一个结合通道分离、自适应皮肤检测、eemd滤波的解决策略。首先将人脸区域图像转换到luv色彩空间，将反映亮度变化的l通道分离出来，获取反映色度变化的u通道图像，并将人脸区域图像转换到ycrcb色彩空间，根据不同光照条件下亮度分量y结合cb分量自适应确定阈值来进行皮肤检测获取人脸区域图像的皮肤部分，与运算皮肤检测结果和u通道图像获取原始心率信号，初步降低光照强度变化的影响，应用eemd方法对原始心率信号进行降噪，进一步降低光照变化的影响。
9.为了减轻被试者晃动对提取结果产生影响，本发明提出了一个可修正受晃动影响峰值点的峰值点提取策略。首先计算信号峰值点，然后通过信号相邻峰值点间的斜率和峰值点间距离是否在阈值范围内来判定各个提取到的峰值点是否受到晃动影响出现提取异常，对出现提取异常的峰值点，通过当前异常峰值点前各正常峰值点位置取平均纠正该异常峰值点，从而得到相对准确的信号峰值点，进而减轻晃动对于特征提取的影响。
10.为了达到上述目的，本发明提出的采集流程是：
11.步骤一、采集包含人脸的图像：
12.被测者面向摄像头按照摄像头固定帧率30fps采集人脸图像，被测者至少要连续采集30s的人脸图像才能提取到相对准确的心率变异性特征。
13.其中，关于采集到的包含人脸的图像的存储需要在一个子线程中进行，也就是说在程序中图像的采集和读取图像进行处理应该是在两个线程中同时进行的，两个线程会共享一个图像队列。
14.步骤二、获取图像面部区域：
15.使用libfacedetection开源人脸检测库进行人脸检测与klt(kandade
‑
lucas
‑
tomasi)跟踪方法进行人脸跟踪相结合的这种方式提取面部区域，人脸检测获取人脸位置然后对该人脸位置进行跟踪，同时在跟踪过程中按照10s固定时间间隔重新使用人脸检测定位人脸位置再继续进行跟踪。
16.在人脸跟踪过程中，通过人脸跟踪后确定的人脸区域所在的四个顶点，确定一个最小的外接矩形，通过矩形的中心点和偏转角度来对受晃动影响的人脸进行校正，防止面部区域提取不全。
17.步骤三、欧拉放大：
18.使用欧拉放大方法进行人脸区域肤色变化增强，增强人脸图像中与生理信号有关部分的信息。
19.步骤四、通道分离：
20.将经过步骤三得到的经过欧拉放大后的人脸图像从rgb色彩空间转换到luv色彩空间，目的是将反映亮度变化的l通道分离出来，使用反映色度变化的u通道来提取原始心率信号。
21.步骤五、自适应阈值皮肤检测：
22.提出自适应阈值进行皮肤检测，根据不同光照条件下亮度分量y结合cb分量自适应确定阈值，符合阈值范围为皮肤像素，将其像素点设置为255白色，其余设置为0黑色。将皮肤检测图像与u通道做与运算，从而去除非皮肤区域，得到去除非皮肤区域的u通道人脸图像。
23.步骤六、源信号提取：
24.对一轮hrv特征提取过程中，经过步骤五得到的全部去除非皮肤区域的u通道人脸图像计算像素均值，得到的一系列像素均值点，然后对这一系列像素点进行标准化计算就构成了原始心率信号。
25.步骤七、eemd去噪：
26.使用eemd(ensemble empirical mode decomposition)方法对原始心率信号进行降噪进一步降低光照条件不同的影响。
27.步骤八、五点滑动：
28.应用五点滑动平滑滤波方法去除信号中仍然含有的高频噪声
29.步骤九、峰值点提取与修正：
30.计算信号峰值点，并通过设置两峰值点的距离和斜率的阈值范围，找出受晃动影响的峰值点并将其修正，从而得到相对准确的信号峰值点。
31.步骤十、hrv特征提取：
32.使用步骤九得到的修正后的峰值点计算rr间期和r点时间进而提取hrv特征，提取时域特征、频域特征、非线性特征共27个hrv特征。
33.其中，时域特征包括：max、min、mean、median、sdnn、rmssd、hr
‑
mean、hr
‑
sd、nn40、pnn40或hrvti；
34.其中，频域特征使用lomb
‑
scargle周期图进行频谱分析提取得到，频域特征包括：avlf、alf、ahf、atotal、pvlf、plf、phf、nlf、nhf、lfhf、peakvlf、peaklf或peakhf；
35.其中，非线性特征包括：sd1、sd2或sd1/sd2。
36.本发明的优点和积极效果是：
37.本发明提出了一个基于现实应用场景的非接触式心率变异性特征提取方法，具体体现在，在提取方法中融入提高非接触式心率变异性特征提取速度的策略，以及克服晃动、光照条件不同影响，从而提高非接触式心率变异性特征提取准确性的策略。在现实应用场景下，可以在本发明的基础上实现测试者自动切换、自动检测、自动计算hrv特征等现实应用功能，有很强的现实应用意义。
附图说明
38.图1为本发明技术方案流程图。
39.图2为结合人脸检测和人脸跟踪获取人脸区域的提高特征提取速度策略流程图。
40.图3为结合通道分离、自适应皮肤检测、eemd滤波的减轻光照条件不同影响策略流程图。
41.图4为可修正受晃动影响峰值点的峰值点提取策略流程图。
42.图5为人脸矫正旋转坐标系。
具体实施方式
43.下面结合附图对本发明做进一步说明。
44.本发明提供了一种基于现实应用场景下的非接触式心率变异性特征提取方法，可以在现实应用场景下快速、较为准确地提取到心率变异性特征，可用于进行情感识别以反映被测者的心理压力水平，可以应用于协助海关工作人员筛查可疑通关人员等现实场景。
45.参照附图2，本发明提出的结合人脸检测和人脸跟踪获取人脸区域的提高特征提取速度策略。通过人脸检测获取人脸位置然后对该人脸位置进行跟踪，同时在跟踪过程中按照固定时间间隔通过人脸检测对人脸位置进行重定位防止跟踪偏移，并不断对因晃动而产生的人脸偏移进行人脸校正防止人脸区域提取不全，从而保证在提升速度的同时而不影响人脸区域获取的准确性，并且本发明还将从摄像头获取图像和图像处理分别放在两个线程中依靠一个共享队列来实现同时进行，从而更好提高提取速度。
46.参照附图3，本发明提出的结合通道分离、自适应皮肤检测、eemd滤波的减轻不同光照条件影响策略。首先将人脸区域图像转换到luv色彩空间，将反映亮度变化的l通道分离出来，获取反映色度变化的u通道图像，并将人脸区域图像转换到ycrcb色彩空间，根据不同光照条件下亮度分量y结合cb分量自适应确定阈值来进行皮肤检测获取人脸区域图像的皮肤部分，与运算皮肤检测结果和u通道图像获取原始心率信号，初步降低光照条件不同的影响，应用eemd方法对源信号进行降噪，进一步降低光照条件不同的影响。
47.参照附图4，本发明提出的可修正受晃动影响峰值点的峰值点提取策略。首先计算信号峰值点，然后通过信号相邻峰值点间的斜率和峰值点间距离是否在阈值范围内来判定各个提取到的峰值点是否受到晃动影响出现提取异常，对出现提取异常的峰值点，通过当前异常峰值点前各正常峰值点位置取平均纠正该异常峰值点，从而得到相对准确的信号峰值点，进而减轻晃动对于特征提取的影响。
48.参照附图1，本发明结合上述策略提出的基于现实应用场景下的非接触式心率变异性特征提取方法主要包含4大部分：数据采集部分、图像处理部分、信号处理部分、hrv特征提取部分，可细分为10个步骤：采集包含人脸的图像、获取图像面部区域、欧拉放大、通道分离、自适应阈值皮肤检测、源信号提取、eemd去噪、五点滑动、峰值点提取与修正、hrv特征提取。
49.具体步骤如下：
50.步骤一、采集包含人脸的图像：
51.被测者面向摄像头按照摄像头固定帧率采集人脸图像，现在市面上普通usb摄像头的帧率大多都是30fps，所以本发明假定按照30fps采集人脸图像。被测者至少要连续采集30s的人脸图像才能提取到相对准确的心率变异性特征。
52.由于本发明是基于现实应用场景的，所以要是如一般流程一样先进行人脸视频录制，然后再从人脸视频中提取心率变异性特征是不符合要求的。所以本发明在应用时需要有三个线程同时进行，一个线程负责采集人脸图像，一个线程负责处理人脸图像、一个线程负责信号处理和特征提取。
53.既然是分线程进行处理，一个线程采集人脸图像、一个线程处理人脸图像，那就需要一个共享空间保证一个线程将采集到的人脸图像按顺序存入共享空间，另一个线程从共享空间中按顺序读取人脸图像进行处理，因为存取和读取操作都需要按顺序进行且要求快
速，所以这个共享空间使用队列这个数据结构实现最为合适。
54.步骤二、获取图像面部区域：
55.传统非接触式心率变异性特征提取流程提取速度比较慢。传统非接触式特征提取会对每一帧图像都做一次人脸检测，这种方式虽然能稳定提取到人脸区域，但速度很慢，效率低。面部区域提取在hrv特征提取总体流程中是至关重要的，并且面部区域提取是对图像进行处理，与信号处理、情感分类等纯数值计算相比，本身就会占程序运行的大部分耗时，所以优化这个阶段会极大提高系统整体运行速度。
56.从这个问题出发，本发明使用libfacedetection开源人脸检测库进行人脸检测与klt(kandade
‑
lucas
‑
tomasi)跟踪方法进行人脸跟踪相结合的这种方式提取面部区域，这种提取方式速度快，面部区域提取稳定，而且不影响其他功能实现(比如在现实应用场景下需要考虑被测者自动切换等关键功能)，人脸检测在这个提取方式中可以视为人脸跟踪提供跟踪模板，并且为了防止跟踪位置相对人脸位置发生偏移，在跟踪过程中还会按照固定时间间隔重新进行人脸检测重新定位人脸位置在进行人脸跟踪。
57.在实际应用场景下还要考虑晃动情况，使用人脸检测加人脸跟踪这种方式在晃动情况下会出现面部区域提取不完全的情况，所以需要进行人脸矫正，传统进行人脸矫正一般是先通过提取面部特征点，然后定位瞳孔位置，通过两瞳孔间连线的偏转角度来进行人脸矫正。这种方式虽然能有效校正人脸位置，但矫正速度慢，如果放在非接触式心率变异性特征提取的流程中会严重拖慢提取速度。所以本发明通过人脸跟踪后确定的人脸区域所在的四个顶点，确定一个最小的外接矩形，通过矩形的中心点和偏转角度来进行校正。参照附图5，矩形的偏转角度由一个坐标系来确定，当矩形向右偏移时，在坐标系的第一象限，偏转角度以x轴正半轴为0度基准。当矩形向左偏移时，由第二象限来判定角度，偏移角度以y轴正半轴为0度基准。当角度在0
‑
45度之间用当前度数确定为旋转角度顺时针旋转，当角度在45
‑
90度之间用90减去度数确定为旋转角度逆时针旋转。通过这个矩形的中心点，和这个矩形的偏转角度，构造仿射变换矩阵，对整张图像按仿射变换矩阵进行仿射变换，并按照矩形中心点和矩形长宽重新截取图像，就可以的到校正后的人脸了，虽然这种方法虽然效果不如人脸特征点校正方案，但速度快，校正结果也可以符合应用要求。
58.步骤三、欧拉放大：
59.在本发明中应用欧拉放大方法进行人脸区域肤色变化增强，增强人脸图像中与生理信号有关部分的信息。
60.其中，欧拉放大方法中空间分解层数为6层，时域滤波频带为1
‑
2hz，图像放大倍数为200.
61.步骤四、通道分离：
62.在本发明中为了减轻不同光照条件对hrv特征提取的影响，所以将经过步骤三得到的经过欧拉放大后的人脸图像从rgb色彩空间转换到luv色彩空间，目的是将反映亮度变化的l通道分离出来，使用反映色度变化的u通道来提取原始心率信号。
63.步骤五、自适应阈值皮肤检测：
64.因为经过人脸检测和人脸跟踪得到的人脸区域图像还存在非皮肤区域的人脸部分，这些部分对会影响hrv特征提取的准确性，所以需要筛除人脸非皮肤区域，并且由于现实应用场景下光照条件不同，所以单一阈值的皮肤检测效果欠佳，本发明提出自适应阈值
进行皮肤检测，根据不同光照条件下亮度分量y结合cb分量自适应确定阈值，符合阈值范围为皮肤像素，将其像素点设置为255白色，其余设置为0黑色。将皮肤检测图像与u通道做与运算，从而去除非皮肤区域，得到去除非皮肤区域的u通道人脸图像。
65.在ycrcb颜色空间中定义动态配置规则如下：
[0066][0067][0068]
θ3＝6；θ4＝
‑8[0069]
if(y≤128)θ1＝6；θ2＝12；
[0070][0071][0072]
如果像素的cr值满足以下条件，则该像素为皮肤像素
[0073]
c
r
≥
‑
2(c
b
24)；c
r
≥
‑
(c
b
17)；
[0074]
c
r
≥
‑
4(c
b
32)；c
r
≥2.5(c
b
θ1)；
[0075]
c
r
≥θ3；c
r
≥0.5(θ4‑
c
b
)；
[0076][0077]
其中，y为亮度分量，cb为蓝色色度分量，cr为红色色度分量，θ1～θ4为中间变量。
[0078]
步骤六、源信号提取：
[0079]
在本发明中，对一轮hrv特征提取过程，经过步骤五得到的全部去除非皮肤区域的u通道人脸图像计算像素均值，得到的一系列像素均值点，然后对这一系列像素点进行标准化处理就构成了原始心率信号。
[0080]
步骤七、eemd去噪：
[0081]
在现实应用场景下，不同光照条件对于hrv特征提取有很大影响，实验结果表明照度越低，提取的hrv特征误差越大。为了降低不同光照条件对于hrv提取造成的误差，本发明采取eemd(ensemble empirical mode decomposition)方法进行降噪处理。应用eemd方法自适应获取各尺度下不同分辨率的imf分量，通过hilbert变换计算出瞬时频率，并根据瞬时频率分辨出噪声主导的imf分量和信号主导的imf分量，舍弃噪声主导的imf分量，保留信号主导的imf分量重构信号，从而达到减轻不同光照条件下对于hrv特征提取的影响。
[0082]
步骤八、五点滑动：
[0083]
五点滑动平均滤波属于低通滤波，可以有效去除信号中仍然含有的高频噪声。应用五点滑动平均滤波对步骤七中经过eemd滤波之后的信号进一步进行滤波，使信号更加平滑。
[0084]
五点滑动平均第i个新数据的计算公式为：
[0085]
其中，n为信号长度，f(j)为五点滑动窗口内的信号值，y(i)为五点滑动平均确定的新信号值。
[0086]
步骤九、峰值点提取与修正：
[0087]
当被试者头部出现晃动时会造成心率变异曲线的抖动，从而会导致心率变异曲线峰值点提取不准确。所以本发明提出了一个可修正受晃动影响峰值点的提取峰值点策略，先对步骤八之后得到的平滑信号计算信号峰值点，然后通过相邻峰值点间的斜率和峰值点间距离是否在阈值范围内来判定峰值点提取是否受晃动影响出现提取异常，对出现提取异常的峰值点，通过当前异常峰值点前各正常峰值点位置取平均纠正该异常峰值点，修正所有出现异常的峰值点，从而得到相对准确的信号峰值点。
[0088]
在本发明中判定相邻峰值点间斜率是否在阈值范围内的公式如下：
[0089][0090]
其中，h
i
表示第i(i＝1,2,
…
,n)个峰值点的高度，t
i
表示第i(i＝1,2,
…
,n)个峰值点对应的时间，不满足该公式则代表第i个峰值点为异常峰值点。
[0091]
在本发明中判定相邻峰值点间距离是否在阈值范围内的公式如下：
[0092]
60/(hr
‑
14)≤t
i
‑
t
i
‑1<60/(hr 14)，(i＝2,3,
…
,n)
[0093]
其中，t
i
表示第i(i＝1,2,
…
,n)个峰值点对应的时间,hr表示心率均值,不满足该公式则代表第i个峰值点为异常峰值点，其中平均心率hr的计算公式如下：
[0094][0095]
其中，t
all
表示检测的总时长，count表示检测中峰值点总数。
[0096]
对于检测到的异常峰值点，对其进行修正的计算公式如下：
[0097]
t
f_new
＝t
f
‑1 [(t
f
‑1‑
t
f
‑2)
…
(t2‑
t1)]/(f
‑
2)
[0098]
其中，t
f_new
为修正后结果，(t
f
‑1,
…
,t1)为待修正异常峰值点前的正常峰值点或已修正峰值点。
[0099]
步骤十、hrv特征提取：
[0100]
使用步骤九得到的修正后的峰值点计算rr间期和r点时间进而提取hrv特征，提取时域特征、频域特征、非线性特征共27个hrv特征。
[0101]
其中，时域特征包括：max、min、mean、median、sdnn、rmssd、hr
‑
mean、hr
‑
sd、nn40、pnn40或hrvti；
[0102]
其中，频域特征使用lomb
‑
scargle周期图进行频谱分析提取得到，频域特征包括：avlf、alf、ahf、atotal、pvlf、plf、phf、nlf、nhf、lfhf、peakvlf、peaklf或peakhf；
[0103]
其中，非线性特征包括：sd1、sd2或sd1/sd2。
[0104]
以上为本发明的具体实施方式。