一种基于特征正交约束与RGB时序重构的心率检测方法及系统

本发明属于计算机视觉、生物医学信号处理和非接触式生命体征监测，具体涉及一种基于特征正交约束与rgb时序重构的心率检测方法及系统。

背景技术：

1、rppg技术能够利用普通摄像设备采集人体暴露皮肤区域的视频，并根据视频中的微弱颜色变化恢复与血容量变化相关的脉搏信号。与接触式生理信号测量方式相比，rppg技术具有非接触、便于部署等特点。

2、心脏搏动引起的皮肤颜色变化幅度较小，容易受到头部运动、表情变化、姿态变化、环境光波动、局部阴影、相机自动曝光、视频压缩以及传感器噪声的影响。上述非生理因素使生理脉搏分量与非生理噪声分量在rgb观测域内发生混合，导致恢复的rppg波形出现峰谷偏移、局部异常振荡或频谱噪声增强等问题。

3、现有深度学习方法通常直接建立输入视频到脉搏波形或心率的端到端映射，其训练目标主要用于约束预测结果与参考脉搏信号之间的一致性。这类方法通常缺少对生理脉搏分量与非生理噪声分量的显式建模，因而可能使非生理噪声进入脉搏表征。此外，接触式参考脉搏信号还可能受到采集位置差异、接触不稳定或采样延迟的影响。因此，需要一种能够分离两类成分并利用视频观测信息形成闭环监督的技术方案。

技术实现思路

1、本发明的目的在于提供一种基于特征正交约束与rgb时序重构的心率检测方法及系统。

2、第一方面，本发明提供了一种基于特征正交约束与rgb时序重构的心率检测方法，该方法包括：

3、通过rgb摄像设备获取包含样本对象面部区域的原始训练视频片段；对原始训练视频片段进行面部感兴趣区域处理，得到训练视频片段；根据面部感兴趣区域中rgb各通道的时序变化获得目标rgb时序信号；

4、构建包括脉搏分支和噪声分支的双分支网络；将训练视频片段并行输入脉搏分支和噪声分支，分别提取脉搏相关高层特征和噪声相关高层特征；通过时间回归头分别对脉搏相关高层特征和噪声相关高层特征进行处理，得到预测脉搏信号和非生理噪声信号；

5、分别根据预测脉搏信号和非生理噪声信号构建脉搏驱动rgb分量和噪声驱动rgb分量，将脉搏驱动rgb分量和噪声驱动rgb分量叠加，得到重构rgb时序信号；根据目标rgb时序信号与重构rgb时序信号之间的一致性构建重构损失；

6、根据脉搏相关高层特征与噪声相关高层特征对应的特征向量之间的余弦相似度绝对值构建正交损失；

7、构建包括重构损失和正交损失的总损失，并根据总损失更新脉搏分支、噪声分支和时间回归头的可学习参数；

8、通过rgb摄像设备获取被测对象的面部视频，并对该面部视频进行面部感兴趣区域处理，得到预处理视频片段；将预处理视频片段输入经训练的脉搏分支和时间回归头，输出预测脉搏信号；根据预测脉搏信号确定被测对象的心率。

9、作为优选，所述正交损失的构建方法如下：

10、分别沿空间维对脉搏相关高层特征和噪声相关高层特征进行全局平均池化，得到脉搏相关池化特征和噪声相关池化特征；分别将脉搏相关池化特征和噪声相关池化特征的通道维与时间维展开，得到各训练样本对应的脉搏特征向量和噪声特征向量；对各训练样本对应的脉搏特征向量和噪声特征向量进行对齐后，计算两者之间的余弦相似度绝对值，并以所有训练样本对应的余弦相似度绝对值的平均值作为正交损失。

11、作为优选，所述脉搏驱动rgb分量和噪声驱动rgb分量的构建方法如下：

12、分别设置预测脉搏信号对应的可学习幅值系数和脉搏投影向量，以及非生理噪声信号对应的可学习幅值系数和噪声投影向量；所述脉搏投影向量和噪声投影向量均为可学习参数；将预测脉搏信号与其对应的可学习幅值系数和脉搏投影向量相乘，得到脉搏驱动rgb分量；将非生理噪声信号与其对应的可学习幅值系数和噪声投影向量相乘，得到噪声驱动rgb分量。

13、作为优选，对脉搏投影向量的三个通道分量施加通道相对权重次序约束；所述通道相对权重次序约束为：绿色通道分量大于蓝色通道分量，且蓝色通道分量大于红色通道分量。

14、作为优选，所述总损失还包括脉搏监督损失；所述脉搏监督损失根据预测脉搏信号与参考脉搏信号之间的皮尔逊相关系数构建；所述参考脉搏信号为与原始训练视频片段同步采集的光电容积脉搏波形或血容量脉搏波形。

15、作为优选，所述总损失还包括最大互相关损失；所述最大互相关损失的构建方法如下：

16、在预设时间偏移范围内，对参考脉搏信号进行相对时间平移；计算预测脉搏信号与各时间偏移量对应的参考脉搏信号之间的归一化互相关值；从各归一化互相关值中确定最大归一化互相关值，并根据最大归一化互相关值确定最大互相关损失。

17、作为优选，所述总损失还包括频域分离损失；所述频域分离损失的构建方法如下：

18、分别对预测脉搏信号和非生理噪声信号进行去均值处理和单边快速傅里叶变换；在预设生理频段内分别提取预测脉搏信号和非生理噪声信号的功率谱密度，并对功率谱密度进行归一化，得到脉搏功率谱和噪声功率谱；获取脉搏功率谱与噪声功率谱在各频率点处的差值平方的平均值，得到频谱差异度；若频谱差异度小于预设间隔阈值，则频域分离损失为预设间隔阈值与频谱差异度的差值；否则，频域分离损失为零。

19、作为优选，所述脉搏分支包括依次连接的七个卷积块；所述噪声分支包括依次连接的五个卷积块；所述卷积块均包括依次连接的卷积层、批归一化层和非线性激活层。

20、作为优选，所述面部感兴趣区域处理方式为：对原始训练视频片段或被测对象的面部视频进行面部检测、面部跟踪或关键点定位，确定整脸皮肤区域、额头区域、脸颊区域或多个面部分区中的至少一种区域，并根据所确定的区域进行图像裁剪。

21、第二方面，本发明提供了一种基于特征正交约束与rgb时序重构的心率检测系统，其用于执行上述的心率检测方法；该心率检测系统包括rgb摄像设备、处理器和存储器，所述处理器上配置有数据获取模块、感兴趣区域处理模块、rgb时序信号生成模块、双分支处理模块、损失构建模块、参数更新模块和生命体征输出模块；

22、所述数据获取模块用于通过rgb摄像设备获取包含样本对象面部区域的原始训练视频片段和被测对象的面部视频，并获取与原始训练视频片段同步采集的参考脉搏信号；所述感兴趣区域处理模块用于对原始训练视频片段进行面部感兴趣区域处理，得到训练视频片段，以及对被测对象的面部视频进行面部感兴趣区域处理，得到预处理视频片段；所述rgb时序信号生成模块用于根据面部感兴趣区域中rgb各通道的时序变化获得目标rgb时序信号；所述双分支处理模块包括参数相互独立的脉搏分支和噪声分支以及时间回归头，用于输出预测脉搏信号和非生理噪声信号；所述损失构建模块用于根据预测脉搏信号、非生理噪声信号、目标rgb时序信号、脉搏相关高层特征和噪声相关高层特征构建总损失；所述参数更新模块用于根据总损失更新双分支网络、时间回归头以及rgb时序重构所用可学习参数；所述生命体征输出模块用于将预处理视频片段输入经训练的脉搏分支和时间回归头，得到被测对象的预测脉搏信号，并根据预测脉搏信号确定被测对象的心率。

23、第三方面，本发明提供一种计算机设备，其包括存储器、处理器及存储在存储器上并能够在处理器上运行的计算机程序；所述处理器执行所述计算机程序时实现前述心率检测方法。

24、第四方面，本发明提供一种计算机可读存储介质，其存储有计算机程序；所述计算机程序被处理器执行时实现前述心率检测方法。

25、本发明具有的有益效果是：

26、1、本发明通过参数相互独立的脉搏分支和噪声分支分别表征生理脉搏成分与非生理噪声成分，并利用正交约束降低两类高层特征之间的线性相关性和表征冗余，能够减少运动、表情变化及光照变化等非生理因素对脉搏表征的干扰。

27、2、本发明利用预测脉搏信号和非生理噪声信号共同重构面部感兴趣区域的rgb时序变化，使模型获得来自视频观测域的闭环监督；同时，本发明结合最大互相关约束和频域分离约束，能够减弱参考脉搏信号时间偏移以及噪声分支吸收生理主频成分的影响，提高复杂场景下脉搏波形恢复和心率检测的稳定性。

28、3、本发明采用普通rgb摄像设备即可实现非接触式心率检测，检测阶段仅需运行经训练的脉搏分支和时间回归头，并可部署于移动终端、边缘计算设备、服务器或监护设备，具有较好的设备适配性和应用便利性。