一种基于人脸视频的非接触式心率检测装置和方法与流程

技术特征：
1.一种基于人脸视频的非接触式心率检测方法，其特征在于：包括以下步骤，获取不带肤色变化的人脸视频v，根据人脸视频v合成多个用于模拟真实人脸视频的视频v
rppg
；发送多个视频v
rppg
作为训练样本对深度学习模型进行训练，以使深度学习模型对待检测心率的人脸图像进行信号放大，并从放大后的人脸图像中获得高信噪比的数据，进而计算得到心率。2.按照权利要求1所述的一种基于人脸视频的非接触式心率检测方法，其特征在于：不带肤色变化的人脸视频v的获取方式为，选取一张基础图片c以及一段驱动视频v
d
，通过一阶运动模型，将基础图片c与驱动视频v
d
拟合成不带肤色变化的人脸视频v。3.按照权利要求1所述的一种基于人脸视频的非接触式心率检测方法，其特征在于：获取人脸视频v后还包括以下步骤，对人脸视频v利用函数s生成脉搏波信号，将脉搏波信号s(t,f)添加到合成的视频v
rppg
中，用于深度学习模型的训练，其中，σ表示信号的尺度，f表示信号频率；t表示信号的长度；a
i
和b
i
是决定信号波形的常数；其中，p
j
表示在j通道中增加的信号强度，表示经过一阶运动模型生成的人脸视频v中图像的像素值，表示添加肤色变化信号之后图像的像素值。4.按照权利要求1所述的一种基于人脸视频的非接触式心率检测方法，其特征在于：合成视频v
rppg
的实现方式包括，构建bvp曲线来模拟人脸的肤色变化，对构建的bvp曲线进行采样，采样频率与人脸视频v的帧率保持一致，采样值作为肤色信号强度并进行维度扩张之后添加到人脸视频v中，生成用于模拟真实人脸视频的视频v
rppg
。5.按照权利要求1所述的一种基于人脸视频的非接触式心率检测方法，其特征在于：合成视频v
rppg
时，同步生成与视频v
rppg
对应的标签，使用v
rppg
作为训练样本对深度学习模型进行训练时，采用与视频v
rppg
对应的标签来计算损失；采用的损失函数为，l
a
＝50l1 l
ss
m；其中，l
α
表示总损失，l1表示正则化损失，l
ssim
表示结构相似性损失。6.按照权利要求1所述的一种基于人脸视频的非接触式心率检测方法，其特征在于：深度学习模型的训练方法包括以下步骤，首先构建一个包含多个人脸视频v的数据库，每一步训练迭代的过程中从数据库中随机选取人脸视频v；然后对选取的人脸视频v添加肤色变化，并随机调节其中函数的时间相位，将数据合成步骤的代码整合到网络训练的数据加载
过程中，使数据合成与网络训练的过程同步进行。7.按照权利要求1所述的一种基于人脸视频的非接触式心率检测方法，其特征在于：在深度学习模型训练过程中，调整数据合成算法的参数以增加合成数据种类。8.按照权利要求1所述的一种基于人脸视频的非接触式心率检测方法，其特征在于：计算得到心率的实现方式包括，对待检测心率的人脸区域进行视频采集，对采集到的视频中每帧图像通过训练好的深度学习模型进行信号放大，计算放大后的人脸图像的均值，对计算出来的曲线进行峰值检测，分析出波峰之间的时间间隔并以此来计算该段时间内的平均心率。9.一种基于人脸视频的非接触式心率检测装置，其特征在于：包括视频处理模块，用于根据不带肤色变化的人脸视频v合成多个用于模拟真实人脸视频的视频v
rppg
；深度学习模型，用于采用多个视频v
rppg
作为训练样本进行训练，并对待检测心率的人脸图像进行信号放大；心率计算模块，用于从放大后的人脸图像中获得高信噪比的数据，进而计算得到心率。10.按照权利要求9所述的一种基于人脸视频的非接触式心率检测装置，其特征在于：深度学习模型采用编码解码器结构，包括桥接块以及分别连接于桥接块的编码器和解码器，编码器用于接收视频v
rppg
，解码器用于接收与视频v
rppg
同步对应生成的标签，桥接区域设有用以调整信号放大倍率的放大系数α。

技术总结
本发明涉及一种基于人脸视频的非接触式心率检测装置和方法，通过人工数据合成、深度神经网络、人脸区域检测、波形分析等方法，将人脸视频中所包含的心率信号精准地提取出来，融合编码解码器模型与相关的检测和数据分析技术，搭建出一套基于深度学习的针对人脸的非接触式心率脉搏波的完整检测框架，同时又开发出一个数据合成的算法用于解决目前包含生物特征的人脸数据及标签短缺的问题，从而实现了基于人脸视频的非接触心率脉搏波检测，可用于临床诊断。床诊断。床诊断。


技术研发人员：胡国清 李光发 陈佳 付西敏
受保护的技术使用者：广东寰宇智慧医疗科技有限公司
技术研发日：2022.03.31
技术公布日：2022/7/8