基于差分全局上下文与时空注意力的心率估计方法及系统
本发明涉及图像处理,特别涉及一种基于差分全局上下文与时空注意力的心率估计方法及系统。
背景技术:
1、远程光电容积描记(rppg)技术通过普通摄像头采集人脸视频,利用皮肤微弱的光反射变化来估计心率,具有无接触、低成本的优点,在健康监测、情绪识别等场景中具有广泛的应用前景。
2、现有基于深度学习的rppg方法通常采用三维卷积编解码网络,直接从人脸视频的时空特征中回归rppg信号。然而,人脸视频中存在大量与心率无关的冗余背景信息,如头部运动、表情变化、光照波动等,这些干扰信号与rppg信号在时空分布上高度耦合。现有方法缺乏有效机制在特征提取阶段识别并抑制上述干扰,导致网络难以聚焦于真正携带生理信号的关键时空区域,进而造成rppg信号提取精度下降,心率估计误差偏大。
技术实现思路
1、为解决上述技术问题,本发明提供了一种基于差分全局上下文与时空注意力的心率估计方法及系统。
2、本发明的第一个方面提供了一种基于差分全局上下文与时空注意力的心率估计方法,包括:
3、获取包含目标对象面部的连续视频帧,对所述连续视频帧进行人脸检测、面部感兴趣区域裁剪、尺寸归一化和序列分段,得到面部视频张量;
4、将所述面部视频张量输入经训练的差分全局上下文与时空注意力网络,经浅层特征提取得到浅层特征,将所述浅层特征经差分全局上下文提纯得到提纯特征,将所述提纯特征经时空选择增强、深层编码和解码,得到一维远程光电容积描记信号;所述差分全局上下文提纯包括:对所述浅层特征沿时间维进行平滑,得到平滑特征;对所述平滑特征计算相邻帧差分,得到差分特征;利用所述差分特征生成全时空注意力掩码;将所述浅层特征与所述差分特征融合,得到混合特征;根据所述全时空注意力掩码对所述混合特征进行全时空加权聚合,得到通道级全局上下文向量;将所述通道级全局上下文向量经通道变换后通过残差连接叠加至所述浅层特征,得到所述提纯特征;所述时空选择增强包括:对所述提纯特征分别生成多尺度时间注意力权重和保留坐标位置信息的空间注意力权重;将所述多尺度时间注意力权重与所述空间注意力权重逐元素相乘,得到联合时空注意力权重;利用所述联合时空注意力权重对输入特征进行加权增强,经残差连接和批归一化,得到时空增强特征;
5、将所述一维远程光电容积描记信号经带通滤波和频域变换,在预设心率频带内确定峰值频率,根据所述峰值频率得到所述目标对象的心率值。
6、进一步,所述差分全局上下文与时空注意力网络包括以三维卷积为骨架的编码器和解码器;所述编码器的浅层位置设置差分全局上下文模块,至少两个编码尺度分别设置时空注意力模块与卷积主干并行的双路径单元,所述双路径单元的两路径输出逐元素相加后进入后续编码层;所述解码器沿时间维度恢复时间分辨率,经三维自适应平均池化和点卷积投影输出所述一维远程光电容积描记信号。
7、进一步,所述利用所述差分特征生成全时空注意力掩码,具体包括:将所述差分特征通过卷积映射为单通道响应;将所述单通道响应沿时间维和空间维展平,得到展平响应;对所述展平响应执行标准差归一化,得到归一化响应;对所述归一化响应执行softmax,得到在全部时间和空间位置上的概率分布,作为所述全时空注意力掩码;所述混合特征由所述浅层特征与按可学习缩放因子加权的所述差分特征相加得到;根据所述全时空注意力掩码对所述混合特征进行加权求和,得到所述通道级全局上下文向量;所述通道变换依次包括升维卷积、层归一化、激活函数和降维卷积。
8、进一步,所述生成多尺度时间注意力权重,具体包括:对输入特征沿高度维和宽度维进行全局平均池化,得到时域特征;对所述时域特征进行通道降维,得到降维特征;将所述降维特征分别输入至少三个并行时序卷积分支,各并行时序卷积分支的时间卷积核尺寸互不相同;将各并行时序卷积分支的输出逐元素相加,得到融合时序特征;将所述融合时序特征经卷积压缩和sigmoid激活,得到所述多尺度时间注意力权重。
9、进一步,所述生成保留坐标位置信息的空间注意力权重,具体包括:对输入特征分别沿宽度方向和高度方向进行一维平均池化,沿宽度方向池化得到保留高度坐标信息的高度特征,沿高度方向池化得到保留宽度坐标信息的宽度特征;将所述高度特征经转置适配后与所述宽度特征拼接,得到拼接特征;对所述拼接特征进行通道降维和方向信息融合,得到融合特征;按高度方向和宽度方向对所述融合特征进行拆分,分别经卷积和sigmoid激活得到高度方向权重和宽度方向权重;将所述高度方向权重与所述宽度方向权重逐元素相乘,得到所述空间注意力权重。
10、本发明的第二个方面提供了一种基于差分全局上下文与时空注意力的心率估计系统,包括:
11、视频预处理模块,用于获取包含目标对象面部的连续视频帧,对所述连续视频帧进行人脸检测、面部感兴趣区域裁剪、尺寸归一化和序列分段,得到面部视频张量;
12、rppg信号提取模块,用于将所述面部视频张量输入经训练的差分全局上下文与时空注意力网络,经浅层特征提取得到浅层特征,将所述浅层特征经差分全局上下文提纯得到提纯特征,将所述提纯特征经时空选择增强、深层编码和解码,得到一维远程光电容积描记信号;所述差分全局上下文提纯包括:对所述浅层特征沿时间维进行平滑,得到平滑特征;对所述平滑特征计算相邻帧差分,得到差分特征;利用所述差分特征生成全时空注意力掩码;将所述浅层特征与所述差分特征融合,得到混合特征;根据所述全时空注意力掩码对所述混合特征进行全时空加权聚合,得到通道级全局上下文向量;将所述通道级全局上下文向量经通道变换后通过残差连接叠加至所述浅层特征,得到所述提纯特征;所述时空选择增强包括:对所述提纯特征分别生成多尺度时间注意力权重和保留坐标位置信息的空间注意力权重;将所述多尺度时间注意力权重与所述空间注意力权重逐元素相乘,得到联合时空注意力权重;利用所述联合时空注意力权重对输入特征进行加权增强,经残差连接和批归一化,得到时空增强特征;
13、心率估计模块,用于将所述一维远程光电容积描记信号经带通滤波和频域变换,在预设心率频带内确定峰值频率,根据所述峰值频率得到所述目标对象的心率值。
14、本发明的第三个方面提供了一种电子设备,包括存储器、处理器及存储在存储器上并在处理器上运行的程序,所述处理器执行所述程序时实现如本发明第一方面所述的基于差分全局上下文与时空注意力的心率估计方法中的步骤。
15、本发明的第四个方面提供了一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现如本发明第一方面所述的基于差分全局上下文与时空注意力的心率估计方法中的步骤。
16、与现有技术相比,本发明提供的一种基于差分全局上下文与时空注意力的心率估计方法及系统,具有以下有益效果:基于差分全局上下文提纯利用相邻帧差分所暴露的运动与光照变化信息,在浅层特征空间生成全时空概率分布注意力掩码,将与心率变化相关的关键时空位置的特征进行聚合提纯,从源头压制干扰特征的传播;基于时空选择增强在编码过程中同步施加多尺度时序注意力与坐标分解空间注意力的联合加权,使网络持续聚焦于生理信号显著的时空区域。差分全局上下文提纯与时空选择增强协同作用,实现了从浅层到深层的干扰抑制与信号增强,从而提升了rppg信号的提取精度与心率估计的准确性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com