一种基于噪声感知与时间自适应的远程光电容积脉搏信号预测方法
本发明涉及视频生理信号处理,具体涉及一种基于噪声感知与时间自适应的远程光电容积脉搏信号预测方法。
背景技术:
1、光电容积脉搏信号(ppg信号)是一种能够反映人体血液容积随心脏搏动发生周期性变化的生理信号,可用于心率估计、心血管状态分析、疲劳检测、情绪状态评估以及健康监测等任务。传统光电容积脉搏信号通常依赖接触式采集设备,例如指夹式传感器、腕带式传感器或医用监测设备。此类接触式采集方式虽然能够获得较稳定的生理信号,但需要传感器与人体皮肤直接接触,在长时间监测、婴幼儿监测、驾驶员状态监测、公共健康筛查以及人机交互等场景中存在佩戴不便、舒适性不足和使用范围受限等问题。
2、随着计算机视觉和智能视频分析技术的发展,远程光电容积脉搏信号(rppg信号)预测技术逐渐成为非接触式生理监测领域的重要方向。该技术通常通过普通摄像设备采集人脸视频,并从人脸皮肤区域中提取由血液容积变化引起的微弱颜色变化,进而恢复连续的远程光电容积脉搏信号。与传统接触式设备相比,基于视频的远程光电容积脉搏信号预测方法无需额外佩戴传感器,具有非接触、低成本、易部署和应用范围广等优点,可应用于远程医疗、智能终端健康监测、驾驶员状态监测和人机交互等场景。
3、然而,在实际应用过程中,远程光电容积脉搏信号预测仍面临较大挑战。一方面,由血液容积周期变化引起的人脸颜色变化十分微弱,容易受到头部运动、表情变化、光照不均、视频压缩噪声、背景变化和局部遮挡等因素的干扰;另一方面,不同个体在肤色、面部结构、皮肤反射特性、运动状态和心率范围上存在较大差异,导致模型在跨个体、跨场景和跨数据集应用时容易出现预测精度下降。此外,远程光电容积脉搏信号本质上属于连续周期性时间信号,若模型仅依赖局部空间特征或短时帧间差分信息,容易造成预测波形不连续、周期结构不稳定和相位偏移等问题。因此,如何在复杂人脸视频中有效区分可靠生理信息区域和噪声干扰区域,同时增强模型对脉搏信号时间周期结构的自适应建模能力,是目前远程光电容积脉搏信号预测技术中需解决的问题。
技术实现思路
1、本发明针对现有远程光电容积脉搏信号预测方法易受光照变化、头部运动、表情变化、遮挡及背景噪声影响,且对脉搏信号时间周期特征建模不足的问题,提出一种基于噪声感知与时间自适应的远程光电容积脉搏信号预测方法,旨在提升远程光电容积脉搏信号预测的精度、稳定性以及跨个体、跨场景和跨数据集的泛化能力。
2、为实现上述技术目的,本发明提供如下技术方案:
3、一种基于噪声感知与时间自适应的远程光电容积脉搏信号预测方法,其具体包括以下步骤:
4、s1、获取原始人脸视频数据,并对原始人脸视频数据进行人脸检测、裁剪、尺寸归一化和片段切分,得到视频数据片段;
5、s2、根据视频数据片段构建差分动态特征和原始外观特征;构建包括动态特征分支、外观特征分支、噪声感知分支、时间自适应模块以及回归输出层的预测模型;
6、s3、将原始外观特征输入外观特征分支,经过两阶段特征提取,分别得到浅层外观特征和深层外观特征,并基于浅层外观特征和深层外观特征分别生成空间注意力掩码;将差分动态特征输入动态特征分支,提取与脉搏变化相关的动态特征,并利用空间注意力掩码对动态特征进行逐元素加权融合,得到外观引导的动态融合特征;
7、s4、将深层外观特征输入噪声感知分支生成残差安全门控因子,使用残差安全门控因子对外观引导的动态融合特征进行噪声抑制和可靠区域增强,得到噪声调制融合特征;
8、s5、对噪声调制融合特征依次进行池化、展平和全连接映射,得到高维序列特征;将高维序列特征输入时间自适应模块进行时序增强,得到时间自适应增强特征;
9、s6、将时间自适应增强特征输入回归输出层,得到预测远程光电容积脉搏信号,并基于联合损失函数对预测模型进行训练和参数更新。
10、进一步地,步骤s2中,所述差分动态特征由视频数据片段中相邻帧视频图像之间的差分归一化得到,所述原始外观特征由视频数据片段中单帧视频图像经图像归一化得到。
11、进一步地,步骤s3中,所述将原始外观特征输入外观特征分支,经过两阶段特征提取,分别得到浅层外观特征和深层外观特征,并基于浅层外观特征和深层外观特征分别生成空间注意力掩码具体为:
12、所述外观特征分支包括沿特征传递方向依次设置的第一外观特征提取阶段和第二外观特征提取阶段,每个外观特征提取阶段包括两个深度可分离卷积单元,每个深度可分离卷积单元包括深度卷积和逐点卷积;所述第一外观特征提取阶段和第二外观特征提取阶段之间设置平均池化和丢弃处理;
13、将原始外观特征输入第一外观特征提取阶段,依次经过两个深度可分离卷积单元,得到浅层外观特征;浅层外观特征经过卷积和sigmoid激活函数生成第一空间注意力掩码;
14、再对所述浅层外观特征进行平均池化和丢弃处理,将处理后的特征输入第二外观特征提取阶段,依次经过两个深度可分离卷积单元,得到深层外观特征;深层外观特征经过卷积和sigmoid激活函数生成第二空间注意力掩码。
15、进一步地,步骤s3中,所述将差分动态特征输入动态特征分支,提取与脉搏变化相关的动态特征,并利用空间注意力掩码对动态特征进行逐元素加权融合,得到外观引导的动态融合特征具体为:
16、所述动态特征分支包括沿特征传递方向依次设置的第一动态特征提取阶段和第二动态特征提取阶段;每个动态特征提取阶段包括两个时序位移卷积单元,每一时序位移卷积单元通过时序位移操作引入相邻视频帧之间的时间信息,并通过二维卷积操作进行动态特征提取;所述第一动态特征提取阶段和第二动态特征提取阶段之间设置平均池化和丢弃处理;
17、将差分动态特征输入所述第一动态特征提取阶段,依次经过两个时序位移卷积单元,得到浅层动态特征;利用基于浅层外观特征生成的空间注意力掩码对所述浅层动态特征进行逐元素加权,得到浅层外观引导动态特征;
18、对所述浅层外观引导动态特征进行平均池化和丢弃处理,并将处理后的特征输入所述第二动态特征提取阶段,依次经过两个时序位移卷积单元,得到深层动态特征;利用基于深层外观特征生成的空间注意力掩码对所述深层动态特征进行逐元素加权,得到外观引导的动态融合特征。
19、进一步地,步骤s4具体为:
20、将深层外观特征输入噪声感知分支,依次经过3×3卷积、批归一化和relu激活处理,得到噪声感知中间特征;将所述噪声感知中间特征经过1×1卷积和双曲正切激活处理,得到噪声残差偏移量;根据所述噪声残差偏移量和噪声调节强度参数生成残差安全门控因子,;所述噪声调节强度参数在预测模型初始化时赋予初始值,并在训练过程中通过联合损失函数反向传播自适应更新;
21、将残差安全门控因子与外观引导的动态融合特征进行逐元素调制,得到噪声调制融合特征。
22、进一步地,步骤s5中,所述将高维序列特征输入时间自适应模块进行时序增强,得到时间自适应增强特征具体为:
23、将高维序列特征输入时间自适应模块,通过时间维度深度卷积提取各特征通道内的局部时间依赖关系,并通过1×1卷积进行通道映射,得到通道映射后的时间特征;
24、将通道映射后的时间特征通过sigmoid函数生成时间门控权重,并将所述时间门控权重与高维序列特征进行逐元素相乘,得到门控序列特征;
25、利用残差调节参数对所述门控序列特征进行幅度调节,再将幅度调节后的门控序列特征与所述高维序列特征进行残差相加,得到时间自适应增强特征;所述残差调节参数为可学习参数,并在预测模型训练过程中通过联合损失函数反向传播自适应更新。
26、进一步地,步骤s6具体为:
27、回归输出层对时间自适应增强特征进行线性映射,得到预测远程光电容积脉搏信号;
28、分别计算预测远程光电容积脉搏信号与真实远程光电容积脉搏信号之间的均方误差损失和皮尔逊相关性损失;将皮尔逊相关性损失加权后与均方误差损失相加,得到联合损失函数;
29、训练过程中,通过联合损失函数对预测模型参数进行反向传播更新;所述预测模型参数包括动态特征分支参数、外观特征分支参数、空间注意力掩码生成参数、噪声感知分支参数、噪声调节强度参数、时间自适应模块参数、残差调节参数和回归输出层参数。
30、此外,本技术还公开一种基于噪声感知与时间自适应的远程光电容积脉搏信号预测系统,该系统用于执行如上所述的方法,其具体包括:
31、视频预处理模块,用于获取原始人脸视频数据,并对其进行人脸检测、裁剪、尺寸归一化和片段切分,得到视频数据片段;
32、输入构建模块,用于根据视频数据片段构建差分动态特征和原始外观特征;
33、预测模型,包括动态特征分支、外观特征分支、噪声感知分支、时间自适应模块以及回归输出层,其中:
34、外观特征分支用于提取所述原始外观特征中的浅层外观特征和深层外观特征,并生成不同层级的空间注意力掩码;动态特征分支用于提取差分动态特征中的动态特征,并使用空间注意力掩码对动态特征进行逐元素加权融合,得到外观引导的动态融合特征;
35、噪声感知分支用于根据深层外观特征生成残差安全门控因子,再使用残差安全门控因子对外观引导的动态融合特征进行噪声抑制和可靠区域增强,得到噪声调制融合特征;
36、时间自适应模块用于对根据噪声调制融合特征得到的高维序列特征进行时序增强,得到时间自适应增强特征;
37、回归输出层用于将时间自适应增强特征输出为预测远程光电容积脉搏信号;
38、预测模型训练模块,用于基于联合损失函数对预测模型进行训练和参数更新。
39、还公开一种电子设备,其包括存储器和处理器,其中:
40、存储器,用于存储能够在处理器上运行的计算机程序;
41、处理器,用于在运行所述计算机程序时,执行如上所述的一种基于噪声感知与时间自适应的远程光电容积脉搏信号预测方法。
42、还公开一种计算机可读存储介质,其存储有计算机指令,所述计算机指令用于使处理器执行时实现如上所述的一种基于噪声感知与时间自适应的远程光电容积脉搏信号预测方法。
43、借由上述技术方案,本发明至少具有以下有益效果:
44、本发明通过构建差分动态特征与原始外观特征的双分支特征提取方式,能够同时获取人脸视频中由血液容积变化引起的微弱动态信息以及人脸区域的空间外观信息;进一步利用外观特征生成空间注意力掩码,引导动态特征重点关注稳定且包含有效生理信息的人脸皮肤区域,从而降低背景区域、非皮肤区域、局部遮挡以及无效空间区域对远程光电容积脉搏信号预测结果的影响,提高模型对有效生理特征的提取能力。
45、本发明引入噪声感知分支,根据深层外观特征自适应学习视频片段中的噪声分布,并生成以1为中心的残差安全门控因子,对外观引导后的动态融合特征进行调制。相比直接抑制式的特征筛选方式,该残差安全门控方式能够在不破坏微弱远程光电容积脉搏信号的前提下,对受头部运动、表情变化、光照变化、视频压缩、局部遮挡和背景干扰影响的区域进行自适应抑制,同时增强稳定可靠区域中的生理相关特征,从而提高模型在复杂采集环境下的鲁棒性和抗干扰能力。
46、本发明进一步构建时间自适应模块,对高维序列特征进行时间维度上的自适应增强,通过时间深度卷积、通道映射和残差门控机制建模远程光电容积脉搏信号的周期结构和时序依赖关系,使模型能够更好地保持预测波形的连续性、周期一致性和相位稳定性;同时结合均方误差损失与皮尔逊相关性联合损失函数,对预测信号的点值误差和整体波形相关性进行联合约束。
47、综上,本发明所提出的方法能够提升远程光电容积脉搏信号预测的精度、稳定性以及跨个体、跨场景和跨数据集的泛化能力。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com