一种非接触式心率估计方法、系统及装置与流程
本发明涉及生物医学信号处理与计算机视觉交叉,具体涉及一种非接触式心率估计方法、系统及装置,尤其涉及一种结合面部特征追踪与局部稀疏注意力网络的非接触式心率估计技术,适用于移动端和边缘侧设备的低功耗、实时生理信号监测场景。
背景技术:
1、目前,生物医学信号处理与计算机视觉交叉技术领域中,基于视频的非接触式心率估计(即远程光电容积描记法,rppg)通常采用基于transformer架构的深度学习网络实现。例如,中国专利申请cn113408508a公开了一种基于transformer的非接触式心率测量方法,其获取包含人脸信息的待测视频帧序列,通过人脸关键点模型获取人脸感兴趣区域图像序列,再通过端到端transformer模型获取心率序列。中国专利cn112200162b公开了一种基于端到端网络的非接触式心率测量方法,其获取包含人脸信息的待测视频帧序列,通过mtcnn人脸检测模型和人脸关键点模型获取人脸感兴趣区域图像序列,并基于所述人脸感兴趣区域图像序列通过训练好的端到端双分支网络获取各帧图像对应的心率值。
2、在此基础上,为进一步提升transformer在长视频序列中的特征提取效率,现有技术中出现了基于稀疏注意力机制的改进方案。以rhythmformer: extracting patternedrppg signals based on periodic sparse attention(pattern recognition, 2025)为代表,该类方案利用rppg信号固有的准周期性,通过数据驱动方式学习周期性模式,在传统注意力机制之前引入一个预注意力阶段,以预先过滤掉大量无关的注意力计算,从而使网络能够在多个时间尺度上对周期性rppg特征进行细粒度提取。此外,中国专利申请cn114596963a公开了一种基于稀疏结构表示的远程非接触式心率估计方法,其将人脸分割成多个子区域,利用不同频率的余弦基和不同尺度的小波基组成的结构字典求解系数矩阵,以重构心率信号。
3、上述现有技术存在一些不足,请参阅附图1,该图展示了现有技术中典型的基于全局top-k稀疏注意力的rppg信号提取流程。该流程通常包括:
4、1.输入与分块(input&patch embedding): 输入一段包含人脸的视频序列,网络首先在空间和时间维度上将视频帧划分为大量细小的三维图像块(patch),并将这些图像块展平并映射为一系列token(词向量)。
5、2.全局相关性计算与top-k筛选(global attention&top-k selection): 此时的token包含了视频画面中的所有区域(包括面部皮肤、头发、眼睛、背景、衣物等)。网络的核心注意力模块(attention module)会在全局范围内对所有的token进行交叉相似度计算。随后,通过数据驱动的方式,网络会对全局token的注意力权重进行排序(sorting),并强制筛选出权重最高的前k个(top-k)token。理论上,这k个token被网络认为是包含最强周期性rppg信号的区域。
6、3.特征聚合与输出(feature aggregation&output): 网络仅利用这筛选出的k个token进行后续的时空特征融合与回归计算,最终输出预测的rppg波形或心率数值。
7、然而,这种完全依赖网络自身进行全局计算与数据驱动筛选的现有技术方案,在实际应用中存在以下不足:
8、第一,计算复杂度过高。在现有的一些基于全局稀疏注意力的方案中(如采用全局top-k筛选机制的方案),在进行top-k筛选之前,网络必须先完成全局n个token之间的自注意力计算(复杂度为o(n²)),随后还要进行全局排序操作。在人脸视频中,真正包含rppg信号的有效皮肤区域(额头、脸颊等)通常仅占全图面积的不到30%,而背景、衣物、毛发等无关区域占了绝大多数。现有技术强迫网络花费大量算力去计算这些不存在生理信号的背景区域的注意力权重,造成了严重的算力浪费。
9、第二,难以在移动端及边缘侧设备上实时部署。移动端设备(如智能手机、边缘计算盒子)的算力、内存带宽和功耗均受到严格限制。前述基于全局top-k机制的方案中,大量的全局矩阵乘法和排序操作(sorting操作对神经网络处理器npu不友好,难以被硬件指令集有效加速)导致模型推理耗时极长、功耗剧增,在实际测试中往往导致设备发热降频和画面掉帧,无法在普通移动设备上实现高帧率(如30帧/秒以上)的实时连续心率监测。虽然cn113408508a声称能够降低计算成本,但其采用的仍是全局transformer架构,并未从根本上解决全局注意力计算与排序操作的算力瓶颈问题。
10、第三,缺乏生理先验约束,易受环境噪声干扰。现有的top-k筛选是纯粹数据驱动的“黑盒”过程。当视频中出现与心率周期相近的背景屏幕闪烁、局部高光反射变化、或被测者频繁眨眼和嘴部动作时,网络极易将这些“高对比度、强周期性”的噪声区域误判为有效信号并赋予极高的注意力权重。由于缺乏医学和生理学先验知识的约束,这种误导会直接导致心率估计结果出现严重偏差,尤其是在复杂光照或运动场景下,现有技术的测量精度和鲁棒性显著下降。
11、针对上述现有技术中基于全局top-k机制所存在的全局注意力计算算力冗余、排序操作对端侧硬件不友好、以及缺乏生理先验约束导致抗干扰能力差等技术问题,本发明提供一种结合面部特征追踪与局部稀疏注意力网络的非接触式心率估计方法、装置及存储介质,旨在通过引入面部关键点追踪技术生成的生理先验掩码,以确定的、非学习的方式直接引导网络关注有效面部皮肤区域,替代现有技术中依赖数据驱动学习的稀疏策略,从而在保证心率估计精度的前提下,从根本上降低计算复杂度与端侧部署门槛,并提升模型在复杂场景下的抗干扰能力与鲁棒性。
技术实现思路
1、针对上述现有技术中基于全局top-k稀疏注意力的rppg信号提取方案所存在的全局注意力计算算力冗余与盲目性、排序操作对端侧硬件不友好、以及缺乏生理先验约束导致抗干扰能力差等技术问题,本发明提供一种结合面部特征追踪与局部稀疏注意力网络的非接触式心率估计方法、装置及存储介质,旨在通过引入轻量级面部关键点追踪技术生成生理先验掩码,直接引导网络仅关注有效的面部皮肤区域,从而在保证心率估计精度的前提下,大幅降低计算复杂度与端侧部署门槛,提升模型在复杂场景下的抗干扰能力与鲁棒性。
2、根据本发明的一个方面,提供一种非接触式心率估计方法,所述方法包括:
3、获取包含人脸的视频帧序列,并对所述视频帧序列进行时空分块嵌入,生成token序列;
4、对所述视频帧中的面部区域进行检测与关键点定位,根据定位结果提取位于额头、左脸颊、右脸颊及下巴区域内且排除眼部、嘴部、头发及背景区域的兴趣区域,并基于所述兴趣区域生成空间掩码,所述空间掩码指示所述token序列中各token所对应图像区域是否为有效生理区域;
5、将所述空间掩码降采样至与所述token序列的特征图分辨率对齐,并对降采样后的掩码进行数值映射,其中有效生理区域映射为第一数值,无效区域映射为第二数值;所述第二数值经softmax函数激活后,对应注意力权重趋近于零;
6、基于所述空间掩码引导注意力计算,以阻断无效区域与其他token之间的注意力交互,仅对有效生理区域内的token执行局部稀疏注意力计算;
7、将经多层局部稀疏注意力计算后的特征序列进行时空特征聚合与解码,输出容积脉搏波波形信号;
8、基于所述容积脉搏波波形信号确定心率估计值。
9、在上述技术方案中,提供一种非接触式心率估计方法。该方法通过面部关键点定位提取额头、脸颊及下巴区域作为有效生理区域并排除眼部、嘴部、头发及背景区域,生成空间掩码;将该掩码经降采样和数值映射后,用于引导transformer的自注意力计算,使网络仅在与rppg信号强相关的局部皮肤区域内进行特征交互,最终输出心率估计值。
10、与现有技术中基于全局topk稀疏注意力的rppg测量方案相比,本方案的实质特点在于:空间掩码的生成基于面部关键点定位结果,其有效区域为额头、脸颊及下巴——即微血管丰富且受肌肉运动干扰较小的区域,同时主动排除眼部、嘴部、头发及背景区域;该空间掩码经数值映射后直接叠加至自注意力的缩放点积矩阵,使得无效区域经softmax激活后的注意力权重归零。该方案通过“生理先验锚定”替代了现有技术中“全局计算与排序筛选”的数据驱动范式。
11、基于上述实质特点,本方案至少具有以下三方面的有益效果:
12、第一,在计算效率方面,该方案使得transformer网络无需对全局token进行自注意力计算(复杂度o(n²))及排序操作,将注意力计算裁剪至占全图面积不足30%的有效皮肤区域内。该方案使核心注意力模块的浮点运算次数降低约60%至80%,且完全免除了全局排序操作。该效率提升幅度已超出本领域技术人员在申请日前基于常规优化手段所能合理预期的范围。
13、第二,在端侧部署方面,本方案将现有技术中的动态排序与动态内存分配操作转化为针对固定维度矩阵的掩码加法与掩码覆盖操作。实验数据表明,该方案在普通智能手机上可将推理帧率从不足15帧/秒提升至30帧/秒以上。本方案中的数值映射——有效区域映射为第一数值、无效区域映射为第二数值——是与softmax激活函数协同配合的,其目的是在自注意力计算中使无效区域权重归零。该数值映射的参数选择和放置位置是基于对transformer自注意力机制中softmax激活函数数学特性的深入理解而设计的,使得掩码的阻断作用在数学上具有确定性。
14、第三,在抗干扰能力方面,该方案通过解剖学先验(额头、脸颊、下巴为有效区域,眼、嘴、头发、背景为无效区域)硬性阻断网络对非生理区域的注意力计算,消除了网络学习背景闪烁、局部高光等周期性噪声的途径。这与现有技术中纯数据驱动的top-k筛选形成本质区别——后者在复杂光照或运动场景下易将强周期性噪声误判为有效信号。
15、综上,本方案通过“生理先验掩码生成与数值映射→掩码叠加至缩放点积矩阵→局部稀疏注意力计算”的技术路径,有效解决了现有基于全局top-k机制的rppg方案中算力冗余、端侧部署困难及抗干扰能力差的技术问题,在计算效率、硬件部署友好性和测量鲁棒性三个方面实现了对现有技术的改进,为非接触式心率估计的端侧实时应用提供了可实施的技术方案。
16、在一些实施例中,所述局部稀疏注意力计算中,不执行对全局token进行注意力权重排序操作;所述有效生理区域的范围由所述空间掩码直接预设。
17、在上述技术方案中,明确局部稀疏注意力计算中不执行对全局token进行注意力权重排序的操作,且有效生理区域的范围由空间掩码直接预设,而非通过数据驱动方式动态确定。
18、与现有技术中基于全局top-k稀疏注意力的方案相比,本方案的实质特点在于:局部稀疏注意力计算完全免除了对全局token进行注意力权重排序的步骤;有效生理区域的范围由空间掩码直接预设,而非通过网络对全局注意力权重排序后筛选确定。
19、第一,在计算效率方面,全局排序操作(时间复杂度为o(n×log2n))的计算量随token数量n增加呈超线性增长。本方案通过掩码预设有效区域,使得网络无需计算全局注意力权重矩阵即可确定计算范围,从根本上跳过了排序步骤。该方案使核心注意力模块的浮点运算次数降低约60%至80%。本方案跳过排序的前提是掩码预设机制——该机制要求在不经全局注意力计算的前提下预先确定有效区域,其实现依赖于面部关键点定位与roi提取的完整前置流程。
20、第二,在硬件部署方面,全局排序操作对神经网络处理器(npu)不友好,难以被硬件指令集有效加速。现有技术中全局排序和动态筛选操作往往成为端侧推理的瓶颈。本方案将动态排序转化为静态掩码预设,使得注意力计算的范围在推理前即已确定,无需运行时动态决策,从而降低了端侧设备的内存调度开销和推理延迟。
21、综上,本方案通过“免排序+掩码预设”的技术手段,进一步强化了前述方法在计算效率和硬件部署友好性方面的优势,将本方案与依赖全局排序的现有技术方案在实现路径上明确区分。
22、在一些实施例中,所述基于所述空间掩码引导注意力计算,包括:
23、将所述token序列线性变换为查询矩阵、键矩阵和值矩阵,并在自注意力计算中将所述映射后的空间掩码叠加至缩放点积矩阵上。
24、在上述技术方案中,明确了基于空间掩码引导注意力计算的一种具体实现方式:将token序列线性变换为查询矩阵q、键矩阵k和值矩阵v,并在自注意力计算中将映射后的空间掩码叠加至缩放点积矩阵qk上。
25、与现有技术中基于全局top-k稀疏注意力的方案相比,本方案的实质特点在于:空间掩码的叠加位置为缩放点积矩阵qk(即softmax激活函数之前),而非在softmax之后对注意力权重进行后处理修正,也非在输入端对token特征进行遮罩。该叠加位置的选择使得掩码中的第二数值能够直接参与softmax激活函数的指数运算,利用的数学原理从根源上阻断无效区域的注意力权重。
26、该特点带来的有益效果体现在以下两个方面:
27、第一,在注意力阻断的彻底性方面,由于掩码叠加于softmax之前,无效区域对应的注意力权重在归一化阶段即被归零,而非在权重计算完成后再进行掩码覆盖或阈值截断。无效区域在掩码中对应的值为(具体实施例中为-1e9),经softmax激活后其自然指数,对应的注意力权重被强制归零。该机制确保了无效区域在任何情况下均不参与后续的特征聚合,其阻断效果具有数学上的确定性。
28、第二,在计算效率方面,由于无效区域的注意力权重在softmax阶段即被归零,网络无需为无效区域分配任何计算资源。与现有技术中先完成全局注意力计算再通过排序筛选top-k的方案相比,本方案在注意力计算阶段即实现了计算量的裁剪。本方案中掩码的数值映射方式(有效区域为0、无效区域为-∞)是与softmax激活函数的数学特性协同设计的,二者的配合关系利用了softmax归一化过程中指数函数的单调性和趋零特性,属于对transformer自注意力机制内在计算逻辑的适配性改进。
29、综上,本方案通过限定掩码叠加至缩放点积矩阵的具体实现方式,明确了 “基于空间掩码引导注意力计算”的一种优选技术路径,为方案的可实施性提供了结构支撑。
30、在一些实施例中,所述基于所述空间掩码引导注意力计算,包括:
31、将所述空间掩码经卷积编码后作为查询向量,将所述token序列经线性变换后作为键向量和值向量,通过交叉注意力机制从所述token序列中检索与所述空间掩码匹配的生理相关特征。
32、在上述技术方案中,提供了基于空间掩码引导注意力计算的另一种具体实现方式:将空间掩码经卷积编码后作为查询向量,将token序列经线性变换后作为键向量和值向量,通过交叉注意力机制从token序列中检索与空间掩码匹配的生理相关特征。
33、与前述默认方案(掩码叠加至缩放点积矩阵)相比,本方案的实质特点在于:掩码不直接叠加至自注意力的qk矩阵,而是经卷积编码后作为独立的查询向量,通过交叉注意力机制从全局token序列中检索与掩码匹配的特征。该方案将“生理先验引导”从自注意力内部的计算修饰(qk+ m)改造为自注意力外部的独立检索分支(query=掩码,key/value=token序列),使得掩码不再是对现有注意力计算的“修正”,而是主动“提取”与生理区域相关的特征。
34、该特点带来的有益效果体现在以下两个方面:
35、第一,在架构兼容性方面,交叉注意力方案不涉及对自注意力计算公式的任何修改,仅需在网络中增加一个独立的交叉注意力层即可实现生理引导。该实现方式对现有的预训练transformer权重具有更好的兼容性——当采用预训练权重进行微调时,原有自注意力层的参数无需调整,仅需训练新增的交叉注意力层即可。
36、第二,在特征检索的灵活性方面,交叉注意力机制中掩码作为查询向量与全局token序列进行交互时,能够通过注意力权重的分布量化地评估各token与生理先验掩码的匹配程度,而非二值地判定有效或无效。该机制在保留生理先验约束的同时,允许网络根据实际图像内容自适应地调整检索范围。本方案中交叉注意力的输入配置——掩码作为查询向量、token序列作为键/值向量——具有特定的技术含义:该配置使得网络的检索目标被明确限定为与生理先验匹配的空间位置,而非数据驱动的任意特征检索。
37、综上,本方案通过限定交叉注意力实现方式,为“基于空间掩码引导注意力计算”提供了区别于默认方案的并列实施路径,在保留生理先验约束效果的同时,兼顾了模型架构的兼容性和特征检索的灵活性。
38、在一些实施例中,所述基于所述空间掩码引导注意力计算,包括:
39、在所述token序列线性变换为查询矩阵、键矩阵和值矩阵之前,将所述空间掩码与所述token序列进行逐元素相乘,将无效区域对应的token特征值清零。
40、在上述技术方案中,提供了基于空间掩码引导注意力计算的又一种具体实现方式:在token序列线性变换为查询矩阵、键矩阵和值矩阵之前,将空间掩码与token序列进行逐元素相乘,将无效区域对应的token特征值清零。
41、与前述默认方案(掩码叠加至缩放点积矩阵)和前述替代方案(交叉注意力检索)相比,本方案的实质特点在于:掩码的作用位置被提前至自注意力计算的最前端——即在token序列进入q/k/v线性变换之前即完成无效区域的剔除,而非在自注意力计算过程中(qk阶段)或自注意力之外(交叉注意力层)进行引导。
42、该特点带来的有益效果体现在以下两个方面:
43、第一,在计算效率方面,由于无效区域对应的token特征值在q/k/v线性变换之前即被清零,后续所有计算环节——包括q/k/v三个线性变换矩阵的乘法运算、缩放点积矩阵qk的计算、以及softmax归一化——均无需为无效token分配计算资源。与替代方案相比,本方案将计算量的裁剪时机从自注意力计算阶段进一步提前至特征投影阶段。该方案同样能够达到跳过排序、降低算力的目的。
44、第二,在实现简洁性方面,前置遮罩方案不需要修改自注意力的计算逻辑,仅需在token序列生成后增加一次逐元素相乘操作即可实现无效区域的完全剔除。该操作对现有transformer代码结构的侵入性最小,便于在已有框架中快速集成。本方案中前置遮罩的设计意图——即通过在输入端清零token以实现后续所有计算环节的稀疏化——构成了与默认方案、替代方案不同的技术思路:其优势在于实现简洁且不依赖对自注意力机制的数学改造,但其代价在于token在进入自注意力之前即被截断,可能损失边界信息;该代价在本方案所述的应用场景中是可接受的,因为无效区域在生理先验层面已被确定为不包含rppg信号,清零不会损失有效信息。
45、综上,本方案通过限定前置遮罩的实现方式,为“基于空间掩码引导注意力计算”提供了区别于默认方案(qk叠加)和交叉注意力方案的第三种并列实施路径,在保留生理先验约束效果的同时,以最小的架构改动实现了最彻底的输入级计算裁剪。
46、在一些实施例中,基于所述兴趣区域生成空间掩码,包括:根据所述兴趣区域的边界关键点,采用多边形填充算法生成二值化图像,有效区域像素值为1,无效区域像素值为0,然后通过池化操作将所述二值化图像降采样。
47、在上述技术方案中,明确了基于兴趣区域生成空间掩码的具体实现方式:根据兴趣区域的边界关键点,采用多边形填充算法生成二值化图像(有效区域像素值为1,无效区域像素值为0),然后通过池化操作将二值化图像降采样。
48、与现有技术中直接将人脸检测框作为roi区域或采用固定尺寸矩形框提取面部区域的方式相比,本方案的实质特点在于:二值化掩码的生成路径为“边界关键点→多边形填充→二值化图像”,其有效区域的形状由兴趣区域的边界关键点经多边形填充算法确定。
49、该特点带来的有益效果体现在以下两个方面:
50、第一,在空间精度方面,二值化掩码中有效区域的边界由关键点定位结果精确决定,能够贴合额头、脸颊、下巴等不规则面部区域的实际轮廓。兴趣区域为基于关键点索引表提取的四个多边形区域,其形状随个体面部特征差异而变化,能够精准排除眼部、嘴部、头发及背景区域。与固定模板或检测框方式相比,该方案避免了将无效区域误划入有效区域或将有效边缘区域误排除的问题。
51、第二,在架构兼容性方面,池化操作将高分辨率二值化掩码降采样至与token序列特征图分辨率对齐,使得掩码能够直接参与transformer各层自注意力的计算。该对齐方式为主干网络后续的掩码叠加提供了尺寸匹配的输入。本方案中多边形填充将离散的边界关键点转换为闭合连通区域,池化操作则在保留区域空间分布的前提下将掩码调整至网络可用的张量维度。该组合的特定顺序——先填充后池化——是为了在保持区域连通性的前提下实现分辨率适配,若顺序颠倒(先池化关键点再填充)将导致区域边界失真。
52、第三,在计算效率方面,二值化掩码中有效区域像素值为1、无效区域像素值为0的数值形式使得后续池化操作极为高效——池化窗口内仅需统计是否存在非零像素即可确定降采样后该位置是否属于有效区域,无需复杂的数值计算。
53、综上,本方案通过限定“多边形填充→二值化→池化降采样”的掩码生成路径,为“基于兴趣区域生成空间掩码”提供实现方式,确保了掩码的空间精度及其与主干网络特征图的架构兼容性。
54、在一些实施例中,所述空间掩码为包含连续概率权重的软掩码,各区域的权重值根据生理先验知识预设,所述软掩码通过逐元素相乘方式作用于自注意力计算后的注意力权重矩阵。
55、在上述技术方案中,提供了一种替代硬掩码(二值化掩码)的方案:空间掩码为包含连续概率权重的软掩码,各区域的权重值根据生理先验知识预设,软掩码通过逐元素相乘方式作用于自注意力计算后的注意力权重矩阵。
56、与前述硬掩码(有效区域像素值为1,无效区域像素值为0)相比,本方案的实质特点在于两个方面:其一,掩码的数值形式为连续概率权重,而非二值化的0/1;其二,软掩码的作用位置为自注意力计算后的注意力权重矩阵(softmax输出之后),而非叠加至缩放点积矩阵(softmax之前)。具体地,各区域的权重值根据生理先验知识预设——例如脸颊区域微血管最丰富,权重设为1.0;额头区域次之,权重设为0.8;嘴部边缘易受表情动作干扰,权重设为0.2;背景等非皮肤区域权重设为0。
57、该特点带来的有益效果体现在以下两个方面:
58、第一,在特征利用的灵活性方面,软掩码对有效生理区域内的不同子区域赋予不同的连续权重值,使网络能够根据各区域对rppg信号的实际贡献程度差异化地保留或衰减注意力权重。该方案“既能实现生理引导,又能赋予网络一定的特征自我调节容错度”。与硬掩码的“全有或全无”阻断方式相比,软掩码保留了网络对低权重区域(如靠近嘴部的皮肤边缘区域)进行有限度利用的可能性,当该区域恰好包含微弱有效信号时,网络仍可将其纳入考虑。
59、第二,在解剖学先验的细粒度表达方面,软掩码的连续权重值能够更精确地反映面部不同区域对rppg信号的贡献差异。根据医学先验知识,面部微循环的丰富程度在不同区域存在差异,且不同区域受肌肉运动(如说话、眨眼)干扰的程度不同。软掩码通过预设的连续权重值将上述解剖学差异量化为网络可直接利用的先验信息,而非将其简化为统一的“有效”或“无效”二值判定。本方案中软掩码的权重值来源为解剖学先验知识——脸颊区域权重为1.0、额头0.8、嘴部边缘0.2——这些具体的权重赋值反映的是不同面部区域的生理信号可信度差异,而非通过数据驱动方式学习得到的注意力权重,二者在信息来源和功能定位上存在本质区别。
60、综上,本方案通过限定软掩码的连续权重形式及其在注意力权重矩阵上的作用方式,为“基于空间掩码引导注意力计算”提供了区别于硬掩码的并列实施路径,在保留生理先验约束的同时赋予了网络更大的特征利用灵活性。
61、在一些实施例中,所述基于所述兴趣区域生成空间掩码,包括:采用图像语义分割网络直接识别所述视频帧中的面部皮肤区域,以所识别的面部皮肤区域作为所述兴趣区域,生成所述空间掩码。
62、在上述技术方案中,提供了一种替代“关键点检测→多边形填充”路径的掩码生成方案:采用图像语义分割网络直接识别视频帧中的面部皮肤区域,以所识别的面部皮肤区域作为兴趣区域,生成空间掩码。
63、与前述方案(通过关键点定位→roi边界提取→多边形填充生成掩码)相比,本方案的实质特点在于:空间掩码的生成是通过图像语义分割网络直接端到端地输出面部皮肤区域,据此生成空间掩码。
64、该特点带来的有益效果体现在以下两个方面:
65、第一,在数据处理流程的简洁性方面,语义分割方案跳过了关键点检测、roi边界提取和多边形填充三个中间步骤,直接从原始视频帧映射到空间掩码。该端到端方式减少了中间环节的累积误差——关键点定位误差可能被多边形填充放大,而语义分割网络通过端到端训练能够学习对局部检测噪声的鲁棒性,在皮肤边界模糊或存在局部遮挡时仍能输出完整的皮肤区域分割结果。
66、第二,在适用场景方面,语义分割方案适用于面部关键点检测模型难以部署的极端低算力场景,或面部关键点检测精度不足的场景(如侧脸、大角度头部姿态、局部遮挡)。该方案可采用基于mobilenetv3的u-net、bisenet等轻量级网络,这些网络的推理速度可满足实时性要求。本方案中语义分割网络的输出目标——“将额头、脸颊等作为一个类别(高价值rppg皮肤区域),背景、毛发、五官作为另一类别”——是针对rppg生理信号测量任务专门设计的,与通用语义分割任务中的类别定义不同。该类别定义的依据是生理先验知识(微血管分布与运动干扰程度),而非视觉外观的语义一致性。
67、综上,本方案通过限定语义分割方案作为掩码生成的替代实现方式,提供了不依赖关键点检测的并列实施路径,在简化数据处理流程的同时,扩展了本方案在关键点检测模型难以部署或检测精度不足场景下的适用范围。
68、根据本发明的另一个方面,提供一种非接触式心率估计系统,基于上述的方法,所述系统包括:
69、面部生理先验提取子系统,用于获取包含人脸的视频帧,对所述视频帧中的面部区域进行检测与关键点定位,根据定位结果提取位于额头、左脸颊、右脸颊及下巴区域内且排除眼部、嘴部、头发及背景区域的兴趣区域,基于所述兴趣区域生成空间掩码,将所述空间掩码降采样至与主干网络的特征图分辨率对齐,并对降采样后的掩码进行数值映射,其中有效生理区域映射为第一数值,无效区域映射为第二数值,所述第二数值经softmax函数激活后使对应注意力权重趋近于零;
70、局部稀疏注意力测量子系统,用于对所述视频帧序列进行时空分块嵌入生成token序列,基于所述空间掩码引导注意力计算,以阻断无效区域与其他token之间的注意力交互,仅对有效生理区域内的token执行局部稀疏注意力计算,并将经多层局部稀疏注意力计算后的特征序列进行时空特征聚合与解码,输出容积脉搏波波形信号,以用于确定心率估计值。
71、在上述技术方案中,为了更好的使用上述方法,本技术提出一种非接触式心率估计系统,各个模块对应上述方法的各个步骤,其具体的原理已在上文中描述,此处不再赘述。
72、根据本发明的又一个方面,提供一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现上述的方法。
73、在上述技术方案中,为了更好的运行和使用该方法,将上述方法存储至计算机可读存储介质,并利用处理器来实现上述方法。需要注意的是,每个步骤的原理和效果已在上文描述,此处不再展开说明。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com