用于估计生命体征的基于深度平衡模型的系统和方法与流程

本公开总体上涉及远程监测受试者的生命体征，并且更具体地涉及用于远程测量生命体征的成像光电容积描记（photoplethysmography，ippg）系统和方法。

背景技术：

1、人的生命体征（例如心率（hr）、心率变异性（hrv）、呼吸速率（rr）或血氧饱和度）用作人的当前状态的指标和严重医疗事件的潜在预测指标。为此，生命体征在住院和门诊护理环境、家中以及其它健康、休闲和健身环境中被广泛监测。测量生命体征的一种方式是容积描记术，其对应于人的器官或身体部位的体积变化的测量。存在容积描记术的各种实现，诸如光电容积描记术（ppg），其是评估感兴趣的区域或体积的光反射或透射的时变变化的光学测量技术，其可以用于检测组织的微血管床中的血液体积变化。ppg基于血液与周围组织不同地吸收和反射光的原理，因此血液体积随每次心跳的变化相应地影响光透射或反射。

2、用于测量人的生命体征的常规非侵入式仪器通常需要附接到人的皮肤，例如附接到指尖、耳垂或前额。由于若干原因，这对于人来说可能是不愉快的。另外，传感器的入射窗口对于一些患者来说可能太大或太小，因此可能无法提供正确的读数。此外，鉴于传染性疾病（诸如基于sars-cov-2的新型冠状病毒疾病）的爆发，使用非接触式非侵入性技术来测量生命体征已经变得至关重要。近年来，已经见证了对使用相机非接触监测生命体征的日益增加的兴趣，特别是对于远程医疗，包括从受试者的面部或一些其它身体部位的视频估计心率、呼吸速率和血压。使用相机而不是使用常规接触传感器来监测人的生命体征的主要优点是更容易使用。与具有高度局部化的接触传感器相比，相机还自然地在更大空间区域上提供生命体征信息。此外，可以基于相机传感器的分辨率和能力来微调输出数据的粒度。

3、除了医疗保健之外，远程监测还可以用于安全关键应用，诸如驾驶或重型设备操作，因为不需要将接触传感器附接到操作者的身体（否则可能妨碍用户的正常操作）。记录面部视频的相机捕获对应于血容量脉冲的肤色的细微变化。然而，由于若干因素，所捕获的视频也受到噪声的影响。例如，诸如血容量脉搏信号分量的一些生命体征是像素强度的一小部分，并且可以容易地被照明变化和运动掩盖。因此，为了执行生命体征的精确测量，重要的是将各种类型的噪声考虑作为生命体征估计的一部分。

4、已经使用盲源分离方法、基于模型的方法和数据驱动方法在这个方向上进行了一些尝试。然而，由于若干原因，这些方法在恢复或提取基础脉搏信号方面不是有效的。例如，基于模型的方法不是精确的，并且不能捕获真实世界数据中的所有变化。此外，它们在恢复基础脉搏信号方面不是有效的，因为手工制作的约束太简单并且没有考虑信号的所有特性。另一方面，纯数据驱动的基于深度学习的方法缺乏基础方法的良好可解释性，因为它们是黑盒方法并且提供低可解释性。常规生命体征估计方法所面临的另一个挑战是脉搏信号和噪声之间的分离是次优的，并且不满足许多真实世界应用所需的数据的质量度量。

5、因此，需要开发用于生命体征的远程估计的解决方案，这些解决方案是有效的，基于脉搏波以及结构化噪声两者的数据驱动建模，并且同时保持可解释性。此外，还需要开发可以有效地将噪声与有用信号分离以从输入数据重建基础脉搏信号的解决方案。

技术实现思路

1、因此，一些实施方式的目的是以高精度估计受试者的生命体征。一些示例实施方式的目的也是提供位于存在若干独特噪声源的易变环境中的受试者的生命体征的精确测量。一些示例实施方式为这样的解决方案提供了基础方法的良好可解释性，同时提供了生命体征的准确测量。一些示例实施方式还针对提供这样的解决方案的目的，该解决方案在尝试从测量信号恢复基础脉搏信号时考虑测量信号的所有特性。就这一点而言，一些实施方式部署神经网络，该神经网络学习测量信号的信号先验形式的特性，使得这些特性被用于将噪声与信号分离。

2、一些实施方式基于以下认识：从输入数据提取的信号是脉搏信号和噪声的总和，并且脉搏信号和噪声信号的傅立叶系数可以是稀疏的。通过这种实现，可以使用近端梯度下降方法来解决频率系数和噪声的稀疏优化问题。然而，这种实现假设脉搏信号和噪声信号的傅立叶系数是稀疏的。一些实施方式旨在通过结合可学习先验来放宽这些稀疏性假设。此外，由于深度学习方法显示出优于基于模型的方法的显著性能改进，因此一些实施方式通过直接接受原色光帧作为输入的深度学习网络来实现可学习先验。

3、一些实施方式还认识到，实现成像光电容积描记术（ippg）或远程光电容积描记术（rppg）性能增益应将逆问题公式化方法的理论优势与深度学习方法的经验益处集成。在这方面，基于展开优化算法的方法将可学习参数集成到传统迭代算法中，利用学习能力，同时利用已知结构并保持可解释性。特别地，基于展开的方法对信号和噪声而不是稀疏性先验施加学习先验，并且通过针对t次迭代“展开”近端梯度下降来求解对应的近端算子，其中t是根据经验确定的超参数。这些算法重复地应用两个步骤：第一，它们通过使用学习的或固定的前向算子使数据保真项最小化来确保预期结果与测量结果一致，以及第二，它们在将解拟合到基准真值信号之前使用学习的信号应用信号去噪器。

4、然而，一些实施方式还认识到，在每个展开的迭代中仅应用单个去噪步骤可能是次优的。相反，可以通过重复应用去噪算子直到输出收敛来实现进一步去噪。扩展这些理解，一些实施方式考虑可以获得基础心率信号的频率系数作为去噪算子的固定点。作为细致实验的结果，认识到深度平衡模型（也称为deq）求解由诸如ode流的端点或方程的根的标准规定的非线性系统，并且通过该点反向传播。因此，deq将求解器的选择与端点或根的计算解耦，并且可以分析地并且独立于前向传递反向传播通过该点。因此，为了估计受试者的生命体征，一些示例实施方式涉及提供具有深度平衡模型（deq）作为去噪器的基于展开梯度下降的框架。一些实施方式还涉及为基于展开的框架的整体近端梯度下降迭代找到深度平衡模型。

5、一些实施方式的认识是，常规深度学习模型通过将显式函数应用于输入、沿途构建计算图以及在损失计算之后通过该图反向传播以更新参数来学习。还认识到，诸如深度平衡模型的隐式模型不构建计算图；相反，这样的模型求解由标准（诸如ode流的端点或方程的根）规定的非线性系统，并且通过该点反向传播。因此，一些实施方式认识到，诸如deq的隐式模型将求解器的选择与端点或根的计算解耦，并且可以分析地并且独立于前向传递反向传播通过该点。使用这种方法，这些网络中的训练和预测仅需要恒定存储器，而不管网络的有效“深度”如何。

6、一些示例实施方式通过使用deq作为伪近端算子来利用deq的这些属性，以便估计受试者的生命体征。一些实施方式基于以下观察：各种rppg应用中的ippg信号的频率朝向一些固定平衡点收敛。根据该观察，一些实施方式基于认识到ippg信号的结构可以被学习和/或表示为经由求根技术直接找到这些平衡点的深度平衡模型。

7、结果，可以通过利用正则化器对ippg信号实施基于deq的神经网络发现结构来解决结构化恢复问题来对ippg信号进行去噪。然而，若干示例实施方式认识到，代替诸如范数或总变化先验的显式正则化项，可以学习而不是直接求解信号结构。这进而提高了生命体征估计的准确性。

8、一些实施方式基于认识到deq为与结构化恢复求解器集成提供了额外灵活性。深度平衡模型（deq）是一类神经网络架构，其试图直接求解系统的平衡，而不是通过多层计算迭代地近似它。因此，deq不仅可以在结构化恢复的框架内应用，而且可以作为独立算子应用。值得注意的是，当deq作为独立算子应用时，deq不会受到被训练为模拟结构化恢复求解器的迭代次数的其它神经网络的限制。相反，对于每次执行，deq根据需要执行多次以找到输入的平衡点。

9、为此，一些示例实施方式的目的是提供使用基于deq的展开优化方法有效地估计受试者的生命体征的系统、方法和计算机程序产品。所公开的实施方式将从受试者的视频中提取的信号建模为基础脉搏信号和噪声的总和。然而，代替在信号上明确地施加手工先验（例如，频域中的稀疏性），一些示例实施方式使用神经网络在信号和噪声上学习先验。一些公开的实施方式通过展开近端梯度下降来求解基础脉搏信号，其中算法在梯度下降步骤和所学习的去噪器的应用之间交替，这些去噪器替换手工先验及其近端算子。换句话说，一些实施方式将基于模型的方法与数据驱动的深度神经网络组合以估计生命体征。

10、因此，一些示例实施方式提供了一种用于估计受试者的生命体征信号的远程光电容积描记（rppg）系统。该系统包括被配置为存储指令的存储器和被配置为执行指令以使rppg系统收集受试者的不同皮肤区域的图像序列的处理器，每个区域包括指示皮肤颜色变化的不同强度的像素。处理器还被配置为将图像序列变换成指示受试者的生命体征在时域中的变化的成像光电容积描记（ippg）信号序列。ippg信号经受结构化非高斯噪声。处理器还被配置为通过利用正则化器对ippg信号实施神经网络发现结构来求解结构化恢复问题来对ippg信号进行去噪。正则化器包括使用深度平衡模型（deq）实现的学习正则化项。处理器经由接口输出与去噪ippg信号对应的生命体征信号。

11、在又一示例实施方式中，提供了一种用于估计受试者的生命体征信号的计算机实现的方法。该方法包括收集受试者的不同皮肤区域的图像序列，每个区域包括指示皮肤颜色变化的不同强度的像素。该方法还包括将图像序列变换成指示受试者的生命体征在时域中的变化的成像光电容积描记（ippg）信号序列。ippg信号经受结构化非高斯噪声。该方法还包括通过利用正则化器对ippg信号实施神经网络发现结构来求解结构化恢复问题来对ippg信号进行去噪。正则化器包括使用深度平衡模型（deq）实现的学习正则化项。然后，经由接口输出与去噪ippg信号相对应的生命体征信号。

12、在又一些其它示例实施方式中，提供了一种非暂时性计算机可读介质，其上存储有用于执行估计受试者的生命体征信号的方法的计算机可执行指令。该方法包括收集受试者的不同皮肤区域的图像序列，每个区域包括指示皮肤颜色变化的不同强度的像素。该方法还包括将图像序列变换成指示受试者的生命体征在时域中的变化的成像光电容积描记（ippg）信号序列。ippg信号经受结构化非高斯噪声。该方法还包括通过利用正则化器对ippg信号实施神经网络发现结构来求解结构化恢复问题来对ippg信号进行去噪。正则化器包括使用深度平衡模型（deq）实现的学习正则化项。然后，经由接口输出与去噪ippg信号相对应的生命体征信号。

13、将参考以下附图进一步解释当前公开的实施方式。所示的附图不一定按比例绘制，而是通常将重点放在说明当前公开的实施方式的原理上。