高动态范围生命体征提取的制作方法

1.本发明涉及用于通过使用高动态范围技术来确定对象的生命体征的设备、系统和方法。


背景技术：

2.人的生命体征，例如心率(hr)、呼吸频率(rr)或动脉血氧饱和度，用作人的当前状态的指示符，并作为严重医学事件的有力预测器。出于这个原因，在住院和门诊护理环境中、在家中或在另外的健康、休闲和健身环境中，对生命体征进行广泛监测。
3.测量生命体征的一种方式是体积描记法(ppg)。ppg一般是指对器官或身体部分的体积变化的测量，并且特别是指对由于随着每次心跳行进穿过对象的身体的心血管脉搏波造成的体积变化的检测。ppg是一种光学测量技术，其评价感兴趣区域或体积的光反射率或透射率的时变变化，并基于血液比周围组织更多地吸收光的原理。因此，每次心跳的血容量的变化相应地影响透射率或反射率。除了关于心率的信息之外，ppg波形可以包括可归因于诸如呼吸的另外的生理现象的信息。通过评价不同波长(通常是红色和红外)处的透射率和/或反射率，可以确定血氧饱和度。
4.最近，已经引入了用于非侵扰测量的非接触式远程ppg(rppg)设备。远程ppg利用远离感兴趣对象设置的光源，或者通常地辐射源。类似地，探测器(例如相机或光探测器)也可以远离感兴趣对象设置。
5.在生命体征监测的实际应用中，专用的均匀漫射光源的使用通常是不可能的，诸如在健身锻炼、急诊科分诊、汽车驾驶员监测(受车外环境光变化影响)中。非均匀光源在人面部上产生不同的照明，这也由于人面部的3d结构。在对象面部上，可能存在浅色(深色剪裁)和亮剪裁两者，这使得从这些受污染的像素中的生命体征提取是不可能的。
6.us 10052038 b2公开了一种用于确定对象的生命体征的设备和方法，其旨在增加信噪比和由对象的运动引起的伪影的效率。这根据一个方面通过使用相邻帧差异和用于更准确地确定期望的生命体征的质量度量来确定记录的皮肤区域的时间和/或空间性质来解决。
7.尽管有这种和其他有希望的方法，仍然需要一种有效地解决由非均匀照明引起的上述问题的设备、系统或方法。
8.us 2017/0071516 a1公开了一种使用设备实施以测量血流动力学参数的方法被提供。该方法包括由客户端设备向服务器发送消息。该方法包括在两个发光二极管(led)传感器经由准直透镜在目标区域上发射光的同时通过相机捕获目标区域的多幅图像中的第一图像。该方法还包括在两个led传感器经由准直透镜在目标区域上发射光的同时由相机捕获目标区域的多幅图像中的第二图像。在捕获第一图像之后的预定时间捕获第二图像。该方法还包括基于第一捕获图像与第二捕获图像之间的差异来确定一个或多个血液动力学参数。
9.us 2016/239937 a公开了一种数据处理设备及其操作方法。该数据处理设备包
括：多个预处理器，其被配置为对多个传感器数据执行校正处理；第一开关电路，其被配置为将来自至少两个传感器的多个传感器数据选择性地映射并输入到多个预处理器中间的至少两个预处理器；以及混合数据处理引擎，其被配置为对从至少两个预处理器经由即时方法接收的多个传感器数据执行图像增强和深度信息确定中的至少一项。
10.us 2018/064399 a1公开了包括用于诸如心率或血氧水平的生物特征测量的多抽头解调像素的成像系统。在一些情况下，使用多抽头解调像素能够帮助促进差分信号的生成，以移除背景噪声并为生物统计测量实现更高的动态范围。


技术实现要素：

11.本发明的一个目的是提供一种允许更有效和准确的生命体征提取的设备、系统和方法，特别是在非均匀照明的情况下。
12.在本发明的第一方面中，提出了一种用于确定生命体征的设备，其包括处理单元，所述处理单元被配置为：
13.获得多个探测信号，每个探测信号表示根据电磁辐射导出的时间信号，所述电磁辐射透射通过包括所述对象的一个或多个皮肤像素的皮肤区域或从包括所述对象的一个或多个皮肤像素的皮肤区域反射并且由光学传感器探测到，在对所述电磁辐射的探测期间所述光学传感器的曝光时间至少在第一曝光时间与第二曝光时间之间交替，其中，所述第一曝光时间不同于所述第二曝光时间，
14.选择第一皮肤区域和第二皮肤区域以及对应的第一探测信号和第二探测信号，
15.将所述第一探测信号分割成第一信号迹线，所述第一信号迹线包括根据由所述光学传感器以所述第一曝光时间探测到的电磁辐射导出的所述第一探测信号的信号值，
16.将所述第二探测信号分割成第二信号迹线，所述第二信号迹线包括根据由所述光学传感器以所述第二曝光时间探测到的电磁辐射导出的所述第二探测信号的信号值，
17.对所述第一信号迹线和所述第二信号迹线进行内插，并且
18.根据经内插的第一信号迹线和第二信号迹线来确定生命体征。
19.在本发明的另一方面中，提出了一种用于确定对象的生命体征的系统，包括：
20.光学传感器，其被配置为探测透射通过包括所述对象的一个或多个皮肤像素的皮肤区域或从包括所述对象的一个或多个皮肤像素的皮肤区域反射的电磁辐射并且导出多个探测信号，每个探测信号表示根据探测到的电磁辐射导出的时间信号，其中，在对所述电磁辐射的探测期间所述光学传感器的曝光时间至少在第一曝光时间与第二曝光时间之间交替，其中，所述第一曝光时间不同于所述第二曝光时间，并且
21.上述设备，其用于根据所述多个探测信号来确定对象的生命体征。
22.在本发明的又一方面中，提供了一种对应的方法、一种计算机程序，所述计算机程序包括程序代码模块，当所述计算机程序在计算机上执行时，所述程序代码模块用于使计算机执行本文公开的方法的步骤；以及一种在其中存储计算机程序产品的非瞬态计算机可读记录介质，所述计算机程序产品在由处理器执行时使本文公开的方法被执行。
23.在从属权利要求中限定本发明的优选实施例。应当理解，要求保护的方法、系统、计算机程序和介质具有与要求保护的系统相似和/或相同的优选实施例，特别是如在从属权利要求中限定的和如本文所公开的。
24.本发明基于解决由非均匀照明引起的问题的思想，即，由从具有空间不同照明的低质量皮肤像素的部分中提取生命体征所引起的困难。这些低质量的皮肤像素由暗和亮剪裁两者引起，其中，暗(较少照明)皮肤像素由传感器噪声主导，而亮皮肤像素被剪裁，并且因此不允许提取合适的ppg信号。必须放弃/拒绝这些低质量的皮肤像素以用于生命体征提取。
25.该问题根据本发明通过使用相机的多个曝光时间来创建用于生命体征提取的高动态范围(hdr)感测来解决。多个曝光时间是至少两个不同的曝光时间。尽管通常可以调节/调整相机曝光时间以改进测量(通过使用自动曝光或质量度量)，但其仍然不能解决面部具有空间不同照明的基本限制，因为曝光时间对于一个视频帧中的所有像素是相同的。
26.通过结合不同曝光时间的结果，在hdr感测中可以用于生理信号提取的皮肤像素数量(显著)增加。选择不同曝光时间处的不同皮肤区域(没有亮或暗剪裁)以用于信号提取。实施本发明的方式非常具体和非凡，其包括顺序改变曝光时间的方法，从不同的曝光状态中选择高质量皮肤像素以供信号提取，对用于生命体征提取的不同的曝光信号进行内插和组合。
27.探测信号是根据透射通过皮肤区域或从皮肤区域反射的电磁辐射导出的，并且因此包括脉动信号和非脉动信号。此外，这些探测信号是依赖于时间的强度，其通常称为时间信号。
28.在该背景下，应该注意，术语“生命体征”应该在广泛意识上理解为“生理参数”，不仅包括严格意义上的生命体征，而且包括其他生理参数，如svo2或sao2。处理单元因此可以被配置为将血液成分或物质的指示符或浓度确定为生命体征，特别是spo2、svo2、hbo2、hbco、methb、胆红素，并且其中，脉动分量反映心动周期或呼吸周期。
29.处理单元被配置为选择第一和第二皮肤区域以及对应的第一和第二探测信号。第二皮肤区域可能与第一皮肤区域相同，但在最一般的情况下，这些皮肤区域彼此不同。由于光学传感器的曝光时间至少在第一曝光时间与第二曝光时间之间交替，因此第一探测信号仅针对第一曝光时间记录并且第二探测信号仅针对第二曝光时间记录。因此，当光学传感器优选地连续记录多个探测信号时，这些探测信号被分割成相应的迹线。因此，第一信号迹线包括在光学传感器已经以第二曝光时间操作的时间处的间隙或缺失值，并且第二信号迹线包括在光学传感器已经以第一曝光时间操作的时间处的间隙或缺失值。
30.在下一步骤中，处理单元被配置为对所述第一和第二信号迹线进行内插。这允许填充相应的迹线的缺失值以获得经内插的信号迹线。基于这些经内插的信号迹线，准确的生命体征然后是可能的。
31.根据实施例，处理单元被配置为生成控制信号以控制光学传感器在第一和第二曝光时间之间交替切换。在该背景下，应理解术语“交替地”是指光学传感器在不同曝光时间之间切换至少一次。然而，在优选实施例中，光学传感器顺序地在不同曝光时间之间切换不同次数。
32.如果处理单元被配置为控制光学传感器在所述曝光时间之间切换，则呈现用于确定生命体征的紧凑设备。备选地，外部控制单元可以连接到光学传感器并且可以被配置为生成对应的控制信号以控制光学传感器在不同的曝光时间之间切换。然后，外部控制单元优选地还连接到用于确定生命体征的设备以向设备发送消息以向设备传输关于不同曝光
时间的定时的信息。备选地，处理单元被配置为从光学传感器读出不同的曝光时间。
33.根据优选实施例，处理单元被配置为生成控制信号以控制光学传感器以大于光学传感器的采样率的切换速率在第一曝光时间与第二曝光时间之间交替切换。更大的采样率允许更密集的曝光时间变化和甚至更多不同的曝光状态(例如，五个不同的曝光时间，而不是仅两个)。如果改变曝光时间的速率小于光学传感器的采样率，则能够导致光学传感器以不同曝光时间的混合记录图像的情况。这是非期望的并且使探测信号的过去处理复杂化。
34.应当理解，本发明不限于两个不同的曝光时间和两个(不同的)皮肤区域的情况。根据另一个实施例，处理单元被配置为：选择三个或更多个皮肤区域和根据由光学传感器探测到的电磁辐射导出的对应的探测信号，在电磁辐射的探测期间所述光学传感器的曝光时间在三个或更多个曝光时间之间交替；将三个或更多个探测信号分割成三条或更多条信号迹线；对三条或更多条信号迹线进行内插；并根据经内插的三条或更多条信号迹线来确定生命体征。如果在不同曝光时间之间切换的光学传感器的速率大于采样率，则这尤其令人感兴趣。选择多于两个皮肤区域允许获得多于两个生命体征并且因此允许对更多生命体征进行平均以获得更准确的最终结果，该结果优选地甚至从更大的皮肤区域获得并且因此更可靠。
35.根据另一个实施例，处理单元被配置为：选择两个或更多个第一皮肤区域以及根据由光学传感器以相同曝光时间探测到的电磁辐射导出的对应的第一探测信号，将选定的第一探测信号组合成组合的探测信号，并且使用组合的第一探测信号来进行后续分割。因此，第一皮肤区域可以被分成两个或更多个第一(子)皮肤区域，并且对应的组合的第一探测信号因此是各种第一(子)探测信号的组合。这允许在相同的曝光时间内使用更多皮肤区域的组合的信息，以在后续分割中获得更准确的结果。
36.根据另一个实施例，处理单元被配置为对经内插的信号迹线进行规范化和/或滤波，并且根据规范化的和/或经滤波的第一和第二信号迹线来确定生命体征。应当理解，“规范化”在所述背景下是指处理单元被配置为将相应的探测信号的脉动分量(ac分量)除以非脉动分量(dc分量)。优选地，处理单元被配置为首先对经内插的信号迹线进行规范化并且然后对规范化的经内插的信号迹线进行滤波。然而，本发明不限于所述顺序，并且反之亦然。
37.此外，有两种选择来确定生命体征。处理单元可以被配置成通过组合经内插的信号迹线并且然后根据组合的信号迹线确定生命体征或者通过根据经内插的信号迹线确定第一和第二生命体征并且然后组合所述第一和第二生命体征以获得最终的生命体征来确定生命体征。
38.根据另一实施例，处理单元被配置为基于亮度值、色度值和调制值中的一项或多项来选择皮肤区域和对应的探测信号。
39.不同的曝光时间可能导致不同的亮的和暗的皮肤区域。因此，对于每个曝光时间，必须由处理单元选择适当的皮肤区域。这可以基于例如亮度。然后，处理单元被配置为选择亮的并且因此将大量电磁辐射反射回到光学传感器的皮肤区域。备选地，处理单元也可以被配置为基于色度值或调制值来选择皮肤区域。后一个选项允许选择具有要记录大量脉动血管的皮肤区域。
40.优选地，处理单元被配置为通过将每个皮肤区域的探测信号与阈值进行比较来选
择皮肤区域和对应的探测信号，特别是对于亮度、色度和/或调制。不同阈值的混合也是选择最合适的皮肤区域以用于进一步处理的可行选项。
41.根据实施例，处理单元被配置为通过对使用最接近的非缺失值的内插方法或线性、三次、均值平均或中值平均内插方法的使用来内插分割的信号迹线。
42.光学传感器优选地是在可见和/或红外光谱范围内操作的单色或多光谱相机或光电二极管阵列，因为ppg通常记录在所述光谱范围内。此外，光学传感器包括至少两个像素以具有空间分辨率。优选地，光学传感器包括多个像素并且还被配置为探测来自不同交叠皮肤区域的电磁辐射，使得探测信号是根据来自不同交叠皮肤区域的电磁辐射导出的。
附图说明
43.本发明的这些和其他方面将根据下文描述的(一个或多个)实施例而显而易见并且将参考下文描述的(一个或多个)实施例得到阐明。在下面的图中，
44.图1示出了根据本发明的用于确定对象的生命体征的系统的实施例的示意图；
45.图2示出了图示要由根据本发明的设备执行的方法的流程图；
46.图3示出了图示要由根据本发明的设备执行的另一任选方法的流程图；
47.图4示出了图示要由根据本发明的设备执行的另一任选方法的流程图；
48.图5示出了图示要由根据本发明的设备执行的另一任选方法的流程图；并且
49.图6示出了图示要由根据本发明的实施例的设备执行的方法步骤的示意图。
具体实施方式
50.图1示出了根据本发明的系统500的实施例的示意图。系统500包括光学传感器100和用于确定对象1的生命体征的设备200，其中，设备200还包括处理单元210。
51.光学传感器100被配置为探测透射通过对象1的皮肤区域4、6或从其反射的电磁辐射10。皮肤区域可以被分成至少第一皮肤区域4和第二皮肤区域6。此外，所述光学传感器100被配置为导出多个探测信号110，其中，所述探测信号110中的每个表示从电磁辐射10导出的时间信号。光学传感器100优选地在测量期间连续记录图像。在电磁辐射10的探测期间，光学传感器100的曝光时间在第一曝光时间和第二曝光时间之间交替。优选地，电磁辐射10位于红色和红外光谱范围内。为了所述目的，系统500还可以包括辐射源(未示出)，其被配置为将所述光谱范围内的电磁辐射发射到对象1上。辐射源和光学传感器100被布置成使得可以由光学传感器100探测到由辐射源发射并且透射通过对象1的皮肤4、6或从其反射的电磁辐射。然而，应该注意的是，本发明对于使用日光并且没有特定辐射源可用的实际应用特别有吸引力。
52.光学传感器100的不同曝光时间之间的切换可以由处理单元210引起。根据实施例，处理单元210被配置为生成控制信号180以控制光学传感器100在第一曝光时间和第二曝光时间之间交替切换。备选地，系统500还可以包括外部控制单元300，外部控制单元300被配置为生成这样的控制信号以控制光学传感器100在不同的曝光状态之间切换。
53.图2示出了图示要由根据本发明的用于确定对象的生命体征150的设备200的处理单元210执行的方法的流程图。
54.在第一步骤s10中，获得上面提到的多个探测信号110。
55.在下一步骤20中，选择第一皮肤区域4和第二皮肤区域6以及对应的第一和第二探测信号121、122。
56.然后在接下来的步骤s30、s40中，该第一和第二探测信号121、122被分割成第一信号迹线131和第二信号迹线132。第一信号迹线131包括根据由光学传感器100以第一曝光时间探测到的电磁辐射10导出的第一探测信号121的信号值，并且第二信号迹线132包括根据由光学传感器100以第二曝光时间探测到的电磁辐射10导出的第二探测信号122的信号值。
57.在另外的步骤s50、s60中，第一和第二信号迹线131、132被内插，并且在最后的步骤s70中，生命体征150是根据经内插的第一和第二信号迹线141、142确定的。
58.在最后的步骤s70中如何确定生命体征150存在两种选择。或者通过首先组合经内插的信号迹线141、142并且然后根据组合信号迹线来确定生命体征150(如图2所示)，或者通过在步骤s72中首先根据经内插的信号迹线141、142来确定第一和第二生命体征151、152并且然后在随后的步骤s82中组合所述第一和第二生命体征151、152以获得最终生命体征150’。该第二选项在图3图示的流程图中图示。
59.此外，应该注意的是，两个皮肤区域4、6仅是示例性的，并且处理单元210被配置为选择甚至更多的皮肤区域4、6，以及对应的探测信号121、122，对应的探测信号121、122是根据由光学传感器100探测到的电磁辐射10导出的。因此，在电磁辐射10的探测期间光学传感器100还可以在多于两个不同的曝光时间之间切换，其中，曝光时间被切换的切换速率优选地大于光学传感器100的采样率。
60.根据另一实施例，图2所图示的方法步骤的顺序也可以稍微不同。可以有按给定顺序执行以下方法步骤的选项：
61.时间顺序曝光设置，
62.获得针对第一曝光时间的探测信号，
63.根据获得的具有第一曝光时间的探测信号来选择(一个或多个)皮肤区域，
64.获得针对第二曝光时间的探测信号，并且
65.根据获得的具有第二曝光时间的探测信号来选择(一个或多个)皮肤区域。
66.因此，尤其是获得探测信号的步骤s10可以优选地针对不同的曝光时间以时间顺序执行。
67.图4示出了图示要由根据本发明的用于确定对象1的生命体征150的设备200执行的另一任选方法的流程图。在步骤s22中，两个或更多个第一(子)皮肤区域4a、4b、
……
和根据由光学传感器100以相同曝光时间探测到的电磁辐射10导出的对应的第一(子)探测信号121a、121b被选择。因此，在选择第一皮肤区域4和第二皮肤区域6(参见图2)的步骤s20之后，进一步处理根据由光学传感器100在第一曝光时间探测到的从第一皮肤区域4的子区域反射或透射通过所述子区域的电磁辐射导出的探测信号能够是可行的选择。在下一步骤s24中，对应于所述第一(子)皮肤区域4a、4b的第一(子)探测信号121a、121b然后被组合以获得用于后续分割的第一探测信号121(如上面参考图2所讨论的)。这允许使用针对相同曝光时间记录的更多离散皮肤区域的组合信息以在后续分割中获得更准确的结果。
68.图5示出了图示要由根据本发明的用于确定对象1的生命体征150的设备200执行的另一任选方法的流程图。在步骤s62中，对经内插的信号迹线141、142进行规范化和/或滤波，并且在随后的步骤s70中，根据规范化和/或经滤波的第一和第二信号迹线143、144来确
定生命体征150。对规范化的信号进行滤波允许进一步提高信噪比，并且因此最终确定更准确的生命体征。
69.图6示出了图示要由根据本发明的实施例的用于确定对象1的生命体征150的设备200的处理单元210执行的方法步骤的示意图。在第一行601中图示了光学传感器100以时间顺序记录对象的皮肤区域4、6的多幅图像。这优选地通过以高且恒定的帧速率(例如每秒80帧)记录视频来实现。皮肤区域4、6示例性地是对象1的面部的一部分。光学传感器的曝光时间在第一曝光时间(高曝光)和第二曝光时间(低曝光)之间切换。可以看出，对于不同的曝光时间，不同的皮肤区域4、6是亮的或暗的。示例性地示出，如果曝光时间长则第一皮肤区域4(主要位于面部的左侧部分)亮，并且如果曝光时间短则第一皮肤区域4暗。反之亦然，如果曝光时间长则第二皮肤区域6(主要位于面部的右侧部分)暗，并且如果曝光时间短则第二皮肤区域6亮。
70.如已经参考图2所解释的，选择第一和第二皮肤区域4、6以及对应的探测信号121、122(参见图2中的s20)。优选地基于亮度值、色度值和调制值中的一个或多个来选择皮肤区域4、6。因此，可以基于这些值之一(或它们的任何组合)来定义皮肤掩模。根据图6中所示的示例，由于相对曝光时间的亮度，第一皮肤区域4被选择用于第一曝光时间并且第二皮肤区域6被选择用于第二曝光时间。
71.第一和第二探测信号121、122各自表示根据透射通过对象的皮肤区域4、6或从其反射的电磁辐射10导出的时间信号。图6的第二行602中的示图图示了与时间相关的该第一和第二探测信号121、122。该时间表示光学传感器100的记录时间。光学传感器100具有至少两个像素以具有空间分辨率并区分第一皮肤区域4和第二皮肤区域6。
72.如已经参考图2进一步解释的，在接下来的步骤s30、s40中，第一探测信号121被分割成第一信号迹线131，并且第二探测信号122被分割成第二信号迹线132。该第一和第二信号迹线131、132与时间相关地在第三行603中图示。可以看出，第一信号迹线131包括在光学传感器100已经以第二曝光时间操作的时间的间隙或缺失值，并且第二信号迹线132包括在光学传感器100已以第一曝光时间操作的时间的间隙或缺失值。因此，在接下来的步骤s50、s60中，第一和第二信号迹线131、132分别被内插以获得相应的内插信号迹线141、142。在接下来的步骤s62中，这些经内插的信号迹线141、142分别被规范化和/或者滤波，并且在最终步骤s70中，根据经内插的第一和第二信号迹线141、142来确定生命体征150。
73.本发明的主要应用是在具有挑战性(环境、非专用、非均匀)照明条件下的基于相互的生命体征监测，诸如健身锻炼、汽车中的驾驶员监测、急诊科分诊或户外环境中的手持监测。其也针对临床应用或基于家庭的监测中的专业护理高度相关，因为使用hdr测量允许获得针对睡眠监测、新生儿监测和其他种类监测的鲁棒生命体征提取。
74.此外，应当理解，本发明还可以实现为患者监测器(图中未示出)，其包括用于确定如上面讨论的对象1的生命体征150的设备200和用于由所述设备200生成的时间相关绘图的可视化的显示器。因此，所述患者监测器可以特别地被配置为可视化图6中所图示的所有绘图和示图。
75.尽管在附图和前面的描述中已经详细图示和描述了本发明，但是这样的图示和描述应被视为说明性或示范性的而非限制性的；本发明不限于所公开的实施例。通过研究附图、公开内容以及权利要求书，本领域技术人员在实践所要求保护的本发明时能够理解和
实现对所公开的实施例的其他变型。
76.在权利要求书中，“包括”一词不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。单个元件或其他单元可以履行权利要求书中所记载的若干项目的功能。尽管在互不相同的从属权利要求中记载了特定措施，但是这并不指示不能有利地使用这些措施的组合。
77.计算机程序可以被存储/分布在合适的介质上，例如与其他硬件一起提供或作为其他硬件的部分提供的光学存储介质或固态介质，但计算机程序也可以以其他形式来分布，例如经由因特网或者其他有线或无线电信系统分布。
78.权利要求书中的任何附图标记不应被解释为对范围的限制。