从患者的2-D正面图像确定患者的3-D面部信息的制作方法

从患者的2-d正面图像确定患者的3-d面部信息
1.相关申请的交叉引用
2.本专利申请根据35 u.s.c.
§
119(e)要求于2020年5月15日提交的美国临时申请no.63/025，822的优先权，其内容在此引入作为参考。
技术领域
3.本发明涉及使用气道正压(pap)治疗用于确定用于治疗诸如睡眠呼吸紊乱的状况的患者的面罩的系统和方法。更具体地，本发明涉及用于使用从患者的二维(2-d)正面图像确定的三维(3-d)面部信息来为患者确定这种面罩的系统和方法。本发明进一步涉及用于从人的2-d正面图像确定人的3-d面部信息的方法。


背景技术：

4.许多个体在睡眠期间患有呼吸紊乱。睡眠呼吸暂停是全世界数百万人遭受的这种睡眠呼吸障碍的常见实例。睡眠呼吸暂停的一种类型是阻塞性睡眠呼吸暂停(osa)，其是睡眠由于气道阻塞而不能呼吸而反复被中断的病症；通常上气道或咽部区域。通常认为气道阻塞至少部分是由于使上气道段稳定的肌肉的总体松弛，从而允许组织使气道塌陷。另一种类型的睡眠呼吸暂停综合症是中枢性呼吸暂停，其是由于没有来自大脑呼吸中枢的呼吸信号而导致的呼吸停止。呼吸暂停情况，无论是阻塞性的、中枢性的或混合型的(其是阻塞性和中枢性的组合)，被限定为呼吸完全或接近停止，例如峰值呼吸气流减少90％或更多。
5.患有睡眠呼吸暂停的患者在睡眠过程中间歇性地经历睡眠片段化和完全或几乎完全停止通气，伴随有潜在严重程度的氧合血红蛋白去饱和。这些症状在临床上可以被转化为极度白天嗜睡、心律失常、肺动脉高血压、充血性心力衰竭和/或认知功能障碍。睡眠呼吸暂停的其他后果包括右心室功能障碍、觉醒期间以及睡眠期间的二氧化碳潴留、以及持续降低的动脉氧张力。在驾驶和/或操作潜在危险的设备时，睡眠呼吸暂停患者可能处于由这些因素引起的过度死亡的危险中，以及处于事故的高风险中。
6.即使患者没有遭受气道的完全或几乎完全阻塞，也已知在仅存在气道的部分阻塞的情况下可能发生诸如睡眠引起的觉醒的不利影响。气道的部分阻塞通常导致浅呼吸，称为呼吸不足。呼吸不足通常被限定为在峰值呼吸气流减少50％或更多。其它类型的睡眠呼吸障碍包括但不限于上气道阻力综合征(uars)和气道振动，诸如咽壁振动，通常称为打鼾。
7.众所周知，通过将连续正气压(cpap)应用于患者气道来治疗睡眠呼吸障碍。这种正压有效地“夹住”气道，从而保持通向肺的开放通道。提供正压治疗也是已知的，其中递送到患者的气体的压力随着患者的呼吸周期而变化，或者随着患者的呼吸努力而变化，以增加患者的舒适度。这种压力支持技术被称为双水平压力支持，其中递送到患者的吸气气道正压(ipap)高于呼气气道正压(epap)。还已知提供一种正压治疗，其中基于检测到的患者状况(诸如患者是否正经历呼吸暂停和/或呼吸不足)自动调节压力。这种压力支持技术被称为自动滴定类型的压力支持，因为压力支持设备试图向患者提供仅与治疗呼吸紊乱所需的压力一样高的压力。
8.刚才描述的压力支持治疗涉及患者接口设备的放置，该患者接口设备包括面罩组件，该面罩组件具有在患者面部上的柔软的、柔性密封衬垫。面罩组件可以是但不限于覆盖患者鼻子的鼻罩、连接在患者鼻子下面的鼻托、连接患者各个鼻孔的鼻枕面罩、覆盖患者鼻子和嘴的鼻/口面罩、或覆盖患者面部的全面罩。这种患者接口设备还可以采用其他患者接触组件，诸如前额支撑件、脸颊垫、下巴垫、硅树脂框架和头带元件。患者接口设备被连接到气体递送管或导管，并且将压力支持设备与患者的气道连接，使得呼吸气体流可以从压力/流量生成设备被递送到患者的气道。
9.用于生成为患者创建或确定用于向患者递送治疗气体流的“定制”面罩的现有技术系统使用患者的三维扫描，三维扫描使用昂贵的3-d图像捕获设备被获得。备选地，使用在特定位置处拍摄的多个图像的其他方法已经被用于创建患者的3-d模型，该3-d模型然后被用于为患者确定最佳面罩或创建“定制”面罩。用于捕获这种3-d扫描所需的设备的成本和使用多个图像成功获得准确数据所需的方法的复杂性限制了这种解决方案的适用性


技术实现要素：

10.作为本发明的一个方面，提供了一种标识用于患者的特定面罩的方法，该面罩用于向患者递送呼吸气流。该方法包括：接收患者的2-d正面图像；从2-d正面图像确定患者的3-d面部信息；将3-d面部信息中的至少一些3-d面部信息与多个候选面部面罩的维度信息进行比较；以及根据3-d面部信息的至少一些3-d面部信息与多个候选面罩的维度信息的比较结果，来确定患者的特定面罩。
11.接收患者的2-d正面图像可以包括接收患者的2-d rgb正面图像。从2-d正面图像确定患者的3-d面部信息可以包括用经训练的神经网络分析2-d正面图像。从2-d正面图像确定患者的3-d面部信息可以进一步包括从经训练的神经网络的分析确定3-d uv位置图。从2d正面图像确定患者的3-d面部信息可以进一步包括从3-d uv位置图确定患者面部的参数模型。该方法可以进一步包括向患者提供特定面罩。接收患者的2-d正面图像可以包括用数字成像设备捕获患者的2-d正面图像。用数字成像设备捕获患者的2-d正面图像可以包括用与计算设备通信的智能手机的正面相机或网络相机中的一个捕获2-d正面图像。
12.作为本发明的另一方面，提供了一种确定患者的3-d面部信息的方法。该方法包括：接收患者的2-d正面图像；以及通过用经训练的神经网络分析2-d正面图像来从2-d正面图像确定患者的3-d面部信息。
13.接收患者的2-d正面图像可以包括接收患者的2-d rgb图像。从2-d正面图像确定患者的3-d面部信息可以进一步包括来自由经训练的神经网络的分析确定3-d uv位置图。从2d正面图像确定患者的3-d面部信息可以进一步包括从3-d uv位置图创建参数模型。接收患者的2-d正面图像可以包括用数字成像设备捕获患者的2-d正面图像。用数字成像设备捕获患者的2-d正面图像可以包括用与计算设备通信的智能手机的正面相机或网络相机中的一个捕获2-d正面图像。
14.作为本发明的又一方面，提供了一种用于标识特定面罩的系统，该特定面罩用于将呼吸气流递送到患者。系统包括：用于接收患者的2-d正面图像的输入；被训练以接收患者的2-d正面图像并且确定患者面部的3-d uv位置图的神经网络；处理装置，其被编程为：从3-duv位置图确定患者的面部的3-d面部信息，将3-d面部信息中的至少一些3-d面部信息
与多个候选面罩的维度信息进行比较，并且从3-d面部信息中的至少一些3-d面部信息与多个候选面罩的维度信息的比较结果确定患者的特定面罩；以及输出设备，其与处理装置通信，用于提供特定面罩的指示。
15.本发明的这些和其它目的、特征和特性，以及结构的相关元件的操作方法和功能以及部分的组合和制造的经济性，将在参考附图考虑以下描述和所附权利要求时变得更加明显，所有附图形成本说明书的一部分，其中相同的附图标记在各个附图中表示相应的部分。然而，应当清楚地理解，附图仅用于说明和描述的目的，而不旨在作为对本发明的限制的定义。
附图说明
16.图1是根据本发明的一个示范性实施例的用于标识患者的特定面罩的系统的示意图，该面罩用于向患者递送呼吸气体流；
17.图2是根据本发明的一个示范性实施例的用于标识患者的特定面罩的另一系统的示意图，面罩用于向患者递送呼吸气体流；
18.图3是根据本发明的一个示例性实施例的神经网络的操作的示例性表示，示出了其示例性输入和其对应的输出；
19.图4是类似于图3的神经网络的操作的示例表示，但进一步示出了被转换成3-d形式的神经网络的输出的示例；
20.图5是根据本发明的一个示例性实施例的方法的流程图；
21.图6a、7a、8a和9a示出了由诸如图1所示的由2-d图像捕获装置捕获的rgb正面图像的示例；
22.图6b、7b、8b和9b示出了由诸如图1所示的经训练的神经网络从图6a、7a、8a和9a的对应的rgb正面图像生成的uv位置图的示例；以及
23.图6c、7c、8c和9c示出了从图6b、7b、8b和9b的对应的uv位置图选择的3-d参数模型的示例图，诸如由图1所示的经训练的神经网络生成的3-d参数模型。
具体实施方式
24.如本文所使用的，单数形式的“一”、“一个”和“该”包括复数指代，除非上下文另有明确说明。如本文所使用的，两个或更多个部分或组件被“耦合”的表述将意味着这些部分被直接地或间接地(即，通过一个或多个中间部分或组件)连接或一起操作，只要发生链接。如本文所使用的，“数目”应意指一个或大于一个的整数(即，多个)。
25.如本文所使用的，术语“患者”和“用户”可以互换地使用以指代其图像被捕获/利用以确定其3-d信息并且进一步从中确定其“定制”面罩的人。
26.如本文所使用的，患者的面部的“正面图像”应意指电子图像，该电子图像至少包含患者的面部(例如，鼻子、嘴巴和附近的结构)，该电子图像被定位成大致直视相机，其已经被直接捕获或者被提供有合适的图像捕获设备。在本发明的示例性实施例中，正面图像被利用，其中患者的面部占据图像的至少50％。其中面部占据小于图像的50％的图像可能导致小于最佳的结果。另外，在本发明的示例性实施例中，已经采用了由位于平分患者面部的垂直平面的50
°
内的设备捕获的正面图像。通常，用定位靠近垂直平面的设备捕获的图像
提供最好的结果。
27.如本文所使用的，患者的三维(3-d)面部信息应指描述患者面部上的界标或其他点在三维空间中相对于彼此的间隔和/或定位的信息。
28.本发明的实施例利用患者的面部的单个二维(以下称为“2-d”)正面图像来确定患者的三维(以下称为“3-d”)面部信息，然后可以将其用于与一个或多个候选面罩的二维或三维信息进行比较，以确定用于建议和/或提供给患者的特定面罩。如先前在背景部分中所讨论的，现有解决方案利用3-d扫描或以各种角度拍摄的多个图像来生成等效的3-d面部信息。
29.图1中示出了根据本发明的一个示例性实施例的用于标识用于患者的特定面罩的系统10的示意图，该面罩用于向患者递送呼吸气流。系统10包括本地设备12和与本地设备12进行双向电子通信(例如，经由任何合适的有线或无线连接)的远程处理装置14，使得远程处理装置14可以从本地设备12接收输入并且向本地设备12提供输出。本地设备12可以是智能手机、膝上型电脑或其它计算机、电子信息站或其它合适的装置，并且包括本地处理装置16，以及与本地处理装置16电子通信的2-d图像捕获装置18、输入装置20和输出装置22。本地处理装置16包括处理器、固定磁盘存储设备和存储器模块(未编号)。
30.本地处理装置16可以是例如但不限于与前述存储器模块接口的微处理器(μp)，存储器模块可以是各种类型的内部和/或外部存储介质中的任何一种或多种存储介质，诸如但不限于ram、rom、eprom、eeprom、flash等，其提供存储寄存器，即机器可读介质，用于诸如以计算机的内部存储区域的方式进行数据存储，并且可以是易失性存储器或非易失性存储器。本地处理装置16的固定磁盘存储设备中存储有可由本地处理装置16执行的多个例程。
31.2-d图像捕获装置18可以是用于直接或间接地电子捕获人的2-d图像的任何合适的装置(例如，但不限于，智能手机的面向前或面向后的相机、电子扫描仪等)。如下所述，根据系统10的一个或多个其它组件的细节，这种2-d图像可以是rgb图像(即彩色图像)、灰度图像或黑白图像，如下所述。
32.输入装置20可以是任何合适的装置(例如但不限于物理小键盘或键盘、触摸屏、麦克风、摄像机等)，用于向本地设备12(并且更具体地，本地处理装置16)提供至少最小的输入，而不脱离本发明的范围。输出设备22通常可以是用于从本地处理装置16和/或本地设备12提供输出的任何合适的装置。更具体地，输出设备22可以是适于向用户提供特定面罩的指示或提供实际特定面罩的任何装置。例如，如下面进一步讨论的，系统10确定用于患者的特定面罩，并且可以根据特定应用提供关于确定的特定面罩的信息(例如但不限于型号、大小、如何获得等)，并且或者可以实际提供确定的特定面罩。因此，输出装置22可以是多种适当装置中的任何一种装置(例如，但不限于显示屏、扬声器、容纳多个面罩的选择可访问的隔室或多个隔室)，而不改变本发明的范围。
33.远程处理装置14是基于云的处理装置，其整体或部分地包括公知架构的可训练神经网络24。更具体地，神经网络24已经被训练以仅从作为输入提供给神经网络24的用户的单个2-d正面图像产生用户面部的3-d位置图。如本文所使用的，“经训练的神经网络”是已经例如通过传统技术被训练以从用户/患者的2-d正面图像产生用户/患者的面部的3-d位置图的神经网络。在本发明的一个示例性实施例中，诸如在图3中一般例示的，神经网络24被训练以接收作为输入26的用户30的面部的2-d rgb正面图像28，并且提供以uv位置图34
的形式的输出32。如本文里所使用的，“uv位置图”是包含用户(例如，图3中的用户30)的面部(或其相关部分)的所有像素的深度信息的图。通过向神经网络24提供uv位置图来进行神经网络24的这种训练，uv位置图是使用传统的3-d扫描设备和技术从大约3000个的不同样本中获得的。还向神经网络24提供从每个上述uv位置图中提取的每个人的2-d正面图像。根据这种训练，神经网络24被有效地教导以创建3-d uv位置图(诸如图3中的图34)，作为仅来自作为输入26提供给神经网络24的2-d rgb正面图像(诸如图3的正面图像28)输出32。
34.如图4中所示，这种3-d uv位置图34然后可以被转换成3-d参数模型36(其三个2-d视图在图4的示例中被示出)，用于与一个或多个候选面罩的3-d维度信息进行比较，以确定用于用户的推荐面罩。尽管使用2-d rgb图像示出，但是应当理解，除了使用灰度材料代替rgb之外，通过使用类似的训练材料来类似地训练神经24也可以使用2-d灰度图像。
35.图2中示出了根据本发明的另一示例实施例的另一系统10'的示意图，该系统用于标识用于患者的特定面罩以用于向患者递送呼吸气体流。系统10'类似于前面讨论的系统10，除了系统10'完全被包含在本地设备12'内。更具体地，本地设备12'具有与本地设备12类似的装置，除了本地设备12'包括作为本地处理装置16'或作为本地处理装置16'的部分提供的神经网络24'(类似于先前讨论的神经网络24)。
36.已经如此描述了根据本发明的一些示范性实施例的一些示例系统10、10'，连同其组件的细节和一般操作，将不参考图5描述根据本发明的一个示范性实施例的经由这种系统10、10'(或任何其他合适的装置)中的任一个系统来执行的示范性方法40，该方法标识用于向患者递送呼吸气体流的用于患者的特定面罩。
37.方法40开始于42处，其中患者的2-d正面图像被接收。在图1和图2的示例性系统10和10'中，这种2-d正面图像可以是使用2-d图像捕获装置18捕获的rgb图像，该rgb图像被提供给经训练的神经网络24或24'并且由经训练的神经网络24或24'接收用于进行处理。
38.接下来，在44处，从2-d正面图像确定患者的3-d面部信息。在图1和2的示例性系统10和10'中，这种确定由经训练的神经网络24或24'执行，该神经网络接收2-d rgb正面图像并且确定/产生3-duv位置图作为其输出。可以从3-d uv位置图确定患者面部的参数模型。
39.接下来，在46处，将至少一些3-d面部信息与多个候选面罩的维度信息进行比较。在图1和2的示例系统10和10'中，这种比较可以由神经网络24或24'或本地处理装置16或16'使用规则集或诸如本领域公知的用于找到面罩的接口部分与患者/用户的面部之间的最佳3-d匹配的其他方法来执行。
40.最后，方法40通常在48处结束，其中根据在46处执行的至少一些3-d面部信息与多个候选面罩的维度信息的比较结果来确定患者的特定面罩。用于患者/用户的特定面罩的这种确定可以包括向用户提供标识特定面罩的信息(例如但不限于样式、型号#、尺寸等)和/或向患者提供实际的特定面罩。在图1和2的示例性系统10和10'中，向患者提供标识特定面罩和/或实际特定面罩的信息可以使用诸如先前描述的输出设备22来执行。
41.图6a－6c、7a－7c、8a－8c和9a－9c示出了提供给系统10的经训练的神经网络24的rgb正面图像28(图6a、7a、8a和9a)的示例；uv位置图34(图6b、7b、8b和9b)由经训练的神经网络24从对应的正面图像28生成；以及3-d参数模型36(图6c、7c、8c和9c)的示例图，该3-d参数模型36进一步由经训练的神经网络24从上述生成的uv位置图34生成。
42.从上文可以理解，本发明的实施例提供了用于从患者的可获得的基本2-d正面图
像中标识/提供用于特定用户/患者的“定制”面罩的解决方案。
43.可以设想，所公开概念的各方面可以体现为有形计算机可读记录介质上的计算机可读代码。计算机可读记录介质是能够存储其后可以由计算机系统读取的数据的任何数据存储设备。计算机可读记录介质的示例包括只读存储器(rom)、随机存取存储器(ram)、cd－rom、磁带、软盘和光学数据存储设备。
44.在权利要求中，被放置于括号中的任何附图标记不应被解释为限制权利要求。词语“包括”或“包含”不排除权利要求中所列出的元件或步骤之外的元件或步骤的存在。在列举了几个装置的设备权利要求中，这些装置中的几个装置可以由同一项硬件来实现。元件之前的词语“一”或“一个”不排除多个这种元件的存在。在列举了几个装置的任何设备权利要求中，这些装置中的几个装置可以由同一项硬件来实现。在相互不同的从属权利要求中叙述某些元件的事实并不表示这些元件不能组合使用。
45.尽管出于说明的目的，已经基于当前被认为是最实用和优选的实施例详细描述了本发明，但是应当理解，这种细节仅用于该目的，并且本发明不限于所公开的实施例，而是相反，旨在覆盖在所附权利要求的精神和范围内的修改和等同装置。例如，应当理解，本发明预期在可能的程度上，任何实施例的一个或多个特征可以与任何其他实施例的一个或多个特征被组合。