用于从增强现实应用导出三维美学牙科设计模型的方法与流程

1.本发明涉及一种用于基于三维牙科库模型从增强现实应用导出三维牙科设计模型的方法，所述增强现实应用适于在显示器上可视化在由相机在患者面部的观察轴下拍摄的患者面部的照片中用预备的位姿和缩放通过虚拟相机渲染的牙科库模型的渲染图像，该照片包括显示患者齿列现状的至少部分的张开的口腔，该方法包括：
2.在增强现实应用中将牙科库模型放置在照片上，并提供工具以在显示器上修改和/或移动牙科库模型，以获得期望的牙科设计模型，
3.提供患者齿列现状的三维扫描模型，
4.将扫描模型与照片中的患者齿列现状对齐，以获得扫描模型的位姿，
5.基于预备的位姿和缩放以及扫描模型的位姿计算至少一个变换以将期望的牙科设计模型和扫描模型代入到公共坐标系中。


背景技术：

6.对于牙医和患者来说，获得具有修改后的齿列情况的面部外观的视觉印象(即在患者面部的照片中可视化修改后的齿列情况)是感兴趣的。此外，在决定接受牙科或正畸治疗之前，此类治疗期间或之后的外观对于患者可能很重要。为此，通过牙科或正畸治疗修改后的齿列的虚拟预览(虚拟模型)和/或患者佩戴牙套/保持器的预览对牙医很有帮助，并且也可以在交互式修改治疗计划的过程中使用以获得最好的美学效果。除了在单张照片中可视化齿列情况外，在多张照片(例如从多个角度或用不同的表达方式)中可视化齿列情况可能是有帮助的。此外，可以使用实时的生活视频流，例如增强现实设置。
7.在本发明的上下文中，术语“齿列”不一定限于全口齿列，还包括部分齿列、正畸情况或调整、或牙体修复，例如假牙，包括牙冠、冠垫、贴面、嵌体和高嵌体、牙桥、牙种植体和种植体修复体。相应的，术语“牙科模型”包括用于口腔修复目的的所有假牙模型，例如全部和部分齿列模型，但也包括通过正畸治疗修改后的所有齿列模型。
8.在这方面，ep 3629336a1公开了一种用于基于三维牙科模型(尤其可以是牙科库模型)从增强现实应用导出三维牙科设计模型的方法。该增强现实应用适于在显示器上可视化在由相机在患者面部的观察轴下拍摄的患者面部的照片中用预备的位姿和缩放通过虚拟相机渲染的牙科库模型的图像。该照片包括显示患者齿列现状的张开的口腔。所描述的方法包括，作为第一步，在增强现实应用中将牙科库模型的渲染图像放置在照片上，并提供工具以在显示器上修改牙科库模型。使用这些工具，医生可以在患者在场的情况下、远程或没有患者的情况下，修改和/或移动显示器上的牙科库模型的设计，以获得期望的牙科设计模型。该方法包括，作为下一步，提供患者齿列现状的三维扫描模型，将扫描模型的渲染图像与照片中的患者齿列现状对齐，以获得扫描模型的位姿，并基于预备的位姿和缩放以及扫描模型的位姿计算至少一个变换以将期望的牙科设计模型和扫描模型代入到公共坐标系中。已经发现，通过所描述的方法获得并导出到计算机辅助设计应用的三维牙科设计模型在可见区域(例如门齿的区域)中与患者当前齿列的情况合理地匹配，但在较不可见的
臼齿区域中，通常与患者当前齿列的情况匹配较差。这是因为增强现实应用的用户在显示器上设计期望的牙科设计模型，其使得相比于在较不可见或不可见的臼齿区域的牙齿，用户能够更好地对齐清晰可见区域的牙齿。


技术实现要素：

9.本发明的一个目的是提供一种用于导出三维牙科设计模型的方法，该三维牙科设计模型在可见区域以及较不可见的臼齿区域中与患者当前齿列的情况相匹配，其中牙科设计模型是一种美学牙科设计模型，其将从增强现实应用导出到另一个应用，例如计算机辅助设计应用。
10.本发明提供一种用于基于三维牙科库模型从增强现实应用导出三维牙科设计模型的方法，所述增强现实应用适于在显示器上可视化在由相机在患者面部的观察轴下拍摄的患者面部的照片中用预备的位姿和缩放通过虚拟相机渲染的所述牙科库模型的图像，所述照片包括显示患者齿列现状的至少部分的张开的口腔，所述方法包括：
[0011]-在所述增强现实应用中将所述牙科库模型的渲染图像放置在所述照片上，并提供工具以在所述显示器上修改和/或移动所述牙科库模型，以获得期望的牙科设计模型，
[0012]-提供所述患者齿列现状的三维扫描模型，
[0013]-将所述扫描模型与所述照片中的所述患者齿列现状对齐，以获得所述扫描模型的位姿，
[0014]-基于所述预备的位姿和缩放以及所述扫描模型的位姿，计算至少一个变换，以将所述期望的牙科设计模型和所述扫描模型代入到公共坐标系中，
[0015]-使用非刚性变形通过最小化定位的牙科设计模型和所述扫描模型之间的形状差异的测量使所述定位的牙科设计模型适应所述扫描模型，以获得修改后的牙科设计模型作为用于导出的所述牙科设计模型。
[0016]
根据本发明，通过最小化定位的牙科设计模型和扫描模型之间的形状差异的测量，应用非刚性变形以使定位的牙科设计模型适应扫描模型，以获得修改后的牙科设计模型作为用于导出的牙科设计模型。
[0017]
在计算机图形学中，三维模型是发展任何三维物体的数学表示的过程的产物。存在表示物体的几种方法。本文中使用的方法是外表面的多边形建模，但是其他方法，例如曲线建模也是可能的。多边形建模是一种通过使用多边形网格表示物体的表面来建模物体的方法。多边形网格包括定义物体形状的顶点、边和面。顶点是三维空间中的点。顶点由称为边的线段连接。由顶点和边形成的多边形可以称为面，并且通常是三角形，但也可以是其他多边形，例如四边形是可能的。
[0018]
根据一个实施例，定位的牙科设计模型的可见和不可见区域是通过考虑相对于张开的口腔和观察轴的位置来确定的。可以假设观察轴垂直于照片的图像平面。通常，观察轴是从拍摄照片的相机到患者面部或齿列的轴。加权非刚性变形用于使定位的牙科设计模型适应扫描模型。由非刚性变形引起的移动可以分为沿观察轴的移动和垂直于观察轴的移动，其中观察轴是拍摄面部照片的相机的观察轴，并且通过使用加权非刚性变形，可见区域的顶点的垂直于观察轴并且由非刚性变形引起的移动比不可见区域的顶点的此类移动受到更多限制。这是通过对可见区域的顶点的垂直于观察轴的移动应用低权重而对不可见区
域的顶点的垂直于观察轴的移动应用较高权重来实现的，以获得修改后的牙科设计模型。这种与扫描模型的形状差异的测量最小化的非刚性变形模型是可以导出到例如计算机辅助设计应用的牙科设计模型。
[0019]
根据该方法的另一实施例，可见区域特别是包括门齿的前面区域，而不可见区域特别是包括臼齿的后面区域。加权非刚性变形用于使定位的牙科设计模型适应扫描模型。通过使用加权非刚性变形，包括门齿的前面区域的顶点的垂直于观察轴并且由非刚性变形引起的移动比包括臼齿的后面区域的顶点的此类移动受到更多限制。这是通过对前面区域的顶点的垂直于观察轴的移动应用低权重而对后面区域的垂直于观察轴的移动应用较高权重来实现的，以获得修改后的牙科设计模型。这种与扫描模型的形状差异的测量最小化的非刚性变形模型是可以导出到例如计算机辅助设计应用的牙科设计模型。
[0020]
根据该方法的一个实施例，在加权非刚性变形中使用并应用于定位的牙科设计模型的顶点的垂直于观察轴的移动的权重从可见区域到不可见区域逐渐增加。
[0021]
根据该方法的一个实施例，在加权非刚性变形中使用并应用于定位的牙科设计模型的顶点的垂直于观察轴的移动的权重，从包括门齿的顶点的前面区域到包括臼齿的顶点的后面区域逐渐增加。这确保了门齿的移动少于臼齿。
[0022]
根据该方法的另一实施例，由加权非刚性变形引起的沿观察轴的移动与垂直于观察轴的移动的处理不同。定位的牙科设计模型的所有顶点都允许沿观察轴的移动。这是通过允许对定位的牙科设计模型的所有顶点的沿观察轴的移动应用相同高的权重来实现的。
[0023]
通过允许沿观察轴的移动，可以调整定位的牙科设计模型和虚拟相机之间的距离。假设扫描模型和定位的牙科设计模型到虚拟相机的距离应该相似。允许沿观察轴的移动解决了当没有经验的用户在显示器上的增强现实应用中设计期望的牙科设计模型时可能发生的潜在问题，其与增强现实应用中模型的表观尺寸相关。尽管期望的牙科设计模型可能看起来正确，但它可能在扫描模型前面太远(因此比预期小)或在扫描模型后面太远(因此比预期大)。为了能够通过应用加权非刚性变形来校正该距离，权重被配置为允许沿观察轴的移动。
[0024]
根据该方法的另一实施例，非刚性变形包括剪切、倾斜、均匀和/或非均匀缩放。
[0025]
应用加权非均匀变形允许对定位的牙科设计模型的移动具有显著的控制。定位的牙科设计模型可以被变形为扫描模型，同时可以很大程度上保留用户在增强现实应用中设计的期望的牙科设计模型。有几个选择可以执行加权非刚性变形，以实现非刚性对齐。变形可以通过也称为非刚性配准或非刚性对齐的方法来执行，例如通过计算表面配准(例如尽可能刚性或迭代最近点)或通过使空间变形(例如通过笼变形或通过用径向基函数变形)。也可以一个接一个地应用多个变形以实现期望的变形。在每种变形方法中，可以应用权重来限制和/或允许定位的牙科设计模型的每个顶点单独地沿不同方向的移动。
[0026]
在某些情况下，期望完全保留定位的牙科设计模型的某些区域(例如个别牙齿)的形状。当打算使用具有无法改变的给定几何形状的预制牙齿时，这一点尤其重要。然后仅通过每个牙齿的单独平移和旋转来完成牙齿的调整。能够调整适合每个患者情况的权重，特别是单独调整适合每个牙齿的每个顶点的权重非常重要。此外，在某些情况下执行冲突检测以避免自相交可能是有用的。
[0027]
在优选实施例中，该方法包括将修改后的牙科设计模型导出到另一个应用。特别
地，导出包括生成包含修改后的牙科设计模型的导出文件。修改后的牙科设计模型被导出到具有定义坐标系的文件中，或与扫描模型一起导出到文件中。另一个应用是外部应用，例如是计算机辅助设计应用。此外，stl是导出文件的常用文件格式。
[0028]
本发明还涉及一种包括程序代码的计算机程序产品，该程序代码存储在机器可读介质上，或者由包括程序代码段的电磁波体现，并且具有用于执行上述方法的计算机可执行指令。
[0029]
在另一方法中，在使用增强现实应用之前检索患者齿列现状的三维扫描模型。该方法的下一步包括使用非刚性变形通过最小化三维牙科库模型和扫描模型之间的形状差异的测量来使三维牙科库模型适应扫描模型以获得修改后的牙科库模型。由于没有已经执行的设计步骤需要考虑，因此变形不像上面描述的方法那样受限制。然而，可能期望保持对称性和/或规律性，而不是使库模型与扫描模型完美匹配。此步骤的结果是修改后的牙科库模型，其已经可以具有正确的尺寸。该方法包括，作为下一步，在增强现实应用中将修改后的牙科库模型的渲染图像放置在照片上，并提供工具以在显示器上修改和/或移动修改后的牙科库模型。使用这些工具，医生可以在患者在场的情况下、远程或没有患者的情况下，修改该修改后的牙科库模型的设计，以获得期望的牙科设计模型。因为修改后的牙科库模型已经通过非刚性变形适应患者的扫描模型，所以该模型在增强现实应用中的照片上的可视化更加逼真。因此，与如前述方法中公开的基于牙科库模型设计期望的牙科设计模型相比，基于修改后的牙科库模型设计期望的牙科设计模型需要更少的时间。原因是，由于修改后的牙科库模型已经适应扫描模型并且因此已经合理地匹配了患者的齿列以及因此照片中的患者齿列的情况，因此需要更少的调整。该方法包括，作为下一步，将扫描模型与照片中的患者齿列现状对齐以获得扫描模型的位姿，并基于预备的位姿和缩放以及扫描模型的位姿计算至少一个变换，以将期望的牙科设计模型和扫描模型代入到公共坐标系中，特别地，其中将期望的牙科设计模型代入到扫描模型的坐标系中，以获得定位的牙科设计模型。
[0030]
根据该方法的一个实施例，加权非刚性变形用于使三维牙科库模型适应扫描模型。
[0031]
根据该方法的另一实施例，非刚性变形包括剪切、倾斜、均匀和/或非均匀缩放。
[0032]
在优选实施例中，该方法包括将修改后的牙科设计模型导出到另一个应用。特别地，导出包括生成包含修改后的牙科设计模型的导出文件。修改后的牙科设计模型与扫描模型一起导出到文件中。另一个应用是外部应用，例如是计算机辅助设计应用。此外，stl是导出文件的优选文件格式。
[0033]
本发明还涉及一种包括程序代码的计算机程序产品，该程序代码存储在机器可读介质上，或者由包括程序代码段的电磁波体现，并且具有用于执行上述方法的计算机可执行指令。
附图说明
[0034]
下面将通过参考结合附图的示例性实施例对本发明进行详细描述，其中：
[0035]
图1在图表中显示了用于将三维设计模型从增强现实应用导出到例如计算机辅助设计应用执行的步骤，
[0036]
图2a-2c显示了可以作为非刚性变形应用的可能空间变形方法的图示，
[0037]
图3a-3d显示了由非刚性变形引起的移动如何由权重控制，以及
[0038]
图4在图表中显示了如果在使用增强现实应用之前可获得患者齿列现状的三维扫描模型时的用于将三维设计模型从增强现实应用导出到计算机辅助设计应用执行的步骤。
具体实施方式
[0039]
图1示出了用于基于三维牙科库模型4从增强现实应用6导出三维牙科设计模型的方法的示例性实施例。增强现实应用6适于在显示器7上可视化在由相机在患者面部的观察轴下拍摄的患者面部的照片2中用预备的位姿和缩放通过虚拟相机渲染的牙科库模型4的图像。照片2包括显示患者齿列现状的张开的口腔。所描述的方法包括，作为第一步，在增强现实应用6中将牙科库模型4的渲染图像放置在照片2上，并提供工具以在显示器7上修改和/或移动牙科库模型4。使用这些工具，医生可以在患者在场的情况下、远程或没有患者的情况下，修改牙科库模型4的设计以获得期望的牙科设计模型8。该方法包括，作为下一步，提供患者齿列现状的三维扫描模型10，将扫描模型10与照片2中的患者齿列现状对齐，以获得扫描模型10的位姿，并基于预备的位姿和缩放以及扫描模型10的位姿计算至少一个变换以将期望的牙科设计模型8和扫描模型10代入到公共坐标系中，具体地，其中将期望的牙科设计模型8代入到扫描模型10的坐标系中，以获得定位的牙科设计模型12。
[0040]
在下一步中，通过最小化定位的牙科设计模型12和扫描模型10之间的形状差异的测量，应用加权非刚性变形以使定位的牙科设计模型12的形状适应扫描模型10，以获得修改后的牙科设计模型14。
[0041]
上述最小化问题属于配准问题。一个大的配准领域是二维空间中的图像配准。这可以扩展到三维以解决三维模型的配准问题，如同本文中的情况一样。配准问题的目标是找到合理的变换，使得一个模型的变换后的版本类似于另一个模型。因此，在本文的情况下，目标是找到合理的变换，使得定位的牙科设计模型12的变换后的版本类似于扫描模型10。
[0042]
为了最小化两个模型(在此定位的牙科设计模型和扫描模型)之间的差异，必须应用适当的距离测量。距离测量可以被分类为基于特征的或基于强度的。基于特征的距离测量包括基于标志物的方法。基于特征的距离测量在两个模型中的许多特别不同的点(所谓的标志物)之间建立对应关系。知道模型中的多个点之间的对应关系，然后确定变换以将一个模型映射到另一个模型，这里是定位的牙科设计模型12映射到扫描模型10。基于强度的方法比较模型中的强度模式。基于强度的距离测量是例如平方差之和(ssd)。该距离测量测量包含在(例如定位的牙科设计模型12和扫描模型10的)差异模型中的能量。其他距离测量是互相关或使用交互信息。还有一些方法结合了基于强度和基于特征的距离测量，这些方法也可以应用于当前的最小化问题。
[0043]
此外，必须选择映射函数的函数族和参数计算。最简单的情况是只使用平移。更多的参数必须通过使用仿射或非刚性变换来计算。如前述方法中所公开的，非刚性变形将用于将定位的牙科设计模型12变换为扫描模型10。
[0044]
变换可以被分类为全局变换或局部变换。通过使用全局变换，为整个模型计算一组参数。因此，全局变换由应用于整个模型的一个函数组成。通过使用局部变换，模型被划分为几个区域。为每个区域单独地计算参数。因此，每个区域都可以进行不同的变形。因此，
局部变换由几个函数组成，每个函数应用于一个区域。
[0045]
可以通过各种方法执行变换或变形。一种方法是使用表面变形方法，例如多边形网格的尽可能刚性变形。这些变形方法有许多变体。总体思路是保留一组给定控制点的某些属性。另一种方法是迭代最近点(icp)算法，该算法实现变形，以便局部地匹配定位的牙科设计模型的几何形状。问题是估计一变换，该变换将一个模型(例如定位的牙科设计模型12)的多边形网格映射到另一个模型(例如扫描模型10)的多边形网格上。icp算法的第一步是为定位的牙科设计模型12的多边形模型的顶点找到扫描模型10的多边形网格的最接近的顶点。第二步是找到最小化定位的牙科设计模型12的变换后的多边形网格的顶点与扫描模型10的多边形网格的顶点之间的距离的变换。在第三步中，将估计的变换应用于定位的牙科设计模型的多边形网格。如果尚未达到先前确定的期望的收敛，则从第一步再次执行该算法。
[0046]
提高变形的速度和平滑度的一种选择是使用缩减网格或代理网格，在缩减网格或代理网格上执行变形，并在最后一步中对原始分辨率网格执行插值。
[0047]
执行非刚性变形的另一种方法是使用空间变形方法。图2a-c中示出了可以作为非刚性变形应用的可能的空间变形方法。图2a示出了沿坐标轴的缩放，针对x、y和z轴可能具有不同的缩放因子。该方法可用于实现扫描模型10到定位的牙科设计模型12的粗略对齐。
[0048]
其他方法是需要指定变形的外壳的自由变形或笼变形。这可以通过为每个模型近似支撑曲线s并计算沿曲线的偏移点来实现。如图2b中所示，支撑曲线也可用于定义坐标系。在下颌的示例中，这样的曲线以平滑的方式大致遵循下颌弓。如果为扫描模型10和定位的牙科设计模型12计算支撑曲线，则可以通过首先将扫描模型10的顶点变换到扫描模型10的曲线坐标系s,t中来变形扫描模型10的顶点。作为下一步，可以应用再参数化或沿曲线映射以实现沿曲线的拉伸并获得映射s',t。在接下来的步骤中，应用从定位的牙科设计模型12的曲线坐标系回到笛卡尔坐标系的逆变换。这得到变换后的定位的牙科设计模型12，其被变形以更好地匹配扫描模型10的形状。
[0049]
另一种方法如图2c所示。径向基函数可用于使定位的牙科设计模型12变形。径向基函数是实值函数，其值仅取决于到固定点(例如原点或控制点)的距离。通常使用欧几里得距离，但也可以考虑其他度量。一种用径向基函数配准的常用的形式是使用薄板样条。薄板样条具有表示薄金属板的物理弯曲能量对点约束的依赖性的优雅的代数形式。给出了描述变形的一组向量，例如从定位的牙科设计模型12到扫描模型10的变形。对于定位的牙科设计模型12的每个顶点，根据顶点到向量起点(即控制点)的相应距离，通过向量的加权平均来计算所得到的变形。
[0050]
如图3a-3d所示，由非刚性变形引起的定位的牙科设计模型12的顶点的移动可以通过权重来控制。图3a和3b示出了处于未对齐状态的下颌的扫描模型10和定位的牙科设计模型12。图3a从前面示出了两个模型，以及图3b从上面示出了两个模型。正如在图3a中可以看到的，扫描模型10和定位的牙科设计模型12对于垂直于观察轴的门齿看起来已经对齐，因为定位的牙科设计模型是在该位置处设计的，同时仍然需要垂直于观察轴移动扫描模型10的臼齿以与定位的牙科设计模型12的臼齿相匹配。在图3b中可以看出，仍然需要沿观察轴移动扫描模型10的门齿、臼齿和中间的牙齿，以与定位的牙科设计模型12的牙齿相匹配。在图3b的图样30和32中，箭头显示相应牙齿的顶点的哪些移动是允许的。箭头显示允许扫
描模型12的相关区域移动的方向。图样30示出了门齿，仅允许将沿观察轴的移动应用至其顶点。仅允许沿实线箭头方向的移动。其他方向的移动，例如沿虚线箭头方向的移动受到限制。在图样32中，臼齿被示出为允许将沿观察轴的移动和沿其他方向的移动应用至其顶点。图3c和3d显示了在对每个顶点应用了适当允许的移动之后，下颌的扫描模型10和定位的牙科设计模型12处于对齐状态。图3c从前面示出了两个对齐的模型，以及图3d从上面示出了两个对齐的模型。
[0051]
应用加权非刚性变形允许对定位的牙科设计模型12的移动具有显著的控制。定位的牙科设计模型12被变形以更好地匹配扫描模型10的形状，同时可以保留用户在增强现实应用6中设计的主要在包括门齿的齿列的前面区域中的期望的牙科设计模型8。
[0052]
在已经将变形应用于定位的牙科设计模型12之后获得的模型是可以导出到例如计算机辅助设计应用16的牙科设计模型。
[0053]
图4示出了如果在使用增强现实应用6之前可获得患者齿列现状的三维扫描模型10时的用于将三维牙科设计模型从增强现实应用6导出到例如计算机辅助设计应用16的另一种方法。因此，该方法的第一步包括使用加权非刚性变形通过最小化扫描模型10和三维牙科库模型4之间的形状差异的测量，使三维牙科库模型4适应扫描模型10。由施加的权重控制的非刚性变形引起的移动的限制与上述相同。该第一步的结果是修改后的牙科库模型5。该方法包括，作为下一步，在增强现实应用6中将修改后的牙科库模型5放置在包括显示患者齿列现状的至少部分的张开的口腔的患者面部的照片2上，并提供工具以在显示器7上修改和/或移动该修改后的牙科库模型5。使用这些工具，医生可以在患者在场的情况下、远程或没有患者的情况下，修改该修改后的牙科库模型5的设计以获得期望的牙科设计模型8。因为修改后的牙科库模型5已经通过加权非刚性变形适应患者的扫描模型10，所以该模型在增强现实应用6中的照片2上的可视化更加逼真。因此，与如前述方法中公开的和图1所示的基于牙科库模型4设计期望的牙科设计模型8相比，基于修改后的牙科库模型5设计期望的牙科设计模型8需要更少的时间。原因是，由于修改后的牙科库模型8已经适应扫描模型10并且因此已经合理地匹配了患者的齿列以及因此照片2中的患者齿列现状，因此需要更少的调整。该方法包括，作为下一步，将扫描模型10与照片2中的患者齿列现状对齐以获得扫描模型10的位姿，并基于预备的位姿和缩放以及扫描模型10的位姿计算至少一个变换，以将期望的牙科设计模型8和扫描模型10代入到公共坐标系中，特别地，其中将期望的牙科设计模型8代入到扫描模型10的坐标系中，以获得定位的牙科设计模型12。该模型是可以导出到例如计算机辅助设计应用16的牙科设计模型。