通过基于深度学习的3D特征检测匹配三维口内扫描数据的方法和设备与流程

通过基于深度学习的3d特征检测匹配三维口内扫描数据的方法和设备
技术领域
1.本发明涉及一种用于通过基于深度学习的三维(3d)特征点检测来匹配3d口内扫描数据的方法和设备。


背景技术：

2.为了从口内扫描仪生成三维(3d)口内扫描数据，需要一种利用扫描仪扫描患者口腔的过程，以及将针对每个帧生成的点云匹配(配准)成三维的一个帧。存在广泛用于点云匹配的迭代最近点(icp)算法。在现有方法中，即使当一个帧对的帧之间的匹配误差小时，由于累积误差，在最终重建的3d口腔模型中也会发生几何失真。
3.[相关技术文件]
[0004]
[专利文件]
[0005]
(专利文件1)韩国专利登记号10-1911327


技术实现要素：

[0006]
[技术问题]
[0007]
本发明旨在提供一种可以减少几何失真的用于匹配三维(3d)口内扫描数据的方法和设备。
[0008]
[技术方案]
[0009]
本发明的一个方面提供一种匹配三维(3d)口内扫描数据的方法，其包括：匹配多个扫描帧并且生成全口图像；通过执行深度学习来检测全口图像的特征点；使用全口图像的特征点来确定多个扫描帧的特征点；以及基于多个扫描帧的特征点来重新匹配多个扫描帧并且重建3d口腔模型。
[0010]
使用所述全口图像的特征点确定所述多个扫描帧的特征点可包括：从所述全口图像生成虚拟帧，将所述全口图像的特征点投影到所述虚拟帧上并确定所述虚拟帧的特征点；以及使用所述虚拟帧的特征点确定所述多个扫描帧的特征点。
[0011]
使用所述虚拟帧的特征点确定所述多个扫描帧的特征点可包括在所述虚拟帧的特征点周围生成具有预定尺寸的第一补丁图像；基于所述第一补丁图像在与所述虚拟帧相对应的扫描帧内选择第二补丁图像，以及将所述第二补丁图像的中心点确定为与所述虚拟帧相对应的扫描帧的特征点。
[0012]
所述第一补丁图像与所述第二补丁图像之间的相似度可以大于阈值。
[0013]
可以基于扫描帧的取向和尺寸从所述全口图像生成所述虚拟帧。
[0014]
所述重建3d口腔模型可包含匹配所述多个扫描帧的特征点并确定匹配对，以及基于所述匹配对重新匹配所述多个扫描帧并重建所述3d口腔模型。
[0015]
可以使用迭代最近点(icp)算法来匹配所述多个扫描帧。
[0016]
检测所述全口图像的特征点可以包括通过渲染所述全口图像来生成渲染的二维
(2d)图像，以及通过对渲染的2d图像应用深度学习来检测所述全口图像的特征点。
[0017]
通过将深度学习应用于渲染的2d图像来检测全口图像的特征点可以包括通过将深度学习应用于渲染的2d图像来生成牙齿相遇点的热图，以及从热图检测全口图像的特征点。
[0018]
通过将深度学习应用于渲染的2d图像来检测全口图像的特征点还可以包括：当第一牙齿在第一特征点处与第二牙齿相遇并且第二牙齿在第二特征点处与第三牙齿相遇时，确定第一特征点与第二特征点之间的中心点，确定通过第一点、第二点和中心点并且与通过第一特征点和第二特征点的直线垂直的三条直线，以及确定在三条直线上的除了第一点和第二点之外的额外特征点。
[0019]
本发明的另一个方面提供一种用于匹配3d口内扫描数据的设备，其包括：匹配单元，被配置成匹配多个扫描帧以生成全口图像；深度学习单元，被配置成通过执行深度学习来检测全口图像的特征点；扫描帧特征点确定单元，被配置成使用全口图像的特征点来确定多个扫描帧的特征点；以及扫描数据重新匹配单元，被配置成基于多个扫描帧的特征点来重新匹配多个扫描帧以重建3d口腔模型。
[0020]
用于匹配3d口内扫描数据的设备还可包括：虚拟帧生成单元，被配置成从全口图像生成虚拟帧；以及虚拟帧特征点确定单元，被配置成将全口图像的特征点投影到虚拟帧上以确定虚拟帧的特征点，其中扫描帧特征点确定单元可使用虚拟帧的特征点确定多个扫描帧的特征点。
[0021]
用于匹配3d口内扫描数据的设备还可包括特征点匹配单元，被配置成匹配多个扫描帧的特征点以确定匹配对，其中扫描数据重新匹配单元可基于匹配对重新匹配多个扫描帧以重建3d口腔模型。
[0022]
[有益效果]
[0023]
根据本发明的实施例，通过使用深度学习获得帧模型之间的匹配对并且基于该匹配对重新匹配扫描帧，可以减小重建扫描模型的总体匹配误差。
附图说明
[0024]
图1是根据本发明实施例的用于匹配三维(3d)口内扫描数据的设备的框图。
[0025]
图2示意性地示出了根据本发明实施例的用于匹配3d口内扫描数据的设备的操作方法。
[0026]
图3是示出根据本发明实施例的用于匹配3d口内扫描数据的设备的操作方法的流程图。
[0027]
图4示出了根据本发明实施例的口腔扫描和扫描图像匹配过程。
[0028]
图5示出了根据本发明实施例的生成热图的过程。
[0029]
图6示出了根据本发明实施例的确定全口图像的3d特征点的过程。
[0030]
图7示出了根据本发明实施例的额外确定全口图像的3d特征点的过程。
[0031]
图8示出了根据本发明实施例的确定虚拟帧的特征点的过程。
[0032]
图9示出了根据本发明实施例的确定多个扫描帧的特征点的过程。
[0033]
图10示出了根据本发明实施例的重建3d口腔模型的过程。
[0034]
图11示出了根据本发明另一实施例的重建3d口腔模型的过程。
具体实施方式
[0035]
在下文中，将参照附图详细描述本领域技术人员能够容易执行的本发明的实施例。此外，为了清楚地解释本发明，在附图中省略了与描述无关的部分。
[0036]
图1是根据本发明实施例的用于匹配三维(3d)口内扫描数据的设备的框图。
[0037]
如图1所示，根据本发明实施例的用于匹配3d口内扫描数据的设备100包括扫描单元110、匹配单元120、深度学习单元130、虚拟帧生成单元140、虚拟帧特征点确定单元150、扫描帧特征点确定单元160、特征点匹配单元170和扫描数据重新匹配单元180。下面将描述用于匹配3d口内扫描数据的设备100的每个部件的操作。
[0038]
图2示意性地示出了根据本发明实施例的用于匹配3d口内扫描数据的设备的操作方法。
[0039]
具体而言，图2示出了用于减少在重建口内扫描数据的过程中累积的匹配误差的3d口腔模型重建过程。
[0040]
如图2所示，扫描单元110扫描口腔以生成多个扫描帧(s21)。
[0041]
匹配单元120通过使用迭代最近点(icp)算法匹配多个扫描帧来生成全口图像，深度学习单元130通过执行深度学习来确定全口图像中的3d特征点(s22)。
[0042]
虚拟帧生成单元140基于扫描帧的取向和尺寸从全口图像生成虚拟帧，并且虚拟帧特征点确定单元150将全口图像的特征点投影到虚拟帧上以确定虚拟帧的特征点(s23)。
[0043]
扫描帧特征点确定单元160使用虚拟帧的特征点来确定多个扫描帧的特征点(s24)。
[0044]
特征点匹配单元170匹配多个扫描帧的特征点以确定匹配对，并且扫描数据重新匹配单元180基于匹配对重新匹配多个扫描帧以重建3d口腔模型(s25)。
[0045]
图3是示出根据本发明实施例的用于匹配3d口内扫描数据的设备的操作方法的流程图。
[0046]
扫描单元110扫描口腔以生成多个扫描帧(s101)。
[0047]
匹配单元120使用例如icp算法来匹配多个扫描帧，以生成全口图像(s103)。匹配方法包括通过迭代表面匹配获得刚体变换的任何方法，诸如icp。
[0048]
接下来，将参照图4描述口腔扫描和扫描图像匹配过程。
[0049]
图4示出了根据本发明实施例的口腔扫描和扫描图像匹配过程。
[0050]
如图4所示，扫描单元110可以扫描口腔401以生成多个扫描帧403，匹配单元120可以匹配多个扫描帧以生成全口图像405。
[0051]
再次，将描述图3。
[0052]
深度学习单元130通过执行深度学习来检测全口图像中的3d特征点(s105)。由于在深度学习过程中直接处理3d网格数据可能具有高计算成本的问题，因此深度学习单元130可通过渲染全口图像而不是3d扫描数据来生成渲染的二维(2d)图像，并将深度学习应用于2d图像。
[0053]
对于数据学习，深度学习单元130可使用在全口图像的z方向上渲染的2d图像(其是全口扫描数据)作为深度学习的输入，并使用牙齿之间的相邻2d点作为深度学习的输出。考虑到患者具有不同数量的牙齿的事实，深度学习单元130不使用恒定数量的特征点的坐标向量作为深度学习的输出，而是可以生成显示特征点位置的热图图像，并使用热图图像
作为深度学习的输出来训练深度学习网络。热图是一种数据可视化技术，以二维颜色显示现象的强度。因此，深度学习单元130可执行深度学习并输出将特征点的强度显示为颜色的热图。为了从2d热图获得3d特征点，深度学习单元130可检索热图中具有最大强度的点的2d坐标，并将这些点投影到3d全口图像上，以获得3d全口图像的3d特征点。
[0054]
接下来，将参照图5和图6描述获得3d全口图像的特征点的过程。
[0055]
图5示出了根据本发明实施例的生成热图的过程。
[0056]
如图5所示，深度学习单元130通过渲染3d全口图像501来生成2d渲染图像503。深度学习单元130可确定牙齿在2d渲染图像503中相遇的点(505)，并通过对确定的点执行高斯映射来生成热图507。
[0057]
图6示出了根据本发明实施例的确定全口图像的3d特征点的过程。
[0058]
如图6所示，深度学习单元130通过渲染3d全口图像601来生成2d渲染图像603。深度学习单元130使用2d渲染图像603作为输入来执行深度学习605，以生成牙齿相遇点的热图607。深度学习单元130可基于热图607确定全口图像的3d特征点609。
[0059]
由于每帧需要至少三个特征点来匹配多个扫描帧，所以除了牙齿之间的相邻点之外，还需要更多的点。将参照图7描述除了牙齿之间的相邻点之外获得额外特征点的过程。
[0060]
图7示出了根据本发明实施例的额外确定全口图像的3d特征点的过程。
[0061]
深度学习单元130可基于热图701确定全口图像的3d特征点703。
[0062]
当假设第一牙齿在第一点处与第二牙齿相遇并且第二牙齿在第二点处与第三牙齿相遇时，深度学习单元130确定第一点和第二点之间的中心点，并且深度学习单元130确定通过第一点、第二点和中心点并且与通过第一特征点和第二特征点的直线垂直的三条直线(705)。深度学习单元130可在三条直线上确定除第一点和第二点之外的额外特征点(707)。
[0063]
通过将上述过程应用于所有的牙齿，深度学习单元130可以为整个全口图像确定至少三倍于牙齿数量的特征点(709)。
[0064]
再次，将描述图3。
[0065]
虚拟帧生成单元140基于扫描帧的取向和尺寸从全口图像生成虚拟帧(s107)。虚拟帧生成单元140可通过以与扫描帧相同的取向和相同的尺寸渲染全口图像来生成虚拟帧。虚拟帧可以表示渲染图像、深度图或者渲染图像和深度图两者。
[0066]
虚拟帧特征点确定单元150将全口图像的特征点投影到虚拟帧上，以确定虚拟帧的特征点(s109)。
[0067]
图8示出了根据本发明实施例的确定虚拟帧的特征点的过程。
[0068]
如图8所示，虚拟帧特征点确定单元150可以将全口图像801的特征点投影到虚拟帧803上，以确定虚拟帧803的特征点。
[0069]
扫描帧特征点确定单元160使用虚拟帧的特征点来确定多个扫描帧的特征点(s111)。具体地，扫描帧特征点确定单元160可在虚拟帧的特征点周围生成具有预定尺寸的补丁图像。扫描帧特征点确定单元160可以从扫描帧中选择与补丁图像的相似度大于阈值的补丁图像。扫描帧特征点确定单元160可将从扫描帧中选择的补丁图像的中心点确定为扫描帧的特征点。
[0070]
图9示出了根据本发明实施例的确定多个扫描帧的特征点的过程。
[0071]
扫描帧特征点确定单元160可在虚拟帧901的特征点周围生成具有预定尺寸的补丁图像903。扫描帧特征点确定单元160可以从扫描帧907中选择与补丁图像903的相似度大于阈值的补丁图像905。然而，当在整个扫描帧907中搜索与补丁图像903相似的补丁图像时，可能如图9所示选择两个或更多个补丁图像905，或者可能选择具有大误差的不想要的补丁图像905。
[0072]
为了解决上述问题，首先，扫描帧特征点确定单元160可以在虚拟帧911的特征点周围生成具有预定尺寸的补丁图像913。扫描帧特征点确定单元160可以从对应于虚拟帧911的特征点附近的扫描帧917的区域中选择与补丁图像913的相似度大于阈值的补丁图像915。此后，扫描帧特征点确定单元160可以将从扫描帧中选择的补丁图像的中心点确定为扫描帧的特征点，从而减少计算量和误差。
[0073]
再次，将描述图3。
[0074]
特征点匹配单元170通过匹配多个扫描帧的特征点来确定匹配对(s113)。
[0075]
扫描数据重新匹配单元180通过基于匹配对重新匹配多个扫描帧来重建3d口腔模型(s115)。将参照图10和图11描述重建3d口腔模型的过程。
[0076]
图10示出了根据本发明实施例的重建3d口腔模型的过程。
[0077]
如图10所示，由于在匹配单元120的匹配过程中生成的误差导致虚拟帧和扫描帧之间存在差异，当根据第一虚拟帧1001和第二虚拟帧1003之间的特征点对匹配第一虚拟帧1001和第二虚拟帧1003时，在匹配的图像1005中可能出现空间失真。
[0078]
然而，当第一虚拟帧1001和第二虚拟帧1003的特征点被转移到第一扫描帧1011和第二扫描帧1013，并且基于第一扫描帧1011和第二扫描帧1013之间的特征点对来匹配第一扫描帧1011和第二扫描帧1013时，匹配的图像1015可以具有减小的空间失真。
[0079]
图11示出了根据本发明另一实施例的重建3d口腔模型的过程。
[0080]
如图11所示，由匹配单元120生成的口腔图像1101具有空间失真。可以看出，由于扫描数据重新匹配单元180通过基于特征点匹配对重新匹配多个扫描帧1103和1105来生成匹配图像1107，所以减少了空间失真。结果，从具有小空间失真的图像1107生成的3d口腔模型1109也具有小空间失真。
[0081]
虽然已经参照附图中示出的实施例描述了本发明，但是该实施例应该仅被认为是描述性的，并且本领域技术人员应该理解，可以做出各种改变和等同的其他实施例。因此，本发明的范围应该仅由权利要求来限定。