彩色3D模型的时移可视化的制作方法
本公开大体上涉及三维成像,并且更具体地涉及口内三维成像。
背景技术:
1、数字牙科印模利用口内扫描来生成受试者的三维口内表面的三维数字模型。数字口内扫描仪可以利用设置在口内扫描仪内的结构光投影仪和摄像头的组合来使用结构光三维成像。
2、saphier等人的us2019/0388193(其已转让给本技术的受让人,并通过引用的方式并入本文)描述了一种用于口内扫描的设备,该设备包括具有探头的细长手持棒。一个或多个光投影仪和两个或更多个摄像头设置在探头内。光投影仪分别具有图案生成光学元件,该图案生成光学元件可以使用衍射或折射来形成光图案。每个摄像头可以被配置为聚焦于距最远离摄像头传感器的透镜1mm至30mm之间。还描述了其他应用。
3、atiya等人的us2019/0388194(其已转让给本技术的受让人,并通过引用的方式并入本文)描述了一种手持棒,其包括在细长手持棒的远端处的探头。该探头包括光投影仪和光场摄像头。光投影仪包括光源和被配置为生成光图案的图案发生器。光场摄像头包括光场摄像头传感器。该光场摄像头传感器包括:(a)图像传感器,该图像传感器包括传感器像素阵列;以及(b)微透镜阵列,该微透镜阵列设置在图像传感器前方,使得每个微透镜设置在传感器像素阵列的子阵列上方。还描述了其他应用。
4、saphier等人的us2020/0404243(其已转让给本技术的受让人,并通过引用的方式并入本文)描述了一种用于生成3d图像的方法,其包括驱动结构光投影仪将光图案投射到口内3d表面上,以及驱动摄像头捕获图像,每个图像至少包括投影的图案的一部分,每个摄像头包括像素阵列。处理器比较由每个摄像头捕获到的一系列图像,并且确定可以在这些图像中追踪投影图案的哪些部分。处理器至少部分地基于该一系列图像的比较构建三维口内表面的三维模型。还描述了其他实施例。
5、ozerov等人的pct公开wo2018/152374(其已转让给本技术的受让人,并通过引用的方式并入本文)描述了处理逻辑,该处理逻辑对牙弓的第一图像数据与第二图像数据进行比较,并且确定第一图像数据中牙弓的第一表示与第二图像数据中牙弓的第二表示之间的多个空间差异。该处理逻辑确定第一空间差异归因于扫描仪不准确性,第二空间差异归因于牙弓的临床变化。该处理逻辑生成牙弓的第三表示,该第三表示是第二表示的修改版本,其中,第三表示中移除了第一空间差异,并且其中,第三表示包括凸显第二空间差异的视觉增强。还描述了其他实施例。
6、levy等人的美国临时申请63/452,875(其已转让给本技术的受让人,并通过引用的方式并入本文)描述了用于从由口内扫描仪生成的多个图像中选择图像的技术。一种方法包括:接收由口内扫描仪生成的牙科部位的多个图像;从该多个图像中标识满足一个或多个选择标准的图像的子集;选择满足该一个或多个选择标准的图像的子集;以及丢弃或忽略该多个图像中不包括在图像的子集中的其余图像。还描述了其他实施例。
技术实现思路
1、在考虑对受试者的三维口内表面的口内扫描时,对于牙医或牙科技师来说可能有用的是将三维口内表面的颜色与在较早时间点(例如,几个月前)取得的扫描中捕获到的同一三维口内表面的颜色进行视觉比较。这种视觉比较可以帮助牙医确定口内表面上已发生的颜色和/或纹理的变化。例如,比较结果可能表明,牙菌斑已在某些区域或某些牙齿上堆积,或者牙齿上出现污渍、牙齿上的污渍消失或以其他方式发生了变化。然而,仅将当前口内扫描与先前口内扫描并排查看可能在准确地评估变化方面仍存在挑战。发明人已经意识到,为了帮助牙医准确地评估三维口内表面上给定的关注区域中已发生的颜色和/或纹理变化,可以将来自先前口内扫描的三维口内表面上对应的关注区域叠加到当前口内扫描上,使得牙医可以在当前口内扫描的背景下,切换给定的关注区域中已发生的视觉变化。此外,向患者展示口内表面上已发生的变化可以在患者教育、治疗接受度和治疗依从性方面有帮助。
2、通常,三维口内表面的口内扫描包括三维口内表面的三维扫描以及三维口内表面的彩色图像扫描。将彩色图像扫描配准到三维扫描,使得向牙医展示三维口内表面的三维彩色模型。对于某些应用,找到先前彩色图像扫描上对应的关注区域并在正确的位置中将其叠加到当前三维扫描上是基于在三维口内表面的当前三维扫描与三维口内表面的先前三维扫描之间建立的关联,当前三维扫描和先前三维扫描中的每一个被配准到其对应的彩色图像扫描。因此,对于某些应用,当前三维扫描和先前三维扫描彼此关联,使得当前三维扫描的给定区域a与先前三维扫描的对应区域a'相关联。基于当前三维扫描与先前三维扫描之间的关联、当前彩色图像扫描到当前三维扫描的配准和先前彩色图像扫描到先前三维扫描的配准,对于当前三维扫描的给定区域a,(i)先前彩色图像扫描中配准到先前三维扫描的对应区域a'的部分被应用于(ii)当前三维扫描的给定区域a。
3、因此,根据本发明的一些应用,提供了一种方法,该方法包括使用至少一个计算机处理器(例如,计算装置的至少一个计算机处理器):
4、获取三维口内表面的当前三维扫描;
5、获取三维口内表面的当前彩色图像扫描;
6、获取三维口内表面的先前三维扫描,该先前三维扫描是在当前三维扫描之前的时间点取得的;
7、获取三维表面的先前彩色图像扫描,该先前彩色图像扫描是在当前彩色图像扫描之前的时间点取得的;
8、将当前彩色图像扫描配准到当前三维扫描;
9、将先前彩色图像扫描配准到先前三维扫描;
10、将当前三维扫描与先前三维扫描彼此关联,使得当前三维扫描的给定区域a与先前三维扫描的对应区域a'关联;以及
11、基于当前三维扫描与先前三维扫描的关联、当前彩色图像扫描到当前三维扫描的配准、以及先前彩色图像扫描到先前三维扫描的配准,对于当前三维扫描的给定区域a,将(i)先前彩色图像扫描中配准到先前三维扫描的对应区域a'的部分应用于(ii)当前三维扫描的给定区域a。
12、对于某些应用:
13、将当前彩色图像扫描配准到当前三维扫描包括将当前彩色图像扫描中的点u、v与当前三维扫描的相应坐标顶点x、y、z相关联;
14、将先前彩色图像扫描配准到先前三维扫描包括将先前彩色图像扫描中的点u'、v'与先前三维扫描的相应坐标顶点x'、y'、z'相关联;
15、将当前三维扫描与先前三维扫描彼此关联包括将当前三维扫描中的坐标顶点x、y、z与先前三维扫描的相应坐标顶点x'、y'、z'相关联;
16、将(i)先前彩色图像扫描中与先前三维扫描的对应区域a'关联的部分应用于(ii)当前三维扫描的给定区域a包括:对于给定区域a:将
17、(a) 先前彩色图像扫描中与先前三维扫描的相应坐标顶点x'、y'、z'的对应集合关联的点u'、v'的集合
18、应用于
19、(b)当前三维扫描中与先前三维扫描的相应坐标顶点x'、y'、z'的集合关联的相应坐标顶点x、y、z的集合,其中,坐标顶点x'、y'、z'的集合限定先前三维扫描的给定区域a',当前三维扫描的坐标顶点x、y、z的集合限定当前三维扫描的给定区域a。
20、对于某些应用,该方法还包括在以下两者之间进行切换:
21、(a) 将(i)先前彩色图像扫描中与先前三维扫描的对应区域a'关联的部分应用于(ii)当前三维扫描的给定区域a,与
22、(b)将(i)当前彩色图像扫描中与当前三维扫描的给定区域a关联的部分应用于(ii)当前三维扫描的给定区域a。
23、对于某些应用,该方法还包括:使用至少一个计算机处理器,在查看当前三维扫描的用户操纵当前三维扫描的三维视图的同时,保持将(i)先前彩色图像扫描中与先前三维扫描的对应区域a'关联的部分应用于(ii)当前三维扫描的给定区域a。计算机处理器可以是诸如台式计算机、膝上型计算机、服务器计算机等计算装置的处理器。
24、对于某些应用,保持将(i)先前彩色图像扫描中与先前三维扫描的对应区域a'关联的部分应用于(ii)当前三维扫描的给定区域a包括:在查看当前三维扫描的用户旋转当前三维扫描的三维视图的同时,保持将(i)先前彩色图像扫描中与先前三维扫描的对应区域a'关联的部分应用于(ii)当前三维扫描的给定区域a。
25、对于某些应用,保持将(i)先前彩色图像扫描中与先前三维扫描的对应区域a'关联的部分应用于(ii)当前三维扫描的给定区域a包括:在查看当前三维扫描的用户放大或缩小当前三维扫描的三维视图的同时,保持将(i)先前彩色图像扫描中与先前三维扫描的对应区域a'关联的部分应用于(ii)当前三维扫描的给定区域a。
26、对于某些应用,获取当前彩色图像扫描包括获取在与捕获到当前三维扫描相同的口内过程(intraoral procedure)中捕获到的三维口内表面的当前彩色图像扫描。
27、对于某些应用,获取先前彩色图像扫描包括获取在与捕获到先前三维扫描相同的口内过程中捕获到的三维口内表面的先前彩色图像扫描。
28、对于某些应用,该方法还包括:使用至少一个计算机处理器,响应于用户选择当前三维扫描的特定区域,将当前三维扫描的特定区域指定为给定区域a。
29、对于某些应用,将当前三维扫描的特定区域指定为给定区域a包括:响应于用户选择口内表面的特定特征,将该特定特征指定为给定区域a。
30、对于某些应用,将口内表面的特定特征指定为给定区域a包括:响应于用户选择给定牙齿,将该给定牙齿指定为给定区域a。
31、对于某些应用,该方法还包括:使用至少一个计算机处理器,响应于用户在当前三维扫描的三维视图上移动区域选择指示符,动态地改变给定区域a,使得随着用户移动区域选择指示符,对于区域选择指示符内的每个新的给定区域a,显示将(i)先前彩色图像扫描中与先前三维扫描的对应区域a'关联的部分应用于(ii)当前三维扫描的给定区域a的应用。
32、对于某些应用,该方法还包括基于当前三维扫描与先前三维扫描的关联,使用至少一个计算机处理器,确定(i)三维口内表面的当前彩色图像扫描与(ii)三维口内表面的先前彩色图像扫描之间的关联的参数,使得当前彩色图像扫描中的点u、v与先前彩色图像扫描中的相应点u'、v'相关联。
33、对于某些应用,确定关联的参数包括:(a)使用神经网络来找到当前彩色图像扫描中与先前彩色图像扫描中的对应特征相匹配的特征,以及(b)对匹配的特征使用光流算法来计算变换,该变换在应用于先前彩色图像扫描时使先前彩色图像扫描中的点u'、v'偏移,使得点u'、v'在先前彩色图像扫描中的位置与其相应点u、v在当前彩色图像扫描中的位置相同。
34、对于某些应用,确定关联的参数包括:(a)使用尺度不变特征变换(sift)算法来找到当前彩色图像扫描中与先前彩色图像扫描中的对应离散特征相匹配的离散特征,(b)计算变换,该变换在应用于先前彩色图像扫描中的离散特征时使离散特征发生偏移,使得离散特征在先前彩色图像扫描中的位置与这些离散特征的匹配离散特征在当前彩色图像扫描中的位置相同,以及(c)对于先前彩色图像扫描中在离散特征之间的区域,对变换进行插值。
35、对于某些应用,确定关联的参数包括:
36、(a) 利用神经网络对当前彩色图像扫描中的点u、v和先前彩色图像扫描中的点u'、v'进行编码,使得点u、v中的每一个和点u'、v'中的每一个通过向量来描述,先前彩色图像扫描中的点u'、v'的向量与当前彩色图像扫描中相应的关联点u、v的向量相匹配,以及
37、(b)对于当前彩色图像扫描中的给定点u、v,使用神经网络通过在先前彩色图像扫描中搜索向量与给定点u、v的向量相匹配的点u'、v',来定位先前彩色图像扫描中的关联点u'、v'。
38、对于某些应用,使用神经网络来定位先前彩色图像扫描中的关联点u'、v'还包括基于当前三维扫描与先前三维扫描的关联,确定先前彩色图像扫描中的要在其中搜索关联点u'、v'的搜索空间。
39、对于某些应用,该方法还包括使用至少一个计算机处理器,将先前彩色图像扫描相对于当前彩色图像扫描进行归一化,使得当前彩色图像扫描中对应于口内表面的在先前彩色图像扫描与当前彩色图像扫描之间颜色发生变化的区域的点u、v相对于其在先前彩色图像扫描中对应的相应点u'、v'得到强调。
40、对于某些应用,将先前彩色图像扫描相对于当前彩色图像扫描进行归一化包括利用神经网络对先前彩色图像扫描和当前彩色图像进行编码,并且使用神经风格迁移算法来利用当前彩色图像扫描的风格输出先前彩色图像扫描的内容。
41、对于某些应用,将先前彩色图像扫描相对于当前彩色图像扫描进行归一化包括使用泊松融合算法来输出先前彩色图像扫描的归一化版本,在该归一化版本中,(a)点u'、v'的像素值与当前彩色图像扫描中相应的关联点u、v的像素值基本相同,并且(b)相邻点u'、v'之间的梯度保持与归一化之前先前彩色图像扫描中的梯度基本相同。
42、对于某些应用,该方法还包括:使用至少一个计算机处理器,分析当前彩色图像扫描和归一化的先前彩色图像扫描,并且检测当前彩色图像扫描中的点u、v与其在归一化后的先前彩色图像扫描中对应的相应点u'、v'之间存在差异的区域。
43、对于某些应用,该方法还包括:使用至少一个计算机处理器,基于当前彩色图像扫描到当前三维扫描的配准,将当前三维扫描的特定区域指定为给定区域a,该特定区域对应于当前彩色图像扫描中的点u、v与其在归一化后的先前彩色图像扫描中对应的相应点u'、v'之间存在差异的区域。
44、对于某些应用,该方法还包括:使用至少一个计算机处理器,向查看当前三维扫描的用户在视觉上指示当前三维扫描的特定区域。
45、通过以下结合附图对本发明的应用进行的详细描述,将更全面地理解本发明,在附图中:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com