修复体图像生成方法、装置、设备及存储介质与流程

1.本公开涉及图像处理技术领域，尤其涉及一种修复体图像生成方法、装置、设备及存储介质。


背景技术：

2.现代牙科领域里，口腔科医生针对患者牙齿缺失或缺损的情况，往往会使用到修复体，也就是俗称的假牙来保护受损牙体组织或者恢复缺失牙位。
3.目前修复体的设计方式是：牙医使用口腔扫描仪对牙齿及其周围环境进行三维数字化重建，得到初始的牙齿三维数据，并通过牙医手动修复，得到完整的牙冠或嵌体。但是，目前的修复体的设计方式是通过人工方式调整计算机辅助设计系统中的规则结合参数，得到牙齿三维数据，并通过手动修复才能得到修复体，因此，传统的修复体设计方式受到技师经验的限制，并且整个修复过程复杂且耗时。


技术实现要素：

4.为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种修复体图像生成方法、装置、设备及存储介质。
5.第一方面，本公开提供了一种修复体图像生成方法，该方法包括：
6.获取待修复牙齿图像；
7.基于训练完成的牙齿修复模型提取所述待修复牙齿图像的第一先验特征和第一解码特征，并基于所述第一先验特征和所述第一解码特征得到修复体图像，其中，所述牙齿修复模型基于牙齿缺失图像和样本修复体图像对预设网络训练得到。
8.第二方面，本公开提供了一种修复体图像生成装置，该装置包括：
9.图像获取模块，用于获取待修复牙齿图像；
10.图像生成模块，用于基于训练完成的牙齿修复模型提取所述待修复牙齿图像的第一先验特征和第一解码特征，并基于所述第一先验特征和所述第一解码特征得到修复体图像，其中，所述牙齿修复模型基于牙齿缺失图像和样本修复体图像对预设网络训练得到。
11.第三方面，本公开实施例还提供了一种电子设备，该设备包括：
12.一个或多个处理器；
13.存储装置，用于存储一个或多个程序，
14.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现第一方面所提供的修复体图像生成方法。
15.第四方面，本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现第一方面所提供的修复体图像生成方法。
16.本公开实施例提供的技术方案与现有技术相比具有如下优点：
17.本公开实施例的一种修复体图像生成方法、装置、设备及存储介质，在获取到待修复牙齿图像之后，能够基于训练完成的牙齿修复模型提取待修复牙齿图像的第一先验特征
和第一编码特征，并基于第一先验特征和第一编码特征得到修复体图像，其中，牙齿修复模型基于牙齿缺失图像和样本修复体图像对预设网络训练得到，由于牙齿修复模型可以提取待修复牙齿图像的第一先验特征和第一解码特征，并将待修复牙齿图像的第一先验特征作为补充结构信息，可以改善牙齿的集合结构信息缺乏的问题，且将第一解码特征作为待修复牙齿图像的整体特征，使得输出的修复体图像与实际牙齿形状相符，提高了修复体图像的准确性，且降低了修复体的设计成本。
附图说明
18.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
19.为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
20.图1为本开实施例提供的一种修复体图像生成方法的流程示意图；
21.图2为本公开实施例提供的一种牙齿修复模型训练方法的流程示意图；
22.图3为本公开实施例提供的一种咬合平面的示意图；
23.图4为本公开实施例提供的一种牙齿修复模型的结构示意图；
24.图5为本公开实施例提供的一种牙齿修复模型的原理示意图；
25.图6为本公开实施例提供的一种修复体图像预测子网络的原理示意图；
26.图7a示出了本公开实施例提供的一种牙齿缺失图像对应的深度图像；
27.图7b示出了本公开实施例提供的一种样本修复体图像对应的深度图像；
28.图7c示出了本公开实施例提供的一种基于传统的生成式对抗网络得到的修复体图像对应的深度图像；
29.图7d示出了本公开实施例提供的一种基于边缘引导方法得到的修复体图像对应的深度图像；
30.图7e示出了本公开实施例提供的一种基于牙齿修复模型得到的修复体图像对应的深度图像；
31.图8a示出了本公开实施例提供的一种样本修复体图像；
32.图8b示出了本公开实施例提供的一种基于传统的生成式对抗网络得到的修复体图像；
33.图8c示出了本公开实施例提供的一种基于带有先验特征提取子网络的生成式对抗网络得到的修复体图像；
34.图8d示出了本公开实施例提供的一种基于带有先验特征提取子网络和自我评估机制的生成式对抗网络得到的修复体图像；
35.图8e示出了本公开实施例提供的一种基于带有先验特征提取子网络、自我评估机制以及引入结构一致性损失函数的生成式对抗网络得到的修复体图像；
36.图9a示出了本公开实施例提供的一种牙齿缺失图像；
37.图9b示出了本公开实施例提供的一种样本修复体图像；
38.图9c示出了本公开实施例提供的一种基于传统的生成式对抗网络得到的修复体
图像；
39.图9d示出了本公开实施例提供的一种基于深度卷积神经网络得到的修复体图像；
40.图9e示出了本公开实施例提供的一种基于牙齿修复模型得到的修复体图像；
41.图10为本公开实施例提供的一种修复体图像生成装置的结构示意图；
42.图11为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
43.为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
44.在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
45.现代牙科领域里，口腔科医生针对患者牙齿缺失或缺损的情况，往往会使用到修复体，也就是俗称的假牙来保护受损牙体组织或者恢复缺失牙位。
46.目前修复体的设计方式是：牙医使用口腔扫描仪对牙齿及其周围环境进行三维数字化重建，得到初始的牙齿三维数据，并通过牙医手动修复，得到完整的牙冠或嵌体。但是，目前的修复体的设计方式是通过人工方式调整计算机辅助设计系统中的规则结合参数，得到牙齿三维数据，并通过手动修复才能得到修复体，因此，传统的修复体设计方式受到技师经验的限制，并且整个修复过程复杂且耗时。
47.为了解决依赖技师经验生成修复体的问题，且降低修复体的设计效率和成本，目前有基于深度神经网络的修复体设计方式，即利用大量的训练样本，学习深度神经网络，不必制定固定规则，并将待修复牙齿图像输入至训练完成的深度神经网络，利用训练完成的深度神经网络提取待修复牙齿图像中的上颚图像、下颚图像和咬颌沟图像的特征信息，生成修复体图像。
48.但是，上述基于深度神经网络的修复体设计方式存在如下缺点：
49.第1点：深度神经网络缺乏先验信息，会输出与实际牙齿形状不符的修复体图像。
50.第2点：深度神经网络无法识别并纠正错误预测，使得输出错误的修复体图像。
51.第3点：深度神经网络没有考虑中间层的结构一致性信息，缺乏对待修复牙齿图像的中间层的检测能力，使得输出错误的修复体图像。
52.综上，基于现有的修复体设计方式设计的修图体图像的准确性较差，且设计成本较高，不能满足牙医对牙齿的修复需求。
53.为了解决上述问题，本公开实施例提出了一种修复体图像生成方法、装置、设备及存储介质，能够利用训练完成的牙齿修复模型，生成待修复牙齿图像的修复体图像，由于牙齿修复模型可以提取待修复牙齿图像的第一先验特征和第一解码特征，并将待修复牙齿图像的第一先验特征作为补充结构信息，可以改善牙齿的集合结构信息缺乏的问题，且将第一解码特征作为待修复牙齿图像的整体特征，使得输出的修复体图像与实际牙齿形状相符，提高了修复体图像的准确性，且降低了修复体的设计成本。
54.下面首先结合图1至图5对本公开实施例提供的修复体图像生成方法进行说明。
55.图1示出了本公开实施例提供的一种修复体图像生成方法的流程示意图。
56.在本公开一些实施例中，图1所示的修复体图像生成方法可以由电子设备执行。其中，电子设备可以包括移动电话、平板电脑、台式计算机、笔记本电脑、车载终端、可穿戴设备、一体机、智能家居设备等具有通信功能的设备，也可以包括虚拟机或者模拟器模拟的设备。
57.如图1所示，该修复体图像生成方法可以包括如下步骤。
58.s110、获取待修复牙齿图像。
59.在本公开实施例中，待修复牙齿图像可以是包括缺陷牙齿的三维扫描图像对应的渲染图像。
60.其中，待修复牙齿图像可以包括上颚图像、下颚图像和咬颌沟图像。上颚图像中的上颚牙齿与下颚图像中的下颚牙齿位置相对。
61.具体的，利用三维扫描设备对口腔进行扫描，得到三维扫描图像，三维扫描图像可以是一种深度图像，将三维扫描图像发送至电子设备，电子设备对三维扫描图像进行渲染，得到待修复牙齿图像，使得待修复牙齿图像中包括深度信息。
62.s120、基于训练完成的牙齿修复模型提取待修复牙齿图像的第一先验特征和第一解码特征，并基于第一先验特征和第一解码特征得到修复体图像。
63.在本公开实施例中，牙齿修复模型基于牙齿缺失图像和样本修复体图像对预设网络训练得到。
64.在本公开实施例中，牙齿修复模型可以是一种深度学习模型。例如，牙齿修复模型可以是生成式对抗网络(generative adversarial networks，gan)，对抗网络是一种包括生成器和判别器的网络模型。基于牙齿缺失图像和样本修复体图像训练得到的牙齿修复模型，可以提取待修复牙齿图像的第一先验特征和第一解码特征，并基于第一先验特征和第一解码特征得到修复体图像。
65.其中，第一先验特征可以包括待修复牙齿图像在各层的语义特征和深度特征，语义特征和深度特征可以用于表征牙齿的结构特征。
66.其中，第一解码特征可以用于表征牙齿的整体特征。
67.具体的，电子设备在训练牙齿修复模型时，可以将牙齿缺失图像和样本修复体图像输入至预设网络，基于预设网络提取牙齿缺失图像的先验特征和解码特征，并对牙齿缺失图像的先验特征和解码特征进行特征提取，得到预测修复体图像，并基于预测修复体图像和样本修复体图像调整预设网络的网络参数，直至输出的预测修复体图像为样本修复体图像，使得预设网络的网络参数达到稳定，得到训练完成的牙齿修复模型。
68.进一步的，得到训练完成的牙齿修复模型之后，电子设备获取待修复牙齿图像，将待修复牙齿图像输入至训练完成的牙齿修复模型，基于训练完成的牙齿修复模型提取待修复牙齿图像的第一先验特征和第一解码特征，并对第一先验特征和第一解码特征继续进行特征提取，得到修复体图像。
69.在本公开实施例中，在获取到待修复牙齿图像之后，能够基于训练完成的牙齿修复模型提取待修复牙齿图像的第一先验特征和第一编码特征，并基于第一先验特征和第一编码特征得到修复体图像，其中，牙齿修复模型基于牙齿缺失图像和样本修复体图像对预设网络训练得到，由于牙齿修复模型可以提取待修复牙齿图像的第一先验特征和第一解码
特征，并将待修复牙齿图像的第一先验特征作为补充结构信息，可以改善牙齿的集合结构信息缺乏的问题，且将第一解码特征作为待修复牙齿图像的整体特征，使得输出的修复体图像与实际牙齿形状相符，提高了修复体图像的准确性，且降低了修复体的设计成本。
70.在本公开另一种实施方式中，为了保证能够利用训练完成的牙齿修复模型生成待修复牙齿图像的修复体图像，电子设备执行在s110之前，还可以执行牙齿修复模型的模型训练步骤。
71.图2示出了本公开实施例提供的一种牙齿修复模型训练方法的流程示意图。
72.如图2所示，该牙齿修复模型训练方法在获取待修复牙齿图像之前，还可以包括如下步骤。
73.s210、获取牙齿缺失图像和样本修复体图像。
74.在本公开实施例中，牙齿缺失图像可以是包括缺陷牙齿的样本渲染图像。
75.在本公开实施例中，样本修复体图像可以是对缺陷牙齿进行修复后得到的修复体图像，可以是真实的修复体图像。
76.具体的，电子设备在获取到三维扫描设备扫描得到的三维扫描图像之后，响应于用户的牙齿切割操作，以及数据标注操作，并对切割和标注后的三维扫描图像进行渲染，对渲染后的图像进行数据增强处理，得到牙齿缺失图像，同时，对牙齿缺失图对应的具有完整牙齿的三维扫描图像进行渲染，得到样本修复体图像。进一步的，电子设备按照预设构造比例，将由牙齿缺失图像和样本修复体图像构成的样本数据分成训练集、验证集和测试集。
77.其中，对渲染后的图像进行数据增强处理，得到牙齿缺失图像可以包括：在渲染后的图像的牙齿上标注咬合特征点，即标注的上颚特征点、下颚特征点作为不同类别的点，并利用线性分类器算法优化特征点到分界面的距离得到分界面，即得到图3所示的咬合平面。其中，上下颚对应位置的牙齿以适当的位置和比例，并垂直于咬合平面进行投影，每个像素值表示从咬合平面到对应牙齿表面的标准化距离，其中0表示该表面附着于咬合位置，1表示上颚到下颚的距离。其中，每个像素的灰度值将扩展256倍。
78.其中，预设构造比例可以是根据需要预先设置的比例，在此不做限制。例如，预设可以为15：1：1，即训练集、验证集和测试集的比例可以为15：1：1。
79.可选的，数据增强处理可以包括旋转处理、缩放处理、平移处理中的至少一种。其中，旋转处理在xy空间中的旋转角度范围可以是[
‑5°
，5
°
]；缩放处理的缩放范围可以是[0.8，1.2]；平移处理在xy空间中的平移像素范围可以是[
‑
8，8]。
[0080]
s220、基于牙齿缺失图像和样本修复体图像对预设网络进行训练，以得到基于待修复牙齿图像生成修复体图像的牙齿修复模型。
[0081]
具体的，电子设备可以将上述样本数据中的训练集输入是预设网络，即基于牙齿缺失图像和样本修复体图像对预设网络进行训练，设置预设网络的超参数，并基于预设评估标准检测预设网络的训练程度，以得到基于待修复牙齿图像生成修复体图像的牙齿修复模型。
[0082]
其中，超参数可以是用于训练预设网络的外设参数。可选的，超参数可以包括牙齿缺失图像和样本修复体图像的图像大小、层数、卷积核权重的动量、权重衰减值、牙齿缺失图像和样本修复体图像的批次、学习率等。权重，图像大小可以为256
×
256，层数可以为5，动量可以为0.9，权重衰减值可以为0.002，批次为4，前60k个计算单元的学习率可以为5.0
×
10
‑3，后20k个计算单元的学习率可以为2.0
×
10
‑3。
[0083]
其中，预设评估标准可以是根据需要预先设置的用于评估网络训练程度的参数。可选的，预设评估标准可以包括平均绝对误差(mean absolute error，mae)、均方误差(mean square error，mse)、均方根误差(root mean square error，rmse)、峰值信噪比(peak signal
‑
to
‑
noise ratio，psnr)中的至少一种。
[0084]
可选的，电子设备可以基于端对端的训练方式训练牙齿修复模型，且牙齿修复模型的训练过程可以在图形处理器(graphics processing unit，gpu)中执行。
[0085]
进一步的，利用训练样本得到牙齿修复模型之后，还可以利用验证集和测试集验证和测试牙齿修复模型，以提高牙齿修复模型的鲁棒性和准确性。
[0086]
在本公开实施例中，牙齿修复模型可以包括先验特征提取子网络和修复体图像预测子网络。
[0087]
相应的，s220可以包括：
[0088]
s2201、基于先验特征提取子网络提取牙齿缺失图像中当前层的第二解码特征和当前层的第二先验特征。
[0089]
s2202、将第二解码特征和第二先验特征输入至修复体图像预测子网络，得到预测修复体图像。
[0090]
s2203、基于预测修复体图像和样本修复体图像迭代训练预设网络，得到牙齿修复模型。
[0091]
其中，先验特征提取子网络和修复体图像预测子网络可以分别由多个卷积层构成。
[0092]
其中，第二先验特征可以包括牙齿缺失图像在当前层的语义特征和深度特征，语义特征和深度特征可以用于表征牙齿的结构特征。
[0093]
其中，第二解码特征可以是待修复牙齿图像在当前层的解码向量，可以用于表征牙齿的整体特征。
[0094]
其中，预测修复体图像可以是当前层的下一层为修复体图像预测子网络的最后一层时的目标上下文特征。预测修复体图像可以基于修复体图像预测子网络，对第二解码特征和第二先验特征继续进行特征提取得到。
[0095]
具体的，电子设备得到牙齿缺失图像和样本修复体图像之后，可以将牙齿缺失图像输入至牙齿修复模型，基于先验特征提取子网络提取牙齿缺失图像中当前层的第二解码特征和当前层的第二先验特征，然后将第二解码特征和第二先验特征输入至修复体图像预测子网络，基于修复体图像预测子网络对第二解码特征和第二先验特征继续进行特征，得到预测修复体图像，然后基于预测修复体图像和样本修复体图像迭代训练预设网络，得到牙齿修复模型。
[0096]
由此，在本公开实施例中，在训练牙齿修复模型时，可以基于先验特征提取子网络提取第二解码特征和当前层的第二先验特征，以挖掘出待修复牙齿图像的几何特征和语义特征，作为第二先验特征，然后将第二解码特征和第二先验特征输入至修复体图像预测子网络，得到预测修复体图像，提高了牙齿修复模型的鲁棒性和准确性，使得利用训练完成的牙齿修复模型生成待修复牙齿图像对应的修复体图像时，提高了修复体图像的准确性，且降低了修复体的设计成本。
[0097]
在本公开又一种实施方式中，为了具体的解释牙齿修复模型的训练步骤，在上述实施例的基础上，可以对牙齿修复模型进一步的细化，利用细化后的子网络进行特征提取，得到训练完成的牙齿修复模型。
[0098]
在本公开实施例中，牙齿修复模型还包括：编码子网络和自注意力子网络，先验特征提取子网络包括：语义分割子网络以及深度预测子网络。
[0099]
其中，在s2201之前，该模型训练方法还可以包括如下步骤：
[0100]
基于编码子网络提取牙齿缺失图像中当前层的第一编码特征。
[0101]
将第一编码特征输入至自注意力子网络，得到第二解码特征。
[0102]
相应的，s2201可以具体包括如下步骤：
[0103]
基于语义分割子网络提取第二解码特征的语义特征，并基于深度预测子网络提取第二解码特征的深度特征，由语义特征和深度特征构成先验特征。
[0104]
其中，编码子网络可以为理解为编码器。
[0105]
其中，自注意力子网络可以理解为添加注意力机制的神经网络层。
[0106]
其中，语义分割子网络以及深度预测子网络可以均位于解码器中，语义分割子网络可以对输入的第二解码特征进行语义特征提取，得到语义特征，深度预测子网络可以对第二解码特征进行深度信息提取，得到深度特征。
[0107]
示例性的，图4示出了本公开实施例提供的一种牙齿修复模型的结构示意图。图5示出了本公开实施例提供的一种牙齿修复模型的原理示意图。
[0108]
如图4所示，牙齿修复模型包括先验特征提取子网络10、修复体图像预测子网络20、编码子网络30、自注意力子网络40。
[0109]
其中，先验特征提取子网络10包括：语义分割子网络11以及深度预测子网络12。
[0110]
参见图4和图5具体的解释上述s11～s13。
[0111]
第1步：获取牙齿缺失图像，牙齿缺失图像包括当前颚图像x和对面颚图像y。
[0112]
其中，当前颚图像x和对面颚图像y可以分别为上颚图像和下颚图像。
[0113]
第2步：将牙齿缺失图像中输入至牙齿修复模型，基于编码子网络30提取当前层的第一编码特征φ
l
，其中，l是层数，即当前层，l∈{1,2,...,l}，l可以为5。
[0114]
需要说明的是，在提取当前层的第一编码特征φ
l
之前，还可以提取下一层的第二编码特征φ
l
‑1至第一层的编码特征φ1。
[0115]
需要说明的是，由于编码器的层数与解码器的层数是对称的，编码器中的当前层是l，上一层是l
‑
1，则在解码器中，当前层是l，下一层是l
‑
1。
[0116]
第3步：电子设备将第一编码特征φ
l
输入至自注意力子网络40，得到第二解码特征第二解码特征可以为上下文特征图。
[0117]
第4步：电子设备基于语义分割子网络11提取第二解码特征的语义特征并基于深度预测子网络12提取第二解码特征的深度特征并由语义特征和深度特征构成先验特征。
[0118]
其中，
[0119]
其中，函数g(
·
)和函数h(
·
)均可以包括5个残差学习模块。
[0120]
进一步的，在本公开实施例中，在s2202之前，s220还可以包括：
[0121]
基于先验特征提取子网络提取牙齿缺失图像中下一层的第二编码特征。
[0122]
具体的，电子设备可以基于编码子网络提取牙齿缺失图像中下一层的第二编码特征。
[0123]
相应的，s2202可以具体包括如下步骤：
[0124]
s21、将第二解码特征、第二编码特征以及第二先验特征，输入至修复体图像预测子网络，得到预测修复体图像。
[0125]
其中，修复体图像预测子网络可以是位于解码器中的用于预测修复体图像的神经网络层。
[0126]
在本公开实施例中，修复体图像预测子网络包括：上下文特征提取子网络、掩码映射子网络和融合子网络。
[0127]
相应的，s21可以具体包括如下步骤：
[0128]
s211、将第二解码特征、第二编码特征输入至上下文特征提取子网络，得到下一层的中间上下文特征。
[0129]
s212、将第二先验特征输入至掩码映射子网络，得到下一层的掩码映射特征。
[0130]
s213、针对每一层，将下一层的中间上下文特征和下一层的掩码映射特征输入至融合子网络，得到下一层的目标上下文特征。
[0131]
s214、按照前向传播方法，降低当前层，直至下一层为0，将下一层的目标上下文特征作为预测修复体图像。
[0132]
具体的，首先，电子设备通过牙齿修复模型中的先验特征提取子网络提取得到当前层的第二解码特征、当前层的第二先验特征以及下一层的第二编码特征之后，将第二解码特征、第二编码特征输入至上下文特征提取子网络，得到下一层的中间上下文特征；其次，将第二先验特征输入至掩码映射子网络，得到下一层的掩码映射特征；接着，针对每一层，利用融合子网络将下一层的中间上下文特征和下一层的掩码映射特征进行特征融合，得到下一层的目标上下文特征；最后，迭代执行s211～s213，即按照前向传播方法，降低当前层，直至下一层为0，将下一层的目标上下文特征作为预测修复体图像。
[0133]
继续参见图4，修复体图像预测子网络11包括：上下文特征提取子网络21、掩码映射子网络22和融合子网络23。
[0134]
参见图4具体的解释上述s211～s213。
[0135]
第1步：将第二解码特征和第二编码特征φ
l
‑1输入至上下文特征提取子网络21，得到下一层的中间上下文特征
[0136]
第2步：将第二先验特征输入至掩码映射子网络22，即将语义分割子网络13得到的语义特征和深度预测子网络14得到的深度特征输入至掩码映射子网络22，得到下一层的掩码映射特征f
l
‑1。
[0137]
第3步：针对每一层，将下一层的中间上下文特征和下一层的掩码映射特征
f
l
‑1输入至融合子网络23，得到下一层的目标上下文特征重复执行第1步至第3步。
[0138]
其中，pred(
·
)为特征前向传播过程。
[0139]
第4步：按照前向传播方法，降低当前层，直至下一层l
‑
1为0，下一层l
‑
1的目标上下文特征作为预测修复体图像
[0140]
需要说明的是，上下文特征提取子网络、掩码映射子网络和融合子网络还可以分别由多个功能不同的神经网络层组成。
[0141]
其中，s211可以具体包括如下步骤：
[0142]
s2111、对第二解码特征进行反卷积，将反卷积解码特征与第二编码特征进行级联，生成下一层的融合特征，并确定下一层的融合特征在特定通道的均值和方差。
[0143]
s2112、将当前层的语义特征进行反卷积，得到下一层的反卷积语义特征，并将下一层的反卷积语义特征通过卷积网络，得到与下一层的融合特征的层数相同的放射变换参数张量。
[0144]
s2113、将放射变换参数张量、下一层的融合特征、下一层的融合特征在特定通道的均值、下一层的融合特征在特定通道的方差进行再次融合，得到下一层的中间上下文特征。
[0145]
图6示出了本公开实施例提供的一种修复体图像预测子网络的原理示意图。
[0146]
参见图6示例性的解释s2111～s2113。
[0147]
第1步：对第二解码特征进行反卷积，以扩大分辨率，将反卷积解码特征与第二编码特征进行级联，生成下一层l
‑
1的融合特征并确定融合特征在c通道的均值和方差
[0148]
第2步：将当前层l的语义特征进行反卷积，得到下一层l
‑
1的反卷积语义特征并将下一层l
‑
1的反卷积语义特征通过卷积网络f
a
(
·
)，得到与下一层l
‑
1的融合特征层数相同的放射变换参数张量γ
l
‑1、β
l
‑1。
[0149]
其中，卷积网络f
a
(
·
)的卷积层可以为2。
[0150]
第3步：将放射变换参数张量γ
l
‑1、β
l
‑1、下一层l
‑
1的融合特征下一层l
‑
1的融合特征在特定通道的均值下一层l
‑
1的融合特征在特定通道的方差进行再次融合，得到下一层l
‑
1的中间上下文特征
[0151]
其中，s212可以具体包括如下步骤：
[0152]
s2121、提取下一层的反卷积语义特征的每个像素位置在通道层面的最大值，并通过固定阈值进行二值化，生成下一层的可靠性掩码。
[0153]
s2122、利用变换函数将可靠性掩码映射到特征空间，得到下一层的掩码映射特
征。
[0154]
继续参见图6示例性的解释s2121～s2122。
[0155]
第1步：提取下一层的反卷积语义特征的每个像素位置(x,y)在通道层面的最大值，并通过固定阈值τ
l
‑1进行二值化，以纠正不可靠像素，生成下一层l
‑
1的可靠性掩码m
l
‑1。
[0156]
其中，像素位置(x,y)对应的元素为
[0157]
其中，像素位置(x,y)对应的m
l
‑1的公式为：
[0158][0159]
第2步：利用变换函数f
m
(
·
)，并基于卷积网络将可靠性掩码m
l
‑1映射到特征空间，得到下一层的掩码映射特征f
l
‑1。
[0160]
其中，卷积网络f
m
(
·
)的卷积层可以为4。
[0161]
其中，s213可以具体包括如下步骤：
[0162]
s2131、针对每一层，将下一层的掩码映射特征和下一层的融合特征进行级联，得到级联特征。
[0163]
s2132、将下一层的融合特征输入至第一上下文处理函数，并将级联特征输入至第二上下文处理函数，将第一上下文处理函数和第二上下文处理函数输出的上下文特征进行融合，得到下一层的目标上下文特征。
[0164]
继续参见图6示例性的解释s2131～s2132。
[0165]
第1步：针对每一层，将下一层l
‑
1的掩码映射特征f
l
‑1和下一层l
‑
1的融合特征进行级联，得到级联特征。
[0166]
其中，逐像素的更新方式如下：
[0167]
e和
‑
为元素级乘法和减法。
[0168]
第2步：将下一层的融合特征输入至第一上下文处理函数f
ba
(
·
)，并将级联特征输入至第二上下文处理函数f
bi
(
·
)，将第一上下文处理函数和第二上下文处理函数输出的上下文特征进行融合，得到下一层l
‑
1的目标上下文特征
[0169]
其中，
[0170]
其中，cat为级联操作。
[0171]
其中，函数f
ba
(
·
)和函数f
bi
(
·
)均可以包括5个残差学习模块。
[0172]
进一步的，针对s214、按照前向传播方法，降低当前层，直至下一层为0，将下一层的目标上下文特征作为预测修复体图像。
[0173]
其中，预测修复体图像为
[0174]
其中，g(
·
)为生成器。
[0175]
由此，在本公开实施例中，牙齿修复模型可以包括先验特征提取子网络和修复体图像预测子网络，且先验特征提取子网络和修复体图像预测子网络可以进一步细分出多个子网络，基于每个子网络进行特征提取、信息级联以及信息融合，以提高牙齿修复模型的鲁棒性和准确性。另外，通过提取下一层的反卷积语义特征的每个像素位置在通道层面的最大值，并通过固定阈值进行二值化，生成下一层的可靠性掩码，以指导后续特征处理过程，使得牙齿修复模型具有自我评估机制，以识别并纠正错误预测。
[0176]
在本公开再一种实施方式中，为了提高修复体信息提取的准确性，可以引入中间特征层损失函数和结构一致性损失函数，以提高牙齿修复模型对中间层的检测能力。
[0177]
在本公开实施例中，s2203可以具体包括如下步骤：
[0178]
s31、基于预测修复体图像和样本修复体图像，计算预设网络的损失函数。
[0179]
s32、基于损失函数迭代训练预设网络，直至损失函数小于预设损失值，得到牙齿修复模型。
[0180]
在本公开实施例中，可选的，损失函数由重建损失函数、对抗损失函数、第一中间特征层损失函数、第二中间特征层损失函数以及结构一致性损失函数进行加权平均计算得到。
[0181]
其中，重建损失函数l
re
可以采用l1范式，使得生成的预测修复体图像在图像级别上，尽可能地接近样本修复体图像z。
[0182]
可选的，重建损失函数的计算公式可以为：
[0183][0184]
其中，对抗损失函数l
ad
可以用于评估预测修复体图像和样本修复体图像z之间的潜在分布，具体可以基于预测修复体图像和样本修复体图像z的深度信息计算。
[0185]
可选的，对抗损失函数的计算公式可以为：
[0186][0187]
其中，e是期望函数。对抗损失函数可以根据缺陷牙齿的当前颚的对面颚的深度信息，评估预测修复体图像和样本修复体图像z的深度信息之间的潜在分布。
[0188]
其中，第一中间特征层损失函数和第二中间特征层损失函数可以用于缩小第二先验特征与预测修复体图像在不同层之间的差距。
[0189]
可选的，第一中间特征层损失函数可以为第二先验特征中的语义特征与样本修复体图像的语义特征之间的损失函数；第二中间特征层损失函数可以为第二先验特征中的深度特征与样本修复体图像的深度特征之间的损失函数。
[0190]
可选的，第一中间特征层损失函数的计算公式可以为：
[0191][0192]
可选的，第二中间特征层损失函数的计算公式可以为：
[0193][0194]
其中，u
pp
为持续上采样操作，以满足分辨率要求。
[0195]
其中，结构一致性损失函数可以用于增强第二先验特征和任一层或预测修复体图像之间的结构一致性。
[0196]
其中，结构一致性损失函数可以根据第二先验特征中的深度特征、语义特征与样本修复体图像中的深度特征、语义特征计算得到。
[0197]
可选的，结构一致性损失函数的计算公式可以为：
[0198][0199]
其中，可以是预测修复体图像
[0200]
其中，在得到第二先验特征之后，语义鉴别器d
s
可以用于判断输入的深度特征是预测修复体图像的深度特征还是第二先验特征中的深度特征。
[0201]
由此，损失函数的表达式可以为：
[0202][0203]
其中，l
total
为损失函数，λ1、λ2、λ3和λ4分别为权重，且λ1 λ2 λ3 λ4＝1。
[0204]
图7a示出了牙齿缺失图像对应的深度图像，图7b示出了样本修复体图像对应的深度图像，图7c示出了基于传统的生成式对抗网络得到的修复体图像对应的深度图像，图7d示出了基于边缘引导方法得到的修复体图像对应的深度图像，图7e示出了基于牙齿修复模型得到的修复体图像对应的深度图像。
[0205]
将图7c～图7e分别与图7a和图7b对比可知，基于牙齿修复模型得到的修复体图像对应的深度图像与样本修复体图像对应的深度图像更接近。
[0206]
图8a示出了样本修复体图像，图8b示出了基于传统的生成式对抗网络得到的修复体图像，图8c示出了基于带有先验特征提取子网络的生成式对抗网络得到的修复体图像，图8d示出了基于带有先验特征提取子网络和自我评估机制的生成式对抗网络得到的修复体图像，图8e示出了基于带有先验特征提取子网络、自我评估机制以及引入结构一致性损失函数的生成式对抗网络得到的修复体图像。
[0207]
将图8b～图8e的虚线框内的特征信息分别与图8a的虚线框内的特征信息对比可知，基于牙齿修复模型得到的修复体图像对应的深度图像与样本修复体图像对应的深度图像更接近。
[0208]
图9a示出了牙齿缺失图像，图9b示出了样本修复体图像，图9c示出了基于传统的生成式对抗网络得到的修复体图像，图9d示出了基于深度卷积神经网络得到的修复体图像，图9e示出了基于牙齿修复模型得到的修复体图像。
[0209]
将图9c～图9e的虚线框内的特征信息分别与图9a和图9b的虚线框内的特征信息对比可知，基于牙齿修复模型得到的修复体图像与样本修复体图像更接近。
[0210]
由此，在本公开实施例中，通过引入中间特征层损失函数和结构一致性损失函数，以提高牙齿修复模型对中间层的检测能力，因此，提高了修复体信息提取的准确性。
[0211]
本公开实施例还提供了一种用于实现上述的修复体图像生成装置，下面结合图10进行说明。在本公开实施例中，该修复体图像生成装置可以为电子设备。其中，电子设备可以包括移动终端、平板电脑、车载终端、可穿戴电子设备、虚拟现实(virtual reality，vr)一体机、智能家居设备等具有通信功能的设备。
[0212]
图10示出了本公开实施例提供的一种修复体图像生成装置的结构示意图。
[0213]
如图10所示，修复体图像生成装置1000可以包括：图像获取模块1110和图像生成模块1120。
[0214]
其中，图像获取模块1110，用于获取待修复牙齿图像。
[0215]
图像生成模块1120，用于基于训练完成的牙齿修复模型提取待修复牙齿图像的第一先验特征和第一解码特征，并基于第一先验特征和第一解码特征得到修复体图像，其中，牙齿修复模型基于牙齿缺失图像和样本修复体图像对预设网络训练得到。
[0216]
在本公开实施例中，在获取到待修复牙齿图像之后，能够基于训练完成的牙齿修复模型提取待修复牙齿图像的第一先验特征和第一编码特征，并基于第一先验特征和第一编码特征得到修复体图像，其中，牙齿修复模型基于牙齿缺失图像和样本修复体图像对预设网络训练得到，由于牙齿修复模型可以提取待修复牙齿图像的第一先验特征和第一解码特征，并将待修复牙齿图像的第一先验特征作为补充结构信息，可以改善牙齿的集合结构信息缺乏的问题，且将第一解码特征作为待修复牙齿图像的整体特征，使得输出的修复体图像与实际牙齿形状相符，提高了修复体图像的准确性，且降低了修复体的设计成本。
[0217]
可选的，该装置还可以包括：牙齿修复模型训练模块；
[0218]
其中，牙齿修复模型训练模块可以包括：样本图像获取单元和训练单元。
[0219]
其中，样本图像获取单元用于获取牙齿缺失图像和样本修复体图像；
[0220]
训练单元，用于基于牙齿缺失图像和样本修复体图像对预设网络进行训练，以得到基于待修复牙齿图像生成修复体图像的牙齿修复模型。
[0221]
可选的，牙齿修复模型包括先验特征提取子网络和修复体图像预测子网络；
[0222]
相应的，训练单元可以包括：特征提取子单元、预测子单元以及迭代训练子单元。
[0223]
其中，特征提取子单元用于基于先验特征提取子网络提取牙齿缺失图像中当前层的第二解码特征和当前层的第二先验特征；
[0224]
预测子单元，用于将第二解码特征和第二先验特征输入至修复体图像预测子网络，得到预测修复体图像；
[0225]
迭代训练子单元，用于基于预测修复体图像和样本修复体图像迭代训练预设网络，得到牙齿修复模型。
[0226]
可选的，牙齿修复模型还包括：编码子网络和自注意力子网络；先验特征提取子网络包括：语义分割子网络以及深度预测子网络；
[0227]
相应的，该装置还包括：第一编码特征提取单元和第二解码特征提取单元；
[0228]
第一编码特征提取单元，用于基于编码子网络提取牙齿缺失图像中当前层的第一编码特征；
[0229]
第二解码特征提取单元，用于将第一编码特征输入至自注意力子网络，得到第二解码特征；
[0230]
相应的，特征提取子单元还可以用于基于语义分割子网络提取第二解码特征的语
义特征，并基于深度预测子网络提取第二解码特征的深度特征，由语义特征和深度特征构成先验特征。
[0231]
可选的，特征提取子单元还可以用于基于先验特征提取子网络提取牙齿缺失图像中下一层的第二编码特征；
[0232]
相应的，预测子单元还可以用于将第二解码特征、第二编码特征以及第二先验特征，输入至修复体图像预测子网络，得到预测修复体图像。
[0233]
可选的，修复体图像预测子网络包括：上下文特征提取子网络、掩码映射子网络和融合子网络；
[0234]
预测子单元还可以用于将第二解码特征、第二编码特征输入至上下文特征提取子网络，得到下一层的中间上下文特征；
[0235]
将第二先验特征输入至掩码映射子网络，得到下一层的掩码映射特征；
[0236]
针对每一层，将下一层的中间上下文特征和下一层的掩码映射特征输入至融合子网络，得到下一层的目标上下文特征；
[0237]
按照前向传播方法，降低当前层，直至下一层为0，将下一层的目标上下文特征作为预测修复体图像。
[0238]
可选的，迭代训练子单元还可以用于基于预测修复体图像和样本修复体图像，计算预设网络的损失函数；
[0239]
基于损失函数迭代训练预设网络，直至损失函数小于预设损失值，得到牙齿修复模型。
[0240]
可选的，损失函数由重建损失函数、对抗损失函数、第一中间特征层损失函数、第二中间特征层损失函数以及结构一致性损失函数进行加权平均计算得到。
[0241]
需要说明的是，图10所示的修复体图像生成装置1000可以执行图1至图9e所示的方法实施例中的各个步骤，并且实现图1至图9e所示的方法实施例中的各个过程和效果，在此不做赘述。
[0242]
图11示出了本公开实施例提供的一种电子设备的结构示意图。
[0243]
如图11所示，该电子设备1100可以包括处理器1101以及存储有计算机程序指令的存储器1102。
[0244]
具体地，上述处理器1101可以包括中央处理器(cpu)，或者特定集成电路(application specific integrated circuit，asic)，或者可以被配置成实施本技术实施例的一个或多个集成电路。
[0245]
存储器1102可以包括用于信息或指令的大容量存储器。举例来说而非限制，存储器1102可以包括硬盘驱动器(hard disk drive，hdd)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(universal serial bus，usb)驱动器或者两个及其以上这些的组合。在合适的情况下，存储器1102可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器1102可在综合网关设备的内部或外部。在特定实施例中，存储器1102是非易失性固态存储器。在特定实施例中，存储器1102包括只读存储器(read
‑
only memory，rom)。在合适的情况下，该rom可以是掩模编程的rom、可编程rom(programmable rom，prom)、可擦除prom(electrical programmable rom，eprom)、电可擦除prom(electrically erasable programmable rom，eeprom)、电可改写rom(electrically alterable rom，earom)或闪存，
或者两个或及其以上这些的组合。
[0246]
处理器1101通过读取并执行存储器1102中存储的计算机程序指令，以执行本公开实施例所提供的数据采集方法的步骤。
[0247]
在一个示例中，该电子设备还可包括收发器1103和总线1104。其中，如图11所示，处理器1101、存储器1102和收发器1103通过总线1104连接并完成相互间的通信。
[0248]
总线1104包括硬件、软件或两者。举例来说而非限制，总线可包括加速图形端口(accelerated graphics port，agp)或其他图形总线、增强工业标准架构(extended industry standard architecture，eisa)总线、前端总线(front side bus，fsb)、超传输(hyper transport，ht)互连、工业标准架构(industrial standard architecture，isa)总线、无限带宽互连、低引脚数(low pin count，lpc)总线、存储器总线、微信道架构(micro channel architecture，mca)总线、外围控件互连(peripheral component interconnect，pci)总线、pci
‑
express(pci
‑
x)总线、串行高级技术附件(serial advanced technology attachment，sata)总线、视频电子标准协会局部(video electronics standards association local bus，vlb)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线1104可包括一个或多个总线。尽管本技术实施例描述和示出了特定的总线，但本技术考虑任何合适的总线或互连。
[0249]
以下是本公开实施例提供的计算机可读存储介质的实施例，该计算机可读存储介质与上述各实施例的修复体图像生成方法属于同一个发明构思，在计算机可读存储介质的实施例中未详尽描述的细节内容，可以参考上述修复体图像生成方法的实施例。
[0250]
本实施例提供一种包含计算机可执行指令的存储介质，计算机可执行指令在由计算机处理器执行时用于执行一种修复体图像生成方法，该方法包括：
[0251]
获取待修复牙齿图像；
[0252]
基于训练完成的牙齿修复模型提取待修复牙齿图像的第一先验特征和第一解码特征，并基于第一先验特征和第一解码特征得到修复体图像，其中，牙齿修复模型基于牙齿缺失图像和样本修复体图像对预设网络训练得到。
[0253]
当然，本公开实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上的方法操作，还可以执行本公开任意实施例所提供的修复体图像生成方法中的相关操作。
[0254]
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本公开可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read
‑
only memory,rom)、随机存取存储器(random access memory,ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机云平台(可以是个人计算机，服务器，或者网络云平台等)执行本公开各个实施例所提供的修复体图像生成方法。
[0255]
注意，上述仅为本公开的较佳实施例及所运用技术原理。本领域技术人员会理解，本公开不限于这里的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本公开的保护范围。因此，虽然通过以上实施例对本公开进行了较
为详细的说明，但是本公开不仅仅限于以上实施例，在不脱离本公开构思的情况下，还可以包括更多其他等效实施例，而本公开的范围由所附的权利要求范围决定。