模型训练方法、图像恢复方法、系统、电子设备及存储介质与流程

本申请涉及人工智能技术、医疗，具体而言，涉及一种模型训练方法、图像恢复方法、系统、电子设备及存储介质。

背景技术：

1、近年来，人工智能（artificial intelligence，简称ai）模型被广泛用于恢复或提升退化图像的视觉质量与可用性的场景，从而支持场景中对结构可靠性要求较高的任务处理（比如医疗诊断、远程影像分析等）。对此，现有技术在训练模型时通常仅做像素级优化以求增强恢复图像的视觉效果，但这种方案的缺陷包括：模型生成的恢复图像可能在整体形态上出现不符合真实解剖结构的失真，即模型在退化图像的恢复处理中解剖结构一致性差、图像恢复准确性低。

2、针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本申请实施例提供了一种模型训练方法、图像恢复方法、系统、电子设备及存储介质，以至少解决模型在退化图像的恢复处理中解剖结构一致性差、图像恢复准确性低的技术问题。

2、根据本申请实施例的一个方面，提供了一种模型训练方法，包括：获取训练数据，其中，训练数据包括退化图像样本和真实图像样本；利用初始恢复模型对退化图像样本进行恢复处理，得到目标语义特征和恢复图像，其中，初始恢复模型的解码部分包括解剖语义码本，解剖语义码本用于约束恢复图像的解剖结构；基于退化图像样本、真实图像样本、恢复图像以及目标语义特征，确定目标损失；根据目标损失，对初始恢复模型进行参数调整，得到目标恢复模型。

3、根据本申请实施例的另一方面，提供了一种图像恢复方法，包括：获取待恢复的退化图像；利用目标恢复模型对退化图像进行恢复处理，得到恢复图像，其中，目标恢复模型按照上述任意一项的模型训练方法生成。

4、根据本申请实施例的另一方面，提供了一种计算机辅助诊断方法，包括：获取目标对象的待恢复医学影像，其中，待恢复医学影像的类别包括以下至少之一：计算机断层扫描影像、磁共振影像、正电子发射断层扫描影像；利用目标恢复模型对待恢复医学影像进行恢复处理，得到恢复医学影像，其中，目标恢复模型按照上述任意一项的模型训练方法生成；基于恢复医学影像对目标对象进行诊断分析，得到辅助诊断建议。

5、根据本申请实施例的另一方面，提供了一种图像恢复方法，包括：通过第一应用程序编程接口获取图像恢复对话请求，其中，图像恢复对话请求中携带的请求数据包括：待恢复的退化图像；通过第二应用程序编程接口返回图像恢复对话响应，其中，图像恢复对话响应中携带的响应数据包括：恢复图像，恢复图像通过利用目标恢复模型对退化图像进行恢复处理得到，目标恢复模型按照上述任意一项的模型训练方法生成。

6、根据本申请实施例的另一方面，提供了一种图像恢复系统，包括：客户端，用于发送待恢复的退化图像；服务器，与客户端连接，用于利用目标恢复模型对退化图像进行恢复处理，得到恢复图像，其中，目标恢复模型按照上述任意一项的模型训练方法生成；客户端还用于输出恢复图像。

7、根据本申请实施例的另一方面，提供了一种电子设备，包括：存储器，存储有可执行程序；处理器，用于运行程序，其中，程序运行时执行上述任意一项的方法。

8、根据本申请实施例的另一方面，提供了一种计算机可读存储介质，计算机可读存储介质包括存储的可执行程序，其中，在可执行程序运行时控制存储介质所在设备执行上述任意一项的方法。

9、根据本申请实施例的另一方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现根据上述任意一项的方法。

10、在本申请实施例中，通过在解码部分引入解剖语义码本，使恢复图像的生成过程受到解剖结构语义的约束，从而引导恢复图像在结构形态上与解剖语义码本所表征的解剖结构保持相似或一致；通过基于真实图像样本、恢复图像与目标语义特征共同确定目标损失，使模型在优化过程中能够兼顾像素级重建与语义结构的匹配性，强化恢复图像对真实解剖结构的拟合能力。由此，本申请实施例达到了在解码部分引入解剖语义码本进行解剖结构约束以确保恢复图像准确性的目的，从而实现了提升模型的图像恢复准确度的技术效果，进而解决了模型在退化图像的恢复处理中解剖结构一致性差、图像恢复准确性低的技术问题。

11、容易注意到的是，上面的通用描述和后面的详细描述仅仅是为了对本申请进行举例和解释，并不构成对本申请的限定。

1.一种模型训练方法，其特征在于，包括：

2.根据权利要求1所述的模型训练方法，其特征在于，所述初始恢复模型还包括编码部分和提示生成器；所述利用初始恢复模型对所述退化图像样本进行恢复处理，得到所述目标语义特征和所述恢复图像包括：

3.根据权利要求2所述的模型训练方法，其特征在于，所述编码部分包括多个层级分别对应的多个编码块，所述编码块包括自注意力单元和频域前馈单元；对所述退化图像样本进行编码处理，得到所述中间图像特征包括：

4.根据权利要求2所述的模型训练方法，其特征在于，所述初始恢复模型包括动态频域掩码注意力部分；所述方法还包括：

5.根据权利要求4所述的模型训练方法，其特征在于，所述多个频域掩码包括第一频域掩码和第二频域掩码，所述第一频域掩码的第一频率阈值高于所述第二频域掩码的第二频率阈值；采用所述多个频域掩码分别对所述退化图像样本进行频域特征滤波，得到所述多组频域分量包括：

6.根据权利要求2所述的模型训练方法，其特征在于，将所述中间图像特征输出至所述提示生成器，生成所述初始语义特征包括：

7.根据权利要求2所述的模型训练方法，其特征在于，所述解码部分包括多个层级分别对应的多个解码器，所述多个解码器关联至同一所述解剖语义码本；基于所述解剖语义码本对所述中间图像特征和所述初始语义特征进行解码处理，得到所述目标语义特征和所述恢复图像包括：

8.根据权利要求7所述的模型训练方法，其特征在于，利用所述解剖语义码本和所述输出语义特征对所述解码输入图像特征进行调制解码，得到所述解码输出图像特征包括：

9.根据权利要求1所述的模型训练方法，其特征在于，基于所述退化图像样本、所述真实图像样本、所述恢复图像以及所述目标语义特征，确定所述目标损失包括：

10.根据权利要求9所述的模型训练方法，其特征在于，基于所述退化图像样本、所述真实图像样本和所述目标语义特征，确定所述语义损失包括：

11.一种图像恢复方法，其特征在于，包括：

12.一种计算机辅助诊断方法，其特征在于，包括：

13.一种电子设备，其特征在于，包括：

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的可执行程序，其中，在所述可执行程序运行时控制所述存储介质所在设备执行权利要求1至12中任意一项所述的方法。

15.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1至12中任意一项所述的方法。