图像处理方法、装置、设备及介质与流程

本公开涉及图像处理，尤其涉及一种图像处理方法、装置、设备及介质。

背景技术：

1、图像分词器是图像处理领域中的常用模型，其能够将输入图像的信息转换为特征单元(token)，特征单元可用于图像重建。发明人经研究发现，相关技术采用的图像分词器对于图像的处理效果不佳，诸如存在较大的局限性，因此仍有待改进。

技术实现思路

1、为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种图像处理方法、装置、设备及介质。

2、本公开实施例提供了一种图像处理方法，所述方法包括：获取第一图像；获取目标参数；其中，所述目标参数是与待生成的第二图像的目标分辨率相关的可调参数；通过图像分词器中的编码器生成所述第一图像对应的一维特征信息，并基于所述目标参数和所述一维特征信息得到一维特征单元序列；基于所述一维特征单元序列，通过所述图像分词器中的解码器生成所述第二图像。

3、可选的，所述基于所述目标参数和所述一维特征信息得到一维特征单元序列，包括：基于所述目标参数确定目标数量；其中，所述目标数量是用于生成所述第二图像的一维特征单元序列中的特征单元的数量，且所述目标数量与所述目标分辨率呈正相关；基于所述目标数量和所述一维特征信息得到一维特征单元序列。

4、可选的，所述目标参数包括所述目标数量；或者，所述目标参数包括所述目标分辨率，所述基于所述目标参数确定目标数量的步骤，包括：获取预设的映射函数；基于所述映射函数，得到与所述目标分辨率对应的目标数量；其中，所述映射函数是待生成图像的分辨率与用于生成所述待生成图像的一维特征单元序列中的特征单元的数量之间的正相关函数。

5、可选的，所述目标分辨率不高于指定的最大分辨率，所述最大分辨率小于或等于所述第一图像的分辨率；所述目标数量不高于指定的最大数量，且所述指定的最大数量是基于所述图像分词器最多可处理的特征单元的数量确定的。

6、可选的，在所述目标数量大于1的情况下，所述一维特征单元序列中的第i个特征单元携带的图像细节信息多于第i-1个特征单元携带的图像细节信息，且所述第i个特征单元携带的图像结构信息少于所述第i-1个特征单元携带的图像结构信息；其中，i为大于等于2且小于等于所述目标数量的数值。

7、可选的，所述基于所述一维特征单元序列，通过所述图像分词器中的解码器生成所述第二图像，包括：根据所述目标数量确定所需的掩膜特征单元的数量；其中，所述掩膜特征单元的数量与所述目标数量呈正相关；基于所述掩膜特征单元的数量，获取掩膜特征单元序列；基于所述掩膜特征单元序列和所述一维特征单元序列，通过所述图像分词器中的解码器生成所述第二图像。

8、可选的，所述基于所述掩膜特征单元序列和所述一维特征单元序列，通过所述图像分词器中的解码器生成所述第二图像，包括：基于所述掩膜特征单元序列中的掩膜特征单元的数量，确定所述掩膜特征单元对应的二维位置编码尺寸；基于所述掩膜特征单元对应的二维位置编码尺寸、所述掩膜特征单元序列和所述一维特征单元序列，通过所述图像分词器中的解码器生成所述第二图像。

9、可选的，所述一维特征信息包含连续的一维隐式特征；在所述图像分词器还包括量化器的情况下，所述基于所述目标参数和所述一维特征信息得到一维特征单元序列，包括：通过所述量化器将所述连续的一维隐式特征转换为离散的一维隐式特征；基于所述目标参数和所述离散的一维隐式特征，得到一维特征单元序列。

10、可选的，所述图像分词器是通过如下步骤训练得到的：获取样本图像；获取样本参数，以及基于所述样本参数获取所述样本图像对应的理论重建图像；其中，所述理论重建图像的分辨率是基于所述样本参数确定的；基于所述样本图像和所述样本参数，通过初始分词器生成所述样本图像对应的实际重建图像；利用预设的目标损失函数确定所述理论重建图像与所述实际重建图像之间的目标损失值，基于所述目标损失值训练所述初始分词器，并将训练后的初始分词器作为图像分词器。

11、本公开实施例还提供了一种图像处理装置，包括：图像获取模块，用于获取第一图像；数量获得模块，用于获取目标参数；其中，所述目标参数是与待生成的第二图像的目标分辨率相关的可调参数；图像编码模块，用于通过图像分词器中的编码器生成所述第一图像对应的一维特征信息，并基于所述目标参数和所述一维特征信息得到一维特征单元序列；图像解码模块，用于基于所述一维特征单元序列，通过所述图像分词器中的解码器生成所述第二图像。

12、本公开实施例还提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现如本公开实施例提供的图像处理方法。

13、本公开实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行如本公开实施例提供的图像处理方法。

14、本公开实施例还提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如本公开实施例提供的图像处理方法。

15、本公开实施例提供的上述技术方案，充分考虑到现有的图像分词器仅支持固定统一的分辨率，无法根据需求调整，存在较大的局限性，为此，本公开实施例能够额外获取目标参数，该目标参数是与待生成的第二图像的目标分辨率相关的可调参数，便于满足生成图像的分辨率可变的需求，通过图像分词器所得的一维特征单元序列不仅与第一图像对应的一维特征信息相关，而且还与目标参数相关，以此有助于得到具有所需的目标分辨率的第二图像。通过上述方式，图像分词器可以基于与目标分辨率相关的可调参数相应调整用于生成第二图像的一维特征单元序列，从而有助于生成具有所需分辨率的图像，生成图像的分辨率会随着目标参数的调整而相应改变，相比于相关技术仅支持一种分辨率而言，能够较好地提升图像处理的灵活性，满足图像分辨率可变的多样化需求。

16、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

1.一种图像处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述基于所述目标参数和所述一维特征信息得到一维特征单元序列，包括：

3.根据权利要求2所述的方法，其特征在于，所述目标参数包括所述目标数量；

4.根据权利要求2所述的方法，其特征在于，所述目标分辨率不高于指定的最大分辨率，所述最大分辨率小于或等于所述第一图像的分辨率；

5.根据权利要求2所述的方法，其特征在于，在所述目标数量大于1的情况下，所述一维特征单元序列中的第i个特征单元携带的图像细节信息多于第i-1个特征单元携带的图像细节信息，且所述第i个特征单元携带的图像结构信息少于所述第i-1个特征单元携带的图像结构信息；其中，i为大于等于2且小于等于所述目标数量的数值。

6.根据权利要求2所述的方法，其特征在于，所述基于所述一维特征单元序列，通过所述图像分词器中的解码器生成所述第二图像，包括：

7.根据权利要求6所述的方法，其特征在于，所述基于所述掩膜特征单元序列和所述一维特征单元序列，通过所述图像分词器中的解码器生成所述第二图像，包括：

8.根据权利要求1所述的方法，其特征在于，所述一维特征信息包含连续的一维隐式特征；

9.根据权利要求1至8任一项所述的方法，其特征在于，所述图像分词器是通过如下步骤训练得到的：

10.一种图像处理装置，其特征在于，包括：

11.一种电子设备，其特征在于，所述电子设备包括：

12.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行权利要求1-9中任一项所述的图像处理方法。

13.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序在被处理器执行时实现权利要求1-9中任一项所述的图像处理方法。