一种训练变分自编码器的方法和装置与流程

摘要: 本发明涉及人工智能,更具体地,涉及一种训练变分自编码器的方法和装置。背景技术:1、随着人工智能的发展,文生图(text-to-image)模型的应用越来越广泛,...
一种训练变分自编码器的方法和装置与流程

本发明涉及人工智能,更具体地,涉及一种训练变分自编码器的方法和装置。

背景技术:

1、随着人工智能的发展,文生图(text-to-image)模型的应用越来越广泛,上述文生图模型还可以称为图像生成模型,是把用户输入的自然语言自动转成图像的人工智能技术,当前主流的图像生成模型为扩散模型,上述扩散模型的基础组件包括变分自编码器(variational autoencoder,vae),上述vae通过编码器将输入图像压缩到低维潜在空间,再通过解码器从潜在表示重建原始图像,实现图像的高效压缩与重建,vae的重建质量直接影响最终生成图像的清晰度和细节保留程度。

2、现有技术中,上述vae在各类图像生成任务的表现较佳,但是在小字重建方面和复杂背景上文字重建都存在缺陷,具体的,在小字重建方面:小字重建模糊,当图像中的文字像素尺寸较小时,上述vae重建后的文字模糊不清,笔画细节丢失严重;在复杂背景上文字重建方法:当文字叠加在复杂背景上时,上述vae难以准确分离文字与背景,导致重建后的文字与背景混杂,文字几乎无法辨认;此外,还存在笔触黏连现象和跨分辨率泛化能力差的问题,上述笔触黏连现象是指对于复杂汉字,重建后的笔画之间出现不应有的连接,形成糊成一团的现象;上述跨分辨率泛化能力差是指上述vae在某一分辨率下训练后,难以泛化到其他分辨率的文字重建任务。

3、综上所述,如何提高vae在小字重建和复杂背景上文字重建的质量,减少笔触黏连现象,并提高跨分辨率泛化能力,是目前需要解决的问题。

技术实现思路

1、有鉴于此,本发明实施例提供了一种训练变分自编码器的方法和装置,采用合成数据集对变分自编码器vae进行训练,可以提高vae在小字重建和复杂背景上文字重建的质量,减少笔触黏连现象,并提高跨分辨率泛化能力。

2、第一方面,本发明实施例提供了一种训练变分自编码器的方法,所述方法包括:获取合成数据集,其中,所述合成数据集中包括多张图像,所述图像上包括设定语种、设定字号和设定字体类别的文字内容,所述图像的背景类别不同,所述文字内容占据所述图像的比例大于等于设定阈值;按照设定需求在所述合成数据集中对不同字号的多张图像进行采样,获取多种类别的多张目标图像,其中,所述不同字号对应不同的权重比例;采用所述多张目标图像训练基础变分自编码器,生成微调后的变分自编码器。

3、可选的,所述方法还包括:生成所述合成数据集。

4、可选的,所述生成所述合成数据集,具体包括:获取文本语料,将所述文本语料进行预处理,生成候选文本语料,其中,所述文本语料包括不同来源的原始文本数据;获取多种字体类型,将所述候选文本语料渲染为多种字体类型的目标文本语料;获取多种背景类别的背景图像,将所述背景图像进行预处理,生成目标背景图像;根据设定算法将所述目标文本语料渲染到所述目标背景图像中,生成候选图像;将所述候选图像进行字体颜色调整,生成所述图像;根据多张所述图像构建所述合成数据集。

5、可选的,所述方法还包括:根据所述图像生成对应的描述文本,其中,所述描述文本中包括语种、字体类型、文字内容和背景类别。

6、可选的,所述方法还包括:按照所述合成数据集中的多张图像按照图像分辨率、字号和或语种分类存储,并保存所述描述文本。

7、可选的,所述将所述文本语料进行预处理,生成候选文本语料,具体包括:将所述文本语料进行切分,生成渲染短句,其中,所述渲染短句中包括数量在设定范围内的字符,所述设定范围根据目标字号和图像分辨率确定;将所述渲染短句进行语义完整性校验,生成校验后的渲染短句;将所述校验后的渲染短句进行去重和语种分类,生成所述候选文本语料,其中,不同的语种存储到不同语料池。

8、可选的,所述获取多种背景类别的背景图像,将所述背景图像进行预处理,生成目标背景图像,具体包括:在设定背景图像数据集中随机选择多张背景图像,其中,所述设定背景图像数据集包含多种背景类别;将所述背景图像进行缩放和或中心裁剪,生成所述目标背景图像。

9、可选的,所述根据设定算法将所述目标文本语料渲染到所述目标背景图像中,生成候选图像,具体包括:根据二分搜索策略将所述目标文本语料渲染到所述目标背景图像中,生成候选图像。

10、可选的,所述将所述候选图像进行字体颜色调整,生成所述图像,具体包括:将所述候选图像转换为灰度图,并计算像素均值;响应于所述像素均值大于设定阈值,将所述字体颜色调整为黑色,生成所述图像;或者,响应于所述像素均值小于或等于设定阈值,将所述字体颜色调整为白色,生成所述图像。

11、可选的,所述采用所述多张目标图像训练基础变分自编码器,生成微调后的变分自编码器,具体包括:将每张所述目标图像分别输入所述基础变分自编码器进行图像压缩,生成潜在空间向量;将所述潜在空间向量进行重参数化,生成更新后的潜在空间变量;根据所述更新后的潜在空间变量生成重建目标图像;根据所述目标图像和所述重建目标图像生成损失函数;根据所述损失函数对所述基础变分自编码器的参数进行更新,生成微调后的变分自编码器。

12、第二方面,本发明实施例提供了一种训练变分自编码器的装置,所述装置包括:获取单元,用于获取合成数据集,其中,所述合成数据集中包括多张图像,所述图像上包括设定语种、设定字号和设定字体类别的文字内容,所述图像的背景类别不同,所述文字内容占据所述图像的比例大于等于设定阈值;采样单元,用于按照设定需求在所述合成数据集中对不同字号的多张图像进行采样,获取多种类别的多张目标图像,其中,所述不同字号对应不同的权重比例;生成单元,用于采用所述多张目标图像训练基础变分自编码器,生成微调后的变分自编码器。

13、可选的,所述装置还包括:生成单元,用于生成所述合成数据集。

14、可选的,所述生成单元具体用于:获取文本语料,将所述文本语料进行预处理,生成候选文本语料,其中,所述文本语料包括不同来源的原始文本数据;获取多种字体类型,将所述候选文本语料渲染为多种字体类型的目标文本语料;获取多种背景类别的背景图像,将所述背景图像进行预处理,生成目标背景图像;根据设定算法将所述目标文本语料渲染到所述目标背景图像中,生成候选图像;将所述候选图像进行字体颜色调整,生成所述图像;根据多张所述图像构建所述合成数据集。

15、可选的,所述生成单元具体还用于:根据所述图像生成对应的描述文本,其中,所述描述文本中包括语种、字体类型、文字内容和背景类别。

16、可选的,所述装置还包括存储单元,用于按照所述合成数据集中的多张图像按照图像分辨率、字号和或语种分类存储,并保存所述描述文本。

17、可选的,所述生成单元具体用于:将所述文本语料进行切分,生成渲染短句,其中,所述渲染短句中包括数量在设定范围内的字符,所述设定范围根据目标字号和图像分辨率确定;将所述渲染短句进行语义完整性校验,生成校验后的渲染短句;将所述校验后的渲染短句进行去重和语种分类,生成所述候选文本语料,其中,不同的语种存储到不同语料池。

18、可选的,所述生成单元具体还用于:在设定背景图像数据集中随机选择多张背景图像,其中,所述设定背景图像数据集包含多种背景类别;将所述背景图像进行缩放和或中心裁剪,生成所述目标背景图像。

19、可选的,所述生成单元具体还用于:根据二分搜索策略将所述目标文本语料渲染到所述目标背景图像中,生成候选图像。

20、可选的,所述生成单元具体还用于:将所述候选图像转换为灰度图,并计算像素均值;响应于所述像素均值大于设定阈值,将所述字体颜色调整为黑色,生成所述图像;或者,响应于所述像素均值小于或等于设定阈值,将所述字体颜色调整为白色,生成所述图像。

21、可选的,所述生成单元具体还用于:将每张所述目标图像分别输入所述基础变分自编码器进行图像压缩,生成潜在空间向量;将所述潜在空间向量进行重参数化,生成更新后的潜在空间变量;根据所述更新后的潜在空间变量生成重建目标图像;根据所述目标图像和所述重建目标图像生成损失函数;根据所述损失函数对所述基础变分自编码器的参数进行更新,生成微调后的变分自编码器。

22、第三方面,本发明实施例提供了一种电子设备,包括存储器和处理器,所述存储器用于存储一条或多条计算机程序指令,其中,所述一条或多条计算机程序指令被所述处理器执行以实现如第一方面或第一方面任一种可能中任一项所述的方法。

23、第四方面,本发明实施例提供了一种计算机可读存储介质,其上存储计算机程序指令,所述计算机程序指令在被处理器执行时实现如第一方面或第一方面任一种可能中任一项所述的方法。

24、本发明实施例中,通过获取合成数据集,其中,所述合成数据集中包括多张图像,所述图像上包括设定语种、设定字号和设定字体类别的文字内容,所述图像的背景类别不同,所述文字内容占据所述图像的比例大于等于设定阈值;按照设定需求在所述合成数据集中对不同字号的多张图像进行采样,获取多种类别的多张目标图像,其中,所述不同字号对应不同的权重比例;采用所述多张目标图像训练基础变分自编码器,生成微调后的变分自编码器。通过上述方法,可以提高vae在小字重建和复杂背景上文字重建的质量,减少笔触黏连现象,并提高跨分辨率泛化能力。