目标对象的生成方法、装置、电子设备以及存储介质与流程

技术特征：
1.一种目标对象的生成方法，包括：对原始对象进行离散编码，以生成所述原始对象对应的第一离散编码序列，其中，所述原始对象的类型，为图像或文本中的一个或者图像和文本的组合；将所述第一离散编码序列输入生成模型，以得到第二离散编码序列；根据所述第二离散编码序列，生成目标对象，其中，所述目标对象的类型为图像或文本中的一个，且所述原始对象的类型为图像或文本中的一个时，所述目标对象的类型为文本或图像中的另一个。2.根据权利要求1所述的方法，其中，所述原始对象的类型为图像，所述对原始对象进行离散编码，以生成所述原始对象对应的第一离散编码序列，包括：利用向量量化变分自动编码器vq
‑
vae的编码层，将所述原始对象对应的连续编码转换为第一连续编码向量；基于所述vq
‑
vae中的编码表，通过最邻近搜索，将所述第一连续编码向量转换为第一离散编码向量；根据预设的离散编码方式，将所述第一离散编码向量转换为所述第一离散编码序列。3.根据权利要求2所述的方法，其中，所述目标对象的类型为文本，所述根据所述第二离散编码序列，生成目标对象，包括：根据所述预设的离散编码方式对应的离散解码方式，将所述第二离散编码序列，转换为所述目标对象。4.根据权利要求1所述的方法，其中，所述原始对象的类型为文本，所述对原始对象进行离散编码，以生成所述原始对象对应的第一离散编码序列，包括：利用预设的离散编码方式，将所述原始对象转换为所述第一离散编码序列。5.根据权利要求4所述的方法，其中，所述目标对象的类型为图像，所述根据所述第二离散编码序列，生成目标对象，包括：根据所述预设的离散编码方式对应的离散解码方式，将所述第二离散编码序列转换为第二离散编码向量；基于vq
‑
vae中的编码表，通过最邻近搜索，将所述第二离散编码向量转换为第二连续编码向量；利用所述vq
‑
vae的解码层，将所述第二连续编码向量转换为所述目标对象对应的连续编码，以生成所述目标对象。6.根据权利要求1所述的方法，其中，所述原始对象的类型为图像和文本的组合，所述对原始对象进行离散编码，以生成所述原始对象对应的第一离散编码序列，包括：对类型为图像的所述原始对象进行离散编码，得到第三离散编码序列；对类型为文本的所述原始对象进行离散编码，得到第四离散编码序列；将所述第三离散编码序列和所述第四离散编码序列进行拼接，得到所述第一离散编码序列。7.根据权利要求1
‑
6任一项所述的方法，其中，所述将所述第一离散编码序列输入生成模型，以得到第二离散编码序列之前，还包括：获取训练数据；其中，所述训练数据包括多个样本对，其中，每个所述样本对包括样本文本对应的样本离散编码序列以及样本图像对应的样本离散编码序列，其中，所述样本文
本与所述样本图像具有图文转换关系；获取初始的生成模型；将所述样本对输入所述初始的生成模型，得到所述样本文本对应的预测离散编码序列以及所述样本图像对应的预测离散编码序列；根据所述样本文本对应的预测离散编码序列与对应样本图像对应的样本离散编码序列之间的第一差异，以及所述样本图像对应的预测离散编码序列与对应样本文本对应的样本离散编码序列之间的第二差异，对所述初始的生成模型的模型参数进行调整，以得到经过训练的所述生成模型。8.根据权利要求1所述的方法，其中，所述生成模型的框架为参数共享的序列到序列seqtoseq框架。9.一种目标对象的生成装置，包括：编码模块，用于对原始对象进行离散编码，以生成所述原始对象对应的第一离散编码序列，其中，所述原始对象的类型，为图像或文本中的一个或者图像和文本的组合；第一处理模块，用于将所述第一离散编码序列输入生成模型，以得到第二离散编码序列；生成模块，用于根据所述第二离散编码序列，生成目标对象，其中，所述目标对象的类型为图像或文本中的一个，且所述原始对象的类型为图像或文本中的一个时，所述目标对象的类型为文本或图像中的另一个。10.根据权利要求9所述的装置，其中，所述原始对象的类型为图像，所述编码模块，包括：第一转换单元，用于利用向量量化变分自动编码器vq
‑
vae的编码层，将所述原始对象对应的连续编码转换为第一连续编码向量；第二转换单元，用于基于所述vq
‑
vae中的编码表，通过最邻近搜索，将所述第一连续编码向量转换为第一离散编码向量；第三转换单元，用于根据预设的离散编码方式，将所述第一离散编码向量转换为所述第一离散编码序列。11.根据权利要求10所述的装置，其中，所述目标对象的类型为文本，所述生成模块，包括：第四转换单元，用于根据所述预设的离散编码方式对应的离散解码方式，将所述第二离散编码序列，转换为所述目标对象。12.根据权利要求9所述的装置，其中，所述原始对象的类型为文本，所述编码模块，包括：第五转换单元，用于利用预设的离散编码方式，将所述原始对象转换为所述第一离散编码序列。13.根据权利要求12所述的装置，其中，所述目标对象的类型为图像，所述生成模块，包括：第六转换单元，用于根据所述预设的离散编码方式对应的离散解码方式，将所述第二离散编码序列转换为第二离散编码向量；第七转换单元，用于基于vq
‑
vae中的编码表，通过最邻近搜索，将所述第二离散编码向
量转换为第二连续编码向量；第八转换单元，用于利用所述vq
‑
vae的解码层，将所述第二连续编码向量转换为所述目标对象对应的连续编码，以生成所述目标对象。14.根据权利要求9所述的装置，其中，所述原始对象的类型为图像和文本的组合，所述编码模块，包括：第一编码单元，用于对类型为图像的所述原始对象进行离散编码，得到第三离散编码序列；第二编码单元，用于对类型为文本的所述原始对象进行离散编码，得到第四离散编码序列；拼接单元，用于将所述第三离散编码序列和所述第四离散编码序列进行拼接，得到所述第一离散编码序列。15.根据权利要求9
‑
14任一项所述的装置，其中，还包括：第一获取模块，用于获取训练数据；其中，所述训练数据包括多个样本对，其中，每个所述样本对包括样本文本对应的样本离散编码序列以及样本图像对应的样本离散编码序列，其中，所述样本文本与所述样本图像具有图文转换关系；第二获取模块，用于获取初始的生成模型；第二处理模块，用于将所述样本对输入所述初始的生成模型，得到所述样本文本对应的预测离散编码序列以及所述样本图像对应的预测离散编码序列；训练模块，用于根据所述样本文本对应的预测离散编码序列与对应样本图像对应的样本离散编码序列之间的第一差异，以及所述样本图像对应的预测离散编码序列与对应样本文本对应的样本离散编码序列之间的第二差异，对所述初始的生成模型的模型参数进行调整，以得到经过训练的所述生成模型。16.根据权利要求9所述的装置，其中，所述生成模型的框架为参数共享的序列到序列seqtoseq框架。17.一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1
‑
8中任一项所述的方法。18.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1
‑
8中任一项所述的方法。19.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1
‑
8中任一项所述的方法。

技术总结
本公开提供了目标对象的生成方法、装置、电子设备以及存储介质，涉及计算机技术领域，尤其涉及自然语言处理、深度学习等人工智能技术领域。具体实现方案为：对原始对象进行离散编码，以生成原始对象对应的第一离散编码序列，其中，原始对象的类型为图像或文本中的一个或者图像和文本的组合；将第一离散编码序列输入生成模型，以得到第二离散编码序列；根据第二离散编码序列，生成目标对象，目标对象的类型为图像或文本中的一个，且原始对象的类型为图像或文本中的一个时，目标对象的类型为文本或图像中的另一个。实现了利用同一生成模型，实现图像到文本、文本到图像以及文本和图像的组合到图像或文本的生成，扩大了生成模型的应用范围。的应用范围。的应用范围。


技术研发人员：李宇琨 张涵 尹维冲 肖东凌 孙宇 田浩
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：2021.06.30
技术公布日：2021/11/2