信息生成方法和装置与流程

技术特征：
1.一种信息生成方法，包括：响应于获取到目标信息，将所述目标信息转换为对应的文本向量和图像向量；将所述文本向量和所述图像向量进行拼接，得到目标向量；基于所述目标向量和生成模型，得到与所述目标信息对应的图像和文本，其中，所述生成模型基于样本对训练得到，所述样本对包括图像样本和文本样本，所述图像样本和所述文本样本互为标注数据。2.根据权利要求1所述的方法，其中，所述生成模型通过以下方式训练得到：获取训练样本对集；基于第一损失函数，构建目标损失函数，其中，所述第一损失函数基于第一预测结果、输入的样本对构建，所述第一预测结果通过以下方式得到：将样本对中的图像样本或文本样本进行随机掩码，得到掩码后的样本对，将所述掩码后的样本对对应的目标向量输入初始生成模型，得到第一预测结果；基于所述样本对集和所述目标损失函数，对初始生成模型进行训练，得到训练完成的生成模型。3.根据权利要求2所述的方法，其中，所述基于第一损失函数，构建目标损失函数，包括：基于第一损失函数和第二损失函数，构建目标损失函数，其中，所述第二损失函数基于第二预测结果、输入的样本对构建，所述第二预测结果通过以下方式得到：将样本对中的图像样本或文本样本对应的目标向量输入初始生成模型，得到第二预测结果。4.根据权利要求3所述的方法，其中，所述基于第一损失函数和第二损失函数，构建目标损失函数，包括：基于第一损失函数、第二损失函数和图像表示一致性损失函数，构建目标损失函数。5.根据权利要求2所述的方法，其中，所述基于第一损失函数，构建目标损失函数，包括：基于第一损失函数和图像表示一致性损失函数，构建目标损失函数。6.根据权利要求1所述的方法，其中，所述生成模型通过以下方式训练得到：获取训练样本对集；基于第二损失函数，构建目标损失函数，其中，所述第二损失函数基于第二预测结果、输入的样本对构建，所述第二预测结果通过以下方式得到：将样本对中的图像样本或文本样本对应的目标向量输入初始生成模型，得到第二预测结果；基于所述样本对集和所述目标损失函数，对初始生成模型进行训练，得到训练完成的生成模型。7.根据权利要求6所述的方法，其中，所述基于第二损失函数，构建目标损失函数，包括：基于第二损失函数和图像表示一致性损失函数，构建目标损失函数。8.根据权利要求1所述的方法，其中，所述基于目标向量和生成模型，得到与所述目标信息对应的图像和文本，包括：将所述目标向量输入生成模型，得到初始结果；响应于确定所述初始结果包含与所述目标信息对应的图像的序列信息，基于矢量量化
变分自动编码将所述序列信息转换为图像。9.根据权利要求1-8任一所述的方法，其中，所述响应于获取到目标信息，将所述目标信息转换为对应的文本向量和图像向量，包括：响应于确定获取的目标信息为文本，将所述文本转换为对应的文本向量和预设的可训练的图像向量。10.根据权利要求1-8任一所述的方法，其中，所述响应于获取到目标信息，将所述目标信息转换为对应的文本向量和图像向量，包括：响应于确定获取的目标信息为图像，将所述图像转换为对应的图像向量和预设的可训练的文本向量。11.根据权利要求1-8任一所述的方法，其中，所述响应于获取到目标信息，将所述目标信息转换为对应的文本向量和图像向量，包括：响应于确定获取的目标信息为图像和文本，将所述图像和文本转换为对应的图像向量和文本向量。12.一种信息生成装置，包括：获取模块，被配置成响应于获取到目标信息，将所述目标信息转换为对应的文本向量和图像向量；拼接模块，被配置成将所述文本向量和所述图像向量进行拼接，得到目标向量；生成模块，被配置成基于所述目标向量和生成模型，得到与所述目标信息对应的图像和文本，其中，所述生成模型基于样本对训练得到，所述样本对包括图像样本和文本样本，所述图像样本和所述文本样本互为标注数据。13.根据权利要求12所述的装置，其中，所述生成模型通过以下方式训练得到：获取训练样本对集；基于第一损失函数，构建目标损失函数，其中，所述第一损失函数基于第一预测结果、输入的样本对构建，所述第一预测结果通过以下方式得到：将样本对中的图像样本或文本样本进行随机掩码，得到掩码后的样本对，将所述掩码后的样本对对应的目标向量输入初始生成模型，得到第一预测结果；基于所述样本对集和所述目标损失函数，对初始生成模型进行训练，得到训练完成的生成模型。14.根据权利要求13所述的装置，其中，所述基于第一损失函数，构建目标损失函数，包括：基于第一损失函数和第二损失函数，构建目标损失函数，其中，所述第二损失函数基于第二预测结果、输入的样本对构建，所述第二预测结果通过以下方式得到：将样本对中的图像样本或文本样本对应的目标向量输入初始生成模型，得到第二预测结果。15.根据权利要求14所述的装置，其中，所述基于第一损失函数和第二损失函数，构建目标损失函数，包括：基于第一损失函数、第二损失函数和图像表示一致性损失函数，构建目标损失函数。16.根据权利要求13所述的装置，其中，所述基于第一损失函数，构建目标损失函数，包括：基于第一损失函数和图像表示一致性损失函数，构建目标损失函数。
17.根据权利要求12所述的装置，其中，所述生成模型通过以下方式训练得到：获取训练样本对集；基于第二损失函数，构建目标损失函数，其中，所述第二损失函数基于第二预测结果、输入的样本对构建，所述第二预测结果通过以下方式得到：将样本对中的图像样本或文本样本对应的目标向量输入初始生成模型，得到第二预测结果；基于所述样本对集和所述目标损失函数，对初始生成模型进行训练，得到训练完成的生成模型。18.根据权利要求17所述的装置，其中，所述基于第二损失函数，构建目标损失函数，包括：基于第二损失函数和图像表示一致性损失函数，构建目标损失函数。19.根据权利要求12所述的装置，其中，所述生成模块进一步被配置成：将所述目标向量输入生成模型，得到初始结果；响应于确定所述初始结果包含与所述目标信息对应的图像的序列信息，基于矢量量化变分自动编码将序列信息转换为图像。20.根据权利要求12-19任一所述的装置，其中，所述获取模块进一步被配置成：响应于确定获取的目标信息为文本，将所述文本转换为对应的文本向量和预设的可训练的图像向量。21.根据权利要求12-19任一所述的装置，其中，所述获取模块进一步被配置成：响应于确定获取的目标信息为图像，将所述图像转换为对应的图像向量和预设的可训练的文本向量。22.根据权利要求12-19所述的装置，其中，所述获取模块进一步被配置成：响应于确定获取的目标信息为图像和文本，将所述图像和文本转换为对应的图像向量和文本向量。23.一种电子设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-11中任一项所述的方法。24.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-11中任一项所述的方法。25.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-11中任一项所述的方法。

技术总结
本公开提供了信息生成方法和装置，具体涉及计算机视觉和自然语言处理技术领域。具体实现方案为：响应于获取到目标信息，将目标信息转换为对应的文本向量和图像向量；将文本向量和图像向量进行拼接，得到目标向量；基于目标向量和生成模型，得到与目标信息对应的图像和文本。该方式实现了图像和描述文本的同时生成。成。成。


技术研发人员：黄路扬 牛国成 刘家辰 肖欣延 吴华
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：2022.02.25
技术公布日：2022/5/31