内容生成方法、装置、设备、计算机可读存储介质及产品与流程

摘要: 本发明涉及人工智能,具体涉及一种内容生成方法、装置、设备、计算机可读存储介质及产品。背景技术:1、随着人工智能、大数据、云计算等新一代信息技术的快速发展,人工智...
内容生成方法、装置、设备、计算机可读存储介质及产品与流程

本发明涉及人工智能,具体涉及一种内容生成方法、装置、设备、计算机可读存储介质及产品。

背景技术:

1、随着人工智能、大数据、云计算等新一代信息技术的快速发展,人工智能生成内容(artificial intelligence generated content,简称aigc)已逐步渗透至内容创作的各个环节。用户对个性化内容的需求日益增长,不仅要求ai生成内容贴合指定主题,还强调对小众、个性化风格的精准复刻。

2、相关技术中,一般都是采用多个模型分别处理风格与主题,再将结果拼接。但是,采用上述方法生成内容往往连贯性较差,内容质量不佳,无法满足用户的实际需求。

技术实现思路

1、本发明的目的之一在于提供一种内容生成方法,以解决现有技术中生成内容连贯性较差、内容质量不佳的技术问题;目的之二在于提供一种内容生成装置;目的之三在于提供一种电子设备;目的之四在于提供一种计算机可读存储介质;目的之五在于提供一种计算机程序产品。

2、为了实现上述目的,本发明采用的技术方案如下:

3、一种内容生成方法,包括:获取输入内容,所述输入内容包括样本内容以及关联于内容主题的提示内容;通过第一模型提取所述样本内容关联的多维度的第一向量,基于所述提示内容确定第二向量;通过注意力机制对所述第一向量以及所述第二向量进行特征融合操作,获得融合指令;将所述融合指令输入至第二模型,获得所述第二模型输出的生成内容,所述生成内容关联于所述样本内容以及所述提示内容。

4、根据上述技术手段,通过获取包括样本内容以及关联于内容主题的提示内容的输入内容,提取样本内容关联的多维度第一向量并基于提示内容确定第二向量,再利用注意力机制对第一向量和第二向量进行特征融合操作以获得融合指令,并将融合指令输入至第二模型生成关联于样本内容以及提示内容的生成内容,能够在生成过程中兼顾样本内容的细节特征表达与提示内容的主题约束,进而提高自定义风格复刻精度和主题融合自然度,并兼顾内容生成效率。

5、进一步,所述通过第一模型提取所述样本内容关联的多维度的第一向量,基于所述提示内容确定第二向量,包括:基于所述样本内容关联的内容类型,采用与所述内容类型关联的第一预处理方式对所述样本内容进行第一预处理操作,获得第一预处理结果;对所述提示内容进行第二预处理操作,获得第二预处理结果;将所述第一预处理结果输入至所述第一模型,获得所述第一向量;通过编码器对所述第二预处理结果进行编码操作,获得所述第二向量。

6、根据上述技术手段,样本内容与提示内容分别经由适配性预处理后再进入不同的表征单元,第一模型输出的第一向量能够保持样本内容的多维特征,编码器输出的第二向量能够保持提示内容的主题语义,二者为后续特征融合提供了稳定输入,从而使生成阶段能够同时关联样本内容与提示内容。由此,可使不同内容类型的输入获得一致的模型适配效果,并提升向量表征的完整性与可用性。

7、进一步,所述基于所述样本内容关联的内容类型,采用与所述内容类型关联的第一预处理方式对所述样本内容进行第一预处理操作,获得第一预处理结果,包括:响应于所述样本内容为图像类型,对所述样本内容进行第一处理,获得第一预处理结果,所述第一处理包括尺寸归一化、噪声去除、色彩通道转换中的至少一项;响应于所述样本内容为文本类型,对所述样本内容进行第二处理,获得所述第一预处理结果,所述第二处理包括去除标点、字体标准化、分词处理中的至少一项;响应于所述样本内容音频类型,对所述样本内容进行第三处理,获得所述第一预处理结果,所述第三处理包括采样率统一、噪声去除、声道归一化中的至少一项。

8、根据上述技术手段,样本内容中的无效干扰信息被压缩到较低水平,输入格式差异被消除,第一模型对图像纹理、文本语义或音频声学特征的提取稳定性得到提升,进而提高第一向量的准确性和后续内容生成结果与样本内容的关联一致性。

9、进一步,所述将所述第一预处理结果输入至所述第一模型,获得所述第一向量,包括:将所述第一预处理结果输入至所述第一模型,获得所述第一模型输出的多维向量,所述多维向量包括纹理向量、色彩向量、风格向量中的一项或多项;对所述多维向量进行特征融合操作,获得所述第一向量。

10、根据上述技术手段,第一模型能够从第一预处理结果中提取更细粒度的样本特征,并通过融合形成统一的第一向量,使样本内容中的纹理、色彩和风格信息得到更充分保留。该第一向量用于后续与提示内容表征协同处理时,可提升样本特征与主题信息的匹配程度,并降低因单一特征缺失导致的表征偏差。

11、进一步地,所述通过注意力机制对所述第一向量以及所述第二向量进行特征融合操作,获得融合指令,包括:采用注意力机制对所述第一向量以及所述第二向量进行深度融合;通过注意力权重分配,建立并突出提示内容的核心信息与样本内容的关键特征之间的对应关系;对经过注意力权重分配处理后的第一向量以及所述第二向量进行编码,获得所述融合指令。

12、根据上述技术手段,通过注意力权重分配建立提示内容核心信息与样本内容关键特征之间的对应关系,并将对应关系编码为融合指令,使样本特征与主题约束在进入第二模型前完成关联聚合。由此,生成内容能够同时继承样本内容的特征表达并满足提示内容的主题约束,且融合过程不依赖简单拼接,输出结果的语义连贯性和特征一致性均得到提升。

13、进一步地,所述将所述融合指令输入至第二模型,获得所述第二模型输出的生成内容,包括:对所述提示内容进行内容解析,确定所述融合指令中第一向量以及所述第二向量关联的权重信息;将所述融合指令以及所述权重信息输入至所述第二模型,获得所述生成内容。

14、根据上述技术手段,使第二模型在生成时不仅接收融合后的统一表征,还接收用于控制特征占比的权重信息,从而使输出结果在保留样本内容特征的同时,更准确反映提示内容所限定的主题语义。由此,生成内容与输入内容之间的关联关系更清晰,生成结果的主题一致性与特征匹配度更高。

15、进一步地,所述将所述融合指令输入至第二模型,获得所述第二模型输出的生成内容之后,还包括:将所述生成内容输入至所述第一模型中的校验模块,获得校验结果;响应于所述校验结果为所述生成内容不满足预设条件,获取所述校验模块输出的参数调整指令,所述参数调整指令为基于历史生成数据确定的;基于所述参数调整指令对所述第二模型的参数进行调整操作,将调整后的第二模型确定为当前的第二模型,返回执行所述将所述融合指令输入至第二模型,获得所述第二模型输出的生成内容的步骤,直至所述第二模型输出的生成内容满足所述预设条件。

16、根据上述技术手段,生成内容在输出后可立即接受校验模块审查,并依据历史生成数据形成针对性的参数调整,进而实现生成结果的迭代修正。该闭环机制能够提升生成内容满足预设条件的概率,并减少因一次性生成偏差而导致的重复人工筛选。

17、进一步地,所述将所述生成内容输入至所述第一模型中的校验模块,获得校验结果,包括:计算所述生成内容与所述样本内容之间的特征相似度;计算所述生成内容与所述提示内容之间的语义相似度;基于所述特征相似度、语义相似度、内容完整性、清晰度中的一项或多项生成所述校验结果。

18、根据上述技术手段,该校验方式使生成内容能够同时接受特征一致性、主题一致性及内容质量的综合约束,从而使最终输出与样本内容和提示内容保持对应关系,并满足预设的输出要求。

19、进一步地,所述方法还包括:响应于所述第二模型输出的生成内容满足预设条件,对所述生成内容进行格式优化操作,获得目标内容;将所述输入内容、参数调整指令、目标内容存储至预设存储路径。

20、根据上述技术手段,生成内容在进入存储前可被整理为统一的输出格式,输入内容、参数调整指令与目标内容则可形成对应关系并被持续保存,从而使后续相同或相似任务能够直接复用历史结果及参数修正信息,减少重复生成与重复调整的次数,并保持输出结果的一致性。

21、一种内容生成装置,包括:获取模块,用于获取输入内容,所述输入内容包括样本内容以及关联于内容主题的提示内容;编码模块,用于通过第一模型提取所述样本内容关联的多维度的第一向量,基于所述提示内容确定第二向量;融合模块,用于通过注意力机制对所述第一向量以及所述第二向量进行特征融合操作,获得融合指令;生成模块,用于将所述融合指令输入至第二模型,获得所述第二模型输出的生成内容,所述生成内容关联于所述样本内容以及所述提示内容。

22、一种电子设备,包括:存储器,处理器;所述存储器存储计算机执行指令;所述处理器执行所述存储器存储的计算机执行指令,使得所述处理器执行如第一方面所述的方法。

23、一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如第一方面所述的方法。

24、一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现第一方面所述的方法。

25、本发明的有益效果:

26、通过获取包括样本内容以及关联于内容主题的提示内容的输入内容,提取样本内容关联的多维度第一向量并基于提示内容确定第二向量,再利用注意力机制对第一向量和第二向量进行特征融合操作以获得融合指令,并将融合指令输入至第二模型生成关联于样本内容以及提示内容的生成内容,能够在生成过程中兼顾样本内容的细节特征表达与提示内容的主题约束,进而提高自定义风格复刻精度和主题融合自然度,并兼顾内容生成效率。