文本生成方法、装置、电子设备、计算机可读存储介质及计算机程序产品与流程

摘要: 本申请涉及计算机,尤其涉及一种文本生成方法、装置、电子设备、计算机可读存储介质及计算机程序产品。背景技术:1、相关技术中将单一图像通过视觉编码和多层感知器连接大...
文本生成方法、装置、电子设备、计算机可读存储介质及计算机程序产品与流程

本申请涉及计算机,尤其涉及一种文本生成方法、装置、电子设备、计算机可读存储介质及计算机程序产品。

背景技术:

1、相关技术中将单一图像通过视觉编码和多层感知器连接大语言模型,从而将图片信息与语言模型相融合,实现更好的文档理解和生成;然而,单一尺度的图像问答任务仅能根据当前尺度的图像信息生成答案,导致生成的答案准确性较低。

技术实现思路

1、本申请实施例提供一种文本生成方法、装置、电子设备、计算机可读存储介质及计算机程序产品,能够有效提升图片内容理解的准确度进而提高文本生成的准确度。

2、本申请实施例的技术方案是这样实现的:

3、本申请实施例提供一种文本生成方法,包括:

4、对第一图像进行多尺度缩放处理,得到多个第二图像,并对每个所述第二图像进行特征提取处理,得到每个所述第二图像的特征;

5、对第一特征的通道进行通道混洗处理,得到所述第一特征的第一处理结果,并对第二特征的通道进行通道混洗处理,得到所述第二特征的第二处理结果;

6、其中,所述第一特征是任意一个所述第二图像的特征,所述第二特征是所述第二图像的特征中与所述第一特征不同的特征;

7、对所述第一处理结果与所述第二处理结果进行融合处理,得到第三特征,并将所述第三特征映射到与所述第一特征相同的特征空间,得到所述第一特征对应的第四特征;

8、基于所述第一特征的权重,对所述第一特征对应的第四特征进行融合处理,得到第五特征;

9、基于所述第五特征以及所述第一图像对应的第一文本,生成第二文本。

10、本申请实施例提供一种文本生成装置,包括:

11、第一处理模块,用于对第一图像进行多尺度缩放处理,得到多个第二图像,并对每个所述第二图像进行特征提取处理,得到每个所述第二图像的特征;

12、第二处理模块,用于对第一特征的通道进行通道混洗处理,得到所述第一特征的第一处理结果,并对第二特征的通道进行通道混洗处理,得到所述第二特征的第二处理结果;其中,所述第一特征是任意一个所述第二图像的特征,所述第二特征是所述第二图像的特征中与所述第一特征不同的特征;

13、第三处理模块,用于对所述第一处理结果与所述第二处理结果进行融合处理,得到第三特征,并将所述第三特征映射到与所述第一特征相同的特征空间,得到所述第一特征对应的第四特征;

14、融合模块,用于基于所述第一特征的权重,对所述第一特征对应的第四特征进行融合处理,得到第五特征;

15、生成模块,用于基于所述第五特征以及所述第一图像对应的第一文本,生成第二文本。

16、本申请实施例提供一种电子设备,包括:

17、存储器,用于存储计算机可执行指令或者计算机程序;

18、处理器,用于执行所述存储器中存储的计算机可执行指令或者计算机程序时,实现本申请实施例提供的文本生成方法。

19、本申请实施例提供一种计算机可读存储介质,存储有计算机程序或计算机可执行指令,用于被处理器执行时,实现本申请实施例提供的文本生成方法。

20、本申请实施例提供一种计算机程序产品,包括计算机程序或计算机可执行指令,所述计算机程序或计算机可执行指令被处理器执行时,实现本申请实施例提供的文本生成方法。

21、本申请实施例具有以下有益效果:

22、通过对第一图像进行不同比例的缩放,生成多个尺度的第二图像,并对每个第二图像进行特征提取,得到每个第二图像的特征,可以捕捉图像多粒度信息,避免单一尺度的信息丢失;接着,对第一特征的通道进行通道混洗处理,得到第一特征的第一处理结果,并对第二特征的通道进行通道混洗处理,得到第二特征的第二处理结果,这里,第一特征是任意一个第二图像的特征,第二特征是第二图像的特征中与第一特征不同的特征,通过打乱特征的通道顺序,可以打破通道之间特征的独立性,使得不同通道之间的特征信息能够相互交流和融合,从而挖掘出特征之间的潜在信息;随后,对第一处理结果和第二处理结果进行融合处理,得到第三特征,可以更加全面、准确地描述特征,增强了特征的表达能力,并将第三特征映射到与第一特征相同的特征空间,得到第一特征对应的第四特征,可以保证特征的一致性和兼容性;之后,根据每个第一特征的权重,对第一特征对应的第四特征进行融合,得到第五特征,综合了跨尺度信息关联,提升了特征的信息表达能力;最后,根据第五特征和第一文本生成更加合理准确的第二文本。综上所述,通过多尺度处理、跨尺度关联和基于权重融合的方式,显著提升了文本生成任务中对图像细节的捕捉能力,从而进一步提高了跨模态文本推理的准确性。

1.一种文本生成方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述对每个所述第二图像进行特征提取处理,得到每个所述第二图像的特征,包括:

3.根据权利要求1所述的方法,其特征在于,所述对第二特征的通道进行通道混洗处理,得到所述第二特征的第二处理结果之前,所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,所述对第一特征的通道进行通道混洗处理,得到所述第一特征的第一处理结果,包括:

5.根据权利要求1所述的方法,其特征在于,在所述基于所述第一特征的权重,对所述第一特征对应的第四特征进行融合处理,得到第五特征之前,所述方法还包括:

6.根据权利要求1所述的方法,其特征在于,所述基于所述第五特征以及所述第一图像对应的第一文本,生成第二文本,包括:

7.根据权利要求1所述的方法,其特征在于,所述基于所述第一特征的权重,对所述第一特征对应的第四特征进行融合处理,得到第五特征,包括:

8.根据权利要求1所述的方法,其特征在于,所述对所述第一特征的第一处理结果与所述第二特征的第二处理结果进行融合处理,得到第三特征,包括:

9.一种文本生成装置,其特征在于,所述装置包括:

10.一种电子设备,其特征在于,包括:

11.一种计算机可读存储介质,存储有计算机可执行指令或者计算机程序,其特征在于,所述计算机可执行指令或者计算机程序被处理器执行时,实现权利要求1至8任一项所述的文本生成方法。

12.一种计算机程序产品,包括计算机可执行指令或计算机程序,其特征在于,所述计算机可执行指令或计算机程序被处理器执行时,实现权利要求1至8任一项所述的文本生成方法。