模式令牌驱动的文本生成方法、装置及存储介质与流程

摘要: 本申请涉及人工智能语言处理,特别是涉及一种模式令牌驱动的文本生成方法、装置及存储介质。背景技术:1、大型语言模型在文本生成、对话系统、代码生成等任务中取得了显著...
模式令牌驱动的文本生成方法、装置及存储介质与流程

本申请涉及人工智能语言处理,特别是涉及一种模式令牌驱动的文本生成方法、装置及存储介质。

背景技术:

1、大型语言模型在文本生成、对话系统、代码生成等任务中取得了显著进展。目前,这些模型在生成文本时,普遍采用自回归生成的技术。自回归生成过程中,模型接收用户输入的文本序列,每生成一个新的词(token,或令牌),都需要将已生成的所有token与原始输入序列拼接为新的序列,并重新执行一次完整的模型前向计算,直至输出结束标记或达到预设长度上限。

2、为减少自回归生成过程的重复计算,现有技术引入了键值缓存技术,将先前计算得到的注意力键值对存储复用,避免对历史token的重复编码。然而,该技术只能缓解部分计算压力。随着生成序列增长,缓存数据量线性增加,仍受限于硬件内存容量与带宽。同时,当生成文本中包含固定格式或规整结构(如日期时间、列表、表格)时,模型仍需逐token预测这些格式部分的每一个字符,无法跳过该生成过程。因此,在生成结构化或具有固定模式的文本片段时,现有自回归生成方式存在生成步骤多、计算冗余的技术问题,制约了模型的文本生成效率。

技术实现思路

1、基于此,有必要针对上述技术问题,提供一种能够模式令牌驱动的文本生成方法。

2、第一方面,本申请提供了一种模式令牌驱动的文本生成方法,包括:

3、获取用于生成文本的待处理文本序列;

4、利用大语言模型对所述待处理文本序列进行预测,输出与所述待处理文本序列匹配的模式令牌,所述模式令牌表示预定义的文本生成规则;

5、将所述模式令牌输入模式解析器,利用所述模式解析器根据所述模式令牌对应的文本生成规则,生成对应的结构化文本信息;

6、利用所述大语言模型基于所述结构化文本信息执行文本生成,得到完整的输出文本。

7、第二方面,本申请还提供了一种模式令牌驱动的文本生成装置,包括:

8、输入接收模块,用于获取用于生成文本的待处理文本序列;

9、模式决策模块,用于利用大语言模型对所述待处理文本序列进行预测,输出与所述待处理文本序列匹配的模式令牌,所述模式令牌表示预定义的文本生成规则;

10、模式解析模块,用于将所述模式令牌输入模式解析器,利用所述模式解析器,根据所述模式令牌对应的文本生成规则,生成对应的结构化文本信息;

11、文本输出模块,用于利用所述大语言模型基于所述结构化文本信息执行文本生成,得到完整的输出文本。

12、第三方面,本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面中所述的方法。

13、上述模式令牌驱动的文本生成方法、装置及存储介质,通过在文本生成过程中引入模式令牌和模式解析器,由大语言模型预测模式令牌,由模式解析器根据模式令牌对应的文本生成规则生成结构化文本信息,再由大语言模型基于该结构化文本信息执行文本生成,使得在生成具有固定格式或规整结构的文本片段时,大语言模型无需逐token预测格式部分的每一个字符,减少了生成此类文本所需的模型前向传播次数,提升了文本生成效率,降低了计算资源消耗与成本。

1.一种模式令牌驱动的文本生成方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述利用所述模式解析器根据所述模式令牌对应的文本生成规则,生成对应的结构化文本信息包括:

3.根据权利要求1所述的方法,其特征在于,所述文本生成规则包括第一类规则和第二类规则;

4.根据权利要求3所述的方法,其特征在于,当所述模式令牌对应的文本生成规则为所述第一类规则时,所述模式解析器根据所述文本生成规则生成字符串作为所述模式填充片段;所述利用所述大语言模型基于所述结构化文本信息执行文本生成包括:

5.根据权利要求3所述的方法,其特征在于,当所述模式令牌对应的文本生成规则为所述第二类规则时,所述模式解析器根据所述文本生成规则生成文本骨架作为所述模式填充片段,并将所述文本骨架拼接至所述待处理文本序列;所述利用所述大语言模型基于所述结构化文本信息执行文本生成包括:

6.根据权利要求1所述的方法,其特征在于,若所述大语言模型未匹配到对应的模式令牌,则输出普通文本令牌,并基于所述普通文本令牌生成完整的输出文本。

7.根据权利要求1所述的方法,其特征在于,所述模式令牌包括列表模式令牌、日期模式令牌、代码块模式令牌、固定文本模式令牌中的至少一种。

8.根据权利要求1所述的方法,其特征在于,所述大语言模型的词汇表中扩展有多个所述模式令牌,并预先通过包含模式令牌标注的训练语料进行训练微调。

9.一种模式令牌驱动的文本生成装置,其特征在于,所述装置包括:

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。