内容生成方法、装置、存储介质及电子设备与流程
本公开涉及数据处理,尤其涉及一种内容生成方法、装置、存储介质及电子设备。
背景技术:
1、近年来,人工智能技术的不断发展和进步,给人们的生活带来了很大的便利。其中,基于人工智能技术的大语言模型的应用尤为广泛,例如应用在各类聊天机器人、智能助手以及各类内容生成产品中,大语言模型的广泛应用提升了人们在多个领域的知识获取的体验。
2、相关技术中,为了提升大语言模型的推理效率,提出采用投机采样的方法,先通过草稿模型快速生成多个候选分词,再通过大语言模型并行验证这些候选分词的正确性,然后基于正确的候选分词生成推理内容。
3、但是,目前大语言模型对草稿模型生成的候选分词的接受率低,导致大语言模型的内容生成效率仍然不高。
技术实现思路
1、本公开实施例提供了一种内容生成方法、装置、存储介质及电子设备,该方法可以提高大语言模型的内容生成效率。
2、本公开第一方面提供一种内容生成方法,包括:
3、获取预设大语言模型在内容生成过程中预测得到的目标分词以及获取目标分词对应的第一预测特征,预设大语言模型包括特征提取层、特征预测层以及推理输出层,第一预测特征为特征预测层输出的特征;
4、调用特征提取层对目标分词进行特征提取,得到嵌入特征,并将嵌入特征和第一预测特征进行特征融合,得到融合特征;
5、基于预设解码网络对融合特征进行特征预测,得到第二预测特征;
6、调用推理输出层对第二预测特征进行推理得到预测分词,并基于预设大语言模型对预测分词进行验证,根据验证结果生成推理内容。
7、本公开第二方面提供一种内容生成装置,包括:
8、获取单元,用于获取预设大语言模型在内容生成过程中预测得到的目标分词以及获取目标分词对应的第一预测特征,预设大语言模型包括特征提取层、特征预测层以及推理输出层,第一预测特征为特征预测层输出的特征;
9、融合单元,用于调用特征提取层对目标分词进行特征提取,得到嵌入特征,并将嵌入特征和第一预测特征进行特征融合,得到融合特征;
10、预测单元,用于基于预设解码网络对融合特征进行特征预测,得到第二预测特征;
11、生成单元,用于调用推理输出层对第二预测特征进行推理得到预测分词,并基于预设大语言模型对预测分词进行验证,根据验证结果生成推理内容。
12、可选地,一种可行的实施方式中,融合单元包括:
13、第一获取子单元,用于获取嵌入特征和第一预测特征对应的融合权重;
14、融合子单元,用于根据融合权重将嵌入特征和第一预测特征进行特征融合,得到融合特征。
15、可选地,一种可行的实施方式中,第一获取子单元包括:
16、获取模块,用于获取预设大语言模型预测目标分词时对应的内容生成场景,以及获取场景与权重之间的映射关系表;
17、第一确定模块,用于根据内容生成场景从映射关系表中确定嵌入特征和第一预测特征对应的融合权重。
18、可选地,一种可行的实施方式中,融合单元包括:
19、维度对齐子单元,用于对嵌入特征和第一预测特征进行维度对齐;
20、第一拼接子单元,用于将维度对齐后的嵌入特征和第一预测特征进行拼接,得到融合特征。
21、可选地,一种可行的实施方式中,预测单元还包括:
22、更新子单元,用于根据第二预测特征对预设解码网络对应的键值对缓存进行更新;
23、生成单元包括:
24、第一推理子单元,用于调用推理输出层对键值对缓存中的预测特征序列进行推理得到预测分词。
25、可选地,一种可行的实施方式中,生成单元包括:
26、第二获取子单元,用于获取预测分词对应的第一置信度;
27、第二拼接子单元,用于将预测分词、目标分词和目标分词对应的内容生成提示词进行拼接,得到拼接内容;
28、第一确定子单元,用于调用预设大语言模型对拼接内容进行推理,并基于推理结果确定预测分词对应的第二置信度;
29、第一生成子单元,用于根据第一置信度和第二置信度确定预测分词的验证结果,并根据验证结果生成推理内容。
30、可选地,一种可行的实施方式中,生成单元包括:
31、第二推理子单元,用于调用推理输出层对第二预测特征进行推理得到多个预测分词;
32、验证子单元,用于基于预设大语言模型对多个预测分词进行验证,得到验证结果;
33、第二生成子单元,用于基于多个预测分词中每个预测分词的验证结果从多个预测分词确定有效分词,并基于有效分词生成推理内容。
34、可选地,一种可行的实施方式中,生成单元包括:
35、第三推理子单元,用于调用推理输出层对预测特征进行推理,得到分词概率分布;
36、第二确定子单元,用于根据分词概率分布确定预测分词。
37、可选地,一种可行的实施方式中,第二确定子单元包括:
38、排序模块,用于基于分词概率分布进行分词排序;
39、第二确定模块,用于确定排序在前的第一数量个分词为预测分词。
40、本公开第三方面提供一种预设解码网络的参数更新装置,包括:
41、获取单元,用于获取样本分词,并基于预设大语言模型对样本分词进行预测,得到样本预测分词,以及样本预测分词对应的第三预测特征;
42、融合单元,用于调用特征提取层对样本预测分词进行特征提取,得到样本嵌入特征,并将样本嵌入特征和第三预测特征进行特征融合,得到样本融合特征;
43、预测单元,用于调用特征预测层对样本嵌入特征进行特征预测,得到第四预测特征;
44、更新单元,用于基于预设解码网络对样本融合特征进行特征预测,得到第五预测特征,并基于第四预测特征与第五预测特征之间的差异对预设解码网络的参数进行更新。
45、可选地,一种可行的实施方式中,更新单元包括:
46、计算子单元,用于根据第四预测特征与第五预测特征计算损失值;
47、更新子单元,用于根据损失值确定梯度值,并基于梯度值对预设解码网络的参数进行更新。
48、本公开第四方面提供了一种存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的内容生成方法。
49、本公开第五方面提供了一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现如第一方面所述的内容生成方法。
50、本公开第六方面提供了一种计算机程序产品,该计算机程序产品包括计算机程序,所述计算机程序被电子设备的处理器读取并执行,使得该电子设备执行如第一方面所述的内容生成方法。
51、以此,本公开提供的内容生成方法,该方法包括获取预设大语言模型在内容生成过程中预测得到的目标分词以及获取目标分词对应的第一预测特征,预设大语言模型包括特征提取层、特征预测层以及推理输出层,第一预测特征为特征预测层输出的特征;调用特征提取层对目标分词进行特征提取,得到嵌入特征,并将嵌入特征和第一预测特征进行特征融合,得到融合特征;基于预设解码网络对融合特征进行特征预测,得到第二预测特征;调用推理输出层对第二预测特征进行推理得到预测分词,并基于预设大语言模型对预测分词进行验证,根据验证结果生成推理内容。
52、该方法通过将语言模型预测的特征以及基于该特征推理的分词的特征进行融合,再使用预设解码网络对融合结果进行预测,基于预测结果推理新的分词进行验证,由于融合了预测的特征提供的更多的先验知识,从而提升预测得到的候选分词的接受率,进而提升生成效率。
53、本公开的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本公开而了解。本公开的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com