一种词元消耗优化方法及电子设备与流程

本申请涉及人工智能，尤其涉及一种词元消耗优化方法及电子设备。

背景技术：

1、大语言模型（large language model，llm）如gpt系列、gemini、claude等，通过transformer架构实现对自然语言的理解和生成。这些模型在处理文本时，采用分词（tokenization）机制，将输入文本分解为一系列词元token单元，每个token对应1-4个字符或一个完整的词。模型按照token数量计算输入输出成本，用户调用大模型api时需要根据token消耗量支付费用。常见的token化方法包括：字节对编码（bpe, byte pairencoding）：通过统计字节对频率逐步合并生成token。wordpiece：google提出的分词方法，用于bert模型。sentencepiece：不受语言限制的数据驱动分词方法。当前业界的token优化技术主要包括：1、在输入大模型前对文本进行通用压缩（如gzip、lz77等），但由于压缩后的文本往往不具备自然语言特征，大模型无法直接理解，需要解压后才能处理，因此无法减少token消耗。2、通过优化提示词（prompt）来减少不必要的token使用，例如精简指令、使用更简洁的表达。但这种方法仅能减少少量token，且依赖于人工经验，压缩率有限（通常<20%）。3、部分模型服务商提供更大的上下文窗口以容纳更多内容，但这并未从根本上解决token消耗成本高的问题，反而可能鼓励用户输入更多内容，导致总成本上升。上述方案均聚焦于算法层面的通用压缩或人工层面的提示优化，缺乏针对大模型实际使用场景中高频重复文本的系统性解决方案。在日常办公、客服、法律文书等场景中，存在大量固定句式、模板化内容，高频重复使用这些内容每次都按标准token重复计费，造成严重的token浪费。

技术实现思路

1、本申请实施例提供了一种词元消耗优化方法及电子设备，以实现目标文本片段中词元的压缩，降低词元消耗，并且不影响大语言模型对用户输入的目标文本片段的理解。

2、根据本申请的一方面，提供了一种词元消耗优化方法，该方法包括：

3、通过滑动窗口对目标场景的历史文本数据进行切分，得到多个历史文本片段；

4、针对各历史文本片段的语义向量，根据各语义向量的相似度对多个语义向量进行聚类处理，得到多个候选语义簇；

5、从所述候选语义簇中确定目标语义簇，并构建所述目标语义簇对应的历史文本片段与符号的映射关系，以针对用户输入的目标文本数据，基于所述映射关系将所述目标文本数据中的目标文本片段进行替换处理。

6、根据本申请的一方面，提供了一种词元消耗优化装置，所述装置包括：

7、历史文本片段切分模块，用于通过滑动窗口对目标场景的历史文本数据进行切分，得到多个历史文本片段；

8、候选语义簇确定模块，用于针对各历史文本片段的语义向量，根据各语义向量的相似度对多个语义向量进行聚类处理，得到多个候选语义簇；

9、映射关系构建模块，用于从所述候选语义簇中确定目标语义簇，并构建所述目标语义簇对应的历史文本片段与符号的映射关系，以针对用户输入的目标文本数据，基于所述映射关系将所述目标文本数据中的目标文本片段进行替换处理。

10、根据本申请的另一方面，提供了一种电子设备，该电子设备包括：

11、至少一个处理器；以及，

12、与至少一个处理器通信连接的存储器；其中，

13、存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，以使至少一个处理器能够执行本申请任一实施例的词元消耗优化方法。

14、根据本申请的另一方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使处理器执行时实现本申请任一实施例的词元消耗优化方法。

15、根据本申请的另一方面，提供了一种计算机程序产品，计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现本申请任一实施例的词元消耗优化方法。

16、本申请实施例的技术方案，通过滑动窗口对目标场景的历史文本数据进行切分，得到多个历史文本片段；针对各历史文本片段的语义向量，根据各语义向量的相似度对多个语义向量进行聚类处理，得到多个候选语义簇；从所述候选语义簇中确定目标语义簇，并构建所述目标语义簇对应的历史文本片段与符号的映射关系，以针对用户输入的目标文本数据，基于所述映射关系将所述目标文本数据中的目标文本片段进行替换处理。上述方案通过对相似的语义簇进行合并，解决了目前对等价语义片段无法归并的问题，针对相似的历史文本片段用统一符号进行表征，实现了相似语义的有效合并，降低了处理量与存储量。通过将目标语义簇中的历史文本片段与符号进行映射，从而实现对历史文本片段的简洁表达，以在后续用户输入目标文本数据的情况下，将目标文本数据中的目标文本片段用符号进行替换，实现词元的有效压缩和简易表示，降低了词元消耗，从而降低了基于词元数量计费过程中的费用。

17、应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

1.一种词元消耗优化方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，根据各语义向量的相似度对多个语义向量进行聚类处理，得到多个候选语义簇，包括：

3.根据权利要求2所述的方法，其特征在于，根据在各迭代轮次中得到的各个簇确定候选语义簇，包括：

4.根据权利要求3所述的方法，其特征在于，根据所述簇内距离以及所述簇间距离筛选迭代轮次，包括：

5.根据权利要求1所述的方法，其特征在于，从所述候选语义簇中确定目标语义簇，包括：

6.根据权利要求1所述的方法，其特征在于，构建所述目标语义簇对应的历史文本片段与符号的映射关系，包括：

7.根据权利要求6所述的方法，其特征在于，将不同语义层级的历史文本片段，和不同层级的符号建立映射关系，包括：

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

9.根据权利要求1-8中任一项所述的方法，其特征在于，所述方法还包括：

10.根据权利要求1所述的方法，其特征在于，所述方法还包括：

11.根据权利要求1所述的方法，其特征在于，所述方法还包括：

12.一种电子设备，其特征在于，所述电子设备包括：