基于提示熵的大语言模型推理时间预测方法、设备及介质
本发明涉及人工智能服务质量管理,具体是涉及到一种基于提示熵的大语言模型推理时间预测方法、设备及介质。
背景技术:
1、近年来,随着chatgpt、llama、gpt-4等大语言模型的突破性发展,人工智能技术进入了全新的发展阶段。这些模型在机器翻译、医疗辅助诊断、智能问答系统、代码生成、内容创作、教育辅导等多个领域得到了广泛应用,正在深刻改变人机交互的方式和效率。
2、这种技术普及带来了用户并发请求量的爆炸式增长。以大型云服务提供商为例,日均处理的大语言模型推理请求量已达到数亿级别,给大语言模型服务部署带来了前所未有的挑战。当前,单个大语言模型实例由于模型参数规模庞大,其吞吐量存在天然的上限,无法满足大规模并发请求的实时处理需求。这种吞吐量限制导致请求在服务器端形成排队等待现象,显著增加了系统延迟,降低了服务质量指标,严重影响用户体验。
3、为了解决这一核心问题,业界普遍采用多实例并行部署的方案,通过横向扩展来提升整体系统的吞吐能力。这种部署模式通常涉及在多个gpu服务器上同时运行相同的大语言模型实例,形成一个分布式的推理服务集群。然而,这种分布式部署方式面临着负载均衡的关键技术挑战,需要智能的任务分配机制来确保各个实例的负载相对均衡。
4、现有技术中,大多数负载均衡策略采用简单的轮询调度或随机分配机制。虽然这类策略实现简单且开销较小,但无法充分考虑不同任务的实际处理时间差异。大语言模型的推理过程具有独特的自回归特性,其输出token数量的高度不确定性使得推理时间难以准确预测。这种不确定性在实际运行中表现为:简单问题可能只需要生成几十个token,耗时仅数秒;而复杂问题可能需要生成数千个token,耗时可达数分钟。传统的简单调度策略无法适应这种巨大的时间差异,导致负载分配严重不均衡:部分实例因处理复杂任务而长期过载,形成系统瓶颈;而其他实例因分配到简单任务而处于闲置状态,造成硬件资源浪费和用户体验的不可预测性。
5、更为复杂的是,不同大语言模型由于训练数据、模型架构、参数规模和微调策略的差异,对同一问题的响应模式存在显著不同。在实际生产环境中,服务提供商通常同时部署多个不同规格的大语言模型实例以满足不同用户需求,这种模型异构性使得负载均衡的难度进一步加大。现有预测方法往往忽略了这种模型特异性,采用“一刀切”的预测策略,导致在多模型混合部署场景下的预测精度严重不足。
6、通过预测任务的完成时间为后续任务调度提供理论基础,是解决上述问题的传统思路。现阶段,任务时长预测主要利用机器学习和深度学习两种方式。传统机器学习预测方法采用支持向量机(svm)或卷积神经网络(cnn)等经典算法建立预测模型,通过特征工程提取问题的多种特征组合进行预测。这些方法在一定程度上提升了预测性能,但在跨模型场景下的泛化能力有限,且对大语言模型特有的输出模式建模不足。基于深度学习的端到端方法则尝试使用transformer编码器或lstm等序列模型直接处理输入问题、输出推理时间预测,虽然避免了复杂的手工特征工程,但对计算资源要求较高,预测延迟较大,难以满足实时调度需求。
7、针对大语言模型推理的不确定性,现有技术中还出现了基于大语言模型自预测的方法,即通过设计特定的提示词让大语言模型估计其响应长度。然而,这种方法存在严重局限性:首先,它依赖生成后的特征,无法在任务部署前完成预测;其次,不同大语言模型的自认知能力存在差异,预测结果的一致性难以保证;最后,这种方法会引入额外的计算开销,影响系统的整体效率。
8、经过对现有技术的系统性分析和实验验证,发现其主要存在以下关键技术缺陷:
9、(一)传统智能任务时长预测方法主要针对分类、识别等确定性任务,这些任务具有固定的计算模式和可预测的执行路径。然而,大语言模型采用自回归生成方式,通过多轮迭代逐个生成token直到输出结束标志,其输出长度完全无法预先确定。简单问题可能生成几十个token,而复杂问题可能需要生成数千个token,时间差异可达两个数量级。这种根本性的差异导致传统预测方法在大语言模型场景下完全失效,预测误差往往超出可接受范围。
10、(二)当前存在的预测方法仅能从问题的表面统计特征出发进行预测,无法触及问题的深层语义内涵。大语言模型的推理时间与问题的语义复杂性、知识深度、推理难度等深层次因素密切相关。例如,简短的专业问题“量子纠缠的物理本质及其在量子计算中的应用”可能比冗长的日常问题需要更长的推理时间,但现有方法无法区分这种语义深度的差异,因为它们缺乏对自然语言深层语义的理解能力。
11、(三)现有预测方法普遍采用“一刀切”的策略,试图用一个通用模型来预测所有类型大语言模型的推理时间。通过大规模对比实验发现,不同大语言模型对同一问题的响应时间存在显著差异——在包含6300个医疗问答样本的测试集上,不同模型间的推理时间差异率最高达到38%。这种差异源于各模型的知识库结构、训练数据分布、模型架构设计以及微调策略的不同,而现有方法无法适配这种模型异构性。
12、(四)在生产环境的负载均衡系统中,任务分配决策需要在毫秒级别内完成。然而,现有的大多数预测方法无法满足这一严格的实时性要求。自预测方法存在根本性的时序矛盾——当获得预测结果时,任务已被绑定到特定计算实例,无法重新调度;基于复杂深度学习的方法预测延迟往往达到秒级,无法满足实时调度需求。
13、(五)部分方法采用“先推理后预测”的模式,当预测依赖于推理过程中的中间结果时,任务已经被分配到了特定计算实例,调度系统失去了重新分配的机会。系统需要一种能够在任务分配之前就准确预测推理时间的方法,才能真正实现智能的任务调度。
14、(六)许多在学术研究中表现良好的预测方法在实际生产环境中面临严重的部署困难,往往对计算资源要求过高,或者与现有的微服务架构、容器化部署环境不兼容。复杂的模型和巨大的计算开销会引入额外的延迟和资源消耗,可能抵消预测带来的性能收益。
15、综上所述,现有方法在大语言模型推理时间预测这一挑战性任务中存在多方面的技术缺陷,迫切需要一种全新的技术路线来解决上述问题。
技术实现思路
1、本发明提供了一种基于提示熵的大语言模型推理时间预测方法、设备及介质,其目的是解决现有技术中无法在任务调度前对大语言模型推理时间进行准确预测,导致负载均衡效率低下和硬件资源浪费的问题。
2、为实现上述目的,本发明第一方面提供了一种基于提示熵的大语言模型推理时间预测方法,包括如下步骤:
3、获取用户提交的问题文本,将所述问题文本输入预训练的bert模型,通过所述bert模型对所述问题文本进行语义编码,生成语义特征向量;
4、对所述问题文本进行分词处理,提取所述问题文本中的关键词符,查询为目标大语言模型预先维护的词符频率数据库,得到每个关键词符的出现频率,并根据所述出现频率计算所述目标大语言模型对所述问题文本的模型熟悉度特征;
5、将所述语义特征向量与所述模型熟悉度特征输入提示熵融合单元,所述提示熵融合单元对所述语义特征向量和所述模型熟悉度特征进行拼接融合,生成提示熵特征表示;
6、将所述提示熵特征表示输入多层感知机分类器,由所述多层感知机分类器对所述提示熵特征表示进行分类预测,输出所述目标大语言模型处理所述问题文本的推理时间分类结果。
7、进一步的,将所述问题文本输入预训练的bert模型,包括:
8、对所述问题文本进行文本清洗,并添加句首分类标记和句尾分隔标记,以生成符合所述bert模型输入格式的规范化输入文本;
9、所述预训练的bert模型为bert-base-uncased模型。
10、进一步的,生成语义特征向量的方法包括:
11、对规范化后的输入文本进行词嵌入、段嵌入和位置嵌入处理,并将三种嵌入向量相加融合,形成所述bert模型的统一输入表示;
12、将所述统一输入表示输入至由12层transformer编码器堆叠而成的所述bert模型中,每层编码器通过多头自注意力机制和前馈神经网络,逐层对所述统一输入表示进行编码,捕捉词符间的长距离依赖关系和上下文语义关联;
13、取最后一层transformer编码器输出的句首分类标记对应的特征向量,作为所述问题文本的语义特征向量。
14、进一步的,得到每个关键词符的出现频率的方法包括:
15、对所述问题文本进行分词,采用所述bert模型对应的分词器将所述问题文本切分为最小词符单元;
16、从切分后的最小词符单元中提取名词、动词和专业术语作为关键词符;
17、对于提取出的每个关键词符,在所述目标大语言模型对应的词符频率数据库中进行索引查询,获取该关键词符在所述目标大语言模型历史输出词符中的归一化出现频率;
18、若某一关键词符未在所述词符频率数据库中收录,则将该关键词符的出现频率设为预设平滑值。
19、进一步的,根据所述出现频率计算所述目标大语言模型对所述问题文本的模型熟悉度特征的方法包括:
20、获取从所述问题文本中提取出的关键词符序列:
21、
22、其中,为所述关键词符的数量;
23、获取所述关键词符序列中各关键词符在所述目标大语言模型历史输出词符中的归一化出现频率,并对所述归一化出现频率进行平滑处理,得到第个关键词符对应的平滑频率:
24、
25、其中,表示第个关键词符在所述目标大语言模型历史输出词符中的归一化出现频率,表示预设的正平滑值;
26、根据各关键词符对应的平滑频率,按照如下公式计算所述目标大语言模型对所述问题文本的模型熟悉度特征:
27、
28、其中,表示所述问题文本,表示所述目标大语言模型,表示第个关键词符,表示所述目标大语言模型对所述问题文本的模型熟悉度特征;所述模型熟悉度特征越大,表示所述问题文本中的关键词符在所述目标大语言模型历史输出中越少见。
29、进一步的,所述目标大语言模型对应的词符频率数据库通过以下步骤预先构建和维护:
30、收集所述目标大语言模型在多样化场景下的历史推理数据,所述历史推理数据至少包括问答、翻译、代码生成和推理任务类型下的问题-输出token序列对;
31、对每条历史推理数据中的模型输出token序列进行分词,采用所述bert模型对应的分词器将输出答案切分为最小词符单元,统计每个词符在所述历史推理数据中的出现次数;
32、基于各词符的出现次数,计算各词符在所述目标大语言模型历史输出中的归一化频率,形成所述目标大语言模型的专属词符频率数据库;
33、当所述目标大语言模型进行版本更新或微调后,通过增量更新的方式,将所述目标大语言模型在新一轮推理中输出的token序列纳入统计,调整各词符的频率权重,以更新所述词符频率数据库。
34、进一步的,所述提示熵融合单元对所述语义特征向量和所述模型熟悉度特征进行拼接融合,生成提示熵特征表示的方法包括:
35、将所述bert模型输出的语义特征向量与所述模型熟悉度特征进行拼接,形成融合特征向量;
36、对所述融合特征向量进行线性映射,通过可训练权重矩阵和偏置向量进行加权计算,生成最终的提示熵特征表示。
37、进一步的,由所述多层感知机分类器对所述提示熵特征表示进行分类预测,输出所述目标大语言模型处理所述问题文本的推理时间分类结果的方法包括:
38、将所述提示熵特征表示输入至预先训练好的多层感知机分类器,所述多层感知机分类器采用三层感知机结构;
39、所述多层感知机分类器对所述提示熵特征表示执行单次前向计算,经所述三层感知机的逐层非线性变换后,输出所述问题文本对应的时间类别预测结果;
40、所述时间类别预测结果为二分类结果,用于指示所述目标大语言模型处理所述问题文本的推理时间属于简单任务类别或复杂任务类别,并输出对应的置信度分数,供负载均衡器进行任务调度决策。
41、进一步的,所述多层感知机分类器通过以下步骤预先训练得到:
42、获取历史问题文本及其对应的推理时间标签,构成训练样本集,其中所述推理时间标签根据所述目标大语言模型处理各历史问题文本时的实际推理耗时或实际输出token数量,按照预设阈值划分为简单任务类别和复杂任务类别;
43、提取各历史问题文本对应的提示熵特征表示,作为所述多层感知机分类器的输入特征;
44、以所述推理时间标签为监督信号,对所述多层感知机分类器进行训练,优化其网络参数,直至分类准确率达到预设要求,得到训练好的多层感知机分类器。
45、为实现上述目的,本发明第二方面提供了一种电子设备,包括存储器以及处理器,所述存储器用于存储支持处理器执行所述基于提示熵的大语言模型推理时间预测方法的程序,所述处理器被配置为用于执行所述存储器中存储的程序。
46、为实现上述目的,本发明第三方面提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行所述基于提示熵的大语言模型推理时间预测方法的步骤。
47、本发明的有益效果:
48、与现有技术相比,本发明提供的一种基于提示熵的大语言模型推理时间预测方法、设备及介质,通过构建独立于大语言模型推理过程的“前置预测”架构,利用bert模型提取用户问题文本的深层语义特征以表征问题的认知复杂度,同时结合为目标大语言模型预先构建的词符频率数据库计算模型对当前问题的熟悉度特征以量化模型特异性,再将两者融合为提示熵特征并经由轻量级多层感知机分类器在毫秒级时间内输出推理时间的二分类结果,从而在任务调度阶段即完成预测,有效解决了现有技术中因依赖大语言模型实时生成数据而无法前置预测、因忽视语义深度而预测精度不足、因采用“一刀切”策略而无法适配异构模型集群、以及因预测延迟过大而无法满足实时调度需求的综合技术问题,为负载均衡器提供了精准且及时的调度依据,显著提升了多实例并行部署场景下的系统吞吐量和硬件资源利用率。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com