一种基于工作流节点触发的大模型内容生成与容灾降级方法与流程
本发明涉及计算机软件,具体涉及一种基于工作流节点触发的大模型内容生成与容灾降级方法、系统、终端设备及计算机可读存储介质。
背景技术:
1、在自动化任务编排系统中,大语言模型(llm)的内容生成能力正逐渐被集成到业务流程中,用于自动生成消息文本、文章、标题等内容。现有的大语言模型集成方式主要存在以下问题:
2、第一,大语言模型调用通常以独立接口或独立服务的形式存在,与工作流执行引擎相互分离。工作流引擎在执行到需要生成内容的步骤时,需要中断当前执行流程,通过远程过程调用或消息队列将请求发送到大语言模型服务,等待返回后再继续执行后续步骤。这种异步解耦的架构虽然降低了系统耦合度,但导致了执行断点——工作流执行上下文在大语言模型调用期间处于挂起状态,生成的内容返回后需要手动拼接到上下文中才能被下游节点访问,增加了上下文传递的复杂度。
3、第二,大语言模型接口调用成本高且响应时间不稳定。对于相同或相似的生成请求,重复调用大语言模型会造成不必要的令牌消耗和费用支出。现有技术中部分方案使用了请求去重缓存,但通常仅以原始提示词文本作为缓存键,未考虑输出渠道、语气风格、目标受众等多维参数对生成结果的差异化影响,导致缓存粒度不合理——本应生成不同内容的请求因参数差异未被区分而误命中相同缓存,或本可复用的请求因参数差异被过度区分而未命中缓存。
4、第三,远端大语言模型服务存在单点故障风险。当网络连接中断、服务端过载或应用编程接口配额耗尽时,所有依赖大语言模型的工作流节点将全部执行失败,影响整个自动化系统的可用性。现有技术缺乏对远端大语言模型服务的自动容灾降级机制,通常仅在调用失败时抛出异常并终止流程,需要人工干预恢复。
技术实现思路
1、本发明要解决的技术问题是:如何在将大语言模型内容生成嵌入工作流节点执行链路的同时,通过内容去重缓存降低重复调用成本,并在远端服务不可用时自动降级以保证系统可用性。
2、为解决上述技术问题,本发明提供了一种基于工作流节点触发的大模型内容生成与容灾降级方法,包括以下步骤:从工作流节点集合中解析出节点类型为内容生成的节点,提取生成提示词文本和内容配置参数;将生成提示词文本与内容配置参数拼接为联合字符串并计算哈希值作为缓存检索键;检索缓存,命中则返回缓存内容;未命中时调用远端大语言模型接口生成内容;当远端调用失败时自动切换至本地部署的大语言模型接口进行容灾降级;将生成内容存入缓存并注入工作流执行上下文。
3、本发明通过将内容生成节点作为工作流节点图中的一种标准节点类型,使得大语言模型调用完全融入工作流执行链路,生成的内容直接写入执行上下文供下游节点透明引用,消除了传统架构中异步调用导致的执行断点和上下文拼接问题。通过将生成提示词与内容类型、输出渠道、语气风格、目标受众和内容长度等多维配置参数联合计算哈希作为缓存键,实现了细粒度的内容去重缓存——参数完全相同的请求命中缓存、参数有差异的请求调用大模型生成不同内容。通过远端调用失败时自动捕获异常并切换至本地部署的兼容接口的容灾降级机制,保证了工作流执行的连续性,在远端服务不可用时仍可通过本地模型完成内容生成。
1.一种基于工作流节点触发的大模型内容生成与容灾降级方法,其特征在于,包括至少以下步骤:
2.根据权利要求1所述的方法,其特征在于,所述内容配置参数还包括目标受众描述参数和内容长度参数,所述内容长度参数控制生成文本的字数范围,所述系统提示词根据所述内容类型参数、输出渠道参数、语气风格参数、目标受众描述参数和内容长度参数分别映射为对应的自然语言指令文本并拼接构成。
3.根据权利要求1所述的方法,其特征在于,所述内容缓存库中每条缓存记录还存储有所使用的大语言模型标识、消耗的令牌数量和内容质量评分,当后续对相同缓存检索键再次命中时,根据所述内容质量评分决定是否触发重新生成。
4.根据权利要求1所述的方法,其特征在于,所述从工作流节点集合中解析出节点类型为内容生成的节点后,还包括:在调用大语言模型之前,检查该节点中是否配置了同时生成多个备选版本的参数,若配置为是,则在所述系统提示词中追加备选版本生成指令,使大语言模型以结构化数据数组格式返回多个不同风格版本的内容文本。
5.根据权利要求1所述的方法,其特征在于,所述调用远端大语言模型接口失败的情况至少包括:网络连接超时、服务端返回非正常状态码和返回数据解析异常;所述本地部署的大语言模型接口提供与远端大语言模型接口兼容的对话补全应用编程接口端点,使得切换前后的请求体格式和响应体解析逻辑保持一致。
6.一种基于工作流节点触发的大模型内容生成与容灾降级系统,其特征在于,包括:
7.根据权利要求3所述的系统,其特征在于,所述容灾降级模块在捕获调用异常后进行切换,所述调用异常至少包括网络连接超时、服务端返回非正常状态码和返回数据解析异常;所述本地部署的大语言模型接口提供与远端大语言模型接口兼容的对话补全应用编程接口端点。
8.一种终端设备,其特征在于,包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至3中任一项所述的方法。
9.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至3中任一项所述的方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com