动态智能体数据处理方法和装置、电子设备及计算机介质与流程
本公开属于人工智能,具体涉及教育技术、大型语言模型等,尤其是一种动态智能体数据处理方法和装置、电子设备以及计算机可读存储介质。
背景技术:
1、随着大语言模型(llm,large language model)技术的爆发,人工智能应用正在经历从“单纯的生成式文本对话”向“能够自主调用外部api(application programminginterface,应用程序编程接口)并执行复杂业务逻辑的多智能体系统(multi-agentsystem,mas)”的演进。在典型的企业级应用场景中(例如旅游系统规划、医疗问诊分诊、教育咨询等),智能体系统往往需要集成数十个甚至上百个异构的外部微服务接口,以完成真实的业务闭环。
2、目前,业界在构建这类多工具、多场景的大模型智能体系统时,普遍采用以下两种计算机架构模式。然而,在实际的工程部署中,这两种模式均暴露出严重的技术缺陷:
3、第一种模式是“单体巨型智能体”模式,该模式不区分终端用户的请求类型,将系统所有可用的外部工具列表(包括工具的名称、描述、json schema入参定义等)统一打包,连同用户的多轮对话历史,一次性放入全局系统提示词中提交给单个大模型节点进行推理。第一种模式存在的计算机技术缺陷包括:上下文窗口溢出与计算成本剧增以及严重的“注意力衰减”与“工具调用幻觉”。
4、第二种模式是“基于硬编码的网关路由”模式,该模式在将请求发送给大模型之前,前置一个基于传统正则表达式或关键词提取逻辑的网关程序进行流量分发。第二种模式存在的计算机技术缺陷包括:语义理解能力的极度缺失和缺乏状态流转控制与灾难容错。
5、综上,现有的模式面临要么算力成本高、数据安全风险大,要么语义泛化能力差、缺乏量化容错机制的瓶颈。
技术实现思路
1、本公开提供了一种动态智能体数据处理方法和装置、电子设备以及计算机可读存储介质。
2、根据第一方面,提供了一种动态智能体数据处理方法,该方法由计算机设备中图计算引擎执行,并在计算机设备内存中预先构建拓扑执行图,拓扑执行图至少包括意图分析节点、专用计算节点、降级兜底节点,该方法包括:接收客户端请求,并基于客户端请求在计算机设备内存中初始化全局状态载荷,全局状态载荷至少包括历史消息序列、意图变量、置信度变量以及用于存储节点执行结果的结果数据区;将全局状态载荷输入至拓扑执行图的意图分析节点中,由意图分析节点调用大语言模型对历史消息序列进行分析,得到分析结果,并根据分析结果覆写全局状态载荷中的意图变量和置信度变量;响应于置信度变量大于或等于预设安全阈值,根据意图变量,将全局状态载荷路由至拓扑执行图的专用计算节点,以触发专用计算节点利用动态挂载的外部工具子集对全局状态载荷进行覆写修改;响应于置信度变量小于预设安全阈值,将全局状态载荷路由至拓扑执行图的降级兜底节点,以触发降级兜底节点对全局状态载荷进行兜底修改;基于专用计算节点或降级兜底节点对全局状态载荷的修改,确定客户端请求的执行结果。
3、根据第二方面,提供了另一种动态智能体数据处理方法,该方法由专用计算节点执行,该方法包括:响应于接收到图计算引擎路由转移的全局状态载荷,基于预先配置的节点业务身份,从系统工具注册表中动态提取对应的外部工具子集;其中,全局状态载荷包括历史消息序列;将外部工具子集的函数声明注入至大语言模型实例中,以对大语言模型实例执行工具隔离;提取全局状态载荷中的历史消息序列;基于历史消息序列和预设的聚焦系统提示词,控制大语言模型实例执行受控调用循环,以获取针对客户端请求的执行结果;受控调用循环包括:解析大语言模型实例输出的工具调用指令,并触发对应的外部网络请求以获取原始响应数据;将原始响应数据封装并追加至大语言模型实例的上下文中,以触发下一轮推理,直至大语言模型实例停止输出工具调用指令,并输出针对客户端请求的执行结果为止;利用预设的强类型数据类对执行结果进行数据清洗屏障校验,以将非结构化的文本结果转化为强类型数据类;在校验通过后,将清洗后的结果回写至全局状态载荷中,以完成对全局状态载荷的修改。
4、根据第三方面,提供了一种动态智能体数据处理装置,该装置由计算机设备中图计算引擎执行,并在计算机设备内存中预先构建拓扑执行图,拓扑执行图至少包括意图分析节点、专用计算节点、降级兜底节点,该装置包括:接收单元,被配置成接收客户端请求,并基于客户端请求在计算机设备内存中初始化全局状态载荷,全局状态载荷至少包括历史消息序列、意图变量和置信度变量;分析单元,被配置成将全局状态载荷输入至拓扑执行图的意图分析节点中,由意图分析节点调用大语言模型对历史消息序列进行分析,得到分析结果,并根据分析结果覆写全局状态载荷中的意图变量和置信度变量;专用推理单元,被配置成响应于置信度变量大于或等于预设安全阈值,根据意图变量,将全局状态载荷路由至拓扑执行图的专用计算节点,以触发专用计算节点利用动态挂载的外部工具子集对全局状态载荷进行覆写修改;降级推理单元,被配置成响应于置信度变量小于预设安全阈值,将全局状态载荷路由至拓扑执行图的降级兜底节点,以触发降级兜底节点对全局状态载荷进行兜底修改;确定单元,被配置成基于专用计算节点或降级兜底节点对全局状态载荷的修改,确定客户端请求的执行结果。
5、根据第四方面,又提供了另一种动态智能体数据处理装置,该装置由专用计算节点执行,该装置包括:工具提取单元,被配置成响应于接收到图计算引擎路由转移的全局状态载荷,基于预先配置的节点业务身份,从系统工具注册表中动态提取对应的外部工具子集;其中,全局状态载荷包括历史消息序列;注入单元,被配置成将外部工具子集的函数声明注入至大语言模型实例中,以对大语言模型实例执行工具隔离;序列提取单元,被配置成提取全局状态载荷中的历史消息序列;控制单元,被配置成基于历史消息序列和预设的聚焦系统提示词,控制大语言模型实例执行受控调用循环,以获取针对客户端请求的执行结果;受控调用循环包括:解析大语言模型实例输出的工具调用指令,并触发对应的外部网络请求以获取原始响应数据;将原始响应数据封装并追加至大语言模型实例的上下文中,以触发下一轮推理,直至大语言模型实例停止输出工具调用指令,并输出针对客户端请求的执行结果为止;清洗单元,被配置成利用预设的强类型数据类对执行结果进行数据清洗屏障校验,以将非结构化的文本结果转化为强类型数据类;写入单元,被配置成在校验通过后,将清洗后的结果回写至全局状态载荷中,以完成对全局状态载荷的修改。
6、根据第五方面,提供了一种电子设备,该电子设备包括:至少一个处理器;以及与至少一个处理器通信连接的存储器,其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行如第一方面或第二方面任一实现方式描述的方法。
7、根据第六方面,提供了一种计算机可读存储介质,其上存储有计算机指令,计算机指令用于使计算机执行如第一方面或第二方面任一实现方式描述的方法。
8、本公开的实施例提供的动态智能体数据处理方法和装置,首先,接收客户端请求,并基于客户端请求在计算机设备内存中初始化全局状态载荷,全局状态载荷至少包括历史消息序列、意图变量、置信度变量以及用于存储节点执行结果的结果数据区;其次,将全局状态载荷输入至拓扑执行图的意图分析节点中,由意图分析节点调用大语言模型对历史消息序列进行分析,得到分析结果,并根据分析结果覆写全局状态载荷中的意图变量和置信度变量;再次,响应于置信度变量大于或等于预设安全阈值,根据意图变量,将全局状态载荷路由至拓扑执行图的专用计算节点,以触发专用计算节点利用动态挂载的外部工具子集对全局状态载荷进行覆写修改;然后,响应于置信度变量小于预设安全阈值,将全局状态载荷路由至拓扑执行图的降级兜底节点,以触发降级兜底节点对全局状态载荷进行兜底修改;最后,基于专用计算节点或降级兜底节点对全局状态载荷的修改,确定客户端请求的执行结果。由此,通过前置的意图分析节点进行轻量级推断,仅将必要的上下文路由至目标节点,大幅缩减了单次大模型调用的词元消耗,并降低了响应延迟;将置信度变量和预设安全阈值作为拓扑图流转的数学门控,当面对对抗性输入或模型意图混淆导致置信度低于阈值时,能物理阻断危险请求流向敏感业务节点,通过降级兜底节点实现平滑的安全降级,有效地避免了传统正则匹配失败导致的程序崩溃。
9、应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com