服务智能体自进化方法与流程
本说明书一个或多个实施例涉及人工智能,尤其涉及一种服务智能体自进化方法。
背景技术:
1、随着大语言模型及智能体技术的发展,基于大语言模型的服务类智能体已经能够理解用户诉求、生成答复并调用外部工具完成信息查询或业务操作。服务场景中的处理质量不仅取决于答复内容是否正确,还与澄清问题的时机、信息确认顺序、工具调用方式、答复边界、方案切换以及多轮交互中的状态承接等因素有关。这些因素通常表现为连续变化的决策偏好,难以通过有限数量的固定规则进行完整描述。
2、相关服务类智能体通常通过增加提示词和业务规则约束模型行为,或者采用“样本采集→人工标注→有监督训练→版本发布”的模型迭代路径进行能力优化。随着服务场景和约束条件增多,持续增加提示词及规则容易造成输入内容增长、规则相互冲突以及模型注意力分散,因而难以稳定控制不同场景下的细节行为。有监督训练则依赖预先采集和人工标注的样本,模型获得的能力容易受到训练数据覆盖范围、数据时效性和标注质量的限制。
3、当线上任务类型、用户表达方式或者业务状态发生变化时,已有训练数据可能无法及时覆盖新的服务情况,模型对复杂服务决策和未见场景的适应能力有限。因此,相关服务类智能体训练方式在复杂服务行为的学习以及模型能力的持续迭代优化方面仍有改进空间。
技术实现思路
1、有鉴于此,本说明书一个或多个实施例提供技术方案如下:
2、根据本说明书一个或多个实施例的第一方面,提出了一种服务智能体自进化方法,包括:
3、获取服务任务及对应的任务评价信息,所述服务任务包括初始服务上下文及可调用工具信息,所述任务评价信息用于描述用户目标、验收条件及关键节点评价项;
4、控制服务智能体基于所述服务任务在交互仿真环境中执行多次,获得由多条服务轨迹组成的轨迹组,其中,所述服务轨迹包括多个轨迹节点及执行结果,所述轨迹节点用于记录交互动作、工具调用、工具返回和服务状态变化中的任意一种轨迹事件;
5、将各条服务轨迹及所述任务评价信息输入预先训练的奖励模型,得到所述服务轨迹的结果奖励和过程奖励,其中,所述结果奖励与所述用户目标和所述验收条件相关,所述过程奖励与所述关键节点评价项相关;
6、根据所述服务轨迹的结果奖励和过程奖励进行聚合,得到所述服务轨迹的轨迹奖励;
7、对所述轨迹组内各条服务轨迹的轨迹奖励进行组内相对比较,得到各条服务轨迹的相对优势;
8、根据所述各条服务轨迹的相对优势更新所述服务智能体的模型参数。
9、根据本说明书实施例的第二方面,提供一种电子设备,包括:
10、处理器;
11、用于存储处理器可执行指令的存储器;
12、其中,所述处理器执行所述可执行指令时,用于实现第一方面所述的方法。
13、根据本说明书实施例的第三方面,提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现第一方面所述方法的步骤。
14、根据本说明书实施例的第四方面,提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现第一方面所述方法的步骤。
15、由上述实施例可知,本说明书通过控制服务智能体在交互仿真环境中基于同一服务任务执行多次,使同一轨迹组中的各条服务轨迹具有相同的任务输入条件,能够为不同服务行为的比较提供具有可比性的数据,并避免轨迹生成过程直接影响实际服务环境。
16、通过在服务轨迹中记录交互动作、工具调用、工具返回、服务状态变化及执行结果,并由奖励模型结合任务评价信息生成结果奖励和过程奖励,使服务任务的执行结果和执行过程均能够反映在模型优化所使用的奖励信息中;将结果奖励和过程奖励聚合为轨迹奖励,并在同一轨迹组内进行相对比较,能够使相对优势更多地反映不同服务轨迹之间的行为差异,减少不同任务条件对模型优化信号的干扰。
17、根据相对优势更新服务智能体的模型参数,使服务智能体能够依据其在交互仿真环境中生成的服务轨迹及相应评价结果完成参数调整,从而支持复杂服务行为的学习和模型能力的迭代优化。
18、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本说明书。
1.一种服务智能体自进化方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述关键节点评价项用于描述执行所述服务任务时所述服务轨迹应当包含的关键节点类型;所述过程奖励包括与所述服务轨迹中存在的、与所述关键节点类型相匹配的关键节点对应的节点过程奖励;
3.根据权利要求1所述的方法,其特征在于,所述结果奖励包括结果验收奖励和目标一致性奖励,所述结果验收奖励用于表征服务轨迹的任务执行结果满足所述验收条件的程度,所述目标一致性奖励用于表征服务轨迹的实际服务方向与所述用户目标的一致程度;
4.根据权利要求1所述的方法,其特征在于,还包括:
5.根据权利要求1或3所述的方法,其特征在于,确定各条服务轨迹的轨迹奖励还包括:
6.根据权利要求1至4任意一项所述的方法,其特征在于,所述奖励模型通过以下方式预先训练:
7.根据权利要求6所述的方法,其特征在于,所述过程维度监督标签包括分别与所述样本服务轨迹中的多个样本关键节点关联的节点过程监督标签,所述节点过程监督标签根据所述服务规范符合性评测信息和所述服务覆盖评测信息中的评价明细与相应样本关键节点之间的对应关系确定;所述预测过程奖励包括分别与各样本关键节点关联的预测节点过程奖励;
8.根据权利要求6所述的方法,其特征在于,还包括:
9.根据权利要求1所述的方法,其特征在于,所述获取所述服务任务及对应的任务评价信息,包括:
10.根据权利要求1所述的方法,其特征在于,所述交互仿真环境包括基于真实历史轨迹和工具调用规范信息构造的模拟用户模块、模拟工具模块及业务状态机;
11.根据权利要求1或10所述的方法,其特征在于,所述交互仿真环境包括约束校验模块,所述约束校验模块中配置有与所述服务任务所属服务领域相关的服务约束信息,所述服务约束信息包括与业务操作、业务合规及任务终止相关的约束信息;
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com