工作流构建方法、电子设备及计算机可读存储介质
本申请涉及人工智能,尤其涉及一种工作流构建方法、电子设备及计算机可读存储介质。
背景技术:
1、随着大语言模型能力的提升,由多个智能体通过协同编排构成的工作流系统,被广泛应用于问答、检索增强生成、工具调用等复杂任务中。大语言模型容易受到提示注入、记忆污染、工具误导、智能体间恶意传播等攻击。在工作流场景下,上述攻击一旦在某节点处突破防线,恶意影响即可沿拓扑边向下游节点传播,最终污染推理结果或泄漏关键信息。因此,在部署工作流之前,需要对其在攻击条件下的鲁棒性进行评估并据此进行安全防护,鲁棒性是指工作流在受到各类攻击时仍能保持正确输出的能力。
2、相关技术提供的方案中,依赖真实执行采样来评估工作流在不同攻击条件下的任务正确性与鲁棒性。当面临多类攻击和多次采样需求时,反复调用大语言模型流水线导致计算开销极高,鲁棒性评估的效率低下。并且相关技术直接输出执行结果,其反馈通常为整体性的鲁棒性评分,无法揭示攻击具体在哪个节点突破、恶意影响沿何种路径传播,即无法提供节点级的鲁棒性诊断信息,导致安全机制的放置位置和类型选择缺乏直接依据,难以对工作流的鲁棒性薄弱环节进行系统性精准防护,存在加固后的工作流鲁棒性不理想的技术问题。。
技术实现思路
1、本申请实施例提供一种工作流构建方法、电子设备及计算机可读存储介质,以缓解或解决相关技术所生成工作流的鲁棒性不理想的技术问题。
2、第一方面,本申请实施例提供了一种工作流构建方法,包括:
3、获取包括多个执行节点的候选工作流,以及对所述候选工作流进行模拟攻击的攻击描述信息,所述候选工作流用于执行目标任务;
4、将所述候选工作流和所述攻击描述信息输入至目标模型进行评估,得到针对所述候选工作流的模拟执行评估结果;所述目标模型用于预测各所述执行节点受到所述模拟攻击的执行状态,所述模拟执行评估结果包括各所述执行节点的执行状态;
5、基于所述候选工作流的模拟执行评估结果,在所述候选工作流中加入安全节点,得到更新后的所述候选工作流;所述安全节点为用于防护对所述执行节点的攻击;
6、采用所述目标模型对更新后的所述候选工作流的执行状态进行预估,基于针对于更新后的所述候选工作流的模拟执行评估结果满足预定条件,将更新后的所述候选工作流作为目标工作流。
7、第二方面,本申请实施例提供了一种电子设备,包括存储器、处理器及存储在存储器上的计算机程序,处理器在执行计算机程序时实现本申请实施例任一项的方法。
8、第三方面,本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质内存储有计算机程序,计算机程序被处理器执行时实现本申请实施例任一项的方法。
9、基于上述第一方面所述的工作流构建方法,本申请至少具有如下有益效果或优点:本申请采用目标模型在不实际执行候选工作流的情况下,对各执行节点受到模拟攻击时的潜在执行状态进行预测。相较于现有技术中需要反复调用大语言模型流水线进行真实执行采样以获取评估反馈的方式,由目标模型在模型内部完成模拟执行推演。由于模型内部的前向计算开销远低于启动完整的智能体流水线,当面临候选工作流数量较多或攻击场景种类较多时,有着更好的鲁棒性评估效率,降低了多智能体工作流鲁棒性评估的计算开销与时间成本。。
10、通过目标模型输出的模拟执行评估结果,不仅能够获得候选工作流在整体层面的性能预估,更能够获取各执行节点在模拟攻击影响下节点级的执行状态,实现了对工作流内部鲁棒性薄弱环节的细粒度诊断,使得安全加固不再依赖人工经验,为安全节点的放置提供了决策依据,系统性地提升了最终输出工作流的鲁棒性。。
11、上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,可依照说明书的内容予以实施,并且为了让本申请的上述和其他目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
1.一种工作流构建方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述将所述候选工作流和所述攻击描述信息输入至目标模型进行评估,得到针对所述候选工作流的模拟执行评估结果,包括:
3.根据权利要求2所述的方法,其特征在于,在所述目标模型中各所述执行节点分别对应有门控单元,所述按照所述候选工作流的拓扑顺序,通过所述目标模型生成各所述执行节点之间的潜状态,包括:
4.根据权利要求1所述的方法,其特征在于,所述基于所述候选工作流的模拟执行评估结果,在所述候选工作流中加入安全节点,包括:
5.根据权利要求1所述的方法,其特征在于,所述候选工作流为多个,所述基于所述候选工作流的模拟执行评估结果,在所述候选工作流中加入安全节点,得到更新后的所述候选工作流,包括:
6.根据权利要求1所述的方法,其特征在于,所述采用所述目标模型对更新后的所述候选工作流的执行状态进行预估,基于针对于更新后的所述候选工作流的模拟执行评估结果满足预定条件,将更新后的所述候选工作流作为目标工作流,包括:
7.根据权利要求1至6中任意一项所述的方法,其特征在于,所述获取包括多个执行节点的候选工作流,以及对所述候选工作流进行模拟攻击的攻击描述信息,包括:
8.根据权利要求1至6中任意一项所述的方法,其特征在于,在所述将所述候选工作流和所述攻击描述信息输入至目标模型进行评估,得到针对所述候选工作流的模拟执行评估结果之前,所述方法还包括:
9.一种电子设备,其特征在于,包括存储器、处理器及存储在存储器上的计算机程序,所述处理器在执行所述计算机程序时实现权利要求1至8中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com