Skill风险评估及种群管理方法、系统及装置与流程
本发明涉及智能代理,具体涉及一种skill风险评估及种群管理方法、系统及装置。
背景技术:
1、自anthropic提出agent skill概念以来,形成了一批以skill自主生成与进化为目标的研究工作,代表性成果如下:
2、voyager是首个基于llm的终身学习agent,在minecraft环境中通过自动课程、可执行代码形式的skill库和迭代提示机制,实现skill的持续自主积累,其局限在于:其中的skill库只增不减,没有任何退役或者淘汰机制,随时间积累存在大量低质量skill,导致检索精度下降影响用户体验,并且不区分skill的风险等级,无安全关键能力管控机制;skillweaver是面向web agent的skill自主合成框架,通过探索网站环境、执行练习任务,将经验提炼为可复用api形式的skill库,其局限在于:缺乏skill生命周期管理机制,无法处理已部署skill的性能衰减、外部依赖变化及安全异常的问题;evoskills提出协同进化验证框架(co-evolutionary verification),通过skill generator与surrogateverifier的协同循环,实现自主生成多文件skill包,并且在skillsbench基准上的通过率已经超越人工编写skill的准确率,其局限在于:仅关注skill的孵化阶段,并未关注已部署skill的风险管理及种群内部管理,忽略了skill的性能衰减、外部依赖漂移、种群生态平衡的问题,对于不同的skill未区分风险等级,对于不同等级的skill采用相同的验证方法。
技术实现思路
1、本发明针对现有skill缺乏风险管理、skill种群内部缺乏生态平衡管理及无法处理安全异常等问题,提出一种skill风险评估及种群管理方法、系统及装置。
2、为了解决上述技术问题,本发明通过下述技术方案得以解决:
3、一种skill风险评估及种群管理方法,包括以下步骤:
4、在skill孵化创建阶段,获取skill的需求描述文本并进行复杂度评估,得到skill的复杂度等级;
5、根据需求描述文本获取skill的业务场景数据,结合skill的复杂度等级对skill进行风险判定,得到skill的初始风险标签;
6、获取skill的多维身份数据,基于多维身份数据对skill的初始风险标签进行复核,得到skill的风险等级,若skill的风险等级为高风险,则根据skill的多维身份数据创建skill的降级路径及故障模式,并对skill进行仿真验证;
7、对于通过仿真验证的高风险skill及其他风险等级的skill,更新skill的多维身份数据,基于更新的多维身份数据构建语义向量并进行竞争管理,根据skill之间的调用关系构建依赖图,当skill出现状态变更时,基于依赖图对skill进行状态管理,完成skill的种群管理。
8、作为一种可实施方式,所述在skill孵化创建阶段,获取skill的需求描述文本并进行复杂度评估,得到skill的复杂度等级,包括以下步骤:
9、获取skill孵化阶段的用户请求文本,对用户请求文本进行意图识别,得到skill的需求描述文本;
10、根据需求描述文本提取skill的类型并预估参数级别,基于skill的类型获取skill的业务逻辑,结合skill的参数级别进行复杂度评估,得到skill的复杂度等级。
11、作为一种可实施方式,所述根据需求描述文本获取skill的业务场景数据,结合skill的复杂度等级对skill进行风险判定,得到skill的初始风险标签,包括以下步骤:
12、根据需求描述文本提取skill的使用场景,得到skill的业务场景数据,所述业务场景数据包括业务域、调用资源、动作类型及影响对象;
13、预设风险条件,根据skill的业务场景数据判断是否触发风险条件,若触发风险条件,则当前skill为初始高风险;
14、若skill的复杂度等级为高级,则当前skill为初始高风险,通过skill的风险判定结果形成skill的初始风险标签。
15、作为一种可实施方式,所述获取skill的多维身份数据,基于多维身份数据对skill的初始风险标签进行复核,得到skill的风险等级,包括以下步骤:
16、在skill的胚胎阶段,获取skill的多维身份数据,所述多维身份数据包括身份维度数据、创建来源维度数据、能力维度数据、进化维度数据及依赖关系维度数据;
17、对skill进行资源拆分得到层级资源,所述层级资源包括组件资源、输入数据、外部依赖数据、资源权限数据及执行阶段数据,根据层级资源及skill的多维身份数据生成skill的所有失败结果;
18、获取skill的代码数据,基于代码数据获取skill执行过程中的资源白名单、外部依赖及控制指令,结合失败结果对skill的初始风险标签进行复核,得到skill的风险等级。
19、作为一种可实施方式,所述若skill的风险等级为高风险,则根据skill的多维身份数据创建skill的降级路径及故障模式,并对skill进行仿真验证,包括以下步骤:
20、根据skill的多维身份数据获取skill的风险相关数据,所述风险相关数据包括外部依赖清单、资源权限白名单、本地备援能力、最大容忍中断时间、安全目标;
21、基于skill的风险相关数据对skill进行失败校验,所述失败校验包括网络中断及超时、格式漂移、数据库不可用、传感器冲突、权限失败、并发耗尽及完整性校验失败;
22、基于失败校验结果形成故障模式及相应的降级路径并在仿真环境中进行仿真验证,所述降级路径包括触发条件、检测信号、判定阈值、安全执行、完成时间及恢复条件。
23、作为一种可实施方式,还包括:
24、对于通过仿真验证的高风险skill,若在运行过程中检测到安全异常事件,则skill的风险等级失效,并将skill标记为隔离状态;
25、获取隔离状态skill的业务子域,冻结业务子域内处于孵化及验证阶段的skill队列形成冻结skill列表,根据依赖图、隔离状态的skill及冻结skill列表,获取依赖skill列表并进入探针模式。
26、作为一种可实施方式,所述基于更新的多维身份数据构建语义向量并进行竞争管理,包括以下步骤:
27、将复杂度等级及风险等级更新至skill的多维身份数据,基于更新的多维身份数据提取文本描述字段及调用相关数据,基于文本描述字段通过嵌入模型生成语义向量,所述文本描述字段包括能力边界数据及处理场景标签;
28、获取skill库中所有skill的语义向量,将当前skill的语义向量与skill库中的语义向量进行相似度计算,得到向量相似度,若向量相似度大于预设相似度阈值且处理场景标签的重叠率大于重叠率阈值,则将当前skill标记为功能重叠候选;
29、根据skill的调用相关数据获取skill的适应度,基于适应度及预设适应度衰减系数,对标记为功能重叠候选的skill进行竞争退役,使适应度更低的skill加速退出skill库。
30、作为一种可实施方式,所述根据skill之间的调用关系构建依赖图,当skill出现状态变更时,基于依赖图对skill进行状态管理,包括以下步骤:
31、对skill的代码数据进行解析得到依赖语句及代码调用链,根据依赖语句及代码调用链得到skill与其他skill之间的调用关系,通过调用关系构建skill的依赖图;
32、当skill出现状态变更时,通过依赖图向相关skill发送状态变更通知,若状态变更通知为衰退通知,则下游skill通过探针模式验证是否能够正常运行,若否,则将下游skill标记为退役候选状态;
33、周期性扫描依赖图,若存在调用频次低于预设频率阈值且不存在依赖关系的skill,则标记为孤立候选状态,基于退役候选状态及孤立候选状态的skill形成退役推荐列表,实现skill的种群管理。
34、一种skill风险评估及种群管理系统,包括:
35、分级评估模块,在skill孵化创建阶段,获取skill的需求描述文本并进行复杂度评估,得到skill的复杂度等级;
36、风险评估模块,根据需求描述文本获取skill的业务场景数据,结合skill的复杂度等级对skill进行风险判定,得到skill的初始风险标签;
37、风险验证模块,获取skill的多维身份数据,基于多维身份数据对skill的初始风险标签进行复核,得到skill的风险等级,若skill的风险等级为高风险,则根据skill的多维身份数据创建skill的降级路径及故障模式,并对skill进行仿真验证;
38、种群管理模块,对于通过仿真验证的高风险skill及其他风险等级的skill,更新skill的多维身份数据,基于更新的多维身份数据构建语义向量并进行竞争管理,根据skill之间的调用关系构建依赖图,当skill出现状态变更时,基于依赖图对skill进行状态管理,完成skill的种群管理。
39、一种skill风险评估及种群管理装置,包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如下任意一项所述的方法:
40、在skill孵化创建阶段,获取skill的需求描述文本并进行复杂度评估,得到skill的复杂度等级;
41、根据需求描述文本获取skill的业务场景数据,结合skill的复杂度等级对skill进行风险判定,得到skill的初始风险标签;
42、获取skill的多维身份数据,基于多维身份数据对skill的初始风险标签进行复核,得到skill的风险等级,若skill的风险等级为高风险,则根据skill的多维身份数据创建skill的降级路径及故障模式,并对skill进行仿真验证;
43、对于通过仿真验证的高风险skill及其他风险等级的skill,更新skill的多维身份数据,基于更新的多维身份数据构建语义向量并进行竞争管理,根据skill之间的调用关系构建依赖图,当skill出现状态变更时,基于依赖图对skill进行状态管理,完成skill的种群管理。
44、本发明由于采用了以上的技术方案,具有显著的技术效果:
45、本发明在首先在skill的孵化阶段进行复杂度评估及风险评估,形成skill的初始风险标签,然后基于多维身份数据对初始风险标签进行复核,得到skill的风险等级,对于高风险的skill创建降级路径及故障模式,最后对仿真验证通过的高风险skill及其他风险等级的skill进行竞争管理及状态管理,实现skill的种群管理。通过本发明的方法实现了对skill的风险评估及管理,并且在skill库内避免了出现冗余,使skill保持良好的生态平衡,同时在skill出现安全异常时标记为隔离状态,避免安全异常skill持续运行造成损失。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com