模型优化方法、系统、设备、存储介质及程序产品与流程
本技术涉及人工智能的,尤其涉及模型优化方法、模型优化系统、模型优化设备、存储介质及计算机程序产品。
背景技术:
1、在药物发现领域,随着生成式模型(如大语言模型)和强化学习技术的快速发展,现有方法通常将生成式模型视为独立的问答引擎或单步工具调用器,导致模型难以感知当前任务的执行进度和全局目标,无法根据实时的执行状态进行多步骤协调决策。同时,现有强化学习虽然广泛应用于大语言模型优化过程,但其优化目标主要针对最终输出文本的质量或人类偏好进行评价,使得模型难以有效学习在不同执行状态下选择合理动作的策略,使得大语言模型无法有效的完成复杂的药物发现任务。
2、上述内容仅用于辅助理解本技术的技术方案,并不代表承认上述内容是现有技术。
技术实现思路
1、本技术的主要目的在于提供一种模型优化方法、模型优化系统、模型优化设备、存储介质及计算机程序产品,旨在解决现有技术在实现复杂药物发现任务的模型优化过程中缺乏对药物发现任务的执行策略、工具调用和决策能力的学习,导致模型缺乏决策合理性、连贯性差、执行效率低,使得模型无法有效的完成复杂的药物发现任务的技术问题。
2、为实现上述目的,本技术提出一种模型优化方法,所述模型优化方法包括:
3、采集药物发现任务,并获取所述药物发现任务的自然语言描述;
4、根据所述药物发现任务的自然语言描述通过初始策略模型构建所述药物发现任务的工作流图,其中所述工作流图为有向无环图,以实现所述药物发现任务的执行步骤信息为节点,以所述执行步骤之间的依赖关系为边;
5、通过所述初始策略模型为所述工作流图生成执行状态和执行动作;
6、根据所述执行状态和所述执行动作生成所述药物发现任务的执行轨迹;
7、基于所述执行状态、所述执行动作、所述工作流图和所述执行轨迹生成总奖励;
8、根据所述执行轨迹和所述总奖励更新所述初始策略模型的参数,得到目标策略模型。
9、在一实施例中,所述根据所述药物发现任务的自然语言描述通过初始策略模型构建所述药物发现任务的工作流图的步骤包括:
10、将所述药物发现任务的自然语言描述通过初始策略模型提取结构化字段,其中所述结构化字段描述所述药物发现任务的关键信息;
11、根据所述结构化字段从预设模板库中匹配药物发现流程模板,其中所述药物发现流程模板包括实现药物发现任务的执行步骤信息和所述执行步骤间的依赖关系;
12、基于所述结构化字段和所述药物发现流程模板生成工作流图。
13、在一实施例中,所述基于所述结构化字段和所述药物发现流程模板生成工作流图的步骤包括:
14、将所述结构化字段和所述药物发现流程模板通过所述初始策略模型,生成流程模板图,其中所述流程模板图为有向无环图,以实现所述药物发现任务的执行步骤信息为节点,以所述执行步骤之间的依赖关系为边;
15、对所述流程模板图进行验证,得到工作流图。
16、在一实施例中,所述对所述流程模板图进行验证,得到工作流图的步骤包括:
17、对所述流程模板图进行验证包括对所述流程模板图进行环路检测、连通性检测和工具可用检测任一项,其中环路检测用于检测所述流程模板图中是否存在环路,连通性验证用于检测所述流程模板图中起始节点到终止节点是否存在至少一条完整路径,工具可用检测用于检测所述流程模板图的节点绑定的外部工具是否可用;
18、若所有检测均通过,则将所述流程模板图作为工作流图。
19、在一实施例中,所述通过所述初始策略模型为所述工作流图生成执行状态和执行动作的步骤包括:
20、初始化所述工作流图的执行状态,得到第一执行状态;
21、根据所述第一执行状态通过所述初始策略模型生成所述工作流图的第一执行动作;
22、基于所述第一执行动作和所述工作流图生成第二执行状态;
23、重复执行根据所述第二执行状态更新所述第一执行状态;根据所述第一执行状态通过所述初始策略模型生成所述工作流图的第一执行动作;基于所述第一执行动作和所述工作流图生成第二执行状态的步骤,直至生成所述工作流图的所有执行状态和执行动作,其中所述执行动作包括工具调用动作、结果分析动作、路径选择动作、错误恢复动作和终止动作至少一项。
24、在一实施例中,所述基于所述第一执行动作和所述工作流图生成第二执行状态的步骤还包括:
25、当所述执行动作为工具调用动作,对所述工具调用动作的参数进行验证;
26、若所述参数验证通过,则对所述工具调用动作的执行时间进行超时检测;
27、当所述工具调用动作的执行时间不超时,则返回所述工具调用动作的标准化执行结果;
28、根据所述工具调用动作的标准化执行结果和所述工作流图生成第二执行状态。
29、在一实施例中,在返回所述工具调用动作的标准化执行结果之后还包括:
30、当所述标准化执行结果的执行状态为失败时,获取失败状态对应的工具调用信息以及对应的执行状态;
31、将所述失败状态对应的工具调用信息以及对应的执行状态通过所述初始策略模型生成失败原因和修正参数;
32、根据所述修正参数更新所述工具调用动作,得到第一修正工具调用动作;
33、执行所述第一修正工具调用动作,得到第一更新结果;
34、若所述第一更新结果的执行状态为成功时,基于所述第一更新结果更新所述标准化执行结果。
35、在一实施例中,所述执行所述第一修正工具调用动作,得到第一更新结果之后还包括:
36、若执行所述第一修正工具调用动作,得到第一更新结果的次数大于第一预设阈值,且每次得到的第一更新结果的状态均为失败时,根据所述第一修正工具调用动作获取对应的所述工作流图节点;
37、基于所述工作流图节点获取执行所述第一修正工具调用动作的替代工具;
38、根据所述替代工具的优先级顺序依次更新所述第一修正工具调用动作,得到第二修正工具调用动作;
39、执行所述第二修正工具调用动作,得到第二更新结果;
40、若所述第二更新结果的执行状态为成功时,基于所述第二更新结果更新所述标准化执行结果。
41、在一实施例中,所述执行所述第二修正工具调用动作,得到第二更新结果之后还包括:
42、若所述第二更新结果的执行状态为失败时,则返回执行获取失败状态对应的工具调用信息以及对应的执行状态;将所述失败状态对应的工具调用信息以及对应的执行状态通过初始策略模型生成失败原因和修正参数;根据所述修正参数更新所述工具调用动作,得到第一修正工具调用动作;执行所述第一修正工具调用动作,得到第一更新结果的步骤;
43、若所述第一更新结果的执行状态为成功时,基于所述第一更新结果更新所述标准化执行结果;
44、若所述第一更新结果的执行状态均为失败时,则根据所述第一修正工具调用动作获取对应的所述工作流图节点,并将所述工作流图节点的执行状态标记为失败。
45、在一实施例中,所述根据所述执行状态和所述执行动作生成所述药物发现任务的执行轨迹的步骤包括:
46、获取所述工作流程图的所有执行状态和执行动作;
47、将所述工作流程图的执行状态和所述执行状态对应的执行动作组合成执行对;
48、将所有所述执行对按照执行状态生成的先后顺序进行排列,得到所述药物发现任务的执行轨迹。
49、在一实施例中,所述基于所述执行状态、所述执行动作、所述工作流图和所述执行轨迹生成总奖励的步骤包括:
50、根据所述执行状态和所述工作流图分别生成第一奖励、第二奖励和第三奖励;
51、基于所述执行状态、所述执行动作和所述执行轨迹生成第四奖励;
52、根据所述执行状态、所述执行动作和所述执行轨迹生成第五奖励;
53、根据所述第一奖励、第二奖励、第三奖励、第四奖励和第五奖励,得到所述执行轨迹的总奖励。
54、在一实施例中,所述根据所述执行状态和所述工作流图分别生成第一奖励、第二奖励和第三奖励的步骤包括:
55、根据所述执行状态和所述工作流图的节点生成每个所述节点的第一奖励;
56、基于所述执行状态和所述工作流图的边生成每条所述边的第二奖励;
57、根据所述执行状态和所述工作流图的终止节点生成第三奖励。
58、在一实施例中,所述基于所述执行状态、所述执行动作和所述执行轨迹生成第四奖励的步骤包括:
59、根据所述执行状态和所述执行动作计算第六奖励,所述第六奖励表征所述执行轨迹满足科学规律的得分;
60、基于所述第六奖励和预设权重计算第四奖励。
61、在一实施例中,所述根据所述执行状态、所述执行动作和所述执行轨迹生成第五奖励的步骤包括:
62、根据所述执行状态和所述执行动作计算所述执行轨迹中执行相同执行动作的第一总数;
63、根据所述执行状态分别计算所述执行轨迹中执行状态为失败的第二总数和执行动作的第三总数;
64、获取实现所述药物发现任务的总时间数;
65、基于所述第一总数、所述第二总数、所述第三总数和所述总时间数,得到第五奖励。
66、在一实施例中,所述根据所述执行轨迹和所述总奖励更新所述初始策略模型的参数,得到目标策略模型的步骤包括:
67、将所述总奖励和所述执行轨迹通过强化学习方法,得到目标参数;
68、基于所述目标参数更新所述初始策略模型,得到目标策略模型。
69、本技术提出的一个或多个技术方案,至少具有以下技术效果:
70、首先,通过构建药物发现任务的工作流图,将原本以自然语言描述的复杂任务转化为包含执行节点和依赖关系的有向图结构,使得初始策略模型在执行过程中能够明确实现该药物发现任务的各个步骤以及步骤之间的数据依赖关系。在此基础上,初始策略模型根据工作流图生成执行状态和执行动作,并在每个动作执行后获得结果反馈以更新执行状态,由此形成闭环的执行反馈机制。与现有技术中生成式模型只能进行单轮问答或独立工具调用相比,其使得优化后的目标策略模型在对外部工具选择更加恰当、工具调用参数更加正确以及执行顺序更加合理,使模型能够持续追踪任务进度,并根据实际执行结果动态调整后续动作,从而有效提升了目标策略模型执行多步骤药物发现任务的能力。
71、其次,本技术根据初始策略模型在工作流图上的完整执行轨迹计算奖励值,将强化学习的奖励计算与工作流图的执行轨迹相关联,能够对执行过程中的各环节进行量化评估,包括执行节点的完成情况、各步骤的执行顺序是否符合依赖关系等,使得整个执行过程的有效性和规范性。由此,初始策略模型参数的更新能使得优化后的目标策略模型能够推动工作流顺利完成的执行动作序列。
72、最后,本技术通过执行状态和奖励值的反馈迭代对策略模型的参数进行更新,具体地,根据执行轨迹和总奖励,更新初始策略模型的参数,得到目标策略模型。经优化后的目标策略模型,其生成的执行动作在相同任务场景下能够表现出更高的决策准确性,能够以更少的无效调用和更合理的执行路径完成药物发现任务,从而降低了计算资源的消耗,并提高了任务执行的成功率,使得目标策略模型能够有效的完成复杂的药物发现任务。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com