模型训练方法、电子设备、可读存储介质及程序产品与流程
本技术涉及人工智能,具体涉及一种模型训练方法、电子设备、可读存储介质及程序产品,尤其涉及一种面向条件触发任务的训练数据生成与模型训练方法。
背景技术:
1、随着人工智能(artificial intelligence,ai)技术的快速发展,智能终端助手正从简单的指令执行向复杂的自动化工作流(workflow)生成演进。在例如yoyo任务等应用场景中,用户期望仅通过自然语言描述需求,电子设备即可自动理解并生成包含预约、条件触发及多步骤执行的自动化流程,涵盖自动打卡、跨品牌iot控制、通勤助手及健康管理等复杂场景。
2、然而,构建能够支撑上述复杂场景的条件执行智能体(agent)面临着巨大的数据工程挑战。实际业务中涉及超过10种复杂场景类型、万级以上的需求数据量以及400多种扩展工具,且需深度融合个人知识库、主动服务、图形用户界面(graphical user interface,gui)交互及列表选择等定制化逻辑。目前的数据生成与处理模式难以适应这种“高频迭代、高泛化要求”的业务需求。
3、其中,常规技术方案存在以下不足:第一,缺乏通用且可扩展的条件触发任务数据结构,现有数据格式通常针对单一任务场景设计,难以同时兼容单触发/多触发、单动作/多动作、条件逻辑判断、重复执行、技能加载、外部知识库查询等多种能力;第二,条件触发任务的数据生成效率低、质量不稳定,人工标注方式生产速度慢、返修率高,传统数据合成链路基于查询语句与工具调用同时生成,存在扩展性差、场景适配性弱、模型幻觉严重等问题;第三,缺乏针对条件触发任务的分层数据校验机制,现有数据校验多依赖人工逐条审核,成本高、效率低。
4、因此,目前复杂条件触发任务的训练数据构建困难,导致智能体在多任务、多条件触发场景下的理解与执行能力不足。
技术实现思路
1、本技术提供了一种模型训练方法、电子设备、可读存储介质及程序产品,通过多模块级联的数据生成流水线,实现条件触发任务训练数据的全流程自动化生成,提升数据生成效率和质量。
2、第一方面,本技术提供了一种模型训练方法,该方法包括:获取触发-动作元数据和场景配置条件;确定出对应触发-动作元数据、满足场景配置条件的多个场景提示模板,并将触发-动作元数据分别填充到多个场景提示模板生成多个模型输入提示;调用大语言模型并获取大语言模型基于多个模型输入提示生成的多个初始样本数据;对多个初始样本数据进行后处理,得到多个目标样本数据,其中目标样本数据用于模型训练。
3、通过上述四步骤流程,实现条件触发任务训练数据从种子数据构建、场景模板匹配、大语言模型生成到后处理的全流程自动化生产,解决人工标注效率低、场景覆盖不足的问题。
4、在上述第一方面的一种可能的实现中,获取触发-动作元数据,包括:获取工具定义和工具常用场景槽位映射表,工具定义包括工具标识、工具描述和参数列表中的至少一项,工具常用场景槽位映射表包括每个工具对应的至少一个常用场景及其槽位取值模板;遍历工具定义中的各工具,根据工具常用场景槽位映射表匹配每个工具对应的常用场景;对匹配到的每个常用场景,根据槽位取值模板进行槽位实例化,得到对应的参数值;基于场景描述和实例化后的参数值生成触发条件,并基于工具标识和实例化后的参数值生成执行动作,将触发条件和执行动作配对组合,得到触发-动作元数据。
5、通过工具定义与槽位映射表自动化构建触发-动作元数据,实现种子数据的规模化、标准化生成,确保触发条件与执行动作的语义配对准确性,大幅提升种子数据生产效率。
6、在上述第一方面的一种可能的实现中,场景配置条件包括场景描述、可用工具列表和交互约束条件;确定出与触发-动作元数据对应且满足场景配置条件的多个场景提示模板,包括:根据触发-动作元数据中的触发条件和执行动作,确定目标场景类别;从预设的场景配置库中获取目标场景类别对应的场景配置条件;根据预设的场景生成比例,从场景配置库中动态选取满足场景配置条件的多个场景提示模板。
7、通过场景描述、可用工具列表及交互约束条件三维度配置场景配置条件,精确约束数据生成的场景范围和交互规则,确保生成数据符合目标场景的语义边界;根据场景生成比例动态选取模板,可精确控制各类场景数据的分布占比,避免模型偏置。
8、在上述第一方面的一种可能的实现中,场景提示模板按照提示词prompt方式和技能skill方式存储,支持新增和删减。
9、通过prompt方式和skill方式双轨存储场景提示模板,并支持灵活新增和删减,提升数据生成系统的可扩展性,便于快速接入新的场景类型。
10、在上述第一方面的一种可能的实现中,场景提示模板包括语气词配置、句式模板和人设描述,用于引导大语言模型生成符合目标场景类别的对话数据;将触发-动作元数据分别填充到多个场景提示模板生成多个模型输入提示,包括:将触发-动作元数据中的触发条件和执行动作作为槽位值,分别填充到各场景提示模板的对应槽位中,生成多个模型输入提示。
11、通过语气词配置、句式模板和人设描述引导大语言模型生成对话数据,确保生成的用户查询语句符合目标场景的表达习惯和交互特征;采用槽位填充方式生成模型输入提示,保证触发条件与执行动作在生成过程中的语义锚定作用。
12、在上述第一方面的一种可能的实现中,调用大语言模型并获取大语言模型基于多个模型输入提示生成的多个初始样本数据,包括:针对不同的场景提示模板,并行调用不同的大语言模型接口进行数据生成,获取各大语言模型基于对应模型输入提示生成的多个初始样本数据。
13、通过针对不同场景提示模板并行调用不同大语言模型接口,增加用户查询语句的表达方式多样性,增强训练数据的泛化性,同时通过并行调用节省数据生成时间。
14、在上述第一方面的一种可能的实现中,大语言模型基于多个模型输入提示生成多个初始样本数据,包括:采用从与触发-动作元数据对应的标准答案反向生成用户查询语句的方式,基于触发-动作元数据中的触发条件和执行动作,由大语言模型生成与标准答案对应的用户查询语句,作为初始样本数据中的用户查询语句。
15、采用gt→query反向生成方式,基于触发条件和执行动作的标准答案反向生成用户查询语句,相较于同时生成查询语句和工具调用的正向生成方式,能够大幅降低模型幻觉,提升数据质量。
16、在上述第一方面的一种可能的实现中,初始样本数据包括用户查询语句、模型回复和工具调用示例;初始样本数据对应的场景类型包括简单场景、逻辑与/或场景、多执行动作场景、追问场景、拒识场景、独立多任务场景、多轮修改场景和多轮新增场景中的至少一种。
17、通过覆盖简单场景、逻辑与/或场景、多执行动作场景、追问场景、拒识场景、独立多任务场景、多轮修改场景及多轮新增场景等多种场景类型,提升训练数据在复杂场景下的覆盖度,增强任务模型的场景适应能力。
18、在上述第一方面的一种可能的实现中,对多个初始样本数据进行后处理,得到多个目标样本数据,包括:对初始样本数据进行解析,提取工具调用信息和场景特征信息;将工具调用信息与预设工具集合进行匹配,并将场景特征信息与预设场景类别进行匹配;将匹配成功的初始样本数据确定为待增强数据,对待增强数据进行多轮交互扩展,生成包含确认轮次、参数追问轮次、修改轮次和结果反馈轮次中至少一种的多轮交互逻辑,得到增强数据。
19、通过解析初始样本数据并匹配预设工具集合和场景类别,筛选出可增强的待增强数据;通过多轮交互扩展生成包含确认轮次、参数追问轮次、修改轮次和结果反馈轮次的多轮交互逻辑,生成大语言模型难以一步生成的复杂多轮交互数据,显著提升训练数据在多轮交互场景下的覆盖度。
20、在上述第一方面的一种可能的实现中,对待增强数据进行多轮交互扩展,包括:根据待增强数据中的触发条件和执行动作,确定需要补充的交互轮次类型;根据交互轮次类型,从预设的场景模板库中选取对应的场景模板,场景模板按照提示词prompt方式和技能skill方式存储,支持新增和删减;基于场景模板和待增强数据中的上下文信息,生成补充的交互轮次数据;将补充的交互轮次数据与待增强数据进行拼接,得到包含多轮交互逻辑的增强数据。
21、通过根据触发条件和执行动作确定需要补充的交互轮次类型,并选取对应场景模板生成补充轮次数据,实现多轮交互扩展的自动化和精准化;场景模板支持新增和删减,提升多轮交互扩展的可扩展性。
22、在上述第一方面的一种可能的实现中,对待增强数据进行多轮交互扩展得到增强数据之后,还包括:对于需要借助辅助工具的增强数据,执行工具后处理,工具后处理包括:调用外部知识库,获取辅助工具对应的工具描述信息;基于工具描述信息进行推理,生成查询信息;根据查询信息执行查询,得到查询结果;基于查询信息和查询结果,对增强数据进行更新,使更新后的数据符合辅助工具的格式要求。
23、通过调用外部知识库获取工具描述信息并推理生成查询信息,执行查询得到查询结果后更新增强数据,确保需要借助辅助工具的任务数据语义完整、格式规范,提升辅助工具相关场景的数据质量。
24、在上述第一方面的一种可能的实现中,对待增强数据进行多轮交互扩展得到增强数据之后,还包括:对于命中设定场景(也称为特定场景)的增强数据,执行设定场景后处理,设定场景后处理包括:识别增强数据所对应的设定场景类型,设定场景类型包括个人知识库场景、地址列表选择场景和修改工作流场景中的至少一种;调用与设定场景类型对应的场景后处理模板;根据预设的场景分支比例,对增强数据进行更新,生成包含复杂轮次交互和子场景多分支的训练数据;其中,场景分支包括地址查询为空、地址查询为多个、查询异常和查询结果唯一中至少一种,不同的场景分支对应不同的编排和交互逻辑。
25、通过针对个人知识库场景、地址列表选择场景和修改工作流场景执行定制化的设定场景后处理,生成包含复杂轮次交互和子场景多分支的训练数据,提升设定场景数据生成效果;设定场景后处理与主数据生成流程解耦,可独立扩展新的场景类型,具备很强的灵活性和可扩展性。
26、在上述第一方面的一种可能的实现中,对多个初始样本数据进行后处理,得到多个目标样本数据,包括:对初始样本数据和/或经多轮交互扩展后的增强数据进行深加工,以得到对应的目标样本数据,深加工包括场景标签生成、推理过程生成、工具执行结果生成和交互话术润色中的至少一项;其中,场景标签生成包括:在初始样本数据和增强数据中至少一项的用户查询语句中按照优先级从高到低依次判断,若命中设定场景则停止后续判断,生成对应的场景标签。
27、通过深加工执行场景标签生成、推理过程生成、工具执行结果生成和交互话术润色,丰富训练数据维度,提升数据质量;场景标签生成采用优先级判断机制,确保每条数据获得唯一且准确的场景标签,避免多标签冲突。
28、在上述第一方面的一种可能的实现中,推理过程生成包括:判断场景标签是否为设定场景标签,设定场景标签包括追问场景标签、拒识场景标签和个人知识库场景标签中的至少一种;如果场景标签是设定场景标签,调用设定场景思考过程生成文件,生成包含追问思考内容、拒识思考内容或辅助工具调用思考内容中的至少一项的特殊推理过程信息;如果场景标签不是设定场景标签,调用通用思考过程生成文件,生成包含任务标题、任务描述、触发器描述、执行动作描述和链式思维推理过程中至少一项的推理过程信息。
29、通过设定场景与通用场景分流的推理过程生成机制,确保不同场景类型的推理过程内容符合该场景的特殊交互逻辑需求,提升推理过程信息的场景适配性与准确性。
30、在上述第一方面的一种可能的实现中,工具执行结果生成包括:按照触发条件和执行动作的随机概率,更新工具注册结果,并更新模型回复信息。
31、通过按照随机概率更新工具注册结果和模型回复信息,模拟工具执行成功、执行失败等多种结果,增强任务模型处理不同工具执行结果的能力。
32、在上述第一方面的一种可能的实现中,交互话术润色包括:在场景标签是追问场景标签或拒识场景标签的情况下,调用润色模型对模型回复进行话术润色,生成标准化的交互话术。
33、通过针对追问场景和拒识场景调用润色模型优化模型回复,提升回复的自然度和友好性,改善用户体验,因为追问和拒识场景的回复话术质量直接影响用户交互感受。
34、在上述第一方面的一种可能的实现中,触发-动作元数据、初始样本数据和目标样本数据均采用统一的任务数据结构进行承载,任务数据结构包括:基础消息字段,用于存储用户查询语句和模型回复;嵌入式任务工具字段,采用嵌入式解耦结构,包括相互独立的触发条件子字段、执行动作子字段、逻辑关系子字段和执行频率子字段,分别用于承载对应的任务配置信息;扩展字段,包括推理内容字段、场景标签字段、工具执行结果子字段和交互话术子字段;其中,任务数据结构兼容开放人工智能openai标准的监督微调sft数据格式,并支持推理-行动react能力、记忆能力、图形用户界面gui能力以及多个系统提示词的指令遵循。
35、通过统一的任务数据结构承载触发-动作元数据、初始样本数据和目标样本数据,实现全流程数据结构的一致性和可扩展性;采用嵌入式解耦结构承载任务配置信息,兼容标准sft格式的同时支持react、记忆、gui等多种能力,提升数据结构的通用性和扩展性。
36、在上述第一方面的一种可能的实现中,推理内容字段包括:任务标题子字段,用于存储条件触发任务的标识名称;任务描述子字段,用于存储对条件触发任务的自然语言描述;触发器描述子字段,用于存储触发条件的自然语言描述信息;执行动作描述子字段,用于存储执行动作的自然语言描述信息;追问场景子字段,用于存储在参数不完整时需要向用户追问的交互场景信息;拒识场景子字段,用于存储在触发条件不满足或意图无法识别时的拒识回复信息;模型回复子字段,用于存储任务执行后的标准化回复信息。
37、通过在推理内容字段中设置任务标题、任务描述、触发器描述、执行动作描述、追问场景、拒识场景和模型回复等子字段,实现推理过程信息的结构化存储,增强任务模型的推理能力和可解释性。
38、在上述第一方面的一种可能的实现中,推理内容字段采用链式思维结构进行组织,链式思维结构包括链式思维推理过程、任务标题、任务描述、触发器描述、执行动作描述、追问场景、拒识场景和模型回复中的至少一项;推理内容字段的各子字段拆解并分别应用于任务创建、任务执行和用户交互环节。
39、通过采用链式思维结构组织推理内容字段,并将各子字段拆解应用于任务创建、任务执行和用户交互环节,增强任务模型的链式推理能力,提升模型在复杂任务场景下的推理准确性和可解释性。
40、在上述第一方面的一种可能的实现中,嵌入式解耦结构中,触发条件、执行动作、逻辑关系和执行频率相互独立配置,在新增或修改触发条件、执行动作、逻辑关系或执行频率时,不改变任务数据结构的基础框架。
41、通过触发条件、执行动作、逻辑关系和执行频率相互独立配置的解耦结构,在新增或修改任一配置项时不改变任务数据结构的基础框架,提升数据结构的可扩展性和维护性。
42、在上述第一方面的一种可能的实现中,任务数据结构的基础消息字段采用与标准监督微调格式一致的消息序列结构,每条消息包含角色标识和消息内容;嵌入式解耦结构以扩展字段的形式嵌入基础消息字段中,在不改变标准监督微调格式解析逻辑的前提下承载条件触发任务的配置信息。
43、通过基础消息字段采用标准sft消息序列结构,并将嵌入式解耦结构以扩展字段形式嵌入,在不改变标准sft格式解析逻辑的前提下承载条件触发任务配置信息,确保数据结构与现有训练框架的兼容性。
44、在上述第一方面的一种可能的实现中,方法还包括各阶段数据回填:在触发-动作元数据获取阶段,将触发条件和执行动作分别回填至触发条件子字段和执行动作子字段;在初始样本数据生成阶段,将用户查询语句和模型回复回填至基础消息字段,将工具调用示例回填至嵌入式任务工具字段;在后处理阶段,将多轮交互逻辑回填至基础消息字段的消息序列中,将场景标签、推理过程信息、工具执行结果和交互话术分别回填至场景标签字段、推理内容字段、工具执行结果子字段和交互话术子字段。
45、通过各阶段数据回填机制,确保数据在触发-动作元数据获取、初始样本数据生成及后处理各阶段的完整性和一致性,实现数据处理全流程的信息追溯和质量保障。
46、在上述第一方面的一种可能的实现中,对多个初始样本数据进行后处理,得到多个目标样本数据之后,还包括:对目标样本数据进行分层校验,分层校验包括第一层格式校验、第二层逻辑一致性校验和第三层语义内容校验;其中,第一层格式校验和第二层逻辑一致性校验为自动化毫秒级校验,第三层语义内容校验用于降低人工校验成本;将校验通过的目标样本数据存入训练数据集,将校验未通过的目标样本数据进行标记并输出异常报告。
47、通过第一层格式校验、第二层逻辑一致性校验和第三层语义内容校验的分层校验机制,第一层和第二层为自动化毫秒级校验快速过滤格式错误和逻辑矛盾,第三层通过语义理解降低人工校验成本,三层校验逐层递进保障训练数据质量。
48、在上述第一方面的一种可能的实现中,方法还包括:将目标样本数据输入待训练的任务模型,对任务模型进行有监督微调训练,得到训练后的任务模型;任务模型用于响应于满足触发条件的用户输入,执行对应的条件触发任务。
49、通过将校验通过的目标样本数据用于任务模型的有监督微调训练,得到能够准确理解并执行条件触发任务的任务模型,提升智能体在多任务、多条件触发场景下的理解与执行能力。
50、第二方面,本技术提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时,实现如上述第一方面任一项的方法。
51、第三方面,本技术提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时,实现如上述第一方面任一项的方法。
52、第四方面,本技术提供了一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现上述第一方面任一项的方法。
53、上述第二方面至第四方面的有益效果,可以参考上述第一方面以及第一方面的各种可能的实现中的相关描述,在此不做赘述。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com