一种大模型语义编排方法及系统与流程
本发明涉及语言处理与人工智能,具体涉及一种大模型语义编排方法及系统。
背景技术:
1、近年来,以transformer架构为基础的大语言模型取得了显著进展,在自然语言理解、文本生成、知识问答等领域展现出了强大的能力。然而,大语言模型在实际应用部署中面临一个核心挑战:如何将用户的自然语言指令准确、高效地转化为可执行的任务流程。
2、现有技术中,已出现了一些基于大语言模型的任务编排方案。例如,中国发明专利公开了(专利号cn122197902a)提出了一种基于大语言模型的语义编排系统,包括意图理解模块、混合检索模块和动态编排引擎模块,通过解析、检索和编排自然语言指令实现精准响应;另有方案提出了基于大模型的ai工作流智能编排方法,通过大模型解析任务描述得到任务意图模型,将任务拆解为多个原子任务节点并生成候选工作流拓扑。
3、然而,上述现有技术仍存在以下不足:现有方案在任务拆解后生成的编排拓扑图主要基于结构化的依赖关系,缺乏对编排结果语义一致性的动态验证机制;各任务节点之间的输入输出在数据结构上可能兼容,但在语义层面上可能存在偏差,导致编排结果与用户意图不符;现有方案的编排过程多为单向流水线式执行,一旦编排结果生成即直接输出,缺乏对执行结果的语义归并和校验环节,无法确保最终输出在语义层面上的完整性和一致性。
4、针对上述问题,提出一种大模型语义编排方法及系统。
技术实现思路
1、本发明的目的在于提供一种大模型语义编排方法及系统,为了解决现有语义编排方案缺乏对编排结果语义一致性的动态验证,导致编排结果与用户意图可能存在语义偏差问题,设计在编排工作流生成后引入语义一致性验证环节,对各原子语义单元之间的语义对齐度进行量化计算,并在检测到语义鸿沟时自动插入语义适配节点,以求实现整个编排工作流在语义层面上的连贯性和一致性的技术效果。
2、为解决上述技术问题,本发明是通过以下技术方案实现的:
3、一种大模型语义编排方法,包括以下步骤:
4、步骤s1:语义解析阶段
5、获取用户输入的自然语言指令,通过大语言模型对所述自然语言指令进行多层次语义解析,得到包含任务目标、实体信息、约束条件和意图类别的结构化语义表示。
6、优选地,首先对所述自然语言指令进行预处理,包括分词、词性标注和命名实体识别,得到预处理文本;然后将所述预处理文本输入大语言模型,通过第一提示词模板引导大语言模型进行意图分类,输出意图类别向量;基于所述意图类别向量,通过第二提示词模板引导大语言模型进行任务目标抽取和实体信息提取,得到任务目标描述和实体列表;通过第三提示词模板引导大语言模型进行约束条件解析,提取时间约束、资源约束和质量约束,生成约束条件集合;最后将所述意图类别向量、任务目标描述、实体列表和约束条件集合进行结构化融合,得到所述结构化语义表示。
7、多层次语义解析的优势在于,通过分阶段、分层次的提示策略,可以充分利用大语言模型在不同语义维度上的理解能力,避免单一提示词模板导致的信息遗漏或语义混淆。
8、步骤s2:任务拆解与拓扑生成阶段
9、根据所述结构化语义表示,通过语义分解策略将整体任务拆解为多个原子语义单元,并基于各原子语义单元之间的数据依赖关系和控制依赖关系,生成初始语义编排拓扑图。
10、优选地,首先对所述结构化语义表示中的任务目标进行递归分解,将复杂任务逐层拆解为不可再分的原子语义单元;然后提取各原子语义单元之间的输入输出语义特征,计算语义特征之间的相似度,当相似度超过第一阈值时确定存在数据依赖关系,其中第一阈值 :取值区间为0.65~0.85,默认推荐值为0.75,该阈值用于判定两个原子语义单元之间是否存在数据依赖关系,当输入输出语义特征之间的相似度超过该阈值时,判定存在数据依赖,阈值采用基于验证集的统计标定方法确定,具体步骤如下:
11、步骤一:构建验证数据集。 针对每种阈值类型,分别构建对应的验证数据集:
12、第一阈值验证集:收集m对(m≥500)已知存在数据依赖关系的原子语义单元对,以及m对已知不存在数据依赖关系的单元对,提取各自的输入输出语义特征向量,计算余弦相似度。
13、第二阈值验证集:收集n个(n≥500)已知组件匹配成功的原子语义单元-技能组件对,以及n个已知匹配失败的单元-组件对,计算功能语义向量与组件功能描述向量的余弦相似度。
14、第三阈值验证集:收集k对(k≥500)已知语义对齐的相邻单元对,以及k对已知存在语义鸿沟的相邻单元对,计算输出语义向量与输入语义向量的余弦相似度。
15、步骤二:计算相似度分布。 对验证集中所有正例(存在依赖/匹配成功/语义对齐)和负例(不存在依赖/匹配失败/存在鸿沟)的余弦相似度分别进行统计,计算均值μ、标准差σ,绘制相似度分布直方图。
16、步骤三:确定最优阈值。 在阈值候选取值范围(0.50~0.95)内以0.01为步长进行网格搜索,对每个候选阈值计算精确率(precision)和召回率(recall)选择使f1-score最大化的阈值作为最优阈值。
17、步骤四:交叉验证与鲁棒性检验。 采用k折交叉验证(k=5或k=10),将验证集划分为k个子集,轮流将其中的k-1个子集作为训练数据用于阈值标定、剩余1个子集作为测试数据用于验证,取k次标定结果的均值作为最终阈值。若各次标定结果的标准差超过0.05,则需扩大验证集规模后重新标定。
18、步骤五:动态调整机制。 系统在运行过程中持续收集实际执行的反馈数据,定期(如每1000次执行后)重新执行上述标定流程,实现阈值的自适应优化;同时提取各原子语义单元之间的时序逻辑关系,确定控制依赖关系,所述控制依赖关系包括顺序关系、并行关系、选择关系和循环关系;最后以各原子语义单元为节点、以所述数据依赖关系和所述控制依赖关系为边,构建有向图,并对所述有向图进行环路检测与消除,生成有向无环图作为所述初始语义编排拓扑图,步骤s204-1:构建邻接表与入度表, 以各原子语义单元为节点v(|v|=n),以数据依赖关系和控制依赖关系为有向边e,构建有向图g=(v,e)。为每个节点维护一个邻接表(记录所有后继节点)和一个入度表(记录指向该节点的前驱节点数量)。
19、步骤s204-2:环路检测——基于dfs的三色标记算法。
20、采用深度优先搜索(dfs)进行环路检测。每个节点维护一个颜色标记:
21、白色(0) :尚未访问
22、灰色(1) :正在访问(当前dfs递归栈中)
23、黑色(2) :访问完成
24、对每个白色节点执行dfs递归遍历:访问时将节点标记为灰色;遍历其所有后继节点时,若后继节点为灰色,则检测到环路,记录环路路径;若后继节点为白色,则递归访问;当前节点所有后继遍历完成后,将节点标记为黑色。
25、语义分解策略的核心在于,不是简单地将任务按功能模块切分,而是以语义单元为基本粒度进行拆解,确保每个原子语义单元在语义层面上是完整、自治且可独立执行的。
26、步骤s3:组件匹配与工作流生成阶段
27、针对所述初始语义编排拓扑图中的各原子语义单元,从预置技能库中匹配对应的目标执行组件,并将所述结构化语义表示中的参数信息绑定至各目标执行组件的输入接口,生成可执行的语义编排工作流。
28、优选地,首先提取各原子语义单元的功能语义特征,生成功能语义向量;然后计算所述功能语义向量与预置技能库中各技能组件的功能描述向量之间的语义相似度;选取语义相似度最高的技能组件作为候选执行组件,当所述语义相似度超过第二阈值时,将所述候选执行组件确定为目标执行组件;当所述语义相似度低于或等于第二阈值时,通过大语言模型生成适配所述原子语义单元的自定义执行组件,并将所述自定义执行组件注册至所述预置技能库,decoder-only模型(如gpt系列)基于自回归生成架构,适用于内容生成、对话系统、信息抽取等任务。
29、这一基于语义相似度的组件匹配机制,相比于传统的关键词匹配或规则匹配,具有更强的泛化能力和语义理解能力;特别是当预置技能库中缺乏匹配组件时,通过大语言模型动态生成自定义组件的机制,显著提升了系统的可扩展性。
30、步骤s4:语义一致性验证阶段对所述语义编排工作流进行语义一致性验证,包括:对各原子语义单元的输出语义与后继原子语义单元的输入语义进行语义对齐度计算,当对齐度低于预设阈值时,插入语义适配节点进行语义转换。
31、优选地,首先提取当前原子语义单元的输出数据的语义特征,生成输出语义向量;提取后继原子语义单元的输入数据的语义特征,生成输入语义向量;计算所述输出语义向量与所述输入语义向量之间的余弦相似度作为语义对齐度;当所述语义对齐度低于第三阈值时,确定当前原子语义单元与后继原子语义单元之间存在语义鸿沟;响应于所述语义鸿沟的确定,在所述当前原子语义单元与所述后继原子语义单元之间插入语义适配节点,所述语义适配节点通过大语言模型将当前原子语义单元的输出数据转换为符合后继原子语义单元输入语义要求的数据格式。
32、这一语义一致性验证机制是本发明的核心创新之一;传统的工作流编排主要关注数据类型和格式的匹配,而忽视了更深层次的语义对齐;例如,一个节点输出的是“产品销量数据”,后继节点期望输入的是“市场表现评估”,二者在数据格式上可能兼容,但在语义层面上存在显著差异——前者是原始数据,后者是评估结论;本发明通过语义向量的相似度计算来量化这种语义差距,并通过语义适配节点进行自动转换,确保了编排结果在语义层面上的连贯性和一致性。
33、步骤s5:编排执行与结果归并阶段
34、按照所述语义编排工作流的拓扑顺序依次调用各目标执行组件,得到各原子语义单元的执行结果,并对所述执行结果进行语义归并处理,输出最终编排结果。
35、优选地,首先按照所述语义编排工作流的拓扑顺序,收集各原子语义单元的执行结果及其对应的语义标签;然后根据所述结构化语义表示中的任务目标,确定各执行结果在最终编排结果中的语义角色;基于所述语义角色,对结构化语义表示中的任务目标进行谓词-论元结构分析,例如,“分析公司上季度销售数据并生成市场分析报告”中,核心谓词为“分析”和“生成”,论元包括“公司上季度销售数据”(分析对象)和“市场分析报告”(生成对象);将每个原子语义单元的执行结果映射到任务目标的谓词-论元结构中,判定该结果属于核心结论、支撑论据、过程说明、可视化呈现还是附加信息;基于上述映射关系,为每个执行结果赋予相应的语义角色标签,并记录该角色在最终编排结果中的预期位置和呈现方式。通过大语言模型对各执行结果进行语义融合与去重处理,生成中间归并结果;对所述中间归并结果进行语义完整性校验,当校验通过时输出所述最终编排结果;当校验未通过时,识别缺失的语义要素,触发补充执行流程,获取补充结果后重新进行语义归并。
36、这一结果归并机制确保了最终输出不是各节点执行结果的简单拼接,而是在语义层面上的有机融合,从而保证了输出结果的语义完整性和一致性。
37、步骤s6:反馈驱动的动态优化阶段。
38、获取所述最终编排结果的反馈信息,基于所述反馈信息对所述语义编排工作流进行动态优化,包括节点替换、路径重规划和参数调整中的至少一种。
39、优选地,首先获取用户对所述最终编排结果的评价反馈和/或系统自动生成的执行质量评估数据作为所述反馈信息;对所述反馈信息进行语义分析,提取优化意图和优化目标;基于所述优化意图和优化目标,确定待优化的目标节点和目标路径;从所述预置技能库中重新匹配替代执行组件,对所述目标节点进行组件替换;基于替换后的组件,对所述语义编排工作流进行局部路径重规划,生成优化后的语义编排工作流;将所述优化后的语义编排工作流存储至历史编排案例库,用于后续编排任务的参考复用。
40、反馈驱动的动态优化机制使系统具备了持续学习和自我进化的能力;每一次编排执行的结果和反馈都被记录下来,用于优化后续的编排决策,形成了执行-反馈-优化-复用的闭环。
41、一种大模型语义编排系统,包括:
42、语义解析模块,用于获取用户输入的自然语言指令,通过大语言模型对所述自然语言指令进行多层次语义解析,得到包含任务目标、实体信息、约束条件和意图类别的结构化语义表示。
43、任务拆解模块,与所述语义解析模块连接,用于根据所述结构化语义表示,通过语义分解策略将整体任务拆解为多个原子语义单元,并基于各原子语义单元之间的数据依赖关系和控制依赖关系,生成初始语义编排拓扑图。
44、组件匹配模块,与所述任务拆解模块连接,用于针对所述初始语义编排拓扑图中的各原子语义单元,从预置技能库中匹配对应的目标执行组件,并将所述结构化语义表示中的参数信息绑定至各目标执行组件的输入接口,生成可执行的语义编排工作流。
45、语义验证模块,与所述组件匹配模块连接,用于对所述语义编排工作流进行语义一致性验证,包括对各原子语义单元的输出语义与后继原子语义单元的输入语义进行语义对齐度计算,当对齐度低于预设阈值时插入语义适配节点。
46、编排执行模块,与所述语义验证模块连接,用于按照所述语义编排工作流的拓扑顺序依次调用各目标执行组件,得到各原子语义单元的执行结果,并对所述执行结果进行语义归并处理,输出最终编排结果。
47、反馈优化模块,与所述编排执行模块连接,用于获取所述最终编排结果的反馈信息,基于所述反馈信息对所述语义编排工作流进行动态优化。
48、其中,所述预置技能库包括:技能组件存储单元,用于存储多个技能组件的功能描述、输入输出接口定义和调用地址;语义索引单元,用于对各技能组件的功能描述进行语义向量化处理,构建语义索引,以支持基于语义相似度的组件检索;动态注册单元,用于响应于组件匹配失败事件,通过大语言模型生成自定义执行组件并将所述自定义执行组件注册至所述技能组件存储单元。
49、所述语义验证模块包括:语义对齐计算单元,用于提取当前原子语义单元的输出语义向量和后继原子语义单元的输入语义向量,计算二者之间的余弦相似度作为语义对齐度;语义鸿沟检测单元,用于将所述语义对齐度与第三阈值进行比较,当所述语义对齐度低于第三阈值时确定存在语义鸿沟;语义适配单元,用于响应于所述语义鸿沟的确定,通过大语言模型生成语义转换逻辑,在所述当前原子语义单元与所述后继原子语义单元之间插入语义适配节点。
50、所述反馈优化模块包括:反馈采集单元,用于获取用户评价反馈和系统执行质量评估数据;反馈分析单元,用于对所述反馈信息进行语义分析,提取优化意图和优化目标;优化决策单元,用于基于所述优化意图和优化目标确定待优化的目标节点和目标路径,并从所述预置技能库中重新匹配替代执行组件;工作流更新单元,用于基于替换后的组件对所述语义编排工作流进行局部路径重规划,生成优化后的语义编排工作流;案例存储单元,用于将所述优化后的语义编排工作流存储至历史编排案例库。
51、本发明具有以下有益效果:
52、1.本发明通过在编排工作流生成后引入语义一致性验证环节,对各原子语义单元之间的语义对齐度进行量化计算,并在检测到语义鸿沟时自动插入语义适配节点,确保了整个编排工作流在语义层面上的连贯性和一致性,避免了因语义偏差导致的编排结果与用户意图不符的问题。
53、2.本发明通过对各执行结果进行语义归并处理,根据任务目标确定各结果在最终输出中的语义角色,并通过大语言模型进行语义融合与去重,确保了最终输出不是各节点结果的简单拼接,而是在语义层面上的有机融合,保证了输出结果的语义完整性和一致性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com