多模型语义归一化融合与矛盾权重裁决方法与流程

摘要: 本发明涉及数据处理,尤其是涉及多模型语义归一化融合与矛盾权重裁决方法。背景技术:1、随着人工智能技术的应用普及,在处理复杂的自然语言业务任务时,业务系统常采用集...
多模型语义归一化融合与矛盾权重裁决方法与流程

本发明涉及数据处理,尤其是涉及多模型语义归一化融合与矛盾权重裁决方法。

背景技术:

1、随着人工智能技术的应用普及,在处理复杂的自然语言业务任务时,业务系统常采用集成多个异构模型的并发推理架构,以弥补单一模型在特定业务场景下的逻辑计算局限性。然而,现有的多模型集成架构在实际运行中仍存在部分缺陷。

2、在执行并发调用阶段,由于不同底层的异构模型在参数规模和运算机制上存在差异,各模型的推理返回耗时并不一致。现有的调度逻辑通常要求收集所有参与调用的模型结果后才执行后续的数据汇总,导致系统整体的业务流转时长受制于耗时最长的特定模型,增加了底层的非必要等待时延与并发资源占用。同时,在将各异构模型输出的非结构化文本转化为标准结构化字段的过程中,现有的中间级信息抽取环节缺乏对生成内容的溯源动作,容易在结构化数据集中混入抽取组件自身运算产生的脱离原始文本的虚构或错配特征。

3、此外,当多个异构模型针对同一语义字段输出截然不同的冲突内容时,现有方案多依赖基础的多数表决机制或静态配置的优先级进行结果覆盖。该类方式未能综合考量不同模型在具体业务场景下的历史精度、合规要求约束以及当前底层数据的距离分布差异,导致处理多模型输出矛盾的过程缺乏多维度的量化评价标准,难以对异常孤立数据进行有效拦截,降低了最终业务生成结果的客观性与准确度。

技术实现思路

1、本发明的目的是提供多模型语义归一化融合与矛盾权重裁决方法,解决了现有多模型集成架构在执行复杂业务任务时,常因异构模型运算耗时存在差异导致系统整体计算等待时间较长;在处理多模型输出的冲突内容时缺乏客观的量化判定标准;且中间级非结构化文本信息的抽取过程容易产生缺乏原文支撑的脱漏或错配数据,导致业务处理结果的准确性与过程日志追踪的可靠性降低的问题。

2、为解决上述问题,本发明提供如下技术方案:

3、本发明第一方面提供多模型语义归一化融合与矛盾权重裁决方法,包括以下步骤:

4、接收目标业务任务,计算目标业务任务的综合评估分值,并基于所述综合评估分值确定模型调用策略;

5、在多模型并发调用分支下触发多个异构模型的并行推理,并基于截断机制获取有效原始输出集合;

6、将所述有效原始输出集合中的非结构化文本内容映射为键值数据对,并对所述键值数据对中的特征数据执行逆向文本片段检索,进行校验筛选;

7、提取评估指标数据计算各所述异构模型的相对权重分值,并基于所述相对权重分值对存在输出冲突值的特征数据执行加权求和计算,确定采信值;

8、扫描采信值集合中的空白语义字段,基于所述相对权重分值对所述空白语义字段执行信息填补,生成最终业务结果。

9、进一步的,所述基于所述综合评估分值确定模型调用策略,具体包括:提取预置的第一评估分值阈值,将所述综合评估分值与所述第一评估分值阈值进行比对;

10、当所述综合评估分值小于所述第一评估分值阈值时,分配单一候选模型执行推理任务;

11、当所述综合评估分值大于或等于所述第一评估分值阈值时,从候选模型库中提取指定数量的异构模型进入并行调用列表,触发所述多模型并发调用分支。

12、采用上述方案,系统能够依据任务复杂度对应的评估分值动态分配算力路径,减少常规运算任务对并发资源的无效占用,并为复杂业务任务提供多模型的并行计算条件。

13、进一步的,所述计算目标业务任务的综合评估分值,具体包括:

14、获取所述目标业务任务的基础业务属性以及自然语言输入参数,并解析获取数值化后的语义深度数值、归一化处理后的总词元数量以及初始风险评级的映射数值;

15、依据预设参数映射表匹配提取语义深度因子的设定权重、词元数量因子的设定权重以及业务风险因子的设定权重;

16、将所述语义深度数值、所述总词元数量以及所述映射数值分别与对应的所述设定权重相乘后进行求和计算,得到所述综合评估分值。

17、采用上述方案,将业务属性与文本特征转化为多维参量,并通过带权重的线性求和将其整合成单项评分,为后续模型调用策略的选取提供量化依据。

18、进一步的,所述基于截断机制获取有效原始输出集合,具体包括:在预置的第一时间窗口内,实时接收并缓存各个异构模型返回的推理结果文本;

19、计算当前时刻已返回推理结果文本的异构模型的预期执行权重总和与所有异构模型的预期执行权重总和的百分比,获取当前的动态共识置信度;

20、提取共识阈值,当所述动态共识置信度达到或超过所述共识阈值时,触发截断机制,向尚未返回推理结果文本的异构模型发送任务终止指令,并将截断机制触发前缓存的所有推理结果文本打包设定为所述有效原始输出集合。

21、采用上述方案,在并行运算阶段引入动态共识置信度判定。当累计返回结果模型的预期权重达到共识阈值时提前终止计算,减少对高耗时模型的等待环节,控制异构并发环境下的整体处理时长。

22、进一步的,所述对所述键值数据对中的特征数据执行逆向文本片段检索,具体包括:

23、将所述特征数据作为检索词重新带入生成所述特征数据的原始非结构化文本内容中,通过字符串序列对比寻找特征数据在非结构化文本内容中的匹配支撑片段;

24、计算所述特征数据与所述原始非结构化文本内容之间的最长公共子串的字符长度,并除以所述特征数据的自身字符总长度,获取逆向文本匹配重叠率;

25、提取预设的文本支撑阈值,当所述逆向文本匹配重叠率小于所述文本支撑阈值时,删除包含所述特征数据的整条键值数据对;

26、当所述逆向文本匹配重叠率大于或等于所述文本支撑阈值时,保留所述特征数据所在的键值数据对。

27、采用上述方案,通过计算字符串重叠率核对映射特征数据的原始出处,过滤结构化抽取过程中产生的无原文支撑数据,提高向后续步骤流转的数据准确性。

28、进一步的,所述提取评估指标数据计算各所述异构模型的相对权重分值,具体包括:

29、提取各所述异构模型的合规要求数据、场景优先级数据、历史推理精度数据以及业务适配度数据,并转化为规范化数值;

30、将各项所述规范化数值代入系统内置的线性评估函数中计算,得到各所述异构模型的独立权重值;

31、汇总有效原始输出集合中包含的所有异构模型的独立权重值,计算所述独立权重值的总体累加数值;

32、将各所述异构模型的独立权重值除以所述总体累加数值,获取每个模型对应的相对权重分值。

33、采用上述方案,结合合规、优先级、精度等维度得出独立权重,并执行累加除数运算获取相对权重分值。该处理方式对齐了不同底层异构模型的权重计算尺度,为后续处理矛盾输出提供数值参量。

34、进一步的,所述基于所述相对权重分值对存在输出冲突值的特征数据执行加权求和计算,确定采信值,具体包括:

35、当检测到同一标准语义字段下不同异构模型给出的特征数据存在内容差异时,将存在差异的特征数据提取为候选的输出冲突值;

36、利用生成所述输出冲突值的异构模型的相对权重分值,对各项候选数值结合内容指示函数执行加权求和计算,得到加权统计得分;

37、将候选集合中加权统计得分最大的候选输出冲突值确定为所述标准语义字段的所述采信值。

38、采用上述方案,结合相对权重分值与内容指示函数计算统计得分,能够量化评估各异构模型输出的冲突内容,降低因单纯依赖个别高权重模型或简单多数模型导致的判定偏差。

39、进一步的,在所述确定采信值的过程中,同步执行底层异常数据拦截操作,具体包括:

40、测量单一模型给出的输出冲突值与其他异构模型给出结果之间的特征距离分布差异;

41、提取正常集群阈值,当所述输出冲突值的分布差异严重偏离所述正常集群阈值,且生成所述数据的异构模型对应的相对权重分值低于预设界限时,将所述特征数据标记为孤立输出项;

42、将所述孤立输出项从候选集合中强制剔除。

43、采用上述方案,在执行采信计算前同步判定特征距离的分布差异,提前剥离特征差异偏离正常设定且来源权重较低的孤立数据,防止其干预加权求和过程。

44、进一步的,所述基于所述相对权重分值对所述空白语义字段执行信息填补,具体包括:

45、遍历当前记录的所有异构模型的有效输出集合,提取包含所述空白语义字段实质内容的异构模型作为备选集合;

46、调取所述备选集合中各模型对应的相对权重分值;

47、选取相对权重分值最高的异构模型所生成的特征数据执行所述空白语义字段的信息填补,获取内容完整的标准语义字段集合。

48、采用上述方案,针对产生缺失的标准语义字段,按权重排序调用关联模型数据进行填补,解决因运算被截断或校验删除引发的字段留白问题。

49、进一步的,所述生成最终业务结果的同时,启动全链路数据抓取指令,具体包括:

50、获取所述综合评估分值、所述有效原始输出集合、执行逆向文本匹配的检索记录以及计算使用的各项设定权重;

51、按照业务处理的时间戳顺序,将上述过程数据映射为嵌套的数据树结构,生成过程日志;

52、调用写入接口,将所述过程日志存储至只读存储介质中。

53、采用上述方案,将业务流转节点的输入、计算参数及判定记录整理并封装为数据树结构存储,为人工排查与流程审计提供客观的过程记录参量。

54、本发明第二方面提供多模型语义归一化融合与矛盾权重裁决系统,包括:

55、任务路由模块,配置用于接收目标业务任务,计算目标业务任务的综合评估分值,并基于所述综合评估分值确定模型调用策略;

56、并行调度模块,配置用于在多模型并发调用分支下触发多个异构模型的并行推理,并基于截断机制获取有效原始输出集合;

57、语义归一化模块,配置用于将所述有效原始输出集合中的非结构化文本内容映射为键值数据对,并对所述键值数据对中的特征数据执行逆向文本片段检索,进行校验筛选;

58、权重裁决模块,配置用于提取评估指标数据计算各所述异构模型的相对权重分值,并基于所述相对权重分值对存在输出冲突值的特征数据执行加权求和计算,确定采信值;

59、融合输出模块,配置用于扫描采信值集合中的空白语义字段,基于所述相对权重分值对所述空白语义字段执行信息填补,生成最终业务结果。

60、综上所述,本发明包括以下至少一种有益技术效果:

61、1.本发明通过计算综合评估分值决定模型调用策略,并在多模型并发调用时根据动态共识置信度触发截断机制。通过上述技术特征,系统依据任务复杂度控制算力路径分配,并在异构模型并行推理阶段,当已返回结果的预期执行权重达到设定的共识阈值时主动终止网络等待状态,从而控制了并行架构下的整体运算等待时长,减少了底层计算资源的占用。

62、2.本发明在语义数据映射后通过逆向文本片段检索计算匹配重叠率,并在特征数据裁决前结合正常集群阈值剔除分布差异偏离的孤立输出项。上述特征利用原文字符串对比操作过滤了信息抽取阶段缺乏原文支撑的错配内容,并在求和计算前提前剥离了数值分布严重偏离常规空间的底层数据,限制了错误参数流入后续环节,提升了运算数据集的准确度。

63、3.本发明提取异构模型在多个维度的评估指标转化为规范化数值以计算相对权重分值,并对存在输出冲突值的特征数据结合内容指示函数执行加权求和。该方式通过提取历史运行日志及业务指标数据对齐了不同底层异构模型的权重衡量尺度,为多模型输出矛盾的字段内容提供了具体的统计得分计算依据,减少了直接选用单一模型结果导致的偏差,提高了最终采信值的可靠性。