基于AI大模型的数据处理方法及系统与流程

本发明涉及数据处理，特别涉及一种基于ai大模型的数据处理方法及系统。

背景技术：

1、随着人工智能技术的快速发展，大语言模型在自然语言处理、数据分析等领域展现出强大的能力。然而，单一模型受限于其架构设计、训练数据和参数规模，难以在所有任务上达到最优性能。为应对复杂数据处理需求，实践中逐渐采用多模型协同的方式，即调用多个不同的大模型共同完成一项任务。当前的多模型协同方法通常采用固定流程编排，或简单地将各模型的输出结果进行投票融合。然而，现有技术中，不同模型对同一语义概念的理解存在差异，导致模型间传递的中间结果发生语义漂移，下游模型无法准确理解上游模型的输出；而固定流程无法根据任务特征动态适配最优的模型组合与调用方式，协同效率低下；多模型输出结果可能相互支持或相互矛盾，缺乏有效的综合判断机制，导致最终结果的可信度难以评估，且缺乏可解释性。

技术实现思路

1、本发明的主要目的为提供一种基于ai大模型的数据处理方法及系统，在多异构大模型协同推理过程中，通过动态编排模型协作关系、实时校准模型间语义一致性以及构建可全局寻优的证据网络，以实现提升复杂数据处理任务的精度、效率与结果可解释性的目的。为实现上述目的，本发明提供了一种基于ai大模型的数据处理方法，包括以下步骤：

2、接收用户请求或原始数据，并通过任务编译器将所述用户请求或原始数据编译为由机器可执行的语义指令构成的语义指令集；

3、将所述语义指令集输入策略控制器，由策略控制器动态生成模型协作拓扑图，所述模型协作拓扑图定义了需调用的多个异构大模型实例及各大模型实例之间的协作关系与数据流向；

4、依据所述模型协作拓扑图调度大模型阵列中对应的多个异构大模型实例执行推理，并在模型间传递语义化中间结果时，对所述语义化中间结果进行语义校准，生成对齐后的语义数据，并将所述语义数据及附带的信度标签传递至下游模型实例继续执行；

5、将各模型实例执行完毕后输出的最终处理结果，以及各模型实例在执行过程中生成的附带信度标签的推理链，输入证据网络融合器；

6、通过所述证据网络融合器构建证据网络图，并通过图计算在所述证据网络图上进行全局寻优，输出最终处理结果及对应的可解释性溯源路径。

7、进一步地，由策略控制器动态生成模型协作拓扑图的步骤，包括：

8、通过所述策略控制器对所述语义指令集进行特征提取，获取当前任务的复杂度特征、领域特征及数据依赖关系；

9、将所述复杂度特征、领域特征及数据依赖关系输入预训练的元学习预测模型，由所述元学习预测模型输出多个候选模型组合及各候选模型组合对应的执行置信度；

10、基于各候选模型组合对应的执行置信度，结合预设的启发式搜索算法，对各候选模型组合中模型实例的调用顺序与并行关系进行搜索优化，生成包含模型实例标识、调用顺序、并行关系及数据流向路径的模型协作拓扑图。

11、进一步地，调度大模型阵列中对应的多个异构大模型实例执行推理的步骤之前，还包括：

12、预先部署大模型阵列，所述大模型阵列中包含多个在架构类型、参数规模或专业领域上互为异构的大模型实例；

13、为所述大模型阵列中的各模型实例配置统一的输入输出接口，并分配唯一的实例标识；

14、建立模型实例与可执行的语义指令类型之间的映射关系表，并将所述映射关系表存储至策略控制器的关联数据库中。

15、进一步地，对所述语义化中间结果进行语义校准，生成对齐后的语义数据，并将所述语义数据及附带的信度标签传递至下游模型实例继续执行的步骤，包括：

16、通过语义校准模块截获所述语义化中间结果及附带的信度标签；

17、将所述语义化中间结果映射至预设的公共语义空间基准中，通过与所述公共语义空间基准中对应的标准语义表征进行比对，计算所述语义化中间结果的表征向量与所述标准语义表征之间的偏移量；

18、若所述偏移量超过预设阈值，则判定存在语义漂移，并根据所述公共语义空间基准对所述语义化中间结果的表征向量进行调整，生成对齐后的语义数据；

19、提取所述语义化中间结果对应的推理路径，将所述推理路径与所述公共语义空间基准中预设的标准推理逻辑进行一致性校验，识别所述推理路径中与所述标准推理逻辑存在冲突的逻辑冲突节点；

20、对所述逻辑冲突节点进行标记并修正，将修正后的推理路径与所述对齐后的语义数据关联后传递至下游模型实例。

21、进一步地，所述信度标签至少包含以下信息之一：语义校准前的原始置信度、语义校准过程中的校准偏移量、校准后的修正置信度、推理路径中各节点的逻辑强度、上游模型实例的标识及版本信息。

22、进一步地，通过所述证据网络融合器构建证据网络图的步骤，包括：

23、通过所述证据网络融合器提取各模型实例输出的最终处理结果作为证据节点；

24、提取各模型实例的推理链中存在的逻辑因果关系，以所述逻辑因果关系作为证据节点之间的有向边；

25、将各模型实例的推理链附带的信度标签进行归一化处理后，作为对应证据节点的节点权重，并将所述有向边对应的逻辑强度作为边权重；

26、以所述证据节点、有向边、节点权重和边权重构成带权重的有向图，作为证据网络图。

27、进一步地，通过图计算在所述证据网络图上进行全局寻优的步骤，包括：

28、在所述证据网络图上，以初始数据对应的证据节点作为起点，以各末端证据节点作为终点；

29、执行预设的图搜索算法，遍历从所述起点至各终点的所有路径，根据各路径上节点权重与边权重的加权累积，计算每条路径的综合置信度；

30、选取综合置信度最高路径上的终点对应的最终处理结果作为输出结果，并将所述综合置信度最高路径上的所有证据节点及对应的推理链作为可解释性溯源路径输出。

31、进一步地，调构建证据网络图的步骤之后，还包括：

32、对所述证据网络图中存在逻辑矛盾的证据节点进行冲突检测；

33、若检测到两个以上证据节点的推理链指向相互排斥的结论，则根据各证据节点对应的信度标签及节点权重，选取置信度最高的证据节点作为主导节点，并标记其余冲突节点为待验证节点；

34、将所述待验证节点的信息反馈至策略控制器，由策略控制器触发重新调度相关模型实例进行二次验证。

35、进一步地，输出最终处理结果及对应的可解释性溯源路径的步骤之后，还包括：

36、将所述最终处理结果及对应的可解释性溯源路径输入至性能回馈环路；

37、所述性能回馈环路对所述最终处理结果进行正确性验证，并根据验证结果对所述可解释性溯源路径中涉及的模型协作拓扑图、语义校准模块的校准参数及证据网络融合器的图计算权重进行反向传播优化；

38、将优化后的参数更新至策略控制器、语义校准模块及证据网络融合器中。

39、本发明还提供一种基于ai大模型的数据处理系统，包括：

40、任务编译单元，用于接收用户请求或原始数据，并通过任务编译器将所述用户请求或原始数据编译为由机器可执行的语义指令构成的语义指令集；

41、策略控制单元，用于将所述语义指令集输入策略控制器，由策略控制器动态生成模型协作拓扑图；

42、大模型阵列单元，用于依据所述模型协作拓扑图调度大模型阵列中对应的多个异构大模型实例执行推理，并在模型间传递语义化中间结果时，对所述语义化中间结果进行语义校准，生成对齐后的语义数据，并将所述语义数据及附带的信度标签传递至下游模型实例继续执行；

43、语义校准单元，用于将各模型实例执行完毕后输出的最终处理结果，以及各模型实例在执行过程中生成的附带信度标签的推理链，输入证据网络融合器；

44、网络融合单元，用于通过所述证据网络融合器构建证据网络图，并通过图计算在所述证据网络图上进行全局寻优，输出最终处理结果及对应的可解释性溯源路径。

45、本发明提供的基于ai大模型的数据处理方法及系统，具有以下有益效果：

46、本发明通过策略控制器基于元学习预测与启发式搜索动态生成模型协作拓扑图，使系统能够根据不同任务特征自适应地选择最优的模型组合与调用方式，提升了多模型协同的灵活性与效率；通过在模型间传递语义化中间结果时引入语义校准模块，将中间结果映射至公共语义空间基准进行实时校准，有效消除了多模型协同中的语义漂移问题，确保下游模型能够准确理解上游模型的输出，同时通过信度标签的传递使校准过程透明可追溯；通过证据网络融合器将各模型的输出结果及完整的推理链构建为带权重的证据网络图，并采用图计算算法进行全局寻优，输出综合置信度最高最终结果的同时，还提供完整的可解释性溯源路径，使决策过程清晰可信；通过性能回馈环路对全链路参数进行反向传播优化，形成自优化，使系统能够从历史执行中持续学习进化。本发明实现了在多异构大模型协同推理过程中精度、效率与可解释性的同步提升。