一种基于大语言模型的仿真模型智能验证方法及系统

摘要: 本发明涉及仿真模型验证、人工智能及数据处理等,具体涉及一种基于大语言模型的仿真模型智能验证方法及系统。背景技术:1、仿真模型验证用来确认仿真模型输出与对应真实系...
一种基于大语言模型的仿真模型智能验证方法及系统

本发明涉及仿真模型验证、人工智能及数据处理等,具体涉及一种基于大语言模型的仿真模型智能验证方法及系统。

背景技术:

1、仿真模型验证用来确认仿真模型输出与对应真实系统行为的一致性,从而为仿真模型可信度评估提供关键的证据。传统验证方法高度依赖领域专家经验,需针对不同数据类型分别选择数据分析方法与流程,存在效率低下且准确性难以保障的问题。

2、现有技术中,基于固定规则的仿真输出与实测数据对比技术虽能实现数据预处理、假设检验及置信区间计算等基本功能,并通过预设流程完成验证,但普遍存在验证流程固化的问题,缺乏对数据特征的自动感知能力,且需人工选择预处理与统计检验方法,对使用者专业门槛要求较高,无法根据数据特征自适应调整处理策略和流程。与此同时,静态数据与动态时序数据的处理方法相互割裂,缺乏统一框架。此外,专注于时域比对的时间序列相似性度量技术虽能基于动态时间规整、欧氏距离等方法实现多维时间序列的相似性计算,但其分析维度往往局限于单一域,未构建低频时域、高频频域与时频域的多尺度融合框架,且方法选择依赖人工指定,无法实现自适应推荐。综上所述,现有技术普遍存在验证流程高度依赖专家经验、自动化程度低、缺乏对数据特征的深度感知、静态与时序数据验证方法割裂以及无领域最佳实践的结构化积累与复用机制等核心缺陷(chen h z, shen x, lvq t, et al. sac-kg: exploiting large language models as skilled automaticconstructors for domain knowledge graphs[j/ol]. arxiv preprint arxiv:2410.02811, 2024、lewis p, perez e, piktus a, et al. retrieval-augmentedgeneration for knowledge-intensive nlp tasks[j]. advances in neuralinformation processing systems, 2020.)。

3、仿真模型验证自动化与准确性面临的特定技术难题。一方面,现有验证流程高度依赖领域专家的经验判断,从预处理策略选择到统计检验方法的确定均需人工干预,不仅耗时费力,且不同专家给出的验证方案往往存在差异,导致验证结果的准确性和一致性难以保障;另一方面,现有技术方案在处理不同类型数据时存在明显的割裂性,静态数据的统计检验与时序数据的频域/时频域分析往往分属不同的工具和流程,缺乏一个能够统一处理多类型数据的智能框架。现有方法侧重于单一维度的评估,未能构建一个能够感知不同类型数据特征并自适应调整、且能沉淀历史经验的闭环系统,导致在面对复杂的仿真验证需求时,无法提供高效、统一且可追溯的解决方案。

技术实现思路

1、本发明的目的在于提供一种基于大语言模型的仿真模型智能验证方法及系统,通过构建rag知识库与skill技能库双驱动的知识融合框架,利用大语言模型的自主推理和规划能力,实现静态数据与动态时序数据在同一智能框架下的自适应验证。具体而言,该方法首先通过数据特征感知引擎自动计算输入仿真数据与参考数据的元特征,生成结构化的数据画像,涵盖样本量、分布特性及平稳性等关键信息,为智能决策提供数据基础。在此基础上,系统构建由rag知识库与skill技能库组成的双驱动知识融合框架,其中rag知识库通过向量化形式存储统计检验原理、时序分析方法论等理论知识以及以往最佳验证经验,为决策提供理论依据;skill技能库以结构化格式存储历史成功的验证动作序列模板,实现最佳实践的快速复用。接着,基于大语言模型的智能验证规划器根据数据画像与知识融合结果自主规划验证工作流,优先匹配高置信度的skill模板,在无匹配时结合rag检索结果进行原创规划,并针对静态数据与时序数据分别执行相应的验证路径。随后,验证执行引擎依次调用各类工具集自动执行工作流中的步骤,并由大语言模型整合执行结果生成包含数据画像、验证工作流、算法选择理由、单项验证指标、综合一致性评分、可信度评价、可视化结果和改进建议的标准化可解释验证报告。最后,系统设有skill学习与进化机制,能够将经专家确认的原创验证规划结构化为新的skill入库,并随着使用积累动态更新置信度,从而实现系统验证能力的持续增强。

2、本发明至少通过如下技术方案之一实现。

3、一种基于大语言模型的仿真模型智能验证方法,包括以下步骤:

4、(1)、基于数据特征感知引擎计算输入数据的元特征,生成结构化数据画像;

5、(2)、根据当前数据画像中的关键特征,在rag知识库与skill技能库双驱动的知识融合框架进行检索与匹配,采用综合匹配值最高的skill;若不存在高置信度匹配skill,则由llm结合rag检索结果规划验证工作流;

6、(3)、根据数据画像、rag检索结果和skill匹配结果采用大语言模型生成验证工作流;

7、(4)、由验证执行引擎依次执行验证工作流中各步骤,输出各验证算法的验证结果;

8、(5)、对验证执行引擎输出的多源验证结果进行统一整理、融合分析与可信度综合评估,并最终生成包含结构化验证结果和可视化分析内容的标准化可解释验证报告。

9、进一步地,步骤(1)包括以下步骤:

10、接收两组输入数据,输入数据包括来自不同来源的仿真数据与实测的参考数据;

11、计算包括通用特征、统计特征或时序特征的元特征;

12、将所有计算得到的元特征封装为结构化的数据画像,作为后续大语言模型规划验证工作流的核心输入。

13、进一步地,rag知识库以向量化形式存储领域理论知识文档,涵盖数据预处理技术原理与使用条件、统计检验原理与适用条件、时序分析方法原理,以及以往的最佳验证经验和案例;根据当前数据画像中的关键特征,检索最相关的知识文档。

14、进一步地,步骤(2)的匹配包括:将当前数据画像与skill索引进行匹配,分别计算数据画像与触发条件的相似度、当前验证目标与验证动作序列的相似度、当前数据场景与适用场景说明的相似度,并加权计算综合匹配值;当综合匹配值大于阈值时,认定为高置信度匹配;若存在多个高置信度匹配skill,则优先采用综合匹配值最高的skill;若不存在高置信度匹配skill,则由llm结合rag检索结果原创规划验证工作流。

15、进一步地,步骤(3)中的工作流为一个有序的验证动作序列,每个动作对应验证执行引擎中的一个具体工具, 针对静态数据场景的验证工作流为:数据预处理→分布检验→假设检验/非参数检验→结果融合与评价的验证路径;

16、针对时序数据场景的验证工作流为:数据预处理→平稳性检测和处理→时序相似性分析方法→结果融合与评价的验证路径。

17、进一步地,步骤(4)包括以下步骤:

18、首先对验证工作流的流程完整性进行校验,并结合当前数据画像自动加载对应的数据块、算法模块以及参数配置;随后按照顺序执行各项验证任务,在执行过程中,针对不同数据类型自动切换对应的验证算法体系;在完成全部验证步骤后,对各验证算法输出结果进行统一整理,自动生成标准化可解释验证报告。

19、进一步地,步骤(5)包括以下步骤:

20、首先接收不同验证算法输出的结果,并映射为标准化验证结果结构;然后对各项验证结果进行综合一致性分析;最后将数据画像、验证工作流、验证算法、单项指标值、可信度评价结果和可视化结果映射为统一的结构化字段,llm通过结构化字段生成自然语言解释。

21、进一步地,在每次验证任务完成后,自动收集本次验证过程中产生的运行信息,随后,对收集的信息进行统一整理,构建对应的验证案例对象;在完成案例构建后,对历史验证流程进行结构化抽取,并自动生成可复用的skill模板。

22、进一步地,每一个skill在实际调用后,自动记录其执行成功率、结果一致性以及用户修正情况的指标,并基于指标动态计算对应的skill置信度评分;当某一skill在多个任务中持续获得有效的验证效果时,提升优先级与推荐权重。

23、实现所述的一种基于大语言模型的仿真模型智能验证方法的系统,包括:

24、数据接入与特征感知层,用于接收仿真数据与参考数据,自动计算数据画像;

25、智能验证中枢,用于基于数据画像和双驱动知识框架自主规划验证工作流;

26、验证执行引擎,用于执行工作流中的具体验证步骤;

27、结果融合与报告层,用于收集执行结果并生成标准化可解释验证报告;

28、skill学习与进化模块,用于将经专家确认的原创验证工作流沉淀为新skill,实现系统能力的自主增强。

29、与现有的技术相比,本发明的有益效果为:

30、本发明构建了一种基于“大语言模型+rag+skill自学习”共同驱动的智能化模型验证框架,能够根据输入数据特征自动规划验证流程,突破了传统验证系统严重依赖人工经验与固定规则配置的问题,实现了验证流程的自主决策与动态生成。

31、相较于现有仅支持单一统计检验或固定验证方法的系统,本发明建立了统一的多类型验证执行体系,能够针对静态数据和时序数据自动切换对应验证算法,实现一体化数实一致性分析。

32、本发明提出的数据特征感知机制能够自动识别数据分布特性、时序特征及频域特征,并基于数据画像驱动后续验证方法选择,使验证过程由“人工经验驱动”转变为“数据特征驱动”,显著提高了验证策略选择的合理性与适应性。

33、此外,本发明进一步引入 skill 学习与进化机制,能够对历史验证案例进行自动沉淀与结构化复用,并依据执行效果持续优化验证流程,实现验证经验的持续积累与系统能力自进化,解决了传统验证平台缺乏学习能力的问题。

34、同时,本发明支持验证结果自动融合、可信度综合评估以及标准化可解释验证报告自动生成,可形成完整的模型校验闭环流程,从而有效提高仿真模型可信度评估工作的自动化程度、执行效率与工程应用能力。