基于多模态大模型的交互式世界模型分层评价方法及系统

摘要: 本发明涉及人工智能模型评价,具体涉及一种基于多模态大模型的交互式世界模型分层评价方法及系统。背景技术:1、世界模型可对真实世界的视觉场景、物理规律及动态变化过程...
基于多模态大模型的交互式世界模型分层评价方法及系统

本发明涉及人工智能模型评价,具体涉及一种基于多模态大模型的交互式世界模型分层评价方法及系统。

背景技术:

1、世界模型可对真实世界的视觉场景、物理规律及动态变化过程进行模拟与预测,在自动驾驶仿真、机器人规划、视频生成、游戏引擎智能化等领域具备广泛应用价值。近年来,视频扩散模型(如sora、nvidia cosmos等)的快速发展推动世界模型的生成质量与交互能力持续提升,对世界模型开展系统性评价的需求也日益迫切。

2、现有世界模型评价方法主要分为三类。第一类是基于统计分布的自动指标方法,典型如fid(fréchet inception distance)、fvd(fréchet video distance)、is(inception score)等,这类方法通过计算生成内容特征分布与真实数据分布的统计距离衡量生成质量,但仅能反映整体分布层面的相似性,无法捕捉具体的语义合理性、物理可信度及交互控制的遵循程度,与人类主观感知存在较大偏差;第二类是人工评价方法,其评价结果与人类感知高度一致,但存在评价成本高、效率低、评价标准难以统一、可重复性差等缺陷,难以大规模推广应用;第三类是基于评测基准的方法,例如针对视频生成质量的vbench、针对物理合理性的physbench等,这类方法虽涵盖多个评价维度,但各维度相互独立,且多依赖固定算法指标,缺乏从静态视觉质量、时空连续性、动态物理可信度到交互控制遵循递进深入的系统性、层次化评价体系;第四类是直接利用多模态大模型对生成内容进行评分的方法,这类方法虽具备一定的语义理解能力,但评分结果依赖提示词设计,存在评分尺度漂移、不同批次间评分不可比、缺乏主动交互探测手段等问题。

3、除此之外,现有方法大多只能对世界模型的输出结果进行被动评价,缺少针对世界模型交互控制能力的主动探测评价机制,难以有效评估用户发出控制指令(如改变视角、指定物体运动轨迹、切换场景风格等)时世界模型的响应准确性与及时性,无法全面反映世界模型的交互性能。

4、因此,本领域技术人员亟需开发一种基于多模态大模型的交互式世界模型分层评价方法及系统。

技术实现思路

1、有鉴于现有技术的上述缺陷,本发明至少解决以下技术问题:

2、1.现有世界模型评价方法仅能对输出结果进行被动评价,无法有效评估世界模型对用户控制指令的响应能力,缺乏主动交互探测评价机制;且现有交互评测的测试指令多由人工预先设计,无法根据被测模型的实际表现动态调整,评价覆盖面与缺陷定位能力受限;

3、2.现有评价方法缺乏对世界模型从静态视觉到交互控制的系统性、层次化评价能力,各评价维度割裂,无法全面反映世界模型的综合能力;

4、3.传统自动评价指标基于统计特征分布计算,无法捕捉语义层面的合理性和物理可信度,与人类感知一致性差;人工评价存在成本高、效率低、标准不统一的问题;直接调用多模态大模型评分还存在评分尺度漂移、不同指标与不同批次间分数不可比的问题。

5、为实现上述目的,本发明公开了一种基于多模态大模型的交互式世界模型分层评价方法,该方法包括以下步骤:

6、s1:接收待评价世界模型的标识信息与评价任务配置参数,根据所述评价任务配置参数从测试提示词库采样测试提示词,调用所述待评价世界模型生成对应的测试样本集;

7、s2:对所述测试样本集执行四层递进式评价,四个评价层级依次为静态视觉有效性评价、时空连续性评价、动态世界可信度评价和条件与控制遵循评价;所述四个评价层级按从静态视觉到交互控制的递进逻辑依次开展,除首层外,其余评价层级均基于相邻下层的评价结果递进深入;

8、其中所述条件与控制遵循评价采用主动闭环探测模式,由多模态大模型根据世界模型当前输出的场景状态自适应生成探测指令,经可执行性校验后发送至待评价世界模型执行,对比探测指令的意图与世界模型的响应结果进行评分,并将评分结果反馈用于下一轮探测指令的演化调整;

9、s3:聚合四个评价层级的评价结果,计算最终综合评分并生成结构化评价报告。

10、进一步地,所述四个评价层级分别下设如下细分评价指标:

11、所述静态视觉有效性评价针对提取的视频关键帧,设置整体视觉体验指标与审美与技术质量指标;

12、所述时空连续性评价针对采样的时序帧对与连续帧片段,设置时序视觉稳定性、前景实体持久性、背景与场景持久性、空间结构持久性及长程状态记忆指标;

13、所述动态世界可信度评价设置整体世界可信度、运动自然性及物理因果可信度指标;

14、所述条件与控制遵循评价针对多类控制指令,设置指令遵循程度指标与交互响应性能指标。

15、进一步地,各所述评价层级中的每个细分评价指标均通过结构化评价链驱动多模态大模型完成评价;

16、所述结构化评价链依次包括观察阶段、分析阶段、推理阶段和评分阶段,引导多模态大模型按照人类认知流程逐步完成场景描述、缺陷识别、质量判断与量化打分。

17、进一步地,所述主动闭环探测模式的演化调整规则具体包括:

18、当单条探测指令的评分低于预设异常阈值时,将该探测指令分解为细粒度子指令进行归因探测,定位失败发生的环节;

19、当某一控制类型下的全部探测指令评分均高于预设优秀阈值时,提升后续该类控制类型探测指令的难度等级。

20、进一步地,所述可执行性校验包括实体存在性校验与动作类型兼容性校验;

21、所述实体存在性校验用于验证探测指令引用的实体存在于当前场景中,所述动作类型兼容性校验用于验证指令涉及的动作类型属于待评价世界模型接口支持的范围;未通过校验的探测指令被丢弃并触发生成替代指令。

22、进一步地,每个细分评价指标配置独立的多档位锚定样本组;

23、所述多档位锚定样本组包含优、中、差三个质量档位的代表性样本,每个样本附带人工评分与人工评语;

24、所述多档位锚定样本组作为少样本示例嵌入结构化评价链的评分阶段提示中,将多模态大模型的评分尺度锚定至人工评价标准。

25、进一步地,所述最终综合评分通过层级加权聚合计算得到,计算公式为:

26、

27、其中,为最终综合评分;、、、依次为静态视觉有效性、时空连续性、动态世界可信度、条件与控制遵循四个评价层级的基础权重,由评价任务对应的应用场景类别确定;、、、依次为对应四个评价层级的综合评分。

28、本发明还公开了一种基于多模态大模型的交互式世界模型分层评价系统,该系统包括:

29、评价任务管理模块,用于接收待评价世界模型的标识信息与评价任务配置参数,管理测试提示词库与场景权重配置文件,调度各模块的执行流程;

30、测试样本生成模块,用于采样测试提示词并调用待评价世界模型生成测试样本集,完成测试样本的预处理操作;

31、分层评价引擎模块,用于对测试样本集执行四层递进式评价,四个评价层级依次为静态视觉有效性评价、时空连续性评价、动态世界可信度评价和条件与控制遵循评价;其中条件与控制遵循评价采用主动闭环探测模式,自适应生成并迭代优化探测指令;

32、分数聚合与报告模块,用于聚合四个评价层级的评价结果,计算最终综合评分并生成结构化评价报告;

33、多模态大模型接口适配模块,用于对接不同多模态大模型,提供统一的调用接口。

34、进一步地,所述分层评价引擎模块包含分别对应四个评价层级的子模块,各子模块内置对应细分指标的结构化评价链提示模板;

35、对应所述条件与控制遵循评价的子模块还内置探测指令生成单元与指令-响应对比评价单元,所述探测指令生成单元用于解析场景状态并生成、校验探测指令,所述指令-响应对比评价单元用于对比指令意图与响应结果并输出遵循度评分。

36、进一步地,所述分层评价引擎模块还内置锚定样本校准单元与层间摘要传递单元;

37、所述锚定样本校准单元用于为各细分评价指标配置独立的多档位锚定样本组,将多模态大模型的评分尺度锚定至人工评价标准;

38、所述层间摘要传递单元用于在相邻评价层级间传递包含评分与缺陷描述的评价摘要,支撑递进式缺陷复核机制。

39、本发明至少实现了以下有益技术效果:

40、1.实现了对世界模型交互控制能力的自动化、主动式、自适应评价,无需人工设计测试用例即可系统性覆盖各类控制条件,并能精准定位失败发生在指令理解、动作执行还是状态保持环节;可执行性约束避免了无效指令造成的评价资源浪费,难度自适应机制提升了相同评价预算下的缺陷发现数量;

41、2.实现对世界模型多维能力的系统性覆盖和层次化诊断,避免现有方法只关注单一维度导致评价结果片面的问题,能够输出结构化的评价报告,精准定位世界模型的能力缺陷层级与具体维度;

42、3.在保持接近人工评价水平的语义理解能力的同时,实现全自动化评价,显著降低评价成本,提高评价效率和一致性;锚定样本校准使不同指标、不同批次的评分尺度统一可比;评价链生成的中间推理文本提供了可解释的评价依据。