一种面向复杂事件态势理解的视频语义信息提取增强及优化方法

本发明涉及多模态数据融合、视频理解、知识图谱构建、事件抽取与信息补全，具体涉及一种面向复杂事件态势理解的视频语义信息提取增强及优化方法。

背景技术：

1、在复杂事件分析任务中，事件信息的获取通常依赖文本、图像、视频等多种模态信息的共同支撑，其中视频模态由于能够直接承载事件过程、主体交互及场景动态变化，因而是复杂事件理解中的关键数据来源。然而，与文本模态能够以离散符号形式直接表达语义不同，视频中的信息以连续时序视觉信号的形式隐式存在，难以被直接、充分利用，通常需要借助检测、问答、概括、描述等视频理解任务，对视频内容进行语义提取与组织，进一步形成结构化或非结构化的语义表示后，才能用于事件分析与理解。基于此，现有视频理解方法通常借助多模态模型或视觉语言模型，通过视频字幕生成、视频问答、视频检索或视觉语言推理等方式，对视频中的场景、人物、动作及事件过程进行语义提取与表达。

2、针对长视频带来的计算开销与时序冗余问题，现有视频理解方法普遍采用不同形式的压缩策略以降低计算复杂度。根据压缩发生的阶段不同，相关方法大致可分为两类：第一类为输入侧压缩方法，即在视频进入模型前，通过均匀采样(参见文献1: lin b, zhu b,ye y, et al. video-llava: learning united visual representation by alignmentbefore projection[c]//proceedings of the 2024 conference on empirical methodsin natural language processing. stroudsburg: association for computationallinguistics, 2024.)、稀疏采样(参见文献2： lei j, li l, zhou l, et al. less ismore: clipbert for video-and-language learning via sparse sampling[c]//proceedings of the ieee/cvf conference on computer vision and patternrecognition. los alamitos: ieee computer society, 2021: 7331-7341.)及自适应关键帧选择（参见文献3：tang x, et al. adaptive keyframe sampling for long videounderstanding[c]//proceedings of the ieee/cvf conference on computer visionand pattern recognition. seattle: ieee, 2025.）等方式减少输入帧数量，以降低后续计算负担(参见文献4：miech a, laptev i, sivic j. learnable pooling with contextgating for video classification[c]//proceedings of the internationalconference on learning representations. san juan: iclr, 2017），基于权重的特征聚合（参见文献5: fu y, wang y, wang letal.,compfeat:comprehensive featureaggregation for video question answering[c]//proceedings of the aaaiconference on artificial intelligence. palo alto: aaai press, 2021, 35(2):1303-1311.）以及token层级的压缩（参见文献6 iang j, sangineto e, zhong y, et al.storm: tokenefficient understanding for multimodalllms[c]proceedings of thelong video ieee/cvfinternational conference on computer vision workshops.loalamitos: ieee computer society, 2025）等方式压缩中间表示规模，减少冗余特征，上述方法虽然分别作用于输入侧、特征侧，但本质上均属于对长视频信息进行不同阶段、不同程度压缩的技术路线。这类方法能够在一定程度上提高视频理解效率，但也容易在压缩过程中丢失事件演化中的关键片段，弱化多阶段时序关系，并削弱局部场景细节、主体属性和状态变化等重要信息的表达，尤其不利于复杂事件视频中多子事件连续演化过程的完整建模。

3、除了上述特征压缩类方法外，现有技术中也存在一类面向关键信息选择的视频理解方法。这类方法通常不再试图无差别地保留全部视频内容，而是从任务相关性出发，通过注意力分配与问题引导的特征选择(参见文献7: wang w, bao j, xu d, et al. longvideo question answering: a matching-guided attention model[j]. patternrecognition, 2020, 107: 107480.)、自适应帧级关注[3]、片段级内容定位(参见文献8：du h, zhang s, xie b, et al. uncovering what, why and how: a comprehensivebenchmark for causation understanding of video anomaly[c]//proceedings of theieee/cvf conference on computer vision and pattern recognition. los alamitos:ieee computer society, 2024: 18793-18803.)以及记忆检索（参见文献9（qian r, dongx, zhang p, et al. streaming long video understanding with large languagemodels[c]//advances in neural information processing systems. red hook:curran associates, 2024.）等机制，对视频中的关键帧、关键片段或局部特征进行优先筛选与聚焦，从而使模型重点关注与当前任务最相关的局部内容，以提升理解效率与任务针对性。该类方法在一定程度上改善了无差别压缩带来的信息稀释问题，但其关注范围通常受到任务提示、相关性评分或局部选择策略的限制，容易遗漏对后续事件理解同样重要但当前显著性较弱的辅助线索；同时，对于复杂事件中多个子事件之间的关联、不同主体之间的交互关系以及事件要素的完整覆盖，现有方法往往仍缺乏统一的多粒度组织与持续补充机制。

4、在此基础上，也有研究进一步结合文本配文、图像或外部知识信息，对视频语义进行辅助解释与补充，以提升整体事件理解能力。随着图结构建模、知识图谱和大语言模型的发展，现有方法已逐步从早期的特征拼接和表示对齐，扩展到引入实体关系建模、事件结构表达和知识驱动推理的融合方式。部分方法通过构建视频内实体关系图或跨帧动态图，对视频中的实体、关系及时序演化过程进行统一建模，以增强长视频理解中的对象关联建模与关键内容定位能力（参见文献10: chu m, li y, chua t s.understanding longvideos via llm-powered entity relation graphs[eb/ol]. arxiv:2501.1592025[2026-04-22].）；部分方法进一步结合实体—事件—场景知识图谱，将视频、图像和文本中的多模态语义映射到统一的知识结构中，并利用知识驱动的匹配与推理机制提升复杂事件的解释与分析能力（参见文献11：（li w, wang c, cui x, et al. cosint-agent: aknowledge-driven multimodal agent for chinese open source intelligence[eb/ol]. arxiv:2503.03215, 2025[2026-04-22].）；此外，也有方法通过引入外部事件知识图谱，对多源信息中的背景知识、事件联系和潜在关系进行补充，以增强复杂事件场景下的跨源推理能力（参见文献12：yang z r, wang y l, shi z y, et al. eventrag: enhancingllm generation with event knowledge graphs[c]//proceedings of the 63rd annualmeeting of the association for computational linguistics. stroudsburg:association for computational linguistics, 2025.）。然而，现有技术多数仍停留在信息汇聚、浅层对齐或单轮推理阶段，对于不同模态之间缺失信息的识别、候选证据的筛选以及面向特定事件要素的定向补全能力仍显不足，导致融合结果中事件信息常呈现弱结构化、割裂化和要素缺失的状态。

5、因此，现有技术虽然在长视频压缩处理、关键信息选择和知识驱动推理等方面取得了一定进展，但在面向复杂事件的视频理解任务中，仍难以同时兼顾全局事件过程的连续性、局部细节信息的充分表达、跨模态语义关系的有效组织以及事件关键信息的完整覆盖，导致复杂事件信息仍存在表达粗略、结构松散和要素缺失等问题，难以满足后续精细化事件分析与态势理解的需求。当前面向复杂事件分析的视频理解技术，虽然能够从视频中提取一定的语义信息，但在服务复杂事件理解与态势分析时仍存在明显不足。

6、首先，现有基于压缩策略的视频理解方法虽然能够在一定程度上提升处理效率，但本质上是以不同形式压缩原始视频信息，因而容易造成事件发展过程中关键片段缺失、多阶段时序关系弱化以及局部场景细节表达不足，导致视频中能够反映事件演化、人物行为、环境状态和结果变化的重要信息难以被充分保留，最终只能获得较为粗粒度的视频语义表示，不利于复杂事件的连续过程建模与细节理解。

7、其次，现有面向关键信息选择的视频理解方法，虽然不再对全部视频内容进行无差别压缩，而是借助注意力分配、问题引导的特征选择、帧级关注、片段级定位、记忆检索等机制，对与当前任务最相关的局部内容进行优先筛选与聚焦，从而在一定程度上缓解了信息稀释问题，但这类方法的关注范围通常受到任务提示、相关性评分或局部候选选择策略的限制，往往只能突出当前最显著、最直接相关的局部内容，而容易忽略对后续复杂事件理解同样重要但显著性较弱的辅助线索。此外，对于复杂事件中多个子事件之间的连续关联、不同主体之间的交互关系以及事件关键信息的整体覆盖，现有方法通常缺乏统一的多粒度组织与持续补充能力，仍难以兼顾局部聚焦与整体完整性。

8、最后，现有结合图结构建模、知识图谱和外部知识增强的多模态方法，虽然已经从早期的特征拼接和表示对齐，逐步发展到通过实体关系图、事件知识图谱和知识驱动推理机制，对视频、图像和文本中的语义信息进行结构化组织与辅助解释，在对象关联建模、事件关系表达和跨源推理方面取得了一定进展，但多数方法仍停留在信息汇聚、浅层对齐或单轮推理阶段。对于不同模态之间缺失信息的识别、候选证据的筛选、跨粒度语义线索的追溯以及面向特定事件要素的定向补全，现有方法通常仍显不足，导致融合结果中常出现事件信息表达割裂、结构不清晰、要素覆盖不完整等问题，难以形成真正面向复杂事件的连续、完整且可解释的结构化表达。

技术实现思路

1、为解决上述问题，本发明提出一种面向复杂事件态势理解的视频语义增强及优化方法，首先针对长视频处理中关键信息易丢失、视频语义表达较为粗粒度的问题，通过动态分段、关键帧提取以及分层语义融合等方式，对完整视频、视频片段和关键帧三个层级的信息进行提取增强，提取视频模态中与事件过程、局部场景和静态细节相关的语义内容，实现视频信息的有效补充；在此基础上，进一步结合事件图结构、事件要素建模和缺失信息检测机制，以缺失的事件要素节点或潜在关系作为牵引，从多模态候选来源中对与事件核心要素相关的重要信息进行定向提取与精准补全，实现对视频信息提取结果的进一步增补与优化；通过上述两轮递进式处理，能够在提升视频有效信息表达能力的同时，提高新增信息对事件态势理解的相关性，并增强最终融合结果在事件要素完整性和结构化表达方面的能力。

2、所述面向复杂事件态势理解的视频语义信息提取增强及优化方法，具体包括：

3、步骤1. 基于层级划分的语义信息提取增强：

4、针对长视频数据在输入多模态模型或视觉-语言模型时，受输入token数量限制而通常需要进行采样和压缩处理，进而导致时序信息与局部细节易丢失的问题，通过对视频进行层级划分并开展片段和帧级别的多粒度语义提取，对原始事件信息进行补充与丰富，其中，token 为多模态模型进行信息编码与计算的基本单位，文本、图像块、视频帧不同模态内容需被统一转换为 token 表示，进而作为模型输入进行处理；

5、步骤2. 基于关键节点牵引的事件要素定向补充：

6、针对第一轮提取增强后事件要素仍然存在缺失、跨模态关联依然不足的问题，利用知识牵引对与事件核心要素相关的重要信息进行目标驱动型补全，通过上述两轮递进式处理，实现对复杂事件态势信息的结构化增强与完整表达。

7、进一步地，步骤1所述针对长视频数据在输入多模态模型或视觉-语言模型时，受输入token数量限制需要进行采样和压缩处理，导致时序信息与局部细节易丢失的问题，通过对视频进行层级划分并开展片段和帧级别的多粒度语义提取，对原始事件信息进行补充与丰富，具体包括：

8、步骤1.1 获取输入多模态数据并构建统一语义输入：

9、获取待分析事件对应的原始多模态数据，包括视频数据、文本数据，其中，视频数据作为该部分语义信息提取增强的核心对象，文本数据作为后续语义融合的信息来源，为便于后续统一分析，先通过现有视频理解模型、视觉语言模型，将视频模态数据预处理，推理得到视频内容概括描述，作为进一步处理的文本语义表示；

10、步骤1.2 对视频数据通过内容变化检测进行分段划分：

11、对输入视频提取连续视频帧，根据相邻帧之间的内容变化对长视频进行动态划分，得到多个语义相对一致且时间连续的视频片段，设第帧与第 帧分别记为和，其帧间变化评分表示为：

12、，

13、其中，表示所采用的视觉特征类型数量，表示第类视觉特征对应的权重，表示对视频帧进行第类视觉特征提取的映射函数，表示对应特征之间的差异度量函数，采用范数距离、余弦距离、统计差异度量或其他相似度/差异度计算方式予以计算，视觉特征包括：基于颜色空间的视觉特征、边缘特征、光流特征，基于cnn、vit的深度学习模型提取的特征，以及基于视觉语言模型或其他预训练多模态模型提取的跨模态语义特征，不同特征根据实际应用需求单独使用，也能够通过加权方式进行组合，以提高内容变化检测对场景切换、主体变化、动作变化或语义转折的感知能力，当时，判定第帧附近存在内容变化边界，其中，为预设阈值，其取值根据目标任务对分段精度的要求以及系统计算资源情况进行设定，当阈值较小时，分段结果更细致但增加计算开销，当阈值较大时，分段数量减少但忽略部分细粒度变化，根据检测到的边界点，将原始长视频划分为个连续片段；其中取值范围为：3.0-9.0；

14、步骤1.3 对各视频片段提取关键帧：

15、针对步骤2中得到的各视频片段，进一步从每个视频片段中提取关键帧，用于补充完整视频级或片段级描述中被忽略的静态场景细节信息，包括人物、地点、环境及局部行为特征，关键帧提取方式采取基于时间采样的关键帧提取方式、基于视觉特征聚类的关键帧提取方式、基于深度学习模型的关键帧提取方式；

16、步骤1.4 分别生成片段级和关键帧级描述信息：

17、分别对视频片段和关键帧生成对应的语义描述信息，其中，片段级描述用于保留局部时间过程与事件阶段信息，关键帧级描述用于增强对静态细节和局部语义的表达，片段级描述与关键帧级描述能够由视频理解模型或视觉-语言模型一类的多模态模型获得；

18、将各视频片段分别输入视频理解模型进行局部语义推理，得到对应的片段级描述结果：

19、，

20、其中，表示第个片段对应的片段级描述结果，通过这种方式，在保持事件时序关联的同时，将原本在整段视频统一压缩下易于混杂的多事件内容分离开，以减轻长序列特征压缩带来的语义模糊问题；

21、将关键帧分别输入多模态模型，生成对应的关键帧级描述结果：

22、，

23、其中，表示第个片段中的第个关键帧，表示对应的关键帧描述文本，关键帧描述文本用于补充片段级语义中被忽略的静态视觉信息，包括场景布局、主体属性、环境特征以及局部细节线索；

24、设步骤1.1中预处理得到的完整视频级描述为，第个片段级描述为，第个片段中第个关键帧描述为，则语义信息提取增强后的视频语义集合表示为：

25、，

26、其中，表示视频片段数，表示第个视频片段中的关键帧数；

27、步骤1.5 构建片段级局部语义单元并与帧级描述对齐：

28、为实现关键帧信息与视频片段信息的细粒度融合，需要先对片段级描述信息进行局部语义单元划分，设第个片段级描述被划分为若干局部语义单元，表示为：

29、，

30、其中，表示第个视频片段级信息中的局部语义单元数量，表示第个片段级描述中的第个局部语义单元，局部语义单元对应于片段描述中的句子、短语或局部事件语义片段；

31、为将关键帧细节自然融入片段描述，使用向量编码函数对片段级局部语义单元与关键帧描述进行向量表示：

32、，

33、，

34、其中，表示句向量编码函数，表示第个片段中第个局部语义单元的向量表示，表示第个片段中第个关键帧描述的向量表示，计算关键帧描述与局部语义单元之间的语义相似度：

35、，

36、其中，表示关键帧描述所对应的片段局部语义单元索引，其后构建片段语义主干-关键帧细节的对齐结构：

37、根据相似度大小，将每个关键帧描述对应到片段描述中最相关的局部语义单元，设第个视频片段中第个关键帧描述所对应的局部语义单元索引为，则有：

38、，

39、其后，构建片段语义主干与关键帧细节之间的对齐关系，即每个关键帧描述均被分配到与其语义最相关的片段局部语义单元，为后续融合生成提供基础；

40、步骤1.6 关键帧描述与片段级描述融合：

41、根据步骤1.5中得到的语义相似度结果，将各个关键帧描述对应到片段描述中最相关的局部语义单元，并将该对齐关系作为辅助信息，与对应的片段级描述共同输入大语言模型进行融合，得到增强片段描述结果：

42、设第个视频片段中第个关键帧描述所对应的局部语义单元索引为，则表示关键帧描述与片段级描述 中的第 个局部语义单元语义最相关，将片段级描述、关键帧描述以及关键帧与局部语义单元之间的对齐关系共同组织为融合提示信息，输入大语言模型进行融合生成，得到第个片段对应的增强描述信息：

43、，

44、其中，表示融合生成函数， 表示第个片段融合关键帧细节后的增强描述结果，使同一视频片段中不同主题或不同对象相关的关键帧信息，分别补充到片段描述中最相关的语义位置，避免不同细节信息在融合过程中无序拼接，提高片段描述的局部语义一致性与细节表达准确性；

45、步骤1.7 增强片段描述与完整视频描述融合：

46、完成全部片段的增强后，得到增强片段描述序列：

47、,

48、其中， 表示第个片段融合关键帧细节后的增强描述结果，表示视频片段数， 表示全部增强片段描述序列集合；

49、本步骤作为第二层级融合过程，沿用步骤1.5语义对齐逻辑以及步骤1.6融合生成函数，对增强片段描述与完整视频描述进行融合,其中，与步骤1.6中将关键帧描述作为补充信息、将片段级描述作为语义主干不同，本步骤将完整视频级描述作为整体语义主干，将各增强片段描述作为对完整视频级描述中相应局部事件内容的补充信息,具体地，对完整视频级描述进行局部语义单元划分，得到完整视频级描述对应的局部语义单元集合,采用与步骤1.5相同的向量编码与语义相似度计算方式，分别计算各增强片段描述与完整视频级描述中各局部语义单元之间的语义相似度，并将每一增强片段描述对应至完整视频级描述中与其语义最相关的局部语义单元，由此构建完整视频语义主干与增强片段补充信息之间的对齐关系；

50、设第个增强片段描述所对应的完整视频级描述中的局部语义单元索引为，则表示第个增强片段描述与完整视频级描述中的第个局部语义单元在语义上最相关，将完整视频级描述、增强片段描述序列以及增强片段描述与完整视频级局部语义单元之间的对齐关系共同组织为融合提示信息，并沿用步骤1.6中的融合生成函数输入大语言模型进行融合生成，得到最终的增强视频文本描述信息：

51、，

52、其中，表示步骤1.6中所采用的融合生成函数，  表示最终生成的增强视频文本描述信息。

53、进一步地，步骤2所述基于关键节点牵引的事件要素定向补充：

54、针对第一轮提取增强后事件要素仍然存在缺失、跨模态关联依然不足的问题，利用知识牵引对与事件核心要素相关的重要信息进行目标驱动型补全，通过上述两轮递进式处理，实现对复杂事件态势信息的结构化增强与完整表达，具体包括以下步骤：

55、步骤2.1 输入文本配文与第一轮增强提取的视频信息：

56、将输入文本配文与第一轮增强后的视频描述共同作为本轮事件要素定向补充的输入，设输入文本配文记为，第一轮基于层级划分的语义信息提取增强得到的增强视频描述记为，则本轮输入语义集合表示为：

57、，

58、其中，提供对事件背景、参与主体及结果信息的文本化表达， 提供经视频级、片段级和关键帧级增强后的视觉语义信息，二者共同构成本轮事件建模与定向补充的基础输入；

59、步骤2.2 提取实体、关系及事件要素分类，并对子事件进行建模：

60、对输入语义集合进行实体识别、关系抽取及事件要素分类，将原始自然语言描述统一转化为结构化的“实体-关系-实体”语义单元，以事件为中心组织子事件语义，设第个子事件记为：

61、,

62、其中，表示第个子事件本身事件实体，即what要素；表示其事件要素集合，这里采用除事件what以外的五类事件要素结构；

63、步骤2.3 构建事件图以及多层级证据索引：

64、将文本配文和增强视频描述的实体-关系抽取结果进行合并，并在事件中心约束下构建统一事件图：

65、，

66、其中，表示实体节点集合，表示实体之间的关系边集合，若同一组数据内不同模态抽取到的实体具有相同标识，则将其合并为同一节点，以减少跨模态重复实体带来的语义冗余，并增强不同模态之间围绕同一事件的显式关联，关系以边的形式连接头实体（head entity）与尾实体（tail entity），用于表征事件要素之间的语义联系，其中，关系文本作为边属性保留，不再单独构建为节点；

67、为支持后续要素缺失检测与候选证据定位，为实体及关系构建多层级证据索引：

68、，

69、其中，表示具体来源标识，表示事件实体在不同证据来源中的出现位置集合，表示证据来源层级，不同层级对应不同粒度的信息来源，由此建立“实体-来源”的映射关系，使图中每一语义单元能够被统一组织，还能够被追溯至其对应的模态及局部证据范围，多层级证据索引为后续语义缺失定位、候选证据筛选以及定向信息补充提供了基础；

70、步骤2.4 基于图结构进行事件的语义缺失检测：

71、对每个事件实体，在其局部邻域子图中进行要素检测，设其邻域子图内得到的事件要素为：

72、，

73、其中，为邻域跳数，若在邻域跳数范围内存在与目标要素类型对应的实体节点，则认为目标要素已在当前事件局部语义结构中得到表达，在缺失检测阶段，优先依据事件实体局部邻域内具有直接或近邻语义关联的要素节点进行判断，以避免其他子事件或弱相关信息对当前事件要素覆盖情况判断造成干扰；反之，则认为该目标事件要素信息在当前事件对应的局部语义结构中存在缺失，由此定义事件实体的缺失要素集合为：

74、，

75、其中，表示在事件实体局部邻域子图中已被检测到的要素实体集合，当 时，则认为子事件相关要素信息已经完备，反之，当时，则认为事件语义信息仍不完整，需要借助多模态证据进一步挖掘和补充；

76、步骤2.5. 子事件重要性与证据联合排序：

77、对于每个存在缺失要素的事件实体，基于该事件实体及其局部邻域内相关实体节点对应的来源记录，构建其候选证据集合：

78、，

79、其中，表示一个候选证据源，每个候选证据源对应于相关实体节点在关键帧描述、视频片段描述、完整视频级描述、文本配文或融合描述中的来源位置,候选证据源并不表示其中已经包含所缺失的事件要素，而是表示与当前事件实体具有语义关联、且承载其缺失要素信息的来源位置，用于后续进一步筛选和回溯挖掘，为每个候选证据源计算证据评分：

80、，

81、其中，为该证据的层级，为层级权重函数，表示当前事件实体或与其具有直接语义关联的相关实体节点在该候选证据源中的出现次数,考虑到不同来源与当前事件之间的语义接近程度不同，对关联强度进行权重赋值；

82、在获得各证据来源评分后，进一步计算事件实体的整体证据强度评分：

83、，

84、其中，表示与事件实体相关的候选证据源集合，整体证据强度评分综合反映该事件实体在不同模态和不同粒度证据来源中的语义支撑程度，用于对待挖掘事件实体进行排序，以优先处理证据支撑更充分且具有较高补全潜力的事件实体；

85、步骤2.6 确定待挖掘对象与候选证据源：

86、本步骤用于从事件图及其对应的多层级证据索引中确定需要进一步补充的事件实体，并从步骤2.5得到的候选证据源中，筛选能够支持后续局部视觉信息挖掘的证据来源，在步骤2.3构建事件图及多层级证据索引的过程中，由文本配文、完整视频级描述、增强片段描述或关键帧描述中抽取得到的实体节点，均记录其对应的来源类型及来源位置信息，其中，来源类型包括关键帧级来源、视频片段级来源、完整视频级描述来源、文本配文来源以及融合描述来源，对于来源于关键帧级描述的实体节点，其来源位置信息至少包括对应关键帧在原始视频中的时间位置；对于来源于视频片段级描述的实体节点，其来源位置信息至少包括对应视频片段在原始视频中的起始时间和终止时间；对于来源于完整视频级描述、文本配文或融合描述的实体节点，其来源信息用于提供事件语义支撑和候选筛选依据；

87、对于存在缺失要素的事件实体，步骤2.5已经基于与该事件实体相关的实体节点来源记录构建候选证据集合，本步骤进一步从候选证据集合中，保留具有原始视频局部时间定位能力的关键帧级来源和视频片段级来源，作为后续深度挖掘的候选证据源集合：

88、，

89、其中，表示步骤2.5中得到的与事件实体相关的要素节点及其候选证据集合，表示与事件实体及其缺失要素相关的第个候选证据源，表示该候选证据源的来源类型，每个候选证据源的信息至少包括证据来源类型、对应的实体节点或关系边、关联的缺失要素类型、证据评分以及来源位置信息，表示关键帧证据，表示视频片段证据，完整视频级描述来源、文本配文来源以及融合描述来源作为粗粒度语义来源，用于事件评分与候选筛选，但不直接参与后续针对原始视频局部区域的深度挖掘；

90、其中，关键帧级证据源能够定位至原始视频中的具体时间位置，视频片段级证据源能够定位至原始视频中的连续时间范围，在候选证据源与当前事件实体及其缺失要素之间的语义关联程度相同或相近的情况下，关键帧级证据源具有更精确的时间定位能力，优先作为后续局部深度挖掘对象；视频片段级证据源则用于支持对连续事件过程、主体交互行为或状态变化信息的进一步挖掘；

91、对于每个视频对应的信息，根据事件的证据强度评分对所有事件实体进行排序，设视频信息中包含个事件实体，按照事件评分从高到低排序后，选择前比例的高价值事件进入深度挖掘阶段：

92、，

93、其中，表示按事件证据强度评分从高到低排序后的第个事件实体，表示进入深度挖掘阶段的筛选比例，在确定需要深度挖掘的事件后，进一步定位其对应的候选推理数据片段或帧来源，并从候选证据集合中选择评分最高的前个证据作为最终深度挖掘对象；

94、步骤2.7 根据候选证据源类型确定定向挖掘策略：

95、步骤1.1至步骤1.7中得到的视频片段及关键帧用于从原始视频中初步提取局部语义信息，并为后续事件要素补充提供具有时间定位能力的候选证据源,第一轮处理中获得的视频片段级描述和关键帧级描述仍存在局部动作过程、主体属性变化、环境细节或事件结果信息表达不足的问题，本步骤针对经筛选确定的候选证据源，回溯至其在原始视频中对应的时间位置或时间范围，并在对应局部区域内采用高于第一轮语义提取过程的采样频率进行密集采样，以构建用于定向推理的局部视觉输入帧序列：

96、对于候选证据源为关键帧级证据的情况，设关键帧在原始视频中对应的时间位置为，以该时间位置为中心设置局部采样时间窗，并采用局部加密采样间隔对所述时间窗范围内的原始视频帧进行重新采样，得到关键帧邻域视觉输入帧序列：

97、，

98、其中，表示关键帧邻域时间窗内的局部加密采样间隔，局部加密采样间隔小于第一轮对相应视频片段进行语义提取时采用的采样间隔，即在关键帧前后邻域范围内以更高的采样频率重新获取原始视觉信息，通过上述以关键帧时间位置为中心进行邻域加密采样的方式，能够在第一轮片段级语义表达的基础上，进一步获得该片段内部更连续、更细致的视觉上下文，用于补充由于初始采样密度有限或语义概括粒度较粗而未被充分提取的事件发展过程、主体交互关系、场景状态变化及事件结果信息；

99、对于证据来源为视频片段，设对应片段时间范围为 ，则在对应片段范围内进行均匀采样，得到片段级视觉证据帧序列：

100、对于候选证据源为视频片段级证据的情况，设该视频片段在原始视频中对应的时间范围为，并采用片段局部加密采样间隔对所述时间范围内的原始视频帧进行重新采样，得到片段级视觉输入帧序列：

101、，

102、其中，表示视频片段范围内的局部加密采样间隔，局部加密采样间隔小于第一轮对相应视频片段进行语义提取时采用的采样间隔，即在候选视频片段范围内以更高的采样频率重新获取原始视觉信息，通过上述针对目标视频片段进行局部加密采样的方式，能够在第一轮片段级语义表达的基础上，进一步获得该片段内部更连续、更细致的视觉上下文，用于补充由于初始采样密度有限或语义概括粒度较粗而未被充分提取的事件发展过程、主体交互关系、场景状态变化及事件结果信息；

103、将上述采样得到的视觉输入帧序列输入视觉语言模型，围绕当前事件实体的缺失要素集合进行定向推理，得到补充的地点、时间、相关主体、环境信息或结果影响等内容，并将新增语义写回事件图中，实现事件结构的持续更新与语义完整化。

104、进一步地，步骤1.3中，所述基于均匀采样的关键帧提取方式（时间驱动），对每个视频片段按照预设采样频率进行均匀采样，提取关键帧序列，设第 个视频片段的时长为，采样间隔为，则该片段中提取得到的关键帧序列表示为：

105、，

106、其中，表示第个视频片段在采样时刻对应的视频帧，为满足的最大整数，采用均匀采样方式能够实现操作简单、计算开销较低，适用于快速处理大规模视频数据，此前已对长视频进行了动态分段，每个视频片段内部的时间跨度相对较短、语义变化范围相对受限，在片段粒度较小的情况下，只要采样频率设置合理，均匀采样即能够捕获片段内部的主要视觉内容及局部细节信；

107、基于聚类的关键帧提取方式（内容驱动），首先提取视频片段内各视频帧的视觉特征，然后依据特征相似度对同一片段内的视频帧进行聚类，并从每一类中选择中心帧、距离聚类中心最近的帧或其他代表性帧作为关键帧，聚类的关键帧提取方式采用k-means、dbscan或其他基于特征相似度的聚类方法，设第个视频片段内共有帧，对应特征表示为：

108、，

109、其中，表示第个视频片段中第帧对应的视觉特征，将该片段内的帧特征划分为个聚类，记第个聚类为，其聚类中心为，则该片段中提取得到的关键帧集合可表示为：

110、，

111、其中，表示第个视频片段对应的关键帧集合，表示第个视频片段中第帧对应的视频帧，表示第个聚类中与聚类中心距离最近的代表帧索引，采用聚类方式的优点在于，提取得到的关键帧在语义上更具代表性，能够更好地覆盖视频片段内部不同场景状态或语义变化模式，避免冗余帧重复出现，并能够提高后续视觉语言描述生成时的有效信息密度；

112、基于深度学习模型的关键帧提取方式（模型驱动），将视频片段中的候选视频帧或候选帧序列输入预训练或经训练的关键帧选择模型，由关键帧选择模型根据候选视频帧的视觉内容特征、相邻帧之间的时序变化特征和/或与事件语义相关的跨模态特征，输出各候选视频帧的重要性评分或关键帧选择结果，关键帧选择模型能够采用端到端训练的深度神经网络模型，也能够采用预训练视觉特征提取模型与帧重要性评分模块组合的方式实现；其网络结构包卷积神经网络、三维卷积神经网络、循环神经网络、时序卷积网络、视觉transformer模型、视频理解模型、视觉语言模型或其他能够对视频帧重要性进行评价的深度学习模型；

113、设第个视频片段中的第帧为，其对应的重要性评分为：

114、，

115、其中，表示关键帧评分模型，表示第个视频片段对应的上下文信息，上下文信息包括该视频片段内相邻帧的时序信息、片段级视觉特征和/或事件语义提示信息；

116、根据各候选视频帧的重要性评分，从第个视频片段中选取评分排名靠前的预设数量候选视频帧，或选取重要性评分高于预设阈值的候选视频帧，作为该视频片段对应的关键帧集合：

117、，

118、其中，表示第个视频片段通过深度学习模型提取得到的关键帧集合，表示关键帧重要性评分阈值。

119、进一步地，步骤1.3中，所述为减少时间位置相近且视觉内容重复的候选视频帧被重复选取，在关键帧筛选过程中设置最小时间间隔约束或相似度去重约束，采用基于深度学习模型的关键帧提取方式，根据视频片段中不同候选视频帧对于事件表达的重要程度进行自适应选择，既能够关注画面内容显著变化的帧，还能够结合主体行为变化、场景状态变化、时序上下文及事件语义相关性选择更具代表性的关键帧，提高关键帧对复杂事件语义信息的覆盖能力和后续视觉语言描述生成的有效信息密度。

120、进一步地，步骤2.2中，所述五类事件要素结构包括：

121、，则事件要素集合进一步表示为：

122、，

123、其中，表示第个子事件在事件要素类型下对应的要素内容；

124、通过上述方式，将原本分散于文本配文与增强视频描述中的局部语义信息围绕同一子事件建立统一表示，为后续缺失检测、候选证据筛选与定向补充提供结构基础。

125、本发明所述面向复杂事件态势理解的视频语义信息提取增强及优化方法具有的优越技术效果在于：

126、1.与现有直接围绕局部关键信息进行选择和聚焦的方法相比，本发明所述方法先通

127、过完整视频级、视频片段级和关键帧级三个层级对长视频进行无目标牵引的视频语义增强，再围绕关键节点和缺失事件要素开展定向补充，因此在关注重点内容的同时，能够减少局部细节信息和辅助线索在前期处理阶段的丢失。

128、2.现有的面向关键信息选择的方法通常直接依据任务目标，从视频中筛选关键帧、

129、关键片段或局部特征进行推理，虽然能够提高针对性，但容易忽略对复杂事件理解同样重要但当前显著性较弱的信息，本发明所述方法则先对长视频进行三层级语义提取与融合，对完整视频层面的过程信息、视频片段层面的阶段信息以及关键帧层面的静态细节进行增强；再在此基础上，围绕关键节点和缺失事件要素开展目标驱动的定向补充，既能够重点关注关键信息，又能够保留和补充更多局部细节线索。

130、3.与现有的仅利用图结构、知识图谱或外部知识对已有粗粒度语义结果进行组织和

131、推理的方法相比较，本发明所述方法一方面实现了以事件为中心的事件要素显式建模，另一方面融合视频多层级语义信息与外部文本信息，并明确后续信息补充的处理路径；现有图结构方法通常侧重于对已有语义结果进行结构化组织和关系推理，缺乏对事件要素的显式建模，难以围绕具体事件统一组织地点、时间、相关主体及结果等关键信息，本发明所述方法通过构建事件—子事件—要素的结构化表示，使多模态信息能够围绕具体事件进行统一表达，从而实现以事件为中心的结构化组织。同时，现有方法多以视频或单一模态信息为主要建模对象，外部信息利用有限。

132、4.本发明所述方法在构建图结构时，除融合完整视频级、视频片段级和关键帧级语

133、义信息外，还引入外部文本模态数据，将不同来源的信息统一映射到事件结构中，从而实现跨模态语义关联与融合，并共同牵引视频中关键内容的进一步挖掘。此外，现有图结构方法通常缺乏对后续信息补充过程的明确引导，对于“补充哪些事件要素”“优先处理哪些节点”“从哪些来源进行挖掘”等问题依赖隐式推理；本发明所述方法在事件要素建模和多层级证据组织的基础上，能够明确待补充的事件要素、关键节点及对应的信息来源，从而形成面向事件要素的定向挖掘路径，为后续补充提供清晰依据。