视频叙事逻辑标注方法、装置、设备及可读存储介质与流程

本技术涉及视频处理，具体涉及一种视频叙事逻辑标注方法、装置、设备及可读存储介质。

背景技术：

1、随着多媒体技术的飞速发展，视频数据已成为信息传播的主要载体。在视频监控、在线教育、影视制作及内容检索等领域，如何实现对视频内容的深层理解与结构化标注，已成为计算机视觉与自然语言处理交叉领域的重要研究方向。其中，传统的视频内容理解与标注技术，主要依赖于深度学习模型对视频帧进行视觉特征提取与语义识别。

2、相关技术中，传统方案在进行视频内容理解时，往往采用独立帧处理或短片段处理的方式，忽略了长视频中的时序上下文信息，容易出现实体识别不一致或关系描述断裂的问题，难以准确捕捉连续动作或事件的演变过程；此外，传统视频分段技术主要基于视觉信号的突变（如镜头切换、颜色直方图变化）或固定的时间间隔进行分割，这种基于物理信号的分割方式往往与视频的实际叙事结构不一致，且不同视频段的同一实体通常被识别为独立对象，导致叙事连贯性断裂；另外，传统视频标注结果多为扁平化的标签列表或简单的时序描述，缺乏对视频内容内在逻辑关系的挖掘，导致生成的标注数据仅能回答“视频里有什么”，而无法回答“视频里在讲述什么故事”。

3、可见，如何有效提升视频叙事逻辑标注的准确性、连贯性与深层语义表达能力是当前亟需解决的问题。

技术实现思路

1、本技术提供一种视频叙事逻辑标注方法、装置、设备及可读存储介质，可有效提升视频叙事逻辑标注的准确性、连贯性与深层语义表达能力。

2、第一方面，本技术实施例提供一种视频叙事逻辑标注方法，包括：

3、对待标注视频流数据进行多模态特征提取，生成叙事特征库；

4、采用时序上下文增强的视觉-语言推理机制对所述叙事特征库中的每个关键帧进行视觉语义理解，提取每一关键帧中的视觉实体以及不同视觉实体间的关联关系，以构建时序场景图序列；

5、对时序场景图序列中的每个视觉实体进行跨时间段的身份关联与追踪，以建立全局实体身份标识及其对应的行为轨迹；

6、基于预设的叙事功能类型、全局实体身份标识及其对应的行为轨迹对时序场景图序列中的时序场景图进行聚合，得到多个叙事单元；

7、推理所述多个叙事单元之间的逻辑关系，并基于所述叙事单元和逻辑关系构建视频叙事图，以基于视频叙事图生成语义标注数据。

8、结合第一方面，在一种实施方式中，所述对时序场景图序列中的视觉实体进行跨时间段的身份关联，包括：

9、计算两个视觉实体间的相似度，所述两个视觉实体分别位于不同的时间段；

10、若所述相似度大于第一阈值，则判定为同一身份；

11、若所述相似度小于或等于所述第一阈值，则校验所述两个视觉实体在时空轨迹上的连续性；

12、若满足预设的时空连续性约束，则判定为同一身份；

13、若未满足所述时空连续性约束，则调用视觉-语言大模型对所述两个视觉实体进行语义级确认，并基于确认结果判定是否为同一身份。

14、结合第一方面，在一种实施方式中，所述叙事功能类型包括开端类型、发展类型、高潮类型、结局类型和过渡类型；

15、所述开端类型对应的第一特征属性为持续时长范围为第一预设时长范围、引入的新视觉实体占比超过预设占比值和/或情感强度低于预设第一强度值；

16、所述发展类型对应的第二特征属性为持续时长范围为第二预设时长范围、视觉实体关系变化率大于预设变化率阈值、视觉实体交互频率处于上升状态和/或情感斜率大于预设第一斜率阈值；

17、所述高潮类型对应的第三特征属性为持续时长范围为第三预设时长范围、视觉实体密度最大、情感强度超过预设第二强度值和/或音频事件密度大于预设密度值；

18、所述结局类型对应的第四特征属性为持续时长范围为第四预设时长范围、情感下降斜率小于预设第二斜率阈值、视觉实体退出和/或出现总结性语言；

19、所述过渡类型对应的第五特征属性为持续时长范围为第五预设时长范围、出现视觉突变、出现音频静默和/或实体集合变更率超过预设变更阈值；

20、其中，按照持续时长由长到短的顺序对预设时长范围进行排序：第二预设时长范围、第三预设时长范围、第四预设时长范围、第一预设时长范围和第五预设时长范围。

21、结合第一方面，在一种实施方式中，所述基于预设的叙事功能类型、全局实体身份标识及其对应的行为轨迹对时序场景图序列中的时序场景图进行聚合，得到多个叙事单元，包括：

22、采用预设变点检测算法对时序场景图序列进行分割，得到多个时序段；

23、针对每个时序段，按照各叙事功能类型对应的特征属性、全局实体身份标识及其对应的行为轨迹对时序段进行叙事功能分类，得到分类结果，并基于分类结果将时序段中的时序场景图聚合为叙事单元，同时为叙事单元分配对应的叙事功能类型标签。

24、结合第一方面，在一种实施方式中，所述按照各叙事功能类型对应的特征属性、全局实体身份标识及其对应的行为轨迹对时序段进行叙事功能分类，得到分类结果，包括：

25、基于所述时序段内的所有全局实体身份标识及其对应的行为轨迹确定目标特征属性；

26、若所述目标特征属性与任意一个叙事功能类型对应的特征属性一致，则将对应的叙事功能类型作为所述时序段的分类结果；

27、若所述目标特征属性与所有叙事功能类型对应的特征属性均不一致，则基于所述时序段内的多维特征向量并调用预设分类器进行叙事功能分类，输出目标分类结果及其对应的置信度；

28、若置信度不小于预设置信度阈值，则将目标分类结果作为所述时序段的最终分类结果；

29、若置信度小于预设置信度阈值，则调用视觉-语言大模型对所述时序段的叙事功能分类进行语义级确认，以输出所述时序段的最终分类结果。

30、结合第一方面，在一种实施方式中，所述基于视频叙事图生成语义标注数据，包括：

31、基于视频叙事图中的全局属性信息生成高层视频级标注数据；

32、根据视频叙事图中叙事单元的叙事功能类型，将视频叙事图中的各叙事单元映射为章节节点，以构建中层章节树标注数据；

33、对视频叙事图中的场景图实体事件与叙事上下文进行关联，以生成底层事件级标注数据。

34、结合第一方面，在一种实施方式中，所述对待标注视频流数据进行多模态特征提取，生成叙事特征库，包括：

35、分别提取待标注视频流数据的视觉突变信号、动作光流变化信号以及音频事件信号；

36、对所述视觉突变信号、动作光流变化信号以及音频事件信号进行加权计算，得到综合边界得分；

37、当所述综合边界得分超过预设边界阈值时，确定当前帧为关键帧；

38、对提取的关键帧进行多模态特征提取，生成叙事特征库，所述叙事特征库包括关键帧及其对应的时间戳、多模态特征向量。

39、第二方面，本技术实施例提供了一种视频叙事逻辑标注装置，包括：

40、特征提取模块，其用于对待标注视频流数据进行多模态特征提取，生成叙事特征库；

41、场景图构建模块，其用于采用时序上下文增强的视觉-语言推理机制对所述叙事特征库中的每个关键帧进行视觉语义理解，提取每一关键帧中的视觉实体以及不同视觉实体间的关联关系，以构建时序场景图序列；

42、实体追踪模块，其用于对时序场景图序列中的每个视觉实体进行跨时间段的身份关联与追踪，以建立全局实体身份标识及其对应的行为轨迹；

43、单元识别模块，其用于基于预设的叙事功能类型、全局实体身份标识及其对应的行为轨迹对时序场景图序列中的时序场景图进行聚合，得到多个叙事单元；

44、叙事图构建模块，其用于推理所述多个叙事单元之间的逻辑关系，并基于所述叙事单元和逻辑关系构建视频叙事图；

45、数据标注模块，其用于基于视频叙事图生成语义标注数据。

46、结合第二方面，在一种实施方式中，所述实体追踪模块具体用于：

47、计算两个视觉实体间的相似度，所述两个视觉实体分别位于不同的时间段；

48、若所述相似度大于第一阈值，则判定为同一身份；

49、若所述相似度小于或等于所述第一阈值，则校验所述两个视觉实体在时空轨迹上的连续性；

50、若满足预设的时空连续性约束，则判定为同一身份；

51、若未满足所述时空连续性约束，则调用视觉-语言大模型对所述两个视觉实体进行语义级确认，并基于确认结果判定是否为同一身份。

52、结合第二方面，在一种实施方式中，所述叙事功能类型包括开端类型、发展类型、高潮类型、结局类型和过渡类型；

53、所述开端类型对应的第一特征属性为持续时长范围为第一预设时长范围、引入的新视觉实体占比超过预设占比值和/或情感强度低于预设第一强度值；

54、所述发展类型对应的第二特征属性为持续时长范围为第二预设时长范围、视觉实体关系变化率大于预设变化率阈值、视觉实体交互频率处于上升状态和/或情感斜率大于预设第一斜率阈值；

55、所述高潮类型对应的第三特征属性为持续时长范围为第三预设时长范围、视觉实体密度最大、情感强度超过预设第二强度值和/或音频事件密度大于预设密度值；

56、所述结局类型对应的第四特征属性为持续时长范围为第四预设时长范围、情感下降斜率小于预设第二斜率阈值、视觉实体退出和/或出现总结性语言；

57、所述过渡类型对应的第五特征属性为持续时长范围为第五预设时长范围、出现视觉突变、出现音频静默和/或实体集合变更率超过预设变更阈值；

58、其中，按照持续时长由长到短的顺序对预设时长范围进行排序：第二预设时长范围、第三预设时长范围、第四预设时长范围、第一预设时长范围和第五预设时长范围。

59、结合第二方面，在一种实施方式中，所述单元识别模块具体用于：

60、采用预设变点检测算法对时序场景图序列进行分割，得到多个时序段；

61、针对每个时序段，按照各叙事功能类型对应的特征属性、全局实体身份标识及其对应的行为轨迹对时序段进行叙事功能分类，得到分类结果，并基于分类结果将时序段中的时序场景图聚合为叙事单元，同时为叙事单元分配对应的叙事功能类型标签。

62、结合第二方面，在一种实施方式中，所述单元识别模块具体还用于：

63、基于所述时序段内的所有全局实体身份标识及其对应的行为轨迹确定目标特征属性；

64、若所述目标特征属性与任意一个叙事功能类型对应的特征属性一致，则将对应的叙事功能类型作为所述时序段的分类结果；

65、若所述目标特征属性与所有叙事功能类型对应的特征属性均不一致，则基于所述时序段内的多维特征向量并调用预设分类器进行叙事功能分类，输出目标分类结果及其对应的置信度；

66、若置信度不小于预设置信度阈值，则将目标分类结果作为所述时序段的最终分类结果；

67、若置信度小于预设置信度阈值，则调用视觉-语言大模型对所述时序段的叙事功能分类进行语义级确认，以输出所述时序段的最终分类结果。

68、结合第二方面，在一种实施方式中，所述数据标注模块具体用于：

69、基于视频叙事图中的全局属性信息生成高层视频级标注数据；

70、根据视频叙事图中叙事单元的叙事功能类型，将视频叙事图中的各叙事单元映射为章节节点，以构建中层章节树标注数据；

71、对视频叙事图中的场景图实体事件与叙事上下文进行关联，以生成底层事件级标注数据。

72、结合第二方面，在一种实施方式中，所述特征提取模块具体用于：

73、分别提取待标注视频流数据的视觉突变信号、动作光流变化信号以及音频事件信号；

74、对所述视觉突变信号、动作光流变化信号以及音频事件信号进行加权计算，得到综合边界得分；

75、当所述综合边界得分超过预设边界阈值时，确定当前帧为关键帧；

76、对提取的关键帧进行多模态特征提取，生成叙事特征库，所述叙事特征库包括关键帧及其对应的时间戳、多模态特征向量。

77、第三方面，本技术实施例提供了一种视频叙事逻辑标注设备，所述视频叙事逻辑标注设备包括处理器、存储器以及存储在所述存储器上并可被所述处理器执行的视频叙事逻辑标注程序，其中所述视频叙事逻辑标注程序被所述处理器执行时，实现如前述的视频叙事逻辑标注方法的步骤。

78、第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有视频叙事逻辑标注程序，其中所述视频叙事逻辑标注程序被处理器执行时，实现如前述的视频叙事逻辑标注方法的步骤。

79、本技术实施例提供的技术方案带来的有益效果包括：

80、通过对待标注视频流数据进行多模态特征提取，生成叙事特征库，并采用时序上下文增强的视觉-语言推理机制对叙事特征库中的每个关键帧进行视觉语义理解，提取每一关键帧中的视觉实体以及不同视觉实体间的关联关系，以构建时序场景图序列，可消除单帧处理的孤立性，显著提升长视频中实体识别的稳定性及事件描述的连贯性；对时序场景图序列中的每个视觉实体进行跨时间段的身份关联与追踪，以建立全局实体身份标识及其对应的行为轨迹，即强制将不同时间段内属于同一对象的视觉实体映射为同一个id，可确保角色行为轨迹的完整性，以确保叙事连贯性；基于预设的叙事功能类型、全局实体身份标识及其对应的行为轨迹对时序场景图序列中的时序场景图进行聚合得到多个叙事单元，即分段的标准是“语义功能”，而非“物理信号”，以进一步保证叙事连贯性；推理多个叙事单元之间的逻辑关系，并基于叙事单元和逻辑关系构建视频叙事图，以基于视频叙事图生成语义标注数据，即输出的不再是零散的标签列表，而是具有逻辑结构的故事线，使标注数据具备了解释故事逻辑的能力；可见，通过本技术可显著提升视频叙事逻辑标注的准确性、连贯性与深层语义表达能力。