基于时空场景图推理的短视频语义化智能剪辑系统及方法与流程

摘要: 本发明涉及视频智能剪辑,更具体地说,涉及一种基于时空场景图推理的短视频语义化智能剪辑系统及方法。背景技术:1、现有短视频剪辑技术仍存在以下全新痛点:2、1.传统...
基于时空场景图推理的短视频语义化智能剪辑系统及方法与流程

本发明涉及视频智能剪辑,更具体地说,涉及一种基于时空场景图推理的短视频语义化智能剪辑系统及方法。

背景技术:

1、现有短视频剪辑技术仍存在以下全新痛点:

2、1.传统剪辑仅依赖画面、音频浅层特征,缺乏时空逻辑关联,剪辑成片场景割裂、镜头跳转生硬;

3、2.单一语义分析无法匹配观众情感偏好,视频情绪节奏混乱,内容吸引力弱;

4、3.镜头选取缺乏量化评估指标,依赖固定模板,无法适配差异化内容风格;

5、4.通用聚类算法对长视频语义分割精度低,易出现关键语义片段丢失、冗余内容残留问题。

6、现有技术缺少以场景图推理为核心的全局内容理解方案,无法实现从物理场景、语义内容、情感韵律三重维度的协同剪辑,自动化剪辑成品质量低,难以规模化落地。

技术实现思路

1、针对现有技术存在的不足,本发明的目的在于提供一种基于时空场景图推理的短视频语义化智能剪辑系统,通过多模块协同实现时空逻辑、情感韵律与语义内容的一体化智能剪辑。

2、为实现上述目的,本发明提供了如下技术方案:一种基于时空场景图推理的短视频语义化智能剪辑系统,包括:时空场景图构建模块,采用视频时空网格化分割+场景节点关联推理算法,将视频画面划分为固定尺寸时空网格单元,检测画面实体、动作、环境三类目标节点,结合时间轴邻接关系构建有向时空场景图;通过图卷积网络gcn完成节点特征传播,挖掘场景时序关联逻辑;多模态情感编码模块,采用文本情感极性字典+音频频谱情感特征+画面色彩情感映射三重融合编码算法,对字幕文本进行细粒度情感打分,提取音频频谱熵、节奏密度特征,量化画面色温、饱和度情感倾向,生成统一情感特征向量;镜头韵律量化评估模块,引入镜头韵律熵量化指标,统计单段视频内镜头时长分布、切换频率、运动幅度,计算韵律混乱度,筛选节奏流畅的优质镜头片段;语义分层聚类剪辑模块,采用改进密度峰值聚类dpc算法,实现视频语义分层分割,以时空场景图特征与情感特征为聚类依据,自动划分开篇、核心内容、结尾三大语义层级,剔除碎片化冗余片段,保留完整语义单元;风格化自适应渲染模块,内置风格映射矩阵算法,根据视频语义类型自动匹配转场、滤镜、字幕排版规则;全局调度与迭代优化模块,采用轻量化分布式调度算法,搭载离线模型蒸馏机制,持续收集成片反馈,动态优化场景图权重、情感权重、韵律熵阈值,提升泛化能力。

3、作为本发明的进一步改进,时空场景图构建模块中的时空场景图邻接权重计算方式如下:式中:为场景节点与节点的关联权重;为视觉实体相似度;为时间距离衰减系数;为场景关联平衡系数。场景图全局特征输出:为sigmoid激活函数,为单网格实体特征。

4、作为本发明的进一步改进,多模态情感编码模块中的综合情感极性得分通过以下公式计算得出,综合情感极性得分:其中,,分别对应文本、音频、视觉情感权重,短视频场景默认权重:,为单段视频的综合情感极性得分,为字幕文本细粒度情感打分结果,基于文本情感极性字典计算得到,为音频情感特征得分,由音频频谱熵、节奏密度特征映射量化得到,为画面情感特征得分,由画面色温、饱和度的情感倾向映射量化得到。

5、作为本发明的进一步改进,镜头韵律量化评估模块中的镜头韵律熵通过以下公式计算获得:其中,为第类镜头时长的出现概率;数值越低,代表镜头节奏越稳定,剪辑优先级越高,筛选阈值:判定为优质韵律镜头,k为视频片段内镜头时长的类别总数。

6、本发明另一方面提供了一种基于时空场景图推理的短视频语义化智能剪辑方法,应用上述系统,包括如下步骤:s1:原始视频输入,时空场景图构建模块完成网格化分割、实体检测、图结构建模,输出全局时空关联特征;s2:多模态情感编码模块同步解析文本、音频、视觉情感特征,生成逐段情感极性得分;s3:镜头韵律量化评估模块计算所有镜头片段的韵律熵,完成优质镜头初筛;s4:语义分层聚类模块融合场景特征与情感特征,完成语义分层分割与冗余内容剔除;s5:风格化自适应渲染模块匹配视频类型,自动完成转场、调色、字幕合成;s6:输出成片并收集反馈,迭代优化各算法核心参数。

7、本发明的有益效果,本发明通过时空场景图构建模块建立带有时序关联的有向场景图结构,深度挖掘场景间的时序逻辑关联,从底层解决传统剪辑依赖浅层特征导致的成片场景割裂、镜头跳转生硬问题;通过多模态情感编码模块融合文本、音频、画面三重情感维度的特征,生成统一情感表征,实现剪辑过程中的情感节奏匹配,提升内容对观众的吸引力;通过镜头韵律量化评估模块引入韵律熵量化指标,将镜头节奏质量转化为可计算的数值标准,摆脱固定模板的限制,可适配差异化的内容风格;通过语义分层聚类剪辑模块采用改进的密度峰值聚类算法,结合时空场景特征与情感特征完成语义分层分割,精准剔除碎片化冗余内容,完整保留核心语义单元,提升长视频语义分割的精度。整套系统以场景图推理为核心构建全局内容理解能力,实现物理场景、语义内容、情感韵律三重维度的协同剪辑,显著提升自动化剪辑的成品质量,支撑规模化落地应用。

1.一种基于时空场景图推理的短视频语义化智能剪辑系统,其特征在于:包括:

2.根据权利要求1所述的基于时空场景图推理的短视频语义化智能剪辑系统,其特征在于:所述时空场景图构建模块中的时空场景图邻接权重计算方式如下:

3.根据权利要求2所述的基于时空场景图推理的短视频语义化智能剪辑系统,其特征在于:所述多模态情感编码模块中的综合情感极性得分通过以下公式计算得出,综合情感极性得分:

4.根据权利要求3所述的基于时空场景图推理的短视频语义化智能剪辑系统,其特征在于:所述镜头韵律量化评估模块中的镜头韵律熵通过以下公式计算获得:

5.一种基于时空场景图推理的短视频语义化智能剪辑方法,应用权利要求1至4任意一项所述的系统,其特征在于:包括如下步骤: