视频处理方法、装置、电子设备及存储介质与流程

本公开涉及多媒体，特别涉及一种视频处理方法、装置、电子设备及存储介质。

背景技术：

1、随着视频内容的制作量和消费量急剧增长，用户对视频画面质量的要求日益提高。在视频制作和后期处理中，通常采用统一的色彩调节参数对整段视频进行整体调色处理。然而，整段视频中不同画面区域的光影表现和色彩风格往往不一致，采用统一的调节参数进行处理，难以兼顾各画面的实际调节需求，导致部分画面调节不足而另一部分画面调节过度，影响了视频画面的整体表现效果，即视频质量较低。

技术实现思路

1、本公开提供一种视频处理方法、装置、电子设备及存储介质，通过对视频进行分镜检测，以分镜为单元分别确定并应用专属的色彩调节参数，实现各镜头差异化自适应调色，同时避免逐帧调色导致的画面闪烁，提升了视频色彩调节的质量和效率。本公开的技术方案如下：

2、根据本公开实施例的一方面，提供一种视频处理方法，包括：

3、对视频进行分镜检测，得到多个分镜片段；

4、对于所述多个分镜片段中的任一分镜片段，基于所述分镜片段的色彩特征和内容语义特征，确定所述分镜片段的色彩调节参数，所述色彩特征用于指示所述分镜片段的整体明暗基调和色彩鲜艳程度，所述内容语义特征用于表征指示所述分镜片段的内容类型和视觉焦点区域；

5、基于所述分镜片段的色彩调节参数，调节所述分镜片段内各视频帧的色彩。

6、根据本公开实施例的另一方面，提供一种视频处理装置，包括：

7、分镜单元，被配置为执行对视频进行分镜检测，得到多个分镜片段；

8、确定单元，被配置为执行对于所述多个分镜片段中的任一分镜片段，基于所述分镜片段的色彩特征和内容语义特征，确定所述分镜片段的色彩调节参数，所述色彩特征用于指示所述分镜片段的整体明暗基调和色彩鲜艳程度，所述内容语义特征用于表征指示所述分镜片段的内容类型和视觉焦点区域；

9、调节单元，被配置为执行基于所述分镜片段的色彩调节参数，调节所述分镜片段内各视频帧的色彩。

10、在一些实施例中，所述分镜单元，被配置为执行基于所述视频中相邻视频帧之间的色彩分布差异、亮度跳变幅度和画面构图变化度中的至少一项，确定所述视频中的分镜边界，所述分镜边界前后的视频帧之间的色彩分布差异、亮度跳变幅度和画面构图变化度中的至少一项超过预设值；基于所述分镜边界，将所述视频划分为多个分镜片段。

11、在一些实施例中，所述装置还包括：合并单元，被配置为执行下述至少一项：

12、对片段时长均小于第一预设时长的相邻分镜片段进行合并；

13、对帧间特征差异小于预设差异的相邻分镜片段进行合并。

14、在一些实施例中，所述确定单元，被配置为执行对于所述多个分镜片段中的任一分镜片段，若所述分镜片段的色彩特征达到亮度充足条件，则基于所述分镜片段的内容类型，查询规则映射表，得到所述色彩调节参数，所述规则映射表中记录有内容类型与色彩调节参数之间的对应关系；若所述分镜片段的色彩特征未达到亮度充足条件，则通过多模态大模型对所述分镜片段的色彩特征、内容语义特征以及所述分镜片段进行处理，得到所述色彩调节参数。

15、在一些实施例中，所述确定单元，被配置为执行基于调色约束规则，构建色彩调节提示词，所述调色约束规则用于约束所述多模态大模型进行色彩调节参数推理时的决策倾向；通过所述色彩调节提示词，控制所述多模态大模型对所述分镜片段的色彩特征、内容语义特征和所述分镜片段中的多个目标视频帧进行处理，得到所述色彩调节参数，所述多个目标视频帧用于代表所述分镜片段的内容。

16、在一些实施例中，所述色彩调节参数包括亮度调节参数、对比度调节参数和饱和度调节参数共多项；

17、所述调色约束规则包括下述至少一项：

18、多项色彩调节参数之间的优化优先级规则；

19、画面发灰情况下的对比度优先提升规则；

20、对视觉焦点区域的色彩调节幅度小于对其他区域的色彩调节幅度的保护规则；

21、基于内容类型确定对应调节强度等级的差异化规则。

22、在一些实施例中，所述确定单元，被配置为执行下述至少一项：

23、通过所述多模态大模型对所述分镜片段的色彩特征、内容语义特征和所述分镜片段中的多个目标视频帧进行处理，得到多组候选色彩调节参数；基于所述色彩调节提示词，从所述多组候选色彩调节参数中确定符合所述调色约束规则的目标色彩调节参数；

24、通过所述多模态大模型对所述分镜片段的色彩特征、内容语义特征和所述分镜片段中的多个目标视频帧进行处理，得到基准色彩调节参数；基于所述色彩调节提示词，确定所述分镜片段内不同画面区域的调节权重，基于所述调节权重对所述基准色彩调节参数进行加权，得到所述分镜片段内各画面区域的目标色彩调节参数。

25、在一些实施例中，所述装置还包括：

26、更新单元，被配置为执行在色彩调节后的视频上线后，获取与所述视频相关的交互行为数据；若所述交互行为数据指示所述视频呈现负向效果，对所述视频进行归因分析，基于分析结果，更新所述调色约束规则。

27、在一些实施例中，所述装置还包括：第一特征提取单元，被配置为执行对于所述多个分镜片段中的任一分镜片段，获取所述分镜片段内各视频帧的帧级色彩统计量，所述帧级色彩统计量包括各帧的亮度均值和饱和度均值；对所述分镜片段的所有视频帧的帧级色彩统计量进行聚合，得到所述分镜片段的色彩特征，所述色彩特征包括所述分镜片段的整体亮度均值和整体饱和度均值。

28、在一些实施例中，所述装置还包括：第二特征提取单元，被配置为执行对于所述多个分镜片段中的任一分镜片段，从所述分镜片段中获取多个目标视频帧，所述多个目标视频帧用于代表所述分镜片段的内容；通过多模态大模型对所述多个目标视频帧进行处理，得到所述分镜片段的内容类型和视觉焦点区域，所述视觉焦点区域包括人脸区域、字幕区域和主体对象所在区域中的至少一项。

29、在一些实施例中，所述第二特征提取单元，被配置为执行对于所述多个分镜片段中的任一分镜片段，若所述分镜片段的片段时长小于第二预设时长，则基于所述分镜片段内各视频帧之间的画面内容差异，从所述分镜片段中选取画面内容差异最大的多个视频帧作为所述多个目标视频帧；若所述分镜片段的片段时长不小于所述第二预设时长，则在所述分镜片段的时间轴上均匀抽取不超过预设数量的视频帧作为所述多个目标视频帧。

30、在一些实施例中，所述装置还包括：

31、获取单元，被配置为执行获取相邻分镜片段之间的边界类型，所述边界类型包括硬切边界和渐变边界，所述硬切边界为相邻分镜片段之间画面内容瞬间切换的边界类型，所述渐变边界为相邻分镜片段之间画面内容经多帧连续变化后完成切换的边界类型；

32、融合单元，被配置为执行在所述边界类型为所述硬切边界的情况下，以所述硬切边界为中心，选取包含所述边界前后各多帧的第一融合窗口，在所述第一融合窗口内将前一相邻分镜片段的色彩调节参数与后一相邻分镜片段的色彩调节参数进行融合；

33、所述融合单元，还被配置为执行在所述边界类型为渐变边界的情况下，以所述渐变边界为中心，选取窗口时长与所述渐变边界的持续时长匹配的第二融合窗口，在所述第二融合窗口内将前一相邻分镜片段的色彩调节参数与后一相邻分镜片段的色彩调节参数进行融合；所述第二融合窗口的窗口时长大于所述第一融合窗口的窗口时长。

34、在一些实施例中，所述装置还包括：

35、切分单元，被配置为执行对于所述多个分镜片段中的任一分镜片段，若所述分镜片段的片段时长超过第三预设时长且内部亮度变化幅度超过预设幅度，将所述分镜片段划分为多个子片段；

36、所述确定单元，被配置为执行对于所述多个子片段中的任一子片段，基于所述子片段的色彩特征和内容语义特征，确定所述子片段的色彩调节参数；按照所述多个子片段的时序，对各子片段对应的色彩调节参数进行时序平滑处理，得到所述分镜片段的色彩调节参数。

37、在一些实施例中，所述装置还包括：

38、调整单元，被配置为执行对色彩调节前后的视频分别进行质量评分；若色彩调节后的视频的质量分数低于色彩调节前的视频的质量分数，取消色彩调节或降低所述视频的色彩调节参数。

39、根据本公开实施例的另一方面，提供一种电子设备，该电子设备包括：

40、一个或多个处理器；

41、用于存储该处理器可执行程序代码的存储器；

42、其中，该处理器被配置为执行该程序代码，以实现上述视频处理方法。

43、根据本公开实施例的另一方面，提供一种计算机可读存储介质，当该计算机可读存储介质中的程序代码由电子设备的处理器执行时，使得电子设备能够执行上述视频处理方法。

44、根据本公开实施例的另一方面，提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述视频处理方法。

45、本公开实施例提供的方案，通过对视频进行分镜检测，将视频划分为多个具有独立视觉语义的分镜片段，使得后续的色彩调节能够以分镜为基本单元进行差异化处理，避免了整段视频采用统一调节参数所导致的部分画面调节不足或过度的问题。针对每个分镜片段，分别基于其色彩特征和内容语义特征确定专属的色彩调节参数，其中色彩特征反映了该分镜的实际明暗与色彩状态，内容语义特征反映了该分镜的内容类型和视觉焦点分布，从而使所确定的调节参数能够适配该分镜的真实画面需求和内容属性，提升了各分镜调色方案与实际画面状态的匹配准确度。在此基础上，同一分镜片段内的各视频帧采用相同的色彩调节参数进行调节，避免了以单帧为单位独立计算参数所导致的相邻帧之间参数频繁变化的问题，使同一分镜内的色彩风格保持一致，有助于提升视频色彩调节的整体质量和观看体验。

46、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。