视频剪辑智能体训练样本的构造方法和设备与流程

本公开涉及视频处理和机器学习，特别涉及用于训练视频剪辑智能体的监督微调样本和强化学习轨迹样本的构造技术。

背景技术：

1、本部分所作的描述仅旨在为本公开的实施方式提供背景信息，不应被理解为承认或暗示其已构成现有技术。

2、近年来，训练能够自动生成视频剪辑操作的模型成为智能剪辑领域的重要研究方向，而模型训练依赖大量高质量的训练样本。现有技术中，视频剪辑成果通常以原生剪辑工程的形式保存，原生剪辑工程包含素材、轨道、片段、特效、转场、关键帧等大量对象，对象之间通过标识相互引用，形成复杂的对象图。若直接将原生剪辑工程作为训练数据，模型难以从复杂的对象图中学习到稳定的剪辑操作规律；若采用人工方式将剪辑工程整理为训练样本，则标注成本高、效率低，难以满足大规模训练的需求。此外，通过程序解析剪辑工程文件的方式虽然能够提取部分剪辑信息，但解析过程中可能存在信息丢失和语义偏差，且缺乏对提取结果进行验证的有效手段，训练样本的质量难以保证。

技术实现思路

1、本公开提供了一种视频剪辑智能体训练样本的构造方法和设备，可以解决的一个技术问题是：如何从原生剪辑工程自动获得保真且可执行的金剪辑动作序列，并进一步构造使视频剪辑智能体学习何时执行剪辑、何时检索素材以及何时终止任务的监督微调样本和强化学习轨迹样本，同时抑制未来状态泄漏、无效召回和同源样本跨数据集分布造成的训练偏差。

2、根据本公开的一个方面，提供了一种视频剪辑智能体训练样本的构造方法，包括：

3、解析原生剪辑工程，得到工程对象引用图，所述工程对象引用图包括素材对象、轨道对象、片段对象和辅助效果对象，以及各对象之间的层级包含关系和引用关系；

4、对所述工程对象引用图中的各对象建立以对象标识为键的全局对象索引；

5、基于所述全局对象索引，从所述工程对象引用图中抽取时间语义、轨道语义和资源语义，将受支持的对象映射为剪辑动作，得到可执行的剪辑动作序列，并对不受支持的对象、未知轨道和未解析引用生成转换损失记录；其中，每个所述剪辑动作包括动作类型、轨道信息、时间信息、资源信息和动作参数，所述时间信息根据动作类型包括源素材截取区间、目标时间区间或作用时刻中的至少一种，其中针对可截取媒体的剪辑动作，所述时间信息同时包括源素材截取区间和目标时间区间；

6、将所述剪辑动作序列正向转换为重建剪辑工程；

7、对所述原生剪辑工程和所述重建剪辑工程分别进行规范化，得到剔除非语义字段后的特征序列，对所述原生剪辑工程的特征序列和所述重建剪辑工程的特征序列进行匹配和语义比较，得到质量指标；

8、根据所述质量指标和所述转换损失记录进行质量门禁判定，将未通过所述质量门禁判定的剪辑动作序列隔离，将通过所述质量门禁判定的剪辑动作序列确定为金剪辑动作序列，并根据所述金剪辑动作序列构造用于训练视频剪辑智能体的训练样本。

9、将视频剪辑任务建模为下一动作预测任务，下一动作的动作空间包括剪辑动作、召回动作和终止动作。剪辑动作对应剪辑中间表示语言中的原子剪辑操作或者具有原子提交语义的动作组；召回动作包括召回标识和召回查询，用于触发素材检索并将检索结果加入下一状态的剪辑上下文；终止动作表示当前剪辑状态通过结构校验、引用闭合校验和可渲染校验。

10、基于金剪辑动作序列插入召回动作和终止动作，并以因果位置采样方式构造监督微调样本，使模型输入仅包括目标动作之前可获得的任务、状态、历史和剪辑上下文，以目标位置的下一动作作为监督标签。

11、在一个优选例中，使经监督微调的视频剪辑智能体在剪辑沙箱中生成状态-动作轨迹，根据召回命中及后续使用情况、召回消耗、动作合法性和终态成片质量计算奖励，将状态、动作、奖励、下一状态和终止标识关联存储为强化学习轨迹样本。

12、在一个优选例中，所述解析原生剪辑工程，包括：在所述原生剪辑工程的根节点为容器工程的情况下，根据有效轨道数量、音视频素材数量和有效时长，从所述容器工程所包含的工程中选择实际工程进行解析；

13、所述抽取时间语义、轨道语义和资源语义，包括：将所述工程对象引用图中的时间量统一换算为预设时间单位，区分所述源素材截取区间和所述目标时间区间；根据预设的轨道识别规则识别主轨道和叠加轨道，确定各所述剪辑动作的轨道信息和图层顺序。

14、在一个优选例中，所述方法还包括：

15、将所述剪辑动作序列中可替换的媒体资源信息和文本内容替换为占位标识，形成可替换的输入槽；

16、对所述原生剪辑工程中属于模板固有资源的对象设置保护标记，设置有所述保护标记的资源不被替换为占位标识。

17、在一个优选例中，所述方法还包括：在将所述剪辑动作序列正向转换为重建剪辑工程之前，对所述剪辑动作序列进行顺序规范化；

18、所述顺序规范化包括：将同一轨道内的剪辑动作按照目标时间区间的起始时间排序；将生成基础素材片段的剪辑动作排列于依赖所述基础素材片段的效果动作和关键帧动作之前，得到可重放的剪辑动作序列。

19、在一个优选例中，所述规范化包括：将原生剪辑工程和重建剪辑工程投影至相同的受支持语义子空间；剔除对象标识字段、生成时间字段和机器相关绝对路径字段；根据内容哈希、感知哈希、输入槽位标识或首次使用语义键中的至少一种为同类资源生成稳定占位符；将时间量量化到预设精度；对对象的字段键进行稳定排序；

20、所述特征序列包括轨道类型、轨道层级、片段起点、片段时长、源素材截取区间、资源类型和受支持的效果参数；

21、所述匹配和语义比较包括：对所述原生剪辑工程和所述重建剪辑工程的特征序列中的片段执行允许部分片段未匹配的最小代价一一匹配，对未匹配片段施加预设代价，根据匹配片段和未匹配片段共同计算片段覆盖率、归一化时间误差和属性一致率。

22、在一个优选例中，所述质量指标根据以下各项中的至少两项加权计算得到：逆向跳过率、未解析引用率、结构校验错误率、正向转换失败率、未匹配片段率、归一化时间误差和属性不一致率；各项均归一化至零到一，权重为非负数且权重之和为一，所述属性不一致率为一减去属性一致率；

23、所述质量门禁判定包括以下硬性条件，对应的剪辑动作序列满足任一所述硬性条件时被隔离：结构校验错误数量大于零；存在未知动作或必需引用未解析；正向转换中任一必需剪辑动作转换失败；与对应原生剪辑工程关联存储的权利元数据缺失、许可期限已届满，或者许可用途未指示允许用于模型训练。

24、在一个优选例中，所述根据通过所述质量门禁判定的剪辑动作序列构造用于训练视频剪辑智能体的训练样本，包括：

25、将通过所述质量门禁判定的剪辑动作序列作为候选样本；

26、对规范化后的剪辑动作序列进行序列化并计算指纹哈希值，根据所述指纹哈希值对所述候选样本进行精确去重；

27、根据由相邻剪辑动作类型、轨道信息和量化时间信息形成的有序动作n元组的加权多重集相似度，或者动作序列对齐相似度，对精确去重后的所述候选样本进行近重复聚类；在同一聚类簇中根据所述质量指标、来源完整性和轨迹覆盖度选择保留的候选样本，将保留的候选样本构造为所述训练样本。

28、在一个优选例中，所述方法还包括：按照候选样本所属的源工程、工程族、模板族或创作者进行分组，将每一分组作为不可拆分单元，仅整体划分至训练集、验证集和测试集三者中的一个；由同一金剪辑动作序列生成的不同目标位置监督样本、召回变体样本和强化学习轨迹样本被划分至同一个数据集。

29、在一个优选例中，所述方法还包括：为每个所述训练样本记录血缘信息，所述血缘信息包括样本标识、源工程文件哈希值、权利来源信息、转换器版本、剪辑动作模式版本、质量指标、去重簇标识、数据集划分标识和删除状态；

30、响应于源工程的权利来源被撤回，根据所述血缘信息删除由所述源工程派生的训练样本。

31、在一个优选例中，基于所述金剪辑动作序列构造监督微调样本：按依赖关系规范化所述金剪辑动作序列；通过受控移除后续剪辑动作所需素材并生成召回查询而插入召回动作；在完整可渲染的序列末尾追加终止动作；从增强后的序列中采样目标位置，以目标位置之前可获得的任务指令、当前剪辑状态、动作历史和剪辑上下文作为输入，以目标位置的剪辑动作、召回动作或终止动作作为下一动作标签。

32、监督微调阶段使用的目标位置采样方式与掩码数据构造相似，但不在模型输入中保留目标位置之后的动作或状态；每个被采样位置独立形成一条因果下一动作预测样本，剪辑模型仍采用自回归的下一词元或下一动作预测目标。

33、在一个优选例中，使经监督微调的视频剪辑智能体在剪辑沙箱中执行剪辑动作、召回动作和终止动作，并依据动作执行反馈和终态成片评价生成带奖励的轨迹样本；还可以对金剪辑动作序列施加字段缺失、时间冲突或引用断裂等受控扰动，构造以最小修复动作或合法修复动作集合为标签的辅助结构修复样本。

34、根据本公开的另一方面，提供了一种电子设备，包括：

35、存储器，用于存储计算机可执行指令；以及，

36、处理器，与所述存储器耦合，用于在执行所述计算机可执行指令时实现前文描述的方法中的步骤。

37、根据本公开的另一方面，提供了一种非瞬时性计算机可读存储介质，所述非瞬时性计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现前文描述的方法中的步骤。

38、本公开的实施例中，通过工程对象图逆向、确定性正向回环、规范化语义比较和质量门禁，将原生工程转换为经过保真验证的金剪辑动作序列；再将剪辑任务建模为包含剪辑、召回和终止三类动作的下一动作预测任务，并从金剪辑动作序列构造监督微调样本和剪辑沙箱强化学习轨迹样本，从而形成由真实完成工程到智能体训练数据的可验证闭环。该过程减少逐动作人工重建标注，但不排除任务指令、权利元数据、阈值和评价规则包含人工来源。

39、进一步地，通过在根节点为容器工程时按有效轨道数量、音视频素材数量和有效时长选择实际工程，并统一时间单位、区分源素材截取区间与目标时间区间、识别主轨道和叠加轨道，可以避免解析到无实质内容的容器工程，保证时间语义和轨道语义抽取的准确性。

40、进一步地，通过将可替换的媒体资源信息和文本内容替换为占位标识以形成输入槽，并对模板固有资源设置保护标记，可以将用户可替换内容与模板固有资产区分开，避免模型将模板固有资产误学为用户输入。

41、进一步地，通过将同一轨道内的剪辑动作按起始时间排序，并将生成基础素材片段的剪辑动作排列于依赖其的效果动作和关键帧动作之前，可以保证剪辑动作序列能够按序重放，避免因依赖关系缺失导致的转换失败。

42、进一步地，通过将双方工程投影至相同的受支持语义子空间，使用内容或语义稳定键对齐资源，并在部分一一匹配中显式计入未匹配片段，可以减少资源顺序差异和片段数量不等造成的错误配对，使质量指标同时反映结构保持、时间误差和属性一致程度。

43、进一步地，通过将质量指标统一为越大表示偏差越大的归一化误差项，对非负权重及权重和进行约束，并将质量分数截断至零到一，可以避免属性一致率与错误率方向相反或者加权结果越界；通过独立校验器和关联权利元数据设置硬门禁，可以防止严重结构缺陷或授权缺失被平均分数掩盖。

44、进一步地，通过基于指纹哈希值的精确去重，以及基于有序动作n元组加权多重集或序列对齐的近重复检测，可以在相似度中保留动作顺序和重复次数，降低交换动作顺序后仍被误判为完全相同的风险。

45、进一步地，通过将同一源工程、金剪辑动作序列及其派生的监督微调样本、召回变体样本和强化学习轨迹样本作为不可拆分分组，仅分配至训练集、验证集和测试集中的一个，可以降低轨迹级同源信息泄漏导致的评估虚高。

46、进一步地，通过为每个训练样本记录包括权利来源、版本信息和质量指标的血缘信息，并在权利来源被撤回时根据血缘信息删除派生样本，可以实现训练样本来源和处理过程的全程可追溯，支持对派生样本的定向管理。

47、进一步地，通过因果位置采样使下一动作样本不包含目标动作及未来状态，可以降低答案泄漏；通过受控移除后续动作所需素材并插入召回动作，构造是否检索、以何种查询检索以及检索后如何继续剪辑的监督样本；通过仅在完整可渲染状态追加终止动作，并在沙箱轨迹中设置召回成本、命中且使用奖励、非法动作惩罚和终态稀疏奖励，可以抑制重复召回及提前终止。

48、应当理解的是，以上的一般性描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。本公开的各个方面和实施例可以以不同的方式进行组合。本公开的这个部分不旨在确定所要求保护的主题的关键特征或必要特征，也不旨在用于辅助确定所要求保护的主题的范围。