一种基于去偏参考选择的复杂度自适应视频描述方法及系统与流程

本发明涉及计算机视觉与自然语言处理交叉，具体涉及一种基于去偏参考选择的复杂度自适应视频描述方法及系统。

背景技术：

1、视频描述旨在为给定视频自动生成语义正确的自然语言描述，处于计算机视觉与自然语言处理的交叉领域。近年来，视频大模型通过将视觉编码器与大语言模型骨干桥接，在标准基准上大幅提升了描述质量，代表性工作包括统一图文理解的video-llava、采用层次化视觉语言接口的videochat、以动态分辨率扩展视觉语言预训练的qwen2-vl，以及在大规模视频文本数据上训练的mplug-2等。然而，现有研究的关注点主要集中在聚合评分与绝对排名上，一个更基本的问题长期未被审视：模型的描述粒度是否真的会随其描述内容的复杂度而自适应调整。

2、直觉上，一个对象、动作、事件密集的视频应当比简单视频获得更长、更详细的描述，人工标注者正是如此，其参考字幕在复杂视频上明显更长。一个真正理解内容的模型理应表现出相同倾向。然而技术人员发现，微调后的视频大模型无论视频复杂度如何，均输出近乎恒定长度的描述，丢失了其预训练基座中本已存在的弱自适应能力，且恰好在最需要更长描述的复杂内容上发生塌陷。

3、现有面向参考字幕选择与数据质量的工作有不少路子。噪声感知训练会显式建模参考中的错配词，参考无关评估则绕开参考依赖，另有按难度排序样本的课程学习，以及按质量加权训练字幕的蒸馏方法。这些方法各有所长，但有一点是共通的：训练时都保留全部参考字幕，没人专门在"为每个视频选择监督目标"这个环节引入去偏机制。

4、视频描述质量通常采用等元组重叠度量评估。通过tf-idf加权的元组匹配奖励与参考集共识一致的描述，该tf-idf加权同时使度量对长度敏感，且该长度敏感性在内容复杂度上并不均匀，而在复杂视频上更为显著。

5、除上述路线外，本领域另有几类从其它层面入手的现有技术。一类为度量修正，通过对cider等n元组度量引入额外约束以修正其匹配规则，干预点位于评估度量本身；一类为复杂度自适应，依据视频时空特征计算视频复杂度并据此构造长度奖励，以强化学习奖励信号优化模型参数，干预点位于训练的优化目标；一类为标注质量加权，对参考字幕进行质量评分并将其作为交叉熵损失的动态权重，干预点位于损失函数。上述路线虽各有侧重，但共同特征在于，干预均施加于评估度量、损失函数或强化学习奖励层面，监督目标本身仍沿用全部参考或按单一度量最高者选取，均未在为每个视频选择监督目标这一环节引入去偏机制。然而技术人员发现，短描述偏置正是经由所选取的监督目标传递至模型的，若不在此环节去偏，无论在损失或奖励层面如何修正，均难以阻断偏置的源头传递。

6、归结起来，现有技术的问题出在几处。最直接的是描述粒度跟不上复杂度：微调后的视频大模型不随内容复杂度自适应增长，复杂视频上描述过短，形成"粒度-复杂度失配"。这种失配并非无害，它让质量在复杂内容上直接塌陷，而此时简单视频已逼近人工上界，整个质量差距恰好压在最需要自适应的复杂段。问题还往更深处走一层：把监督目标压缩为每视频单条参考、再按最高分选取时，的短长度偏置会随选择被继承下来，在复杂视频上系统性挑出偏短参考，偏置经监督目标传给模型，非但没有纠正，反而被放大。

技术实现思路

1、本发明针对现有视频描述方法的几个痛点展开：描述粒度不随内容复杂度自适应、复杂内容质量塌陷、监督目标选择中潜藏短描述偏置。具体痛点分述如下。

2、1）粒度-复杂度失配：微调后的视频大模型在整段复杂度范围内吐出近乎恒定长度的描述，没能像人工参考字幕那样随复杂度增长，偏偏在内容最丰富、最该详尽描述的复杂视频上写得过短。

3、2）复杂内容质量塌陷：上述长度失配并非以质量换取简洁的成功折中。真实情况是复杂桶质量急剧塌陷，简单视频早早饱和，复杂视频却只够到其得分的一小部分，整个质量差距都堆在自适应最缺失的地方。

4、3）监督目标短描述偏置：把监督目标压缩为单条参考、再按最高者选取时，的tf-idf长度偏置会让所选参考在复杂视频上系统性偏短。偏置经监督目标传到模型，落点恰是人工最长、模型最需要长目标之处。

5、本发明创新点如下：

6、1）基于语义多样性的复杂度分桶与粒度自适应度量。这里不另训视觉模型去推断复杂度，而是直接读取人工参考字幕，定义语义多样性为各参考字幕实词并集大小与实词总长之比，再按等频分桶。另定义粒度自适应度为模型输出长度随复杂度分桶的斜率，据此诊断"粒度-复杂度失配"，量化微调如何抹除预训练基座的自适应能力、并在复杂内容上塌陷。为排除"只是某个模型的问题"这一可能，还纳入多种异构模型验证，证实该失配是系统性的，而非模型特异。

7、2）失配根因定位。粒度-复杂度失配的根因，被定位到交叉熵训练范式下、以最高参考作为监督目标时引入的短描述倾向。这一倾向在复杂视频上尤为加剧，结果是模型恰恰在需要更长描述的地方，学到了过短的参考。

8、3）去偏参考选择框架。在监督目标选择环节引入去偏评分，其中是质量度量、是偏置度量、是去偏强度。令即退化为纯质量选择，因此该框架是严格推广而非替换既有方法。偏置度量刻意留作可插拔槽，并给出三种实例化：内容可达性(d1)、同伴分歧(d2)、长度偏差(d3)，分别对应"可达性""共识性""长度"三种可学习性视角。

9、4）长度偏差实例化与质量-长度协同。经免训练机制检验与完整训练验证，确定长度偏差形式d3最稳，也最直接命中根因，在简单与复杂视频上同涨质量，并能跨数据集泛化。为进一步排除"只是把字幕拉长"的怀疑，又设了纯长度对照实验，证明增益来自质量与长度的协同，而非单纯的长度匹配。

10、本发明适用于视频内容理解、视频检索、智能视频编辑、视频内容审核、短视频与影视内容自动标注、视障辅助描述等场景，通过对视频大模型监督目标的去偏选择，使生成的视频描述长度与内容复杂度自适应匹配，提升视频描述的整体质量。

11、本发明的技术方案为：

12、一种基于去偏参考选择的复杂度自适应视频描述方法，包括：

13、步骤1：获取输入视频及其人工参考字幕后，提取实词、算出语义多样性，按等频分桶得到复杂度桶，并计算粒度自适应度；

14、步骤2：对每条候选参考字幕，分别按d1、d2、d3三种实例化方案算出偏置度量，再在视频内做最小-最大归一化，使不同候选之间的偏置信号可比较；其中，d1、d2、d3为偏置度量的三种实例化方案，分别将偏置视为内容可达性、同伴分歧、相对桶均值的长度偏差；

15、步骤3：采用去偏评分的选择规则，在给定下挑出监督目标；

16、步骤4：对于选定的单条监督目标，采用交叉熵损失对基座模型做参数高效微调，输出训练后的基座模型；

17、步骤5：将待描述的输入视频预处理后输入至训练后的基座模型，输出视频描述。

18、根据本发明优选的，步骤1的具体实现过程包括：

19、步骤1.1：v2c语义多样性；

20、设视频的条参考字幕为，其中，为视频的第条参考字幕，，为视频的人工参考字幕总条数；定义视频的语义多样性为各参考字幕实词并集大小与实词总长之比，计算公式如下：

21、；

22、式中，为集合求并运算符，下标为参考字幕的编号，表示对视频的条参考字幕的实词集合求并集；是去除停用词及长度小于三的词后得到的实词集合；的取值为；

23、步骤1.2：复杂度分桶；

24、对每个数据集，按v2c语义多样性从小到大对视频排序并划分为等频复杂度桶即复杂度分桶的结果；

25、步骤1.3 粒度自适应度量：

26、设待评测的视频描述生成模型为任意具备视频描述生成能力的模型，在等频复杂度桶上的平均输出字幕长度为，长度以实词数计；模型的粒度自适应度为对的斜率，计算公式如下：

27、；

28、式中，为将视频按复杂度从小到大分桶后各等频复杂度桶的编号，是平均桶序号，是的总平均；是指桶序号。

29、进一步优选的，视频描述生成模型采用qwen2-vl-7b-instruct。

30、根据本发明优选的，步骤2的具体实现过程包括：

31、

32、步骤2.1：系统性偏置分析；

33、当监督压缩为每视频单条参考时，选取质量最高者，以度量质量时，所选目标为：

34、；

35、式中，是参考字幕相对于视频其余参考的得分；为视频的条人工参考字幕构成的集合；

36、步骤2.2：偏置的三种实例化；

37、将偏置度量留为可插拔槽，给出三种实例化，分别对应不同的可学习性视角；

38、d1将偏置视为内容可达性；设为微调前基座模型对视频生成的字幕，基座模型已能生成的实词为易拟合，需基座模型尚未生成内容的为难拟合，定义：

39、；

40、式中，为d1实例化下参考字幕在视频上的偏置度量；为实词集合；为雅卡尔系数，是两个集合的交集元素个数与并集元素个数之比，取值范围为[0,1]；度量参考字幕的实词与基座模型已生成内容的重合程度；

41、d2将偏置视为同伴分歧；与同视频其余参考相似的为共识易学，偏离同伴的离群点为难学，定义：

42、

43、式中，为d2实例化下参考字幕在视频上的偏置度量；为视频的参考字幕总条数；为遍历视频内除以外其余各条参考字幕的迭代变量；表示从参考字幕集合中去掉后的其余参考集合；为参考字幕与计算得到的cider得分；等于1减去与其余条参考的平均共识相似度；

44、d3将偏置视为相对桶均值的长度偏差；长度偏离复杂度桶典型长度者承载度量长度偏置最强，定义：

45、

46、式中，为d3实例化下参考字幕在视频上的偏置度量；为参考字幕的词数，为视频所属桶的平均参考长度。

47、根据本发明优选的，步骤3的具体实现过程包括：

48、步骤3.1：去偏选择框架；

49、对视频与候选参考，定义选择评分：

50、；

51、式中，为质量度量，为相对其余参考的train-cider；度量在所关注偏置维度上偏离可学习目标的程度；，为去偏强度；所选监督目标为：

52、；

53、步骤3.2：归一化与去偏强度；对每条训练视频，预计算d1、d2、d3下各候选参考的偏置度量；各偏置项在视频内最小-最大归一化至，使去偏强度在不同定义间可比。

54、根据本发明优选的，步骤4的具体实现过程包括：

55、步骤4.1：模型与参数高效微调配置；

56、以qwen2-vl-7b-instruct为基座模型，将视觉编码器接于7b参数语言模型；

57、采用lora参数高效微调方法：冻结基座模型的全部原始权重，在选定投影层的权重矩阵旁路插入一对低秩矩阵与，前向计算时该投影层输出由变为，为缩放系数；训练时仅更新低秩矩阵、，基座权重保持不变，从而以少量可训练参数完成基座模型的领域适配；

58、步骤4.2：监督目标与训练；

59、监督目标是输出的，以标准交叉熵损失回归这条单参考；损失函数为：

60、；

61、式中，为可训练参数；为监督目标的词元总数；为其第个词元，为第个词元之前的全部词元；为视频的输入条件，即采样帧的视觉词元序列与输入提示；为基座模型在第步的词元条件概率分布。

62、一种基于去偏参考选择的复杂度自适应视频描述系统，包括：

63、复杂度分桶模块，被配置为：获取输入视频及其人工参考字幕后，提取实词、算出语义多样性，按等频分桶得到复杂度桶，并计算粒度自适应度；

64、偏置度量模块，被配置为：对每条候选参考字幕，分别按d1、d2、d3三种实例化方案算出偏置度量，再在视频内做最小-最大归一化，使不同候选之间的偏置信号可比较；其中，d1、d2、d3为偏置度量的三种实例化方案，分别将偏置视为内容可达性、同伴分歧、相对桶均值的长度偏差；

65、去偏参考选择模块，被配置为：采用去偏评分的选择规则，在给定下挑出监督目标；

66、模型微调模块，被配置为：对于选定的单条监督目标，采用交叉熵损失对基座模型做参数高效微调，输出训练后的基座模型；

67、视频描述输出模块，被配置为：将待描述的输入视频预处理后输入至训练后的基座模型，输出视频描述。

68、本发明的有益效果为：

69、1）恢复正向粒度自适应：微调后的视频大模型由此重新获得描述长度随复杂度增长的正向自适应能力，部分回归人工标注的粒度曲线，把微调抹除自适应的倾向扭转过来。

70、2）复杂桶质量恢复：增益集中在复杂桶。在最复杂的桶上，相对纯质量选择恢复约2.52，而那里正是纯质量选择近乎失效的地方，可谓补在刀刃上。

71、3）简单复杂视频质量同涨：简单与复杂视频的、、同时提升，并非拿简单视频当代价去换复杂视频。而且平均长度只是小幅回升，仍远低于人工参考长度。

72、4）跨数据集泛化：在msr-vtt与msvd两个独立数据集上，排序保持一致。也就是说，长度偏差带来的增益并不依赖于某一特定的参考分布。

73、5）工程友好：只动监督目标的选择规则，模型结构和损失函数都不碰，可直接嵌入既有监督微调流水线。实施成本低，可控性也强。