一种基于视频画面平滑度量化的摄像头追踪质量评测方法及系统与流程

本发明涉及摄像头，特别涉及一种基于视频画面平滑度量化的摄像头追踪质量评测方法及系统。

背景技术：

1、随着计算机视觉、目标检测和云台控制技术的发展，具有目标自动追踪功能的摄像头被广泛应用于家庭看护、视频会议、安防监控、宠物看护及智能拍摄等场景。摄像头检测到移动目标后，可以根据目标在画面中的位置控制机械云台转动，或者通过电子裁剪、电子画面移动等方式调整拍摄视野，使目标保持在画面中的预定区域。

2、在目标追踪过程中，摄像头需要根据目标位置和运动状态持续进行跟随调整。若追踪控制参数设置不合理，或者目标检测结果、运动预测结果及云台响应之间不匹配，容易出现画面高频抖动、突然顿挫、方向反复变化、追过目标后反向修正、频繁启停以及目标偏离画面中心但摄像头未及时响应等现象。上述现象不仅影响观看体验，还会影响不同产品、不同软件版本及不同追踪控制策略之间的客观比较。

3、现有技术中已经存在根据视频画面运动判断摄像头抖动的方案。例如，中国专利cn104301712b公开了一种基于视频分析的监控摄像头抖动检测方法，该方法对连续视频帧提取并匹配全局特征点，对特征点位移向量进行聚类，并根据位移向量的聚类结果判断视频是否发生抖动，以区分局部物体移动与摄像头整体抖动。该方案主要用于判断监控摄像头是否存在整体抖动。

4、中国专利cn105681663b公开了一种基于帧间运动几何平滑性的视频抖动检测方法，该方法根据帧间相似程度对视频进行分段，对各视频分段进行特征点检测和匹配，计算相邻帧平移量的平均值、平移量的方差以及平移向量夹角的平均值，并将上述几何量与对应阈值比较，以判断视频分段是否发生抖动。该方案能够根据帧间运动的几何平滑程度评价一般视频中的抖动情况。

5、中国专利cn111242984b公开了一种基于摇头摄像机的目标跟踪方法，该方法检测并确定待追踪目标，计算目标在水平方向和垂直方向上距离画面中心的距离，并根据该距离控制摇头摄像机转动，以使目标向画面中心移动；该方案还采用多帧滤波、卡尔曼预测及匹配方式减少目标误检造成的摄像机乱晃。该方案主要涉及根据目标位置控制摄像头进行跟踪。

6、上述现有方案分别从摄像头抖动检测、帧间运动几何平滑性评价或目标跟踪控制等角度进行了改进。然而，从上述公开内容来看，一般视频抖动检测方法通常以画面整体运动幅度、位移方差或方向变化为判断依据，未将摄像头为跟随目标而产生的有效运动与无效抖动、过冲、回摆及启停异常进行区分；目标跟踪控制方法则主要关注如何根据目标与画面中心之间的位置偏差控制摄像头运动，未形成面向追踪结果的独立质量评测方法。

7、特别是在摄像头追踪测试场景中，主追踪目标本身在画面中的移动会影响帧间特征匹配结果。若直接利用包括目标区域在内的全部图像特征估计画面运动，可能将主追踪目标自身的局部运动误认为摄像头产生的全局画面运动。同时，在低纹理、弱光、动态背景或局部遮挡场景中，背景运动估计结果还可能存在可靠性不足的问题。

8、此外，仅根据画面运动轨迹是否平滑，难以确定摄像头反向运动是合理跟随调整还是无效回摆，也难以确定目标穿越画面中心是正常运动还是摄像头追过目标后进行反向修正的过冲行为。对于目标已经明显偏离画面中心而摄像头仍处于静止状态的情况，一般的视频抖动检测方法也难以将其识别为追踪响应不足。

9、因此，需要提供一种面向摄像头目标追踪场景的追踪质量评测方法、系统及存储介质，在排除主追踪目标自身运动干扰的基础上，可靠地提取摄像头对应的画面运动，结合画面运动向量和目标中心轨迹识别高频抖动、回摆、过冲、启停异常及无效静止，并输出能够反映追踪画面平滑程度及具体失分原因的客观评测结果。

技术实现思路

1、针对现有技术存在的问题，本发明提供一种基于视频画面平滑度量化的摄像头追踪质量评测方法及系统。

2、为了实现上述目的，本发明提供一种基于视频画面平滑度量化的摄像头追踪质量评测方法，包括以下步骤：

3、步骤s1：获取摄像头在追踪测试场景下录制的视频、主追踪目标的目标轨迹数据以及追踪响应状态，所述目标轨迹数据包括目标框、目标中心点、目标可见状态和追错标记；根据所述目标可见状态、所述追错标记以及所述追踪响应状态生成初始评测区间，所述初始评测区间为所述主追踪目标可见、未发生追错且所述摄像头针对所述主追踪目标的追踪功能处于激活状态的视频区间；

4、步骤s2：对所述初始评测区间内的相邻视频帧构建目标框扩展掩膜，在所述目标框扩展掩膜之外的背景区域提取并匹配背景特征点，采用鲁棒估计方法估计相邻视频帧之间的全局平移变换矩阵、仿射变换矩阵或单应性变换矩阵，并从所述全局平移变换矩阵、所述仿射变换矩阵或所述单应性变换矩阵中提取表示背景图像内容由前一视频帧至后一视频帧在图像平面中的位移方向的画面运动向量序列；

5、步骤s3：基于背景特征点匹配内点率、背景区域面积占比、背景运动一致性和动态背景干扰程度中的至少一种，计算各相邻帧对的背景运动估计可靠性，并对连续多个相邻帧对的背景运动估计可靠性进行聚合，得到候选视频段的段可靠性；将所述段可靠性不低于预设可靠性阈值的候选视频段确定为有效评测区间；当所述段可靠性低于所述预设可靠性阈值时，对对应候选视频段扩大统计窗口或切换运动估计方式，并重新计算所述段可靠性；将重新计算的段可靠性不低于所述预设可靠性阈值的候选视频段纳入所述有效评测区间，并根据重新计算的段可靠性确定对应视频段的评分权重；将重新计算的段可靠性仍低于所述预设可靠性阈值的候选视频段排除并输出低置信度标记；仅在所述有效评测区间内进行追踪质量评测；

6、步骤s4：在所述有效评测区间内设置短窗口、中窗口和长窗口，所述短窗口用于检测高频抖动或突然顿挫，所述中窗口用于检测方向反转、回摆或过冲，所述长窗口用于分析整体追踪趋势，并基于各滑动窗口对所述画面运动向量序列和所述目标中心点的轨迹序列进行统计分析；

7、步骤s5：基于所述画面运动向量序列计算向量速度、向量加速度和向量加加速度，并根据所述向量加速度和所述向量加加速度计算平均加速度幅值、p90加速度幅值、平均加加速度幅值和p90加加速度幅值；

8、步骤s6：对所述画面运动向量序列进行低频跟随运动与高频抖动残差分离，根据分离得到的高频抖动残差计算归一化高频抖动强度，并计算高频方向变化率；

9、步骤s7：根据所述画面运动向量序列检测有效方向反转，并根据预设时间窗口内的有效方向反转次数以及目标中心偏移改善情况识别回摆事件，其中，所述回摆事件为在所述预设时间窗口内出现多次有效方向反转且目标中心偏移未达到预设改善条件的事件；

10、步骤s8：根据目标中心相对画面中心的误差发生符号翻转、在符号翻转前后的预设观察子窗口内翻转前的同向误差峰值和翻转后的反向误差峰值分别超过中心容忍阈值，以及误差符号翻转后的画面运动方向相对于符号翻转前发生反向的联合条件识别过冲事件，并计算所述过冲事件对应的过冲幅度和过冲恢复时间；

11、步骤s9：根据画面运动幅度与预设运动阈值的比较结果判定运动状态或静止状态，统计所述有效评测区间内的启停切换率和无效静止占比，其中，所述无效静止为所述主追踪目标可见、目标中心偏移超过预设偏移阈值且所述画面运动幅度不大于所述预设运动阈值的状态；

12、步骤s10：分析所述目标中心点在画面中的轨迹序列，计算目标中心偏移变化速度、目标中心方向反转次数、目标中心震荡强度和边缘甩出次数中的至少一种目标中心稳定性指标；

13、步骤s11：基于所述平均加速度幅值、所述p90加速度幅值、所述平均加加速度幅值、所述p90加加速度幅值、所述归一化高频抖动强度、所述高频方向变化率、所述回摆事件、所述过冲事件、所述启停切换率、所述无效静止占比、所述目标中心稳定性指标以及各有效视频段的评分权重，按照经产品类型、目标类型、测试场景、用户主观评分、专家评分、历史问题样本或版本回归测试结果标定的惩罚函数计算平滑度综合得分，并输出所述平滑度综合得分、等级、各子指标扣分、置信度、主要失分原因以及对应时间区间，以区分目标追踪过程中的有效跟随运动与无效抖动、过冲、回摆、启停异常或无效静止。

14、优选地，在步骤s2中：所述目标框扩展掩膜通过对所述目标框按照预设扩展比例向外扩展得到，以排除所述主追踪目标、目标边缘拖影区域或局部遮挡区域内的特征点；当采用所述全局平移变换矩阵或所述仿射变换矩阵时，提取所述全局平移变换矩阵或所述仿射变换矩阵中的平移分量，作为相邻视频帧之间的水平位移和垂直位移；当采用所述单应性变换矩阵时，将预设背景采样点或背景网格点通过所述单应性变换矩阵进行映射，计算映射前后位移的平均值、中位值或中心区域代表值，作为相邻视频帧之间的画面运动向量。

15、优选地，在步骤s4中，所述短窗口的时间长度为0.2秒至0.5秒，所述中窗口的时间长度为0.5秒至1.0秒，所述长窗口的时间长度为1.0秒至2.0秒，并根据所述视频的帧率将各窗口的时间长度转换为对应的窗口帧数；

16、在步骤s5中，设第i帧至第i+1帧之间的画面运动向量为g_i，相邻视频帧之间的时间间隔为δt，则所述向量速度v_i、所述向量加速度a_i和所述向量加加速度j_i分别满足：v_i＝g_i/δt；a_i＝（v_i－v_(i－1)）/δt；j_i＝（a_i－a_(i－1)）/δt；分别计算所述向量加速度和所述向量加加速度的幅值，并对所述向量加速度的幅值和所述向量加加速度的幅值进行统计，得到所述平均加速度幅值、所述p90加速度幅值、所述平均加加速度幅值和所述p90加加速度幅值；

17、其中，所述p90加速度幅值为所述向量加速度幅值的第90百分位数，所述p90加加速度幅值为所述向量加加速度幅值的第90百分位数。

18、优选地，在步骤s6中，对所述画面运动向量序列进行移动平均，得到低频跟随运动分量，所述移动平均的窗口长度为0.5秒至1.0秒；将所述画面运动向量序列减去所述低频跟随运动分量，得到高频抖动残差；所述归一化高频抖动强度为所述高频抖动残差的幅值平均值与画面对角线长度之比；

19、在步骤s7中，设第i帧至第i+1帧之间的画面运动向量为：

20、g_i＝（dx_i，dy_i）；

21、水平方向上的有效方向反转满足：sign（dx_i）≠sign（dx_(i－1)），且|dx_i|＞d_threshold，且|dx_(i－1)|＞d_threshold；

22、垂直方向上的有效方向反转满足：sign（dy_i）≠sign（dy_(i－1)），且|dy_i|＞d_threshold，且|dy_(i－1)|＞d_threshold；其中，d_threshold为方向反转判定阈值，所述方向反转判定阈值为画面对角线长度的0.1%至0.3%；

23、所述回摆事件的判定条件包括：在0.5秒至1.0秒的中窗口内出现两次及以上所述有效方向反转，且所述中窗口结束时的目标中心偏移未较所述中窗口开始时的目标中心偏移改善。

24、优选地，在步骤s8中，所述目标中心相对画面中心的误差在预设时间窗口内沿至少一个坐标轴发生符号翻转，在所述符号翻转前后的预设观察子窗口内，翻转前的同向误差峰值和翻转后的反向误差峰值分别超过沿对应坐标轴设置的中心容忍阈值，且所述符号翻转后的画面运动方向相对于所述符号翻转前的画面运动方向发生反向；

25、所述过冲幅度为所述符号翻转后的反向误差峰值与对应坐标轴方向上的画面尺寸之比，所述过冲恢复时间为从所述误差发生符号翻转的时刻至所述目标中心重新进入中心安全区的时长；所述中心安全区由水平中心容忍阈值和垂直中心容忍阈值围成，当目标中心的水平误差绝对值不大于所述水平中心容忍阈值且垂直误差绝对值不大于所述垂直中心容忍阈值时，判定所述目标中心进入所述中心安全区；

26、在步骤s9中，根据画面运动幅度motion_i与预设运动阈值m_threshold的比较结果判定运动状态或静止状态，所述预设运动阈值m_threshold为画面对角线长度的0.05%至0.2%；当所述画面运动幅度motion_i大于所述预设运动阈值m_threshold时，将对应视频帧判定为运动状态，否则将对应视频帧判定为静止状态；

27、所述启停切换率为所述有效评测区间内所述运动状态与所述静止状态之间的切换次数与有效评测时长之比；

28、所述无效静止帧为所述有效评测区间内所述主追踪目标可见、目标中心偏移超过所述预设偏移阈值且所述画面运动幅度motion_i不大于所述预设运动阈值m_threshold的视频帧，所述无效静止占比为所述无效静止帧数与所述有效评测区间内目标可见帧数之比。

29、优选地，在步骤s3中，所述背景运动估计可靠性r_i满足：

30、r_i＝α×n_inlier/n_match＋β×area_bg/area_img－γ×e_dynamic；

31、其中，n_inlier为所述鲁棒估计方法确定的背景特征点匹配内点数量，n_match为背景特征点匹配点数量，area_bg为背景有效区域面积，area_img为图像面积，e_dynamic为动态背景干扰指标，α、β和γ为预设参数或经测试样本标定得到的参数。

32、以连续k帧构成一个候选视频段，所述候选视频段包括k－1个相邻帧对，所述候选视频段的段可靠性r_seg满足：

33、r_seg＝[σ_(i＝1)^(k－1)r_i]/（k－1）；

34、将所述段可靠性r_seg与所述预设可靠性阈值进行比较，以确定所述候选视频段是否纳入所述有效评测区间。

35、优选地，在步骤s11中：分别根据各子指标x_k计算对应的惩罚项p_k，所述惩罚项p_k为线性惩罚函数、分段惩罚函数或饱和惩罚函数中的一种；

36、当所述惩罚项p_k采用所述饱和惩罚函数时，满足：

37、p_k＝p_k^max/{1＋exp[－（x_k－μ_k）/s_k]}；

38、其中，p_k^max为第k类子指标的惩罚上限，μ_k和s_k为根据产品类型、目标类型、测试场景、用户主观评分、专家评分、历史问题样本或版本回归测试结果标定得到的参数；

39、所述平滑度综合得分s满足：

40、s＝max{0，min[100，100－σp_k]}。

41、本发明还提供一种基于视频画面平滑度量化的摄像头追踪质量评测系统，包括：

42、视频输入与轨迹获取模块，用于获取摄像头在追踪测试场景下录制的视频、主追踪目标的目标轨迹数据以及追踪响应状态，所述目标轨迹数据包括目标框、目标中心点、目标可见状态和追错标记；

43、初始评测区间生成模块，用于根据所述目标可见状态、所述追错标记以及所述追踪响应状态，将所述主追踪目标可见、未发生追错且所述摄像头针对所述主追踪目标的追踪功能处于激活状态的视频区间确定为初始评测区间；

44、背景运动估计模块，用于对所述初始评测区间内的相邻视频帧构建目标框扩展掩膜，在所述目标框扩展掩膜之外的背景区域提取并匹配背景特征点，采用鲁棒估计方法估计全局平移变换矩阵、仿射变换矩阵或单应性变换矩阵，并提取表示背景图像内容由前一视频帧至后一视频帧在图像平面中的位移方向的画面运动向量序列；

45、可靠性与有效区间确定模块，用于基于背景特征点匹配内点率、背景区域面积占比、背景运动一致性和动态背景干扰程度中的至少一种计算各相邻帧对的背景运动估计可靠性，对连续多个相邻帧对的背景运动估计可靠性进行聚合以得到候选视频段的段可靠性，将所述段可靠性不低于预设可靠性阈值的候选视频段确定为有效评测区间；在所述段可靠性低于所述预设可靠性阈值时，对对应候选视频段扩大统计窗口或切换运动估计方式并重新计算所述段可靠性，将重新计算的段可靠性不低于所述预设可靠性阈值的候选视频段纳入所述有效评测区间并根据重新计算的段可靠性确定对应视频段的评分权重，将重新计算的段可靠性仍低于所述预设可靠性阈值的候选视频段排除并输出低置信度标记；

46、多窗口指标计算模块，用于在所述有效评测区间内设置短窗口、中窗口和长窗口，并根据所述画面运动向量序列和所述目标轨迹数据计算速度、加速度、加加速度、画面运动方向变化和目标中心偏移变化指标；

47、高频抖动分析模块，用于对所述画面运动向量序列进行低频跟随运动与高频抖动残差分离，并计算归一化高频抖动强度和高频方向变化率；

48、追踪事件识别模块，用于根据所述画面运动向量序列和所述目标轨迹数据识别方向反转事件、回摆事件和过冲事件，统计启停切换率和无效静止占比，并计算目标中心稳定性指标；

49、综合评分与原因定位模块，用于基于各子指标、追踪事件以及各有效视频段的评分权重，按照经标定的惩罚函数计算平滑度综合得分，并输出所述平滑度综合得分、等级、各子指标扣分、置信度、主要失分原因以及对应时间区间。

50、优选地，所述追踪事件识别模块包括：

51、回摆识别单元，用于统计中窗口内的有效方向反转次数，并确定所述中窗口内的目标中心偏移改善情况，当所述有效方向反转次数达到预设次数且所述目标中心偏移未达到预设改善条件时，判定发生回摆事件；

52、过冲识别单元，用于根据目标中心相对画面中心的误差发生符号翻转、在符号翻转前后的预设观察子窗口内翻转前的同向误差峰值和翻转后的反向误差峰值分别超过中心容忍阈值，以及符号翻转后的画面运动方向相对于符号翻转前发生反向的联合条件识别过冲事件，并计算所述过冲事件对应的过冲幅度和过冲恢复时间；

53、启停与无效静止识别单元，用于根据画面运动幅度与预设运动阈值的比较结果确定运动状态或静止状态，根据所述运动状态与所述静止状态之间的切换次数以及有效评测时长计算启停切换率，并在所述主追踪目标可见、目标中心偏移超过预设偏移阈值且所述画面运动幅度不大于所述预设运动阈值时，将对应视频帧确定为无效静止帧，以及根据所述无效静止帧数与所述有效评测区间内目标可见帧数之比计算无效静止占比。

54、本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述步骤s1至步骤s11所述的基于视频画面平滑度量化的摄像头追踪质量评测方法。

55、采用本发明的技术方案，具有以下有益效果：

56、（1）本发明根据目标可见状态、追错标记以及追踪响应状态生成初始评测区间，将目标遮挡、目标丢失、追错目标以及追踪功能未处于针对主追踪目标的激活状态的视频段排除在评测范围之外，同时保留追踪功能已激活但暂未产生有效画面运动的视频段，使后续计算能够覆盖响应延迟、控制死区或无效静止状态，降低无关视频段对评测结果的干扰。

57、（2）本发明通过对主追踪目标的目标框进行扩展形成目标框扩展掩膜，并在目标框扩展掩膜之外的背景区域提取和匹配背景特征点，能够排除主追踪目标、目标边缘拖影及局部遮挡区域内特征点的影响，从而较为准确地获得摄像头转动、电子裁剪或画面移动形成的全局画面运动，降低将目标自身移动误判为摄像头抖动的概率。

58、（3）本发明根据背景特征点匹配内点率、背景有效区域面积、背景运动一致性及动态背景干扰程度计算背景运动估计可靠性，并对低可靠性视频段执行扩大统计窗口、切换运动估计方式、降低评分权重、排除或输出低置信度标记等处理，能够提高低纹理、弱光、动态背景及局部遮挡场景下评测结果的稳定性和可信度。

59、（4）本发明设置短窗口、中窗口和长窗口，在不同时间尺度下分别分析高频抖动、突然顿挫、方向反转、回摆、过冲及整体追踪趋势，并通过速度、加速度、加加速度及高频抖动残差等指标描述画面运动变化，能够兼顾快速小幅抖动和持续时间较长的中低频异常，避免仅使用单一时间窗口造成异常事件漏检。

60、（5）本发明结合画面运动向量和目标中心偏移识别回摆事件。当预设时间窗口内出现多次有效方向反转，且目标中心偏移未达到预设改善条件时，才将相应运动识别为回摆，从而能够区分为了使目标回到画面中心而进行的合理方向调整与未产生有效居中效果的无效反复摆动。

61、（6）本发明通过目标中心误差发生符号翻转、符号翻转前后的同向误差峰值和反向误差峰值分别超过中心容忍阈值以及符号翻转后的画面运动方向发生反向的联合条件识别过冲事件，能够减少将目标正常经过画面中心的情况误判为过冲，并可进一步计算过冲幅度和过冲恢复时间，以量化摄像头追过目标后的偏离程度及恢复速度。

62、（7）本发明根据画面运动状态和静止状态之间的切换情况计算启停切换率，并在目标可见、目标中心偏移超过预设偏移阈值且画面运动幅度不大于预设运动阈值时识别无效静止，能够检测摄像头追踪过程中频繁走走停停、响应延迟或未及时执行跟随调整的问题。

63、（8）本发明同时分析画面运动平滑性和目标中心稳定性，能够避免将“摄像头不运动但目标已经偏离中心”的情况误认为追踪平稳，使评测结果不仅反映画面是否抖动，还能够反映目标是否被稳定保持在画面中的合理位置。

64、（9）本发明将加速度、加加速度、高频抖动、方向反转、回摆、过冲、启停切换、无效静止及目标中心稳定性等指标转换为对应惩罚项，计算平滑度综合得分，并输出评价等级、各子指标扣分、置信度、主要失分原因及对应时间区间，能够由单一分数进一步定位具体追踪异常，为追踪灵敏度、运动阻尼、目标预测、启动响应及停止响应等参数的优化提供依据。

65、（10）本发明主要利用摄像头录制的视频和主追踪目标的目标轨迹数据完成评测，无需读取摄像头内部的电机控制指令、云台角度、运动速度或控制器参数，因而能够适用于不同硬件结构和不同追踪控制算法的摄像头，也便于开展不同产品之间的横向测试以及同一产品不同软件版本之间的回归测试。上述有益效果均由目标框扩展掩膜、背景运动可靠性、多时间尺度分析、画面运动与目标中心轨迹联合判定以及综合评分输出等技术手段共同实现。