一种基于贡献帧区间校核的视频驱动设备控制方法及系统与流程

本技术属于视频数据处理及设备联动控制，具体为一种基于贡献帧区间校核的视频驱动设备控制方法及系统。

背景技术：

1、随着视频内容解析和设备联动控制技术的发展，可以根据视频画面中的目标运动状态生成随视频播放过程变化的设备控制数据，以使被控设备的动作与视频内容相对应。现有视频驱动设备控制过程中，通常先利用场景判断模型判断当前视频帧是否属于允许设备联动的目标场景，再根据当前视频帧与其相邻视频帧之间的图像变化计算运动特征，并将所述运动特征转换为相应的设备控制值。

2、但是，场景有效性判断与运动特征计算所依据的视频数据范围并不完全一致。场景有效性判断通常针对单个当前视频帧作出，而一个运动特征需要由时间上连续的两个或多个视频帧之间的变化共同确定。因此，当前视频帧满足场景准入条件，并不能说明实际参与运动特征计算的其他视频帧均处于相同的有效场景状态。

3、特别是在目标场景进入、退出或者镜头状态发生变化的时间位置，实际参与一次运动特征计算的多个视频帧可能跨越不同场景状态。此时，即使其中部分视频帧已经具有较高的目标场景置信度，其他视频帧产生的画面整体位移仍可能被计入运动分析结果，使并非由目标对象运动形成的图像变化进一步进入设备控制数据。该问题并非单纯提高单帧场景分类准确率即可解决，其根源在于控制输出有效性的判断对象与生成该控制输出实际使用的视频帧对象不一致。

4、此外，当部分视频帧因场景状态不满足要求而不能继续参与运动计算时，不同控制时刻实际用于计算运动特征的有效视频帧数量及对应时间跨度可能不同。若仍按照原有累计运动结果直接生成控制值，则不同有效时间跨度下得到的运动结果处于不同时间尺度，容易使相邻控制时刻对应的控制量产生不一致。

5、因此，现有视频驱动设备控制技术需要解决的技术问题是：如何使控制输出的场景有效性判断与生成该控制输出实际参与运动特征计算的视频帧范围相匹配，并在实际有效运动计算时间发生变化时保持运动结果的时间尺度一致，从而降低非目标场景图像变化对设备控制结果的影响。

技术实现思路

1、针对现有视频驱动设备控制过程中，场景有效性判断通常针对单个视频帧，而运动特征计算依赖多个连续视频帧，导致场景有效性判断范围与实际参与运动特征计算的视频帧范围不一致，以及在有效贡献帧数量或有效时间跨度发生变化时，不同控制时刻的运动结果难以保持统一时间尺度的问题，本技术提供一种基于贡献帧区间校核的视频驱动设备控制方法及系统，通过针对目标控制时刻确定实际参与运动特征计算的贡献帧区间，并基于所述贡献帧区间进行场景有效性校核、运动特征计算和时间归一化，以降低非目标场景图像变化进入设备控制结果的概率，并提高视频场景状态、运动分析结果与设备控制输出之间的时序匹配性。

2、为实现上述目的，本技术采用如下技术方案。

3、第一方面，本技术提供一种基于贡献帧区间校核的视频驱动设备控制方法，包括：获取视频帧序列以及所述视频帧序列中各视频帧对应的播放时间戳；针对目标控制时刻，从所述视频帧序列中确定参与运动特征计算的贡献帧区间，并获取所述贡献帧区间内各视频帧的目标场景置信度；根据各所述目标场景置信度确定所述贡献帧区间的有效场景覆盖比例，并结合所述贡献帧区间的区间边界视频帧的场景变化状态，确定所述贡献帧区间的区间门控结果；当所述区间门控结果为允许输出时，从所述贡献帧区间中筛选满足场景准入条件的有效贡献帧，根据所述有效贡献帧确定目标区域相对于背景区域的目标运动特征，并根据所述有效贡献帧对应的播放时间戳对所述目标运动特征进行时间归一化，得到所述目标控制时刻的校核运动值；当所述区间门控结果为禁止输出时，将所述目标控制时刻的校核运动值设置为安全值；根据连续目标控制时刻对应的所述校核运动值以及所述播放时间戳生成并输出设备控制曲线。

4、通过上述技术方案，不再仅以目标控制时刻对应的单个视频帧作为控制输出是否有效的判断对象，而是将实际参与该目标控制时刻运动特征计算的多个视频帧共同作为贡献帧区间进行校核，使场景有效性判断范围能够与运动特征实际依赖的视频帧范围相对应；同时，通过有效场景覆盖比例和区间边界视频帧的场景变化状态共同形成区间门控，并在允许输出后对有效贡献帧形成的目标运动特征按照实际播放时间进行时间归一化，使不同有效视频帧数量和不同有效时间跨度对应的运动结果处于统一控制时间尺度，从而减少场景切换、黑屏、遮挡或者其他无效画面变化进入设备控制结果的情况。

5、在一种可能的实施方式中，针对所述目标控制时刻确定所述贡献帧区间，并获取所述贡献帧区间内各视频帧的目标场景置信度，包括：根据运动特征计算所调用的前序视频帧范围和后序视频帧范围，确定所述目标控制时刻对应的时间支持范围；从所述视频帧序列中读取播放时间戳位于所述时间支持范围内且实际参与运动特征计算的视频帧，并按照所述播放时间戳排列形成所述贡献帧区间；分别对所述贡献帧区间内各视频帧进行目标场景判断，得到各视频帧对应的所述目标场景置信度。

6、通过该实施方式，根据运动特征计算实际需要调用的视频帧范围形成贡献帧区间，而不是按照单个目标控制时刻或者固定单帧进行场景校核，使后续目标场景置信度的获取对象与运动特征计算实际使用的视频帧对象保持一致，为贡献帧区间整体的场景有效性判断提供数据基础。

7、在一种可能的实施方式中，根据各所述目标场景置信度确定所述有效场景覆盖比例，包括：分别将各所述目标场景置信度与场景准入阈值进行比较，统计目标场景置信度达到所述场景准入阈值的视频帧数量；将所述视频帧数量与所述贡献帧区间内视频帧总数量之间的比值确定为所述有效场景覆盖比例。

8、通过该实施方式，将贡献帧区间内满足场景准入条件的视频帧数量转换为相对于区间视频帧总数量的比例，使不同视频帧数量的贡献帧区间能够采用统一量纲评价其中有效目标场景视频帧的覆盖程度，为区间门控结果的确定提供可比较的量化依据。

9、在一种可能的实施方式中，结合所述贡献帧区间的区间边界视频帧的场景变化状态确定所述区间门控结果，包括：根据起始边界视频帧与其在所述贡献帧区间内的相邻视频帧之间的目标场景置信度变化，以及结束边界视频帧与其在所述贡献帧区间内的相邻视频帧之间的目标场景置信度变化，分别确定两个区间边界的场景变化状态；当所述有效场景覆盖比例达到覆盖比例阈值、所述起始边界视频帧和所述结束边界视频帧均满足场景稳定条件，且所述贡献帧区间内存在至少一组在所述视频帧序列中相邻并均满足场景准入条件的视频帧时，确定所述区间门控结果为允许输出，否则确定所述区间门控结果为禁止输出。

10、通过该实施方式，在有效场景覆盖比例之外进一步引入贡献帧区间起始边界和结束边界的场景变化状态，并要求区间内实际存在能够组成运动分析对象的相邻有效视频帧，使区间门控不仅反映区间内部目标场景视频帧的数量占比，还能够识别贡献帧区间是否跨越场景进入、场景退出或者镜头变化边界，从而降低仅依据区间内部多数视频帧满足场景准入条件而错误开放控制输出的概率。

11、在一种可能的实施方式中，根据所述有效贡献帧确定所述目标运动特征，包括：将目标场景置信度达到所述场景准入阈值的视频帧确定为所述有效贡献帧，将在所述视频帧序列中相邻且均为所述有效贡献帧的两个视频帧组成有效帧对，并将各所述有效帧对中播放时间戳较早的视频帧确定为参考视频帧；针对各所述有效帧对的所述参考视频帧确定目标区域和背景区域，分别计算所述目标区域的目标区域运动量和所述背景区域的背景区域运动量，并将所述目标区域运动量与所述背景区域运动量之间的差异确定为对应有效帧对的所述目标运动特征。

12、通过该实施方式，仅利用在原视频帧序列中连续且均满足场景准入条件的视频帧形成有效帧对，能够避免跨越被剔除视频帧重新建立运动关系；进一步以目标区域运动量与背景区域运动量之间的差异形成目标运动特征，可以对目标区域与画面公共运动进行区分，从而减少镜头整体平移、抖动等背景运动分量对目标对象运动表征的影响。

13、在一种可能的实施方式中，对所述目标运动特征进行时间归一化，包括：根据各所述有效帧对中两个有效贡献帧对应的播放时间戳确定各所述有效帧对的帧间时间，并将各所述帧间时间相加得到有效时间长度；将各所述有效帧对对应的目标运动特征进行累计，并根据所述有效时间长度将累计得到的目标运动量换算至预设控制时间长度对应的运动量尺度，将换算后的目标运动量确定为所述目标控制时刻的校核运动值。

14、通过该实施方式，利用实际参与运动特征计算的有效贡献帧对应的播放时间戳确定有效时间长度，并将累计目标运动量换算到统一的预设控制时间长度，使因视频帧被筛除、可变视频帧率或者贡献帧区间内有效帧对数量不同而形成的不同有效时间跨度能够被统一到相同控制时间尺度，从而提高连续目标控制时刻对应校核运动值之间的可比性。

15、在一种可能的实施方式中，将所述校核运动值设置为安全值，包括：根据所述校核运动值的数据格式，确定用于表示所述目标控制时刻不产生目标运动驱动且与所述校核运动值具有相同数据格式的所述安全值；当所述区间门控结果为禁止输出时，不将所述贡献帧区间对应的运动分析结果作为所述设备控制曲线的生成依据，并将所述目标控制时刻对应的校核运动值设置为所述安全值。

16、通过该实施方式，在贡献帧区间不满足输出条件时，阻止对应运动分析结果继续进入设备控制曲线生成过程，并以与正常校核运动值相同数据格式的安全值替代该目标控制时刻的运动结果，使允许输出路径和禁止输出路径均能够向后续设备控制值映射过程提供同一数据层级的输入，从而减少因异常分支采用不同数据结构而增加后续控制处理复杂度的情况。

17、在一种可能的实施方式中，生成并输出所述设备控制曲线，包括：根据预先建立的校核运动值与设备控制值之间的映射关系，将各目标控制时刻对应的校核运动值转换为设备控制值；将各目标控制时刻对应的播放时间戳与对应设备控制值组合形成多个控制点，并按照所述播放时间戳排列所述多个控制点形成所述设备控制曲线；在视频播放过程中，根据当前播放时间读取并输出所述设备控制曲线中对应的设备控制值。

18、通过该实施方式，将经过贡献帧区间校核后的校核运动值统一转换为被控设备能够使用的设备控制值，并利用播放时间戳将设备控制值定位至视频播放时间轴，使各控制点与视频播放过程建立时间对应关系，从而使被控设备能够按照视频实际播放进度读取相应设备控制值，实现视频运动分析结果与设备动作之间的时序联动。

19、在一种可能的实施方式中，所述覆盖比例阈值以及用于形成所述场景稳定条件的边界变化阈值的确定，包括：获取预先标注为允许输出的第一样本贡献帧区间和预先标注为禁止输出的第二样本贡献帧区间，根据各样本贡献帧区间的有效场景覆盖比例设置多个候选覆盖比例阈值，分别统计各候选覆盖比例阈值对应的区间误判数量，并将所述区间误判数量最小的候选覆盖比例阈值确定为所述覆盖比例阈值；获取预先标注为场景稳定状态的第一边界样本和预先标注为场景变化状态的第二边界样本，根据各边界样本中相邻视频帧的目标场景置信度差值设置多个候选边界变化阈值，分别统计各候选边界变化阈值对应的边界状态误判数量，并将所述边界状态误判数量最小的候选边界变化阈值确定为所述边界变化阈值。

20、通过该实施方式，覆盖比例阈值依据贡献帧区间整体是否适于输出的历史标注结果确定，而边界变化阈值依据区间边界是否处于场景变化状态的历史标注结果确定，使两个阈值分别针对不同判断对象进行样本化确定，并通过误判数量筛选对应候选阈值，从而减少依靠任意固定数值设定阈值造成的区间门控判断偏差。

21、第二方面，本技术提供一种基于贡献帧区间校核的视频驱动设备控制系统，实现所述的一种基于贡献帧区间校核的视频驱动设备控制方法，包括视频获取模块、贡献区间确定模块、区间门控模块、运动校核模块和曲线输出模块；所述视频获取模块用于获取视频帧序列以及所述视频帧序列中各视频帧对应的播放时间戳；所述贡献区间确定模块用于针对目标控制时刻，从所述视频帧序列中确定参与运动特征计算的贡献帧区间，并获取所述贡献帧区间内各视频帧的目标场景置信度；所述区间门控模块用于根据各所述目标场景置信度确定所述贡献帧区间的有效场景覆盖比例，并结合所述贡献帧区间的区间边界视频帧的场景变化状态，确定所述贡献帧区间的区间门控结果；所述运动校核模块用于当所述区间门控结果为允许输出时，从所述贡献帧区间中筛选满足场景准入条件的有效贡献帧，根据所述有效贡献帧确定目标区域相对于背景区域的目标运动特征，并根据所述有效贡献帧对应的播放时间戳对所述目标运动特征进行时间归一化，得到所述目标控制时刻的校核运动值，以及当所述区间门控结果为禁止输出时，将所述目标控制时刻的校核运动值设置为安全值；所述曲线输出模块用于根据连续目标控制时刻对应的所述校核运动值以及所述播放时间戳生成并输出设备控制曲线。

22、与相关技术相比，本技术具有如下有益效果：

23、通过针对目标控制时刻确定实际参与运动特征计算的贡献帧区间，并基于区间内各视频帧的目标场景置信度形成有效场景覆盖比例，同时结合区间边界视频帧的场景变化状态确定区间门控结果，使场景有效性判断的处理对象能够与当前控制时刻运动特征实际依赖的视频帧范围相对应，从而降低仅依据单个视频帧开放控制输出而使场景切换等非目标运动进入控制结果的概率；在区间门控允许输出后，通过筛选满足场景准入条件的有效贡献帧，并根据目标区域相对于背景区域的运动差异确定目标运动特征，使画面公共运动与目标区域运动能够在运动特征形成过程中进行区分，进一步减少与目标对象运动无关的运动分量；同时，根据有效贡献帧对应的播放时间戳对目标运动特征进行时间归一化，使不同有效视频帧数量及不同有效时间跨度对应的运动结果转换至统一控制时间尺度，而在区间门控禁止输出时将校核运动值设置为安全值，由此使连续目标控制时刻形成的校核运动值能够在统一数据层级生成设备控制曲线，提高视频场景状态、运动分析结果与设备控制输出之间的时序匹配性。