一种端云协同的画质退化感知自适应编码方法及系统

本技术涉及视频编码及智能视频分析，例如涉及一种端云协同的画质退化感知自适应编码方法及系统。

背景技术：

1、随着计算机视觉技术的快速发展，视频已成为目标检测、行为识别等机器视觉分析任务的重要数据来源，并广泛应用于智能监控、自动驾驶和远程医疗等场景。然而，在夜间、雨雪、强光等复杂采集环境下，摄像设备获取的视频容易出现低光、噪声、模糊和过曝等画质退化现象，多种退化因素还可能同时存在，使得目标轮廓、纹理细节和亮度信息受到破坏，严重降低后续视频推理任务的准确度。

2、图1是本公开实施例提供的一个面向画质退化视频的端云协同架构，如图1所示，为应对上述问题，现有视频分析系统多采用端云协同架构：终端设备负责采集视频，并对视频进行压缩编码后传输至云端服务器；云端服务器对接收到的视频进行质量增强，再利用推理模型完成目标检测、行为识别等分析任务。同时，为适应网络带宽的动态变化，终端侧通常采用自适应编码算法，根据网络状况动态调整编码参数以控制传输数据量。然而，现有自适应编码算法通常采用统一的编码决策策略，主要依据网络吞吐量、视频内容复杂度或历史推理结果来调整编码参数，并未充分考虑不同退化条件下视频对各编码参数敏感程度的差异性。例如，低光视频可能对分辨率降低更为敏感，而模糊视频则可能对帧率下降产生更大的准确性损失。由于统一的编码策略无法针对具体退化状态选择相匹配的编码参数，往往导致本已退化的视频在编码过程中进一步损失关键视觉信息，且难以通过云端增强完全恢复，从而严重限制了视频推理准确度的提升。因此，迫切需要一种端云协同的画质退化感知自适应编码方案来解决上述问题。

3、需要说明的是，在上述背景技术部分公开的信息仅用于加强对本技术的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键／重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。

2、本公开实施例提供了一种端云协同的画质退化感知自适应编码方法及系统，以解决现有自适应编码策略未考虑不同画质退化条件下视频对编码参数敏感程度的差异性，导致编码参数与视频退化状态不匹配、视频推理准确度下降的技术问题。

3、在一些实施例中，端云协同的画质退化感知自适应编码方法，包括：

4、在离线阶段，获取在不同画质退化条件下采集的多个视频会话，提取各视频会话的画质退化特征，并基于各视频会话在多个编码参数的不同取值下对应的视频推理准确度，确定各视频会话对于各编码参数的编码参数敏感度；

5、根据各视频会话的画质退化特征和编码参数敏感度，对多个视频会话进行分类，构建用于根据画质退化特征确定视频类别的视频类别分类模型，并针对各视频类别分别训练对应的自适应编码参数决策模型；

6、在在线阶段，将采集的视频流划分为视频段，提取当前视频段的画质退化特征，利用视频类别分类模型确定当前视频段所属的视频类别，并利用视频类别对应的自适应编码参数决策模型确定当前视频段的编码参数，以根据编码参数对当前视频段进行编码；

7、将编码后的视频段发送给云端服务器，以使云端服务器对视频段进行解码和画质增强，并对画质增强后的视频段进行视频推理。

8、在一些实施例中，提取画质退化特征，包括：

9、按照预设采样方式从视频会话或视频段中选取多帧图像，并提取各图像对应的画质退化特征图；

10、根据多帧图像对应的画质退化特征图获得帧间差异特征和平均退化特征，分别对帧间差异特征和平均退化特征进行全局平均池化，并将所得的特征进行拼接，得到对应视频会话或视频段的画质退化特征；

11、其中，离线阶段与在线阶段采用相同的画质退化特征提取方式。

12、在一些实施例中，多个编码参数包括量化参数、帧率和分辨率；确定视频会话对于各编码参数的编码参数敏感度，包括：

13、针对任一目标编码参数，在将其他编码参数的取值固定为一个候选组合的情况下，分别采用目标编码参数的不同候选取值对视频会话进行编码和视频推理，获得各候选取值对应的视频推理准确度；

14、根据各候选取值对应的视频推理准确度之间的标准差，确定候选组合下的敏感度评价值；

15、遍历其他编码参数的候选组合，并根据各候选组合对应的敏感度评价值，确定视频会话对于目标编码参数的编码参数敏感度。

16、在一些实施例中，视频类别分类模型为决策树，构建视频类别分类模型包括：

17、将多个视频会话作为根节点的样本集合，并根据当前节点内各视频会话对于不同编码参数的编码参数敏感度，确定当前节点的编码参数敏感度差异；

18、针对画质退化特征的各特征维度，根据当前节点内各视频会话在对应特征维度上的特征值确定候选划分阈值；

19、分别采用各特征维度和各候选划分阈值将当前节点划分为左子节点和右子节点，并根据左子节点和右子节点各自包含的视频会话数量以及各自的编码参数敏感度差异，确定对应候选划分的评价值；

20、选择使评价值最小的特征维度和候选划分阈值作为当前节点的目标划分；

21、当目标划分对编码参数敏感度差异的降低量满足停止条件时，将当前节点确定为叶节点，否则对划分所得的子节点递归执行上述划分过程，其中，各叶节点分别对应一个视频类别。

22、在一些实施例中，利用自适应编码参数决策模型确定当前视频段的编码参数，包括：

23、获取当前网络状态、当前视频段的画质退化特征、历史网络吞吐量、历史编码决策和历史画质退化特征，并将获取的信息构成编码决策状态；

24、将编码决策状态输入当前视频段所属的视频类别对应的自适应编码参数决策模型，获得作为编码参数的量化参数、帧率和分辨率；

25、其中，历史编码决策包括历史视频段采用的量化参数、帧率和分辨率；在历史视频段的数量未达到预设数量时，对缺少的历史网络吞吐量、历史编码决策和历史画质退化特征进行填充。

26、在一些实施例中，自适应编码参数决策模型包括时序特征提取网络、当前特征处理网络、特征融合网络以及分别对应不同编码参数的输出头；

27、分别对历史网络吞吐量、历史编码决策和历史画质退化特征进行编码，并利用时序特征提取网络提取历史时序特征；

28、利用当前特征处理网络处理当前视频段的画质退化特征，并将处理后的当前视频段的画质退化特征与历史时序特征进行融合，得到综合状态特征；

29、将综合状态特征分别输入各输出头，获得各编码参数的候选取值概率分布，并将满足预设选择条件的候选取值确定为对应编码参数的输出值。

30、在一些实施例中，训练对应的自适应编码参数决策模型，包括构建专家编码决策，构建专家编码决策包括：

31、预先采用多个编码参数的不同候选取值组合对各视频段进行编码和视频推理，保存各候选取值组合对应的视频推理准确度和视频段数据量；

32、根据网络吞吐量轨迹确定视频会话可使用的网络容量；

33、以视频会话中各视频段的数据量之和不超过网络容量为约束，以视频会话中各视频段的平均视频推理准确度最大为目标，确定各视频段对应的专家编码决策；

34、其中，在确定专家编码决策的过程中，对数据量不满足网络容量约束的候选决策进行剪枝，并根据不同候选决策之间的视频段数据量和视频推理准确度支配关系，对被支配的候选决策进行剪枝。

35、在一些实施例中，针对任一视频类别训练对应的自适应编码参数决策模型，还包括：

36、将属于视频类别的视频会话连接形成连续视频流，并利用网络吞吐量轨迹模拟动态网络环境；

37、利用待训练的自适应编码参数决策模型按照视频段的时间顺序输出编码参数，并收集各编码决策时刻对应的编码决策状态；

38、利用专家编码决策对收集的编码决策状态进行标注，根据待训练的自适应编码参数决策模型输出的候选取值概率分布与对应专家编码决策之间的差异确定训练损失，并根据训练损失更新模型参数；

39、利用更新后的自适应编码参数决策模型生成新的编码决策状态，继续进行专家标注和模型参数更新，直至完成自适应编码参数决策模型的训练。

40、在一些实施例中，利用视频类别分类模型确定当前视频段所属的视频类别，并利用视频类别对应的自适应编码参数决策模型确定编码参数，包括：

41、将当前视频段的画质退化特征输入决策树，从决策树的根节点开始，根据当前节点记录的目标特征维度和目标划分阈值进入对应的子节点，直至到达叶节点，并将到达的叶节点对应的视频类别确定为当前视频段所属的视频类别；

42、记录连续视频段对应的视频类别；

43、当连续达到预设数量的视频段对应于相同的视频类别，并且相同的视频类别与当前使用的自适应编码参数决策模型对应的视频类别不同时，切换至相同的视频类别对应的自适应编码参数决策模型；否则，保持当前使用的自适应编码参数决策模型不变。

44、在一些实施例中，端云协同的画质退化感知自适应编码系统，包括通信连接的终端设备和云端服务器，其中，终端设备和云端服务器被配置为协同执行上述任一项所述的端云协同的画质退化感知自适应编码方法。

45、本公开实施例提供的端云协同的画质退化感知自适应编码方法及系统，可以实现以下技术效果：

46、本技术通过在离线阶段获取在不同画质退化条件下采集的多个视频会话，提取各视频会话的画质退化特征并确定各视频会话对各编码参数的编码参数敏感度，揭示画质退化特征与编码参数对推理准确度影响程度之间的内在关联。在此基础上，根据画质退化特征和编码参数敏感度对多个视频会话进行分类，构建用于根据画质退化特征确定视频类别的视频类别分类模型，并针对各视频类别分别训练对应的自适应编码参数决策模型。在在线阶段，提取当前视频段的画质退化特征，利用所述视频类别分类模型确定其所属视频类别，再利用该类别对应的自适应编码参数决策模型确定当前视频段的编码参数，使得编码参数的选择能够根据当前视频实际的退化特征进行动态适配。将编码后的视频段发送至云端服务器进行解码、画质增强和视频推理，避免了因编码参数与退化状态不匹配导致关键视觉信息在编码过程中丢失且难以通过云端增强恢复的问题，在保证实时传输的前提下显著提升了画质退化视频的推理准确度。

47、以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本技术。