语义感知与边-云协同的视频自适应传输方法及系统

本发明涉及一种语义感知与边-云协同的视频自适应传输方法及系统，用于解决智慧水利、智能交通及安防监控中多摄像头联动追踪与组合特征检测中的带宽受限问题；属于视频监控、边缘计算及多节点协同调度。

背景技术：

1、在智慧水利（如河道巡检、大坝安全监测）和智能交通（如违章抓拍、事故还原）等领域，视频监控系统已大规模部署。随着业务需求的升级，单一摄像头的独立工作模式已无法满足复杂场景的监测要求，多摄像头联动成为核心技术趋势。例如，在交通场景中，需要上下游多个摄像头接力追踪违章车辆以形成完整证据链；在水利场景中，需要结合多个角度的视频流来综合研判“水位上涨 + 溢洪道漂浮物堵塞”等组合隐患。

2、然而，现有的视频传输技术在应对多节点联动时存在显著缺陷：

3、首先，传统方法缺乏对视频内容语义价值的精细感知，常采用“一刀切”的传输策略。这种简化的建模方式无法区分“背景静止画面”与“关键目标运动画面”的信息熵差异，导致宝贵带宽被大量低价值数据占用，关键证据易丢失。

4、其次，现有调度算法多基于信号强度或队列长度，缺乏对多节点间资源竞争关系的精细化建模。在多摄像头联动场景下，节点间的传输高度耦合，一个节点的传输行为会直接改变其他节点的干扰环境。现有的集中式或启发式算法往往忽略这种相互影响，在面对突发性多目标并发时，极易陷入局部最优，引发局部网络拥塞。

5、此外，部分现有方案在构建丢弃策略时，未能正确处理“重要性评分”与“资源分配”之间的单调递增关系，可能导致高价值内容被错误压缩或丢弃。

技术实现思路

1、发明目的：针对现有技术的缺陷，本发明提供一种语义感知与边-云协同的视频自适应传输方法及系统，并非仅依据单一路视频的重要性进行独立码率调节，而是首先根据多摄像节点上传的时空语义特征构建特征协方差矩阵，并在对称正定矩阵流形上计算跨视角语义关联度，由此将观测同一目标或同一复合事件的摄像节点动态聚合为任务协作联盟；随后以联盟整体语义价值作为统一驱动因子，同时作用于联盟内节点的码率优化模型和视频分层丢弃模型，使同一事件证据链中的多路视频在网络拥塞条件下获得一致性传输保障，解决多摄像头联动场景中关键视频内容和跨节点证据链在带宽受限条件下容易丢失的问题，本发明减少了低价值背景数据占用带宽，提高了多节点视频传输的连续性和关键证据保留能力。

2、技术方案：一种语义感知与边-云协同的视频自适应传输方法，通过边缘侧实时语义感知、云端跨节点任务联盟构建、联盟级语义价值驱动的码率优化以及边缘侧分层丢弃执行，建立从视频内容价值到传输资源配置的闭环映射关系，包括如下步骤：

3、步骤s1，边缘侧摄像节点实时采集视频流，对于视频流边缘侧利用深度学习平台提取目标检测结果、运动信息和事件信息，将提取的目标检测结果、运动信息和事件信息组成时空语义特征向量；

4、步骤s2，云端决策层接收各摄像节点上传的时空语义特征向量、语义价值评分、时间戳和节点编号；将边缘侧摄像节点特征构造为对称正定特征协方差矩阵，并在正定特征协方差矩阵流形上计算跨视角语义关联度；云端决策层根据所有节点对的关联度构建关联图，将连通分量或满足关联规则的边缘侧摄像节点集合聚合为任务协作联盟，计算联盟整体语义价值；

5、步骤s3，在任务协作联盟内，云端决策层依据任务协作联盟整体语义价值、各边缘侧摄像节点当前语义价值评分、链路状态和总带宽约束，计算各边缘侧摄像节点的传输码率；

6、步骤s4，边缘侧摄像节点根据云端决策层下发的目标传输码率和本地语义识别结果，对视频流执行语义分层编码，计算传输优先级指数；

7、步骤s5，边缘侧摄像节点实时计算网络拥塞指数，用于表征当前链路的拥塞程度，根据网络拥塞指数和传输优先级指数计算数据的条件丢弃概率，设置强制保留规则；根据传输优先级指数、条件丢弃概率和强制保留规则，在边缘侧执行数据包调度，云端决策层根据回传的调度日志和链路状态周期性更新码率策略，实现边缘执行与云端决策之间的闭环。

8、所述步骤s1中，边缘侧摄像节点实时采集视频流，并按照预设处理周期δt对视频流进行帧级或滑动窗口级处理；对于第

i个边缘侧摄像节点（简称节点i）在时刻

t对应的视频片段v

i(

t)，边缘侧部署轻量化的深度学习平台，采用轻量化目标检测模型如yolo模型提取目标检测结果oi(

t) 表示为检测出目标区域的像素总量、采用轻量化运动检测模型如帧间差分提取运动信息结果mi(

t) 表示为运动信息的强度均值，采用轻量化事件提取网络如aese-net提取事件信息结果ei(

t) 表示为事件概率，组成时空语义特征向量。

9、第

i个边缘侧摄像节点进一步计算时刻t对应的视频片段的语义价值评分si(t)，该语义价值评分用于量化当前视频内容对监测任务的重要程度，所述语义价值评分越大表示对应视频内容越应获得传输保障。优选地，语义价值评分采用如下形式：

10、

11、其中，、、分别为目标检测结果、运动信息和事件信息的非负权重，++=1，一方面归一化语义特征向量中各要素，另一方面加权各要素的重要性。

12、所述步骤s2中，云端决策层接收各边缘侧摄像节点上传的时空语义特征向量、语义价值评分、时间戳和节点编号。将节点特征构造为对称正定特征协方差矩阵，并在正定特征协方差矩阵流形上计算跨视角语义关联度。对于第

i个边缘侧摄像节点，在预设时间窗口t内收集m个语义特征向量，计算均值向量，并构造对称正定特征协方差矩阵。

13、

14、

15、其中，为预设正则化系数，为与特征维数相对应的单位矩阵，加入后，可使构造的特征协方差矩阵保持对称正定。

16、对于任意两个边缘侧摄像节点和，计算黎曼测地线距离：

17、

18、其中，为矩阵对数运算，为 frobenius 范数，、为、的简写，分别为边缘侧摄像节点

i, j在对应时间窗口内构造的对称正定特征协方差矩阵，二者的黎曼地线距离反映语义特征分布差异；

19、基于所述黎曼测地线距离构造跨视角语义关联度：

20、

21、其中，exp是 e 指数函数，、分别是边缘侧摄像节点

i, j对应特征时间窗口的代表时间戳，可统一取时间窗口的起始时刻、中心时刻或结束时刻。为高斯核宽度参数，为允许的最大时间同步误差阈值，为时间同步指示函数，为边缘侧摄像节点拓扑邻接系数。当边缘侧摄像节点与节点处于能形成接力追踪或协同观测的空间关系时，否则。

22、

23、该式为时间同步指示函数，用于排除时间上不能对应的跨节点特征；为允许的最大时间同步误差阈值。若，则判定边缘侧摄像节点与节点在当前处理周期内存在语义关联。云端决策层根据所有边缘侧摄像节点对的关联度构建关联图，将连通分量或满足关联规则的边缘侧摄像节点集合聚合为任务协作联盟。例如，若边缘侧摄像节点与相关、与相关，则边缘侧摄像节点、、可被聚合为同一任务协作联盟，用于共同追踪同一车辆或共同研判同一水利隐患。

24、本发明进一步定义联盟整体语义价值，使联盟作为一个整体参与后续带宽资源优化。优选地：

25、

26、即联盟整体语义价值由联盟内最高语义价值节点主导，以保障关键证据链完整性。在另一种实施方式中，也可采用加权融合定义联盟整体语义价值：

27、

28、其中，可由边缘侧摄像节点的视角质量、目标可见度、历史可靠性或跨视角语义关联度确定。

29、所述步骤s3中，在任务协作联盟内，云端决策层依据联盟整体语义价值、各边缘侧摄像节点当前语义价值、链路状态和总带宽约束，计算各边缘侧摄像节点的传输码率（简称码率）。设任务协作联盟内边缘侧摄像节点集合为，联盟可用总带宽为，边缘侧摄像节点的传输码率为，并满足如下约束：

30、

31、其中，为保障基础层传输的最低码率，为边缘侧摄像节点可用最高码率。

32、为体现同一任务协作联盟中关键事件对多视角证据链的整体带宽需求，定义节点的有效语义价值因子，用于综合反映节点自身语义价值和所属任务协作联盟整体语义价值：

33、

34、为调节节点语义和联盟语义重要性的权重，当较大时，边缘侧摄像节点自身语义价值影响更强；当较小时，联盟整体价值影响更强。

35、优选地，对于需要连续记录同一目标在多个边缘侧摄像节点间的运动轨迹，或者需要由多个视角共同确认复合事件，且任一设定关键视角数据缺失将导致目标身份、运动轨迹、事件过程或事件因果关系无法完整重建的场景，定义边缘侧摄像节点在当前码率配置下的干扰耦合项：

36、

37、其中，为背景噪声或基础链路负载项，为节点对节点的干扰耦合系数，为缘侧摄像节点的传输码率，可由共享链路、同频无线传输、边缘网关队列竞争或云端入口负载竞争关系确定。

38、在一种优选实施方式中，边缘侧摄像节点的效用函数为：

39、

40、其中，表示当前处理周期内，任务协作联盟中边缘侧摄像节点在给定传输码率条件下产生的传输效用，即节点获得的语义信息传输收益与占用带宽资源所产生码率成本之间的综合净收益的计算结果为边缘侧摄像节点节点传输效用。越大，表示当前码率配置对节点越合理，和为正调节系数，表示边缘侧摄像节点的链路质量或有效信道增益。第一项表示语义价值加权后的传输收益，第二项表示码率成本。云端决策层以任务协作联盟内各节点的传输码率集合为优化变量，以最大化任务协作联盟内所有节点的总传输效用为优化目标：；并满足约束：；

41、云端决策层采用投影梯度迭代或等价的约束优化算法求解传输码率。设第轮迭代的传输码率为，对于任务协作联盟内每个节点，均按照联盟总传输效用函数相对于该节点i码率的梯度进行迭代更新，按照如下方式更新：

42、

43、其中，表示第

k轮迭代经梯度更新后、执行约束投影前得到的节点 i的中间传输码率，表示第轮投影梯度迭代采用的正步长，用于控制每次传输码率更新幅度，并满足：，其可设置为预设固定值，也可由回溯线搜索或递减步长规则动态确定。表示当前处理周期内任务协作联盟的总传输效用，由联盟内各节点传输效用之和构成：

44、

45、表示联盟总传输效用相对于节点传输码率的偏导数，用于确定增加或减少节点码率对联盟整体效用的影响。

46、随后执行约束投影：

47、

48、其中，表示投影到可行域的算子，为第轮投影梯度迭代的所有节点的传输码率。若投影前满足：

49、

50、

51、表示当前处理周期内任务协作联盟中节点i的传输码率，为保障基础层传输所需最低码率，为节点链路支持的最高码率，表示当前处理周期内分配给任务协作联盟的可用总带宽。

52、则仅执行单边缘侧摄像节点上下限截断；若投影前满足：

53、

54、则按照有效语义价值因子对联盟内所有节点的传输码率进行归一化缩放或采用标准单纯形投影，使最终码率和不超过。迭代终止条件为：

55、

56、表示预设迭代收敛阈值，且。表示相邻两轮迭代得到的联盟码率向量之差，当相邻两轮迭代得到的码率向量之间的二范数不超过该阈值时，认为优化结果已收敛并停止迭代；表示第轮迭代时任务协作联盟内全部节点的传输码率向量：

57、。

58、当联盟内所有节点的传输码率之和超过时，对传输码率向量执行投影，并在满足节点最低、最高码率约束的条件下，依据分配剩余带宽，或者采用带上下界的标准单纯形投影，使投影后的码率满足总带宽约束。通过上述约束优化过程，建立“语义价值越高、联盟重要性越高、越应获得带宽保障；干扰越强、链路竞争越激烈、越应协调降低低价值节点码率”的资源分配机制。与直接平均分配码率相比，本方案能够优先保障关键目标所在联盟以及同一事件证据链中的多个摄边缘侧摄像节点。

59、所述步骤s4中，第个边缘侧摄像节点根据云端决策层下发的、在步骤s3中计算得到的边缘侧摄像节点i的目标传输码率，以及本地语义识别结果，对视频流执行语义分层编码。为避免“分层编码”仅停留在功能性描述，本发明明确将视频数据划分为基础保障层、增强补充层和背景层。

60、基础保障层包括：目标区域低码率图像、低分辨率全局帧、目标检测框、目标类别、事件类别、时间戳、边缘侧摄像节点编号和目标轨迹信息。目标区域低码率图像，是指对目标检测框覆盖的感兴趣区域进行独立编码，并采用满足目标基本辨识需求的预设基础量化参数、基础分辨率或基础码率生成的图像数据，其占用码率计入节点最低保障码率。低分辨率全局帧，是指将边缘侧摄像节点采集的原始全局视频帧按照预设空间缩放系数下采样后形成的视频帧，，该全局帧用于保留目标所在场景、环境位置及目标周边关系，不以保留精细纹理为主要目的。增强补充层包括：目标区域高清图像、目标周边上下文区域、连续帧运动细节和局部纹理信息。背景层包括：非目标区域、静态背景、低变化连续帧和与当前任务关联度较低的画面区域。低变化连续帧，是指连续至少个视频帧之间的平均像素差、结构差异值或平均光流幅值低于预设变化阈值的连续视频帧，将其判定为低变化连续帧，q≥2。与当前任务关联度较低的画面区域是指不包含当前任务目标检测框，事件分类概率低于预设事件概率阈值，且对应目标或摄像节点与当前任务协作联盟的语义关联度低于预设低关联阈值的画面区域。

61、对于边缘侧摄像节点在时刻的第层数据，其中，为三个视频数据层级的编号：0代表基础保障层，1 代表增强补充层，2 代表背景层。构建传输优先级指数：

62、

63、其中，表示第层数据的固有重要性权重，并满足：

64、

65、为层级偏置项，用于进一步保证基础保障层优先级高于其他层。映射函数即传输优先级指数使第层数据的传输优先级同时受节点有效语义价值和数据层级影响。当边缘侧摄像节点处于高价值任务协作联盟中时，即使某一视角的单边缘侧摄像节点评分略低，也可因联盟整体价值较高而提高其基础保障层优先级，从而避免跨摄像头证据链断裂。

66、所述步骤s5中，边缘侧摄像节点实时计算网络拥塞指数，用于表征当前链路的拥塞程度。优选地，由队列占用率、端到端时延、丢包率和可用带宽下降率共同确定：

67、

68、其中：

69、

70、、、、均归一化至区间，为对应指标的非负权重。

71、对于边缘侧摄像节点的第层数据，条件丢弃概率可按如下方式计算：

72、

73、其中，为正衰减系数，为步骤s4得到的传输优先级指数。该公式使丢弃概率与网络拥塞指数正相关，与传输优先级指数负相关。

74、为进一步确保关键数据不被概率模型误丢，本发明设置强制保留规则：当且时，将基础保障层的条件丢弃概率直接置为，即禁止丢弃；其中，为预设高语义价值判定阈值。当超过第一拥塞阈值时，优优先降低 l2 背景层的传输码率，或者丢弃部分 l2背景层数据；当超过第二拥塞阈值时，再降低增强补充层的编码码率或实际传输码率；仅当网络拥塞指数超过第三拥塞阈值，且节点有效语义价值因子时，才允许对基础保障层中的可降级子数据执行进一步压缩或低频发送；目标检测框、目标类别、事件类别、时间戳、节点编号和目标轨迹信息仍予以强制保留。。

75、在边缘侧执行过程中，数据包调度队列按照从高到低排序。高优先级数据包优先进入发送队列，低优先级数据包根据执行随机丢弃、降分辨率、降帧率或延迟发送。云端可根据回传的调度日志和链路状态周期性更新码率策略，实现边缘执行与云端决策之间的闭环。

76、一种语义感知与边-云协同的视频自适应传输系统，包括：

77、边缘侧摄像节点，实时采集视频流，对于视频流利用深度学习平台提取目标检测结果、运动信息和事件信息，将提取的信息组成时空语义特征向量；

78、云端决策层单元，云端决策层单元接收各边缘侧摄像节点上传的时空语义特征向量、语义价值评分、时间戳和节点编号；将边缘侧摄像节点特征构造为对称正定特征协方差矩阵，并在正定特征协方差矩阵流形上计算跨视角语义关联度；云端决策层单元根据所有边缘侧摄像节点对的跨视角语义关联度构建关联图，将连通分量或满足关联规则的边缘侧摄像节点集合聚合为任务协作联盟，计算任务协作联盟整体语义价值；在任务协作联盟内，云端决策层单元依据任务协作联盟整体语义价值、各边缘侧摄像节点当前语义价值评分、链路状态和总带宽约束，计算各边缘侧摄像节点的传输码率；

79、边缘侧摄像节点根据云端决策层单元下发的传输码率和本地语义识别结果，对视频流执行语义分层编码，计算传输优先级指数；

80、边缘侧摄像节点实时计算网络拥塞指数，用于表征当前链路的拥塞程度，根据网络拥塞指数和传输优先级指数计算数据的条件丢弃概率，设置强制保留规则；根据传输优先级指数、条件丢弃概率和强制保留规则，在边缘侧执行数据包调度，云端决策层根据回传的调度日志和链路状态周期性更新码率策略，实现边缘执行与云端决策之间的闭环。

81、所述系统实现过程和方法相同，不再赘述。

82、一种计算机设备，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行上述计算机程序时实现如上所述的语义感知与边-云协同的视频自适应传输方法的步骤。

83、一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现如上所述的语义感知与边-云协同的视频自适应传输方法的步骤。

84、有益效果：与现有技术相比，本发明通过边-云双向协同机制，确保高语义价值内容获得优先带宽配额，在网络拥塞时保留关键视频证据并丢弃低价值背景数据，降低了无效带宽占用，保障了多节点联动场景下的视频传输连续性。

85、（1）消除视角畸变，提高联盟构建准确率。采用黎曼流形测地线距离计算节点关联度，利用其旋转不变性和尺度适应性，消除因摄像头视角旋转和目标缩放导致的特征畸变。解决了传统欧氏距离在多视角下误判目标同一性的问题，避免将无关节点错误组建联盟或漏掉相关节点，确保后续资源分配基于正确的节点拓扑。

86、（2）障高价值视频层优先传输。在效用函数中引入语义价值因子，使传输码率与语义评分呈正相关。在网络拥塞时，算法自动降低低价值节点的码率分配，优先保留高价值节点的基础保障层数据，降低关键监控内容（如违章、险情）的丢包率。

87、（3）抑制节点间干扰，提升系统吞吐量。通过效用函数中的干扰耦合项，使节点在计算最优码率时感知并规避对联盟内其他节点的干扰。系统自动协调联盟内各节点的码率，减少因多节点并发传输导致的信号冲突，提升整体频谱利用效率。

88、（4）快速响应语义变化，实现实时调度。利用黎曼流形空间的凸优化特性，使迭代算法能迭代获得满足码率上下界及联盟总带宽约束的稳定码率配置。系统能跟随视频内容语义价值的实时变化，动态调整传输策略，无需人工干预即可适应突发事件下的带宽需求变化。