一种基于视频帧时延检测的网络自适应传输方法与装置与流程

1.本发明涉及视频传输处理领域，具体涉及一种基于视频帧时延检测的网络自适应传输方 法与装置。


背景技术：

2.随着4g/5g移动记录仪等基于无线视频传输设备应用，能通过记录仪录制的视频流实 时上传，记录仪在使用中长伴随以下状况：视频数据的传输在很大程度上依赖于公共移动网 络的带宽。随着记录仪移动，网络信号传输效率不停变化，因此需要一种方法快速检测视频 传输效率。


技术实现要素：

3.为了解决上述现有技术方案中的不足，本发明提供了一种基于视频帧时延检测的网络自 适应传输方法与装置，具体技术方案如下：
4.一种基于视频帧时延检测的网络自适应传输方法，包括以下步骤：
5.s1、视频源模块：视频源模块产生固定帧率的yuv视频帧数据；
6.s2、aimd码率控制模块的码率自适应调整；
7.s21、aimd码率控制模块接收到带宽状态评估模块的带宽过载信令、带宽欠载信 令；
8.s22、aimd码率控制模块接受带宽过载信令，则新视频带宽等于原有视频带宽乘以 二分一；
9.s23、aimd码率控制模块接受带宽欠载信令，则新视频带宽等于原有水平带宽加上 带宽基准增量，带宽基准增量是初始带宽的百分一；
10.s24、aimd码率控制模块把带宽调整发送给视频自适应编码模块；
11.s3、视频自适应编码模块内置h264/h265视频编码器，按照带宽进行自适应处理；
12.s4、i帧平滑调整模块负责i帧平滑度调整；i帧平滑调整模块把i帧占比值与p帧丢 弃值发送给视频帧平滑传输模块；i帧平滑调整模块把p帧丢弃值发送给视频自适应编码模 块；
13.s5、视频帧平滑传输模块实际控制视频编码帧的平滑传输；
14.s6、视频帧接收时间差模块接收视频帧的网络包，并计算接收与发送时间差；
15.s7、视频帧间时延模块探测视频帧的时延变化，
16.s71、视频帧间时延模块对接收数据包进行按时间切片,10毫秒一个切片周期；
17.s72、视频帧间时延模块把每个切片的尾包的时间差减去首包的时间差得到时延变化 值，时延变化值除以该分片的包数得到时延变化均值，使用时延变化均值进行时延判断 以去除视频帧发送时间维度不平衡引入误差；
18.s73、视频帧间时延模块对时延变化均值进行卡尔曼滤波去噪声，得到时延变化均值 的估计值，使用卡尔曼滤波目的过滤少量异常突变的时延变化均值；
19.s74、视频帧间时延模块把时延变化均值的估计值发送给带宽状态评估模块；
20.s8、视频帧平滑度探测模块探测视频帧的平滑度；
21.s81、视频帧i帧数据量远大于p帧的数据量，视频帧平滑度探测模块所以选取i帧 来作为视频帧的平滑度参考；
22.s82、视频帧平滑度探测模块把每个i帧的尾包的时间差减去首包的时间差得到i帧 时延变化值，使用i帧时延变化值来探测视频帧在网络上传输的平滑度；
23.s83、视频帧平滑度探测模块对i帧时延变化值进行卡尔曼滤波去噪声，得到i帧时 延偏差估计值，使用卡尔曼滤波目的过滤i帧传输异常数据，包括h264/h265的视频编 码量化值qp调节过大导致i帧变化过大引入误差、瞬时网络的拥塞；
24.s84、视频帧平滑度探测模块把i帧时延偏差估计值发送给i帧平滑调整模块；
25.s9、带宽状态评估模块判断视频帧网络传输是否带宽过载、带宽欠载并通知aimd码率 控制模块。
26.优选地，所述s3中按照带宽进行自适应处理包括以下步骤：
27.s31、视频自适应编码模块接收aimd码率控制模块的带宽调整与i帧平滑控制模块 4的p帧丢弃值；
28.s32、视频自适应编码模块接受aimd码率控制模块的带宽调整，把视频编码器的平 均带宽的设置为调整后目标带宽；
29.s33、视频自适应编码模块监测视频编码器的视频编码流的视频编码量化值，如果视 频编码量化值大于阀值t，则认为图像编码质量下降过多，通过降低视频编码分辨率， 保证单位像素数据量，从而降低的视频编码量化值，避免图像因为编码量化过高图像质 量下降过多；
30.s34、视频自适应编码模块接收i帧平滑控制模块4的p帧丢弃值，p帧丢弃值为i 帧占有几个p帧周期，i帧后丢，视频自适应编码模块生成i帧后，视频自适应编码模 块根据p帧丢弃值来丢弃yuv视频帧，不发送给视频编码器。
31.优选地，所述s4中i帧平滑度调整包括以下步骤：
32.s41、i帧平滑调整模块接收视频帧平滑度探测模块的i帧时延偏差估计值；
33.s42、i帧平滑调整模块根据时延偏差估计值大于阀值a，则把i帧占比值增加一，i 帧平滑调整模块根据时延偏差估计值小与阀值b，则把i帧占比值减少一；
34.s43、i帧平滑调整模块从视频自适应编码模块获取i帧间隔周期gop，视频帧组内 i帧与p帧的数据量；
35.s44、视频自适应编码模块计算p帧的归一值，p帧的归一值等于p帧的数据量*(g op-1-p帧丢弃值)/(gop-1-i帧占比值-p帧丢弃值)；
36.s45、视频自适应编码模块计算i帧的归一值，i帧的归一值等于i帧数据量/(1 i 帧占比值 p帧丢弃值)；p帧丢弃值初始值为0，如果视频自适应编码模块的p帧的归一 值大于i帧的归一值，则增大p帧丢弃值，重新计算p帧的归一值与i帧的归一值，直 到p帧的归一值小于等于i帧的归一值；当p帧丢弃值大于阀值q，则通知带宽状态评 估模块的i帧平衡调节过载。
37.优选地，所述s5包括以下步骤：
38.s51、视频帧平滑传输模块接收i帧平滑调整模块的i帧占比值与p帧丢弃值；
39.s52、视频帧平滑传输模块接收视频自适应编码模块的视频编码流与视频帧率与i帧 间隔周期gop；
40.s53、视频帧平滑传输模块计算帧平均传输时间,帧平均传输时间＝1/帧率；
41.s54、视频帧平滑传输模块计算i帧的传输时间，i帧的传输时间为(1 i帧占比值 p 帧丢弃值)*帧平均传输时间；
42.s55、视频帧平滑传输模块计算p帧的传输时间，p帧的传输时间为((gop-1-i帧占 比值-p帧丢弃值)*帧平均传输时间)/(gop-1-p帧丢弃值)；
43.s56、视频帧平滑传输模块对i帧与p帧按照传输时间均衡发送，视频帧平滑传输模 块接受i帧与p帧的n字节长度的视频帧数据，按照1200进行拆分为n/1200个视频 包，每个包发送间隔为传输时间*1200/n；
44.s57、视频帧平滑传输模块把视频包发送视频帧接收时间差模块，视频包携带发送时 间。
45.优选地，所述s6包括以下步骤：
46.s61、视频帧接收时间差模块接收视频帧平滑传输模块的视频包以及发送时间；视频 帧接收时间差模块记录视频帧的接收时间；
47.s62、视频帧接收时间差模块把接收时间减去发送时间得到该数据的时间差；视频帧 接收时间差模块把传输视频流的i帧数据包的时间差发送给视频帧平滑度探测模块；
48.s63、视频帧接收时间差模块把传输视频流的所有数据包的时间差发送给视频帧间时 延模块；
49.优选地，所述s9包括以下步骤：
50.s91、带宽状态评估模块接收视频帧间时延模块的时延变化均值的估计值；
51.s92、带宽状态评估模块判断时延变化均值的估计值是否大于带宽阀值h，如果大与 等于则带宽过载计数加一，如果小于则带宽过载计数清零，带宽过载计数大于带宽调节 计数阀值c，此时说明视频帧的传输时延持续变大传输效率持续变差，网络设备传输上 有包累计；
52.s93、带宽状态评估模块通知aimd码率控制模块带宽过载；
53.s94、带宽状态评估模块给带宽阀值h增加带宽增量a，带宽阀值h增加带宽增量a 的目的是为网络已变差情况，减低带宽过载检查灵敏度，减少带宽状态反复切换可能 性，使得带宽切换变更加平顺；
54.s95、带宽状态评估模块判断时延变化均值的估计值是否为负值，如果出现负值说明 网络传输设备能超过视频帧的带宽，为带宽欠载状态；
55.s96、带宽状态评估模块判断时延变化均值为负值则带宽欠载计数加一，如果大于等 于零，带宽欠载计数清零，带宽欠载计数大于带宽调节计数阀值c；
56.s97、带宽欠载计数大于带宽调节计数阀值c，带宽状态评估模块则通知aimd码率 控制模块带宽欠载；
57.s98、带宽状态评估模块给带宽阀值h减少带宽增量a，提高带宽过载检查灵敏度；
58.s99、带宽状态评估模块接收i帧平滑调整模块的i帧平衡调节过载，说明有视频帧 传输可能产生过载，带宽状态评估模块把带宽阀值h减少带宽增量a，提高带宽过载检 查灵敏度，尽早检查出带宽过载情况。
59.本发明的有益效果是：
60.本发明使用一种基于视频帧时延检测的网络自适应传输方法，利用视频帧的传输帧传输 时延变化，调整视频帧网络传输平衡度与带宽，从而快速适应4g/5g记录仪移动，网络信 号传输效率不停变化，调整最佳网络发包节奏与带宽，让视频无线网络传输最佳。
附图说明
61.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术 描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实 施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图 获得其他的附图。
62.图1是本发明的整体模块连接示意图。
具体实施方式
63.下面详细描述本发明的实施例，下面的实施例是示例性的，旨在用于解释本发明，而不 能理解为对本发明的限制。
64.如图1所示，一种基于视频帧时延检测的网络自适应传输方法，包括以下步骤：
65.s1、视频源模块1：视频源模块1产生固定帧率的yuv视频帧数据；
66.s2、aimd码率控制模块2的码率自适应调整；
67.s21、aimd码率控制模块2接收到带宽状态评估模块9的带宽过载信令、带宽欠载 信令；
68.s22、aimd码率控制模块2接受带宽过载信令，则新视频带宽等于原有视频带宽乘 以二分一；
69.s23、aimd码率控制模块2接受带宽欠载信令，则新视频带宽等于原有水平带宽加 上带宽基准增量，带宽基准增量是初始带宽的百分一；
70.s24、aimd码率控制模块2把带宽调整发送给视频自适应编码模块3；
71.s3、视频自适应编码模块3内置h264/h265视频编码器，按照带宽进行自适应处理；
72.s31、视频自适应编码模块3接收aimd码率控制模块2的带宽调整与i帧平滑控制 模块4的p帧丢弃值；
73.s32、视频自适应编码模块3接受aimd码率控制模块2的带宽调整，把视频编码器 的平均带宽的设置为调整后目标带宽；
74.s33、视频自适应编码模块3监测视频编码器的视频编码流的视频编码量化值，如果 视频编码量化值大于阀值t，则认为图像编码质量下降过多，通过降低视频编码分辨 率，保证单位像素数据量，从而降低的视频编码量化值，避免图像因为编码量化过高图 像质量下降过多；
75.s34、视频自适应编码模块3接收i帧平滑控制模块4的p帧丢弃值，p帧丢弃值为 i帧占有几个p帧周期，i帧后丢，视频自适应编码模块3生成i帧后，视频自适应编 码模块3根据p帧丢弃值来丢弃yuv视频帧，不发送给视频编码器。
76.s4、i帧平滑调整模块4负责i帧平滑度调整；
77.s41、i帧平滑调整模块4接收视频帧平滑度探测模块8的i帧时延偏差估计值；
断以去除视频帧发送时间维度不平衡引入误差；
98.s73、视频帧间时延模块7对时延变化均值进行卡尔曼滤波去噪声，得到时延变化均 值的估计值，使用卡尔曼滤波目的过滤少量异常突变的时延变化均值；
99.s74、视频帧间时延模块7把时延变化均值的估计值发送给带宽状态评估模块9；
100.s8、视频帧平滑度探测模块8探测视频帧的平滑度；
101.s81、视频帧i帧数据量远大于p帧的数据量，视频帧平滑度探测模块8所以选取i 帧来作为视频帧的平滑度参考；
102.s82、视频帧平滑度探测模块8把每个i帧的尾包的时间差减去首包的时间差得到i 帧时延变化值，使用i帧时延变化值来探测视频帧在网络上传输的平滑度；
103.s83、视频帧平滑度探测模块8对i帧时延变化值进行卡尔曼滤波去噪声，得到i帧 时延偏差估计值，使用卡尔曼滤波目的过滤i帧传输异常数据，包括h264/h265的视频 编码量化值qp调节过大导致i帧变化过大引入误差、瞬时网络的拥塞；
104.s84、视频帧平滑度探测模块8把i帧时延偏差估计值发送给i帧平滑调整模块4；
105.s9、带宽状态评估模块9判断视频帧网络传输是否带宽过载、带宽欠载并通知aimd码 率控制模块2；
106.s91、带宽状态评估模块9接收视频帧间时延模块7的时延变化均值的估计值；
107.s92、带宽状态评估模块9判断时延变化均值的估计值是否大于带宽阀值h，如果大 与等于则带宽过载计数加一，如果小于则带宽过载计数清零，带宽过载计数大于带宽调 节计数阀值c，此时说明视频帧的传输时延持续变大传输效率持续变差，网络设备传输 上有包累计；
108.s93、带宽状态评估模块9通知aimd码率控制模块2带宽过载；
109.s94、带宽状态评估模块9给带宽阀值h增加带宽增量a，带宽阀值h增加带宽增量 a的目的是为网络已变差情况，减低带宽过载检查灵敏度，减少带宽状态反复切换可能 性，使得带宽切换变更加平顺；
110.s95、带宽状态评估模块9判断时延变化均值的估计值是否为负值，如果出现负值说 明网络传输设备能超过视频帧的带宽，为带宽欠载状态；
111.s96、带宽状态评估模块9判断时延变化均值为负值则带宽欠载计数加一，如果大于 等于零，带宽欠载计数清零，带宽欠载计数大于带宽调节计数阀值c；
112.s97、带宽欠载计数大于带宽调节计数阀值c，带宽状态评估模块9则通知aimd码 率控制模块2带宽欠载；
113.s98、带宽状态评估模块9给带宽阀值h减少带宽增量a，提高带宽过载检查灵敏 度；
114.s99、带宽状态评估模块9接收i帧平滑调整模块4的i帧平衡调节过载，说明有视 频帧传输可能产生过载，带宽状态评估模块9把带宽阀值h减少带宽增量a，提高带宽 过载检查灵敏度，尽早检查出带宽过载情况。
115.本发明一种基于视频帧时延检测的网络自适应传输装置包含：视频源模块1,aimd码率 控制模块2,视频自适应编码模块3,i帧平滑调整模块4,视频帧平滑传输模块5，视频帧 接收时间差模块6，视频帧间时延模块7，视频帧平滑度探测模块8,带宽状态评估模块9。
116.视频源模块1：视频源模块1产生固定帧率的yuv视频帧数据。
117.aimd码率控制模块2：aimd码率控制模块2的码率自适应调整；aimd码率控制模块2 接收到带宽状态评估模块9的带宽过载、带宽欠载；aimd码率控制模块2接受带宽过载信 令，则新视频带宽等于原有视频带宽乘以二分一，aimd码率控制模块2接受带宽欠载信 令，则新视频带宽等于原有水平带宽加上带宽基准增量，带宽基准增量是初始带宽的百分 一；aimd码率控制模块2把带宽调整发送给视频自适应编码模块3。
118.视频自适应编码模块3：视频自适应编码模块3内置h264/h265视频编码器，按照带宽 进行自适应处理，视频自适应编码模块3接收aimd码率控制模块2的带宽调整与i帧平滑 控制模块4的p帧丢弃值；视频自适应编码模块3接受aimd码率控制模块2的带宽调整， 把视频编码器的平均带宽的设置为调整后目标带宽，视频自适应编码模块3监测视频编码器 的视频编码流的视频编码量化值，如果视频编码量化值大于阀值t，则认为图像编码质量下 降过多，通过降低视频编码分辨率，保证单位像素数据量，从而降低的视频编码量化值，避 免图像因为编码量化过高图像质量下降过多；视频自适应编码模块3接收i帧平滑控制模块 4的p帧丢弃值，p帧丢弃值为i帧占有几个p帧周期，i帧后丢，视频自适应编码模块3 生成i帧后，视频自适应编码模块3根据p帧丢弃值来丢弃yuv视频帧，不发送给视频编码 器。
119.i帧平滑调整模块4：负责i帧平滑度调整，i帧平滑调整模块4接收视频帧平滑度探 测模块8的i帧时延偏差估计值，i帧平滑调整模块4根据时延偏差估计值大于阀值a，则 把i帧占比值增加一，i帧平滑调整模块4根据时延偏差估计值小与阀值b，则把i帧占比 值减少一；i帧平滑调整模块4从视频自适应编码模块3获取i帧间隔周期gop，视频帧组 内i帧与p帧的数据量；视频自适应编码模块3计算p帧的归一值，p帧的归一值等于p帧 的数据量*(gop-1-p帧丢弃值)/(gop-1-i帧占比值-p帧丢弃值)；视频自适应编码 模块3计算i帧的归一值，i帧的归一值等于i帧数据量/(1 i帧占比值 p帧丢弃值)；p 帧丢弃值初始值为0，如果视频自适应编码模块3的p帧的归一值大于i帧的归一值，则增 大p帧丢弃值，重新计算p帧的归一值与i帧的归一值，直到p帧的归一值小于等于i帧的 归一值；当p帧丢弃值大于阀值q，则通知带宽状态评估模块9的i帧平衡调节过载；i帧 平滑调整模块4把i帧占比值与p帧丢弃值发送给视频帧平滑传输模块5；i帧平滑调整模 块4把p帧丢弃值发送给视频自适应编码模块3。
120.视频帧平滑传输模块5：视频帧平滑传输模块5实际控制视频编码帧的平滑传输，视 频帧平滑传输模块5接收i帧平滑调整模块4的i帧占比值与p帧丢弃值；视频帧平滑传输 模块5接收视频自适应编码模块3的视频编码流与视频帧率与i帧间隔周期gop；视频帧平 滑传输模块5计算帧平均传输时间,帧平均传输时间＝1/帧率；视频帧平滑传输模块5计算 i帧的传输时间，i帧的传输时间为(1 i帧占比值 p帧丢弃值)*帧平均传输时间；视频帧平 滑传输模块5计算p帧的传输时间，p帧的传输时间为((gop-1-i帧占比值-p帧丢弃值)* 帧平均传输时间)/(gop-1-p帧丢弃值)；视频帧平滑传输模块5对i帧与p帧按照传输时间 均衡发送，视频帧平滑传输模块5接受i帧与p帧的n字节长度的视频帧数据，按照1200 进行拆分为n/1200个视频包，每个包发送间隔为传输时间*1200/n；视频帧平滑传输模 块5把视频包发送视频帧接收时间差模块6，视频包携带发送时间。
121.视频帧接收时间差模块6：视频帧接收时间差模块6接收视频帧的网络包，并计算接收 与发送时间差；视频帧接收时间差模块6接收视频帧平滑传输模块5的视频包以及发送时 间；视频帧接收时间差模块6记录视频帧的接收时间；视频帧接收时间差模块6把接受
时间 减去发送时间得到该数据的时间差；视频帧接收时间差模块6把传输视频流的i帧数据包的 时间差发送给视频帧平滑度探测模块8；视频帧接收时间差模块6把传输视频流的所有数据 包的时间差发送给视频帧间时延模块7。
122.视频帧间时延模块7:视频帧间时延模块7探测视频帧的时延变化，视频帧间时延模块7 对接收数据包进行按时间切片,10毫秒一个切片周期；视频帧间时延模块7把每个切片的尾 包的时间差减去首包的时间差得到时延变化值，时延变化值除以该分片的包数得到时延变化 均值，使用时延变化均值进行时延判断以去除视频帧发送时间维度不平衡引入的误差；视频 帧间时延模块7对时延变化均值进行卡尔曼滤波去噪声，得到时延变化均值的估计值，使用 卡尔曼滤波目的是过滤少量异常突变的时延变化均值；视频帧间时延模块7把时延变化均值 的估计值发送给带宽状态评估模块9。
123.视频帧平滑度探测模块8:视频帧平滑度探测模块8探测视频帧的平滑度，视频帧i帧 数据量远大于p帧的数据量，所以选取i帧来作为视频帧的平滑度参考；视频帧平滑度探测 模块8把每个i帧的尾包的时间差减去首包的时间差得到i帧时延变化值，使用i帧时延变 化值来探测视频帧在网络上传输的平滑度；视频帧平滑度探测模块8对i帧时延变化值进行 卡尔曼滤波去噪声，得到i帧时延偏差估计值，使用卡尔曼滤波的目的是过滤i帧传输异常 数据，包括h264/h265的视频编码量化值qp调节过大导致i帧变化过大引入误差、瞬时网 络的拥塞；视频帧平滑度探测模块8把i帧时延偏差估计值发送给i帧平滑调整模块4。
124.带宽状态评估模块9：带宽状态评估模块9判断视频帧网络传输是否带宽过载、带宽欠 载；带宽状态评估模块9接收视频帧间时延模块7的时延变化均值的估计值，带宽状态评估 模块9判断时延变化均值的估计值是否大于带宽阀值h，如果大于等于则带宽过载计数加 一，如果小于则带宽过载计数清零，带宽过载计数大于带宽调节计数阀值c，此时说明视频 帧的传输时延持续变大传输效率持续变差、网络设备传输上有包累计，则通知aimd码率控 制模块2带宽过载，带宽状态评估模块9给带宽阀值h增加带宽增量a，带宽阀值h增加带 宽增量a的目的是为网络已变差情况，降低带宽过载检查灵敏度、减少带宽状态反复切换可 能性，使得带宽切换变更加平顺；带宽状态评估模块9判断时延变化均值的估计值是否为负 值，如果出现负值说明网络传输设备能超过视频帧的带宽，如果为负值则带宽欠载计数加 一，如果大于等于零，带宽欠载计数清零，带宽欠载计数大于带宽调节计数阀值c，则通知 aimd码率控制模块2带宽欠载，带宽状态评估模块9给带宽阀值h减少带宽增量a，提高带 宽过载检查灵敏度；带宽状态评估模块9接收i帧平滑调整模块4的i帧平衡调节过载，说 明有视频帧传输可能产生过载，带宽状态评估模块9把带宽阀值h减少带宽增量a，提高带 宽过载检查灵敏度，尽早检查出带宽过载情况。
125.以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以 在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并 不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。