自适应网络环境的视频编码优化方法、装置、设备及存储介质与流程

1.本发明涉及音视频编解码技术领域，具体而言，涉及一种自适应网络环境的视频编码优化方法，以及视频编码优化装置、设备和存储介质。


背景技术：

2.随着宽带网络、wifi网络以及4g/5g网络的普及、芯片技术、人工智能技术、物联网技术以及存储技术的进步，高清网络摄像机得到大力发展，使用越来越广泛，使用场景也变得越来越复杂，尤其是网络环境经常动态改变。网络环境改变后，用户通过手机app、网络录像机查看视频时会频繁出现视频黑屏、卡顿等现象，无法正常使用；甚至导致重要录像丢失，产生比较严重的后果。现有技术需要手动更改各种专业参数，使用人员需要有专业知识，要求较高，实时性也不好，要在出现问题后才能排查、处理，所以安装和排查故障都不够方便。由于用户群体差异非常大，有些用户很难排查，经常引起客诉。
3.在网络摄像机使用过程中经常出现网络环境不稳定的场景，比如连接网络录像机时，增加了新的网络摄像机，可能导致原来已连接的摄像机网络带宽减少而出现视频数据传输失败的现象；在网络摄像机通过wifi或者4g/5g连入网络时，网络本身抖动比较大，同时也受解码设备端网络环境的影响，都会引起图像卡顿、加载失败等问题。现有技术是当解码设备端观察到视频播放卡顿，黑屏，或者录像有丢失等现象后，通过手动的方法调整摄像机的分辨率、编码参数等。现有技术需要用户手动设置，给用户使用带来不便；现有技术具有滞后性，当用户发现时，可能已造成录像丢失等后果。
4.因此，提供一种减少网络环境变化对摄像机使用的影响，优化视频编码，实时调整视频传输速率和效果，可以方便用户使用、能够改善视频传输和查看效果的视频编码优化方法以及应用该方法的摄像机，实为必要。


技术实现要素：

5.有鉴于此，本发明的目的在于提供一种自适应网络环境的视频编码优化方法、及应用该方法的视频编码优化装置、执行该方法的视频编码优化设备，以及存储有执行所述方法的指令的存储介质，以解决上述问题。
6.为实现上述目的，本发明提供如下技术方案：
7.本发明实施方式提供一种自适应网络环境的视频编码优化方法，所述方法包括：
8.获取解码设备支持的解码参数，输出解码能力列表，所述解码能力列表包括至少一组所述解码参数；
9.查询摄像机支持的编码参数，得到初始编码列表，将所述解码能力列表与所述初始编码列表进行匹配，在所述初始编码列表中筛选出候选编码列表，所述候选编码列表包括至少一组候选编码参数；
10.获取网络评估信息，根据所述网络评估信息，从所述至少一组候选编码参数中确认最佳编码参数,根据所述最佳编码参数进行编码。
11.一些实施方式中，从所述至少一组候选编码参数中确认最佳编码参数后，还包括：根据所述最佳编码参数进行编码得到编码后的帧数据后，通过网络协议将所述帧数据发送给解码设备。
12.一些实施方式中，将所述帧数据发送给解码设备后，还包括：对所述帧数据发送过程进行评估，得出所述网路评估信息，并将所述网络评估信息用于所述确认最佳编码参数。
13.可选的，所述获取解码设备支持的解码参数包括获取能够支持解码所对应编码方式、每种编码方式支持的分辨率，所述编码参数包括编码方式、分辨率、目标码率、gop、帧率。
14.可选的，所述确认最佳编码参数包括：
15.选择编码码率最低的编码方式；
16.将预期目标码率设置为αvs，α为参考系数；
17.按组统计一组gop中i帧和p帧数据大小，根据帧率计算平均码率，当gop在可选范围内已达最大值时，使用最大值gop；
18.根据所述最大值gop计算出目标码率，若目标码率低于预期目标码率αvs，使用原来分辨率；若所述目标码率高于预期目标码率αvs，调低帧率直到最小值，若调低帧率后根据所述最大值gop计算出结果仍高于αvs，则降低分辨率，降低分辨率后，gop、帧率恢复使用默认值，目标码率取αvs，作为输出。
19.可选的，对所述帧数据发送过程进行评估，是在一个评估周期t内，统计数据包平均发送速率。
20.可选的，统计数据包平均发送速率，是在一个评估周期t内，统计发送成功的数据包数n，数据包的有效载荷大小为p1，p2，...，pn，数据包的平均发送速率为:
21.本技术实施方式还提供一种自适应网络环境的视频编码优化装置，所述视频编码优化装置包括：
22.视频解码能力获取模块，获取解码设备支持的解码参数，输出解码能力列表；
23.视频编码参数优化模块，查询摄像机支持的编码参数，筛选出候选编码列表，并根据网络评估信息确认最佳编码参数；
24.视频编码模块，根据所述最佳编码参数进行编码，得到编码后的帧数据。
25.可选的，本技术自适应网络环境的视频编码优化装置还包括视频数据发送模块，通过网络协议发送所述帧数据给解码设备。
26.可选的，本技术自适应网络环境的视频编码优化装置还包括网络环境评估模块，对所述帧数据发送过程进行评估，得出所述网路评估信息，并将所述网络评估信息用于所述确认最佳编码参数。
27.可选的，所述视频编码参数优化模块，查询摄像机支持的编码参数后得到初始编码列表，将所述解码能力列表与所述初始编码列表进行匹配，在所述初始编码列表中筛选出所述候选编码列表，所述候选编码列表包括至少一组候选编码参数，根据所述网络评估信息从所述候选编码列表中确认最佳编码参数。
28.本技术实施方式还提供一种具有存储功能的存储介质，所述存储介质上存储有指令，所述指令被处理器执行时实现本技术所述自适应网络环境的视频编码优化方法的步
骤。
29.本技术实施方式还提供一种视频编码优化设备，其包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的指令，所述处理器执行所述指令以实现本技术自适应网络环境的视频编码优化方法。
30.本技术可以在网络摄像机备等电子产品中应用。
31.本技术可以动态评估网络环境，当网络环境出现变动时，设备智能调整视频编码参数，实现最佳的编码方案，给解码设备提供当前网络环境下最优的视频数据，减少视频播放停止、卡顿、间歇黑屏以及视频丢失等问题。本技术在网络波动时，不需要用户调整，使用起来更加方便。同时也提高了产品稳定性，减少客户投诉、退货等，降低了企业的成本，提高了产品的竞争力。
附图说明
32.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
33.图1为本技术自适应网络环境的视频编码优化方法示意图；
34.图2为本技术视频编码优化方法中确定最佳编码参数实施例示意图；
35.图3为本技术自适应网络环境的视频编码优化装置示意图。
具体实施方式
36.以上现有技术中的方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本发明实施例针对上述问题所提出的解决方案，都应该是发明人在本发明过程中对本发明做出的贡献。
37.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
38.因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
39.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。在本发明的描述中，术语“第一”、“第二”、“第三”、“第四”等仅用于区分描述，而不能理解为只是或暗示相对重要性。
40.应注意到：下面描述中的标号均仅用于区分描述，而不能理解为顺序先后的序号，所述自适应网络环境的视频编码优化方法的各操作无固定先后顺序，各操作之间相互有机联系。
41.请参阅图1，本发明较佳实施例提供一种自适应网络环境的视频编码优化方法包括：
42.s1获取解码设备支持的解码参数，输出解码能力列表，所述解码能力列表包括至少一组所述解码参数；
43.s2查询摄像机支持的编码参数，得到初始编码列表，所述初始编码列表包括至少一组编码参数，将所述解码设备的解码能力列表与所述摄像机支持的初始编码列表进行匹配，在所述初始编码列表中筛选出候选编码列表，所述候选编码列表包括至少一组候选编码参数，所述候选编码参数为所述摄像机支持的，且所述候选编码参数与所述解码设备支持的解码参数匹配；
44.s3获取网络评估信息，根据所述网络评估信息，从所述候选编码列表的至少一组候选编码参数中确认最佳编码参数；
45.s4根据所述最佳编码参数进行编码，得到编码后的帧数据，并保存一个时间段内每帧数据的大小，所述帧数据包括i帧和p帧的数据；
46.s5通过网络协议将所述帧数据发送给解码设备进行解码，发送采用可靠传输，确保数据发送成功。
47.s6对所述帧数据发送过程进行评估，得出所述网路评估信息，并将所述网络评估信息用于所述确认最佳编码参数。
48.作为实施例，所述获取解码设备支持的解码参数包括获取能够支持解码所对应编码方式、每种编码方式支持的分辨率。如获取编码方式enc1、enc2、...、encn，每种编码方式支持的分辨率r1、r2、rn。解码设备如手机app、网络录像机、web等。当解码设备连接摄像机时执行，输出解码设备的所述解码能力列表。所述编码参数包括编码方式和分辨率。
49.作为实施例，所述编码参数包括编码方式、分辨率、目标码率、gop(group of picture，一个i帧和多个p帧组成的画面组)、帧率。
50.这其中，分辨率就是帧大小，每一帧就是一副图像。
51.码流/码率(data rate)是指视频文件在单位时间内使用的数据流量，也叫码率或码流率，通俗一点的理解就是取样率，是视频编码中画面质量控制中最重要的部分，一般用的单位是kb/s或者mb/s。一般来说同样分辨率下，视频文件的码流越大，压缩比就越小，画面质量就越高。码流越大，说明单位时间内取样率越大，数据流，精度就越高，处理出来的文件就越接近原始文件，图像质量越好，画质越清晰，要求播放设备的解码能力也越高。当然，码流越大，文件体积也越大，其计算公式是文件体积＝时间x码率/8。例如，网络上常见的一部90分钟1mbps码流的720p rmvb文件，其体积就＝5400秒
×
1mb/8＝675mb。通常来说，一个视频文件包括了画面及声音，例如一个rmvb的视频文件，里面包含了视频信息和音频信息，音频及视频都有各自不同的采样方式和比特率，也就是说，同一个视频文件音频和视频的比特率并不是一样的。而我们所说的一个视频文件码流率大小，一般是指视频文件中音频及视频信息码流率的总和。
52.gop(group of picture)意思是画面组，一个gop就是一组连续的画面。gop是序列中的一个图片集，用来辅助随机存取。gop的第一个图像必须为i帧，这样就能保证gop不需要参考其他图像，可以独立解码。关键帧的周期，也就是两个idr帧之间的距离，一个帧组的最大帧数，一般而言，每一秒视频至少需要使用1个关键帧。增加关键帧个数可改善质量，但是同时增加带宽和网络负载。需要说明的是，通过提高gop值来提高图像质量是有限度的，在遇到场景切换的情况时，h.264编码器会自动强制插入一个i帧，此时实际的gop值被缩短
了。另一方面，在一个gop中，p、b帧是由i帧预测得到的，当i帧的图像质量比较差时，会影响到一个gop中后续p、b帧的图像质量，直到下一个gop开始才有可能得以恢复，所以gop值也不宜设置过大。同时，由于p、b帧的复杂度大于i帧，所以过多的p、b帧会影响编码效率，使编码效率降低。另外，过长的gop还会影响seek操作的响应速度，由于p、b帧是由前面的i或p帧预测得到的，所以seek操作需要直接定位，解码某一个p或b帧时，需要先解码得到本gop内的i帧及之前的n个预测帧才可以，gop值越长，需要解码的预测帧就越多，seek响应的时间也越长。
53.帧率就是在1秒钟时间里传输的图片的帧数，也可以理解为图形处理器每秒钟能够刷新几次，通常用fps(frames per second)表示。每一帧都是静止的图象，快速连续地显示帧便形成了运动的假象。高的帧率可以得到更流畅、更逼真的动画。每秒钟帧数(fps)愈多，所显示的动作就会愈流畅。我们之所以能够利用摄像头来看到连续不断的影像，是因为影像传感器不断摄取画面并传输到屏幕上来，当传输速度达到一定的水平时，人眼就无法辨别画面之间的时间间隙，所以大家可以看到连续动态的画面。高的帧率可以得到更流畅、更逼真的动画。一般来说30fps就是可以接受的，但是将性能提升至60fps则可以明显提升交互感和逼真感，但是一般来说超过75fps一般就不容易察觉到有明显的流畅度提升了。如果帧率超过屏幕刷新率只会浪费图形处理的能力，因为显示器不能以这么快的速度更新，这样超过刷新率的帧率就浪费掉了。
54.所以，选择合适的编码参数对于适应网络环境很重要，而发明人针对现有技术的问题，经过研究努力，创造本方案自适应网络环境的视频编码优化方法、视频编码优化装置，以及应用该方法和装置的摄像机。
55.如图2所示，作为实施例，所述确认最佳编码参数包括：
56.a.选择编码码率最低的编码方式；
57.b.将预期目标码率设置为αvs，α为参考系数；
58.c.按组统计一组gop中i帧和p帧数据大小，根据帧率计算平均码率，当gop在可选范围内已达最大值时，使用最大值gop；
59.d.根据所述最大值gop计算出目标码率，若目标码率低于预期目标码率αvs，使用原来分辨率；若所述目标码率高于预期目标码率αvs，调低帧率直到最小值，若调低帧率后根据所述最大值gop计算出结果仍高于αvs，则降低分辨率，降低分辨率后，gop、帧率恢复使用默认值，目标码率取αvs，作为输出。
60.其中α取值在0.8-1.0之间，最大不超过1.0，也就是αvs最大值为vs。
61.其中，对所述帧数据发送过程进行评估，是在一个评估周期t内，统计数据包平均发送速率。
62.其中，统计数据包平均发送速率，是在一个评估周期t内，统计发送成功的数据包数n，数据包的有效载荷大小为p1，p2，...，pn，数据包的平均发送速率为:
63.如图3所示，本发明实施例提供一种自适应网络环境的视频编码优化装置，包括：
64.视频解码能力获取模块，获取解码设备支持的解码参数，输出解码能力列表；
65.视频编码参数优化模块，查询摄像机支持的编码参数，筛选出候选编码列表，并根据网络评估信息确认最佳编码参数；
66.视频编码模块，根据所述最佳编码参数进行编码，得到编码后的帧数据；
67.视频数据发送模块，通过网络协议发送所述帧数据给解码设备；
68.网络环境评估模块，对所述帧数据发送过程进行评估，得出所述网路评估信息，并将所述网络评估信息用于所述确认最佳编码参数。
69.实施例之一，所述视频编码参数优化模块，查询摄像机支持的编码参数后得到初始编码列表，将所述解码能力列表与所述初始编码列表进行匹配，在所述初始编码列表中筛选出所述候选编码列表，所述候选编码列表包括至少一组候选编码参数，根据所述网络评估信息从所述候选编码列表中确认最佳编码参数。
70.实施例之一，所述编码参数包括编码方式、分辨率、目标码率、gop、帧率。
71.所述视频编码参数优化模块确认最佳编码参数包括：
72.选择编码码率最低的编码方式；
73.将预期目标码率设置为αvs，α为参考系数；
74.按组统计一组gop中i帧和p帧数据大小，根据帧率计算平均码率，当gop在可选范围内已达最大值时，使用最大值gop；
75.根据所述最大值gop计算出目标码率，若目标码率低于预期目标码率αvs，使用原来分辨率；若所述目标码率高于预期目标码率αvs，调低帧率直到最小值，若调低帧率后根据所述最大值gop计算出结果仍高于αvs，则降低分辨率，降低分辨率后，gop、帧率恢复使用默认值，目标码率取αvs，作为输出。
76.本技术实施例还提供一种具有存储功能的存储介质，所述存储介质上存储有指令，所述指令被处理器执行时实现本技术所述自适应网络环境的视频编码优化方法的步骤。
77.本技术实施例还提供一种视频编码优化设备，其包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的指令，所述处理器执行所述指令以实现本技术自适应网络环境的视频编码优化方法。
78.本技术实施例提供一种采用自适应网络环境的视频编码优化方法的摄像机，所述摄像机连接有视频编码优化装置，所述视频编码优化装置包括：
79.视频解码能力获取模块，获取解码设备支持的解码参数，输出解码能力列表；
80.视频编码参数优化模块，查询摄像机支持的编码参数，筛选出候选编码列表，并根据网络评估信息确认最佳编码参数；
81.视频编码模块，根据所述最佳编码参数进行编码，得到编码后的帧数据；
82.视频数据发送模块，通过网络协议发送所述帧数据给解码设备；
83.网络环境评估模块，对所述帧数据发送过程进行评估，得出所述网路评估信息，并将所述网络评估信息用于所述确认最佳编码参数。
84.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。