一种面向可信低带宽环境的安全远程交互隔离方法与流程
本申请涉及数据传输,具体为一种面向可信低带宽环境的安全远程交互隔离方法。
背景技术:
1、随着企业数字化转型的不断深入,联动监控、可视化展示、远程办公场景逐步普及,所有路端站点的流媒体、数据均需传输至中心端,并与中心端进行交互联动以完成相关管理事务;
2、而在视频类数据的编码过程中,传统方案大多采用全帧统一编码方式,要么全部保留高分辨率使得数据量过大,要么统一降采样导致画面关键细节丢失,并且传输路网内部网络、各类系统的流媒体、数据传输流量均伴随实际运行情况而处于动态变化中,现有技术普遍仅基于实时带宽进行固定策略传输,在面对不同低带宽环境以及带宽频繁波动时,容易出现卡顿、丢帧、花屏;
3、为此,本发明提出一种面向可信低带宽环境的安全远程交互隔离方法,用以解决现有技术中的不足。
技术实现思路
1、本申请的目的在于提供一种面向可信低带宽环境的安全远程交互隔离方法,用以解决上述背景技术中提出的问题。
2、本申请的目的可以通过以下技术方案实现:
3、一种面向可信低带宽环境的安全远程交互隔离方法,包括以下步骤:
4、步骤一,接收需要传输的视频;
5、步骤二,获取所述视频中的关键帧与非关键帧,对所述关键帧保留高分辨率编码,对所述非关键帧进行降采样编码;
6、步骤三,通过运动对齐单元与纹理补偿单元对所述非关键帧进行超分辨率重建;
7、步骤四,将超分辨率重建后的所述非关键帧与所述关键帧进行融合,并消除压缩伪影;
8、步骤五,获取网络带宽,将融合后的视频按照当前网络带宽进行传输。
9、优选的,所述步骤二进行工作的方法为:
10、通过帧内预测,提取所述视频中的多个所述关键帧;
11、通过帧间预测,获取两个关键帧之间的图像组;
12、从图像组中获取多个所述非关键帧的排列顺序,并根据排列顺序将多个所述非关键帧划分为预测帧与双向帧;
13、对提取的所述关键帧进行高分辨率编码,对提取的所述预测帧与所述双向帧进行降采样编码。
14、优选的,所述步骤三包括运动对齐单元与纹理补偿单元,所述分辨率重建模块进行工作的方法为:
15、对降采样编码的所有所述预测帧与所述双向帧进行预处理;
16、根据所述预测帧与所述双向帧的排列顺序,提取图像组中的所述预测帧;
17、获取所述预测帧与相邻所述关键帧的特征点,获取帧间运动向量,通过运动对齐单元对非关键帧进行运动轨迹对齐;
18、获取所述预测帧与所述关键帧的高分辨率纹理,根据所述预测帧的纹理残留,通过纹理补偿单元对所述非关键帧进行纹理细节与边缘轮廓补充;
19、根据所述关键帧与分辨率重建后的预测帧对图像组中的多个双向帧进行分辨率重建。
20、优选的,所述运动对齐单元进行工作的方法为:
21、从所述预测帧与所述关键帧中提取具有稳定性和唯一性的特征点,并获取每个特征点的描述子;
22、对所述关键帧与所述预测帧的特征点进行匹配,剔除误匹配点;
23、根据有效匹配对的特征点的坐标差异,计算获取所述预测帧相对于所述关键帧的运动向量,获取帧间的位移数据与旋转数据;
24、根据获取的运动向量、位移数据与旋转数据,对所述预测帧进行运动补偿,校正所述预测帧的位置偏移和运动偏差。
25、优选的,所述纹理补偿单元进行工作的方法为:
26、获取前一所述关键帧的高分辨率纹理特征,提取前一所述关键帧的边缘轮廓、细节纹理及像素梯度信息,构建基准纹理特征库;
27、获取降采样编码的所述预测帧的纹理缺失区域,识别降采样编码后丢失的细节、模糊边缘及纹理空洞位置;
28、根据运动对齐后的运动向量,将所述关键帧的纹理特征映射至所述预测帧的对应区域,进行基础纹理填充;
29、对填充后的基础纹理进行平滑处理,消除纹理拼接伪影。
30、优选的,所述根据所述关键帧与分辨率重建后的所述预测帧对图像组中的多个双向帧进行分辨率重建的过程为:
31、将图像组中的多个所述双向帧进行分组,获取前组双向帧与后组双向帧;
32、获取前后关键帧的高分辨率纹理特征与运动信息,以及完成分辨率重建的预测帧的纹理、运动数据,构建参考帧,并标记每组所述双向帧对应的参考帧;
33、对两组所述双向帧分别执行运动对齐,获取单个所述双向帧的特征点,根据单个所述双向帧对应的参考帧的运动向量,计算获取单个所述双向帧相对于参考帧的双向运动偏移量;
34、根据两个所述关键帧的高分辨率基础纹理与所述预测帧的重建纹理,映射至单个所述双向帧的对应区域,根据单个所述双向帧与参考帧的纹理相似度,调整纹理填充权重;
35、单个所述双向帧重建完成后,对每组所述双向帧进行帧间连贯性校验,对比相邻双向帧的纹理风格与运动趋势,消除帧间纹理拼接伪影与运动断层;
36、同时将重建后的所述双向帧与所述关键帧、所述预测帧进行整体比对,微调纹理亮度、对比度。
37、优选的,所述步骤四进行工作的方法为:
38、接收分辨率重建后的所述预测帧、所述双向帧与所述关键帧,统一帧格式、校准时序;
39、对齐帧间像素坐标与纹理特征,将所述预测帧、所述双向帧与关键帧进行像素级融合,保留所述关键帧清晰度与非关键帧连贯性;
40、通过去伪影算法,消除融合过程中产生的拼接痕迹及编码残留的压缩伪影;
41、输出融合后的完整帧序列进行传输。
42、优选的,所述步骤五进行工作的方法为:
43、采集当前网络带宽实时数据,根据历史传输带宽变化规律,预测未来预设时间段内的网络带宽波动范围及稳定值;
44、设定带宽阈值,将预测带宽与阈值对比,判断当前及未来带宽所处区间,预设对应的传输方式;
45、实时监测带宽动态,若预测带宽偏离阈值,动态切换传输方式,补偿传输延迟。
46、本申请的有益效果:
47、1.本申请通过对帧内预测与帧间预测划分视频中的关键帧、预测帧与双向帧,对关键帧、预测帧与双向帧进行不同类型的编码,在保留关键帧高清画质的同时降低非关键帧数据体量,再通过运动对齐与纹理补偿对非关键帧进行超分辨率重建,最后与关键帧进行融合传输,并且在传输时预测通信中网络状况各项指标的波动,包括卡顿率、延迟、丢包率等,预测未来网络带宽,以匹配真实世界带宽,最终实现了可信低带宽环境下视频传输的流畅稳定与画质清晰。
48、当然,实施本申请的任一产品并不一定需要同时达到以上所述的所有优点。
1.一种面向可信低带宽环境的安全远程交互隔离方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的一种面向可信低带宽环境的安全远程交互隔离方法,其特征在于,所述步骤二进行工作的方法为:
3.根据权利要求1所述的一种面向可信低带宽环境的安全远程交互隔离方法,其特征在于,所述步骤三包括运动对齐单元与纹理补偿单元,所述分辨率重建模块进行工作的方法为:
4.根据权利要求3所述的一种面向可信低带宽环境的安全远程交互隔离方法,其特征在于,所述运动对齐单元进行工作的方法为:
5.根据权利要求4所述的一种面向可信低带宽环境的安全远程交互隔离方法,其特征在于,所述纹理补偿单元进行工作的方法为:
6.根据权利要求1所述的一种面向可信低带宽环境的安全远程交互隔离方法,其特征在于,所述根据所述关键帧与分辨率重建后的所述预测帧对图像组中的多个双向帧进行分辨率重建的过程为:
7.根据权利要求1所述的一种面向可信低带宽环境的安全远程交互隔离方法,其特征在于,所述步骤四进行工作的方法为:
8.根据权利要求1所述的一种面向可信低带宽环境的安全远程交互隔离方法,其特征在于,所述步骤五进行工作的方法为:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com