一种视频处理方法、装置、设备、存储介质和程序产品与流程
本技术涉及视频处理技术,尤其涉及一种视频处理方法、装置、设备、存储介质和程序产品。
背景技术:
1、8k视频增强编码是指通过先进的编码技术提高8k视频的压缩效率和传输质量,使得在有限的带宽条件下,能够传输更高分辨率和更高质量的视频内容。这种技术不仅能够减少视频传输所需的带宽,还能在解码后提供更加细腻、清晰的视觉体验,对于推动超高清视频内容的普及和发展具有重要意义。
2、目前,8k视频编码技术受限于解码器性能,会导致多视角滑动切换时存在画面跳变现象。
技术实现思路
1、本技术实施例提供一种视频处理方法、装置、设备、存储介质和程序产品。
2、本技术实施例的技术方案是这样实现的:
3、本技术实施例提供了一种视频处理方法,所述方法应用于服务端;所述方法包括:
4、接收多个初始视频流,基于所述多个初始视频流获得目标视频流;所述多个初始视频流对应于多个视点且每个初始视频流采用第一分辨率;所述目标视频流采用第二分辨率,所述第二分辨率为所述第一分辨率的n倍,n大于1;
5、对每个初始视频流中的每帧视频数据进行深度估计,获得深度数据流,所述深度数据流包括相应初始视频流包含的每帧视频数据对应的深度图;
6、对每个初始视频流和对应的深度数据流进行分层编码,获得每个初始视频流对应的基础层数据以及对应的深度数据流对应的增强层数据;
7、将所述目标视频流封装为基础媒体流发送至终端,以及将每个初始视频流对应的所述基础层数据和增强层数据封装为增强媒体流,将一个或多个增强媒体流发送给所述终端。
8、上述方案中,所述将所述目标视频流封装为基础媒体流发送至终端,以及将每个初始视频流对应的所述基础层数据和增强层数据封装为增强媒体流,将一个或多个增强媒体流发送给所述终端,包括:
9、接收终端的视频播放请求,基于所述视频播放请求向所述终端传输所述基础媒体流和第一增强媒体流;所述第一增强媒体流对应于预设的第一视点;
10、接收终端的视点切换请求,基于所述视点切换请求向所述终端传输所述基础媒体流和一个或多个第二增强媒体流;所述一个或多个第二增强媒体流与视点切换操作相关联。
11、上述方案中,所述基于所述多个初始视频流获得目标视频流,包括:
12、对第一初始视频流进行下采样处理,获得第二初始视频流,所述第一初始视频流为多个初始视频流中的任一初始视频流;
13、对多个第二初始视频流进行拼接处理,生成所述目标视频流。
14、上述方案中,所述对每个初始视频流中的每帧视频数据进行深度估计,获得深度数据流,包括:
15、基于第三初始视频流中的第二帧视频数据、对第一初始视频流中的第一帧视频数据进行深度估计,获得所述第一初始视频流中的第一帧视频数据的深度图;其中,所述第一初始视频流为多个初始视频流中的任一初始视频流,所述第一初始视频流对应的图像采集区域与所述第二初始视频流对应的图像采集区域具有重叠区域;所述第一帧视频数据为所述第一初始视频流中的任一帧视频数据,所述第一帧视频数据和所述第二帧视频数据具有相同的时间戳;
16、基于所述第一初始视频流中的所有帧视频数据的深度图,获得深度数据流。
17、上述方案中,所述视点切换请求中包括与视点切换操作相关的第一位置信息;所述基于所述视点切换请求,向所述终端传输所述基础媒体流和一个或多个第二增强媒体流数据,包括:
18、基于所述第一位置信息确定所述基础媒体流中的第二位置信息,确定与所述第二位置信息对应的一个或多个初始视频流标识,确定与所述一个或多个初始视频流标识对应的一个或多个第二增强媒体流。
19、本技术实施例还提供了一种视频处理方法,所述方法应用于终端,所述方法包括:
20、向服务端发送视频播放请求,接收所述服务端发送的基础媒体流和第一增强媒体流,解码所述基础媒体流,以及解码所述第一增强媒体流并渲染;其中,所述基础媒体流基于目标视频流封装获得,所述目标视频流基于多个初始视频流生成,所述多个初始视频流对应于多个视点且每个初始视频流采用第一分辨率;所述目标视频流采用第二分辨率,所述第二分辨率为所述第一分辨率的n倍,n大于1;所述第一增强媒体流对应于第一视点;
21、检测到视点切换操作,响应于所述视点切换操作,渲染所述基础媒体流以及向所述服务端发送视点切换请求;
22、持续接收所述服务端发送的基础媒体流,以及接收所述服务端发送的一个或多个第二增强媒体流,基于所述一个或多个第二增强媒体流构建对应于第二视点的目标视频数据并输出渲染;
23、其中,所述第一增强媒体流或所述第二增强媒体流基于相应的初始视频流对应的基础层数据和增强层数据封装获得,所述基础层数据和所述增强层数据分别基于相应的初始视频流和深度数据流进行分层编码获得。
24、上述方案中,所述基于所述一个或多个第二增强媒体流构建目标视频数据并输出渲染,包括:
25、根据所述视点切换操作,确定所述第二视点对应的第三位置信息;
26、基于所述第三位置信息、所述深度数据和图像采集设备的内部参数确定位置偏移信息,所述位置偏移信息表示所述初始视频流中的视频数据的像素点在所述第二视点下投影后的位置偏移;
27、基于所述初始视频流中的视频数据的像素点和每个像素点对应的位置偏移信息构建目标视频数据。
28、本技术实施例还提供了一种通信设备,所述通信设备包括:
29、存储器,用于存储计算机可执行指令或者计算机程序;
30、处理器,用于执行所述存储器中存储的计算机可执行指令或者计算机程序时,实现本技术实施例所述的视频处理方法。
31、本技术实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序执行时实现本技术实施例所述视频处理方法的步骤。
32、本技术实施例还提供了一种计算机程序产品,包括计算机程序指令,该计算机程序指令使得计算机执行本技术实施例所述视频处理方法的步骤。
33、本技术实施例的视频处理方法、装置、设备、存储介质和程序产品,一方面,服务端接收多个初始视频流,基于所述多个初始视频流获得目标视频流;所述多个初始视频流对应于多个视点且每个初始视频流采用第一分辨率;所述目标视频流采用第二分辨率,所述第二分辨率为所述第一分辨率的n倍,n大于1;对每个初始视频流中的每帧视频数据进行深度估计,获得深度数据流,所述深度数据流包括相应初始视频流包含的每帧视频数据对应的深度图;对每个初始视频流和对应的深度数据流进行分层编码,获得每个初始视频流对应的基础层数据以及对应的深度数据流对应的增强层数据;将所述目标视频流封装为基础媒体流发送至终端,以及将每个初始视频流对应的所述基础层数据和增强层数据封装为增强媒体流,将一个或多个增强媒体流发送给所述终端;另一方面,终端向服务端发送视频播放请求,接收所述服务端发送的基础媒体流和第一增强媒体流,解码所述基础媒体流,以及解码所述第一增强媒体流并渲染;所述第一增强媒体流对应于第一视点;检测到视点切换操作,响应于视点切换操作,渲染所述基础媒体流以及向所述服务端发送视点切换请求;持续接收所述服务端发送的基础媒体流,以及接收所述服务端发送的一个或多个第二增强媒体流,基于所述一个或多个第二增强媒体流构建对应于第二视点的目标视频数据并输出渲染。如此,采用本技术实施例的技术方案,服务端通过生成目标视频流以及持续传输目标视频流对应的基础媒体流,选择一个或多个增强媒体流传输给终端;终端在开始视频播放时,先拉取第一视点的第一增强媒体流进行播放,同步拉取基础媒体流解码但不做渲染;当用户操作切换视点时,通过对基础媒体流进行渲染播放,同时请求服务端传输对应于用户视角的一个或多个第二增强媒体流,保证用户切换视角时画面不卡顿,解决了多视角切换的跳变问题,实现了流畅无跳变的多视角切换,并且用户在切换视点时,可以享受到高质量的视频画面,同时避免了跳变问题,提高了用户体验。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com