多视角视频传输方法、装置、处理设备、显示设备和介质与流程

1.本公开涉及网络传输技术领域，尤其涉及一种多视角视频传输方法、装置、处理设备、显示设备和存储介质。


背景技术：

2.为了提升用户沉浸式体验效果，应运而生了多视角技术，该技术支持用户自由改变观看视角，突破了传统视频观看视角受限无法交互的问题，且已在头部体育及综艺中落地应用。
3.相关技术中，多视角视频传输的实现过程主要包括：通过采集同一帧时刻所有视角的视频图像，拼接成一张大的多视角视频图像，再经压缩编码后进行和传输。如采用4k拼接多视角视频，布置9个视角，单个视角的视频图像需下采样到720p(4k/9)，或如图1所示，16个视角需下采样到540p(4k/16)。
4.上述方案存在以下缺陷：一方面，由于受限于带宽和设备的解码能力，拼接分辨率具有一定的上限要求，布置的视角越多，拼接图像中单个视角可分配的像素越少、则单个视角的分辨率越低；另一方面，如果要保证单视角的视频质量，则只能限制视角数量、视角范围或者增大视角差，而这种方式又影响了单视角视频图像的显示效果。
5.需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。


技术实现要素：

6.本公开的目的在于提供一种多视角视频传输方法、装置、处理设备、显示设备及存储介质，至少在一定程度上克服由于相关技术中无法兼顾视角数量和单视角视频图像质量的问题。
7.本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
8.根据本公开的一个方面，提供一种多视角视频传输方法，应用于处理设备，包括：获取多角度阵列布置的摄像机群组采集的多组视频图像，每组所述视频图像对应于一个摄像角度；基于滑动窗口的视角数量，在所述多角度阵列中选择多个连续视角，所述滑动窗口被配置为在所述多角度阵列对应的阵列区域滑动，所述滑动窗口的视角数量小于所述多角度阵列的视角总数；基于下采样操作对所述多个连续视角的视频图像进行拼接，生成多宫格视频图像；对所述多宫格视频图像进行压缩编码处理，以将处理后的所述多宫格视频图像发送至播放设备。
9.在一个实施例中，所述滑动窗口的视角数量小于或等于窗口阈值，所述窗口阈值基于播放设备的播放分辨率、所述处理设备的传输分辨率配置和所述多宫格视频图像的拼接分辨率中的至少一项配置。
10.在一个实施例中，所述多个连续视角包括参照视角，所述基于滑动窗口的视角数
量，在所述多角度阵列中选择多个连续视角，具体包括：基于所述滑动窗口的视角数量和选取规则，在所述多角度阵列中选择所述参照视角的邻接视角，以得到所述多个连续视角。
11.在一个实施例中，在基于滑动窗口的视角数量和选取规则，在所述多角度阵列中选择所述参照视角的邻接视角之前，还包括：接收播放设备发送的视角设置指令，基于所述视角设置指令，确定对应的所述参照视角；或将所述滑动窗口的视角数量的中位数中的一个，确定为所述参照视角的序号。
12.在一个实施例中，所述基于所述滑动窗口的视角数量和选取规则，在所述多角度阵列中选择所述参照视角的邻接视角，具体包括：在所述选取规则适于选择邻接所述参照视角的两侧视角时，基于所述滑动窗口的视角数量确定第一参数和第二参数；基于所述参照视角的在所述多角度中的对应序号，与所述第一参数和/或所述第二参数之间的关系，确定所述邻接视角。
13.在一个实施例中，所述基于所述滑动窗口的视角数量确定第一参数和第二参数，具体包括：基于第一计算式计算所述第一参数；基于第二计算式计算所述第二参数，其中，所述第一计算式用于取小于或等于的最大整数，所述第二计算式用于取大于或等于的最小整数，s为所述滑动窗口的视角数量。
14.在一个实施例中，所述基于所述参照视角的在所述多角度中的对应序号，与所述第一参数和/或所述第二参数之间的关系，确定所述邻接视角，具体包括：在所述对应序号与所述第一参数的差值小于1时，基于所述滑动窗口的视角数量配置所述邻接视角的序号；在所述对应序号与所述第二参数之和大于所述多角度阵列的视角总数时，在第一数值范围内配置所述邻接视角的序号，所述第一数值范围为大于所述视角总数与所述视角数量的差值，并小于或等于所述视角总数；在所述对应序号处于其它数值范围时，在第二数值范围内配置所述邻接视角的序号，所述第二数值范围为大于或等于所述对应序号与所述第一参数的差值，并小于或等于所述对应序号与所述第二参数之和。
15.在一个实施例中，所述基于所述滑动窗口的视角数量和选取规则，在所述多角度阵列中选择所述参照视角的邻接视角，具体包括：在所述选取规则适于选择邻接所述参照视角的一侧视角时，基于所述邻接视角相对所述参照视角的预设位置和所述视角数量确定所述邻接视角。
16.在一个实施例中，所述基于所述邻接视角相对所述参照视角的预设位置和所述视角数量确定所述邻接视角，具体包括：在所述邻接视角相对所述参照视角预设于左侧时，检测所述参照视角的左侧视角数量是否满足所述滑动窗口的视角数量；若满足所述滑动窗口的视角数量，则在所述左侧视角中选择多个连续视角作为所述邻接视角；若不满足所述滑动窗口的视角数量，则基于所述滑动窗口的视角数量与所述左侧视角数量确定剩余视角数量，以选择全部的所述左侧视角与所述剩余视角数量的相邻的右侧视角。
17.在一个实施例中，所述基于所述邻接视角相对所述参照视角的预设位置和所述视角数量确定所述邻接视角，具体包括：在所述邻接视角相对所述参照视角预设于右侧时，检测所述参照视角的右侧视角数量是否满足所述滑动窗口的视角数量；若满足所述滑动窗口的视角数量，则在所述右侧视角中选择多个连续视角作为所述邻接视角；若不满足所述滑
动窗口的视角数量，则基于所述滑动窗口的视角数量与所述右侧视角数量确定剩余视角数量，以选择全部的所述右侧视角与所述剩余视角数量的相邻的左侧视角。
18.在一个实施例中，还包括：在接收到改变所述参照视角的调整指令时，基于所述调整指令确定调整后的所述参照视角，并重新配置所述滑动窗口内的视频图像视角。
19.根据本公开的另一个方面，提供一种多视角视频传输方法，应用于显示设备，包括：接收处理设备发送的多宫格视频图像；基于用户的视角选择操作确定所述多宫格视频图像中的播放视角，以基于所述播放视角进行播放。
20.在一个实施例中，在接收处理设备发送的多宫格视频图像之前，还包括：接收用户的视角选择操作；基于所述视角选择操作生成对应的视角设置指令；将所述视角设置指令发送至所述处理设备，以在接收到所述多宫格视频图像时，直接基于所述视角设置指令确定所述播放视角。
21.在一个实施例中，所述基于用户的视角选择操作确定所述多宫格视频图像中的播放视角，具体包括：显示接收到的所述多宫格视频图像；接收对所述多宫格视频图像的所述视角选择操作；基于所述视角选择操作确定所述播放视角。
22.在一个实施例中，还包括：生成视角调整区域，所述视角调整区域包括多角度阵列，以及在所述多角度阵列滑动的滑动窗口；接收用户对所述滑动窗口的调整操作，以基于所述调整操作生成对应的调整指令；将所述调整指令发送至所述处理设备，以由所述处理设备基于所述调整指令调整参照视角。
23.在一个实施例中，所述基于所述播放视角进行播放，具体包括：提取所述多宫格视频图像中与所述播放视角对应的待播放视频图像；基于播放分辨率对所述待播放视频图像进行上采样操作，生成播放视频，并显示所述播放视频。
24.根据本公开的再一个方面，提供一种多视角视频传输装置，包括：获取模块，用于获取多角度阵列布置的摄像机群组采集的多组视频图像，每组所述视频图像对应于一个摄像角度；选择模块，用于基于滑动窗口的视角数量，在所述多角度阵列中选择多个连续视角，所述滑动窗口被配置为在所述多角度阵列对应的阵列区域滑动，所述滑动窗口的视角数量小于所述多角度阵列的视角总数；拼接模块，用于基于下采样操作对所述多个连续视角的视频图像进行拼接，生成多宫格视频图像；发送模块，用于对所述多宫格视频图像进行压缩编码处理，以将处理后的所述多宫格视频图像发送至播放设备。
25.根据本公开的又一个方面，提供一种多视角视频传输装置，包括：接收模块，用于接收处理设备发送的多宫格视频图像；确定模块，用于基于用户的视角选择操作确定所述多宫格视频图像中的播放视角；提取模块，用于提取所述多宫格视频图像中与所述播放视角对应的待播放视频图像；显示模块，用于基于播放分辨率对所述待播放视频图像进行上采样操作，生成播放视频，并显示所述播放视频。
26.根据本公开的又一个方面，提供一种处理设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；所述处理器配置为经由执行所述可执行指令来执行上述第一方面的多视角视频传输方法。
27.根据本公开的又一个方面，提供一种显示设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；所述处理器配置为经由执行所述可执行指令来执行上述第二方面的多视角视频传输方法。
28.根据本公开的又一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的多视角视频传输方法。
29.本公开的实施例所提供的多视角视频传输方法和传输装置，通过设置具有一定视角数量的滑动窗口，在采集到多角度阵列布置的摄像机群组同步采集的多组视频图像时，基于滑动窗口设置的视角数量，在多角度阵列中选择多个连续视角，以对这多个连续视角的视频图像进行拼接，得到多宫格视频图像，以在进一步进行压缩编码处理后，发送至播放设备，实现了在所有的多组视频图像选择至少一部分进行拼接，滑动窗口的设置，一方面，通过合理设置滑动窗口中的视角数量，在多宫格视频图像的分辨率受限的前提下，能够保证单个下采样视角的视频图像的质量，另一方面，通过在多角度阵列对应的阵列区域滑动该滑动窗口，可以在多组视频图像中任意选择指定视角数量的多角度视频，从而不用将多角度阵列布置的角度数量设置的过少，从而能够兼顾拍摄的视角数量和视角范围。
30.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
31.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
32.图1示出相关技术中一种多视角视频传输方法流程图；
33.图2示出本公开实施例中一种多视角视频传输方法流程图；
34.图3示出本公开实施例中另一种多视角视频传输方案流程图；
35.图4示出本公开实施例中再一种多视角视频传输方法流程图；
36.图5示出本公开实施例中又一种多视角视频传输方法流程图；
37.图6示出本公开实施例中又一种多视角视频传输方法流程图；
38.图7示出本公开实施例中又一种多视角视频传输方法流程图；
39.图8示出本公开实施例中又一种多视角视频传输方法流程图；
40.图9示出本公开实施例中又一种多视角视频传输方法流程图；
41.图10示出本公开实施例中又一种多视角视频传输方法流程图；
42.图11示出本公开实施例中又一种多视角视频传输方法流程图；
43.图12示出本公开实施例中又一种多视角视频传输方法流程图；
44.图13示出本公开实施例中又一种多视角视频传输方法流程图；
45.图14示出本公开实施例中一种多视角视频传输装置示意图；
46.图15示出本公开实施例中另一种多视角视频传输装置示意图；
47.图16示出本公开实施例中一种计算机设备的结构框图；和
48.图17示出本公开实施例中一种程序产品的结构框图。
具体实施方式
49.现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形
式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
50.此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
51.本技术提供的方案，通过设置具有一定视角数量的滑动窗口，在采集到多角度阵列布置的摄像机群组同步采集的多组视频图像时，基于滑动窗口设置的视角数量，在多角度阵列中选择多个连续视角，以对这多个连续视角的视频图像进行拼接，得到多宫格视频图像，以在进一步进行压缩编码处理后，发送至播放设备，实现了在所有的多组视频图像选择至少一部分进行拼接，滑动窗口的设置，一方面，通过合理设置滑动窗口中的视角数量，在多宫格视频图像的分辨率受限的前提下，能够保证单个下采样视角的视频图像的质量，另一方面，通过在多角度阵列对应的阵列区域滑动该滑动窗口，可以在多组视频图像中任意选择指定视角数量的多角度视频，从而不用将多角度阵列布置的角度数量设置的过少，从而能够兼顾拍摄的视角数量和视角范围。
52.为了便于理解，下面首先对本技术涉及到的名词(缩写词)进行解释。
53.下采样，即缩小图像，对于一幅图像i尺寸为m*n，对其进行s倍下采样，即得到(m/s)*(n/s)尺寸的得分辨率图像，当然s应该是m和n的公约数才行，如果考虑的是矩阵形式的图像，就是把原始图像s*s窗口内的图像变成一个像素。
54.上采样，即放大图像，图像放大几乎都是采用内插值方法，即在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素。
55.为了解决上述问题，本公开提出基于灵活频谱融合实现超级频率聚变的方法。
56.下面，将结合附图及实施例对本示例实施方式中的多视角视频传输方法的各个步骤进行更详细的说明。
57.图2示出本公开实施例中一种多视角视频传输方法流程图。
58.如图2所示，根据本公开的一个实施例的多视角视频传输方法，应用于处理设备，包括以下步骤：
59.步骤s202，获取多角度阵列布置的摄像机群组采集的多组视频图像，每组视频图像对应于一个摄像角度。
60.其中，通过获取摄像机群组采集的多组视频图像，实现了摄像机群组拍摄的视频图像的同步采集。
61.步骤s204，基于滑动窗口的视角数量，在多角度阵列中选择多个连续视角，滑动窗口被配置为在多角度阵列对应的阵列区域滑动，滑动窗口的视角数量小于多角度阵列的视角总数。
62.其中，参照视角可以为基于接收到的视角设置指令确定的视角，也可以将处于滑动窗口中的中间位置的视角作为参照视角。
63.另外，滑动窗口被配置为在多角度阵列对应的阵列区域滑动，也就是说，处于滑动
视角内的多个视角，为多角度阵列中的多个连续的视角。
64.本领域的技术人员还能够理解的时，滑动窗口的视角数量可以灵活设置。
65.在一个实施例中，多个连续视角包括参照视角，基于滑动窗口的视角数量，在多角度阵列中选择多个连续视角，具体包括：基于滑动窗口的视角数量和选取规则，在多角度阵列中选择参照视角的邻接视角，以得到多个连续视角。
66.其中，参照视角的位置可以位于滑动窗口的最左端、最右端或位于滑动窗口的中间位置。
67.在该实施例中，通过设置参照视角，参照视角可以对应于视频显示设备上用户的选择视角，参照视角也可以为处理设备上初始设置的视角，确定包括参照视角的多个处于滑动窗口内的连续视角，以实现连续视角的选择。
68.具体地，在一个实施例中，在基于滑动窗口的视角数量和选取规则，在多角度阵列中选择参照视角的邻接视角之前，还包括：接收播放设备发送的视角设置指令，基于视角设置指令，确定对应的参照视角；或将滑动窗口的视角数量的中位数中的一个，确定为参照视角的序号。
69.其中，播放设备发送的视角设置指令，可以直接为通过用户的所选择的视频图像视角生成。
70.如图3所示，基于多角度阵列布置的摄像机群组的信息确定摄像机阵列，进行目标场景或物体的视频图像的采集，与摄像机阵列对应地，配置滑动缓冲窗口，作为滑动窗口，滑动窗口的视角数量为s，摄像机阵列的角度数量为n，s小于n，优选地，s小于或等于9。通过滑动窗口在摄像机阵列对应的显示区域往复滑动确定滑动窗口内的视角。
71.步骤s206，基于下采样操作对多个连续视角的视频图像进行拼接，生成多宫格视频图像。
72.其中，通过将视频图像进行下采样处理，对采集到的原始像素的视频进行下采样操作，以将原视频图像缩小至原来的1/s，s为滑动窗口的视角数量，并进一步通过拼接，得到多宫格视频图像。
73.步骤s208，对多宫格视频图像进行压缩编码处理，以将处理后的多宫格视频图像发送至播放设备。
74.其中，通过对多宫格视频图像进行压缩编码处理，以保证多宫格视频图像的可靠传输。
75.在本公开中，压缩编码具体为可逆的压缩编码处理。
76.在该实施例中，通过设置具有一定视角数量的滑动窗口，在采集到多角度阵列布置的摄像机群组同步采集的多组视频图像时，基于滑动窗口设置的视角数量，在多角度阵列中选择多个连续视角，以对这多个连续视角的视频图像进行拼接，得到多宫格视频图像，以在进一步进行压缩编码处理后，发送至播放设备，实现了在所有的多组视频图像选择至少一部分进行拼接，滑动窗口的设置，一方面，通过合理设置滑动窗口中的视角数量，在多宫格视频图像的分辨率受限的前提下，能够提升单个下采样视角的视频图像的质量，另一方面，通过在多角度阵列对应的阵列区域滑动该滑动窗口，可以在多组视频图像中任意选择指定视角数量的多角度视频，全部角度的视频图像均能够被选择，并进行拼接传输，从而不用将多角度阵列布置的角度数量设置的过少，从而能够兼顾拍摄的视角数量和视角范
围，再一方面，原始采集到的多组视频图像数据量大、如果全部同步传输至显示设备，处理量大，计算和传输成本高、本公开中采用小于原始数量的滑动窗口，进行图像拼接，可部署在5g边缘计算节点，有利于提升传输的实时性。
77.具体地，作为一种优选的实现方式，参照视角基于用户选择的视角确定，多宫格视频图像的拼接分辨率为4k，将所要传输的视频数据构造一个自适应滑动窗口，根据用户当前视角自适应选取与当前视角相邻的多个连续视角的数据存放到滑动窗口，再拼接窗口内的多个视角数据生成多宫格的4k视频，这样不需要拼接采集到的所有视角的视频图像，在进行下采样时能够保证拼接视频图像中单视角视频图像的像素仍处于较好的显示质量，从而的节省的像素可提升窗口范围内视角的视频质量。
78.进一步地，由于参照视角可以基于播放设备发送的视角设置指令确定，即滑动窗口能够实时响应显示设备发送的基于用户操作生成的视角设置指令，因此不会影响用户全局的视角数量，并且基于调整指令，可以以全局视角中的任意视角作为参照视角进行滑动窗口的选取，因此，在播放分辨率或传输分辨率确定的前提下，有效改善了相关技术中由于4k分辨率有限导致的采集视角数量较少的问题。
79.在一个实施例中，滑动窗口的视角数量小于或等于窗口阈值，窗口阈值基于播放设备的播放分辨率、处理设备的传输分辨率配置和多宫格视频图像的拼接分辨率中的至少一项配置。
80.其中，播放设备的播放分辨率可以预先发送至处理设备，也可以由处理设备基于行业限定的播放分辨率确定。
81.如图4所示，在一个实施例中，步骤s204中，基于滑动窗口的视角数量和选取规则，在多角度阵列中选择参照视角的邻接视角的一种具体实现方式，包括：
82.步骤s402，在选取规则适于选择邻接参照视角的两侧视角时，基于滑动窗口的视角数量确定第一参数和第二参数。
83.其中，选取规则适于选择邻接参照视角的两侧视角，具体为以参照视角为中心，邻接视角均不在参照视角的两侧。
84.步骤s404，基于参照视角的在多角度中的对应序号，与第一参数和/或第二参数之间的关系，确定邻接视角。
85.其中，设s为滑动窗口的视角数量，d为参照视角的序号，n为采集到的全部视角的总数，
△
l为第一参数，
△
r为第二参数。
86.在该实施例中，通过基于滑动窗口的视角数量确定第一参数和第二参数，从而能够在确定参照视角的序号后，基于参照视角的序号与第一参数和/或第二参数的关系，确定滑动窗口内的其它邻接视角，以保证滑动窗口内不同视角的合理布设。
87.如图5所示，在一个实施例中，步骤s402中，基于滑动窗口的视角数量确定第一参数和第二参数，具体包括：
88.步骤s502，基于第一计算式计算第一参数。
89.步骤s504，基于第二计算式计算第二参数。
90.其中，第一计算式用于取小于或等于的最大整数，第二计算式用于取大于或等
于的最小整数，s为滑动窗口的视角数量。
91.具体地，第一计算式为即取小于等于符号内数的最大整数，第二计算式为即取大于等于符号内数的最小整数。
92.在一个实施例中，基于参照视角的在多角度中的对应序号，与第一参数和/或第二参数之间的关系，确定邻接视角，具体包括：
93.步骤s506，在对应序号与第一参数的差值小于1时，基于滑动窗口的视角数量配置邻接视角的序号。
94.步骤s508，在对应序号与第二参数之和大于多角度阵列的视角总数时，在第一数值范围内配置邻接视角的序号，第一数值范围为大于视角总数与视角数量的差值，并小于或等于视角总数。
95.步骤s510，在对应序号处于其它数值范围时，在第二数值范围内配置邻接视角的序号，第二数值范围为大于或等于对应序号与第一参数的差值，并小于或等于对应序号与第二参数之和。
96.具体地，基于下式确定滑动窗口内的视角的序号。
[0097][0098]
其中，di为滑动窗口内的视角标识，i为对应的视角的序号。
[0099]
在该实施例中，在确定参照视角后，基于参照视角的序号和第一参数，以及第二参数之间的关系，确定参照视角邻接的其它视角，一方面，能够保证滑动窗口内为多个连续的视角的视频图像，从而便于用户选择期望观看的视角，另一方面，通过充分考虑参照视角的序号所处的序号范围，能够保证滑动窗口的视角选择的可靠性，尤其能够防止参照视角处于两端时产生选取异常。
[0100]
在一个实施例中，步骤s204中，基于滑动窗口的视角数量和选取规则，在多角度阵列中选择参照视角的邻接视角的另一种具体实现方式，包括：
[0101]
在选取规则适于选择邻接参照视角的一侧视角时，基于邻接视角相对参照视角的预设位置和视角数量确定邻接视角。
[0102]
如图6所示，在一个实施例中，基于邻接视角相对参照视角的预设位置和视角数量确定邻接视角，具体包括：
[0103]
步骤s602，在邻接视角相对参照视角预设于左侧时，检测参照视角的左侧视角数量是否满足滑动窗口的视角数量。
[0104]
步骤s604，若满足滑动窗口的视角数量，则在左侧视角中选择多个连续视角作为邻接视角。
[0105]
步骤s606，若不满足滑动窗口的视角数量，则基于滑动窗口的视角数量与左侧视角数量确定剩余视角数量，以选择全部的左侧视角与剩余视角数量的相邻的右侧视角。
[0106]
如图7所示，在一个实施例中，基于邻接视角相对参照视角的预设位置和视角数量确定邻接视角，具体包括：
[0107]
步骤s702，在邻接视角相对参照视角预设于右侧时，检测参照视角的右侧视角数量是否满足滑动窗口的视角数量。
[0108]
步骤s704，若满足滑动窗口的视角数量，则在右侧视角中选择多个连续视角作为邻接视角。
[0109]
步骤s706，若不满足滑动窗口的视角数量，则基于滑动窗口的视角数量与右侧视角数量确定剩余视角数量，以选择全部的右侧视角与剩余视角数量的相邻的左侧视角。
[0110]
在该实施例中，还可以将从参照视角作为滑动窗口的端部的参考视角，也就是说，将参照视角的序号置于滑动窗口的最左端或最右端，假设置于最左端，如果右侧相邻的视角数量满足剩余视角数量，则确定将参照视角置于最左端，如果不满足，则在相邻的右侧补全不够的部分，参照视角右移，假设置于最右端，则与最左端设置的方式相反，该方式也能够得到多个连续可靠的视角。
[0111]
在一个实施例中，还包括：在接收到改变参照视角的调整指令时，基于调整指令确定调整后的参照视角，并重新配置滑动窗口内的视频图像视角。
[0112]
在该实施例中，通过与显示设备之间的交互，能够解析显示设备发送的指令，在指令为调整指令时，基于调整指令确定对应的播放视角，作为参照视角，基于上述邻接视角的选取方式，选取与调整后的参照视角最相邻的视角到滑动窗口，其中，滑动窗口的视角数量和视角范围均可动态调节。
[0113]
进一步地，通过拼接滑动窗口内的视角对应的视频图像，生成多宫格视频图像，一方面，无需拼接所有视角的视频图像，另一方面，用户如果需要查看其它视角的视频图像时，通过上述的显示设备发送调整指令即可。
[0114]
处理设备接收到调整指令后，通过调整参照视角的参数实现参照视角的调整，参照视角调整后，滑动窗口的邻接视角也随之调整。
[0115]
再进一步低，在显示设备端，用户单次操作的视角切换范围可以限定在当前滑动窗口内，但滑动窗口动态更新，并不影响用户的全局视角范围。
[0116]
如图8所示，根据本公开的另一个实施例的多视角视频传输方法，应用于显示设备，包括：
[0117]
步骤s802，接收处理设备发送的多宫格视频图像。
[0118]
步骤s804，基于用户的视角选择操作确定多宫格视频图像中的播放视角。
[0119]
其中，用户对多宫格视频图像中的视角选择操作可以在接收到多宫格视频图像之前实施，也可以在接收到多宫格视频图像之后实施，在接收到多宫格视频图像之前实施时，对应向处理设备发送生成的视角设置指令。
[0120]
步骤s806，提取多宫格视频图像中与播放视角对应的待播放视频图像。
[0121]
步骤s808，基于播放分辨率对待播放视频图像进行上采样操作，生成播放视频，并显示播放视频。
[0122]
在该实施例中，通过在处理设备端设置具有一定视角数量的滑动窗口，在采集到多角度阵列布置的摄像机群组同步采集的多组视频图像时，基于滑动窗口设置的视角数量，在多角度阵列中选择多个连续视角，以对这多个连续视角的视频图像进行拼接，得到多
宫格视频图像，显示设备接收多宫格视频图像，通过用户的视角选择操作，即可基于用户的选择确定播放视角进行视频播放，该多宫格视频图像，在保证拼接图像的分辨率的同时，也能够保证拼接视频图像中单个视角视频图像的显示质量。
[0123]
根据本公开的多视角视频传输方案，一方面，根据用户操作，自适应选取与当前视角最相邻的多个连续视角的数据存放到滑动窗口，再拼接窗口内多个视角数据成多宫格4k视频，而无需拼接所有视角的视频图像；另一方面，节省的像素可提升窗口范围内视角的分辨率，在限定的传输分辨率下，可提升视角的视频质量；再一方面，滑动窗口实时响应用户操作，并不影响用户全局的视角范围，不限制总的视角数量，利于扩大视角范围、减小视角差。
[0124]
如图9所示，根据本公开的再一个实施例的多视角视频传输方法，应用于显示设备，包括：
[0125]
步骤s902，接收用户的视角选择操作。
[0126]
步骤s904，基于视角选择操作生成对应的视角设置指令。
[0127]
步骤s906，将视角设置指令发送至处理设备。
[0128]
步骤s908，在接收到多宫格视频图像时，直接基于视角设置指令确定播放视角。
[0129]
在该实施例中，显示设备在接收到多宫格视频图像之前，即可接收用户的视角选择操作，并生成对应的视角设置指令，将视角设置指令发送至处理设备，处理设备即可根据视角设置指令设置参照视角，并进一步基于参照视角确定邻接视角，并拼接成多宫格视频图像，在接收到多宫格视频图像时，可以自动基于之前生成的视角设置指令确定播放视角，以基于播放视角播放视频，这样可以简化用户的操作步骤。
[0130]
如图10所示，根据本公开的再一个实施例的多视角视频传输方法，应用于显示设备，包括：
[0131]
步骤s1002，接收处理设备发送的多宫格视频图像。
[0132]
其中，多宫格视频图像的生成可以基于预先发送的参照视角的设置指令，也可以基于处理设备自动选取的参照视角。
[0133]
步骤s1004，显示接收到的多宫格视频图像。
[0134]
步骤s1006，接收对多宫格视频图像的视角选择操作。
[0135]
步骤s1008，基于视角选择操作确定播放视角。
[0136]
在该实施例中，在接收到多宫格视频图像后，在接收用户对多宫格视频图像的视角选择操作，该方式使播放视角的选择可靠性更高。
[0137]
如图11所示，在一个实施例中，还包括：
[0138]
步骤s1102，生成视角调整区域，视角调整区域包括多角度阵列，以及在多角度阵列滑动的滑动窗口。
[0139]
步骤s1104，接收用户对滑动窗口的调整操作，以基于调整操作生成对应的调整指令。
[0140]
步骤s1106，将调整指令发送至处理设备，以由处理设备基于调整指令调整参照视角。
[0141]
在该实施例中，通过生成对滑动窗口的调整操作，用户如果需要查看其它视角的视频图像时，通过发送调整指令即可，这样，在处理设备端无需拼接所有视角的视频图像，
只需要选择愿意查看的部分视角生成的多宫格视频图像即可，并可随时进行切换。
[0142]
另外，本领域的技术人员能够理解的是，本公开的多视角视频传输方案，应用于摄像机、处理设备和显示设备交互的系统中，该系统能够实现多角度视频图像的实时直播。
[0143]
具体地，在自由视角技术应用中，在显示设备端，生成视角调整区域，支持用户自由拖动改变视角，可多角度观看视频内容，突破了传统视频观看视角受限、缺乏可操作性的问题，可用于赛事直播、综艺直播等场景。进而能够实现在带宽和设备解码能力有限的情况下，可提高自由视角技术的视频质量；以及在不限制采集到的视角数量的前提下，利于扩大自由视角技术的视角范围、减小视角差。
[0144]
如图12所示，根据本公开的多角度视频传输系统，包括采集模块1202、拼接模块1204以及交互及播放模块1206，其中，采集模块具体为摄像机群组，拼接模块具体为处理设备，交互及播放模块具体为显示设备。
[0145]
其中，采集模块1202用于采集摄像机阵列的多角度视频图像并进行同步；
[0146]
拼接模块1204具体用于：
[0147]
(1)解析交互及播放模块1206发送的指令，确定当前的参照视角并作为播放视角。
[0148]
(2)根据参照视角确定滑动窗口内的其它邻接视角，窗口的视角数量和范围可以动态调整。
[0149]
(3)将滑动窗口内的视角拼接多宫格的视频图像；如图3所示，当前视角d7、窗口尺寸9，无论布置多少个视角，总是选取与当前视角最相邻的9个视角到滑动窗口并拼接。
[0150]
交互及播放模块1206具体用于：
[0151]
(1)接收拼接后的多视角视频及向拼接模块发送视角调整指令，并截取博播放视角的视频图像并播放。
[0152]
(2)获取用户调整视角的操作信息，检测到视角改变后，下发带有调整后的视角参数的调整指令给拼接模块。
[0153]
(3)限定用户单次操作的视角切换范围在当前滑动窗口内，由于滑动窗口动态更新，并不影响用户的全局视角范围。
[0154]
如图13所示，结合图12，根据本公开的多视角视频传输方案，具体包括：
[0155]
步骤s1302，拼接模块设定滑动窗口。
[0156]
其中，设窗口尺寸即滑动窗口内的视角数量s，视角总数为n(编号1,2,
…
,n)。
[0157]
步骤s1304，采集模块采集摄像头阵列n个视角的多组视频图像，并同步传输至拼接模块。
[0158]
步骤s1306，拼接模块接收采集模块同步采集的多个视角的多组视频图像，并确定当前滑动窗口内的多个连续视角。
[0159]
具体地，设d为参照视角的序号，并选取与d最相邻的s-1个视角置于滑动窗口内。
[0160]
其中，在初始时，滑动窗口取视角[1，s]，d可取s的中位数，也可按中位视角确定滑动窗口的初始视角范围，若视角更新，根据当前视角参数d，按照下式确定滑动窗口内的视角di，δl、δr的值与窗口中位数相关，两者可互换。
[0161]
另外，参照视角的序号d也可以通过交互及播放模块确定。
[0162][0163]
其中，di为滑动窗口内的视角标识，i为对应的视角的序号，为滑动窗口内的视角标识，i为对应的视角的序号，
[0164]
步骤s1308，拼接模块通过下采样操作将滑动窗口内的多个视角的视频图像进行拼接，生成多宫格视频图像。
[0165]
具体地，下采样滑动窗口内各视角的视频图像到指定分辨率(该值由s与传输分辨率决定，如4k和9视角滑动窗口，对应720p)，拼接下采样后的视频图像形成一张大的多宫格视频图像，进行压缩编码并传输给交互及播放模块显示。
[0166]
步骤s1310，交互及播放模块接收拼接模块的多视角视频流和视角范围参数，确定当前播放视角。
[0167]
步骤s1312，交互及播放模块从多宫格视频图像中截取当前播放视角的视频图像，通过上采样变换到设备设定的分辨率播放。
[0168]
步骤s1314，交互及播放模块监听用户操作，若用户拖动切换了当前播放视角，生成调整指令，发送调整指令到拼接模块。
[0169]
具体地，用户可左右拖动改变视角，视角范围限定在当前的滑动窗口内。
[0170]
步骤s1316，拼接模块监听交互及播放模块发送的指令，收到调整指令，返回步骤s1306，重新确定当前滑动窗口内的多个连续视角。
[0171]
需要注意的是，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
[0172]
下面参照图14来描述根据本发明的实施方式的多视角视频传输装置1400。图14所示的多视角视频传输装置1400仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0173]
多视角视频传输装置1400以硬件模块的形式表现。多视角视频传输装置1400的组件可以包括但不限于：获取模块1402，用于获取多角度阵列布置的摄像机群组采集的多组视频图像，每组视频图像对应于一个摄像角度；选择模块1404，用于基于滑动窗口的视角数量，在多角度阵列中选择多个连续视角，滑动窗口被配置为在多角度阵列对应的阵列区域滑动，滑动窗口的视角数量小于多角度阵列的视角总数；拼接模块1406，用于基于下采样操作对多个连续视角的视频图像进行拼接，生成多宫格视频图像；发送模块1408，用于对多宫格视频图像进行压缩编码处理，以将处理后的多宫格视频图像发送至播放设备。
[0174]
在一个实施例中，滑动窗口的视角数量小于或等于窗口阈值，窗口阈值基于播放设备的播放分辨率、处理设备的传输分辨率配置和多宫格视频图像的拼接分辨率中的至少一项配置。
[0175]
在一个实施例中，多个连续视角包括参照视角，选择模块1404还用于：基于滑动窗
口的视角数量和选取规则，在多角度阵列中选择参照视角的邻接视角，以得到多个连续视角。
[0176]
在一个实施例中，还包括：接收模块1410，用于接收播放设备发送的视角设置指令，基于视角设置指令，确定对应的参照视角；或确定模块1412，用于将滑动窗口的视角数量的中位数中的一个，确定为参照视角的序号。
[0177]
在一个实施例中，选择模块1404还用于：在选取规则适于选择邻接参照视角的两侧视角时，基于滑动窗口的视角数量确定第一参数和第二参数；基于参照视角的在多角度中的对应序号，与第一参数和/或第二参数之间的关系，确定邻接视角。
[0178]
在一个实施例中，选择模块1404还用于：基于第一计算式计算第一参数；基于第二计算式计算第二参数，其中，第一计算式用于取小于或等于的最大整数，第二计算式用于取大于或等于的最小整数，s为滑动窗口的视角数量。
[0179]
在一个实施例中，选择模块1404还用于：在对应序号与第一参数的差值小于1时，基于滑动窗口的视角数量配置邻接视角的序号；在对应序号与第二参数之和大于多角度阵列的视角总数时，在第一数值范围内配置邻接视角的序号，第一数值范围为大于视角总数与视角数量的差值，并小于或等于视角总数；在对应序号处于其它数值范围时，在第二数值范围内配置邻接视角的序号，第二数值范围为大于或等于对应序号与第一参数的差值，并小于或等于对应序号与第二参数之和。
[0180]
在一个实施例中，选择模块1404还用于：在选取规则适于选择邻接参照视角的一侧视角时，基于邻接视角相对参照视角的预设位置和视角数量确定邻接视角。
[0181]
在一个实施例中，选择模块1404还用于：在邻接视角相对参照视角预设于左侧时，检测参照视角的左侧视角数量是否满足滑动窗口的视角数量；若满足滑动窗口的视角数量，则在左侧视角中选择多个连续视角作为邻接视角；若不满足滑动窗口的视角数量，则基于滑动窗口的视角数量与左侧视角数量确定剩余视角数量，以选择全部的左侧视角与剩余视角数量的相邻的右侧视角。
[0182]
在一个实施例中，选择模块1404还用于：在邻接视角相对参照视角预设于右侧时，检测参照视角的右侧视角数量是否满足滑动窗口的视角数量；若满足滑动窗口的视角数量，则在右侧视角中选择多个连续视角作为邻接视角；若不满足滑动窗口的视角数量，则基于滑动窗口的视角数量与右侧视角数量确定剩余视角数量，以选择全部的右侧视角与剩余视角数量的相邻的左侧视角。
[0183]
在一个实施例中，还包括：调整模块1414，用于在接收到改变参照视角的调整指令时，基于调整指令确定调整后的参照视角，并重新配置滑动窗口内的视频图像视角。
[0184]
下面参照图15来描述根据本发明的实施方式的多视角视频传输装置1500。图15所示的多视角视频传输装置1500仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0185]
多视角视频传输装置1500以硬件模块的形式表现。多视角视频传输装置1500的组件可以包括但不限于：接收模块1502，用于接收处理设备发送的多宫格视频图像；确定模块1504，用于基于用户的视角选择操作确定多宫格视频图像中的播放视角，以基于播放视角
进行播放。
[0186]
在一个实施例中，在接收处理设备发送的多宫格视频图像之前，还包括：接收模块1502还用于：接收用户的视角选择操作；第一生成模块1506，用于基于视角选择操作生成对应的视角设置指令；发送模块1508，用于将视角设置指令发送至处理设备，以在接收到多宫格视频图像时，直接基于视角设置指令确定播放视角。
[0187]
在一个实施例中，确定模块1504还用于：显示接收到的多宫格视频图像；接收对多宫格视频图像的视角选择操作；基于视角选择操作确定播放视角。
[0188]
在一个实施例中，还包括：第二生成模块1510，用于生成视角调整区域，视角调整区域包括多角度阵列，以及在多角度阵列滑动的滑动窗口；接收模块1506还用于：接收用户对滑动窗口的调整操作，以基于调整操作生成对应的调整指令；发送模块1508还用于：将调整指令发送至处理设备，以由处理设备基于调整指令调整参照视角。
[0189]
在一个实施例中，还包括：提取模块1512，用于提取多宫格视频图像中与播放视角对应的待播放视频图像；播放模块1514，用于基于播放分辨率对待播放视频图像进行上采样操作，生成播放视频，并显示播放视频。
[0190]
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
[0191]
下面参照图16来描述根据本发明的这种实施方式的计算机设备1600。图16显示的计算机设备1600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0192]
如图16所示，计算机设备1600以通用计算设备的形式表现。计算机设备1600的组件可以包括但不限于：上述至少一个处理单元1610、上述至少一个存储单元1620、连接不同系统组件(包括存储单元1620和处理单元1610)的总线1630。
[0193]
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元1610执行，使得所述处理单元1610执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元1610可以执行如图2中所示的步骤s202至步骤s208所描述的方案。
[0194]
存储单元1620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)16201和/或高速缓存存储单元16202，还可以进一步包括只读存储单元(rom)16203。
[0195]
存储单元1620还可以包括具有一组(至少一个)程序模块16205的程序/实用工具16204，这样的程序模块16205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
[0196]
总线1630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
[0197]
计算机设备1600也可以与一个或多个外部设备1670(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该计算机设备1600交互的设备通信，和/或与使得该计算机设备1600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口1650进行。并且，计算机
设备1600还可以通过网络适配器1660与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器1660通过总线1630与计算机设备1600的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备1600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
[0198]
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
[0199]
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
[0200]
参考图17所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品1700，其可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0201]
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0202]
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
[0203]
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。
[0204]
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、c 等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远
程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
[0205]
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
[0206]
此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
[0207]
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。
[0208]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。