视频数据处理方法、解码设备、编码设备及存储介质与流程

1.本技术涉及视频数据处理技术领域，尤其涉及一种多视点视频数据处理方法、解码设备、编码设备及存储介质。


背景技术：

2.自由视点技术是一种实现自由视角观看视频的技术。目前的应用自由视点技术的自由视点应用可以允许观看者在一定范围内以连续视点的形式观看视频。观看者可以设定视点的位置、角度，而不再局限于只能观看一个固定的摄像机视角拍摄的视频，实现了360
°
自由视角观看视频。
3.目前的自由视点应用往往使用空域拼接方法将多个视点的单路视频拼接在一起，当用户在自由视点应用端的进行视点切换时，自由视点应用通过拼接在一起的多个视点的单路视频为用户显示所切换视点对应的单路视频。但是，使用空域拼接方法对多个视点的单路视频拼接之后，导致各个视点的单路视频的分辨率下降，从而造成自由视点应用显示所需的画面分辨率不足，导致最终生成的视点画面分辨率不高。


技术实现要素：

4.本技术实施例通过提供一种多视点视频数据处理方法、解码设备、编码设备及存储介质，旨在解决使用空域拼接方法对多个视点的单路视频拼接之后，导致自由视点应用显示所需的画面分辨率不足，进而导致最终生成的视点画面分辨率下降的技术问题。
5.本技术实施例提供了一种应用于解码设备的多视点视频数据处理方法，所述多视点视频数据处理方法，包括：
6.接收到显示设备发送的视点生成显示指令时，根据所述视点生成显示指令获取所述显示设备的当前视点；
7.将由所述当前视点对应的传输路径接收到的图像帧序列的视频帧中截取生成所述当前视点的图像所需的图像，并将所述生成所述当前视点的图像所需的图像发送至所述显示设备以生成当前视点画面；
8.在接收到所述显示设备发送的视点切换指令时，获取所述视点切换指令对应的目标视点，并从所述当前视点对应的传输路径接收到的所述图像帧序列的视频帧中截取生成所述目标视点的图像所需的图像，将所述生成所述目标视点的图像所需的图像发送至所述显示设备以生成目标视点画面；
9.在满足切换条件时，将由所述目标视点对应的传输路径接收到的图像帧序列的视频帧中截取生成所述目标视点的图像所需的图像，并将所述生成所述目标视点的图像所需的图像发送至所述显示设备以生成所述目标视点的图像。
10.在一实施例中，从所述当前视点对应的传输路径接收到的所述图像帧序列的视频帧中截取生成所述目标视点的图像所需的图像的步骤包括：
11.获取所述目标视点对应的视点标识以及所述视频帧的排布信息；
12.根据所述排布信息以及所述视点标识确定所述生成所述目标视点的图像所需的图像在所述视频帧中的位置信息；
13.在由所述当前视点对应的传输路径接收到的所述图像帧序列的视频帧中截取生成所述位置信息对应的目标视点的图像所需的图像。
14.在一实施例中，所述生成所述当前视点的图像所需的图像以及所述生成所述目标视点的图像所需的图像均包括视点画面或者视点深度图画面中的至少一个，且所述当前视点对应的画面的分辨率大于所述目标视点对应的画面的分辨率。
15.在一实施例中，所述切换条件包括以下至少一个：
16.当前显示的图像对应的视频帧的时间戳与所述目标视点对应的传输路径中的视频帧的时间戳相同；
17.所述从所述当前视点对应的传输路径接收到的所述图像帧序列的视频帧的时间戳达到预设时间点。
18.本技术实施例提供了一种应用于编码设备的多视点视频数据处理方法，所述多视点视频数据处理方法，包括：
19.获取各个摄像机拍摄的各个视点的图像，不同摄像机拍摄不同视点对应的图像，其中，将每个视点作为主视点生成第一图像，并将所述主视点之外的视点作为所述主视点对应的从视点生成所述从视点的第二图像，所述图像包括视点画面或者视点深度图画面中的至少一个；
20.将每个主视点对应的第一图像以及所述主视点对应的从视点的第二图像进行拼接得到主视点对应的视频帧，并根据拍摄时间对拼接后的所述主视点对应的视频帧进行编码以生成对应的图像帧序列，其中，所述第一图像的分辨率大于所述第二图像的分辨率；
21.在解码设备接收到显示设备发送的视点生成显示指令时，根据所述视点生成显示指令获取所述显示设备的当前视点之后，将所述当前视点对应的图像帧序列由所述当前视点对应的传输路径传输至解码设备。
22.在一实施例中，所述将每个主视点对应的第一图像以及所述主视点对应的从视点的第二图像进行拼接得到主视点对应的视频帧，并根据拍摄时间对拼接后的所述主视点对应的视频帧进行编码以生成对应的图像帧序列的步骤包括：
23.将每个主视点对应的第一图像以及所述主视点对应的从视点的第二图像进行拼接得到主视点对应的视频帧；
24.按照拍摄时间将所述主视点对应的视频帧进行排序，生成拼接图像序列；
25.对所述拼接图像序列进行编码以得到每个所述主视点对应的图像帧序列，其中，将每个所述主视点对应的图像帧序列中的第一帧图像编码为i帧。
26.在一实施例中，所述对所述拼接图像序列进行编码以得到每个所述主视点对应的图像帧序列的步骤包括：
27.获取所述主视点对应的视频帧的排布信息，所述排布信息至少包括各个所述视点的视点标识和各个所述视点的图像在主视点对应的视频帧中的位置信息；
28.对所述拼接图像序列进行编码，并将所述排布信息插入编码后的所述拼接图像序列的序列头中以得到所述主视点对应的图像帧序列。
29.此外，为实现上述目的，本技术还提供了一种解码设备，所述解码设备包括：
30.第一接收模块，用于接收到显示设备发送的视点生成显示指令时，根据所述视点生成显示指令获取所述显示设备的当前视点；
31.第一发送模块，用于将由所述当前视点对应的传输路径接收到的图像帧序列的视频帧中截取所述当前视点的图像，并将所述当前视点的图像发送至所述显示设备以生成当前视点画面；
32.第二接收模块，用于在接收到所述显示设备发送的视点切换指令时，获取所述视点切换指令对应的目标视点，并从所述当前视点对应的传输路径接收到的所述图像帧序列的视频帧中截取生成所述目标视点的图像所需的图像，将所述生成所述目标视点的图像所需的图像发送至所述显示设备以生成目标视点画面，其中，所述生成所述当前视点的图像所需的图像以及所述生成所述目标视点的图像所需的图像均包括视点画面或者视点深度图画面中的至少一个，且所述当前视点对应的画面的分辨率大于所述目标视点对应的画面的分辨率；
33.第二发送模块，用于在满足切换条件时，将由所述目标视点对应的传输路径接收到的图像帧序列的视频帧中截取生成所述目标视点的图像所需的图像，并将所述生成所述目标视点的图像所需的图像发送至所述显示设备以生成当前视点画面。
34.此外，为实现上述目的，本技术还提供了一种编码设备，所述编码设备包括：
35.图像获取模块，用于获取各个摄像机拍摄的各个视点的图像，不同摄像机拍摄不同视点对应的图像，其中，将每个视点作为主视点生成第一图像，并将所述主视点之外的视点作为所述主视点对应的从视点生成所述从视点的第二图像，所述图像包括视点画面或者视点深度图画面中的至少一个；
36.拼接编码模块，用于将每个主视点对应的第一图像以及所述主视点对应的从视点的第二图像进行拼接得到主视点对应的视频帧，并根据拍摄时间对拼接后的所述主视点对应的视频帧进行编码以生成对应的图像帧序列，其中，所述第一图像的分辨率大于所述第二图像的分辨率；
37.数据传输模块，用于在解码设备接收到显示设备发送的视点生成显示指令时，根据所述视点生成显示指令获取所述显示设备的当前视点之后，将所述当前视点对应的图像帧序列由所述当前视点对应的传输路径传输至解码设备。
38.此外，为实现上述目的，本技术还提供了一种智能设备，所述智能设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的多视点视频数据处理程序，所述多视点视频数据处理程序被所述处理器执行时实现上述的多视点视频数据处理方法的步骤。
39.此外，为实现上述目的，本技术还提供了一种存储介质，所述存储介质存储有多视点视频数据处理程序，所述多视点视频数据处理程序被处理器执行时实现上述的多视点视频数据处理方法的步骤。
40.本技术实施例中提供的一种多视点视频数据处理方法、解码设备、编码设备及存储介质的技术方案，至少具有如下技术效果或优点：
41.由于采用了接收到显示设备发送的视点生成显示指令时，根据所述视点生成显示指令获取所述显示设备的当前视点；将由所述当前视点对应的传输路径接收到的图像帧序列的视频帧中截取生成所述当前视点的图像所需的图像，并将所述生成所述当前视点的图
像所需的图像发送至所述显示设备以生成当前视点画面；在接收到所述显示设备发送的视点切换指令时，获取所述视点切换指令对应的目标视点，并从所述当前视点对应的传输路径接收到的所述图像帧序列的视频帧中截取生成所述目标视点的图像所需的图像，将所述生成所述目标视点的图像所需的图像发送至所述显示设备以生成目标视点画面；在满足切换条件时，将由所述目标视点对应的传输路径接收到的图像帧序列的视频帧中截取生成所述目标视点的图像所需的图像，并将所述生成所述目标视点的图像所需的图像发送至所述显示设备以生成所述目标视点的图像技术方案，解决了使用空域拼接方法对多个视点的单路视频拼接之后，导致自由视点应用显示所需的画面分辨率不足，进而导致最终生成的视点画面分辨率下降的技术问题，提高视点画面的显示效果。
附图说明
42.图1为本技术多视点视频数据处理方法第一实施例的流程示意图；
43.图2为本技术多视点视频数据处理方法第二实施例的流程示意图；
44.图3为本技术多视点视频数据处理方法第三实施例的流程示意图；
45.图4为本技术多视点视频数据处理方法第四实施例的流程示意图；
46.图5为本技术多视点视频数据处理方法第五实施例的流程示意图；
47.图6为本技术视频帧切换的示意图；
48.图7为本技术视频帧排布方式的示意图；
49.图8为本技术解码设备中多视点视频数据的流程示意图；
50.图9为本技术编码设备中多视点视频数据的流程示意图。
51.本技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明，上述附图只是一个实施例图，而不是发明的全部。
具体实施方式
52.为了更好的理解上述技术方案，下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
53.本技术实施例提供了多视点视频数据处理方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
54.如图1所示，在本技术的第一实施例中，本技术的多视点视频数据处理方法，包括以下步骤：
55.步骤s110，接收到显示设备发送的视点生成显示指令时，根据所述视点生成显示指令获取所述显示设备的当前视点；
56.步骤s120，将由所述当前视点对应的传输路径接收到的图像帧序列的视频帧中截取生成所述当前视点的图像所需的图像，并将所述生成所述当前视点的图像所需的图像发送至所述显示设备以生成当前视点画面；
57.步骤s130，在接收到所述显示设备发送的视点切换指令时，获取所述视点切换指
令对应的目标视点，并从所述当前视点对应的传输路径接收到的所述图像帧序列的视频帧中截取生成所述目标视点的图像所需的图像，将所述生成所述目标视点的图像所需的图像发送至所述显示设备以生成目标视点画面；
58.步骤s140，在满足切换条件时，将由所述目标视点对应的传输路径接收到的图像帧序列的视频帧中截取生成所述目标视点的图像所需的图像，并将所述生成所述目标视点的图像所需的图像发送至所述显示设备以生成所述目标视点的图像。
59.在本实施例中，自由视点应用允许观看者在一定范围内以连续视点的形式观看视频，观看者可以设定视点的位置、角度，而不再局限于一个固定的摄像机视角，该应用往往需要多个摄像机同时拍摄，同时生成多个视点的视频画面，在直播观看的应用场景下，实时从当前视点对应的视频帧中截取当前视点对应的图像进行观看；在点播观看的应用场景下时，从图像帧序列中获取当前时刻所述当前视点对应的视频帧中截取当前视点对应的图像进行观看；本技术为解决现有技术中存在的使用空域拼接方法对多个视点的单路视频拼接之后，导致自由视点应用显示的各个视点的单路视频的分辨率下降的技术问题，本技术设计了一种多视点视频数据处理方法，该方法在保证自由视点能够零延迟切换的同时，对于长时间观看的主视点，又能提供较高的画面分辨率。
60.在本实施例中，本技术可部署多台摄像机，通过将不同摄像机采集的图像进行拼接，每个摄像机采集的图像即为一个视点对应的图像，将其中一个视点作为主视点，其他视点作为从视点，在每个传输路径中传输的视频帧均为该传输路径对应的主视点与除主视点之外的其他从视点拼接后得到的图像进行编码得到的视频帧，即视频帧主要是通过主视点和从视点的图像拼接得到，且所述主视点对应的图像的分辨率大于所述从视点对应的图像的分辨率。
61.在本实施例中，所述当前视点为主视点，解码设备在接收到显示设备发送的视点生成显示指令时，根据所述视点生成显示指令获取显示设备的当前视点，具体的，所述解码设备对所述视点生成显示指令进行解析以获取所述视点生成显示指令对应的所述显示设备的当前视点；在获取到所述显示设备的当前视点后，从所述当前视点对应的传输路径接收到的图像帧序列的视频帧中截取生成所述当前视点的图像所需的图像，并将所述生成所述当前视点的图像所需的图像发送至所述显示设备上以生成当前视点画面，实现当前观看的视频画面为高分辨率画面；
62.在本实施例中，具体的，在得到截取生成所述当前视点的图像所需的图像之前，需要确定所述当前视点对应的传输路径接收到的图像帧序列的视频帧中各个视点的排布方式，所述视频帧中各个视点按照预设的排布方式进行排布，采用所述排布方式可将图7中p1-p10视点对应的图像拼接到同一个视频帧中，并生成所述视频帧中每个视点的排布信息，每个视点的排布信息包括：对应的视点图像左上角像素在视频帧中的坐标，对应的视点图像的宽高、图像对应的视点编号等信息；在确定所述视频帧中各个视点的排布方式之后，获取所述主视点对应的视点标识以及所述视频帧的排布信息，根据所述排布信息以及所述视点标识确定所述主视点对应的图像在所述视频帧中的位置信息，在由所述当前视点对应的传输路径接收到的视频帧中截取生成所述位置信息对应的当前视点对应的图像所需的图像；其中，所述当前视点对应的图像所需的图像可以是当前视点对应的视点画面，也可以是虚拟视点对应的视点深度图画面，所述虚拟视点位于两台摄像机视点之间的视点，为虚
构的视点。
63.在本实施例中，在接收到显示设备发送的视点切换指令后，获取所述视点切换指令对应的目标视点，此时，因为无法马上实现目标视点切换并得到目标视点对应的传输路径的视频帧，因此，通过当前视点对应的传输路径接收到的图像帧序列的视频帧中截取生成所述目标视点的图像所需的图像；其中，所述生成所述目标视点的图像所需的图像可以是目标视点对应的视点画面，也可以是虚拟视点对应的视点深度图画面。
64.在此需要强调的是，所述目标视点的图像所需的图像与前述当前视点对应的传输路径接收到的视频帧中截取的当前视点的图像所需的图像位于同一张视频帧中，且所述目标视点为从视点中的一个，所述当前视点对应的画面的分辨率大于所述目标视点对应的画面的分辨率；这是因为切换的过程存在延时的现象，切换的时候无法立即获取所要切换显示的目标视点的传输路径对应的视频帧，从而导致显示画面一直处于分辨率低的现象，因此，本技术会先以当前视点对应的传输路径接收到的图像帧序列的视频帧中截取生成所要切换的目标视点的图像所需的图像进行低分辨率显示。
65.在本实施例中，在满足切换条件时，从目标视点对应的传输路径接收到的图像帧序列的视频帧中截取生成所述目标视点的图像所需的图像，将所述生成所述目标视点的图像所需的图像发送至显示设备以供显示设备生成所述目标视点的图像，此时，所述目标视点的图像所需的图像的分辨率会从低分辨率变为高分辨率显示，其中，所述切换条件包括以下至少一个：当前显示的图像对应的视频帧的时间戳与所述目标视点对应的传输路径中的视频帧的时间戳相同；所述从所述当前视点对应的传输路径接收到的所述图像帧序列的视频帧的时间戳到达预设时间点，所述预设时间点可根据实际情况进行设置；在此需要强调的是，目标视点对应的传输路径与前述的当前视点对应的传输路径不是同一条路径，同时，目标视点对应的传输路径接收到的图像帧序列与前述的当前视点对应的传输路径接收到的图像帧序列也不是同意以一个图像帧序列。
66.在本实施例中，以图6为例，p3表示第3号视点，p3_2是3号视点的第二个时间段，p3_3是3号视点的第三个时间段，p3_2到p3_3是正常的一个时间段播放完毕后播放下一个时间段的内容，并没有切换视点，切换视点是发生在p2_1播放的过程中，例如播放到一半的时候，切换到a视点，此时p2_1对应时间段内，并没有a视点的高分辨率画面，所以p2_1对应时间段内剩余时间只能从merge stream中拿到a视点的低分辨率画面；当播放进度到达p3_2对应的时间段的时候，从p3_2中可以得到a视点的高分辨率画面，所以p3_2开始，显示的a视点高分辨率画面。
67.本实施例根据上述技术方案，由于采用了接收到显示设备发送的视点生成显示指令时，根据所述视点生成显示指令获取所述显示设备的当前视点；将由所述当前视点对应的传输路径接收到的图像帧序列的视频帧中截取生成所述当前视点的图像所需的图像，并将所述生成所述当前视点的图像所需的图像发送至所述显示设备以生成当前视点画面；在接收到所述显示设备发送的视点切换指令时，获取所述视点切换指令对应的目标视点，并从所述当前视点对应的传输路径接收到的所述图像帧序列的视频帧中截取生成所述目标视点的图像所需的图像，将所述生成所述目标视点的图像所需的图像发送至所述显示设备以生成目标视点画面，其中，所述生成所述当前视点的图像所需的图像以及所述生成所述目标视点的图像所需的图像均包括视点画面或者视点深度图画面中的至少一个，且所述当
前视点对应的画面的分辨率大于所述目标视点对应的画面的分辨率；在满足切换条件时，将由所述目标视点对应的传输路径接收到的图像帧序列的视频帧中截取生成所述目标视点的图像所需的图像，并将所述生成所述目标视点的图像所需的图像发送至所述显示设备以生成所述目标视点的图像技术方案，解决了使用空域拼接方法对多个视点的单路视频拼接之后，导致自由视点应用显示所需的画面分辨率不足，进而导致最终生成的视点画面分辨率下降的技术问题，提高视点画面的显示效果。
68.如图2所示，图2为本技术的第二实施例，基于第一实施例步骤s130，本技术的第二实施例包括以下步骤：
69.步骤s131，获取所述目标视点对应的视点标识以及所述视频帧的排布信息；
70.步骤s132，根据所述排布信息以及所述视点标识确定所述生成所述目标视点的图像所需的图像在所述视频帧中的位置信息；
71.步骤s133，在由所述当前视点对应的传输路径接收到的所述图像帧序列的视频帧中截取生成所述位置信息对应的目标视点的图像所需的图像。
72.在本实施例中，所述视点标识为视点编号，即表示每个视点对应的编号；所述视频帧的排布信息为各个视点基于预设排布方式在所述视频帧的排布所生成的；具体的，所述视频帧中各个视点按照预设的排布方式进行排布，采用所述排布方式可将图7中p1-p10视点对应的图像拼接到同一个视频帧中，并生成所述视频帧中每个视点的排布信息，每个视点的排布信息包括：对应的视点图像左上角像素在视频帧中的坐标，对应的视点图像的宽高、图像对应的视点编号等信息；根据所述排布信息可截取所述视频帧中视点对应的图像进行显示；例如，本实施例在通过当前视点对应的传输路径接收到的视频帧中截取并显示所述目标视点对应的图像的具体的过程为：获取所述目标视点对应的视点标识以及所述视频帧的排布信息，根据所述排布信息以及所述视点标识确定所述目标视点对应的图像在所述视频帧中的位置信息，在由所述当前视点对应的传输路径接收到的视频帧中截取所述位置信息对应的所述目标视点对应的图像进行显示。
73.本实施例根据上述技术方案，由于采用了获取所述目标视点对应的视点标识以及所述视频帧的排布信息；根据所述排布信息以及所述视点标识确定所述生成所述目标视点的图像所需的图像在所述视频帧中的位置信息；在由所述当前视点对应的传输路径接收到的所述图像帧序列的视频帧中截取生成所述位置信息对应的目标视点的图像所需的图像的技术手段，实现获取目标视点对应的图像进行低分辨显示。
74.如图3所示，图3为本技术的第三实施例，本技术的第三实施例包括以下步骤：
75.步骤s210，获取各个摄像机拍摄的各个视点的图像，不同摄像机拍摄不同视点对应的图像；
76.步骤s220，将每个主视点对应的第一图像以及所述主视点对应的从视点的第二图像进行拼接得到主视点对应的视频帧，并根据拍摄时间对拼接后的所述主视点对应的视频帧进行编码以生成对应的图像帧序列；
77.步骤s230，在解码设备接收到显示设备发送的视点生成显示指令时，根据所述视点生成显示指令获取所述显示设备的当前视点之后，将所述当前视点对应的图像帧序列由所述当前视点对应的传输路径传输至解码设备。
78.在本实施例中，本技术可部署多台摄像机，摄像机的数量可根据实际情况进行设
置；获取各个摄像机拍摄的各个视点的图像，不同摄像机拍摄不同视点对应的图像；所述图像可以是各个视点对应的视点画面，也可以是各个视点对应的虚拟视点对应的视点深度图画面；将每个视点作为主视点生成第一图像，并将所述主视点之外的视点作为所述主视点对应的从视点生成所述从视点的第二图像例如，本技术可部署10台摄像机拍摄视频，相机围绕一个拍摄焦点进行拍摄，p1-p10为每台摄像机拍摄的图像，且p1-p10对应编号为1-10的视点图像。
79.在本实施例中，通过将不同摄像机采集的图像进行拼接，将主视点对应的视频帧进行编码后发送至显示终端进行显示，每个摄像机采集的图像即为一个视点对应的图像，将其中一个视点作为主视点，其他视点作为从视点，在每个传输路径中传输的视频帧均为该传输路径对应的主视点与除主视点之外的其他从视点拼接后得到的图像进行编码得到的视频帧，即视频帧主要是通过主视点和从视点的图像拼接得到，且所述主视点对应的图像的分辨率大于所述从视点对应的图像的分辨率。
80.在本实施例中，将每个主视点对应的第一图像以及所述主视点对应的从视点的第二图像进行拼接得到主视点对应的视频帧，根据拍摄时间将主视点对应的视频帧发送至hevc通用编码器进行编码后生成对应的图像帧序列，其中，所述第一图像的分辨率大于所述第二图像的分辨率；例如，如图7所示，当以p2为主视点时，p2对应的分辨率为2880*1620，其余从视点对应的分辨率为960*540，即在以p2作为主视点时，p2视点的分辨率大于其他从视点的分辨率；此时，在编码的过程中，编码端需要分别以10张图像作为主视点，生成10个传输路径视频帧；每个传输路径视频帧由一个主视点对应的图像以及除主视点之外的其他9个从视点对应的图像拼接编码得到，例如，图7为一张以p2视点为主视点的视频帧，其中，当以p2视点作为主视点时，将p1、p3-p10作为除p2主视点之外的从视点，将各个视点的图像进行拼接，以得到p2主视点对应的视频帧；当以其他视点作为主视点的图像拼接方式与上述p2主视点对应给的视频帧的拼接方式相同，在此不再赘述。
81.在本实施例中，每个摄像机采集的图像即为一个视点对应的图像，将其中一个视点作为主视点，其他视点作为从视点，在每个传输路径中传输的视频帧均为该传输路径对应的主视点与除主视点之外的其他从视点拼接后得到的图像进行编码得到的视频帧，即视频帧主要是通过主视点和从视点的图像拼接得到，且所述主视点对应的图像的分辨率大于所述从视点对应的图像的分辨率，即第一图像的分辨率大于第二图像的分辨率；编码完成后，在解码设备接收到显示设备发送的视点生成显示指令时，根据所述视点生成显示指令获取所述显示设备的当前视点之后，将所述当前视点对应的图像帧序列由所述当前视点对应的传输路径传输至解码设备；例如，根据所述视点生成显示指令获取所述显示设备的主视点之后，将所述主视点对应的图像帧序列由所述主视点对应的传输路径传输至解码设备。
82.本实施例根据上述技术方案，由于采用了获取各个摄像机拍摄的各个视点的图像，不同摄像机拍摄不同视点对应的图像，其中，将每个视点作为主视点生成第一图像，并将所述主视点之外的视点作为所述主视点对应的从视点生成所述从视点的第二图像，所述图像包括视点画面或者视点深度图画面中的至少一个；将每个主视点对应的第一图像以及所述主视点对应的从视点的第二图像进行拼接得到主视点对应的视频帧，并根据拍摄时间对拼接后的所述主视点对应的视频帧进行编码以生成对应的图像帧序列，其中，所述第一
图像的分辨率大于所述第二图像的分辨率；在解码设备接收到显示设备发送的视点生成显示指令时，根据所述视点生成显示指令获取所述显示设备的当前视点之后，将所述当前视点对应的图像帧序列由所述当前视点对应的传输路径传输至解码设备的技术手段，实现了对不同视点对应的图像进行编码。
83.如图4所示，图4为本技术的第四实施例，基于第三实施例步骤s220，本技术的第四实施例包括以下步骤：
84.步骤s221，将每个主视点对应的第一图像以及所述主视点对应的从视点的第二图像进行拼接得到主视点对应的视频帧；
85.步骤s222，按照拍摄时间将所述主视点对应的视频帧进行排序，生成拼接图像序列；
86.步骤s223，对所述拼接图像序列进行编码以得到每个所述主视点对应的图像帧序列。
87.在本实施例中，在点播观看的应用场景下时，观看的视频帧实际为历史视频帧，将每个主视点对应的第一图像以及所述主视点对应的从视点的第二图像进行拼接得到主视点对应的视频帧，可根据拍摄时间将所述主视点对应的视频帧进行排序，生成每个主视点对应的拼接图像序列；在得到拼接图像序列之后，对所述拼接图像序列进行编码以得到每个所述主视点对应的图像帧序列，其中，将每个主视点对应的图像帧序列中的第一帧图像编码为i帧。
88.在本实施例中，对于多路码流，视点切换只能在i帧处进行，所述起始帧为i帧，也称为关键帧，i帧为内部画面，i帧通常是每个图像帧序列中的的第一个帧，经过适度地压缩，做为随机访问的参考点，可以当成图像，在编码的过程中，编码可按照1秒作为一个码流分片，间隔1秒插入一个起始帧，并以1秒为长度，生成码流分片且每个码流分片以i帧作为起始帧，本技术将每个主视点对应的图像帧序列中的第一帧图像编码为i帧，实现在接收到视点切换指令时，根据所述起始帧以获取所述视点切换指令对应的主视点对应的视频帧。
89.本实施例根据上述技术方案，由于采用了将每个主视点对应的第一图像以及所述主视点对应的从视点的第二图像进行拼接得到主视点对应的视频帧；按照拍摄时间将所述主视点对应的视频帧进行排序，生成拼接图像序列；对所述拼接图像序列进行编码以得到每个所述主视点对应的图像帧序列，其中，将每个所述主视点对应的图像帧序列中的第一帧图像编码为i帧的技术手段，从而生成主视点对应的图像帧序列。
90.如图5所示，图5为本技术的第五实施例，基于第四实施例中的步骤s223，本技术的第五实施例包括以下步骤：
91.步骤s2231，获取所述主视点对应的视频帧的排布信息，所述排布信息至少包括各个所述视点的视点标识和各个所述视点的图像在主视点对应的视频帧中的位置信息；
92.步骤s2232，对所述拼接图像序列进行编码，并将所述排布信息插入编码后的所述拼接图像序列的序列头中以得到所述主视点对应的图像帧序列。
93.在本实施例中，所述视点标识为视点编号，即表示每个视点对应的编号；所述主视点对应的视频帧的排布信息为各个视点基于预设排布方式在所述视频帧的排布所生成的，所述预设排布方式可根据实际情况进行设置；具体的，将每个主视点对应的第一图像以及所述主视点对应的其他所有从视点的第二图像进行拼接得到主视点对应的视频帧，按照拍
摄时间将主视点对应的视频帧进行排序，生成拼接图像序列，对所述拼接图像序列进行编码；同时，获取主视点对应的视频帧的排布信息，将所述排布信息插入编码后的所述拼接图像序列的序列头中，从而得到主视点对应的图像帧序列。
94.在本实施例中，所述主视点对应的视频帧中的各个视点按照预设的排布方式进行排布，采用所述排布方式可对图7中p1-p10视点对应的图像进行拼接以得到主视点对应的视频帧，并生成所述主视点对应的视频帧中每个视点的排布信息，每个视点的排布信息至少包括各个所述视点的视点标识和各个所述视点的图像在主视点对应的视频帧中的位置信息；将所述排布信息作为用户扩展信息，写入主视点对应的视频帧中的图像头中。
95.本实施例根据上述技术方案，由于采用了获取所述主视点对应的视频帧的排布信息，所述排布信息至少包括各个所述视点的视点标识和各个所述视点的图像在主视点对应的视频帧中的位置信息；对所述拼接图像序列进行编码，并将所述排布信息插入编码后的所述拼接图像序列的序列头中以得到所述主视点对应的图像帧序列的技术手段，从而生成主视点对应的图像帧序列。
96.基于同一发明构思，本技术实施例还提供了一种解码设备，如图8所示，所述解码设备包括第一接收模块10、第一发送模块20、第二接收模块30以及第二发送模块40；
97.其中，所述第一接收模块10，用于接收到显示设备发送的视点生成显示指令时，根据所述视点生成显示指令获取所述显示设备的当前视点；
98.所述第一发送模块20，用于将由所述当前视点对应的传输路径接收到的图像帧序列的视频帧中截取所述当前视点的图像，并将所述当前视点的图像发送至所述显示设备以生成当前视点画面；
99.所述第二接收模块30，用于在接收到所述显示设备发送的视点切换指令时，获取所述视点切换指令对应的目标视点，并从所述当前视点对应的传输路径接收到的所述图像帧序列的视频帧中截取生成所述目标视点的图像所需的图像，将所述生成所述目标视点的图像所需的图像发送至所述显示设备以生成目标视点画面，其中，所述生成所述当前视点的图像所需的图像以及所述生成所述目标视点的图像所需的图像均包括视点画面或者视点深度图画面中的至少一个，且所述当前视点对应的画面的分辨率大于所述目标视点对应的画面的分辨率；
100.所述第二发送模块40，用于在满足切换条件时，将由所述目标视点对应的传输路径接收到的图像帧序列的视频帧中截取生成所述目标视点的图像所需的图像，并将所述生成所述目标视点的图像所需的图像发送至所述显示设备以生成当前视点画面。
101.本技术通过采用上述解码设备，实现对视频流进行解码以得到对应的视点画面。
102.基于同一发明构思，本技术实施例还提供了一种编码设备，如图9所示，本技术的编码设备包括图像获取模块50、拼接编码模块60以及数据传输模块70；
103.其中，所述图像获取模块50，用于获取各个摄像机拍摄的各个视点的图像，不同摄像机拍摄不同视点对应的图像，其中，将每个视点作为主视点生成第一图像，并将所述主视点之外的视点作为所述主视点对应的从视点生成所述从视点的第二图像，所述图像包括视点画面或者视点深度图画面中的至少一个；
104.所述拼接编码模块60，用于将每个主视点对应的第一图像以及所述主视点对应的从视点的第二图像进行拼接得到主视点对应的视频帧，并根据拍摄时间对拼接后的所述主
视点对应的视频帧进行编码以生成对应的图像帧序列，其中，所述第一图像的分辨率大于所述第二图像的分辨率；
105.所述数据传输模块70，用于在解码设备接收到显示设备发送的视点生成显示指令时，根据所述视点生成显示指令获取所述显示设备的当前视点之后，将所述当前视点对应的图像帧序列由所述当前视点对应的传输路径传输至解码设备。
106.本技术通过采用上述编码设备，实现对视点画面进行编码以得到对应的视频流。
107.基于同一发明构思，本技术实施例还提供了一种存储介质，所述存储介质存储有多视点视频数据处理程序，所述多视点视频数据处理程序被处理器执行时实现如上所述的多视点视频数据处理方法的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
108.由于本技术实施例提供的存储介质，为实施本技术实施例的方法所采用的存储介质，故而基于本技术实施例所介绍的方法，本领域所属人员能够了解该存储介质的具体结构及变形，故而在此不再赘述。凡是本技术实施例的方法所采用的计算机存储介质都属于本技术所欲保护的范围。
109.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
110.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
111.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
112.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一序列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
113.应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本技术可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
114.尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。
115.显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。