信息处理装置和方法、程序以及信息处理系统与流程

1.本技术涉及信息处理装置、信息处理方法、程序和信息处理系统，并且更具体地涉及能够给观看自由视点运动图像的用户提供更好的用户体验的信息处理装置、信息处理方法、程序和信息处理系统。


背景技术：

2.存在根据从多个视点捕获的运动图像生成受摄体的3d模型并且基于3d模型生成作为根据任意视点位置的运动图像的自由视点运动图像的技术。这样的技术也称为例如体积捕获技术(volumetric capture technology)。
3.例如，专利文献1公开了一种通过使用诸如可视外壳(visual hull)的方法来生成3d模型的技术，在该方法中，基于从不同的方向捕获的多个捕获图像来形成受摄体的三维形状。
4.[引用列表]
[0005]
[专利文献]
[0006]
专利文献1：wo 2018/150933 a。


技术实现要素：

[0007]
[本发明要解决的问题]
[0008]
存在以下情况：通过体积捕获技术生成的自由视点运动图像被实时传送以允许作为自由视点运动图像中的受摄体出现的用户与观看自由视点运动图像的用户进行通信。
[0009]
然而，在并非从多个视点捕获的所有相机运动图像都被正常地传送的情况下，观看侧上(viewing side)可能会显示变形的3d模型的自由视点运动图像或者观看侧上可能不会显示自由视点运动图像。这降低观看自由视点运动图像的用户体验。
[0010]
鉴于这样的情况提出本技术，并且其目的是为观看自由视点运动图像的用户提供更好的用户体验。
[0011]
[问题的解决方案]
[0012]
根据本技术的一个方面的信息处理装置是以下信息处理装置，其包括：传送运动图像的传送单元；以及控制单元，其基于关于是否已经成功地生成自由视点运动图像的确定结果来控制传送单元传送自由视点运动图像或真实相机视点运动图像，自由视点运动图像是通过使用借助于使用多个相机对受摄体进行成像而生成的多个相机运动图像生成的并且从任意位置和方向观看的运动图像，真实相机视点运动图像是从通过使用相机对受摄体进行成像而生成的相机运动图像生成的并且从该相机的位置和方向观看的运动图像。
[0013]
根据本技术的一个方面的信息处理方法是以下信息处理方法，在该信息处理方法中：信息处理装置基于关于是否已经成功地生成自由视点运动图像的确定结果，控制传送单元传送自由视点运动图像或真实相机视点运动图像，自由视点运动图像是通过使用借助于使用多个相机对受摄体进行成像而生成的多个相机运动图像生成的并且从任意位置和
方向观看的运动图像，真实相机视点运动图像是从通过使用相机对受摄体进行成像而生成的相机运动图像生成的并且从该相机的位置和方向观看的运动图像，以及根据控制传送自由视点运动图像或真实相机视点运动图像。
[0014]
根据本技术的一个方面的程序是用于使计算机执行以下处理的程序：基于关于是否已经成功地生成自由视点运动图像的确定结果，控制传送单元传送自由视点运动图像或真实相机视点运动图像，自由视点运动图像是通过使用借助于使用多个相机对受摄体进行成像而生成的多个相机运动图像生成的并且从任意位置和方向观看的运动图像，真实相机视点运动图像是从通过使用相机对受摄体进行成像而生成的相机运动图像生成的并且从该相机的位置和方向观看的运动图像，以及根据控制传送自由视点运动图像或真实相机视点运动图像。
[0015]
根据本技术的一个方面的信息处理系统是以下包括成像装置和信息处理装置的信息处理系统，其中：成像装置包括其中的每个成像单元对受摄体进行成像并且生成相机运动图像的多个成像单元，确定多个成像单元是否已经成功地生成相机运动图像的成像确定单元，以及向信息处理装置传送由多个成像单元生成的多个相机运动图像和由成像确定单元获得的确定结果的信息传送单元；以及信息处理装置包括接收从成像装置传送的多个相机运动图像和确定结果的信息接收单元，传送运动图像的运动图像传送单元，以及基于由信息接收单元接收到的确定结果来控制信息传送单元传送自由视点运动图像或真实相机视点运动图像的控制单元，自由视点运动图像是通过使用由信息接收单元接收到的多个相机运动图像生成的并且从任意位置和方向观看的运动图像，真实相机视点运动图像是通过使用由信息接收单元接收到的相机运动图像生成的并且从成像单元的位置和方向观看的运动图像。
[0016]
在根据本技术的一个方面的信息处理装置、信息处理方法和程序中，运动图像被传送，并且传送单元被控制以基于关于是否已经成功地生成自由视点运动图像的确定结果传送自由视点运动图像或真实相机视点运动图像，自由视点运动图像是通过使用借助于使用多个相机对受摄体进行成像而生成的多个相机运动图像生成的并且从任意位置和方向观看的运动图像，真实相机视点运动图像是从通过使用相机对受摄体进行成像而生成的相机运动图像生成的并且从该相机的位置和方向观看的运动图像。
[0017]
在根据本技术的一个方面的信息处理系统中，对受摄体进行成像以生成相机运动图像，确定多个成像单元是否已经成功地生成相机运动图像，由多个成像单元生成的多个相机运动图像和由成像确定单元获得的确定结果被传送至信息处理装置，从成像装置传送的多个相机运动图像和确定结果被接收，运动图像被传送，以及信息传送单元被控制以基于由信息接收单元接收到的确定结果传送自由视点运动图像或真实相机视点运动图像，自由视点运动图像是通过使用由信息接收单元接收到的多个相机运动图像生成的并且从任意位置和方向观看的运动图像，真实相机视点运动图像是通过使用由信息接收单元接收到的相机运动图像生成的并且从成像单元的位置和方向观看的运动图像。
附图说明
[0018]
图1示出了根据本技术的实施方式的信息处理系统的配置示例。
[0019]
图2示出了信息处理系统的传送自由视点运动图像的处理的流程。
[0020]
图3示出了相机的布置的示例。
[0021]
图4示出了在信息处理系统中发生延迟的示例。
[0022]
图5示出了信息处理系统的处理的流程。
[0023]
图6示出了运动图像的切换的示例。
[0024]
图7示出了自由视点运动图像与真实相机视点运动图像之间的切换条件的示例。
[0025]
图8示出了信息处理系统中的信息的流动的示例。
[0026]
图9是示出捕获系统的功能配置示例的框图。
[0027]
图10示出了相机的数目的示例。
[0028]
图11是示出服务器的功能配置示例的框图。
[0029]
图12是示出观看装置的功能配置示例的框图。
[0030]
图13是示出由捕获系统、服务器和观看装置执行的处理的流程的顺序图。
[0031]
图14是示出运动图像切换处理#1的流程图。
[0032]
图15是示出运动图像切换处理#2的流程图。
[0033]
图16是示出运动图像切换处理#3的流程图。
[0034]
图17示出了信息处理系统中的信息的流动的另一示例。
[0035]
图18是示出捕获系统的第二功能配置示例的框图。
[0036]
图19是示出服务器的第二功能配置示例的框图。
[0037]
图20是示出观看装置的第二功能配置示例的框图。
[0038]
图21是示出捕获系统的第二功能配置示例的另一示例的框图。
[0039]
图22示出了信息处理系统中的信息的流动的又一示例。
[0040]
图23示出了捕获系统的第三功能配置示例。
[0041]
图24是示出由捕获系统、服务器和观看装置执行的处理的另一流程的顺序图。
[0042]
图25是示出计算机的硬件的配置示例的框图。
具体实施方式
[0043]
在下文中，将描述用于执行本技术的模式。将按以下顺序提供描述。
[0044]
1.信息处理系统的概况的描述
[0045]
2.第一信息处理示例
[0046]
3.第二信息处理示例
[0047]
4.第三信息处理示例
[0048]
5.修改示例
[0049]
《1.信息处理系统的概况的描述》
[0050]
图1示出了根据本技术的实施方式的信息处理系统1的配置示例。
[0051]
如图1中所示，信息处理系统1包括捕获系统11、服务器12和观看装置14。捕获系统11与服务器12经由有线或无线通信连接。服务器12与观看装置14经由网络13例如因特网、无线局域网(lan)或蜂窝网络连接。注意，捕获系统11可以经由网络13被连接至服务器12或观看装置14。
[0052]
捕获系统11包括成像装置21和传送装置22。
[0053]
成像装置21包括对受摄体进行成像并且生成相机运动图像的多个相机。例如，计
算机视觉用相机、计算机视觉用相机以外的相机、智能电话、网络相机、深度传感器等可以用作成像装置21中包括的相机。成像装置21中包括的多个相机被布置成围绕受摄体并且从多个视点对受摄体进行成像。注意，成像装置21中包括的相机的数目是任意的，只要存在多个相机即可。
[0054]
传送装置22包括例如个人计算机(pc)或专用装置。例如，与成像装置21中包括的相机的数目相同数目的pc被准备为传送装置22。传送装置22将由成像装置21生成的多个相机运动图像传送至服务器12。通过从多个视点位置对受摄体进行成像而获得的多视点相机运动图像从传送装置22被传送至服务器12。注意，传送装置22中包括的pc(或专用装置)的数目是任意的。pc(或专用装置)的数目可以与相机的数目相同或不同。
[0055]
服务器12是例如被安装在网络上的服务器装置。服务器12可以由一个服务器装置或形成所谓云的多个服务器装置实现。服务器12通过使用从捕获系统11传送的多个相机运动图像来生成自由视点运动图像。自由视点运动图像是可以从任意位置和方向观看的运动图像。
[0056]
此外，服务器12通过使用从捕获系统11传送的多个相机运动图像中的任何一个来生成真实相机视点运动图像。真实相机视点运动图像是通过使用由成像装置21中包括的多个相机中的特定相机捕获的相机运动图像而生成的运动图像。也就是说，真实相机视点运动图像是从特定相机的位置和方向观看到的运动图像。同时，自由视点运动图像可以从相机中的任一相机的位置和方向被观看，或者可以从不是相机中的任一相机的位置或方向的虚拟视点被观看。
[0057]
服务器12将自由视点运动图像或真实相机视点运动图像经由网络13传送至观看装置14。
[0058]
观看装置14包括例如具有显示功能的装置，诸如pc、智能电话、平板终端或头戴式显示器等。观看装置14接收从服务器12传送的运动图像并且实时显示运动图像。
[0059]
例如，在从服务器12传送自由视点运动图像的情况下，观看装置14显示受摄体的3d模型的运动图像。用户可以通过操作观看装置14从任意视点实时查看受摄体的3d模型。
[0060]
注意，图1示出了一个捕获系统11、一个服务器12、一个网络13和一个观看装置14，但是信息处理系统1中包括的这些系统和装置的数目可以是一个或更多个。
[0061]
图2示出了信息处理系统1的传送自由视点运动图像的处理的流程。
[0062]
如图2的左侧所示，例如，在捕获系统11中，成像装置21和传送装置22形成相机系统31-1至31-n，相机系统31-1至31-n中的每个相机系统执行以下处理：执行成像和传送相机运动图像。在下文中，在不需要区分这些相机系统的情况下，相机系统31-1至31-n将被整体地称为相机系统31。以复数形式提供的其他配置也将以类似的方式被整体地描述。
[0063]
相机系统31-1至31-n中的每个由成像装置21的至少一个相机和传送装置22的至少一个pc来实现。一个相机系统31中包括的它们(相机和pc)的数目是任意的，并且可以提供一个或多个相机和pc。此外，相机和pc的数目可以彼此相同或不同。在下文中，将假设一个相机系统31包括一个相机和一个pc来提供描述。在相应的相机系统31中执行成像的相机被布置成围绕受摄体。
[0064]
图3示出了相机的布置的示例。
[0065]
如图3中所示，相机被布置在不同的位置，例如受摄体被从下方成像的位置、受摄
体被从水平方向成像的位置以及受摄体被从上方成像的位置。图3中的一个白色圆圈指示一个相机。
[0066]
在图3的示例中，包括处于上层的8个相机、处于中层的8个相机和处于下层的8个相机的总共24个相机被布置为成像装置21。相机被布置在每层的圆周上。由具有这样的布置的24个相机执行成像，并且因此生成来自24个视点的相机运动图像。
[0067]
返回到图2的描述，例如在相机系统31-1至31-n中的每个相机系统中，通过成像生成的相机运动图像经过后处理，即诸如亮度调节的处理。此外，根据预定标准对经过后处理的相机运动图像进行编码，从而生成编码数据。通过编码生成的每个相机系统31的编码数据被传送至服务器12。
[0068]
在服务器12中，从相机系统31-1至31-n中的每个传送的编码数据被解码，并且相机运动图像被复原。在此，确认是否准备了由相机系统31-1至31-n生成的所有相机运动图像。此外，还确认是否确保了所有相机运动图像的同步。
[0069]
在确认准备了所有的相机运动图像并且确保了相机运动图像的同步的情况下，服务器12通过使用多个被复原的相机运动图像来执行3d模型的建模(三维重建)。
[0070]
例如，服务器12提取相机运动图像与背景运动图像之间的差异，从而生成被提取的受摄体区域的轮廓图像。此外，服务器12使用相机参数和不同方向的多个轮廓图像通过诸如可视外壳的方法生成受摄体的3d模型。
[0071]
3d模型的数据包括作为颜色信息的多个相机运动图像。此外，3d模型的数据还包括定义3d模型的形状的几何信息。作为几何信息，可以使用与多个相机运动图像对应的深度运动图像、通过使用一组点来表示受摄体的三维位置的点云以及通过使用顶点之间的连接来表示其三维位置的多边形网格。
[0072]
此后，基于3d模型执行渲染。因此，生成从由捕获系统11指定的视点位置观看的3d模型的运动图像作为自由视点运动图像。在自由视点运动图像的生成中，通过使用多个相机运动图像执行视点相关渲染，视点相关渲染用于将根据由捕获系统11指定的视点位置(虚拟视点位置)的纹理添加至3d模型。此外，例如，从捕获系统11获取的cg背景被组合。
[0073]
如上所述由服务器12生成的自由视点运动图像被传送至观看装置14并且在其上显示。注意，在观看装置14包括头戴式显示器的情况下，用于右眼的运动图像和用于左眼的运动图像被传送至观看装置14。
[0074]
在发生延迟的情况下，在信息处理系统1中可能不会生成自由视点运动图像，因为例如相机系统31中的任何一个相机系统的相机运动图像没有被传送至服务器12。
[0075]
图4示出了使在信息处理系统1中发生延迟的故障的示例。
[0076]
如由图4的气球状框b1所指示的，在相机系统31的相机中的任何一个相机中丢帧的情况下，在捕获系统11中发生延迟。此外，在相机系统31的相机中的任何一个相机中成像失败(因为例如相机电池没电了)的情况下，也发生延迟。
[0077]
如上所述，在不是所有相机系统31都可以同时执行成像的情况下，可能在服务器12中不生成自由视点运动图像。
[0078]
此外，如由图4的气球状框b2所指示的，由于例如缺乏带宽，在编码数据从相机系统31中的任何一个相机系统到服务器12的传送中可能发生延迟。
[0079]
在编码数据的传送中发生诸如延迟的故障的情况下，3d模型可能会变形。
[0080]
如由图4的气球状框b3所指示的，建模处理可能由于服务器12上的负荷增加而被延迟。随着用于建模的相机运动图像的数目增加，建模处理花费更多的时间。因此，在提供大量相机系统31的情况下，建模处理可能会被延迟。
[0081]
在建模处理被延迟并且没有传送自由视点运动图像的情况下，在观看装置14的显示器上什么都不显示或者只显示cg背景。在这种情况下，通信的用户体验的质量可能会劣化。
[0082]
为了防止用户体验的质量的劣化，需要即使在发生延迟的情况下也允许用户继续通信的机制。
[0083]
图5示出了信息处理系统1的处理的流程。
[0084]
如图5的下部分中所示，在信息处理系统1中提供了作为具有与相机系统31的配置类似的配置的一个相机系统的相机系统41。
[0085]
相机系统41以及相机系统31-1至31-n捕获相机运动图像。由相机系统41捕获的相机运动图像在服务器12中使用以生成真实相机视点运动图像。在例如通过使用相机系统31-1至31-n的相机运动图像生成自由视点运动图像的同时，生成真实相机视点运动图像。
[0086]
相机系统41执行与相机系统31-1至31-n执行的处理类似的处理。具体地，由相机系统41的相机捕获的相机运动图像经过后处理和编码，从而生成编码数据。编码数据被传送至服务器12。
[0087]
在服务器12中，从相机系统41传送的编码数据被解码，并且相机运动图像被复原。此外，复原的相机运动图像经过前景/背景差分处理，从而受摄体区域的运动图像被提取。此后，受摄体区域的运动图像和从捕获系统11获取的cg背景被组合，从而生成真实相机视点运动图像。
[0088]
真实相机视点运动图像是包括由相机系统41的相机捕获的来自一个视点的相机运动图像的运动图像。
[0089]
信息处理系统1确定是否已经成功地生成自由视点运动图像。例如，由于参照图4描述的故障，在自由视点运动图像的生成中发生误差。
[0090]
也就是说，关于自由视点运动图像的生成的确定包括：确定在捕获系统11中是否已经成功地生成相机运动图像；确定在服务器12中编码数据的接收中是否发生延迟；确定在服务器12中编码数据是否已经被成功地解码；以及确定在服务器12中自由视点运动图像的生成中是否发生延迟。
[0091]
例如，基于关于是否已经成功地生成自由视点运动图像的确定结果，在服务器12中选择自由视点运动图像或真实相机视点运动图像作为要被传送至观看装置14的运动图像。真实相机视点运动图像可以代替自由视点运动图像被显示在观看装置14上。
[0092]
图6示出了运动图像的切换的示例。
[0093]
如图6的左上部分中所示，在信息处理系统1中没有发生延迟的情况下，自由视点运动图像被显示在观看装置14上。
[0094]
同时，例如，在相机系统31中的任何一个相机系统中发生误差的情况下，要被传送至观看装置14的运动图像被切换成服务器12中的真实相机视点运动图像，如由轮廓箭头a1所指示的。
[0095]
在将运动图像切换成真实相机视点运动图像时，生成虚拟相机作品并且执行图像
处理。
[0096]
虚拟相机作品的生成是用于防止用户由于视点位置的切换而感到不舒服的处理。突然将视点从自由视点运动图像的预定虚拟视点位置切换成真实相机视点运动图像的视点位置是不自然的，并且观看装置14的用户可能会感到不舒服。
[0097]
具体地，服务器12生成虚拟相机作品，即从被切换成真实相机视点运动图像之前的虚拟视点位置到相机系统41的相机的位置(真实相机视点运动图像的视点位置)的最短路径。作为被切换成真实相机视点运动图像之前的自由视点运动图像，其中视点沿着虚拟相机作品运动以接近真实相机视点运动图像的视点位置的运动图像被生成并且被显示在观看装置14上。
[0098]
图像处理是对自由视点运动图像和真实相机视点运动图像二者添加诸如淡出和淡入的效果的处理。
[0099]
上述处理由服务器12执行，并且因此真实相机视点运动图像被显示在观看装置14上，如由轮廓箭头a2所指示的。
[0100]
在例如显示真实相机视点运动图像的同时解决了误差的情况下，要被传送至观看装置14的运动图像在服务器12中被切换成自由视点运动图像，如由轮廓箭头a3所指示的。
[0101]
在运动图像被切换之后，自由视点运动图像被显示在观看装置14上，如由轮廓箭头a4所指示的。
[0102]
注意，当真实相机视点运动图像被切换成自由视点运动图像时，可以通过将自由视点运动图像的视点位置设置成真实相机视点运动图像的视点位置而自然地切换运动图像。因此，当真实相机视点运动图像被切换成自由视点运动图像时，运动图像不经过图像处理例如添加效果。
[0103]
图7示出了自由视点运动图像和真实相机视点运动图像之间的切换条件的示例。
[0104]
如图7的第一行中所示，在某些情况下，在对受摄体进行成像时相机中出现诸如不同步或丢帧的异常。在信息处理系统1中确定已经发生异常的相机的数目。此外，确定正常相机的位置的分布是否可以确保3d模型的质量。
[0105]
例如，在确定已经发生异常的相机的数目小并且可以确保3d模型的形状的质量的情况下，服务器12通过使用由正常相机生成的相机运动图像执行三维重建并且生成自由视点运动图像。在这种情况下，自由视点运动图像被传送至观看装置14并且被显示在观看装置14上。
[0106]
同时，在确定已经发生异常的相机的数目大或者3d模型的形状的质量没有保证的情况下，真实相机视点运动图像被传送至观看装置14并且被显示在观看装置14上。
[0107]
如图7的第二行中所示，在某些情况下，在相机运动图像的编码数据的传送中会发生延迟。此外，在某些情况下，服务器12不能在指定时间内接收所有的编码数据。在信息处理系统1中确定延迟的编码数据的数目。此外，确定已经生成相机运动图像的正常相机(其编码数据已经被正常地接收)的位置的分布是否可以确保3d模型的质量。
[0108]
例如，在确定延迟的编码数据的数目小并且可以确保3d模型的形状的质量的情况下，服务器12通过使用由正常相机生成的相机运动图像执行三维重建并且生成自由视点运动图像。在这种情况下，自由视点运动图像被传送至观看装置14并且被显示在观看装置14上。
[0109]
同时，在确定延迟的编码数据的数目大或者3d模型的形状的质量没有保证的情况下，真实相机视点运动图像被传送至观看装置14并且被显示在观看装置14上。
[0110]
如图7的第三行中所示，在某些情况下，服务器12不能对从捕获系统11传送的编码数据进行解码。此外，在某些情况下从捕获系统11传送的编码数据被破坏。在信息处理系统1中确定不能被复原的相机运动图像的数目。此外，确定正常相机的位置的分布是否可以确保3d模型的质量。
[0111]
例如，在确定不能被复原的相机运动图像的数目小并且可以确保3d模型的形状的质量的情况下，服务器12通过使用复原的相机运动图像执行三维重建并且生成自由视点运动图像。在这种情况下，自由视点运动图像被传送至观看装置14并且被显示在观看装置14上。
[0112]
同时，在确定不能被复原的相机运动图像的数目大或者3d模型的形状的质量没有保证的情况下，真实相机视点运动图像被传送至观看装置14并且被显示在观看装置14上。
[0113]
如图7的第四行中所示，在某些情况下，在生成3d模型时建模处理所需的时间超过了实时显示运动图像的允许时间。在这种情况下，真实相机视点运动图像被传送至观看装置14并且被显示在观看装置14上。
[0114]
同时，在建模处理所需的时间不超过实时显示运动图像的允许时间的情况下，自由视点运动图像被传送至观看装置14并且被显示在观看装置14上。
[0115]
如图7的第五行中所示，在某些情况下，没有从观看装置14中接收到用于改变自由视点运动图像的视点的交互。在信息处理系统1中确定是否设置了自动驾驶仪。可以将自由视点运动图像的视点位置自动地设置为自动驾驶仪。
[0116]
例如，在设置了自动驾驶仪的情况下，从由自动驾驶仪选择的视点位置观看的自由视点运动图像被传送至观看装置14并且被显示在观看装置14上。
[0117]
同时，在未设置自动驾驶仪的情况下，真实相机视点运动图像被传送至观看装置14并且被显示在观看装置14上。
[0118]
如图7的第六行中所示，在某些情况下，信息处理系统1中频繁地发生故障。例如，在某个时间段内故障发生了阈值次数或更多次的情况下，真实相机视点运动图像被传送至观看装置14并且被显示在观看装置14上。
[0119]
同时，在某个时间段内发生的故障的次数小于阈值的情况下，自由视点运动图像被传送至观看装置14并且被显示在观看装置14上。
[0120]
如上所述，基于关于是否已经成功地生成自由视点运动图像的各种确定结果来选择是将自由视点运动图像传送至观看装置14还是将真实相机视点运动图像传送至观看装置14。
[0121]
因此，即使在由于例如相机中发生异常而未生成自由视点运动图像的情况下，也可以在观看装置14上无中断地显示运动图像。
[0122]
此外，因为运动图像被不间断地显示，所以可以为通过使用观看装置14观看自由视点运动图像的用户提供更好的用户体验。
[0123]
《2.第一信息处理示例》
[0124]
图8示出了信息处理系统1中的信息的流动的示例。
[0125]
如图8中所示，终端信息从观看装置14被提供给捕获系统11。终端信息包括指示观
看装置14中包括的装置的信息、观看装置14的带宽信息等。带宽信息指示由观看装置14使用的通信(例如，wi-fi、4g、5g等)。注意，终端信息还可以包括指示来自通过使用观看装置14观看运动图像的用户的请求的信息。
[0126]
捕获系统11基于从观看装置14提供的终端信息确定要执行成像的相机的数目。由本文中确定的数目的相机生成的相机运动图像用于生成自由视点运动图像。
[0127]
指示虚拟视点位置的信息从捕获系统11被提供给服务器12。也就是说，在该示例中，虚拟视点位置由捕获系统11指定。服务器12生成受摄体从由捕获系统11提供的虚拟视点位置被观看的自由视点运动图像。
[0128]-捕获系统11的配置
[0129]
图9是示出捕获系统11的功能配置示例的框图。
[0130]
如图9中所示，捕获系统11中包括的成像装置21包括：终端信息接收单元61、相机系统数目选择单元(number-of-camera-systems selection unit)62、实例生成单元63和成像单元64。
[0131]
终端信息接收单元61控制与无线通信或有线通信兼容的通信模块等，并且接收从观看装置14传送的终端信息。由终端信息接收单元61接收到的终端信息被提供给相机系统数目选择单元62。
[0132]
相机系统数目选择单元62基于从终端信息接收单元61提供的终端信息来选择要执行成像的相机(相机系统31)的数目。例如，在观看装置14是智能电话的情况下，15个相机被选择为要执行成像的相机的数目。此外，在观看装置14是高性能pc的情况下，24个相机被选择为要执行成像的相机的数目。
[0133]
图10示出了相机的数目的示例。
[0134]
图10的上部分示出了在执行成像的相机的数目分别为1、3、9、15和24的情况下的相机的布置。图10的上部分中的彩色圆圈表示执行成像的相机。此外，图10的上部分中的白色圆圈表示不执行成像的相机。
[0135]
如图10的下部分中所示，随着执行成像的相机的数目增加，被显示在观看装置14上的自由视点运动图像的视点的自由度增加。此外，随着执行成像的相机的数目增加，用于将编码数据从捕获系统11传送至服务器12的带宽的量增加。
[0136]
随着执行成像的相机的数目增加，自由视点运动图像的图像质量被改善。此外，随着执行成像的相机的数目增加，由用户支付的网络使用费增加。
[0137]
在使用诸如飞行时间(time of flight，tof)传感器的深度传感器作为执行成像的相机的情况下，自由视点运动图像被表示为点云。随着tof传感器的数目增加，点云中包括的点也越来越密集。
[0138]
如图10的左端中所示，在一个相机执行成像的情况下，不存在自由视点运动图像的视点的自由度。在这种情况下，由一个相机捕获的相机运动图像或通过将出现在相机运动图像中的受摄体与cg背景组合获得的运动图像被显示在观看装置14上。
[0139]
在执行成像的三个相机沿垂直方向布置的情况下，生成可以从一个视点被立体地观看的运动图像作为自由视点运动图像。在这种情况下，可以通过使用从三个相机的位置到受摄体的距离在自由视点运动图像中表达运动视差。
[0140]
在执行成像的相机的数目为九个的情况下，基于具有中等的形状再现性的3d模型
生成自由视点运动图像。自由视点运动图像也具有中等的图像质量。
[0141]
在执行成像的15个相机被集中地布置在受摄体的正面的情况下，基于具有受摄体的正面形状的高再现性的3d模型生成自由视点运动图像。然而，3d模型具有受摄体的背面形状的低再现性，因此需要限制视点位置以便不示出受摄体的背面。
[0142]
在执行成像的相机的数目为24个的情况下，基于具有受摄体的整体形状的高再现性的3d模型生成高质量的自由视点运动图像。在相机运动图像的分辨率为4k的情况下，生成更高质量的自由视点运动图像。
[0143]
指示如上所述选择的相机数目的信息从相机系统数目选择单元62被提供给图9的实例生成单元63。
[0144]
实例生成单元63基于从相机系统数目选择单元62提供的信息来设置相机参数(内部参数和外部参数)，并且将指示设置的信息提供给成像单元64。
[0145]
成像单元64根据从实例生成单元63提供的信息来选择要执行成像的相机并且执行成像。由成像单元64捕获的多个相机运动图像被提供给传送装置22。
[0146]
如图9中所示，传送装置22包括成像延迟确定单元71、控制信号接收单元72、传送控制单元73和传送单元74。
[0147]
成像延迟确定单元71分别基于从成像单元64提供的多个相机运动图像来确定是否已经成功地生成相机运动图像。具体地，成像延迟确定单元71确定在成像时每个相机中是否已经发生异常。成像延迟确定单元71将关于是否已经成功地生成相机运动图像的确定结果连同多个相机运动图像一起提供给传送单元74。
[0148]
控制信号接收单元72接收从服务器12传送的控制信号并且将控制信号提供给传送控制单元73。控制信号是指定要从传送单元74传送的相机运动图像的信号。
[0149]
传送控制单元73控制传送单元74并且使传送单元74传送由控制信号指定的相机运动图像。
[0150]
控制信号指定是传送多视点相机运动图像还是传送单视点相机运动图像。多视点相机运动图像是由多个相机生成并且用于生成自由视点运动图像的相机运动图像。单视点相机运动图像是由相机系统41中包括的一个相机生成并且用于生成真实相机视点运动图像的特定相机运动图像。
[0151]
传送单元74将从成像延迟确定单元71提供的确定结果传送至服务器12。
[0152]
传送单元74还用作对相机运动图像进行编码的编码单元。传送单元74对从成像延迟确定单元71提供的相机运动图像进行编码以生成编码数据。
[0153]
此外，传送单元74在传送控制单元73的控制下传送编码数据连同cg背景、指示虚拟视点位置的信息以及指示真实相机视点位置的信息。真实相机视点位置是真实相机视点运动图像的视点位置。
[0154]
在由控制信号指定了传送多视点相机运动图像的情况下，传送单元74传送多视点相机运动图像的编码数据连同各种的信息。
[0155]
同时，在由控制信号指定了传送单视点相机运动图像的情况下，传送单元74选择由布置在真实相机视点位置处的相机生成的特定相机运动图像作为来自多视点相机运动图像中的单视点相机运动图像。所选择的单视点相机运动图像的编码数据连同各种的信息一起被传送。
[0156]
注意，每个相机运动图像与已经生成相机运动图像的相机的相机参数相关联。与相机运动图像相关联的相机参数也作为编码数据被传送至服务器12。
[0157]
捕获用于生成真实相机视点运动图像的相机运动图像的相机可以与捕获用于生成自由视点运动图像的相机运动图像的相机分开设置。也就是说，相机系统41可以是相机系统31-1至31-n中的任何一个，或者可以是与相机系统31-1至31-n分开设置的相机系统。
[0158]
在捕获用于生成真实相机视点运动图像的相机运动图像的相机与捕获用于生成自由视点运动图像的相机运动图像的相机分开设置的情况下，多视点相机运动图像和单视点相机运动图像二者被传送至服务器12。用于真实相机视点运动图像的相机可以是手持相机，例如摄像机或智能电话。
[0159]-服务器12的配置
[0160]
图11是示出服务器12的功能配置示例的框图。
[0161]
如图11中所示，服务器12包括接收单元91、接收延迟确定单元92、自由视点运动图像生成单元93、真实相机视点运动图像生成单元94、生成延迟确定单元95、分布运动图像生成单元96、控制信号传送单元97和分布运动图像传送单元98。
[0162]
接收单元91控制与无线通信或有线通信兼容的通信模块等，并且接收由成像延迟确定单元71(图9)获得且从捕获系统11传送的确定结果。由接收单元91接收的确定结果被提供给分布运动图像生成单元96。
[0163]
此外，接收单元91接收从捕获系统11传送的编码数据并且对编码数据进行解码。通过对编码数据进行解码而复原的相机运动图像被提供给接收延迟确定单元92。接收单元91还用作对编码数据进行解码以使相机运动图像复原的解码单元。
[0164]
接收单元91接收从捕获系统11传送的cg背景、指示虚拟视点位置的信息和指示真实相机视点位置的信息。cg背景被提供给自由视点运动图像生成单元93的背景组合单元113和真实相机视点运动图像生成单元94的背景组合单元122。指示虚拟视点位置的信息被提供给自由视点运动图像生成单元93的虚拟视点运动图像生成单元112。指示真实相机视点位置的信息被提供给真实相机视点运动图像生成单元94的真实相机视点运动图像生成单元121。
[0165]
接收延迟确定单元92确定在多个的编码数据的接收中是否发生了延迟。此外，接收延迟确定单元92确定从接收单元91提供的相机运动图像是否被破坏。也就是说，接收延迟确定单元92也可以用作确定编码数据是否已经被成功地解码的解码确定单元。接收延迟确定单元92将其确定结果提供给分布运动图像生成单元96。
[0166]
在从接收单元91提供多视点相机运动图像的情况下，接收延迟确定单元92将多视点相机运动图像提供给自由视点运动图像生成单元93的三维重建单元111以及真实相机视点运动图像生成单元94的真实相机视点运动图像生成单元121。
[0167]
同时，在从接收单元91提供单视点相机运动图像的情况下，接收延迟确定单元92将单视点相机运动图像仅提供给真实相机视点运动图像生成单元121。
[0168]
自由视点运动图像生成单元93包括三维重建单元111、虚拟视点运动图像生成单元112和背景组合单元113。
[0169]
三维重建单元111基于从接收延迟确定单元92提供的多视点相机运动图像来生成受摄体的3d模型，并且将3d模型提供给虚拟视点运动图像生成单元112。
[0170]
虚拟视点运动图像生成单元112在分布运动图像生成单元96的控制下，生成由从接收单元91提供的信息指定的虚拟视点的自由视点运动图像。具体地，虚拟视点运动图像生成单元112执行渲染处理以生成从指定的虚拟视点观看的3d模型的运动图像作为自由视点运动图像。
[0171]
在从分布运动图像生成单元96提供虚拟相机作品的情况下，虚拟视点运动图像生成单元112基于相机作品生成其中视点移动以接近真实相机视点位置的自由视点运动图像。由虚拟视点运动图像生成单元112生成的自由视点运动图像被提供给背景组合单元113。
[0172]
背景组合单元113将从接收单元91提供的cg背景与从虚拟视点运动图像生成单元112提供的自由视点运动图像组合。与cg背景组合的自由视点运动图像被提供给生成延迟确定单元95。
[0173]
真实相机视点运动图像生成单元94包括真实相机视点运动图像生成单元121和背景组合单元122。
[0174]
真实相机视点运动图像生成单元121在分布运动图像生成单元96的控制下生成真实相机视点运动图像。具体地，真实相机视点运动图像生成单元121执行前景/背景差分处理以从单视点相机运动图像中提取受摄体区域的运动图像作为真实相机视点运动图像。
[0175]
在从接收延迟确定单元92提供多视点相机运动图像的情况下，真实相机视点运动图像生成单元121基于指示真实相机视点位置的信息从多视点相机运动图像中选择特定相机运动图像作为单视点相机运动图像。由真实相机视点运动图像生成单元121选择的单视点相机运动图像用于生成真实相机视点运动图像。
[0176]
同时，在从接收延迟确定单元92提供单视点相机运动图像的情况下，真实相机视点运动图像生成单元121通过使用相机运动图像来生成真实相机视点运动图像。由真实相机视点运动图像生成单元121生成的真实相机视点运动图像被提供给背景组合单元122。
[0177]
背景组合单元122将从接收单元91提供的cg背景与从真实相机视点运动图像生成单元121提供的真实相机视点运动图像组合。与cg背景组合的真实相机视点运动图像被提供给生成延迟确定单元95。
[0178]
生成延迟确定单元95确定在自由视点运动图像的生成中是否发生延迟，并且将确定结果提供给分布运动图像生成单元96。例如，在运动图像被显示在观看装置14上的帧速率为60fps的情况下，需要在16msec内生成自由视点运动图像。因此，在在16msec内生成自由视点运动图像的情况下，确定自由视点运动图像的生成中没有发生延迟。
[0179]
此外，生成延迟确定单元95将从背景组合单元113提供的自由视点运动图像和从背景组合单元122提供的真实相机视点运动图像提供给分布运动图像生成单元96。
[0180]
分布运动图像生成单元96用作控制单元，该控制单元基于关于是否已经成功地生成自由视点运动图像的确定结果来控制信息处理系统1中设置的每个配置，已经从信息处理系统1中设置的各种确定单元提供了这些结果。
[0181]
具体地，分布运动图像生成单元96基于由成像延迟确定单元71获得并从接收单元91提供的确定结果来选择是使捕获系统11传送多视点相机运动图像还是传送单视点相机运动图像。分布运动图像生成单元96生成指定要从捕获系统11传送的相机运动图像的控制信号。
[0182]
由分布运动图像生成单元96生成的控制信号被提供给控制信号传送单元97。控制信号传送单元97将从分布运动图像生成单元96提供的控制信号传送至捕获系统11。
[0183]
此外，分布运动图像生成单元96基于由接收延迟确定单元92获得的确定结果来确定正常相机的数目和位置是否可以确保3d模型的形状的质量。
[0184]
分布运动图像生成单元96基于由分布运动图像生成单元自身获得的确定结果来选择是否使虚拟视点运动图像生成单元112生成自由视点运动图像。分布运动图像生成单元96根据选择结果控制虚拟视点运动图像生成单元112和真实相机视点运动图像生成单元121。
[0185]
此外，分布运动图像生成单元96基于由生成延迟确定单元95获得的确定结果来选择是传送自由视点运动图像还是传送真实相机视点运动图像。
[0186]
注意，在要被传送至观看装置14的运动图像从自由视点运动图像被切换成真实相机视点运动图像的情况下，分布运动图像生成单元96生成虚拟相机作品并且将虚拟相机作品提供给虚拟视点运动图像生成单元112。
[0187]
分布运动图像传送单元98将从分布运动图像生成单元96提供的自由视点运动图像或真实相机视点运动图像传送至观看装置14。
[0188]-观看装置14的配置
[0189]
图12是示出观看装置14的功能配置示例的框图。
[0190]
如图12中所示，观看装置14包括终端信息传送单元141、运动图像接收单元142和显示单元143。
[0191]
终端信息传送单元141控制与无线通信或有线通信兼容的通信模块等，并且将终端信息传送至捕获系统11。
[0192]
运动图像接收单元142接收从服务器12传送的自由视点运动图像或真实相机视点运动图像，并且将自由视点运动图像或真实相机视点运动图像提供给显示单元143。
[0193]
显示单元143在显示器上显示从运动图像接收单元142提供的运动图像。
[0194]-每个装置的操作
[0195]
在此，将描述在具有上述配置的信息处理系统1中执行的处理。
[0196]
图13是示出由捕获系统11、服务器12和观看装置14执行的处理的流程的顺序图。
[0197]
在步骤s41中，观看装置14的终端信息传送单元141将观看装置14的终端信息传送至捕获系统11。
[0198]
在步骤s1中，捕获系统11的终端信息接收单元61接收从观看装置14传送的终端信息。
[0199]
在步骤s2中，捕获系统11的相机系统数目选择单元62基于终端信息选择要执行成像的相机的数目。
[0200]
在步骤s3中，捕获系统11的实例生成单元63设置相机参数并且生成实例。
[0201]
在步骤s4中，捕获系统11的成像单元64通过使用在步骤s2中选择的相机的数目对受摄体进行成像并且获取相机运动图像。
[0202]
在步骤s5中，捕获系统11的成像延迟确定单元71确定成像单元64是否已经成功地生成相机运动图像。
[0203]
在步骤s6中，捕获系统11的传送单元74将确定结果传送至服务器12。
[0204]
在步骤s21中，服务器12的接收单元91接收由成像延迟确定单元71获得并且从捕获系统11传送的确定结果。
[0205]
在步骤s22中，服务器12的分布运动图像生成单元96执行运动图像切换处理#1。通过运动图像切换处理#1，基于由捕获系统11的成像延迟确定单元71获得的确定结果生成控制信号。稍后将参照图14的流程图描述运动图像切换处理#1。
[0206]
在步骤s23中，服务器12的控制信号传送单元97将控制信号传送至捕获系统11。
[0207]
在步骤7中，捕获系统11的控制信号接收单元72接收从服务器12传送的控制信号。
[0208]
在步骤s8中，捕获系统11的传送单元74通过对在步骤s4中生成的相机运动图像进行编码来生成编码数据。传送单元74响应于控制信号将编码数据连同cg背景、指示虚拟视点位置的信息和指示真实相机视点位置的信息一起传送至服务器12。
[0209]
在步骤s24中，服务器12的接收单元91接收从捕获系统11传送的编码数据、cg背景、指示虚拟视点位置的信息和指示真实相机视点位置的信息。接收单元91对编码数据进行解码以复原相机运动图像。
[0210]
在步骤s25中，服务器12的接收延迟确定单元92确定在编码数据的接收中是否发生延迟以及是否已经成功地复原相机运动图像。
[0211]
在步骤s26中，服务器12的分布运动图像生成单元96执行运动图像切换处理#2。通过运动图像切换处理#2，基于由接收延迟确定单元92获得的确定结果控制自由视点运动图像的生成。稍后将参照图15的流程图描述运动图像切换处理#2。
[0212]
在步骤s27中，服务器12的自由视点运动图像生成单元93在分布运动图像生成单元96的控制下生成自由视点运动图像。此外，服务器12的真实相机视点运动图像生成单元94在分布运动图像生成单元96的控制下生成真实相机视点运动图像。
[0213]
在步骤s28中，服务器12的生成延迟确定单元95确定在步骤s27中执行的自由视点运动图像的生成中是否发生延迟。
[0214]
在步骤s29中，服务器12的分布运动图像生成单元96执行运动图像切换处理#3。通过运动图像切换处理#3，基于由生成延迟确定单元95获得的确定结果控制是传送自由视点运动图像还是传送真实相机视点运动图像。稍后将参照图16的流程图描述运动图像切换处理#3。
[0215]
在步骤s30中，服务器12的分布运动图像传送单元98在分布运动图像生成单元96的控制下将自由视点运动图像或真实相机视点运动图像传送至观看装置14。
[0216]
在步骤s42中，观看装置14的运动图像接收单元142接收从服务器12传送的运动图像。
[0217]
在步骤s43中，观看装置14的显示单元143在显示器上显示从服务器12传送的运动图像。
[0218]
接下来，将参照图14的流程图描述在图13的步骤s22中执行的运动图像切换处理#1。
[0219]
在步骤s61中，根据在图13的步骤s5中由成像延迟确定单元71获得的确定结果进行确定，并且在成像延迟确定单元71确定成像单元64中没有发生异常的情况下，处理前进到步骤s62。
[0220]
在步骤s62中，服务器12的分布运动图像生成单元96生成用于传送多视点相机运
动图像的控制信号。此后，处理返回到图13的步骤s22，并且执行步骤s22和后续步骤中的处理。
[0221]
同时，在步骤s61中，在成像延迟确定单元71确定成像单元64中已经发生异常的情况下，处理前进到步骤s63。
[0222]
在步骤s63中，服务器12的分布运动图像生成单元96确定正常相机的数目和分布是否可以确保3d模型的形状的质量。为了确保3d模型的形状的质量，需要由各自被布置在预定位置处的多个相机生成的多视点相机运动图像。分布运动图像生成单元96通过使用正常相机的相机参数来确认正常相机的分布。
[0223]
捕获系统11可以指定生成3d模型所必需的相机。在这种情况下，在指定的必需的相机中发生异常的情况下，确定正常相机的数目和分布不能确保3d模型的形状的质量。例如，设置在受摄体正面的变焦相机被指定为生成3d模型所必需的相机。
[0224]
在步骤s63中确定正常相机的数目和分布可以确保3d模型的形状的质量的情况下，处理前进到步骤s62。
[0225]
同时，在步骤s63中确定正常相机的数目和分布不能确保3d模型的形状的质量的情况下，处理前进到步骤s64。
[0226]
在步骤s64中，服务器12的分布运动图像生成单元96生成用于传送单视点相机运动图像的控制信号。此后，处理返回到图13的步骤s22，并且执行步骤s22和后续步骤中的处理。
[0227]
接下来，将参照图15的流程图描述在图13的步骤s26中执行的运动图像切换处理#2。
[0228]
在步骤s71中，根据在图13的步骤s25中由接收延迟确定单元92获得的确定结果进行确定，并且在接收延迟确定单元92确定编码数据的接收中没有发生延迟的情况下，处理前进到步骤s72。
[0229]
在步骤s72中，服务器12的分布运动图像生成单元96确定正常相机的数目和分布是否可以确保3d模型的形状的质量。分布运动图像生成单元96通过使用正常相机的相机参数来确认正常相机的分布。
[0230]
在步骤s72中确定正常相机的数目和分布不能确保3d模型的形状的质量的情况下，处理前进到步骤s73。
[0231]
在步骤s73中，服务器12的分布运动图像生成单元96执行控制以不使虚拟视点运动图像生成单元112生成自由视点运动图像。此外，分布运动图像生成单元96执行控制以使真实相机视点运动图像生成单元121生成真实相机视点运动图像。此后，处理返回到图13的步骤s26，并且执行步骤s26和后续步骤中的处理。
[0232]
同时，在步骤s72中确定正常相机的数目和分布可以确保3d模型的形状的质量的情况下，处理前进到步骤s74。类似地，在接收延迟确定单元92在步骤s71中确定在编码数据的接收中没有发生延迟的情况下，处理也前进到步骤s72。
[0233]
在步骤s74中，根据在图13的步骤s25中由接收延迟确定单元92获得的确定结果进行确定，并且在接收延迟确定单元92确定复原的相机运动图像被破坏的情况下，处理前进到步骤s75。
[0234]
在步骤s75中，服务器12的分布运动图像生成单元96确定正常相机的数目和分布
是否可以确保3d模型的形状的质量。分布运动图像生成单元96通过使用正常相机的相机参数来确认正常相机的分布。
[0235]
在步骤s75中确定正常相机的数目和分布不能确保3d模型的形状的质量的情况下，处理前进到步骤s73。
[0236]
同时，在步骤s75中确定正常相机的数目和分布可以确保3d模型的形状的质量的情况下，处理前进到步骤s76。此外，类似地，在接收延迟确定单元92在步骤s74中确定复原的相机运动图像没有被破坏的情况下，处理也前进到步骤s76。
[0237]
在步骤s76中，服务器12的分布运动图像生成单元96执行控制以使虚拟视点运动图像生成单元112生成自由视点运动图像。此外，分布运动图像生成单元96执行控制以使真实相机视点运动图像生成单元121生成真实相机视点运动图像。此后，处理返回到图13的步骤s22，并且执行步骤s22和后续步骤中的处理。
[0238]
接下来，将参照图16的流程图描述在图13的步骤s29中执行的运动图像切换处理#3。
[0239]
在步骤s81中，根据在图13的步骤s28中由生成延迟确定单元95获得的确定结果进行确定，并且在生成延迟确定单元95确定生成自由视点运动图像的处理已经在指定时间内结束的情况下，处理前进到步骤s82。
[0240]
在步骤s82中，服务器12的分布运动图像生成单元96执行控制以使分布运动图像传送单元98传送自由视点运动图像。此后，处理返回到图13的步骤s29，并且执行步骤s29和后续步骤中的处理。
[0241]
同时，在生成延迟确定单元95在步骤s81中确定生成自由视点运动图像的处理没有在指定时间内结束的情况下，处理前进到步骤s83。
[0242]
在步骤s83中，服务器12的分布运动图像生成单元96执行控制以使分布运动图像传送单元98传送真实相机视点运动图像。此后，处理返回到图13的步骤s29，并且执行步骤s29和后续步骤中的处理。
[0243]
通过以上处理，即使在由于例如相机中发生异常而没有生成自由视点运动图像的情况下，服务器12也可以在观看装置14上无中断地显示运动图像。
[0244]
因为基于由成像延迟确定单元71获得的确定结果来控制要被传送至服务器12的相机运动图像，所以可以减少用于传送相机运动图像的带宽的量。
[0245]
因为基于由接收延迟确定单元92获得的确定结果来控制自由视点运动图像的生成，所以可以减少在服务器12中执行的处理的负荷。
[0246]
《3.第二信息处理示例》
[0247]
图17示出了信息处理系统1中的信息的流动的另一示例。
[0248]
如图17中所示，终端信息可以从观看装置14被提供给捕获系统11，并且指示由观看装置14指定的虚拟视点位置的信息可以被提供给服务器12。
[0249]
图18是示出捕获系统11的第二功能配置示例的框图。
[0250]
在图18中，与图9中的捕获系统11的部件相同的部件通过相同的附图标记来表示。适当时将省略冗余的描述。
[0251]
图18中的捕获系统11的配置与参照图9描述的配置的不同之处在于传送单元74不获取cg背景。
[0252]
传送单元74在传送控制单元73的控制下将编码数据连同cg背景和指示真实相机视点位置的信息一起传送至服务器12。
[0253]
图19是示出服务器12的第二功能配置示例的框图。
[0254]
在图19中，与图11中的服务器12的部件相同的部件通过相同的附图标记来表示。适当时将省略冗余的描述。
[0255]
图19中的服务器12的配置与参照图11描述的配置的不同之处在于：在虚拟视点运动图像生成单元112之前设置了虚拟视点位置接收单元201。
[0256]
虚拟视点位置接收单元201控制与无线通信或有线通信兼容的通信模块等，并且接收从观看装置14传送的指示虚拟视点位置的信息。由虚拟视点位置接收单元201接收到的指示虚拟视点位置的信息被提供给虚拟视点运动图像生成单元112。
[0257]
虚拟视点运动图像生成单元112基于从虚拟视点位置接收单元201提供的指示虚拟视点位置的信息，在分布运动图像生成单元96的控制下生成自由视点运动图像。
[0258]
分布运动图像生成单元96还可以控制真实相机视点运动图像生成单元121以通过使用由被布置在最接近于由观看装置14指定的虚拟视点位置的位置处的相机捕获的相机运动图像来生成真实相机视点运动图像。
[0259]
注意，在以下情况下不生成从由观看装置14指定的虚拟视点位置观看的自由视点运动图像：接收延迟确定单元92确定在多视点相机运动图像的编码数据中至少之一的接收中发生延迟或多视点相机运动图像中至少之一被破坏。
[0260]
因此，分布运动图像生成单元96可以使分布运动图像传送单元98将指示运动图像的视点不能被改变的信息传送至观看装置14。在这样的情况下，指示运动图像的视点不能被改变的信息被显示在观看装置14的显示器上。
[0261]
图20是示出观看装置14的第二功能配置示例的框图。
[0262]
在图20中，与图12中的观看装置14的部件相同的部件通过相同的附图标记来表示。适当时将省略冗余的描述。
[0263]
图20中的观看装置14的配置与参照图12描述的配置的不同之处在于设置了虚拟视点位置传送单元221。
[0264]
指示虚拟视点位置的信息响应于例如用户操作而被输入至观看装置14。
[0265]
虚拟视点位置传送单元221将指示虚拟视点位置的信息传送至服务器12。
[0266]
注意，由信息处理系统1执行的处理的流程基本上类似于图13的顺序图中的处理的流程。适当地执行将指示虚拟视点位置的信息从观看装置14传送至服务器12的处理。
[0267]
如上所述，观看装置14的用户可以指定视点，从该视点用户可以通过使用观看装置14看见在自由视点运动图像中出现的受摄体。
[0268]
在用于将相机运动图像和cg背景传送至服务器12的网络带宽的量中存在余量的情况下，可以将要与自由视点运动图像组合的指示照明和阴影的信息连同编码数据一起传送至服务器12。
[0269]
图21是示出捕获系统11的第二功能配置示例的另一示例的框图。
[0270]
在图21中，与图18中的捕获系统11的部件相同的部件通过相同的附图标记来表示。适当时将省略冗余的描述。这同样适用于稍后描述的图23。
[0271]
图21中的捕获系统11的配置与参照图18描述的配置的不同之处在于：传送单元74
获取高多边形cg背景、指示照明的信息、指示阴影的信息和低多边形cg背景。
[0272]
高多边形cg背景是通过使用大量多边形精细地绘制的cg背景。高多边形cg背景被用作自由视点运动图像的背景。低多边形cc背景是与高多边形cg背景相比通过使用较少数目的多边形绘制的cg背景。低多边形cg背景被用作真实相机视点运动图像的背景。
[0273]
指示照明和阴影的信息是指示自由视点运动图像中的照在受摄体的3d模型上的照明和通过照明生成的3d模型的阴影的信息。
[0274]
传送单元74在传送控制单元73的控制下将编码数据连同高多边形cg背景、指示照明的信息、指示阴影的信息、指示真实相机视点位置的信息和低多边形cg背景一起传送至服务器12。
[0275]
在传送单元74传送多视点相机运动图像的编码数据的情况下，传送单元74将编码数据连同高多边形cg背景、指示照明的信息、指示阴影的信息、指示真实相机视点位置的信息和低多边形cg背景一起传送至服务器12。同时，在传送单元传送单视点相机运动图像的编码数据的情况下，传送单元将指示真实相机视点位置的信息和低多边形cg背景传送至服务器12。
[0276]
在要与自由视点运动图像组合的指示照明和阴影的信息连同编码数据一起被传送至服务器12的情况下获得的服务器12的配置与参照图19描述的配置相同。
[0277]
接收单元91(图19)接收从捕获系统11传送的高多边形cg背景、指示照明的信息、指示阴影的信息、指示真实相机视点位置的信息和低多边形cg背景。高多边形cg背景、指示照明的信息和指示阴影的信息被提供给自由视点运动图像生成单元93的背景组合单元113。指示低多边形的信息被提供给真实相机视点运动图像生成单元94的背景组合单元122。
[0278]
背景组合单元113将从接收单元91提供的高多边形cg背景、光照和阴影与从虚拟视点运动图像生成单元112提供的自由视点运动图像组合。与cg背景等组合的自由视点运动图像被提供给生成延迟确定单元95。
[0279]
背景组合单元122将从接收单元91提供的低多边形cg背景与从真实相机视点运动图像生成单元121提供的真实相机视点运动图像组合。与cg背景组合的真实相机视点运动图像被提供给生成延迟确定单元95。
[0280]
如上所述与照明和阴影组合的自由视点运动图像被显示在观看装置14上。这使得可以改善用户体验的质量。
[0281]
此外，因为高多边形cg背景被与自由视点运动图像组合，所以可以为用户提供更精细质量的自由视点运动图像。
[0282]
《4.第三信息处理示例》
[0283]
图22示出了信息处理系统1中的信息的流动的又一示例。
[0284]
如图22中所示，终端信息可以从观看装置14被提供给捕获系统11，并且指示由观看装置14指定的虚拟视点位置的信息可以被提供给捕获系统11和服务器12二者。
[0285]
图23示出了捕获系统11的第三功能配置示例。
[0286]
图23中的捕获系统11的配置与参照图18描述的配置的不同之处在于：在终端信息接收单元61之后设置了真实相机视点位置选择单元251。
[0287]
终端信息接收单元61接收从观看装置14传送的指示虚拟视点位置的信息，并且将
该信息提供给真实相机视点位置选择单元251。
[0288]
指示设置的信息从实例生成单元63被提供给真实相机视点位置选择单元251。
[0289]
真实相机视点位置选择单元251基于从实例生成单元63提供的信息来选择最接近于由观看装置14指定的虚拟视点位置布置的相机。真实相机视点位置选择单元251将指示所选择的相机的位置的信息作为指示真实相机视点位置的信息提供给传送单元74。
[0290]
在指示由观看装置14指定的虚拟视点位置的信息被提供给捕获系统11和服务器12二者的情况下获得的观看装置14的配置与参照图20描述的配置相同。
[0291]
虚拟视点位置传送单元221(图20)将指示虚拟视点位置的信息传送至捕获系统11和服务器12二者。
[0292]
在此，将描述在具有上述配置的整个信息处理系统1中执行的处理。
[0293]
图24是示出由捕获系统11、服务器12和观看装置14执行的处理的另一流程的顺序图。
[0294]
观看装置14的步骤s141中的处理与图13的步骤s41中的处理类似。此外，捕获系统11的步骤s101至s103中的处理与图1的步骤s1至s3中的处理类似。
[0295]
在步骤s142中，观看装置14的虚拟视点位置传送单元221将指示虚拟视点位置的信息传送至捕获系统11。
[0296]
在步骤s104中，捕获系统11的终端信息接收单元61接收从观看装置14传送的指示虚拟视点位置的信息。
[0297]
在步骤s105中，真实相机视点位置选择单元251基于在步骤s103中设置的相机参数，选择最接近于由观看装置14指定的虚拟视点位置布置的相机的位置作为真实相机视点位置。
[0298]
捕获系统11的步骤s106至s110中的处理与图13的步骤s4至s8中的处理类似。此外，服务器12的步骤s121至s130中的处理与图13的步骤s21至s30中的处理类似。观看装置14的步骤s143和s144中的处理与图13的步骤s42和s43中的处理类似。
[0299]
如上所述，当显示的运动图像从自由视点运动图像被切换成真实相机视点运动图像时，通过使用由最接近于自由视点运动图像的虚拟视点位置的相机生成的相机运动图像来生成真实相机视点运动图像。
[0300]
这使得可以减少当显示的运动图像从自由视点运动图像被切换成真实相机视点运动图像时出现的不自然。
[0301]
《5.修改示例》
[0302]-计算机
[0303]
上述的捕获系统11、服务器12和观看装置14的处理的全部或部分可以通过硬件或软件来执行。在通过软件执行捕获系统11、服务器12和观看装置14的处理的情况下，构成该软件的程序从程序记录介质被安装在并入专用硬件中的计算机、通用个人计算机等中。
[0304]
图25是示出通过使用程序执行上述捕获系统11、服务器12和观看装置14的处理的计算机的硬件的配置示例的框图。
[0305]
中央处理单元(cpu)1001、只读存储器(rom)1002和随机存取存储器(ram)1003通过总线1004相互连接。
[0306]
总线1004还连接至输入/输出接口1005。输入/输出接口1005连接至包括键盘、鼠
标等的输入单元1006，以及包括显示器、扬声器等的输出单元1007。此外，输入/输出接口1005还连接至包括硬盘、非易失性存储器等的存储单元1008、包括网络接口等的通信单元1009以及驱动可移除介质1011的驱动器1010。
[0307]
在如上所述配置的计算机中，通过例如cpu 1001经由输入/输出接口1005和总线1004将存储在存储单元1008中的程序加载到ram 1003中并且执行该程序，执行上述系列处理。
[0308]
由cpu 1001执行的程序例如通过记录在可移除介质1011中或经由诸如局域网、因特网或数字广播的有线或无线传送介质来提供，并且被安装在存储单元1008中。
[0309]
注意，由计算机执行的程序可以是按照本说明书中描述的顺序以时间序列执行处理的程序，或者可以是并行执行处理或在必要的定时处(例如在进行调用时)执行处理的程序。
[0310]-其他
[0311]
注意，在该说明书中，系统是指多个部件(装置、模块(部件)等)的集合，并且所有部件是否被包括在同一壳体中并不重要。因此，被包括在分开的壳体中并经由网络连接的多个装置以及包括单个壳体中的多个模块的单个装置二者都是系统。
[0312]
本说明书中描述的效果仅仅是说明性的，而不是限制性的。此外，可以获得另外的效果。
[0313]
本技术的实施方式不限于上述实施方式并且可以在不脱离本技术的主旨的情况下进行各种修改。
[0314]
例如，本技术可以具有云计算的配置，在该配置中，单个功能由多个装置经由网络共享并且联合处理。
[0315]
此外，上述流程图中描述的步骤中的每个可以由单个装置执行，或者可以由多个装置通过共享来执行。
[0316]
此外，在单个步骤包括多个处理的情况下，单个步骤中包括的多个处理可以由单个装置执行，或者可以由多个装置通过共享来执行。
[0317]
《配置的组合示例》
[0318]
本技术还可以具有以下配置。
[0319]
(1)一种信息处理装置，包括：
[0320]
传送运动图像的传送单元；以及
[0321]
控制单元，其基于关于是否已经成功地生成自由视点运动图像的确定结果来控制所述传送单元传送自由视点运动图像或真实相机视点运动图像，所述自由视点运动图像是通过使用借助于使用多个相机对受摄体进行成像而生成的多个相机运动图像生成的并且从任意位置和方向观看的运动图像，所述真实相机视点运动图像是从通过使用相机对所述受摄体进行成像而生成的相机运动图像生成的并且从所述相机的位置和方向观看的运动图像。
[0322]
(2)根据(1)所述的信息处理装置，其中，
[0323]
所述控制单元进行以下操作：
[0324]
在确定在所述自由视点运动图像的生成中没有发生延迟作为所述确定结果的情况下，使所述传送单元传送所述自由视点运动图像，以及
[0325]
在确定在所述自由视点运动图像的生成中发生延迟作为所述确定结果的情况下，使所述传送单元传送所述真实相机视点运动图像。
[0326]
(3)根据(2)所述的信息处理装置，还包括：
[0327]
确定在所述自由视点运动图像的生成中是否发生延迟的生成确定单元，其中
[0328]
所述控制单元进行以下操作：
[0329]
在所述生成确定单元确定在所述自由视点运动图像的生成中没有发生延迟的情况下，使所述传送单元传送所述自由视点运动图像，以及
[0330]
在所述生成确定单元确定在所述自由视点运动图像的生成中发生延迟的情况下，使所述传送单元传送所述真实相机视点运动图像。
[0331]
(4)根据(1)至(3)中任一项所述的信息处理装置，其中：
[0332]
所述控制单元进行以下操作：
[0333]
在确定所述多个相机运动图像的编码数据已经被成功地解码作为所述确定结果的情况下，使所述传送单元传送所述自由视点运动图像，以及
[0334]
在确定所述多个相机运动图像的编码数据中的至少一个编码数据未被解码作为所述确定结果的情况下，使所述传送单元传送所述真实相机视点运动图像。
[0335]
(5)根据(4)所述的信息处理装置，还包括：
[0336]
确定所述多个相机运动图像的编码数据是否已经被成功地解码的解码确定单元，其中，
[0337]
所述控制单元进行以下操作：
[0338]
在所述解码确定单元确定所述多个相机运动图像的编码数据已经被成功地解码的情况下，使所述传送单元传送所述自由视点运动图像，以及
[0339]
在所述解码确定单元确定所述多个相机运动图像的编码数据中的至少一个编码数据未被解码的情况下，使所述传送单元传送所述真实相机视点运动图像。
[0340]
(6)根据(1)至(5)中任一项所述的信息处理装置，其中，
[0341]
所述控制单元进行以下操作：
[0342]
在确定在用于生成所述自由视点运动图像的所述多个相机运动图像的接收中没有发生延迟作为所述确定结果的情况下，使所述传送单元传送所述自由视点运动图像，以及
[0343]
在确定在用于生成所述自由视点运动图像的所述多个相机运动图像中的至少一个相机运动图像的接收中发生延迟作为所述确定结果的情况下，使所述传送单元传送所述真实相机视点运动图像。
[0344]
(7)根据(6)所述的信息处理装置，还包括
[0345]
确定在所述多个相机运动图像的接收中是否发生延迟的接收确定单元，其中，
[0346]
所述控制单元进行以下操作：
[0347]
在所述接收确定单元确定在所述多个相机运动图像的接收中没有发生延迟的情况下，使所述传送单元传送所述自由视点运动图像，以及
[0348]
在所述接收确定单元确定在所述多个相机运动图像中的至少一个相机运动图像的接收中发生延迟的情况下，使所述传送单元传送所述真实相机视点运动图像。
[0349]
(8)根据(1)至(7)中任一项所述的信息处理装置，还包括：
[0350]
通过使用所述多个相机运动图像来生成所述自由视点运动图像的自由视点运动图像生成单元，其中，
[0351]
所述控制单元基于所述确定结果控制所述传送单元传送由所述自由视点运动图像生成单元生成的所述自由视点运动图像或生成所述真实相机视点运动图像。
[0352]
(9)根据(8)所述的信息处理装置，其中，
[0353]
在所述控制单元使所述传送单元传送所述真实相机视点运动图像之前，所述自由视点运动图像生成单元在所述控制单元的控制下生成其中视点移动以接近所述真实相机视点运动图像的视点的所述自由视点运动图像。
[0354]
(10)根据(8)或(9)所述的信息处理装置，还包括：
[0355]
对所述多个相机运动图像的编码数据进行解码以复原所述多个相机运动图像的解码单元，其中，
[0356]
所述自由视点运动图像生成单元通过使用由所述解码单元复原的所述多个相机运动图像来生成所述自由视点运动图像。
[0357]
(11)根据(10)所述的信息处理装置，还包括：
[0358]
接收从另一装置传送的所述编码数据的接收单元，其中，
[0359]
所述解码单元对由所述接收单元接收到的所述编码数据进行解码。
[0360]
(12)根据(1)至(11)中任一项所述的信息处理装置，还包括：
[0361]
通过使用所述相机运动图像生成所述真实相机视点运动图像的真实相机视点运动图像生成单元，其中，
[0362]
所述控制单元基于所述确定结果控制所述传送单元传送所述自由视点运动图像或生成由所述真实相机视点运动图像生成单元生成的所述真实相机视点运动图像。
[0363]
(13)根据(12)所述的信息处理装置，其中，
[0364]
所述真实相机视点运动图像生成单元通过使用用于生成所述自由视点运动图像的所述多个相机运动图像中的任一相机运动图像来生成所述真实相机视点运动图像。
[0365]
(14)根据(12)所述的信息处理装置，其中，
[0366]
所述真实相机视点运动图像生成单元通过使用与用于生成所述自由视点运动图像的所述多个相机运动图像不同的另一相机运动图像来生成所述真实相机视点运动图像。
[0367]
(15)根据(12)至(14)中任一项所述的信息处理装置，其中，
[0368]
所述真实相机视点运动图像生成单元在所述控制单元的控制下通过使用其视点更接近于所述自由视点运动图像的视点的相机运动图像来生成所述真实相机视点运动图像。
[0369]
(16)一种信息处理方法，包括：
[0370]
由信息处理装置进行以下操作：
[0371]
基于关于是否已经成功地生成所述自由视点运动图像的确定结果，控制传送单元传送自由视点运动图像或真实相机视点运动图像，所述自由视点运动图像是通过使用借助于使用多个相机对受摄体进行成像而生成的多个相机运动图像生成的并且从任意位置和方向观看的运动图像，所述真实相机视点运动图像是从通过使用相机对所述受摄体进行成像而生成的相机运动图像生成的并且从所述相机的位置和方向观看的运动图像；以及
[0372]
根据所述控制传送所述自由视点运动图像或所述真实相机视点运动图像。
[0373]
(17)一种用于使计算机执行以下处理的程序：
[0374]
基于关于是否已经成功地生成所述自由视点运动图像的确定结果，控制传送单元传送自由视点运动图像或真实相机视点运动图像，所述自由视点运动图像是通过使用借助于使用多个相机对受摄体进行成像而生成的多个相机运动图像生成的并且从任意位置和方向观看的运动图像，所述真实相机视点运动图像是从通过使用相机对所述受摄体进行成像而生成的相机运动图像生成的并且从所述相机的位置和方向观看的运动图像；以及
[0375]
根据所述控制传送所述自由视点运动图像或所述真实相机视点运动图像。
[0376]
(18)一种包括成像装置和信息处理装置的信息处理系统，其中，
[0377]
所述成像装置包括：
[0378]
多个成像单元，所述多个成像单元中的每个成像单元对受摄体进行成像并且生成相机运动图像，
[0379]
成像确定单元，其确定所述多个成像单元是否已经成功地生成所述相机运动图像，以及
[0380]
信息传送单元，其向所述信息处理装置传送由所述多个成像单元生成的多个相机运动图像和由所述成像确定单元获得的确定结果，以及
[0381]
所述信息处理装置包括：
[0382]
信息接收单元，其接收从所述成像装置传送的所述多个相机运动图像和所述确定结果，
[0383]
传送运动图像的运动图像传送单元，以及
[0384]
控制单元，其基于由所述信息接收单元接收到的所述确定结果来控制所述信息传送单元传送自由视点运动图像或真实相机视点运动图像，所述自由视点运动图像是通过使用由所述信息接收单元接收到的所述多个相机运动图像生成的并且从任意位置和方向观看的运动图像，所述真实相机视点运动图像是通过使用由所述信息接收单元接收到的所述相机运动图像生成的并且从所述成像单元的位置和方向观看的运动图像。
[0385]
(19)根据(18)所述的信息处理系统，其中，
[0386]
所述成像装置的成像确定单元确定在所述多个相机运动图像中是否发生不同步和丢帧。
[0387]
(20)根据(18)或(19)所述的信息处理系统，其中
[0388]
所述信息处理装置还包括：
[0389]
控制信息传送单元，其将指定所述相机运动图像的控制信息传送至所述成像装置，所述控制信息是由所述控制单元基于所述确定结果生成的，
[0390]
所述成像装置还包括：
[0391]
控制信息接收单元，其接收从所述信息处理装置传送的所述控制信息，以及
[0392]
所述成像装置的信息传送单元根据由所述控制信息接收单元接收到的所述控制信息将由所述控制单元指定的相机运动图像传送至所述信息处理装置。
[0393]
[附图标记列表]
[0394]
1：信息处理系统
[0395]
11：捕获系统
[0396]
12：服务器
[0397]
13：网络
[0398]
14：观看装置
[0399]
21：成像装置
[0400]
22：传送装置
[0401]
31：相机系统
[0402]
61：终端信息接收单元
[0403]
62：相机系统数目选择单元
[0404]
63：实例生成单元
[0405]
64：成像单元
[0406]
71：成像延迟确定单元
[0407]
72：控制信号接收单元
[0408]
73：传送控制单元
[0409]
74：传送单元
[0410]
91：接收单元
[0411]
92：接收延迟确定单元
[0412]
93：自由视点运动图像生成单元
[0413]
94：真实相机视点运动图像生成单元
[0414]
95：生成延迟确定单元
[0415]
96：分布运动图像生成单元
[0416]
97：控制信号传送单元
[0417]
98：分布运动图像传送单元
[0418]
111：三维重建单元
[0419]
112：虚拟视点运动图像生成单元
[0420]
113：背景组合单元
[0421]
121：真实相机视点运动图像生成单元
[0422]
122：背景组合单元
[0423]
141：终端信息传送单元
[0424]
142：运动图像接收单元
[0425]
143：显示单元
[0426]
201：虚拟视点位置接收单元
[0427]
221：虚拟视点位置传送单元
[0428]
251：真实相机视点位置选择单元