信息处理装置、图像处理系统和信息处理方法与流程

1.本技术涉及信息处理装置、图像处理系统和信息处理方法，尤其涉及与允许从三维空间中的任何视点观察其图像已被捕获的被摄体的对自由视点图像的处理相关的技术。


背景技术：

2.已知以下技术：基于在三维空间中代表其图像已被捕获的被摄体的三维信息，生成与从三维空间中的任何视点观察到的图像对应的自由视点图像(也称为自由视点视频或虚拟视点图像(视频)等)。
3.作为相关的常规技术，可以提到下面的专利文献1。专利文献1公开了与可视为视点移动的路径的拍摄风格(camerawork)的生成相关的技术。
4.引文列表
5.专利文献
6.专利文献1：wo2018/030206a


技术实现要素：

7.本发明要解决的问题
8.自由视点图像也能用作广播内容，并且还被用作例如体育广播的回放图像。例如，在足球或篮球广播中，从实时记录的图像创建诸如投射场景之类的几秒的剪辑，并将该剪辑作为回放图像进行广播。在本公开中，“剪辑”是通过切出或进一步处理记录的图像来创建的某个场景的图像。
9.同时，在广播现场中，实况广播的运营商需要例如非常快速地创建用于回放的剪辑并广播该剪辑。
10.鉴于以上情况，本技术提出使得能够更快地执行包括自由视点图像的剪辑等的图像生成的技术。
11.问题的解决方案
12.根据本技术的信息处理装置包括：区间识别处理单元，被配置为对由多个图像捕获设备同时捕获的多个捕获图像，执行用于识别针对其生成自由视点图像的生成目标图像区间的处理；目标图像传送控制单元，被配置为执行将多个捕获图像中的每一个中的生成目标图像区间的图像数据作为用于其他信息处理装置中的自由视点图像的生成的图像数据而传送的控制；和输出图像生成单元，被配置为生成包括接收到的自由视点图像的输出图像。
13.信息处理装置为例如用作用于在图像处理系统中创建诸如剪辑之类的图像的主控制器的信息处理装置。信息处理装置识别生成自由视点图像的一个帧或多个帧的生成目标图像区间，并将多个捕获图像中的仅生成目标图像区间的图像数据传送到其他信息处理装置(实际创建自由视点图像的自由视点图像服务器)。然后，创建的自由视点图像被接收以生成输出图像。
14.在上述的根据本技术的信息处理装置中，可以设想，区间识别处理单元执行用于将关于识别出的生成目标图像区间的信息通知给其他信息处理装置的处理，并且，目标图像传送控制单元响应于来自其他信息处理装置的请求，执行对生成目标图像区间的图像数据的传送控制。
15.生成目标图像区间被通知给其他信息处理装置，这使得其他信息处理装置能够指定生成自由视点图像所需的图像数据。
16.在上述的根据本技术的信息处理装置中，可以设想，区间识别处理单元将捕获图像的一个帧的区间识别为生成目标图像区间。
17.这是生成一个帧的生成目标图像区间的自由视点图像(即，在停止时间的静止图像的状态下改变视点的自由视点图像的情况下)的处理。
18.在上述的根据本技术的信息处理装置中，可以设想，区间识别处理单元将捕获图像的多个帧的区间识别为生成目标图像区间。
19.这是生成多个帧的生成目标图像区间的自由视点图像(即，在不停止时间的运动图像的状态下改变视点的自由视点图像的情况下)的处理。
20.在上述的根据本技术的信息处理装置中，可以设想，输出图像生成单元生成通过在时间轴上将先前图像或后续图像与自由视点图像组合而获得的输出图像。
21.即，在信息处理装置接收由其他信息处理装置创建的自由视点图像的情况下，信息处理装置将先前图像和后续图像连接到自由视点图像以获得输出图像。
22.在上述的根据本技术的信息处理装置中，可以设想，输出图像生成单元生成输出图像，作为通过基于回放列表信息在时间轴上将自由视点图像与先前图像或后续图像虚拟地组合而获得的虚拟剪辑。
23.即，在信息处理装置接收到由其他信息处理装置创建的自由视点图像的情况下，先前图像和后续图像被连接以形成输出图像，并且图像的连接作为指示回放顺序的回放列表信息上的连接而被虚拟地执行。
24.在上述的根据本技术的信息处理装置中，可以设想，输出图像生成单元从其他信息处理装置获取指定要连接到自由视点图像的先前图像或后续图像的信息，并生成通过基于获取的信息在时间轴上将先前图像或后续图像与自由视点图像组合而获得的输出图像。
25.即，信息处理装置接收由其他信息处理装置创建的自由视点图像，并且还从其他信息处理装置接收指定要连接到自由视点图像的先前图像和后续图像的信息。
26.在上述的根据本技术的信息处理装置中，可以设想，输出图像生成单元从其他信息处理装置获取指定要连接到自由视点图像的先前图像或后续图像的时间长度的信息，基于获取的信息准备先前图像或后续图像，并生成通过在时间轴上将先前图像或后续图像与自由视点图像组合而获得的输出图像。
27.即，信息处理装置接收由其他信息处理装置创建的自由视点图像，并且还从其他信息处理装置接收关于要连接到自由视点图像的先前图像和后续图像的时间长度的信息。
28.根据本技术的其他信息处理装置包括：目标图像获取单元，被配置为获取由多个图像捕获设备同时捕获的多个捕获图像中的每一个中的、针对其生成自由视点图像的生成目标图像区间的图像数据；图像生成处理单元，被配置为通过使用由目标图像获取单元获取的图像数据来生成自由视点图像；和传送控制单元，被配置为执行将生成的自由视点图
像传送到其他信息处理装置的控制。
29.信息处理装置为例如用作图像处理系统中的自由视点图像服务器的信息处理装置。信息处理装置获取多个捕获图像作为针对其生成自由视点图像的场景的区间，基于捕获图像生成自由视点图像，并将自由视点图像传送到用作用于图像创建的主控制器的信息处理装置。
30.在上述的根据本技术的信息处理装置中，可以设想，目标图像获取单元响应于生成目标图像区间的通知，进行对传送多个捕获图像中的每一个中的生成目标图像区间的多组图像数据的请求。
31.即，通过生成目标图像区间的通知，识别要获取的图像区间，并且请求传送区间的多个视点的图像数据。
32.在上述的根据本技术的信息处理装置中，可以设想，目标图像获取单元获取多个捕获图像中的每一个中的、对应于生成目标图像区间的一个帧的图像数据。
33.这是生成一个帧的生成目标图像区间的自由视点图像(即，在停止时间的静止图像的状态下改变视点的自由视点图像的情况下)的处理。
34.在上述的根据本技术的信息处理装置中，可以设想，目标图像获取单元获取多个捕获图像中的每一个中的、对应于生成目标图像区间的多个帧的区间的图像数据。
35.这是生成多个帧的生成目标图像区间的自由视点图像(即，在不停止时间的运动图像的状态下改变视点的自由视点图像的情况下)的处理。
36.在上述的根据本技术的信息处理装置中，可以设想，图像生成处理单元，通过使用从预先存储的视点移动路径信息中选择的视点移动路径信息来生成自由视点图像。
37.指示视点移动的路径的多条信息被预先准备，并例如通过操作员的操作而被选择。
38.在上述的根据本技术的信息处理装置中，可以设想，传送控制单元执行将指定要连接到生成的自由视点图像的先前图像或后续图像的信息传送到其他信息处理装置的控制。
39.即，自由视点图像由用作用于剪辑创建的主控制器的其他信息处理装置来接收，并且，关于要连接到自由视点图像的先前图像和后续图像的信息也被传送，以用于在其他信息处理装置中生成输出图像。
40.在上述的根据本技术的信息处理装置中，可以设想，传送控制单元执行将指定要连接到生成的自由视点图像的先前图像或后续图像的时间长度的信息传送到其他信息处理装置的控制。
41.即，自由视点图像由用作用于剪辑创建的主控制器的其他信息处理装置来接收，并且，关于要连接到自由视点图像的先前图像和后续图像的时间长度的信息也被传送，以用于在其他信息处理装置中生成输出图像。
42.根据本技术的信息处理方法是这样的信息处理方法，其中，用作用于图像创建的主控制器的信息处理装置执行以下处理：区间识别处理，用于对由多个图像捕获设备同时捕获的多个捕获图像，识别针对其生成自由视点图像的生成目标图像区间；目标图像传送控制处理，用于将多个捕获图像中的每一个中的生成目标图像区间的图像数据作为用于其他信息处理装置中的自由视点图像的生成的图像数据而传送；和输出图像生成处理，用于
生成包括接收到的自由视点图像的输出图像。
43.根据本技术的另一信息处理方法是这样的信息处理方法，其中，用作自由视点图像服务器的信息处理装置执行以下处理：图像数据获取处理，用于获取由多个图像捕获设备同时捕获的多个捕获图像中的每一个中的、针对其生成自由视点图像的生成目标图像区间的图像数据；图像生成处理，用于通过使用在图像数据获取处理中获取的图像数据来生成自由视点图像；和传送控制处理，用于执行将生成的自由视点图像传送到其他信息处理装置的控制。
44.因此，各信息处理装置协同工作以生成包括自由视点图像的输出图像。
附图说明
45.图1是根据本技术的实施例的系统配置的框图。
46.图2是根据实施例的设置用于生成自由视点图像的相机的示例的说明图。
47.图3是根据实施例的信息处理装置的硬件配置的框图。
48.图4是根据实施例的图像创建控制器的功能的说明图。
49.图5是根据实施例的自由视点图像服务器的功能的说明图。
50.图6是根据实施例的自由视点图像中的视点的说明图。
51.图7是根据实施例的自由视点图像服务器侧的用户界面画面的说明图。
52.图8是根据实施例的输出剪辑的说明图。
53.图9是根据实施例的包括静止图像fv剪辑的输出剪辑的说明图。
54.图10是根据实施例的包括运动图像fv剪辑的输出剪辑的说明图。
55.图11是根据实施例的输出剪辑的图像的示例的说明图。
56.图12是根据实施例的用于剪辑创建的工作流程的说明图。
57.图13是根据实施例的图像创建控制器的处理的流程图。
58.图14是根据实施例的自由视点图像服务器的处理的流程图。
59.图15是根据实施例的用于相机移动检测的工作流程的说明图。
具体实施方式
60.在下文中，按照以下顺序描述实施例。
61.《1.系统配置》
62.《2.图像创建控制器和自由视点图像服务器的配置》
63.《3.gui》
64.《4.包括自由视点图像的剪辑》
65.《5.剪辑创建处理》
66.《6.相机移动检测》
67.《7.结论和变更示例》
68.《1.系统配置》
69.图1示出根据本技术的实施例的图像处理系统的配置示例。
70.图像处理系统包括图像创建控制器1、自由视点图像服务器2、视频服务器3、多个(例如四个)视频服务器4a、4b、4c和4d、网络附接存储器(nas)5、切换器6、图像转换单元7、
实用服务器8和多个(例如十六个)图像捕获设备10。
71.以下，术语“相机”指的是图像捕获设备10。例如，“相机布置”意味着多个图像捕获设备10的布置。
72.此外，作为视频服务器4a、4b、4c和4d不作区分的总称，使用“视频服务器4”。
73.在图像处理系统中，可以基于从多个图像捕获设备10获取的捕获图像(例如，图像数据v1～v16)来生成与从三维空间中的任何视点观察到的图像对应的自由视点图像，并且，可以创建包括自由视点图像的输出剪辑。
74.在图1中，各单个单元之间的连接状态由实线、虚线和双线表示。
75.实线表示串行数字接口(sdi)的连接，该sdi是用于在诸如相机和切换器之类的广播设备之间连接的接口标准，并且，假设其为例如4k兼容。主要通过sdi布线在各单个设备之间发送和接收图像数据。
76.双线表示用于构建计算机网络(例如10g以太网)的通信标准的连接。图像创建控制器1、自由视点图像服务器2、视频服务器3、4a、4b、4c和4d、nas 5以及实用服务器8经由计算机网络被连接，使得可以相互发送和接收图像数据和各种控制信号。
77.视频服务器3和4之间的虚线表示配备有服务器间文件共享功能的视频服务器3和4经由例如10g网络被连接的状态。作为结果，在视频服务器3以及视频服务器4a、4b、4c和4d之间，各视频服务器可以预览和发送其他视频服务器的材料。即，构建使用多个视频服务器的系统，从而得到高效的突出显示编辑和发送。
78.图像捕获设备10中的每一个实施为例如具有诸如电荷耦合器件(ccd)传感器或互补金属氧化物半导体(cmos)传感器之类的图像捕获元件的数字相机设备，并且获取作为数字数据的捕获图像(图像数据v1～v16)。在本示例中，图像捕获设备10中的每一个获取作为运动图像的捕获图像。
79.在本示例中，假设图像捕获设备10中的每一个捕获正在举行篮球或足球等的比赛的情况的图像，并且，图像捕获设备10中的每一个以预定取向设置在举行比赛的比赛现场中的预定位置。在本示例中，图像捕获设备10的数量是16，但是图像捕获设备10的数量为至少2个或更多就足以实现自由视点图像的生成。图像捕获设备10的数量增加，并且，从许多角度捕获目标被摄体的图像，这提高被摄体的三维恢复的精度，并提高虚拟视点图像的图像质量。
80.图2示出在篮球场周围设置图像捕获设备10的示例。假设圆(
○
)表示图像捕获设备10。例如，图2示出为了重点在图中左侧的球门附近捕获图像的相机布置的示例。当然，相机布置和相机的数量是示例，并且应根据图像捕获和广播的内容和目的被设定。
81.通过信息处理装置来实施图像创建控制器1。可以通过使用例如专用工作站、通用个人计算机或移动终端等来实施图像创建控制器1。
82.图像创建控制器1执行用于视频服务器3和4的控制/动作管理以及用于剪辑创建的处理。
83.作为示例，图像创建控制器1是可由操作员op1操作的设备。操作员op1给出例如选择或创建剪辑内容的指令等。
84.自由视点图像服务器2被实施为根据来自图像创建控制器1等的指令执行用于实际创建自由视点图像(稍后描述的自由视点(fv)剪辑)的处理的信息处理装置。也可以通过
使用例如专用工作站、通用个人计算机或移动终端等来实施自由视点图像服务器2。
85.作为示例，自由视点图像服务器2是可由操作员op2操作的设备。操作员op2执行例如用于创建作为自由视点图像的fv剪辑的拍摄风格的选择操作。
86.在后面描述图像创建控制器1和自由视点图像服务器2的配置和处理。此外，操作员op1和op2执行操作，但是例如，图像创建控制器1和自由视点图像服务器2可以被并排设置并由一个操作员操作。
87.视频服务器3和4中的每一个是图像记录设备，并且包括例如诸如固态驱动器(ssd)或硬盘驱动器(hdd)之类的数据记录单元以及对数据记录单元执行数据记录/回放控制的控制单元。
88.视频服务器4a、4b、4c和4d可以各自接收例如四个系统的输入，并且各自同时记录由四个图像捕获设备10捕获的图像。
89.例如，视频服务器4a记录图像数据v1、v2、v3和v4。视频服务器4b记录图像数据v5、v6、v7和v8。视频服务器4c记录图像数据v9、v10、v11和v12。视频服务器4d记录图像数据v13、v14、v15和v16。
90.这允许同时记录由十六个图像捕获设备10捕获的所有图像。
91.视频服务器4a、4b、4c和4d例如在要广播的体育比赛期间不断记录。
92.视频服务器3例如直接连接到图像创建控制器1，并且可以例如执行两个系统的输入和两个系统的输出。图像数据vp和vq被示为两个系统的输入。作为图像数据vp和vq，可以选择由图像捕获设备10中的任意两个捕获的图像(图像数据v1～v16中的任意两组)。当然，图像数据vp和vq可以是由其他图像捕获设备捕获的图像。
93.图像创建控制器1可以在显示器上显示图像数据vp和vq作为监视器图像。操作员op1可以例如基于输入到视频服务器3的图像数据vp和vq来查看为广播而成像和记录的场景的情况。
94.此外，由于视频服务器3和4被连接以启用文件共享，因此图像创建控制器1可以监视和显示由记录在视频服务器4a、4b、4c和4d中的图像捕获设备10中的每一个捕获的图像，这允许操作员op1彼此查看捕获图像。
95.注意，在本示例中，对由图像捕获设备10中的每一个捕获的图像进行时间编码，并且，可以在视频服务器3、4a、4b、4c和4d的处理中实现帧同步。
96.nas 5是网络上的存储设备，并且包括例如ssd或hdd等。在本示例的情况下，nas 5是这样的设备：在针对自由视点图像的生成传送记录在视频服务器4a、4b、4c和4d中的图像数据v1、v2、
…
和v16中的一些帧的情况下，存储为了在自由视点图像服务器2中进行处理的相同的一些帧或者存储创建的自由视点图像。
97.切换器6是接收经由视频服务器3输出的图像的输入并选择要最终选择和广播的主线图像pgmout的设备。例如，广播导演等执行必要的操作。
98.图像转换单元7例如转换图像捕获设备10对图像数据的分辨率并组合图像数据，生成相机布置的监视图像，并将监视图像提供给实用服务器8。例如，作为8k图像的16系统图像数据(v1～v16)在分辨率转换为4k图像后被转换为以平铺形状排列的4系统图像，并且，4系统图像被供给到实用服务器8。
99.实用服务器8是能够执行各种相关处理的计算机设备，并且在本示例的情况下，实
用服务器8是执行用于检测用于校准的相机移动的处理的设备。例如，实用服务器8监视从图像转换单元7供给的图像数据，以检测相机移动。相机移动为例如如图2所示的那样设置的图像捕获设备10中的任一个的布置位置的变化。关于图像捕获设备10的布置位置的信息是用于生成自由视点图像的重要要素，并且，布置位置的变化需要参数的重新设定。因此，监视相机的移动。
100.《2.图像创建控制器和自由视点图像服务器的配置》
101.例如，具有上述配置的图像创建控制器1、自由视点图像服务器2、视频服务器3和4以及实用服务器8可以被实施为具有图3所示的配置的信息处理装置70。
102.在图3中，信息处理装置70的cpu 71根据存储在rom 72中的程序或从存储单元79下载到ram 73的程序执行各种处理。ram 73还适当地存储cpu 71执行各种处理所需的数据等。
103.cpu 71、rom 72和ram 73经由总线74彼此连接。输入/输出接口75也连接到总线74。
104.包括操作员和操作设备的输入单元76连接到输入/输出接口75。
105.输入单元76可以是例如各种操作员和诸如键盘、鼠标、键、拨号盘、触摸面板、触摸板和遥控器之类的操作设备。
106.输入单元76检测用户操作，并且，由cpu 71解析对应于输入操作的信号。
107.此外，输入/输出接口75集成地或单独地连接到包括液晶显示器(lcd)或有机电致发光(el)面板等的显示单元77，以及连接到包括扬声器等的音频输出单元78。
108.显示单元77是显示各种指令的显示单元，并且通过例如设置在信息处理装置70的外壳中的显示设备或连接到信息处理装置70的单独显示设备等实施。
109.显示单元77用于基于来自cpu 71的命令在显示画面上显示用于各种类型的图像处理的图像和要处理的运动图像等。此外，显示单元77基于来自cpu 71的命令显示各种操作菜单、图标和消息等，即显示为图形用户界面(gui)。
110.在一些情况下，由硬盘或固态存储器实施的存储单元79和由调制解调器实施的通信单元80连接到输入/输出接口75。
111.通信单元80执行经由诸如因特网之类的传输线的通信处理、与各种设备的有线/无线通信和总线通信等。
112.驱动器82也根据需要连接到输入/输出接口75，并且，诸如磁盘、光盘、磁光盘或半导体存储器之类的可移除记录介质81适当地附接到其上。
113.驱动器82可以从可移除记录介质81读取诸如图像文件mf之类的数据文件和各种计算机程序等。由此读出的数据文件存储在存储单元79中，并且，包含于数据文件中的图像和音频由显示单元77和音频输出单元78输出。并且，根据需要将从可移除记录介质81读取的计算机程序等安装在存储单元79中。
114.在信息处理装置70中，软件可以经由通过通信单元80的网络通信或经由可移除记录介质81被安装。或者，软件可以预先存储在rom 72或存储单元79等中。
115.在通过使用这种信息处理装置70实施图像创建控制器1或自由视点图像服务器2的情况下，例如通过软件在cpu 71中实施图4和图5所示的处理功能。
116.作为在用作图像创建控制器1的信息处理装置70的cpu 71中形成的功能，图4示出
区间识别处理单元21、目标图像传送控制单元22和输出图像生成单元23。
117.关于由多个图像捕获设备10同时捕获的多个捕获图像(图像数据v1～v16)，区间识别处理单元21执行用于识别针对其生成自由视点图像的生成目标图像区间的处理。例如，响应于操作员op1执行用于选择要在图像中回放的场景的操作，区间识别处理单元21执行用于识别场景的、尤其是场景的要成为自由视点图像的区间(生成目标图像区间)的时间码的处理以及用于向自由视点图像服务器2通知时间码的处理。
118.这里，生成目标图像区间是指实际用作自由视点图像的帧区间。在为运动图像中的一个帧生成自由视点图像的情况下，该一个帧对应于生成目标图像区间。在这种情况下，自由视点图像的入点/出点具有相同的时间码。
119.此外，在为运动图像中的多个帧的区间生成自由视点图像的情况下，多个帧对应于生成目标图像区间。在这种情况下，自由视点图像的入点/出点具有不同的时间码。
120.注意，尽管稍后描述剪辑的结构，但希望生成目标图像区间的入点/出点与作为要最终生成的输出剪辑的入点/出点不同。这是因为，后面描述的先前剪辑和后续剪辑是耦合的。
121.目标图像传送控制单元22执行发送多个捕获图像中的每一个中的生成目标图像区间的图像数据(即，图像数据v1～v16的一个或更多个帧)作为用于自由视点图像服务器2中的自由视点图像的生成的图像数据的控制。具体地，目标图像传送控制单元22执行将图像数据作为生成目标图像区间从视频服务器4a、4b、4c和4d传送到nas 5的控制。
122.输出图像生成单元23执行用于生成包括接收到的由自由视点图像服务器2生成的自由视点图像(fv剪辑)的输出图像(输出剪辑)的处理。
123.例如，通过输出图像生成单元23的处理，图像创建控制器1在时间轴上将作为先前时间点上的实际运动图像的先前剪辑和作为后续时间点上的实际运动图像的后续剪辑与作为由自由视点图像服务器2生成的虚拟图像的fv剪辑组合，并获得输出剪辑。即，先前剪辑 fv剪辑 后续剪辑被设定为一个输出剪辑。
124.当然，先前剪辑 fv剪辑可以被设定为一个输出剪辑。
125.或者，fv剪辑 后续剪辑可以被设定为一个输出剪辑。
126.又或者，可以在不组合先前剪辑和后续剪辑的情况下生成仅fv剪辑的输出剪辑。
127.在任何情况下，图像创建控制器1生成包括fv剪辑的输出剪辑，以将输出剪辑输出到切换器6，使得输出剪辑可以被用于广播。
128.接下来，作为在用作自由视点图像服务器2的信息处理装置70的cpu 71中形成的功能，图5示出目标图像获取单元31、图像生成处理单元32和传送控制单元33。
129.目标图像获取单元31执行用于获取由多个图像捕获设备10同时捕获的多个捕获图像(图像数据v1～v16)中的每一个中的、针对其生成自由视点图像的生成目标图像区间的图像数据的处理。即，目标图像获取单元31经由nas 5从视频服务器4a、4b、4c和4d获得由通过图像创建控制器1利用区间识别处理单元21的功能识别出的生成目标图像区间的入点/出点指定的一个帧或多个帧的图像数据，并且可以使用图像数据用于自由视点图像的生成。
130.例如，对于所有组图像数据v1～v16，目标图像获取单元31获取生成目标图像区间的一个帧或多个帧的图像数据。为了生成高质量的自由视点图像，获取用于所有组图像数
据v1～v16的生成目标图像区间的图像数据。如上所述，能够通过使用由至少两个或更多个图像捕获设备10捕获的图像生成自由视点图像；然而，能够通过增加图像捕获设备10的数量(即视点的数量)生成更精细的3d模型以及生成高质量的自由视点图像。因此，例如，在设置十六个图像捕获设备10的情况下，针对十六个图像捕获设备10的所有组图像数据(v1～v16)获取用于生成目标图像区间的图像数据。
131.图像生成处理单元32是通过使用由目标图像获取单元31获取的图像数据生成自由视点图像(即，本示例中的fv剪辑)的功能。
132.例如，图像生成处理单元32执行包括3d模型生成和被摄体分析的建模处理以及诸如用于从3d模型生成作为二维图像的自由视点图像的渲染之类的处理。
133.3d模型生成是用于基于由图像捕获设备10中的每一个捕获的图像和从例如实用服务器8等输入的对于图像捕获设备10中的每一个的相机参数来生成在三维空间中代表被摄体的3d模型数据(即，从二维图像恢复的被摄体的三维结构)的处理。具体地，3d模型数据包括在使用(x、y、z)的三维坐标系中代表被摄体的数据。
134.在被摄体分析中，基于3d模型数据分析作为人(选手)的被摄体的位置、取向和姿势。具体地，执行被摄体的位置的估计、被摄体简单模型的生成和被摄体的取向的估计等。
135.然后，基于3d模型数据和被摄体分析信息生成自由视点图像。例如，生成自由视点图像，使得视点相对于静止的作为被摄体的运动员的3d模型移动。
136.参考图6描述自由视点图像的视点。
137.图6a示出从设定于三维空间中的必要视点捕获被摄体的自由视点图像的图像。在这种情况下的自由视点图像中，从大致前面观看被摄体hs1，并且从大致后面观看被摄体hs2。
138.图6b示出在视点的位置在图6a中的箭头c的方向上改变并且设定从大致后面观看被摄体hs1的视点的情况下的虚拟视点图像的图像。在图6b的自由视点图像中，从大致前面观看被摄体hs2，并且，示出在图6a中未示出的被摄体hs3和篮式球门。
139.例如，生成视点在箭头c的方向上逐渐移动从图6a的状态到图6b的状态的、约1秒～2秒的图像作为自由视点图像(fv剪辑)。当然，可以不同地考虑作为自由视点图像的fv剪辑的时间长度和视点移动的路径。
140.传送控制单元33执行将如上所述由图像生成处理单元32生成的自由视点图像(fv剪辑)经由nas 5传送到图像创建控制器1的控制。在这种情况下，传送控制单元33控制以将用于生成输出图像的补充信息也传送到图像创建控制器1。假设补充信息是指定先前剪辑和后续剪辑的图像的信息。即，补充信息是指定使用图像数据v1～v16的哪个图像以创建(切割(cut))先前剪辑和后续剪辑的信息。此外，补充信息可以是指定先前剪辑或后续剪辑的时间长度的信息。
141.《3.gui》
142.如上所述，响应于操作员op2的操作，在自由视点图像服务器2中创建作为自由视点图像的fv剪辑。
143.在自由视点图像服务器2中，例如，在显示单元77中显示如图7所示的gui画面40，使得操作员op2可以查看并执行操作。
144.在场景窗口41中，例如，在监视器中显示用于生成目标图像区间的图像，以允许操
作员op2查看用于生成自由视点图像的场景的内容。
145.在场景列表显示部分42中，例如，显示指定为生成目标图像区间的场景的列表。操作员op2可以在场景列表显示部分42上选择要在场景窗口41中显示的场景。
146.在拍摄风格窗口43中，显示设置的图像捕获设备10的位置、选择的拍摄风格和多个可选择拍摄风格等。
147.拍摄风格是主要指示自由视点图像中的视点移动的路径的信息。例如，在创建作为图像捕获设备10的位置(即，视点)的取向或距离相对于已经为其生成3d模型的被摄体改变的fv剪辑的情况下，形成视点的路径所需的参数被用作关于拍摄风格的信息。作为拍摄风格的显示，例如，显示视点移动的路径等。
148.在拍摄风格列表显示部分44中，显示关于预先创建和存储的拍摄风格的各种信息的列表。操作员op2可以从在拍摄风格列表显示部分44中显示的拍摄风格中选择要用于fv剪辑生成的拍摄风格。
149.在参数显示部分45中，显示与选择的拍摄风格相关的各种参数。
150.在传送窗口46中，显示关于将创建的fv剪辑传送到图像创建控制器1的信息。
151.《4.包括自由视点图像的剪辑》
152.接下来，描述包括fv剪辑作为自由视点图像的输出剪辑。
153.作为示例，图8示出通过连接先前剪辑、fv剪辑和后续剪辑构成输出剪辑的状态。
154.例如，先前剪辑是图像数据v1到图像数据v16中的某图像数据vx中的时间码tc1～tc2的区间中的实际运动图像。
155.此外，后续剪辑是图像数据v1到图像数据v16中的某图像数据vy中的时间码tc5～tc6的区间中的实际运动图像。
156.通常假设图像数据vx是通过fv剪辑的视点移动开始之前的图像捕获设备10的图像数据，并且，图像数据vy是通过fv剪辑的视点移动结束时的图像捕获设备10的图像数据。
157.在本示例中，先前剪辑是具有时间长度t1的运动图像，fv剪辑是具有时间长度t2的自由视点图像，并且后续剪辑是具有时间长度t3的运动图像。整个输出剪辑的回放时间长度等于t1 t2 t3。例如，作为5秒的输出剪辑，可能由1.5秒的运动图像、2秒的自由视点图像和1.5秒的运动图像等构成。
158.这里，fv剪辑被示为时间码tc3～tc4的区间，但这可能对应于也可能不对应于实际运动图像的帧数。
159.具体而言，作为fv剪辑，存在在停止运动图像的时间的状态下移动视点的情况(tc3＝tc4)和在不停止运动图像的时间的状态下移动视点的情况(tc3≠tc4)。
160.为了描述，用于在停止运动图像的时间状态下移动视点的情况的fv剪辑被称为“静止图像fv剪辑”，并且，用于在不停止运动图像的时间的状态下移动视点的情况的fv剪辑被称为“运动图像fv剪辑”。
161.图9示出参考运动图像的帧的静止图像fv剪辑。在本示例的情况下，先前剪辑的时间码tc1和tc2是帧f1和f81的时间码，并且，后续帧f82的时间码是图8中的时间码tc3＝tc4。然后，后续剪辑的时间码tc5和tc6是帧f83和f166的时间码。
162.即，这是生成其中视点相对于一个帧(帧f82)的静止图像移动的自由视点图像的情况。
163.同时，运动图像fv剪辑如图10所示。在本示例的情况下，先前剪辑的时间码tc1和tc2是帧f1和f101的时间码，并且，帧f102和f302的时间码是图8中的时间码tc3和tc4。然后，后续剪辑的时间码tc5和tc6是帧f303和f503的时间码。
164.即，这是生成其中视点相对于多个帧(从帧f102到帧302)的运动图像移动的自由视点图像的情况。
165.因此，由图像创建控制器1确定的生成目标图像区间在创建图9的静止图像fv剪辑的情况下是一个帧(帧f82)的区间，而在创建图10的运动图像fv剪辑的情况下是多个帧(从帧f102到帧302)的区间。
166.图11示出图9的静止图像fv剪辑的示例中的输出剪辑的图像内容的示例。
167.例如，在将几秒的剪辑创建为投篮前后的场景的情况下，视点位置移动的图像作为投射时刻的自由视点图像被插入到投射前后的实际图像之间。
168.在图11中，先前剪辑是从帧f1到帧f81的实际运动图像。fv剪辑是在帧f81的场景中移动视点的虚拟图像。后续剪辑是从帧f83到帧f166的实际运动图像。
169.例如，如上所述生成包括fv剪辑的输出剪辑，并将其用作要广播的图像。
170.注意，fv剪辑的入点/出点及其之间的图像可以包括来自实际相机位置的视点的图像和来自实际相机位置以外的位置的视点的图像两者，可以包括来自实际相机位置的视点的多个图像，并且可以包括来自实际相机位置以外的位置的视点的多个图像。
171.《5.剪辑创建处理》
172.以下，描述在图1的图像处理系统中执行的输出剪辑创建的处理示例。主要描述图像创建控制器1和自由视点图像服务器2的处理。
173.首先，参考图12描述包括操作员op1和op2的操作的处理的流程。注意，图12中的操作员op1的处理概括图像创建控制器1的gui处理和操作员操作。此外，操作员op2的处理概括自由视点图像服务器2的gui处理和操作员操作。
174.·
步骤s1：选择场景
175.为了创建输出剪辑，首先，操作员op1选择要用作fv剪辑的场景。例如，操作员op1在监视图像创建控制器1侧的显示单元77中显示的捕获图像的同时，搜索要用作fv剪辑的场景。然后，选择一个帧或多个帧的生成目标图像区间。
176.关于生成目标图像区间的信息被输送到自由视点图像服务器2，使得操作员op2可以使用自由视点图像服务器2侧的显示单元77中的gui识别它。
177.具体地，关于生成目标图像区间的信息是关于图8中的时间码tc3和tc4的信息。如上所述，在静止图像fv剪辑的情况下，时间码tc3＝tc4。
178.·
步骤s2：指示场景图像传送
179.响应于指定的生成目标图像区间，操作员op2执行用于指示对应场景的图像的传送的操作。响应于该操作，自由视点图像服务器2向图像创建控制器1传送针对时间码tc3和tc4的区间的图像数据的传送请求。
180.·
步骤s3：同步切割
181.响应于对图像数据的传送请求，图像创建控制器1控制视频服务器4a、4b、4c和4d，以针对从图像数据v1到图像数据v16的16系统图像数据中的每一个切割时间码tc3和tc4的区间。
182.·
步骤s4：nas传送
183.然后，图像创建控制器1将所有组图像数据v1到图像数据v16的时间码tc3和tc4的区间的数据传送到nas 5。
184.·
步骤s5：显示缩略图
185.自由视点图像服务器2显示传送到nas 5的时间码tc3和tc4的区间的图像数据v1到图像数据v16的缩略图。
186.·
步骤s6：查看场景
187.操作员op2在通过自由视点图像服务器2的gui画面40中查看时间码tc3和tc4的区间的场景内容。
188.·
步骤s7：选择拍摄风格
189.操作员op2根据场景内容在gui画面40中选择被认为适当的拍摄风格。
190.·
步骤s8：执行生成
191.在选择拍摄风格之后，操作员op2执行操作以执行fv剪辑的生成。
192.·
步骤s9：建模
193.自由视点图像服务器2通过使用图像数据v1～v16中的各组图像数据的时间码tc3和tc4的区间中的帧的数据以及诸如预先输入的图像捕获设备10中的每一个的布置位置之类的参数，生成被摄体的3d模型并且分析被摄体等。
194.·
步骤s10：渲染
195.自由视点图像服务器2基于3d模型数据和被摄体分析信息生成自由视点图像。此时，生成自由视点图像，使得执行基于在步骤s7中选择的拍摄风格的视点移动。
196.·
步骤s11：传送
197.自由视点图像服务器2将生成的fv剪辑传送到图像创建控制器1。此时，不仅可以传送fv剪辑，而且可以传送补充信息，诸如指定先前剪辑和后续剪辑的信息以及指定先前剪辑和后续剪辑的时间长度的信息。
198.·
步骤s12：查看质量
199.注意，在自由视点图像服务器2侧，可以在步骤s11中的传送之前或之后执行操作员op2的质量查看。具体而言，自由视点图像服务器2在gui画面40中回放并显示生成的fv剪辑，使得操作员op2可以查看fv剪辑。在一些情况下，操作员op2也可能在不传送的情况下重新生成fv剪辑。
200.·
步骤s13：生成播放列表
201.图像创建控制器1使用由此传送的fv剪辑以生成输出剪辑。在这种情况下，先前剪辑和后续剪辑中的一个或两个在时间轴上与fv剪辑组合以生成输出剪辑。
202.输出剪辑可以生成为流数据，在该流数据中，作为先前剪辑的各帧、虚拟地生成为fv剪辑的各帧和作为后续剪辑的各帧实际在时间序列中连接；然而，在处理示例中，帧作为播放列表而虚拟地连接。
203.具体而言，生成播放列表，使得在回放作为先前剪辑的帧区间之后回放fv剪辑，然后回放作为后续剪辑的帧区间，使得可以在不生成生成实际连接为输出剪辑的流数据的情况下回放输出剪辑。
204.·
步骤s14：查看质量
205.图像创建控制器1侧的gui允许基于播放列表的回放，并且操作员op1查看输出剪辑的内容。
206.·
步骤s15：指示回放
207.操作员op1根据质量查看通过预定操作给出回放指令。图像创建控制器1识别回放指令的输入。
208.·
步骤s16：回放
209.响应于回放指令，图像创建控制器1将输出剪辑供给到切换器6。这使得能够执行输出剪辑的广播。
210.图13示出图像创建控制器1的处理，并且，图14示出用于实施上述处理过程的自由视点图像服务器2的处理。
211.图13示出通过图4所示的各功能由用作图像创建控制器1的信息处理装置70的cpu 71执行的处理。
212.图14示出通过图5所示的各功能由用作自由视点图像服务器2的信息处理装置70的cpu 71执行的处理。
213.在图13的步骤s101中，图像创建控制器1执行捕获图像显示控制。例如，图1所示的图像数据vp和vq显示在显示单元77中，并且可以由操作员op1监视。
214.在图13的步骤s102中，图像创建控制器1监视用于选择生成目标图像区间的操作。在不执行选择操作的情况下，处理进行到另一处理。
215.当在某个时间点检测到操作员op1对生成目标图像区间的选择操作时，图像创建控制器1的处理从步骤s102进行到步骤s103，并且，图像创建控制器1执行用于将关于生成目标图像区间的信息(即，关于指示针对其生成fv剪辑的场景的区间的入点/出点的信息)通知给自由视点图像服务器2的处理。
216.然后，在步骤s104中，图像创建控制器1等待来自自由视点图像服务器2的传送指令。
217.在图14的步骤s201中，自由视点图像服务器2侧查看来自图像创建控制器1的生成目标图像区间的通知。
218.当接收到关于生成目标图像区间的信息时，自由视点图像服务器2的处理从步骤s201进行到执行用于图像数据的传送请求的处理的步骤s202。例如，自由视点图像服务器2在gui画面中显示生成目标图像区间的通知，并将该通知呈现给操作员op2，这使得能够传送请求操作。然后，响应于操作员op2的操作，传送请求被发送到图像创建控制器1。
219.注意，在以上描述中，传送请求涉及操作员op2的操作；然而，可以在不需要任何特定操作的情况下进行传送请求。
220.当发送传送请求时，自由视点图像服务器2在步骤s203中等待图像数据(v1～v16)中所需的生成目标图像区间的帧的数据被传送到nas 5。
221.当接收到来自自由视点图像服务器2的传送请求时，图像创建控制器1的处理从图13的步骤s104进行到步骤s105，并且图像创建控制器1执行控制视频服务器4a、4b、4c和4d以切割生成目标图像区间并将其传送到nas 5。由此，图像数据v1～v16中的生成目标图像区间的入点/出点的区间的帧(一个帧或多个帧)被传送到nas 5。
222.然后，图像创建控制器1的处理进行到步骤s106，并等待要从自由视点图像服务器
2发送的fv剪辑。
223.自由视点图像服务器2将图像数据传送到nas 5，使得可以在可处理状态下获取图像数据。在图像数据被完全传送到nas 5并且自由视点图像服务器2准备好处理图像数据的情况下，处理从图14中的步骤s203进行到步骤s204，并且，通过使用获取的图像数据在gui画面40中显示场景。这允许操作员op2确认要针对其创建fv剪辑的场景的内容。
224.然后，在步骤s205中，自由视点图像服务器2监视操作员op2的拍摄风格选择操作。
225.当检测到操作员op2的拍摄风格选择操作时，自由视点图像服务器2的处理从步骤s205进行到确定拍摄风格并且设定处理参数的步骤s206。然后，在步骤s207中，监视操作员op2的创建执行操作。注意，在实践中，希望允许操作员op2再次选择拍摄风格。
226.当检测到操作员op2的创建执行操作时，自由视点图像服务器2的处理从步骤s207进行到执行上述建模处理的步骤s208。然后，在步骤s209中执行渲染以生成fv剪辑。
227.在步骤s210中，自由视点图像服务器2在gui画面40中显示生成的fv剪辑，使得操作员op2可以查看fv剪辑。然后，在步骤s211中监视操作员op2的传送操作，并且，fv剪辑在步骤s212中响应于传送操作被发送到图像创建控制器1。并且，此时，在某些情况下，指定先前剪辑和后续剪辑的信息以及指定先前剪辑和后续剪辑的时间长度的信息作为补充信息被传送。
228.当在图13的步骤s106中确认fv剪辑的接收时，图像创建控制器1的处理进行到设定先前剪辑和后续剪辑的步骤s107。例如，基于补充信息选择先前剪辑和后续剪辑。具体地，设定将图像数据v1～v16中的哪一个用于先前剪辑和后续剪辑。
229.先前剪辑期望是通过对应于fv剪辑的开始图像的视点的图像捕获设备10的图像。并且，后续剪辑期望是通过对应于fv剪辑的结束图像的视点的图像捕获设备10的图像。使用哪个图像捕获设备10作为fv剪辑的开始图像的视点位置和结束图像的视点位置来捕获的图像是自由视点图像服务器2已知的信息。即，它是由在当前fv剪辑生成处理中使用的拍摄风格限定的、关于对应于fv剪辑的开始图像的图像捕获设备10和对应于fv剪辑的结束图像的图像捕获设备10的信息。因此，图像创建控制器1可以通过进行设定使得自由视点图像服务器2发送指定先前剪辑和后续剪辑的信息作为将它们指示为补充信息的信息，很容易地设定先前剪辑和后续剪辑。
230.此外，图像创建控制器1还设定先前剪辑和后续剪辑的时间长度，并且仅需要根据传送的补充信息设定其时间长度。例如，为了通过操作员op2侧根据fv剪辑的内容和时间长度以及拍摄风格确定先前剪辑和后续剪辑的长度，期望自由视点图像服务器2侧确定先前剪辑和后续剪辑的时间长度，并且图像创建控制器1相应地设定先前剪辑和后续剪辑。
231.注意，当然，图像创建控制器1可以确定先前剪辑和后续剪辑的时间长度，或者，可以确定固定时间长度。
232.在步骤s108中，图像创建控制器1通过组合先前剪辑、fv剪辑和后续剪辑创建输出剪辑。如上所述，在这种情况下，可以通过生成播放列表并虚拟地组合播放列表创建输出剪辑。
233.在步骤s109中，图像创建控制器1执行用于将输出剪辑传送到切换器6的处理。实际上，输出剪辑根据播放列表被回放，使得操作员op1可以查看内容，并且响应于操作员op1的操作被传送到切换器6。
234.如上所述，图像创建控制器1和自由视点图像服务器2执行图13和图14的处理，使得生成和广播包括fv剪辑的输出剪辑，等等。
235.《6.相机移动检测》
236.注意，为了生成自由视点图像，通过使用图像数据v1、v2、
…
和v16生成3d模型，因此包括图像捕获设备10中的每一个的位置信息的参数是重要的。
237.例如，在某个图像捕获设备10的位置在广播期间移动的情况下，需要相应地校准参数。因此，在图1中的图像处理系统中，实用服务器8检测相机移动。
238.参考图15描述检测相机移动时的图像创建控制器1和实用服务器8的处理过程。图15以类似于图12的格式示出处理过程，但图15示出操作员op2还操作实用服务器8的示例。
239.·
步骤s30：hd输出
240.图像创建控制器1控制视频服务器4a、4b、4c和4d，以将图像数据输出到图像转换单元7，以供用于相机移动的检测。来自视频服务器4a、4b、4c和4d的图像(即，十六个图像捕获设备10的图像)，经受通过图像转换单元7的分辨率转换，并且，结果被供给到实用服务器8。
241.·
步骤s31：生成背景
242.实用服务器8基于由此供给的图像生成背景图像。由于背景图像是除非改变相机位置否则不改变的图像，因此，例如，针对16系统图像数据(v1～v16)，生成不包括诸如选手之类的被摄体的背景图像。
243.·
步骤s32：查看差异
244.背景图像显示在gui中，使得操作员op2可以查看图像中的变化。
245.·
步骤s33：自动检测移动
246.通过在每个时间点对背景图像执行比较处理，可以自动检测相机移动。
247.·
步骤s34：检测相机移动
248.作为上述的步骤s32或步骤s33的结果，检测某个图像捕获设备10的移动。
249.·
步骤s35：获取图像
250.随着图像捕获设备移动，需要校准。因此，实用服务器8从图像创建控制器1请求处于移动后状态的图像数据。
251.·
步骤s36：切割剪辑
252.响应于来自实用服务器8的图像获取请求，图像创建控制器1控制视频服务器4a、4b、4c和4d以对图像数据v1～v16执行剪辑切割。
253.·
步骤s37：nas传送
254.图像创建控制器1控制视频服务器4a、4b、4c和4d，以将由此切割为剪辑的图像数据传送到nas 5。
255.·
步骤s38：校正特征点
256.向nas 5的传送允许实用服务器8参考并且还显示相机移动后状态下的图像。操作员op2执行校准所需的操作，诸如特征点校正。
257.·
步骤s39：重新校准
258.实用服务器8再次执行用于通过使用相机移动后状态下的图像数据(v1～v16)创建3d模型的校准。
259.·
步骤s40：重新获取背景
260.在校准之后，响应于操作员op2的操作，实用服务器8进行重新获取用于背景图像的图像数据的请求。
261.·
步骤s41：切割剪辑
262.响应于来自实用服务器8的图像获取请求，图像创建控制器1控制视频服务器4a、4b、4c和4d，以对图像数据v1～v16执行剪辑切割。
263.·
步骤s42：nas传送
264.图像创建控制器1控制视频服务器4a、4b、4c和4d，以将由此切割为剪辑的图像数据传送到nas 5。
265.·
步骤s43：生成背景
266.实用服务器8通过使用传送到nas 5的图像数据生成背景图像。这被例如用作充当用于相机移动的后续检测的参考的背景图像。
267.例如，如在以上的过程中那样执行相机移动的检测和校准，因此，例如，即使在图像捕获设备10的位置在广播期间移动的情况下，也相应地校正参数，使得可以连续生成具有良好精度的fv剪辑。
268.《7.结论和变更示例》
269.上述实施例具有以下效果。
270.用作根据实施例的图像创建控制器1的信息处理装置70包括：区间识别处理单元21，被配置为对由多个图像捕获设备10同时捕获的多个捕获图像(例如，图像数据v1～v16)，执行用于识别针对其生成自由视点图像的生成目标图像区间的处理；目标图像传送控制单元22，被配置为执行将多个捕获图像(v1～v16)中的每一个中的生成目标图像区间的图像数据作为用于在自由视点图像服务器2中的fv剪辑的生成的图像数据而传送的控制；和输出图像生成单元23，被配置为生成包括接收到的fv剪辑的输出剪辑。
271.此外，作为根据本实施例的自由视点图像服务器2的信息处理装置70包括：目标图像获取单元31，被配置为获取由多个图像捕获设备10同时捕获的多个捕获图像(v1～v16)中的每一个中的、针对其生成自由视点图像的生成目标图像区间的图像数据；图像生成处理单元32，被配置为使用获取的图像数据来生成自由视点图像；和发送控制单元33，被配置为执行将生成的自由视点图像发送到图像创建控制器1的控制。
272.在这种配置的情况下，图像创建控制器1仅将用于fv剪辑的生成目标图像区间的图像数据传送到nas 5。自由视点图像服务器2基于传送到nas 5的16系统图像数据生成fv剪辑，并将该fv剪辑发送到图像创建控制器1。图像创建控制器1生成包括fv剪辑的输出剪辑。
273.因此，传送到nas 5(自由视点图像服务器2侧)的图像数据量小，自由视点图像服务器2侧的处理负载小，这使得能够在短时间内生成fv剪辑。此外，只需要将fv剪辑发送到图像创建控制器1侧，并且减少了自由视点图像服务器2上的处理负载，这对于快速剪辑创建是有效的。
274.通常，例如，在创建包括fv剪辑的输出剪辑的情况下，假设将整个输出剪辑的场景的图像发送到nas 5(自由视点图像服务器2侧)，并且在自由视点图像服务器2侧执行用于生成包括先前剪辑和后续剪辑的整个输出剪辑的处理，这需要相对较长的处理时间。例如，
在广播站点中，存在在播放10秒之后广播回放的请求，但很难在短时间内生成包括自由视点图像的剪辑。
275.另一方面，在本实施例的情况下，自由视点图像服务器2基于fv剪辑的区间中的场景的图像数据足以创建fv剪辑。这使得实施例的操作对于缩短输出剪辑创建的时间非常有用。
276.例如，在体育等的实况广播的情况下，可能需要在大约10秒内创建输出剪辑，或使得立即广播回放。这对于支持此类应用也是有利的。
277.此外，随着图像捕获设备10的数量更大，可以创建具有更高精度的自由视点剪辑；因此，希望尽可能多地配置图像捕获设备10。随着图像捕获设备10的数量增加，用于fv剪辑的区间的数据量增加。鉴于此，更希望传送图像数据的较短区间。例如，在如在本实施例中那样传送由十六个图像捕获设备10捕获的图像的情况下，清楚的是，与向十六个nas 5传送整个输出剪辑的时间码区间(tc1～tc6)上的图像数据相比，向十六个nas 5传送fv剪辑的时间码区间(tc3～tc4：tc3＝tc4或tc3≠tc4)上的图像数据在系统处理效率方面极为有利。
278.根据本实施例的图像创建控制器1执行用于向自由视点图像服务器2通知关于识别出的生成目标图像区间的信息的处理，并且响应于来自自由视点图像服务器2的请求，对生成目标图像区间的图像数据执行传送控制。
279.此外，根据本实施例的自由视点图像服务器2响应于生成目标图像区间的通知，进行对传送多个捕获图像中的每一个中的生成目标图像区间的多组图像数据的请求。
280.结果，在图像创建控制器1通知目标图像区间之后，可以根据自由视点图像服务器2或操作员op2侧的便利性生成fv剪辑。这防止了自由视点图像服务器2侧的处理变得复杂，并且简化了fv剪辑生成处理和操作员op2的操作。
281.在实施例中，描述了其中图像创建控制器1的区间识别处理单元21将捕获图像的一个帧的区间识别为生成目标图像区间的示例。自由视点图像服务器2的目标图像获取单元31获取多个捕获图像中的每一个中的、对应于生成目标图像区间的一个帧的图像数据。即，这是生成静止图像fv剪辑的情况。
282.在停止时间的静止图像的状态下改变视点的静止图像fv剪辑的情况下，自由视点图像服务器2通过十六个图像捕获设备10针对图像数据v1到图像数据v16分别获取仅一个帧就足够了。这可以极大地减少到nas 5的传送处理和自由视点图像服务器2的处理中的处理负载。
283.在实施例中，描述了其中图像创建控制器1的区间识别处理单元21将捕获图像的多个帧的区间识别为生成目标图像区间的示例。自由视点图像服务器2的目标图像获取单元31获取多个捕获图像中的每一个中的、对应于生成目标图像区间的多个帧的区间的图像数据。即，这是生成运动图像fv剪辑的情况。
284.在不停止时间的运动图像的状态下改变视点的运动图像fv剪辑的情况下，自由视点图像服务器2通过十六个图像捕获设备10针对图像数据v1到图像数据v16分别获取仅要成为fv剪辑的运动图像的区间中的多个帧就足够了。由于获得了最小必要帧区间，因此在到nas 5的传送处理和自由视点图像服务器2的处理中不执行不必要的处理。
285.在实施例中，图像创建控制器1的输出图像生成单元23，生成通过在时间轴上将先
前图像或后续图像与自由视点图像组合而获得的输出图像。
286.具体而言，输出图像生成单元23生成其中先前剪辑或后续剪辑与接收到的fv剪辑组合的输出剪辑，使得例如可以生成其中视点在场景中间移动的输出剪辑。此外，在图像创建控制器1侧将先前剪辑和后续剪辑与fv剪辑相结合，这减少了自由视点图像服务器2上的处理负载，这对于快速剪辑创建是有效的。
287.在实施例中，图像创建控制器1的输出图像生成单元23生成输出图像，作为通过基于回放列表信息在时间轴上将自由视点图像与先前图像或后续图像虚拟地组合而获得的虚拟剪辑。
288.具体而言，形成其中先前剪辑和后续剪辑连接到fv剪辑的播放列表，这使得可以通过沿播放列表回放来输出剪辑的图像，而不实际创建作为图像数据流的输出剪辑。这简化了图像创建控制器1侧的处理，并缩短了创建输出剪辑的时间，这适合于快速创建输出剪辑的请求。
289.在该实施例中，描述了一个示例，其中自由视点图像服务器2的发送控制单元33执行将指定要连接到生成的自由视点图像的先前图像或后续图像的信息作为补充信息发送到图像创建控制器1的控制。然后，图像创建控制器1的输出图像生成单元23从自由视点图像服务器2获取指定要连接到自由视点图像的先前图像或后续图像的信息，并生成通过基于该信息在时间轴上将先前图像或后续图像与自由视点图像组合而获得的输出图像。
290.fv剪辑是其中视点从某个视点(即，某个图像捕获设备10的图像)改变到其他视点(即，其他图像捕获设备10的图像)的图像。即，根据自由视点图像服务器2选择的拍摄风格，可以掌握通过哪个图像捕获设备10捕获的图像被用作要连接到fv剪辑的先前和后续图像的图像。因此，图像创建控制器1可以通过从自由视点图像服务器2获取关于先前剪辑或后续剪辑的信息，通过容易的处理来准备适当的图像作为要连接到fv剪辑的先前剪辑或后续剪辑。然后，将它们在时间轴上相互组合，使得可以生成视点移动前后具有良好兼容性的输出剪辑。
291.此外，由于可以基于拍摄风格信息来识别先前剪辑和后续剪辑，因此自由视点图像服务器2上的处理负载没有增加。
292.在该实施例中，描述了一个示例，其中自由视点图像服务器2的发送控制单元33执行将指定要连接到生成的自由视点图像的先前图像或后续图像的时间长度的信息作为补充信息发送到图像创建控制器1的控制。然后，图像创建控制器1的输出图像生成单元23从自由视点图像服务器2获取指定要连接到自由视点图像的先前图像或后续图像的时间长度的信息，基于获取的信息准备先前图像或后续图像，并生成通过在时间轴上将先前图像或后续图像与自由视点图像组合而获得的输出图像。
293.自由视点图像服务器2指定要连接到表示视点移动的fv剪辑的先前剪辑和后续剪辑的时间长度，这使得能够生成具有从自由视点图像服务器2侧假定的时间长度的输出剪辑。例如，创建fv剪辑的操作员op2可以根据fv剪辑的内容设定输出剪辑的时间长度。
294.已经描述了一个示例，其中，在根据本实施例的自由视点图像服务器2中，图像生成处理单元32通过使用从预先存储的拍摄风格信息(视点移动路径信息)中选择的拍摄风格信息来生成自由视点图像。
295.多条拍摄风格信息被存储为指示视点移动路径的信息，并且操作员op2根据指定
场景选择拍摄风格信息。这允许仅通过操作员op2根据作为生成目标图像区间的场景的内容选择拍摄风格信息来生成fv剪辑。因此，可以在短时间内创建根据场景的内容的视点移动(拍摄风格)的fv剪辑。
296.作为实施例，可以使用例如使cpu、dsp等或包括cpu和dsp的设备执行图13中描述的处理的程序。
297.具体地，根据本实施例的程序是使信息处理装置执行以下处理的程序：区间识别处理(s102、s103)，用于对由多个图像捕获设备10同时捕获的多个捕获图像(v1～v16)，识别针对其生成自由视点图像的生成目标图像区间；目标图像传送控制处理(s105)，用于将多个捕获图像中的每一个中的生成目标图像区间的图像数据作为用于其他信息处理装置中的自由视点图像的生成的图像数据而传送；和输出图像生成处理(s107、s108)，用于生成包括接收到的自由视点图像的输出图像。
298.通过这样的程序，可以在作为信息处理装置70的设备中实施上述图像创建控制器1。
299.此外，作为实施例，可以使用例如使cpu、dsp等或包括cpu和dsp的设备执行图14中描述的处理的程序。
300.具体地，根据本实施例的程序是使信息处理装置执行以下处理的程序：图像数据获取处理(s202、s203)，用于获取由多个图像捕获设备10同时捕获的多个捕获图像(v1～v16)中的每一个中的、针对其生成自由视点图像的生成目标图像区间的图像数据；图像生成处理(s204～s209)，用于通过使用在图像数据获取处理中获取的图像数据来生成自由视点图像；和传送控制处理(s212)，用于执行将生成的自由视点图像传送到其他信息处理装置的控制。
301.通过这样的程序，可以在作为信息处理装置70的设备中实施上述自由视点图像服务器2。
302.这些程序可以预先记录在hdd中，作为内置在诸如计算机设备、具有cpu的微型计算机中的rom等设备中的记录介质。
303.或者，可以将程序临时或永久存储(记录)于可移除记录介质，诸如软磁盘、光盘只读存储器(cd-rom)、磁光盘(mo)盘、数字多功能光盘(dvd)、蓝光光盘(注册商标)、磁盘、半导体存储器或存储卡。这种可移除记录介质可以作为所谓的软件包提供。
304.此外，这样的程序可以从可移除记录介质安装到个人计算机等，或者可以经由诸如局域网(lan)或因特网之类的网络从下载站点下载。
305.此外，这样的程序适合广泛地提供给本实施例的图像创建控制器1和自由视点图像服务器2。例如，通过将程序下载到个人计算机、便携式信息处理装置、移动电话、游戏设备、视频设备、个人数字助理(pda)等，个人计算机等可以用作本公开的图像创建控制器1或自由视点图像服务器2。
306.注意，本说明书中描述的效果只是示例，不是限制性的，并且可能还有其他效果。
307.注意，本技术也可以如下配置。
308.(1)
309.一种信息处理装置，包括：
310.区间识别处理单元，被配置为对由多个图像捕获设备同时捕获的多个捕获图像，
执行用于识别针对其生成自由视点图像的生成目标图像区间的处理；
311.目标图像传送控制单元，被配置为执行将所述多个捕获图像中的每一个中的生成目标图像区间的图像数据作为用于其他信息处理装置中的自由视点图像的生成的图像数据而传送的控制；和
312.输出图像生成单元，被配置为生成包括接收到的自由视点图像的输出图像。
313.(2)
314.根据上述的(1)所述的信息处理装置，其中，
315.所述区间识别处理单元，执行用于向所述其他信息处理装置通知关于识别出的生成目标图像区间的信息的处理，以及
316.所述目标图像传送控制单元，响应于来自所述其他信息处理装置的请求，执行对生成目标图像区间的图像数据的传送控制。
317.(3)
318.根据上述的(1)或(2)所述的信息处理装置，其中，
319.所述区间识别处理单元将捕获图像的一个帧的区间识别为生成目标图像区间。
320.(4)
321.根据上述的(1)或(2)所述的信息处理装置，其中，
322.所述区间识别处理单元将捕获图像的多个帧的区间识别为生成目标图像区间。
323.(5)
324.根据上述的(1)～(4)中的任一项所述的信息处理装置，其中，
325.所述输出图像生成单元，生成通过在时间轴上将先前图像或后续图像与自由视点图像组合而获得的输出图像。
326.(6)
327.根据上述的(1)～(5)中的任一项所述的信息处理装置，其中，
328.所述输出图像生成单元生成输出图像，作为通过基于回放列表信息在时间轴上将自由视点图像与先前图像或后续图像虚拟地组合而获得的虚拟剪辑。
329.(7)
330.根据上述的(1)～(6)中的任一项所述的信息处理装置，其中，
331.所述输出图像生成单元，从所述其他信息处理装置获取指定要连接到自由视点图像的先前图像或后续图像的信息，并且生成通过基于获取的信息在时间轴上将先前图像或后续图像与自由视点图像组合而获得的输出图像。
332.(8)
333.根据上述的(1)～(7)中的任一项所述的信息处理装置，其中，
334.所述输出图像生成单元，从所述其他信息处理装置获取指定要连接到自由视点图像的先前图像或后续图像的时间长度的信息，基于获取的信息来准备先前图像或后续图像，并且生成通过在时间轴上将先前图像或后续图像与自由视点图像组合而获得的输出图像。
335.(9)
336.一种信息处理装置，包括：
337.目标图像获取单元，被配置为获取由多个图像捕获设备同时捕获的多个捕获图像
中的每一个中的、针对其生成自由视点图像的生成目标图像区间的图像数据；
338.图像生成处理单元，被配置为通过使用由所述目标图像获取单元获取的图像数据来生成自由视点图像；和
339.传送控制单元，被配置为执行将生成的自由视点图像传送到其他信息处理装置的控制。
340.(10)
341.根据上述的(9)所述的信息处理装置，其中，
342.所述目标图像获取单元，响应于生成目标图像区间的通知，进行对传送所述多个捕获图像中的每一个中的生成目标图像区间的多组图像数据的请求。
343.(11)
344.根据上述的(9)或(10)所述的信息处理装置，其中，
345.所述目标图像获取单元，获取所述多个捕获图像中的每一个中的、对应于生成目标图像区间的一个帧的图像数据。
346.(12)
347.根据上述的(9)或(10)所述的信息处理装置，其中，
348.所述目标图像获取单元，获取所述多个捕获图像中的每一个的、对应于生成目标图像区间的多个帧的区间的图像数据。
349.(13)
350.根据上述的(9)～(12)中的任一项所述的信息处理装置，其中，
351.所述图像生成处理单元，通过使用从预先存储的视点移动路径信息中选择的视点移动路径信息来生成自由视点图像。
352.(14)
353.根据上述的(9)～(13)中的任一项所述的信息处理装置，其中，
354.所述传送控制单元，执行向所述其他信息处理装置，传送指定要连接到所述生成的自由视点图像的先前图像或后续图像的信息的控制。
355.(15)
356.根据上述的(9)～(14)中的任一项所述的信息处理装置，其中，
357.所述传送控制单元，执行向所述其他信息处理装置，传送指定要连接到所述生成的自由视点图像的先前图像或后续图像的时间长度的信息的控制。
358.(16)
359.一种图像处理系统，包括第一信息处理装置和第二信息处理装置以输出包括自由视点图像的输出图像，其中，
360.所述第一信息处理装置包括：
361.区间识别处理单元，被配置为对由多个图像捕获设备同时捕获的多个捕获图像，执行用于识别针对其生成自由视点图像的生成目标图像区间的处理；
362.目标图像传送控制单元，被配置为执行将所述多个捕获图像中的每一个中的生成目标图像区间的图像数据作为用于生成所述第二信息处理装置中的自由视点图像的图像数据而传送的控制；和
363.输出图像生成单元，被配置为生成包括接收到的自由视点图像的输出图像，以及
364.第二信息处理装置包括：
365.目标图像获取单元，被配置为获取所述多个捕获图像中的每一个中的、针对其生成自由视点图像的生成目标图像区间的图像数据；
366.图像生成处理单元，被配置为通过使用由所述目标图像获取单元获取的图像数据来生成自由视点图像；和
367.传送控制单元，被配置为执行将生成的自由视点图像传送到所述第一信息处理装置的控制。
368.(17)
369.一种信息处理方法，包括：
370.通过信息处理装置执行区间识别处理，所述区间识别处理用于对由多个图像捕获设备同时捕获的多个捕获图像，识别针对其生成自由视点图像的生成目标图像区间；
371.通过所述信息处理装置执行目标图像传送控制处理，所述目标图像传送控制处理用于将所述多个捕获图像中的每一个中的生成目标图像区间的图像数据，作为用于其他信息处理装置中的自由视点图像的生成的图像数据而传送；和
372.通过所述信息处理装置执行输出图像生成处理，所述输出图像生成处理用于生成包括接收到的自由视点图像的输出图像。
373.(18)
374.一种信息处理方法，包括：
375.通过信息处理装置执行图像数据获取处理，所述图像数据获取处理用于获取由多个图像捕获设备同时捕获的多个捕获图像中的每一个中的、针对其生成自由视点图像的生成目标图像区间的图像数据；
376.通过所述信息处理装置执行图像生成处理，所述图像生成处理用于通过使用在所述图像数据获取处理中获取的图像数据来生成自由视点图像；和
377.通过信息处理装置执行传送控制处理，所述传送控制处理用于执行将生成的自由视点图像传送到其他信息处理装置的控制。
378.附图标记列表
379.1图像创建控制器
380.2自由视点图像服务器
381.3、4、4a、4b、4c、4d视频服务器
382.5nas
383.6切换器
384.7图像转换单元
385.8实用服务器
386.10图像捕获设备
387.21区间识别处理单元
388.22目标图像传送控制单元
389.23输出图像生成单元
390.31目标图像获取单元
391.32图像生成处理单元
392.33传送控制单元
393.70信息处理装置
394.71cpu
395.77显示单元。