图像显示装置、控制方法及非暂时性计算机可读存储介质与流程

1.本公开涉及一种根据虚拟视点图像的图像显示装置、控制方法及非暂时性计算机可读存储介质。


背景技术：

2.近年来，一种用于生成虚拟视点图像的技术已经受到关注，在该技术中，从由多个照相机拍摄的多个拍摄图像中生成任意视点图像。虚拟相机被用作用于方便地描述为了生成虚拟视点图像而指定的虚拟视点的概念。与物理相机不同，虚拟相机可以在没有物理限制的情况下在三维空间中具有各种行为，例如移动/旋转/放大/缩小。为了适当地控制虚拟相机，可以考虑与每种行为相对应的多种操作方法。
3.在日本特开第6419278号公报中，公开了一种方法，在包括触摸面板的图像显示装置上显示虚拟视点图像的结构中，该方法用于根据在触摸板上执行触摸操作的手指数来控制虚拟相机的移动。
4.在日本特开第6419278号公报中公开的方法中，根据虚拟视点的预期行为，在期望明显地移动虚拟视点的情况下以及在期望进行复杂变更的情况下，操作是困难的。


技术实现要素：

5.本公开的一方面是消除上述使用传统技术出现的问题。
6.本公开的特征是提供一种用于在浏览虚拟视点图像时提高便利性的技术。
7.根据本公开的第一方面，提供一种图像显示装置，所述图像显示装置包括：接受单元，其被配置为接受用于确定第一参数的用户操作，所述第一参数用于指定虚拟视点图像中的从虚拟视点观看的姿势以及目标点的位置中的至少一个；获取单元，其被配置为获取第二参数，所述第二参数被预先设置并且用于指定虚拟视点图像中的从虚拟视点观看的姿势以及目标点的位置中的至少一个；以及显示单元，其被配置为在显示单元上显示基于所述第一参数和所述第二参数中的至少一者所生成的虚拟视点图像。
8.根据本公开的第二方面，提供一种图像显示装置的控制方法，所述控制方法包括：接受用于确定第一参数的用户操作，所述第一参数用于指定虚拟视点图像中的从虚拟视点观看的姿势以及目标点的位置中的至少一个；获得第二参数，所述第二参数被预先设置并且用于指定虚拟视点图像中的从虚拟视点观看的姿势以及目标点的位置中的至少一个；以及向显示单元显示基于所述第一参数和所述第二参数中的至少一者所生成的虚拟视点图像。
9.根据本公开的又一方面，提供一种非易失性计算机可读存储介质，其用于存储使具有显示单元的计算机执行图像显示装置的控制方法的程序，所述控制方法包括：接受用于确定第一参数的用户操作，所述第一参数用于指定虚拟视点图像中的从虚拟视点观看的姿势以及目标点的位置中的至少一个；获得第二参数，所述第二参数被预先设置并且用于指定虚拟视点图像中的从虚拟视点观看的姿势以及目标点的位置中的至少一个；以及向显
示单元显示基于所述第一参数和所述第二参数中的至少一者所生成的虚拟视点图像。
10.根据以下参照附图对示例性实施例的详细描述，本发明的其他特征将变得清楚。
附图说明
11.说明书附图并入说明书并构成说明书的一部分，其示出了本公开的实施例，并且与说明书一起用于解释本公开的原理。
12.图1a是虚拟视点图像生成系统的配置图。
13.图1b是示出多个传感器系统101的安装示例的图。
14.图2a是示出图像显示装置的功能的图。
15.图2b是示出图像显示装置的构造的图。
16.图3a是示出虚拟相机的坐标系的图。
17.图3b是示出虚拟相机的位置的图。
18.图3c是示出虚拟相机的姿势的图。
19.图3d是示出虚拟相机的移动的图。
20.图3e是示出虚拟相机的移动的图。
21.图3f是示出虚拟相机的移动的图。
22.图3g是示出虚拟相机的移动的图。
23.图3h是示出虚拟相机的移动的图。
24.图4a是示出通过自动操作的虚拟相机的操作示例的图。
25.图4b是示出虚拟相机的动作的设置示例的图。
26.图4c是示出自动操作信息的示例的图。
27.图4d是示出自动操作信息的示例的图。
28.图4e是示出虚拟视点图像的示例的图。
29.图4f是示出虚拟视点图像的示例的图。
30.图4g是示出虚拟视点图像的示例的图。
31.图5a是示出手动操作画面的图。
32.图5b是示出手动操作信息的图。
33.图6是示出用于虚拟相机的操作的处理示例的流程图。
34.图7a是示出操作示例的图。
35.图7b是示出显示示例的图。
36.图7c是示出显示示例的图。
37.图7d是示出显示示例的图。
38.图7e是示出显示示例的图。
39.图8a是示出根据第二实施例的标签生成的图。
40.图8b是示出根据第二实施例的标签再现方法的图。
41.图8c是示出根据第二实施例的标签再现方法的图。
42.图9是示出根据第二实施例的用于虚拟相机的操作的处理示例的流程图。
43.图10是示出根据第三实施例的手动操作示例的图。
具体实施方式
44.在下文中，将参考附图详细描述实施例。注意，以下实施例无意于限制要求保护的公开的范围。在实施例中描述了多个特征，但是并不要求本公开满足所有特征，并且可以适当地组合多个这样的特征。此外，在附图中，相同的附图标记被赋予相同或相似的配置，并且省略了其多余的描述。
45.<第一实施例>
46.在本实施例中，将描述这样的一种系统：基于由多个摄像装置拍摄的多个图像和指定的虚拟视点来生成表示从指定的虚拟视点看到的视图的虚拟视点图像。本实施例中的虚拟视点图像不限于与用户自由(任意)指定的视点相对应的图像，虚拟视点图像可以是例如与用户从多个候选中选择的视点相对应的图像。在本实施例中，主要描述了经由用户操作指定虚拟视点的情况，但是可以基于图像分析结果等自动指定虚拟视点。
47.在本实施例中，将使用术语“虚拟相机”进行描述。虚拟相机是与安装在图像拍摄区域周围的多个实际摄像装置不同的虚拟相机，并且是用于方便地解释在生成虚拟视点图像时使用的虚拟视点的概念。即，虚拟视点图像可以被认为是从在与摄像区域相关联的虚拟空间中设置的虚拟视点拍摄的图像。虚拟摄像中的视点的位置和方向可以被表示为虚拟相机的位置和方向。换句话说，如果假设照相机位于空间中设置的虚拟视点，则虚拟视点图像可以说是模拟将由该照相机获得的拍摄图像的图像。
48.关于说明的顺序，将参照图1a和图1b描述整个虚拟视点图像生成系统，参照图2a和图2b描述图像显示装置104。图像显示装置104将执行有意义地组合了自动操作和手动操作的虚拟相机控制处理。将使用图6描述用于控制虚拟相机的处理，并且将在图7a至图7e中描述虚拟相机的控制示例，以及使用虚拟相机显示虚拟视点图像的示例。
49.将分别在图3a至图3h、图4a至图4g、图5a和图5b描述用于进行说明的虚拟相机的配置以及自动处理和手动处理。
50.(虚拟视点图像生成系统的配置)
51.首先，将参考图1a和图1b描述根据本实施例的虚拟视点图像生成系统100的配置。
52.虚拟视点图像生成系统100包括从传感器系统101a到传感器系统101n的n个传感器系统，并且每个传感器系统包括至少一个作为摄像装置的照相机。在下文中，如果没有特别说明，“传感器系统101”将表示多个传感器系统101，而无需在n个传感器系统之间进行区分。
53.图1b是示出了多个传感器系统101的安装示例的视图。围绕作为拍摄目标区域的区域120安装多个传感器系统101，并且传感器系统101分别从不同方向拍摄区域120。在本实施例的示例中，假定作为摄像目标的区域120是要进行足球比赛的体育场的场地，并且描述为环绕场地安装n个(例如100个)传感器系统101。然而，要安装的传感器系统101的数量不受限制，并且捕获目标区域120不限于运动场。例如，体育场的看台可以包括在区域120中，并且区域120可以是室内工作室或舞台等。
54.此外，可以采取使得多个传感器系统101并非安装在覆盖区域120的整个圆周上的配置，并且可以采取根据安装位置等的限制使得多个传感器系统101仅安装在区域120的周边的一部分中的配置。另外，在多个传感器系统101中包括的多个照相机中，可以包括诸如远摄照相机和广角照相机之类的具有不同功能的摄像装置。
55.多个传感器系统101中包括的多个照相机彼此同步地执行拍摄。通过这些照相机拍摄而获得的多个图像被称为多视点图像。注意，本实施例中的每个多视点图像可以是拍摄图像，并且可以是针对拍摄图像通过执行例如用于提取预定区域的处理等的图像处理而获得的图像。
56.注意，除了照相机之外，多个传感器系统101还可以包括麦克风(未示出)。多个传感器系统101中的每个麦克风彼此同步地收集音频。可以基于所收集的音频来生成与图像显示装置104中的图像显示一起再现的音频信号。在下文中，为了便于描述，省略了音频的描述，但是大体上假定图像和音频被同时处理。
57.图像记录装置102从多个传感器系统101获得多视点图像，并将其与用于拍摄的时间码一起存储在数据库103中。该时间码是用于唯一地识别摄像装置拍摄图像时的时间的信息，并且例如可以以“日：时：分：秒.帧编号”的形式指定时间码。
58.图像显示装置104以根据来自数据库103的时间码的多视点图像以及用户相对于虚拟相机的手动操作为依据来提供图像。
59.虚拟相机110被设置在与区域120相关联的虚拟空间内，并且可以从不同于多个传感器系统101中的任何照相机的视点观看区域120。下面参照图3c至图3h详细描述虚拟相机110及其动作。
60.在本实施例中，针对虚拟相机110使用自动操作和手动操作两者，但下文参图4a描述针对虚拟相机的自动操作的自动操作信息。另外，下面参照图5a和图5b描述针对虚拟相机110的手动操作的手动操作方法。
61.图像显示装置104执行虚拟相机控制处理，该虚拟相机控制处理有意义地组合了自动操作和手动操作，并基于控制的虚拟相机和时间码从多视点图像生成虚拟视点图像。将参照图6详细描述虚拟相机控制处理，并参照图7a至图7e详细描述其控制示例和使用虚拟相机生成的虚拟视点图像的示例。
62.图像显示装置104生成的虚拟视点图像是表示来自虚拟相机110的视图的图像。本实施例中的虚拟视点图像也称为自由视点视频，并显示在图像显示装置104的液晶显示器等的触摸面板上。
63.注意，虚拟视点图像生成系统100的配置不限于图1a所示的配置。可以是使得图像显示装置104与操作装置或显示装置分离的配置。另外，可以是使得多个显示装置与图像显示装置104连接，并分别输出虚拟视点图像的配置。
64.注意，在图1a的示例中，说明了数据库103和图像显示装置104是不同的设备，但可以是使得数据库103和图像显示装置104一体化的配置。另外，还可以是使得来自数据库103的重要场景被预先复制到图像显示装置104的配置。此外，可以采取如下配置：根据使得数据库103和图像显示装置104能够访问的时间码的设置来切换是否允许访问比赛中的所有时间码或仅允许访问某些时间码。通过复制一些数据的配置，可以采取仅允许访问复制部分的时间码的配置。
65.注意，在本实施例中，尽管以虚拟视点图像是运动图像的示例为焦点进行说明，但虚拟视点图像可以是静止图像。
66.(图像显示装置的功能配置)
67.接下来，将参照图2a与图2b说明图像显示装置104的配置。
68.图2a是示出图像显示装置104的功能配置示例的视图。图像显示装置104使用图2a中示出的功能，并执行将自动操作和手动操作明显地组合的虚拟相机控制处理。图像显示装置104包括手动操作单元201、自动操作单元202、操作控制单元203、标签管理单元204、模型生成单元205和图像生成单元206。
69.手动操作单元201是用于接受用户针对时间码的虚拟相机110手动输入的输入信息的接受单元。尽管虚拟相机的手动操作包括触摸面板、操纵杆或键盘中的至少一个的操作，但是手动操作单元201可以经由其他输入装置的操作来获得输入信息。将参照图5a和图5b详细描述手动操作画面。
70.自动操作单元202自动操作虚拟相机110和时间码。参照图4a详细描述本实施例中的自动操作的示例，除了用户的手动操作之外，图像显示装置104还操作或设置虚拟相机或时间码。对于用户而言，与用户自己执行的操作不同，体验就像是虚拟视点图像是自动操作的。自动操作单元202用于自动操作的信息被称为自动操作信息，并且例如，使用通过gps等测量的与稍后描述的选手和球有关的三维模型坐标和位置信息。注意，自动操作信息不限于这些，而仅需要是不依赖于用户操作的与虚拟相机和时间码有关的可指定信息。
71.操作控制单元203将手动操作单元201从手动操作画面获得的用户输入信息和自动操作单元202所使用并控制虚拟相机或时间码的自动操作信息有意义地组合。
72.下面参考图6详细描述操作控制单元203的处理，并参照图7a至图7e描述由受控虚拟相机生成的虚拟视点图像的示例。
73.另外，在操作控制单元203中，设置作为自动操作和手动操作的每一个的操作目标的虚拟相机动作，这被称为动作设置处理，并且下面将参照图4a和图4b进行详细描述。
74.模型生成单元205基于通过从数据库103指定时间码而获得的多视点图像，生成表示区域120内的被摄体的三维拓扑的三维模型。具体地说，从多视点图像获得从中提取了与诸如球和人之类的被摄体相对应的前景区域的前景图像，以及从中提取了除前景区域之外的背景区域的背景图像。然后，模型生成单元205基于多个前景图像来生成前景三维模型。
75.三维模型是通过诸如视觉体积交叉方法(visual hull)之类的拓扑估计方法生成的，并且由点群构成。然而，表示被摄体的拓扑的三维形状数据的形式不限于此。注意，可以通过外部设备预先获得背景三维模型。注意，可以配置为使得模型生成单元205不包括在图像显示装置104中，而是包括在图像记录装置102中。在这种情况下，三维模型被记录到数据库103中，并且图像显示装置104从数据库103中读取三维模型。注意，可以采取如下配置：关于前景三维模型，球、人和被摄体的每一个的坐标被计算，并被累积在数据库103中。可以将各被摄体的坐标指定为后述要参照图4c描述的自动操作信息，并用于自动操作。
76.图像生成单元206基于经过控制处理的虚拟相机从三维模型生成虚拟视点图像。具体地，对于构成三维模型的各点，从多视点图像获得适当的像素值，并且执行着色处理。另外，通过在三维虚拟空间中布置彩色三维模型并将其投影到虚拟视点并进行渲染，将生成虚拟视点图像。然而，虚拟视点图像的生成方法不限于此，可以使用各种方法，诸如在不使用三维模型的情况下通过拍摄图像的投影变换来生成虚拟视点图像的方法。注意，模型生成单元205和图像生成单元206可以被配置为不同于图像显示装置104并且连接到图像显示装置104的设备。
77.标签管理单元204将自动操作单元202使用的自动操作信息作为标签进行管理。稍
后将在第二实施例中描述标签，并且本实施例将被描述为不使用标签的配置。
78.(图像显示装置的硬件配置)
79.接下来，参考图2b说明图像显示装置104的硬件配置。图像显示装置104包括cpu(中央处理单元)211、ram(随机存取存储器)212和rom(只读存储器)213。此外，图像显示装置104包括操作输入单元214、显示器单元215和外部接口216。
80.cpu 211使用存储在ram 212和rom 213中的程序和数据进行处理。cpu 211执行图像显示装置104的整体动作控制，并且执行用于实现图2a所示的每个功能的处理。注意，图像显示装置104可以包括与cpu 211不同的一个或多个专用硬件，并且专用硬件可以执行由cpu 211进行的处理的至少一部分。专用硬件的示例包括专用集成电路(asic)、现场可编程门阵列(fpga)和数字信号处理器(dsp)。
81.rom 213保存程序和数据。ram 212包括用于临时存储从rom 213读出的程序和数据的工作区域。此外，ram 212提供当cpu 211执行各处理时要使用的工作区域。
82.操作输入单元214例如是触摸面板，并且获得用户操作的信息。例如，接受关于虚拟相机和时间码的操作。注意，操作输入单元214可以与外部控制器连接，并从用户接受与该操作有关的输入信息。外部控制器是例如操纵杆或鼠标等的三轴控制器。注意，外部控制器不限于这些。
83.显示单元215是触摸面板或屏幕，并且显示生成的虚拟视点图像。在触摸面板的情况下，一体化配置操作输入单元214和显示单元215。
84.外部接口216例如经由lan等执行关于数据库103的信息的发送和接收。另外，可以通过例如hdmi(注册商标)或sdi等的图像输出端口将信息传输到外部屏幕。另外，可以经由以太网等来发送图像数据。
85.(虚拟相机动作)
86.接下来，将参照图3a至图3h描述虚拟相机110(或虚拟视点)的动作。为了便于描述该动作，将首先描述虚拟相机的位置和姿势/视锥台/目标点等。
87.使用一个坐标系来指定虚拟相机110及其动作。对于坐标系，可以使用由图3a例示的x轴/y轴/z轴构成的普通的三维空间正交坐标系。
88.坐标系被设置并用于被摄体。被摄体是体育场、工作室等的场地。如图3b所示，被摄体包括体育场的整个场地391以及其上的球392和运动员393等。注意，被摄体可以包括场地周边的看台等。
89.在为被摄体设置坐标系时，将场地391的中心作为原点(0，0，0)。另外，x轴为场地391的长边方向，y轴为场地391的短边方向，z轴为相对于场地的垂直方向。这里，坐标系的设置方法不限于此。
90.接下来，将使用图3c和图3d描述虚拟相机。虚拟相机是用于渲染虚拟视点图像的视点。在图3c所示的四棱锥中，从顶点延伸的矢量表示虚拟相机的位置301的虚拟相机的方向302。虚拟相机的位置由三维空间的坐标(x，y，z)表示，姿势由单位矢量表示，该单位矢量对每个轴的分量进行标量。
91.假定虚拟相机姿势302通过前夹面303和后夹面304的中心坐标。而且，将夹持在前夹面303和后夹面304之间的空间305称为虚拟相机的视锥台，并且处于图像生成单元206生成虚拟视点图像的范围(或者虚拟视点图像被投影和被显示的范围，以下称为虚拟视点图
像的显示区域)。将虚拟相机的姿势302表示为矢量，并且被称为虚拟相机的光轴矢量。
92.将使用图3d描述虚拟相机的移动和旋转。虚拟相机在以三维坐标表示的空间内移动和旋转。虚拟相机的移动306是虚拟相机的位置301的移动，并且由各轴的分量(x，y，z)表示。如图3中所示，通过绕z轴旋转的偏航(yaw)、绕x轴旋转的俯仰(pitch)和绕y轴旋转的滚转(roll)表示虚拟相机的旋转307。
93.这样，虚拟相机可以自由地移动和旋转被摄体(场地)的三维空间，并且可以生成被摄体的任意区域作为虚拟视点图像。换句话说，通过指定虚拟相机的坐标x，y和z以及x轴，y轴和z轴的旋转角度(俯仰，滚转，偏航)，可以操作虚拟相机的摄像位置和摄像方向。
94.接下来，参考图3e描述虚拟相机的目标点位置。图3e示出了虚拟相机的姿势302面向目标面308的状态。
95.目标面308是例如图3b中描述的xy平面(场地表面，z＝0)。目标面308不限于此，并且可以是与xy平面平行并且是对于人类视角自然的运动员的高度(例如，z＝1.7m)的平面。注意，目标面308不需要平行于xy平面。
96.虚拟相机的目标点位置(坐标)表示虚拟相机的姿势302(矢量)、目标面308和交点309。如果确定了虚拟相机的位置301、姿势302和目标面308，则可以将虚拟相机的目标点的坐标309计算为唯一坐标。注意，因为此时所使用的矢量和平面的交点(虚拟相机的目标点309)的计算可以通过已知方法来实现，所以不再赘述。注意，可以生成虚拟视点图像，使得虚拟相机的目标点的坐标309处于渲染的虚拟视点图像的中心。
97.这里，在本实施例中，将能够通过虚拟相机的移动和旋转的组合来实现的虚拟相机的移动称为虚拟相机动作。如上所述，可以通过移动和旋转的组合来实现无限的虚拟相机移动，并且可以将其中便于用户看到和操作的组合预先定义为虚拟相机动作。根据本实施例，存在多个代表性的虚拟相机动作，这些动作是放大(zoom
‑
in)，缩小(zoom
‑
out)，目标点的平移以及与前述旋转不同的以目标点为中心的水平旋转或垂直旋转等。接下来将描述这些动作。
98.放大/缩小是在虚拟相机的显示区域中放大或缩小被摄体的显示的动作。通过虚拟相机的位置301沿着虚拟相机的姿势方向302(光轴方向)前后移动来实现被摄体的放大/缩小。当虚拟相机沿着姿势方向(光轴方向)302前进时，由于在显示区域中接近被摄体而没有改变方向，因此被摄体被放大。相反，当虚拟相机沿着姿势方向(光轴方向)后退时，被摄物体变小。注意，放大/缩小不限于该方法，可以使用虚拟相机的焦距等的改变。
99.目标点的平移是一种动作，在该动作中，虚拟相机的目标点309在不改变虚拟相机的姿势302的情况下移动。为了参考图3f描述该动作，虚拟相机的目标点309的平移是轨迹320，并且指示从虚拟相机的目标点309到目标点319的移动。由于在目标点的平移320中，虚拟相机的位置发生了变化，而姿势矢量302并未发生变化，因此虚拟相机动作使得只有目标点在运动，并且可以从相同的方向持续看见被摄体。注意，因为姿势矢量302不改变，所以虚拟相机的目标点309的平移320和虚拟相机的位置301的平移321是相同的移动轨迹(移动距离)。
100.接下来，参考图3g描述关于以目标点为中心的虚拟相机的水平旋转。如图3g所示，以目标点为中心的水平旋转是以目标点309为中心，虚拟相机沿着与目标面308平行的面的旋转322的动作。在以目标点309为中心的水平旋转中，姿势矢量302在连续面向目标点309
的同时而变化，并且目标点309的坐标不变。由于目标点309不移动，因此用户能够通过以目标点为中心的水平旋转，在不改变距目标面的高度的情况下以各种角度观看周边的被摄体。由于该动作不会移动目标点，并且距被摄体(目标面)的距离在高度上不会改变，因此用户可以轻松地从各种角度看到感兴趣的目标。
101.注意，虚拟相机的位置301旋转时的轨迹322位于与目标面308平行的面上，并且旋转中心为参考数字323。换言之，确定虚拟相机以便在半径为r的圆上移动，使得r^2＝(x1
‑
x2)^2 (y1
‑
y2)^2，其中目标点的xy坐标为(x1，y1)，并且虚拟相机的xy坐标为(x2，y2)。另外，通过确定姿势以使其成为在目标点的xy坐标方向上从虚拟相机的位置起的姿势矢量，可以在不移动目标点的情况下从各种角度观看被摄体。
102.接下来，参考图3h描述关于以目标点为中心的虚拟相机的垂直旋转。如图3h所示，以目标点为中心的垂直旋转是以目标点309为中心，虚拟相机沿着相对于目标面308的垂直面的旋转324的动作。在以目标点为中心的垂直旋转中，姿势矢量302在连续面向目标点309的同时而变化，并且目标点309的坐标不变。与上述水平旋转322不同，距虚拟相机的目标面的高度是变化的动作。在这种情况下，可以确定虚拟相机的位置，使得在垂直于包括虚拟相机的位置和目标点的xy平面的平面上，虚拟相机的位置与目标点之间的距离不会改变。此外，通过确定姿势使得姿势矢量是虚拟相机的位置到目标点的位置，可以在不移动目标点的情况下从各种角度观看被摄体。
103.通过组合上述以目标点为中心的垂直旋转324和水平旋转322，虚拟相机可以实现如下动作，在该动作中，可以在不改变目标点309的情况下以360度从各种角度观看被摄体。稍后参照图7a至图7e描述使用该动作的虚拟相机的操作控制的示例。
104.注意，虚拟相机动作并不限于这些，可以是能够通过虚拟相机的运动和旋转的组合来实现的动作。无论是自动操作还是手动操作，都可以以相同的方式使得能够进行上述虚拟相机动作的操作。
105.(动作设置处理)
106.在本实施例中，可以向自动操作和手动操作自由分配图3a至图3h描述的虚拟相机动作。该分配称为动作设置处理。
107.接下来，参照图4a和图4b描述动作设置处理。注意，在图像显示装置104的操作控制单元203中执行动作设置处理。
108.图4a是列表，在该列表中，向虚拟相机动作分配标识符，并在动作设置处理中使用该列表。在图4a中，对每个动作标识符(id)设置图3c至图3h中描述的虚拟相机动作。例如，对标识符＝2设置参考图3f描述的目标点的平移，对标识符＝3设置参照图3g说明的以目标点为中心的水平旋转。对标识符＝4设置参照图3h描述的以目标点为中心的垂直旋转。可以以相同方式设置其他标识符。操作控制单元203通过使用该标识符来指定分配给自动操作或手动操作的虚拟相机动作。注意，在一个示例中，可以将多个动作标识符分配给同一动作。例如，对于参照图3f描述的目标点的平移，可以对标识符＝5设置具有10m的移动距离的平移，并且对于参照图3f描述的目标点的平移，可以对标识符＝6设置具有20m的移动距离的平移。
109.图4b是其中设置了动作的一个示例。在图4b中，将虚拟相机的目标点的平移(标识符＝2)设置为自动操作的目标。另外，将目标点的放大/缩小(标识符＝1)、平移(标识符＝
2)以及以目标点为中心的水平旋转(标识符＝3)和垂直旋转(标识符＝4)设置为手动操作的目标。
110.图像显示装置104的操作控制单元203通过根据该动作设置的自动操作和手动操作来控制虚拟相机动作。在图4b的示例中，通过自动操作根据时间码来平移虚拟相机的目标点，而无需改变通过自动操作指定的目标点的位置，并且可以通过用户的手动操作以各种角度或放大率来观看被摄体。稍后参照图4c、图4d和图7a至图7e详细描述与根据该动作设置示例的虚拟相机动作和虚拟视点图像的显示示例有关的说明。注意，可以进行动作设置的组合不限于图4b的示例，可以在中途更改动作设置的内容。此外，针对可以在自动操作或手动操作中设置的动作，配置可以使得能够设置多个虚拟相机动作中的每一个，而不是仅设置一个。
111.动作设置的组合基本上可以是自动操作和手动操作之间的排他控制。例如，在图4b的示例中，自动操作的目标是虚拟相机的目标点的平移，并且在自动操作期间，即使在操作通过手动操作进行目标点的平移的情况下，也可以执行诸如取消(忽略)之类的处理。另外，可以执行诸如暂时停用排他控制的处理。
112.此外，对于其中设置了动作的组合，图像显示装置104可以预先保持设置候选，并且用户可以接受并设置用户进行的向自动操作和手动操作分配的虚拟相机动作选择操作。
113.(自动操作信息)
114.关于参照图4a和图4b描述的动作设置处理中被指定为自动操作的虚拟相机动作，指示各时间码的特定内容的信息被称为自动操作信息。在此，参照图4c和图4d描述关于自动操作信息的说明。如参照图4a和图4b所述，通过动作设置处理确定由自动操作信息指定的虚拟相机动作的标识符(类型)。图4c是与图4b的动作设置的示例相对应的自动化操作信息的示例。
115.对于图4c中的自动操作信息401，针对各时间码将虚拟相机的目标点的位置和姿势指定为虚拟相机动作。例如从图4c中的第一行到最后一行的时间码，连续时间码(2020
‑
02
‑
02 13：51：11.020到2020
‑
02
‑
02 13：51：51.059)，被称为时间码周期。同样，开始时间(13.51.11.020)被称为开始时间码，结束时间(13：51：51.059)被称为结束时间码。
116.目标点的坐标由(x，y，z)表示，并且z是一个常数值(z＝z01)且只有(x，y)变化。当图4d所示的三维空间411中示出了这些坐标的连续值时，它变成以距场地面恒定的高度平移(图4b中的标识符＝2)的轨迹412。同时，关于虚拟相机的姿势，在相应的时间码周期中仅指定初始值。这样，对于使用自动操作信息401的自动操作，在指定的时间码周期内，姿势不会从初始值(
‑
y方向)改变，并且虚拟相机以使得目标点追随轨迹412(421至423)的方式移动。
117.例如，如果将轨迹412设置为追随(目标点位置＝球位置)体育运动中的球(例如，橄榄球)的位置，虚拟相机无需通过自动操作来改变姿势，就总会追踪球和周边的被摄体。
118.在使用如图4d所示的自动操作信息的情况下，分别在图4e至图4g中示出了当虚拟相机位于参考数字421至423时的虚拟视点图像的示例。如该系列图中所示，通过更改时间码和位置，进入虚拟相机视角的被摄体会发生变化，但是所有虚拟视点图像都具有相同的姿势矢量，换句话说，具有相同的
‑
y方向。在本实施例中，使用这种自动操作信息401的自动操作也被称为自动再现。
119.注意，对于诸如轨迹412之类的连续值的坐标，如图2a的模型生成单元205中所述，可以使用作为在生成三维模型时计算出的前景对象的球或运动员的坐标。
120.另外，可以将从除图像显示装置104以外的设备获得的数据用于自动操作信息。例如，可以将位置测量标签附于作为被摄体被包括的运动员的衣服上或球上，并且可以将位置信息用作目标点。另外，可以将在生成三维模型时计算出的前景对象的坐标和通过位置测量标签获得的位置信息原样地用于自动化操作信息，并且可以使用从该信息中分别计算出的信息。例如，关于三维模型的前景对象的坐标值和测量值，z值根据运动员的姿势和球的位置而改变，但是z可以被设置为固定值，或者仅使用x和y的值。z的值可以设置为场地的高度(z＝0)或对于观看者眼睛自然且容易的高度(例如z＝1.7m)。注意，用于获得自动化操作信息的设备不限于例如位置测量标签，可以使用从不同于正在显示的图像显示装置104的另一图像显示装置接收的信息。例如，操作自动化操作信息的工人可以通过操作不同于图像显示装置104的另一图像显示装置来输入自动化操作信息。
121.注意，能够被指定给自动操作信息的时间码周期可以是体育运动中的整场比赛或者可以是其一部分。
122.注意，自动操作信息的示例不限于上述示例。如果自动操作信息的项目与虚拟相机动作有关，则该信息不受限制。稍后将描述自动操作信息的其他示例。
123.(手动操作画面)
124.将使用图5a和图5b描述根据本实施例的虚拟相机的手动操作。通过图4a和图4b所示的动作设置处理确定通过手动操作指定的虚拟相机动作。这里，将描述关于在动作设置处理中分配的虚拟相机动作的手动操作方法以及时间码的手动操作方法。
125.图5a是用于描述图像显示装置104的操作输入单元214的手动操作画面501的配置的视图。
126.在图5a中，主要由虚拟相机操作区域502和时间码操作区域503配置操作画面501。虚拟相机操作区域502是用于接受用户对于虚拟相机的手动操作的图形用户界面(gui)，时间码操作区域503是用于接受用户对于时间码的手动操作的图形用户界面(gui)。
127.首先，将描述虚拟相机操作区域502。虚拟相机操作区域502根据接受的操作的类型执行在图4a和图4b的动作设置处理中设置的虚拟相机动作。
128.在图5a的示例中，因为使用触摸面板，所以操作的类型是诸如轻击和滑动的触摸操作的类型。同时，如果使用鼠标来输入用户操作，则可以执行点击操作代替轻击操作，并且可以执行拖动操作代滑动操作。向这些触摸操作中的每一个分配作为如图4a所示的虚拟相机动作，诸如目标点的平移和以目标点为中心的水平/垂直旋转之类的动作。用于确定分配的表格如图5所示，其被称为手动操作设置。
129.将使用图5b描述手动操作设置。在图5b中，在项目中有触摸操作、触摸次数、触摸区域和虚拟相机动作的标识符(id)。
130.在触摸操作的项目中，列举了虚拟相机操作区域502中的可能的触摸操作。例如，包括点击和滑动等。在触摸次数的项目中，定义了触摸操作所需的手指数。在触摸区域的项目中，指定要进行触摸操作的处理的区域。例如，指定虚拟相机操作区域(整体)和虚拟相机操作区域(右边缘)等。根据触摸操作、触摸次数和触摸区域这三个项目的内容，使得能够区分从用户接受的手动操作的内容。然后，当接受各手动操作时，根据对各个手动操作分配的
虚拟相机动作的标识符(id)，执行虚拟相机动作之一。如参照图4a所述，虚拟相机动作的标识符(id)识别图3c至图3h中描述的虚拟相机动作的类型。
131.在图5b的分配示例中，例如，通过第二行(no.2)的指定，在接受用一根手指对虚拟相机操作区域502进行水平滑动操作时，执行以目标点为中心的水平旋转(运动标识符＝3)。另外，通过第三行(no.3)的指定，在接受用一根手指对虚拟相机操作区域502进行垂直滑动操作时，执行以目标点为中心的垂直旋转(运动识别符＝4)。
132.注意，关于用于虚拟相机的手动操作的触摸操作的类型，可以使用根据手指数进行的手势操作，并且可以使用后述在第三实施例中示出的相对简单的手势操作。两者都可以通过图5b的手动操作设置来指定。注意，可以通过手动操作设置指定的操作不限于触摸操作，并且可以指定在使用除触摸面板以外的设备的情况下的操作。
133.接下来，将描述时间码操作区域503。由用于操作时间码的组件512至515配置时间码操作区域503。主滑块512可以操作拍摄数据的所有时间码。可以通过利用拖动操作等选择旋钮522的位置来指定主滑块512中的任意时间码。
134.子滑块513放大并显示一些时间码，并且可以使用比主滑块512更精细的粒度来操作时间码。可以通过利用拖动操作等选择旋钮523的位置来指定时间码。主滑块512和子滑块513在画面上具有相同的长度，但是能够选择的时间码范围不同。例如，在主滑块512可以从作为一场比赛时长的3小时中进行选择时，子滑块513可以从作为一场比赛一部分时长的30秒中进行。换句话说，每个滑块的尺度是不同的，并且子滑块513可以以诸如以帧为单位的更精细的粒度来指定时间码。在一个示例中，子滑块513是从旋钮522所处的时间之前的15秒到之后的15秒。
135.注意，使用主滑块512的旋钮522指定的时间码和使用子滑块513的旋钮523指定的时间码可以以“日：时：分：秒.帧号”的形式显示为数值。注意，并非总是显示子滑块513。例如，它可以在接受显示指令之后显示，并且可以在指示诸如暂停的特定操作时显示。而且，可以用子滑块513选择的时间码周期是可变的。当接受诸如暂停之类的特定操作时，可以在接受暂停指令时显示旋钮523的时间之前的15秒到之后的15秒的区间。
136.指定回放速度的滑块514可以指定诸如正常速度回放和慢速回放的回放速度。根据利用旋钮524选择的回放速度来控制时间码的递增间隔。参考图6的流程图描述控制时间码的递增间隔的示例。
137.取消按钮515可以被用来取消与时间码有关的各操作，并且还可以被用来消除暂停并返回到正常再现。注意，如果按钮是执行与时间码有关的手动操作的按钮，则该按钮并不限于取消。
138.注意，手动操作画面可以包括除虚拟相机操作区域502和时间码操作区域503以外的区域。例如，比赛信息可以显示在画面上部的区域511中。给出主办地点/日期和时间、对战卡和得分情况作为比赛信息。注意，比赛信息不限于此。
139.此外，可以在画面上部的区域511中分配例外操作。例如，在画面上部的区域511接受双击的情况下，可以操作虚拟相机的位置和姿势以移动到可以从上方观看整个被摄体的位置。对于经验不足的用户，存在难以对虚拟相机进行手动操作的情况，并且还存在不清楚其所处位置的情况。在这种情况下，可以分配操作以使得返回到便于用户了解位置和姿势的俯瞰点。俯瞰图像是如图3b所示从z轴俯瞰被摄体的虚拟视点图像。
140.注意，配置并不限于这些，只要可以操作虚拟相机或时间码并且虚拟相机操作区域502和时间码操作区域503不需要分开即可。例如，可以通过在虚拟相机操作区域502上双击等进行暂停操作来作为针对时间码的操作。注意，尽管描述了操作输入单元214是平板电脑500的情况，但操作和显示设备并不限于此。例如，操作输入单元214可以被设置为使得在显示区域502的右半部分被双击的情况下，执行10秒快进，而在左半部分被双击的情况下，执行10秒倒回。
141.(操作控制处理)
142.接下来，使用图6的流程图描述虚拟相机的控制处理，在该虚拟相机中，有意义地组合了根据本实施例的自动操作和手动操作。
143.通过前述的动作设置处理确定对自动操作和手动操作中的每一个所设置的虚拟相机动作。此外，根据图4a中描述的自动操作信息执行自动操作，根据图5b中描述的手动设定内容执行手动操作。另外，通过本流程图描述有意义地组合了上述这些操作的虚拟相机控制处理。注意，图3中所示的流程图是流程图。通过cpu 211使用ram 212作为工作区并执行存储在rom 213中的程序来实现图6所示的流程图。
144.在步骤s602中，操作控制单元203执行与时间码和回放速度有关的处理，此后，在步骤s604至s608中，执行用于将自动操作和手动操作有意义地组合的处理。另外，操作控制单元203针对每个帧执行步骤s602至s611的循环处理。例如，如果输出的虚拟视点图像的帧速率是60fps，则以大约16.6[ms]的间隔执行步骤s602至s611的一个循环(一帧)的处理。注意，关于一个循环的间隔，可以通过将触摸面板等的图像显示中的更新率(刷新率)设置为60fps，并在图像显示装置中与其执行同步处理来实现该处理。
[0145]
在步骤s602中，操作控制单元203递增时间码。根据本实施例，可以由如图4c所示的“日：时：分：秒.帧号”来指定时间码，并以帧为单位执行递增。换句话说，由于如前所述，针对每一帧执行步骤s602至s611的循环处理，所以每一个循环处理都递增时间码中的帧号。
[0146]
注意，时间码的递增可根据图5a中描述的回放速度滑块514的选择值来改变递增间隔。例如，在指定1/2的回放速度的情况下，可以每执行步骤s602至s611的循环处理两次，就递增一次帧。
[0147]
接下来，操作控制单元203使处理进入步骤s603，并经由模型生成单元205获得递增的或指定的时间码的三维模型。如图2a所示，模型生成单元205从多视点图像中生成被摄体的三维模型。
[0148]
接下来，在步骤s604中，操作控制单元203确定在递增或指定的时间码中是否存在自动操作单元202的自动操作信息。在时间码有自动操作信息的情况下(步骤s604中为“是”)，操作控制单元203使处理进入步骤s605，而在没有自动操作信息的情况下(步骤s604中为“否”)，操作控制单元203使处理进入步骤s606。
[0149]
在步骤s605中，操作控制单元203通过使用相应时间码中的自动操作信息来执行虚拟相机的自动操作。由于参考参照图4a至图4c描述了关于虚拟相机的自动操作，因此不再赘述。
[0150]
在步骤s606中，操作控制单元203接受来自用户的手动操作，并根据所接受的操作内容来切换处理。在接受了针对时间码的手动操作的情况下(步骤s606中的“时间码操
作”)，操作控制单元203使处理进入步骤s609。在接受了针对虚拟相机的手动操作的情况下(步骤s606中的“虚拟相机操作”)，操作控制单元203使处理进入步骤s607。在不接受手动操作的情况下(步骤s606为“无”)，操作控制单元203使处理进入步骤s609。
[0151]
在步骤s607中，操作控制单元203确定由手动操作指定的虚拟相机动作(步骤s606)是否与由自动操作指定的虚拟相机动作相干扰(步骤s605)。关于动作的比较，可以通过使用图4a中所示的虚拟相机动作标识符，确定在自动操作和手动操作具有相同标识符的情况下自动操作和手动操作是否相互干扰。注意，这不限于标识符的比较，并且可以通过比较虚拟相机的位置或姿势的变量等来确定是否存在干扰。
[0152]
在确定由手动操作指定的虚拟相机的动作与由自动操作指定的动作相干扰的情况下(步骤s607中为“是”)，操作控制单元203使处理进入步骤s609，并且接受的手动操作被取消。换句话说，在自动操作和手动操作相干扰的情况下，优先考虑自动操作。注意，基于手动操作来操作不会由自动操作改变的参数。例如，在通过自动操作执行目标点的平移的情况下，目标点的位置改变，但是虚拟相机的姿势不变。因此，虚拟相机的水平旋转、垂直旋转等不会改变目标点的位置，但会改变虚拟相机的姿势，而且不会干扰目标点的平移，因此，可以由手动操作来执行。在确定指定的虚拟相机的动作不干扰由自动操作指定的动作的情况下(步骤s607中为“否”)，操作控制单元203使处理进入步骤s608，并执行组合了自动操作和手动操作的虚拟相机的控制处理。
[0153]
例如，在确定在步骤s605中指定的自动操作动作是要观看的目标点的平移(标识符＝2)，并且在步骤s606中指定的手动操作动作是要观看的目标点的平移(标识符＝2)的情况下，取消手动操作的目标点的平移。另一方面，例如，当在步骤s605中指定的自动操作动作是目标点的平移(标识符＝2)，并且在步骤s606中指定的手动操作动作是围绕目标点的中心的垂直/水平旋转(标识符＝3，4)时，则将它们确定为不同的动作。在这种情况下，如稍后参照图7a至图7e所述，在步骤s608中执行其中每一个都被组合的动作。
[0154]
在步骤s608中，操作控制单元203继续执行虚拟相机的手动操作。由于在图5a和图5b中描述了虚拟相机的手动操作，因此不再赘述。接下来，操作控制单元203使处理进入步骤s609，并且在通过由自动操作和手动操作中至少一者操作的虚拟相机的位置和姿势执行摄像的情况下，生成并渲染虚拟视点图像。由于在图2a描述了虚拟视点图像的渲染，因此不再赘述。
[0155]
在步骤s610中，操作控制单元203将要显示的时间码更新为由用户手动操作指定的时间码。由于在图5a和图5b中描述了用于指定时间码的手动操作，因此不再赘述。
[0156]
在步骤s611中，操作控制单元203确定是否已完成每个帧的显示，换句话说，是否已到达结束时间码。在已经到达结束时间码的情况下(步骤s611中为“是”)，操作控制单元203结束图6所示的处理，并且在尚未到达结束时间码的情况下(步骤s611中为“否”)，操作控制单元203使处理返回至步骤s602。通过使用下面的图7a至图7e描述使用了上述流程图的虚拟相机的控制示例以及虚拟视点图像的生成示例。
[0157]
(虚拟相机控制的示例和虚拟视点图像的显示的示例)
[0158]
参照图7a至图7e描述将自动操作和手动操作组合的虚拟相机的控制示例以及根据本实施例的虚拟视点图像的显示示例。
[0159]
在此，作为虚拟相机的控制示例描述在图4c和图4d中描述的自动操作信息被用于
自动操作的情况以及在图5b中描述的手动设置内容被用于手动操作的情况。
[0160]
对于图4c和图4d的自动化操作，操作虚拟相机以进行平移(标识符＝2)，使得在不改变姿势的情况下，虚拟相机的目标点的坐标根据时间码的经过而追随轨迹412。对于图5b的手动操作，由用户操作虚拟相机，使得通过滑动和拖动的至少一者的操作来执行以目标点为中心的水平/垂直旋转(图3g和图3h，标识符＝3，4)等。
[0161]
例如，如果图4d的焦点412可以追随体育运动中的球，则步骤s605的自动操作是平移的动作，使得总是在虚拟相机的目标点上拍摄该球。除此动作外，通过执行以目标点为中心的水平/垂直旋转的手动操作，用户可以在从各个角度观看球周围的运动员的同时始终无意识地追踪该球。
[0162]
通过使用图7a至图7d描述这一系列动作的示例。在图7a至图7e的示例中，假设该运动是橄榄球，并且拍摄如下场景：运动员将进行扛传(offload pass)(恰好在摔倒之前的传球)。在这种情况下，被摄体是橄榄球和运动场上的至少一个运动员。
[0163]
图7a是俯瞰运动场的三维空间的视图，并且是通过自动操作(轨迹412)将虚拟相机的目标点平移(标识符＝2)到坐标701至703的情况。
[0164]
首先，描述虚拟相机的目标点处于坐标701的情况。此时虚拟相机的位置处于坐标711，并且姿势主要在
‑
x方向上。如图7b所示，此时的虚拟视点图像是沿着运动场的长边方向在
‑
x方向上的比赛的视图。
[0165]
接下来，描述虚拟相机的目标点通过自动操作平移到坐标702的情况。这里，假设在通过自动操作将目标点从坐标701平移(标识符＝2)到坐标702时，由用户执行以目标点为中心的垂直旋转(标识符＝4)的手动操作。在这种情况下，虚拟相机的位置平移到坐标712，并且虚拟相机的姿势大体上沿
‑
z方向垂直旋转。如图7c所示，此时的虚拟视点图像是从运动场的上方对被摄体的俯瞰。
[0166]
此外，描述虚拟相机的目标点平移到坐标703的情况。在此，假设在目标点从坐标702平移(标识符＝2)到坐标703时，由用户执行以目标点为中心的水平旋转(标识符＝3)的手动操作。在这种情况下，虚拟相机的位置平移到坐标713，并且虚拟相机的姿势在大致
‑
y方向上垂直旋转。如图7d所示，此时的虚拟视点图像是从运动场外沿
‑
y方向的被摄体的视图。
[0167]
如上所述，通过有意义地组合自动操作和手动操作，在诸如橄榄球扛传等快速发展的场景中，可以在虚拟相机的视角范围内连续自动拍摄球的附近，并根据手动操作从各个角度查看场景。具体地，可以通过使用从三维模型或位置测量标签获得的球的坐标，在虚拟相机的视角范围内始终连续拍摄球的附近，而不会给用户施加操作负担。此外，作为手动操作，用户可以通过简单地应用单一的拖动操作(水平/垂直旋转，其中通过拖动一根手指使目标点成为注视点)从各个角度观看所关注的比赛。
[0168]
注意，在执行自动操作的部分(轨迹412)中，在不执行手动操作的情况下，虚拟相机的姿势保持在最后进行手动操作的姿势。例如，在通过自动操作将目标点的位置从坐标703平移(标识符＝2)到坐标704时没有执行手动操作的情况下，虚拟相机的姿势在坐标713坐标714处保持相同(相同的姿势矢量)。相应地，如图7e所示，虚拟相机的姿势在
‑
y方向上，而下文在图7d中，在没有手动操作的状态下时间流逝期间，图像显示装置104在相同的姿势下显示如下场景，在该场景中，运动员成功地执行了扛传，并且运动员朝着持球触地得分
(try)冲刺。
[0169]
注意，可以在图6和图7a至图7e的操作控制中添加用于临时使通过手动操作和自动操作中的至少一个设置的内容无效或有效的处理。例如，在接受了用于再现虚拟视点图像的暂停指令的情况下，可以重置通过手动操作和自动操作设置的动作设置处理，以设置默认的虚拟相机位置和坐标。对于默认虚拟相机的位置，例如，针对使整个运动场适合视角的运动场上方的姿势，可以在
‑
z方向上改变虚拟相机的位置和坐标。
[0170]
在另一示例中，在接受了暂停虚拟视点图像的再现的指令的情况下，可以使通过手动操作设置的内容无效，并且在释放暂停并且恢复再现的情况下，可以再次反映通过手动操作设置的内容。
[0171]
此外，在自动操作时将目标点的平移(标识符＝2)设置为自动操作的情况下，作为针对相同动作(标识符＝2)的手动操作的结果，在步骤s607中取消手动操作，在暂停时，不论自动操作信息如何，都能够通过手动操作来平移目标点。
[0172]
例如，考虑如下情况：在自动再现中当虚拟相机的目标点在坐标701处时接受暂停。这时的虚拟视点图像如图7b所示；然而，触发了扛传的对手球队的擒抱摔倒运动员(trackling palyer)的出现希望被确认，但外围球员不在视角范围之内。在这种情况下，在执行了沿屏幕向下方向的手动平移操作的情况下，用户可以执行暂停并将目标点平移至坐标705等。
[0173]
另外，在释放暂停并返回到正常再现的情况下，可以设置成使得动作设置内容变为有效，通过自动操作执行目标点的平移(标识符＝2)，并且通过手动操作取消目标点的平移(标识符＝2)。注意，此时也可以取消已经通过手动操作平移的移动量(从坐标701到坐标705的移动距离)，并且可以执行用于将目标点返回到由自动操作指定的坐标701的处理。
[0174]
如上所述，通过有意义地组合自动操作和手动操作并控制虚拟相机，变得即使针对其中被摄体进行快速而复杂的移动的场景，也能够在虚拟相机的视角内连续拍摄被摄体的期望场所，并且可以从各种角度进行浏览。
[0175]
例如，在诸如橄榄球的体育运动中，即使针对其中在广阔的场地范围内比赛突然发展并导致得分的场景，也可以通过自动操作在虚拟相机的视角范围内连续拍摄的球的附近，并且在应用手动操作的情况下从各种角度观看场景。
[0176]
<第二实施例>
[0177]
在本实施例中，描述了图像显示装置104中的标签生成处理和标签再现处理。包括图1a的虚拟视点图像生成系统和图2a的图像显示装置104在内，相同的配置、处理和功能使用与第一实施例中相同的附图标记，并且不再赘述。
[0178]
本实施例的标签是使用户在例如比赛中得分时能够选择目标场景，并在所选择的场景中设置自动化操作的标签。用户还可以根据标签在自动再现期间执行附加的手动操作，并且可以执行虚拟相机控制处理，在该虚拟相机控制处理中，通过使用标签组合自动操作和手动操作。
[0179]
这种标签用于体育节目的解说等，这是虚拟视点图像的典型用例。在这种使用情况下，需要能够从各种位置和角度浏览，并对例如得分时等多个重要场景进行解说。除了对第一实施例的示例中示出的作为虚拟相机的目标点的球或运动员的位置执行自动操作之外，在本实施例中，还能够根据解说等的意图生成用于使诸如球或运动员等的被摄体之外
的任意位置成为目标点的标签。
[0180]
在本实施例中，在用于设置虚拟相机的位置和姿势的自动操作与时间码相关联的假设下来描述标签。然而，在一个示例中，可以采用使得包括开始时间码和结束时间码的时间码周期(时间周期)与该时间码周期内的多个自动操作相关联的配置。
[0181]
注意，在图1a的虚拟视点图像生成系统中，可以采用以下配置：从数据库103将诸如得分等的目标时间段的数据复制到图像显示装置104并使用，将标签添加到复制的时间码周期中。由此易于仅访问复制的数据，并且可以在体育节目等中使用重要场景的虚拟视点图像将图像显示装置104用于解说。
[0182]
本实施例中的标签在图像显示装置104(图2a)中的标签管理单元204中管理，并且标签生成和标签再现处理在操作控制单元203中执行。各处理基于以下实现：第一实施例中描述的图4a的自动操作和图5b的手动操作，以及图6中的自动操作和手动操作进行了组合的虚拟相机控制处理等。
[0183]
(标签生成处理)
[0184]
接下来，参考图8a描述用于在图像显示装置104中生成标签的方法。
[0185]
图8a是与图5a中描述的图像显示装置104的手动操作画面相同的配置，并且触摸面板501被大致分为虚拟相机操作区域502和时间码操作区域503。
[0186]
在用于标签生成的用户操作中，首先，用户在时间码操作区域503中选择时间码，然后在虚拟相机操作区域502中为该时间码指定虚拟相机动作。通过重复这两个步骤，可以在任意时间码周期内创建自动操作。
[0187]
即使在标签生成时，用于在时间码操作区域503中指定时间码的操作也与图5a中描述的内容相同。换句话说，通过对主滑块上的旋钮执行拖动操作，或者通过对子滑块上的旋钮执行拖动操作811，可以指定期望进行标签生成的时间码。
[0188]
注意，关于时间码的指定，可以在主滑块512中指定粗略的时间码，执行暂停指令，然后通过使用子滑块513来指定详细的时间码，其中显示该时间前后数十秒范围。注意，当指示标签生成时，可以显示子滑块513。
[0189]
当用户选择时间码时，显示该时间码处的虚拟视点图像(俯瞰图像)。在图8a中的虚拟相机操作区域502上，显示了俯瞰被摄体的虚拟视点图像。这是因为，在观看显示了广泛范围的被摄体的俯瞰图像时更容易辨别比赛情况，并且可以容易地进行目标点的指定。
[0190]
接下来，在观看针对正在显示的时间码的俯瞰图像(虚拟视点图像)的同时，通过轻击操作812指定针对时间码的虚拟相机的目标点。图像显示装置104将点击位置转换为在三维空间中的虚拟相机的目标面上的坐标，并将坐标记录为该时间码处的目标点的坐标。注意，在本实施例中，假定xy坐标为轻击位置，并且将z坐标描述为z＝1.7m。然而，可以基于类似于xy坐标的轻击位置来获得z坐标。从轻击位置到为标的转换方法是公知的，因此不再赘述。
[0191]
通过重复上述两个步骤(图8a中的821和822)，可以在任意时间码周期中按时间顺序指定虚拟相机的目标点。
[0192]
注意，尽管通过上述操作指定的时间码有时不连续并且之间存在间隔，但是可以在间隔期间使用手动指定的坐标通过插值来生成坐标。使用各自的曲线函数(样条曲线等)在多个点之间进行插值的方法是公知的，因此省略。
[0193]
以上述步骤生成的标签具有与图4a所示的自动操作信息相同的形式。因此，在本实施例中生成的标签可以用于在第一实施例中描述的虚拟相机控制处理，在该虚拟相机控制处理中，自动操作和手动操作被有意义地组合。
[0194]
注意，要由标签指定的虚拟相机动作不限于目标点的坐标，并且可以是在第一实施例中描述的任何虚拟相机动作。
[0195]
使用上述方法，可以针对一个比赛中的多个得分场景生成多个不同的标签。另外，可以针对同一区间中的时间码生成具有不同的自动操作信息的多个标签。
[0196]
注意，可以采取如下配置：使得可以准备用于在第一实施例中描述的正常虚拟相机操作画面和本实施例中的标签生成操作画面之间进行切换的按钮。注意，尽管未示出，但是可以采用配置使得在切换到标签生成操作画面之后，执行将虚拟相机移动到俯瞰被摄体的位置和姿势的处理。
[0197]
使用上述标签生成过程，能够在体育比赛中发生诸如得分时之类的目标场景时，在任意时间码周期容易地生成自动化操作作为标签。接下来，将描述标签再现过程，通过该标签再现过程，用户可以通过选择以这种方式生成的标签来容易地自动再现场景。
[0198]
(标签再现处理)
[0199]
接下来，将使用图9中的流程图以及图8b和图8c的操作画面描述图像显示装置104中的标签再现。
[0200]
图9是用于说明在标签再现期间图像显示装置104执行的虚拟相机的控制处理的示例的流程图。在图9中，类似于图6，操作控制单元203以帧为单位重复执行s902至s930的处理。每次，时间码中的帧数递增1，然后处理连续的帧。注意，不再描述与图6中的虚拟相机控制处理的流程图相同的处理的步骤。
[0201]
在步骤s902中，操作控制单元203执行与s603中相同的处理，并获得当前时间码的三维模型。
[0202]
在步骤s903中，操作控制单元203确定显示模式。显示模式是针对图5a的操作画面的显示模式，并确定正常再现模式和标签再现模式。当显示模式的确定结果是正常再现时，处理进入步骤s906，而当其是标签再现时，处理进入步骤s904。
[0203]
注意，要确定的显示模式不限于这些。例如，可以将图8a中所示的标签生成添加到模式确定的目标。
[0204]
接下来，图像显示装置104使处理进入步骤s904，并且由于显示模式是标签再现，因此操作控制单元203在所选择的标签中读取由时间码指定的自动操作信息。在图4c等中所示的自动操作信息如前所述。接下来，图像显示装置104使处理进入步骤s905，并且操作控制单元203执行与步骤s605相同的处理，并自动操作虚拟相机。
[0205]
接下来，图像显示装置104使处理进入步骤s906，并且操作控制单元203从用户接受手动操作，并根据所接受的操作内容来切换处理。在从用户接受了关于时间码的手动操作的情况下(步骤s906中的“时间码操作”)，图像显示装置104使处理进入步骤s912。在从用户接受了与虚拟相机有关的手动操作的情况下(在步骤s906中，“虚拟相机操作”)，图像显示装置104使处理进入步骤s922。在未从用户接受手动操作的情况下(步骤s906中为“无”)，图像显示装置104使处理进入步骤s907。在从用户接受标签选择操作的情况下(步骤s906中的“标签选择操作”)，图像显示装置104使处理进入步骤s922。将使用图8b和图8c描述此时
的手动操作画面。
[0206]
注意，在步骤s906中确定的手动操作内容不限于这些，并且可以将图8a中所示的标签生成操作作为目标。
[0207]
在图8b中，提取手动操作画面801中的时间码操作区域503。在操作图8b的时间码的主滑块512上，以可区分的方式显示多个标签(831至833)。关于标签的显示位置(831至833)，在主滑块上的相应位置显示标签的开始时间码。注意，对于所显示的标签，可以使用如图8a所示在图像生成装置104中生成的标签，并且可以读入在其他设备上生成的标签。
[0208]
在这里，用户可以通过轻击操作834选择显示在主滑动件512上的多个标签(831至833)中的任何一个。当标签被选中，如在对话气泡835所示，可以列出标签中设置的自动操作信息。在对话气泡835中，在时间码中设置了两个自动操作，并且显示了与它们相对应的两个标签名称(auto1和auto2)。注意，可以设置为相同时间码的标签数量不限于两个。当用户通过轻击操作834选择标签831至833中的任何标签时，图像显示装置104使处理进入步骤s922。
[0209]
在步骤s922中，操作控制单元203将标签再现设置为显示模式，并使处理进入步骤s923。
[0210]
在步骤s923中，操作控制单元203读取由在步骤s906中选择的标签指定的开始时间码，并使处理进入步骤912。然后，在步骤s912中，操作控制单元203将时间码更新为指定的时间码，并将处理返回到步骤s902。此外，在s904和s905之后，图像显示装置104使用由选择的标签指定的自动操作信息来执行虚拟相机的自动操作。
[0211]
这里，在图8c中示出了标签再现时(标签选择后的自动再现)时的画面。在图8c中，在时间码操作区域503上显示子滑块843。注意，子滑块843的尺度可以是由标签指定的时间码周期的长度。另外，当指示标签再现时，可以动态地显示子滑块843。而且，在标签再现时，可以用可以与其他标签区分开的显示器842替换正在再现的标签。
[0212]
在图8c的虚拟相机操作区域502中，显示通过包括在选择的标签中的自动操作信息指定的虚拟相机生成的虚拟视点图像。在标签再现时，可以追加接受手动操作，并且在s907和s908中，图像显示装置104执行虚拟相机控制处理，在该虚拟相机控制处理中，类似于在第一实施例所述，将自动操作和手动操作组合。
[0213]
在步骤s907中，当操作控制单元203接受与虚拟相机有关的手动操作时，操作控制单元203确认当前的显示模式。在显示模式是标签再现模式的情况下(步骤s907中的“正常再现”)，操作控制单元203使处理进入步骤s909，并且在显示模式是正常再现模式的情况下(步骤s907中的“标签再现”)，操作控制单元203使处理进入步骤s908。
[0214]
在步骤s908中，操作控制单元203将所选标签中的自动操作与在步骤s906中接受的虚拟相机的手动操作进行比较，并确定它们是否相互干扰。比较自动操作和手动操作的方法类似于步骤s607的方法，因此不再赘述。
[0215]
在步骤s909中，与步骤s608中类似，操作控制单元203执行虚拟相机的手动操作。在步骤s910中，类似于步骤s609，操作控制单元203渲染虚拟视点图像。在步骤s911中，操作控制单元203递增时间码。时间码的增加与步骤s602中的类似，因此不再赘述。
[0216]
在步骤s921中，操作控制单元203确定在标签再现时在步骤s911中递增的时间码是否是为针对标签指定的结束时间码。在增加的时间码不是在标签中指定的结束时间码的
情况下(步骤s921中为“否”)，操作控制单元203使处理进入步骤s930，并且执行与步骤s611类似的确定。在增加的时间码是标签中指定的结束时间码的情况下(步骤s921中为“是”)，操作控制单元使处理返回步骤s923，读取所选择的标签的开始时间码，并执行重复再现来重复标签再现。注意，在这种情况下，可以将在先前再现中设置的手动操作反映为自动操作。
[0217]
注意，为了在标签再现期间使重复再现无效，用户可以按下图8c所示的取消按钮844。
[0218]
注意，当重复标签再现时，可以在重复时保持最终的手动操作的姿势。可以进行配置，使得在操作图4c和图4d中的自动化操作信息作为标签的情况下，在时间码周期(轨迹412，起点700和终点710)中执行重复再现的情况下，即使返回到起点700，也能维持终点710处的姿势。或者，可以采取如下配置：当返回到起点700时，返回到在自动操作信息中指定的姿势的初始值。
[0219]
如上所述，凭借根据本实施例的生成标签的方法，在图像显示装置104中，可以在短时间内容易地生成关于预定范围的时间码的自动化操作信息。
[0220]
此外，凭借标签再现方法，用户仅通过从多个标签中选择期望的一个的简单操作就可以对每个场景执行自动再现。另外，即使被摄体的行为因场景而不同，并且复杂，也可以通过自动操作在每个场景中在虚拟相机的视角内连续拍摄要关注的位置。而且，用户将手动操作应用于自动操作，以能够以用户期望的角度显示被摄体。另外，由于用户可以将自动操作添加为标签，因此可以根据用户偏好来组合多个虚拟相机操作。
[0221]
例如，针对体育广播中得分的多个场景，通过时间码操作来指定时间码，并将虚拟相机的目标点坐标的指定操作添加为标签，可以很容易地产生多个场景的标签。通过在赛后解说节目等中使用这些标签，解说员可以容易地从各个角度显示多个得分场景并将其用于解说。例如，如第一实施例中的图7b至图7d所示，通过从各种角度显示要关注的场景，可以详细地解说要关注的点等。
[0222]
此外，标签不限于体育解说，例如，可以针对目标运动的专家或知名运动员应关注的场景生成标签，其他用户可以使用此类标签进行标签再现。通过仅执行简单的操作，用户还可以使用由高度专业的人设置的标签来从各个角度观看要关注的场景。
[0223]
另外，可以通过在其他图像显示装置中使用标签来将生成的标签发送到其他图像显示装置并自动地再现场景。
[0224]
<第三实施方式>
[0225]
在本实施例中，将描述图像显示装置104中的虚拟相机的手动操作的一个示例。与根据触摸操作中的手指数量的变化来切换虚拟相机动作的方法相比，由于可以用一根手指来切换虚拟相机的动作，因此用户可以更容易地执行手动操作。
[0226]
不再描述与第一和第二实施例类似的配置、处理和功能。在第一实施例中已经描述了图1a的虚拟视点图像生成系统以及图2a的图像显示装置104的功能块，因此不再赘述，并且将仅追加描述手动操作。
[0227]
参照图10，将描述本实施例中关于虚拟相机的手动操作。与第一实施例中描述的图5a类似中，在图10的画面配置中包括显示在触摸面板1001上的虚拟相机操作区域502和时间码操作区域503。时间码操作区域503的组成部分与参照图5a所描述的类似，因此不再
赘述。
[0228]
在本实施例中，将描述在将触摸面板用于图像显示装置104的操作输入单元214时针对两个虚拟相机动作的虚拟相机操作区域1002的触摸操作。一个动作是图3f所示的虚拟相机的目标点的平移，另一动作是虚拟相机(未示出)的放大/缩小。
[0229]
在本实施例中，用于执行虚拟相机的目标点的平移的触摸操作是针对操作区域的任意位置的轻击操作1021(或双击操作)。图像显示装置104将轻击位置转换成三维空间中的虚拟相机的目标面上的坐标，并且平移虚拟相机，使得坐标成为虚拟相机的目标点。对于用户，该操作将轻击的位置移动到画面的中心，并且通过简单地重复轻击操作，可以继续显示用户希望关注的被摄体上的位置。注意，在一个示例中，可以以预定速度将虚拟相机从当前虚拟相机的目标点的坐标1020平移到轻击操作1021所指定的点。注意，从坐标1020到由轻击操作1021指定的点的移动速度可以是恒速移动。在这种情况下，可以确定移动速度以在诸如一秒的预定时间段内完成移动。或者，可以采取如下配置：移动速度与到轻击操作1021所指定的点的距离成比例地增加，并且随着其变得接近轻击操作1021所指定的点而变慢。
[0230]
注意，在通过使用两个手指的拖动操作(滑动操作)执行的平移时，当被摄体快速移动时，难以调节拖动操作的移动量。与此相反，在本实施例中，仅需要对要移动的目的地进行直观的轻击操作。
[0231]
用于放大或缩小虚拟相机的触摸操作是在虚拟相机操作区域1002的右边缘的预定区域中的拖动操作1022。例如，通过在向上的方向上拖动(滑动)虚拟相机操作区域1002的端部(边缘)的预定区域来执行捏开(pinch
‑
out)，通过在向下的方向上拖动(滑动)来执行捏合(pinch
‑
in)。在。注意，在图10的示例中，示出了虚拟相机操作区域1002的画面的右边缘，但是它可以是另一方向上的画面边缘，并且拖动方向不限于上下。
[0232]
与通过用两根手指捏开和捏合来执行放大/缩小的情况相比，仅需要用一根手指在画面边缘进行拖动操作。例如，在画面边缘处的向上方向上拖动来放大，而在画面边缘处的向下方向上拖动来缩小。
[0233]
注意，可以将上述操作设置为图5a和图5b中所述的手动设置内容，并且可以用于虚拟相机控制处理，在虚拟相机控制处理中，如第一实施例中所述，将自动操作和手动操作进行了组合。
[0234]
如上所述，通过根据本实施例的手动操作，用户不必为了以小增量来操作虚拟相机而切换手指数，并且能够用一根手指直观地操作图像显示装置104。此外，在平移操作中，由于通过轻击指定移动目的地的目标点而能够平移到预定位置，因此与需要调整诸如拖动和滑动等的操作量的操作相比，能够直观地指示平移。
[0235]
<第四实施方式>
[0236]
在本实施例中，将描述图像显示装置104中的虚拟相机的自动操作的一个示例。
[0237]
作为自动操作信息的一个示例，使用与图4c相同的项目，对于特定区间的时间码，将定值用于虚拟相机的目标点的坐标和姿势。例如，比赛有时会由于运动员的受伤或运动中的犯规而中断，并且这样的时间空挡可能会让观众感到厌烦。在检测到这种中断的情况下，可以采取如下配置：自动操作虚拟相机到可以看到整个场地的位置和姿势，并执行使时间码以两倍速度前进的自动操作。而且，能够指定跳过全部中断。在这种情况下，比赛的中
断可以由工作人员输入并且可以由用户使用标签来指定。通过执行这样的自动化操作，当比赛中断时，用户可以快进或跳过无聊的时间空挡。
[0238]
作为另一示例，可以采取如下配置：在比赛发展非常迅速的场景中设置相对于预定区间的时间码来变化的回放速度。例如，通过将回放速度设置为诸如半速之类的延迟值，用户可以容易地执行难以以全速执行的虚拟相机的手动操作。
[0239]
注意，可以采取如下配置：在体育运动的情况中，通过图像分析来检测比赛中正在进行的体育运动被中断，该图像分析用于确定做出手势的裁判员或者球或运动员的移动停下来。另一方面，可以采取如下配置：根据运动员或球的移动速度通过图像分析来检测体育运动正在快速进行。另外，可以采取如下配置：通过使用音频分析来检测体育运动被中断或体育运动正在快速进行。
[0240]
其他实施例
[0241]
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。
[0242]
虽然参照示例性实施例描述了本发明，但是应当理解，本发明并不限于所公开的示例性实施例。应当对权利要求的范围赋予最宽的解释，以使其涵盖所有这些变型例以及等同的结构及功能。