三维模型的生成装置、生成方法和存储介质与流程

三维模型的生成装置、生成方法和存储介质
1.(本技术是申请日为2018年12月3日、申请号为201880028645.2、发明名称为“三维模型的生成装置、生成方法和程序”的申请的分案申请。)
技术领域
2.本发明涉及图像内的对象的三维模型的生成。


背景技术：

3.传统上，作为用于通过使用由多个照相机从不同视点同步拍摄到的多视点图像来估计对象的三维形状的方法，已知有被称为“视体交叉法(visualhull)”的方法(专利文献1、非专利文献1)。图1的(a)～(c)是示出视体交叉法的基本原理的图。从通过拍摄特定对象所获得的图像中，在摄像面处获得表示该对象的二维轮廓的掩模(mask)图像(图1的(a))。然后，考虑扩展到三维空间中以使得各边从照相机的摄像中心延伸并且通过掩模图像的轮廓上的各点的锥体形式(图1的(b))。该锥体形式被称为相关照相机的目标“视体(visualvolume)”。此外，通过求出多个视体的共同区域、即视体的交叉，求出对象的三维形状(三维模型)(图1的(c))。如上所述，在通过视体交叉法的形状估计中，通过将对象可能存在的空间中的采样点投影到掩模图像上并且验证投影点是否被包括在多个视点共同的掩模图像中来估计对象的三维形状。
4.现有技术文献
5.专利文献
6.专利文献1：日本特开2014
‑
10805
7.非专利文献
8.非专利文献1：laurentini a:“the visual hull concept for silhouette
‑
based image understanding”,ieee transcriptions pattern analysis and machine intelligence,vol.16,no.2,pp.150
‑
162,feb,1994


技术实现要素：

9.发明要解决的问题
10.在上述的视体交叉法中，掩模图像需要能够正确地表现目标对象的轮廓，并且在掩模图像上的轮廓不正确的情况下，所生成的三维形状也不正确。例如，在作为目标对象的人物的一部分被存在于该人物的前方的诸如构造物等的静止物体阻挡了拍摄、并且因此由掩模图像表示的人物的轮廓的一部分欠缺的情况下，在所生成的三维模型中出现缺陷。此外，在不使用轮廓的一部分欠缺的掩模图像的情况下，所获得的三维模型的几何精度降低。特别地，在被构造物阻挡了拍摄的部分相对较小的情况下，期望尽可能多地使用甚至轮廓的一部分欠缺的掩模图像，这是因为通过使用该掩模图像可以获得几何精度高的三维模型。
11.本发明是有鉴于上述问题而作出的，并且本发明的目的是即使在摄像场景内存在
阻挡目标对象的一部分被拍摄的构造物等的情况下，也防止在所生成的三维模型中出现缺陷。
12.用于解决问题的方案
13.根据本发明的一种生成装置，包括：第一获取部件，用于获取第一区域信息，所述第一区域信息表示通过从多个摄像方向的摄像所获得的多个图像内的对象的区域；第二获取部件，用于获取第二区域信息，所述第二区域信息表示在从所述多个摄像方向中的至少一个摄像方向的摄像的情况下有可能阻挡所述对象被拍摄的构造物的区域；以及生成部件，用于基于所述第一获取部件所获取到的表示所述对象的区域的所述第一区域信息和所述第二获取部件所获取到的表示所述构造物的区域的所述第二区域信息这两者，来生成与所述对象相对应的三维形状数据。
14.发明的效果
15.根据本发明，即使在摄像场景内存在阻挡目标对象的一部分被拍摄的构造物等的情况下，也使得可以生成不存在缺陷或缺陷的程度降低的高质量的三维模型。
16.通过以下参考附图对典型实施例的说明，本发明的更多特征将变得明显。
附图说明
17.图1的(a)～(c)是示出视体交叉法的基本原理的图；
18.图2的(a)是示出虚拟视点图像生成系统的结构的框图，并且图2的(b)是示出构成照相机阵列的各照相机的配置示例的图；
19.图3是示出根据第一实施例的三维模型生成装置的内部结构的功能框图；
20.图4是示出根据第一实施例的三维模型形成处理的流程的流程图；
21.图5的(a)～(h)各自是示出各照相机所拍摄到的图像的示例的图；
22.图6的(a)～(h)各自是示出构造物掩模的示例的图；
23.图7的(a)～(h)各自是示出前景掩模的示例的图；
24.图8的(a)～(h)各自是示出整合掩模的示例的图；
25.图9是示出基于整合掩模所生成的整合三维模型的示例的图；
26.图10是示出通过传统方法仅使用前景掩模所生成的三维模型的示例的图；
27.图11是示出根据第二实施例的三维模型形成处理的流程的流程图；
28.图12的(a)是示出基于整合掩模所生成的整合三维模型的图，图12的(b)是示出仅基于构造物掩模生成的构造物的三维模型的图，并且图12的(c)是示出从图12的(a)的整合三维模型和图12的(b)的构造物的三维模型之间的差所获得的仅前景的三维模型的图；
29.图13是示出根据第三实施例的构成三维模型的体素的示例的图；
30.图14是示出根据第三实施例的虚拟视点图像生成系统的照相机配置的示例的图；
31.图15是示出根据第三实施例的三维模型生成装置的功能结构的示例的图；
32.图16是示出根据第三实施例的三维模型生成装置所进行的处理的过程的流程图；
33.图17是示出根据第三实施例的多个照相机所拍摄到的拍摄图像的示例的图；
34.图18是示出根据第三实施例的构造物掩模图像的示例的图；
35.图19是示出根据第三实施例的前景掩模图像的示例的图；
36.图20是示出根据第三实施例的通过将前景掩模图像和构造物掩模图像整合所获
得的整合掩模图像的示例的图；
37.图21是示出作为根据第三实施例的体育馆系统的三维模型的生成目标的体素空间的图；
38.图22是示出根据第三实施例的真计数(true count)/假计数(false count)的图；
39.图23是示出根据第三实施例的通过应用假计数的基于阈值的判断所生成的三维模型的示例的图；
40.图24是示出根据第三实施例的通过应用假计数的基于阈值的判断和真计数的基于阈值的判断所生成的三维模型的示例的图；
41.图25是示出在发生缺陷的情况下的三维模型的图；
42.图26是示出根据第四实施例的三维模型生成装置的功能结构的示例的图；
43.图27是示出根据第四实施例的三维模型生成装置所进行的处理的过程的流程图；
44.图28是示出根据第四实施例的虚拟视点图像生成系统的照相机配置和前景的示例的图；
45.图29是示出根据第四实施例的真/假计数的图；
46.图30是示出根据第五实施例的三维模型生成装置的功能块的图；
47.图31是示出根据第五实施例的三维模型生成装置的处理流程的图；
48.图32是示出根据第五实施例的不存在权重相加和存在权重相加的真/假计数的图；
49.图33是示出根据第六实施例的三维模型生成装置的功能块的图；
50.图34是示出根据第六实施例的三维模型生成装置的处理流程的图；以及
51.图35是示出根据第六实施例的假计数/构造物的图。
具体实施例
52.以下参考附图来根据实施例详细说明本发明。以下实施例中所示的结构仅仅是示例性的，并且本发明不限于示意性示出的结构。
53.[第一实施例]
[0054]
在本实施例中，说明如下的方面：通过除了使用摄像场景中的前景的二维轮廓之外，还使用包括阻挡它的至少一部分被拍摄的构造物的二维轮廓的掩模图像，来针对前景生成不存在缺陷或缺陷的程度降低的三维模型。在该方面中，生成包括阻挡前景的一部分被拍摄的构造物等的三维模型。在本说明书中，“前景”是指在从相同角度按时间序列进行摄像的情况下移动的(其绝对位置可以改变)并且可以从虚拟视点观看到的、存在于拍摄图像内的移动对象。此外，“构造物”是指在从相同角度按时间序列进行摄像的情况下不移动的(其绝对位置不改变，即静止)并且有可能阻挡前景被拍摄的、存在于拍摄图像内的静止对象。这里提到的三维模型是表示三维形状的数据。
[0055]
在以下的说明中，假定在通过将足球比赛作为摄像场景来生成虚拟视点图像时、诸如选手和球等的前景(移动对象)的一部分被诸如足球球门等的构造物(静止对象)阻挡了拍摄的情况。虚拟视点图像是通过最终用户和/或指定操作员等自由地操作虚拟照相机的位置和姿势所生成的、并且还被称为自由视点图像和任意视点图像等的视频图像。此外，所生成的虚拟视点图像和作为虚拟视点图像的源的多视点图像可以是运动图像或静止图
像。在以下说明的各实施例中，说明通过使用运动图像的多视点图像来生成用于生成运动图像的虚拟视点图像的三维模型的情况作为示例。
[0056]
在本实施例中，假定将足球赛作为摄像场景并且固定地安装的足球球门是构造物来给出说明，但这不是限制性的。例如，还可以将角旗作为构造物进行处理，并且在将室内演播室作为摄像场景的情况下，还可以将家具或道具作为构造物进行处理。也就是说，任何静止物体均可被作为构造物进行处理，只要其静止状态或接近静止状态的状态持续即可。
[0057]
(系统结构)
[0058]
图2的(a)是示出包括根据本实施例的三维模型生成装置的虚拟视点图像生成系统的结构的示例的框图。虚拟视点图像生成系统100包括包含多个照相机的照相机阵列110、控制装置120、前景分离装置130、三维模型生成装置140和绘制装置150。控制装置120、前景分离装置130、三维模型生成装置140和绘制装置150各自由用于进行计算处理的cpu、或者包括了存储有计算处理的结果和程序等的存储器等的通用计算机(信息处理设备)来实现。
[0059]
图2的(b)是在从正上方观看场地200的情况下的鸟瞰图中示出构成照相机阵列110的总共八个照相机211～218的配置的图。照相机211～218各自以围绕场地200的方式安装在从地面起的预定高度处，并且通过从各种角度拍摄球门其中之一的前方的位置来获取来自不同视点的多视点图像数据。在人造草坪场地200上，(实际上，用白线)画出足球场201，并且在该足球场201的左侧，放置了足球球门202。此外，足球球门202的前方的
×
标记203表示照相机211～218的共同视线方向(注视点)，并且虚线圆204表示照相机211～218各自可以以注视点203作为中心进行摄像的区域。在本实施例中，在将场地200的一个角作为原点、将长边方向作为x轴、将短边方向作为y轴、并且将高度方向作为z轴的坐标系中表示位置。照相机阵列110的各照相机所获得的多视点图像的数据被发送至控制装置120和前景分离装置130。在图2的(a)中，照相机211～218、控制装置120和前景分离装置130各自通过星形拓扑连接，但也可以采用通过菊花链连接的环形拓扑或者总线型拓扑。此外，在图2的(b)中，说明了照相机的数量是八个的示例，但照相机的数量可以小于八个或超过八个。
[0060]
控制装置120生成照相机参数和构造物掩模，并将这两者供给至三维模型生成装置140。照相机参数包括表示各照相机的位置和姿势(视线方向)的外部参数、以及表示各照相机中所包括的镜头的焦距和视角(摄像区域)的内部参数，并且通过校准来获得。校准是用以求出通过使用拍摄诸如棋盘格等的特定图案的多个图像所获得的三维世界坐标系中的点和对应于该点的二维点之间的对应关系的处理。构造物掩模是表示照相机211～218各自所获取到的各拍摄图像中存在的构造物的二维轮廓的掩模图像。掩模图像是指定哪个是拍摄图像内的提取目标部分的基准图像，并且是由0和1表示的二值图像。在本实施例中，将足球球门202作为构造物进行处理，并且表示各照相机从预定位置并且以预定角度拍摄到的图像内的足球球门202的区域(二维轮廓)的轮廓图像是构造物掩模。作为用作构造物掩模的源的拍摄图像，可以使用在作为前景的选手等不存在的定时(诸如在比赛之前或之后的定时或者在半场期间的定时等)拍摄到的图像。然而，存在由于摄像受到日光变化(例如在户外)的影响而导致预先或之后拍摄到的图像不合适的情况。在诸如该情况等的情况下，例如，还可以通过从拍摄选手等的运动图像的预定数量的帧(例如，与十秒相对应的连续帧)中排除选手等来获得作为构造物掩模的源的拍摄图像。在这种情况下，可以基于采用各
帧中的各像素值的中值的图像来获得构造物掩模。
[0061]
前景分离装置130进行以下处理：针对所输入的来自多个视点的各个拍摄图像，将与场地200上的选手和球相对应的前景确定为与除前景区域以外的背景区域区分开。关于前景区域的确定，使用预先准备的背景图像(其可以是与作为构造物掩模的源的拍摄图像相同)。具体地，针对各拍摄图像求出与背景图像的差，并且将与该差相对应的区域指定为前景区域。由于此，生成表示各拍摄图像的前景区域的前景掩模。在本实施例中，生成如下的二值图像作为前景掩模，该二值图像用“0”表示属于表示选手和球的前景区域的像素，并且用“1”表示属于除前景以外的背景区域的像素。
[0062]
三维模型生成装置140基于照相机参数和多视点图像来生成对象的三维模型。后面将说明三维模型生成装置140的详情。所生成的三维模型的数据被输出至绘制装置150。
[0063]
绘制装置150基于从三维模型生成装置140接收到的三维模型、从控制装置120接收到的照相机参数、从前景分离装置130接收到的前景图像和预先准备的背景图像来生成虚拟视点图像。具体地，根据照相机参数求出前景图像和三维模型之间的位置关系，并且通过映射与三维模型相对应的前景图像，来生成在从任意角度观看关注对象的情况下的虚拟视点图像。以这种方式，例如，可以获得在选手已得分的球门的前方的决定性场景的虚拟视点图像。
[0064]
图2的(a)所示的虚拟视点图像生成系统的结构是示例，并且该结构不限于此。例如，一个计算机可以包括多个装置(例如，前景分离装置130和三维模型生成装置140等)的功能。可选地，也可以设计使得各照相机的模块具有前景分离装置130的功能、并且从各照相机供给拍摄图像及其前景掩模的数据的结构。
[0065]
(三维模型生成装置)
[0066]
图3是示出根据本实施例的三维模型生成装置140的内部结构的功能框图。三维模型生成装置140包括数据接收单元310、构造物掩模存储单元320、掩模整合单元330、坐标转换单元340、三维模型生成单元350和数据输出单元360。以下详细说明各单元。
[0067]
数据接收单元310从控制装置120接收构成照相机阵列110的各照相机的照相机参数和表示摄像场景内存在的构造物的二维轮廓的构造物掩模。此外，数据接收单元310从前景分离装置130接收照相机阵列110的各照相机所获得的拍摄图像(多视点图像)和表示各拍摄图像内存在的前景的二维轮廓的前景掩模的数据。在所接收到的数据中，构造物掩模被传送至构造物掩模存储单元320，前景掩模被传送至掩模整合单元330，多视点图像被传送至坐标转换单元340，并且照相机参数被传送至坐标转换单元340和三维模型生成单元350。
[0068]
构造物掩模存储单元320将构造物掩模存储在ram等中，并根据需要将构造物掩模供给至掩模整合单元330。
[0069]
掩模合成单元330从构造物掩模存储单元320读取构造物掩模并将该构造物掩模与从数据接收单元310接收到的前景掩模进行合成，并由此生成将两个掩模整合成一个掩模的掩模图像(以下称为“整合掩模”)。所生成的整合掩模被发送至三维模型生成单元350。
[0070]
坐标转换单元340基于照相机参数将从数据接收单元310接收到的多视点图像从照相机坐标系转换到世界坐标系。通过该坐标转换，视点彼此不同的各拍摄图像被转换成表示各拍摄图像示出三维空间上的哪个区域的信息。
[0071]
三维模型生成单元350通过使用转换到世界坐标系的多视点图像和与各照相机相对应的整合掩模，利用视体交叉法来生成包括摄像场景内的构造物的对象的三维模型。所生成的对象的三维模型的数据经由数据输出单元360被输出至绘制装置150。
[0072]
(三维模型的形成处理)
[0073]
图4是示出根据本实施例的三维模型形成处理的流程的流程图。这一系列处理通过三维模型生成装置140中所包括的cpu将诸如rom和hdd等的存储介质中所存储的预定程序加载到ram上并执行该程序来实现。以下将沿着图4的流程给出说明。
[0074]
首先，在步骤401中，数据接收单元310从控制装置120接收到表示在从照相机211～218各自观看构造物的情况下的构造物(这里为足球球门202)的二维轮廓的构造物掩模以及各照相机的照相机参数。图5的(a)～(h)各自示出构成照相机阵列110的照相机211～218各自所拍摄到的图像。这里，在足球场201上在足球球门202的前方存在一个选手(守门员)。然后，在图5的(a)、(b)和(h)的各拍摄图像中，足球球门202存在于照相机和选手之间，因此选手的一部分被足球球门202隐藏。从图5的(a)～(h)的各拍摄图像，分别获得构造物掩模，其中在该构造物掩模中，区域由两个值表示，诸如足球球门202的区域是1(白色)并且除足球球门202的区域以外的区域是0(黑色)等。图6的(a)～(h)各自示出与图5的(a)～(h)的各拍摄图像相对应的构造物掩模。
[0075]
接着，在步骤402中，数据接收单元310从前景分离装置130接收到表示照相机211～218各自所拍摄到的图像中的前景(这里为选手和球)的二维轮廓的前景掩模、以及作为前景掩模的源的多视点图像。图7的(a)～(h)各自示出与图5的(a)～(h)的各拍摄图像相对应的前景掩模。前景分离装置130将从相同角度拍摄到的图像之间的随时间的经过而改变的区域提取为前景，因此在图7的(a)、(b)和(h)各自中，被足球球门202隐藏的选手的一部分的区域未被提取为前景区域。所接收到的前景掩模的数据被发送至掩模整合单元330。
[0076]
接着，在步骤403中，掩模整合单元330执行用以从构造物掩模存储单元320读取构造物掩模的数据、并将所读取的构造物掩模和从数据接收单元310接收到的前景掩模进行合成的处理。该合成是用以针对两者都由两个值(白色和黑色)表示的前景掩模和构造物掩模的各像素求出逻辑或(or)的计算处理。图8的(a)～(h)各自示出通过将图6的(a)～(h)所示的各构造物掩模和图7的(a)～(h)所示的各前景掩模进行合成所获得的整合掩模。在完成的整合掩模中，在选手的轮廓中未看见缺陷。
[0077]
然后，在步骤404中，三维模型生成单元350基于步骤403中所获得的整合掩模通过使用视体交叉法来生成三维模型。由于此，生成了表示从不同视点拍摄到的多个图像的共同摄像区域中存在的前景和构造物的三维形状的模型(以下称为“整合三维模型”)。在本实施例的情况下，生成了除包括选手和球之外还包括足球球门202的整合三维模型。整合三维模型的生成具体通过如下的过程来进行。首先，准备用具有预定大小的立方体(体素)填充场地200上的三维空间的体数据。构成体数据的体素的值分别由0和1表示，并且分别为“1”表示有助于形状形成的区域且“0”表示无助于形状形成的区域。接着，通过使用各照相机211～218的照相机参数(安装位置和视线方向等)，将体素的三维坐标从世界坐标系转换到照相机坐标系。然后，在由整合掩模表示的构造物和前景存在于照相机坐标系中的情况下，生成由体素表示构造物和前景的三维形状的模型。也可以代替体素本身而由表示体素的中心的点的集合(点云)来表示三维形状。图9示出基于图8的(a)～(h)所示的整合掩模所生成
的整合三维模型，并且符号901对应于作为前景的选手的三维形状，且符号902对应于作为构造物的足球球门202的三维形状。如前面所述，在整合掩模中，在作为前景的选手的轮廓中不存在缺陷，因此在完成的整合三维模型中也未出现缺陷。图10示出通过传统方法仅使用前景掩模所生成的三维模型。如前面所述，在图7的(a)、(b)和(h)所示的前景掩模中，选手的一部分未被表示为前景区域，因此在所生成的三维模型中该部分变为缺陷。通过本实施例的方法，通过使用将前景掩模和构造物掩模合成的掩模图像，使得可以避免在前景的三维模型的一部分中出现缺陷。
[0078]
以上是根据本实施例的三维模型形成处理的内容。在生成运动图像的虚拟视点图像的情况下，通过以帧为单位重复进行上述各步骤的处理来生成各帧的三维模型。然而，仅需要仅在紧接流程的开始之后进行构造物掩模的接收和存储(步骤401)，并且可以针对第二帧和后续帧省略该操作。此外，在通过改变日期来在相同的摄像位置处进行摄像的情况下，也可以仅在第一次进行构造物掩模的接收和存储并将该构造物掩模存储在ram等中，并且在下次及其之后使用所存储的构造物掩模。
[0079]
如上所述，根据本实施例，即使在存在隐藏作为前景的对象的构造物的情况下，也可以生成在前景中不存在缺陷或者缺陷的程度降低的高度精确的三维模型。
[0080]
[第二实施例]
[0081]
在第一实施例中，生成了包括拍摄场景内存在的构造物的、不存在缺陷或缺陷的程度降低的前景的三维模型。接着，说明如下的方面作为第二实施例：生成构造物被去除的、不存在缺陷或缺陷的程度降低的仅具有前景的三维模型。省略或简化了对与诸如系统结构等的第一实施例的内容共同的内容的说明，并且以下主要说明不同点。
[0082]
本实施例的三维模型生成装置140的结构也与第一实施例的三维模型生成装置140的结构(参见图3)基本相同，但在以下几点上有所不同。
[0083]
首先，针对构造物掩模存储单元320的构造物掩模的读取不仅由掩模整合单元330进行而且由三维模型生成单元350进行。图3中的虚线箭头表示该情况。然后，在三维模型生成单元350中，除了使用整合掩模的前景和构造物的整合三维模型的生成之外，还进行使用构造物掩模的仅构造物的三维模型的生成。然后，通过求出基于整合掩模所生成的整合三维模型和基于构造物掩模所生成的构造物的三维模型之间的差，来提取不存在缺陷或缺陷的程度降低的仅前景的三维模型。
[0084]
(三维模型的形成处理)
[0085]
图11是示出根据本实施例的三维模型形成处理的流程的流程图。该一系列处理通过三维模型生成装置140中所包括的cpu将诸如rom和hdd等的存储介质中所存储的预定程序加载到ram上并执行该程序来实现。以下沿着图11的流程给出说明。
[0086]
步骤1101～步骤1104分别对应于第一实施例的图4的流程中的步骤401～步骤404，并且不存在差异，因此省略了说明。
[0087]
在随后的步骤1105中，三维模型生成单元350从构造物掩模存储单元320读取构造物掩模，并且通过视体交叉法生成构造物的三维模型。
[0088]
接着，在步骤s1106中，三维模型生成单元350求出步骤s1104中所生成的前景和构造物的合成三维模型与步骤s1105中所生成的构造物的三维模型之间的差，并且提取仅前景的三维模型。这里，还可以在将构造物的三维模型在三维空间上扩大了例如约10％之后
求出与整合三维模型的差。由于此，可以从三维整合模型中可靠地去除与构造物相对应的部分。此时，还可以仅扩大构造物的三维模型的一部分。例如，还可以以如下方式确定根据区域而扩大的部分：在足球球门202的情况下，由于选手存在于足球场201内的可能性高，因此不扩大球场201的一侧并且仅扩大球场201的相对侧。此外，还可以根据作为前景的对象(诸如选手和球等)离构造物有多远来改变扩大的比例(扩大率)。例如，在作为前景的对象位于离构造物远的位置的情况下，增大扩大率，使得可靠地去除构造物的三维模型。此外，通过在作为前景的对象位于离构造物近的位置的情况下减小扩大率，防止了前景的三维模型的一部分被误去除。还可以根据与前景的距离来线性地改变此时的扩大率、或者通过提供一个或多个距离作为基准来逐级地确定扩大率。
[0089]
图12的(a)示出与前面所述的图9中的整合三维模型相同的、基于整合掩模所生成的整合三维模型。图12的(b)示出仅基于构造物掩模所生成的构造物的三维模型。然后，图12的(c)示出从图12的(a)的整合三维模型和图12的(b)的构造物的三维模型之间的差获得的仅前景的三维模型。
[0090]
以上是根据本实施例的三维模型形成处理的内容。在生成运动图像的虚拟视点图像的情况下，通过以帧为单位重复进向上述各步骤的处理来生成各帧的三维模型。然而，仅需要仅在紧接流程的开始之后进行构造物掩模的接收和存储(步骤1101)以及构造物的三维模型的生成(步骤1105)，并且可以针对第二帧和后续帧省略该操作。此外，在通过改变日期来在相同的摄像位置处进行摄像的情况下，也可以仅在第一次进行构造物掩模的接收和存储以及构造物的三维模型的生成并将这它们存储在ram等中、并且在下次及其之后使用它们。如上所述，根据本实施例，即使在存在隐藏作为前景的对象的构造物的情况下，也可以生成不包括构造物且高度精确的仅前景的三维模型。
[0091]
[第三实施例]
[0092]
在第一实施例和第二实施例中，通过从前景和构造物的整合三维模型中减去构造物的三维模型来生成仅前景三维模型。接着，说明如下的方面作为第三实施例：通过针对构成前景和构造物的整合三维模型的各体素(或针对各预定区域)而对体素被包括在哪个掩模图像中进行计数、并且将计数值小于或等于阈值的部分从整合三维模型中去除，来求出仅前景的三维模型。
[0093]
在本实施例中，首先，针对构成三维空间的多个部分区域中的各个部分区域，判断是否满足如下的条件：该部分区域被包括在表示多个照相机的拍摄图像内的目标对象的区域的前景区域中的照相机的数量是否小于或等于第一阈值。作为第一阈值，通过考虑各照相机的安装位置和视线方向等来设置小于照相机总数的任意值。然后，生成包括未被判断为满足该条件的部分区域的目标对象的三维模型。
[0094]
(三维模型的表现方法)
[0095]
图13的(a)示出单个立方体体素。图13的(b)示出表示三维模型生成目标空间的体素集合。如图13的(b)所示，体素是构成三维空间的微小部分区域。然后，图13的(c)示出如下的示例：通过将除四角锥区域以外的区域中的体素从作为目标空间的体素集合的图13的(b)中的集合去除来生成四角锥的三维模型的体素集合。在本实施例中，说明了三维空间和三维模型由立方体体素构成的示例，但这不是限制性的，并且三维空间和三维模型可以由点云等构成。
[0096]
(系统结构)
[0097]
示出包括根据本实施例的三维模型生成装置的虚拟视点图像生成系统的结构示例的框图与图2的(a)所示的框图相同，因此省略了说明。
[0098]
照相机阵列110是包括多个照相机110a～110z的摄像设备组，并且从各种角度拍摄被摄体并将图像输出至前景分离装置130和控制装置120。假设照相机110a至照相机110z、前景分离装置130和控制装置120通过星形拓扑连接，但也可以通过利用菊花链连接的环形或总线型等的拓扑连接。照相机阵列110例如如图14所示布置在体育馆的周围，并且从各种角度向着所有照相机共同的场地上的注视点同步地进行摄像。然而，也可以设置多个注视点，诸如使得照相机阵列110中所包括的照相机的一半面向的注视点以及使得照相机的其余一半面向的另一注视点等。
[0099]
这里，前景是使得能够在虚拟视点从任意角度观看的预定目标对象(作为基于拍摄图像来生成三维模型的目标的被摄体)，并且在本实施例中，是指体育馆的场地上存在的人物。另一方面，背景是除前景以外的区域，并且在本实施例中，是指整个体育馆(场地和观众台等)。然而，前景和背景不限于这些示例。此外，假定本实施例中的虚拟视点图像包括表示从没有安装照相机的虚拟视点的外观的所有图像，而不仅仅是表示从可自由指定的视点的外观的图像。
[0100]
控制装置120根据照相机阵列110同步拍摄到的图像来计算表示照相机110a至照相机110z的位置和姿势的照相机参数，并将所计算出的照相机参数输出至三维模型生成装置140。这里，照相机参数包括外部参数和内部参数。外部参数包括旋转矩阵和平移矩阵，并且表示照相机的位置和姿势。内部参数包括与照相机的焦距和光学中心等有关的信息，并且表示照相机的视角和摄像传感器的大小等。
[0101]
用以计算照相机参数的处理被称为校准。可以通过使用三维世界坐标系中的点(其是通过使用通过拍摄例如棋盘格等的特定图案所获得的多个图像而获取到的)和与其相对应的二维点之间的对应关系来求出照相机参数。
[0102]
控制装置120计算表示在照相机110a至照相机110z所拍摄到的图像中在前景的前方有可能重叠的构造物区域的构造物掩模图像，并输出与所计算出的构造物掩模图像有关的信息。在本实施例中，构造物是摄像目标空间内所安装的静止物体，并且作为示例，将足球球门作为构造物进行处理且表示各照相机所拍摄到的图像内的球门的区域的图像是构造物掩模图像。
[0103]
前景分离装置130从照相机阵列110输入的多个照相机所拍摄到的图像中识别场地上的人物作为前景而存在的区域和除前景以外的背景区域，并输出表示前景区域的前景掩模图像。作为识别前景区域的方法，可以使用将在预先存储的背景图像和拍摄图像之间存在差的区域识别为前景图像的方法、或者将移动物体的区域识别为前景区域的方法。
[0104]
这里，掩模图像是表示希望从拍摄图像中提取的特定部分的基准图像，并且是由0和1表示的二值图像。例如，前景掩模图像表示拍摄图像中的存在例如选手等的前景的区域，并且是以与拍摄区域的分辨率相同的分辨率用1表示指示前景区域的像素且用0表示除前景以外的像素的图像。然而，掩模图像的格式不限于此，并且可以是表示拍摄图像内的特定对象的区域的任何信息。
[0105]
三维模型生成装置140具有作为通过使用多个照相机所拍摄到的多个拍摄图像来
生成三维模型的信息处理设备的功能。首先，三维模型生成装置140从控制装置120接收照相机参数和与构造物掩模图像有关的信息，并且从前景分离装置130接收前景掩模图像。然后，三维模型生成装置140通过将构造物掩模图像和前景掩模图像整合来生成表示整合区域的整合掩模图像。此外，三维模型生成装置140基于作为前景的三维模型的生成目标的空间内的各体素(实际上为与体素相对应的点，并且这在下文中适用)未被包括在整合掩模图像中的照相机的数量、以及各体素被包括在前景掩模图像中的照相机的数量，来判断是否去除各体素。然后，基于在去除了被判断为去除的体素之后的剩余体素，通过例如视体交叉法生成前景的三维模型并将该三维模型输出至绘制装置150。
[0106]
绘制装置150从三维模型生成装置140接收三维模型，并且从前景分离装置130接收表示前景的图像。此外，绘制装置150通过根据照相机参数求出表示前景的图像与三维模型之间的位置关系、并且粘贴与三维模型相对应的前景图像来进行着色，并由此生成在从任意视点观察三维模型的情况下的虚拟视点图像。在虚拟视点图像中，可以包括背景的图像。也就是说，绘制装置150也可以通过在三维空间内设置背景的模型、前景的模型和视点的位置来生成在从所设置的视点观看背景和前景的情况下的虚拟视点图像。
[0107]
(三维模型生成装置的功能结构)
[0108]
接着，参考图15来说明根据本实施例的三维模型生成装置的功能结构。三维模型生成装置140包括接收单元155、构造物掩模存储单元101、照相机参数存储单元102、掩模整合单元103、坐标转换单元104、掩模内/外判断单元105、阈值设置单元106、前景模型生成单元107和输出单元108。
[0109]
接收单元155从控制装置120接收到构成照相机阵列110的各照相机的照相机参数和表示构造物的区域的构造物掩模图像。此外，接收单元155在各摄像时从前景分离装置130接收到照相机阵列110的各照相机所拍摄到的图像和表示该图像内的前景区域的前景掩模图像。
[0110]
构造物掩模存储单元101存储接收单元155所接收到的构造物掩模图像。构造物掩模图像是与照相机的位置相对应的固定图像。
[0111]
照相机参数存储单元102存储表示照相机阵列110所拍摄到的各照相机的位置和/或姿势的外部参数、以及表示焦距和/或图像大小的内部参数，作为照相机参数。
[0112]
掩模整合单元103通过将在每次照相机阵列110进行摄像时从前景分离装置130接收到的前景掩模图像与构造物掩模存储单元101中所存储的构造物掩模图像进行整合来生成整合掩模图像。后面将说明前景掩模图像和构造物掩模图像的整合方法的详情。
[0113]
坐标转换单元104基于照相机参数存储单元102中所存储的照相机参数来计算各拍摄图像在世界坐标系中的位置和视角，并且将这两者转换成表示各拍摄图像示出三维空间上的哪个拍摄区域的信息。
[0114]
掩模内/外判断单元105在目标体素空间内的各体素被包括在前景掩模图像内的照相机的数量小于或等于阈值的情况下，判断为去除该体素。此外，掩模内/外判断单元105在目标体素空间内的各体素未被包括在整合掩模图像内的照相机的数量大于或等于其它阈值的情况下，判断为去除该体素。
[0115]
阈值设置单元106设置用于利用掩模内/外判断单元105判断是否要去除体素的各阈值。该阈值可以根据针对三维模型生成装置140的用户操作来设置，或者可以由阈值设置
单元106自动设置。前景模型生成单元107去除目标体素空间内的体素中的由掩模内/外判断单元105判断为去除的体素，并且基于剩余体素来生成三维模型。输出单元108将前景模型生成单元107所生成的三维模型输出至绘制装置150。
[0116]
图16是示出根据本实施例的三维模型生成装置所进行的处理的过程的流程图。
[0117]
在s1601中，接收单元155从控制装置120接收到构成照相机阵列110的各照相机的构造物掩模图像。这里，说明拍摄图像和构造物掩模图像的示例。图17示出构成照相机阵列110的一部分的五个照相机所拍摄到的五个拍摄图像的示例。这里，一个人物存在于场地上且球门作为构造物存在于场地上，并且在图17的(b)、(c)和(d)中，作为构造物的球门存在于人物的前方，因此人物的一部分被隐藏。图18示出与图17所示的各拍摄图像相对应的构造物掩模图像。构造物掩模图像被示出为作为构造物的球门的区域是1(白色)并且除构造物以外的区域是0(黑色)的二值图像。
[0118]
在s1602中，接收单元155从前景分离装置130接收到表示前景区域的前景掩模图像。这里，说明前景掩模图像的示例。图19示出与图17所示的各拍摄图像相对应的前景掩模图像。前景分离装置130将随时间而改变的区域提取为前景区域，因此如图19的(b)、(c)和(d)那样，被球门隐藏的人物的一部分的区域未被提取为前景区域。此外，在图19的(e)中，没有随时间而改变的人物的腿部的一部分未被提取为前景区域。
[0119]
在s1603中，掩模整合单元103通过将s1601和s1602中所接收到的构造物掩模图像和前景掩模图像整合来生成整合掩模图像。图20示出作为将图18所示的构造物掩模图像和图19所示的前景掩模图像进行整合的结果的整合掩模图像的示例。通过均由两个值表示的前景掩模图像和构造物掩模图像的or(逻辑和)来计算整合掩模图像。
[0120]
在s1604中，掩模内/外判断单元105从目标体素空间中选择尚未选择的一个体素。
[0121]
在s1605中，掩模内/外判断单元105对所选择的一个体素未被包括在各照相机的整合掩模图像的掩模区域内的照相机的数量进行计数(以下称为假计数(false count))。
[0122]
在s1606中，掩模内/外判断单元105判断假计数是否大于或等于阈值。在假计数大于或等于阈值的情况下，可以判断为所选择的一个体素既不是前景也不是构造物，因此处理进入s1607。由于此，可以去除明显是非前景的许多体素。另一方面，在假计数小于阈值的情况下，可以判断为所选择的一个体素是前景或构造物，因此处理进入s1608。
[0123]
在s1607中，前景模型生成单元107从目标体素空间中去除所选择的一个体素。在s1608中，掩模内/外判断单元105对所选择的一个体素被包括在各照相机的前景掩模图像的掩模区域内的照相机的数量进行计数(以下称为真计数(true count))。
[0124]
在s1609中，掩模内/外判断单元105判断真计数是否小于或等于其它阈值。在真计数小于或等于其它阈值的情况下，可以判断为所选择的一个体素是构造物，因此处理进入s1607并将所选择的一个体素从目标体素空间去除。另一方面，在真计数超过其它阈值的情况下，可以判断为所选择的一个体素是前景，因此不将所选择的一个体素从目标体素空间中去除。
[0125]
在s1610中，掩模内/外判断单元105判断是否对目标体素空间内的所有体素都完成了处理。在对所有体素都完成了处理的情况下，处理进入s1611。另一方面，在未对所有体素完成处理的情况下，处理返回到s1604，并且从尚未选择的体素中选择下一体素，之后进行相同的处理。
[0126]
在s1611中，前景模型生成单元107通过使用在对目标体素空间进行了体素的去除判断之后的剩余体素来生成前景的三维模型。
[0127]
在s1612中，输出单元108将前景模型生成单元107所生成的前景的三维模型输出至绘制装置150。对各照相机所拍摄到的各帧进行上述一系列处理。
[0128]
这里，通过采用利用图14所示的16个照相机拍摄体育馆的虚拟视点图像生成系统作为示例来说明三维模型的生成示例。图21是示出根据本实施例的体育馆系统的作为三维模型生成目标的体素空间的图，并且由网格示出的长方体区域表示目标体素空间。
[0129]
图22示出针对人物、人物的腿部、人物的头部、球门和其它区域(它们分别作为在利用图14所示的16个照相机拍摄体育馆的情况下的前景、未被一部分照相机检测到的前景、被构造物隐藏的前景、构造物和非前景)的体素的假计数/真计数以及判断结果的示例。这里，假定：一个照相机在人物的腿部的前景提取中失败，在三个照相机中人物的头部被作为构造物的球门隐藏，并且该人物的腿部和头部未被前景分离装置130提取为前景。
[0130]
在s1606的判断中假计数的阈值是固定值10的情况下，位于其它区域中的体素的假计数是16并且超过阈值，因此去除该体素。作为该操作的结果，例如，生成如图23所示的包括前景和构造物的三维模型。这里，图23是示出通过应用假计数的基于阈值的判断所生成的三维模型的示例的图。
[0131]
此外，在s1609的判断中真计数的阈值(其它阈值)是固定值5的情况下，位于作为构造物的球门的区域中的体素的真计数为0且小于或等于该阈值，因此去除该体素。另一方面，位于人物、人物的腿部和头部的区域中的体素的真计数分别为16、15和13，这超过第二阈值，因此不去除这些体素。
[0132]
也就是说，如图22所示，前景(人物)、一部分未被检测到的前景(腿部)和被构造物隐藏的前景(头部)被判断为要剩余的体素，并且构造物(球门)和非前景(其它区域)被判断为要去除的体素。因此，根据图21所示的目标空间的体素集合，例如最终生成如图24所示的不存在缺陷的人物的三维模型。这里，图24是示出通过应用假计数的基于阈值的判断和真计数的基于阈值的判断所生成的三维模型的示例的图。
[0133]
与此相反，图25示出仅使用图19所示的前景掩模图像通过视体交叉法来生成三维模型的示例。在图19的(a)中，拍摄了整个人物，但在图19的(b)、(c)和(d)所示的拍摄图像中，人物的头部的一部分被作为构造物的球门隐藏。此外，在图19的(e)所示的拍摄图像中，人物的腿部未被提取为前景。由于此，同样在所生成的三维模型中，一部分也成为缺陷。
[0134]
如上所述，在本实施例中，针对作为生成目标对象(前景)的三维模型的目标的空间内的各体素，判断目标体素被包括在表示前景的区域的前景掩模图像中的照相机的数量是否小于或等于阈值(真计数的阈值)，并且在该数量小于或等于阈值的情况下，去除该体素。
[0135]
根据本实施例，即使在表示目标对象(前景)的区域的前景掩模图像中存在缺陷的情况下，也可以避免目标对象(前景)的要生成的三维模型中的缺陷并且提高该三维模型的质量。
[0136]
此外，通过对前景掩模图像和构造物掩模图像进行整合来生成整合掩模图像，并且在目标体素未被包括在整合掩模图像中的照相机的数量大于或等于阈值(假计数)的情况下，判断为去除该体素。由于此，可以去除明显是非前景的许多体素，因此使得可以提高
后级的处理的速度。
[0137]
[第四实施例]
[0138]
在上述的第三实施例中，未判断体素是否在从各照相机的摄像范围内(视角内)，因此在许多照相机中体素在摄像范围外的情况下，存在表示前景的体素被误去除的可能性。例如，在通过如图14所示的照相机配置拍摄体育馆的情况下，位于注视点的相对侧的球门附近的人物的区域中的体素被包括在摄像范围内的照相机的数量是三个，因此真计数是3。此时，在真计数的阈值是5的情况下，由于真计数小于阈值，因此去除体素。因此，说明如下的方面作为第四实施例：通过基于视角内/外判断的结果而设置阈值来生成三维模型，使得不去除位于远离注视点的位置的前景。在本实施例中，通过基于体素被包括在摄像范围(视角)内的照相机的数量而计算真计数的阈值，即使在体素远离注视点的情况下，也避免了表示前景的体素的误去除。
[0139]
(三维模型生成装置的功能结构)
[0140]
参考图26来说明根据本实施例的三维模型生成装置的功能结构。根据本实施例的三维模型生成装置140除了包括接收单元155、构造物掩模存储单元101、照相机参数存储单元102、掩模整合单元103、坐标转换单元104、掩模内/外判断单元105、阈值设置单元106、前景模型生成单元107和输出单元108之外，还包括视角内/外判断单元109和阈值计算部260。虚拟视点图像生成系统的基本结构与第一实施例至第三实施例的基本结构相同，因此省略了说明。此外，构成三维模型生成装置140的接收单元155、构造物掩模存储单元101、照相机参数存储单元102、掩模整合单元103、坐标转换单元104、掩模内/外判断单元105、阈值设置单元106、前景模型生成单元107和输出单元108与第三实施例的这些单元相同，因此省略了说明。
[0141]
视角内/外判断单元109基于各照相机的照相机参数来判断目标体素空间内的各体素是否在各照相机的摄像范围内。
[0142]
阈值计算单元260计算通过将判断为各体素在摄像范围内的照相机的数量乘以预定比例所获得的值，作为真计数的阈值。例如，在特定体素在摄像范围内的照相机的数量是5个并且预定比例是60％的情况下，将针对该体素的真计数的阈值计算为3。阈值计算单元260所计算出的阈值被输出至阈值设置单元106，并且阈值设置单元106将从阈值计算单元260输入的阈值设置为真计数的阈值。
[0143]
在特定体素在摄像范围内的照相机的数量小于预定数量的情况下，认为要生成的三维模型的精度降低并且不需要处理，因此还可以设计在这样的照相机的数量小于预定数量的情况下将阈值设置为预定值的结构。
[0144]
图27是示出根据本实施例的三维模型生成装置所进行的处理的过程的流程图。s2701～s2704的各处理与第三实施例的图16的流程中的s1601～s1604的各处理相同，因此省略了说明。
[0145]
在s2705中，视角内/外判断单元109基于各照相机的照相机参数来判断s2704中所选择的一个体素是否被包括在各照相机的视角内。
[0146]
在s2706中，掩模内/外判断单元105对如下的照相机的数量进行计数(以下称为假计数)，其中关于这些照相机，所选择的一个体素未被包括在各照相机的整合掩模图像的掩模区域内、但所选择的一个体素被包括在视角内。
[0147]
s2707～s2709的各处理与前面所述的图16的流程中的s1606～s1608的各处理相同，因此省略了说明。
[0148]
在s2710中，阈值计算单元260基于所选择的一个体素被包括在视角内的照相机的数量来计算真计数的阈值。阈值设置单元106设置阈值计算单元260所计算出的真计数的阈值。
[0149]
s2711～s2714的各处理与前面所述的图16的流程中的s1609～s1612的各处理相同，因此省略了说明。以上是图27的流程中的一系列处理。
[0150]
这里，图28示出如图14那样利用16个照相机拍摄包括前景a和前景b的体育馆的方式，其中前景a由离图28中的
×
标记所示的注视点近的位置处的黑点表示，并且前景b由离该注视点远的位置处的黑点表示。假定前景a在所有16个照相机的视角内，并且前景b在仅三个照相机110k、110l和110m的视角内。
[0151]
此外，图29示出在图28所示的照相机配置中、在离注视点近的前景a的位置处的体素和在离注视点远的前景b的位置处的体素各自的假计数/真计数的示例。假定假计数的阈值是固定值10、并且真计数的阈值是体素被包括在视角内的照相机的数量的70％。
[0152]
位于离注视点近的前景a处的体素被包括在所有16个照相机的整合掩模图像内，并且不存在体素在整合掩模图像外的照相机。因此，体素在整合掩模图像外但体素在视角内的照相机的数量是0个，因此假计数为0。
[0153]
此外，位于离注视点近的前景a处的体素被包括在视角内的照相机的数量也是16个，因此真计数的阈值是作为16的70％的11.2。然后，位于离注视点近的前景a处的体素在所有照相机的前景掩模图像内，并且真计数为16且该计数值大于或等于阈值(11.2)，因此不去除该体素。
[0154]
在离注视点远的前景b的位置处的体素在13个照相机(除照相机110k、110l和110m以外的13个照相机)的视角外且在三个照相机(照相机110k、110l和110m)的视角内。此外，该体素在三个照相机(照相机110k、110l和110m)的整合掩模图像内。因此，体素在整合掩模图像外但体素在视角内的照相机的数量为0个，因此假计数为0。
[0155]
此外，位于离注视点远的前景b处的体素被包括在视角内的照相机的数量是三个，因此真计数的阈值是作为3的70％的2.1。然后，位于离注视点远的前景b处的体素在三个照相机的前景掩模图像内，并且真计数为3且该计数值大于或等于阈值(2.1)，因此不去除该体素。
[0156]
如上所述，通过基于目标体素被包括在视角内的照相机的数量设置真计数的阈值，可以针对离注视点远且在目标体素在视角内的照相机的数量小的情况下的前景生成三维模型。因此，即使对于离注视点远的前景，也使得可以生成抑制缺陷的程度的三维模型。
[0157]
[第五实施例]
[0158]
在上述的第三实施例和第四实施例中，说明了仅将体素被包括在前景掩模图像内的照相机计数为各体素的真计数的方面。然而，在这种情况下，由于真计数未超过阈值，因此可以去除在许多照相机中位于被构造物隐藏的前景的位置处的体素。因此，说明如下的方面作为第五实施例：即使在许多照相机中前景被构造物阻挡了拍摄的情况下，也生成无缺陷的三维模型。
[0159]
在本实施例中，即使在目标体素在前景掩模图像外的情况下，在目标体素被包括
在构造物掩模图像内的条件下，该体素也有可能是前景，因此通过将通过使判断为体素被包括在构造物掩模图像内的照相机的数量乘以权重值所获得的值与真计数相加，来避免前景的缺陷。
[0160]
具体地，首先，基于目标体素被包括在构造物掩模图像中的照相机的数量来设置权重值。然后，在目标体素被包括在前景掩模图像中的照相机的数量和通过将目标体素被包括在构造物掩模图像中的照相机的数量乘以权重值所获得的值的总和小于或等于真计数的阈值的情况下，判断为去除该体素。
[0161]
(三维模型生成装置的功能结构)
[0162]
参考图30来说明根据本实施例的三维模型生成装置的功能结构。根据本实施例的三维模型生成装置140除包括第四实施例的三维模型生成装置的结构之外，还包括权重设置单元300。
[0163]
权重设置单元300将在目标体素被判断为在构造物掩模图像内的情况下与真计数相加的值设置为各照相机的权重值。该权重值相当于表示体素位于前景的可能性的值，并且在本实施例中，将各照相机的权重值设置为0.5。然后，将通过将目标体素被判断为在构造物掩模图像内的照相机的数量乘以作为各照相机的权重值的0.5所获得的值与真计数相加。
[0164]
图31是示出根据本实施例的三维模型生成装置所进行的处理的过程的流程图。
[0165]
s3101～s3104的各处理与第四实施例的图27的流程中的s2701～s2704的各处理相同。此外，s3105～s3108的各处理与前面所述的图27的流程中的s2706～s2709的各处理相同。此外，s3109和s3110的各处理与前面所述的图27的流程中的s2705和s2710的各处理相同。
[0166]
在s3111中，掩模内/外判断单元105对所选择的一个体素被包括在各照相机的构造物掩模图像的掩模区域内的照相机的数量进行计数。
[0167]
在s3112中，权重设置单元300将通过将所选择的一个体素被包括在构造物掩模图像的掩模区域内的照相机的数量乘以作为各照相机的权重值的0.5所获得的值与s3108中所计算出的真计数相加。s3113～s3116的各处理与前面所述的图27的流程中的s2711～s2714的各处理相同。以上是图31的流程中的一系列处理。
[0168]
这里，图32示出针对位于特定前景区域中的体素的、在不存在权重相加的情况下的真计数的示例和根据本实施例的在存在权重相加的情况下的真计数的示例。
[0169]
假定：该体素在所有16个照相机的视角内，目标体素被包括在前景掩模图像内的照相机的数量是7个，并且目标体素被包括在构造物掩模图像内的照相机的数量是9个。在这种情况下，体素在整合掩模图像外的照相机的数量为0个(照相机总数16
‑7‑
9)。因此，体素在整合掩模图像外但体素在视角内的照相机的数量为0个，因此假计数为0。
[0170]
在不存在权重相加的情况下，目标体素被包括在前景掩模图像内的照相机的数量是7个，因此真计数是7。假定真计数的阈值是目标体素被包括在视角内的照相机的数量的70％。然后，阈值是11.2(16
×
0.7)，并且真计数(7)<阈值(11.2)且真计数小于或等于阈值，因此去除该体素。
[0171]
另一方面，在存在权重相加的情况下，目标体素被包括在前景掩模图像内的照相机的数量是7个，因此真计数同样是7并且向该真计数加上权重值。目标体素被包括在构造
物掩模图像内的照相机的数量是9个并且各照相机的权重值是0.5，因此将9
×
0.5＝4.5作为权重值相加。加上权重值之后的真计数为11.5，并且真计数(11.5)>阈值(11.2)且真计数超过阈值，因此该体素被视为前景且未被去除。
[0172]
在本实施例中，假定存在一个构造物的情况，但在存在有可能与前景重叠的多个不同构造物的情况下，也可以设置针对构造物掩模图像的各种类而不同的权重值，并且将基于该权重值的值与真计数相加。例如，对于被安装成围绕体育馆的运动场地的电子标牌的构造物掩模图像，电子标牌大并且有可能与前景重叠，因此包括前景的可能性变高，因此将各照相机的权重值设置为0.5。此外，对于球门的构造物掩模图像，将各照相机的权重值设置为0.3。认为由于电子标牌大于球门并且在电子标牌中没有间隙因而电子标牌与前景(人物)重叠的可能性高于球门的该可能性，因此针对电子标牌的权重值被设置成比针对球门的权重值大的值。
[0173]
此外，还可以根据体素位置、场景、掩模区域的大小和形状以及摄像目标体育馆的区域等来设置不同的权重值。
[0174]
如上所述，在本实施例中，在将基于目标体素被包括在构造物掩模图像的掩模区域内的照相机的数量的权重与真计数相加之后，进行基于阈值的判断。由于此，即使在许多照相机中前景被构造物阻挡了拍摄的情况下，也可以实现无缺陷的三维模型的生成。
[0175]
如上所述，根据第一实施例至第五实施例，即使在存在隐藏作为前景的对象的构造物的情况下，也可以生成不包括构造物的仅前景的高度精确的三维模型。
[0176]
[第六实施例]
[0177]
接着，说明如下的方面作为第六实施例：代替第三实施例中所使用的目标体素被包括在前景掩模图像中的照相机的数量(真计数)，使用目标体素被包括在构造物掩模图像中的照相机的数量。在第三实施例中，对于基于前景掩模图像和构造物掩模图像所生成的三维模型，每次都更新前景掩模图像并且判断构成三维模型的体素是否被包括在前景掩模图像中，因此存在处理复杂的情况。因此，对于基于前景掩模图像和构造物掩模图像所生成的三维模型，通过对目标体素被包括在固定的构造物掩模图像中的照相机的数量进行计数，来进行不包括构造物的前景的三维模型的生成。
[0178]
(三维模型生成装置的功能结构和硬件结构)
[0179]
图33是示出本实施例中的三维模型生成装置140的结构的图。本实施例中的三维模型生成装置140的结构与第三实施例的结构基本相同，因此省略了对进行相同处理的块的说明。根据本实施例的三维模型生成装置140包括掩模内/外判断单元3300来代替掩模内/外判断单元105。掩模内/外判断单元3300对目标体素空间内的各体素被包括在整合掩模图像中和构造物掩模图像的区域中的照相机的数量进行计数，通过基于阈值的判断来判断是否去除该目标体素，并将判断结果输出至前景模型生成单元107。本实施例的三维模型生成装置140的硬件结构与图15中的硬件结构相同，因此省略了说明。
[0180]
图34是示出本实施例中的三维模型生成装置140所进行的处理的过程的流程图。s3401～s3407和s3410～s3412的各处理与第三实施例中参考图16所述的s1601～s1607和s1610～s1612的各处理相同，因此省略了说明，并且主要说明必需的部分。
[0181]
在s3406中，掩模内/外判断单元3300判断假计数是否大于或等于阈值。在假计数小于阈值的情况下，可以判断为所选择的体素是前景或构造物，因此处理进入s3408。
[0182]
在s3408中，掩模内/外判断单元3300对与所选择的一个体素相对应的像素或区域被包括在各照相机的构造物掩模图像的掩模区域内的照相机的数量进行计数(以下称为构造物计数)。
[0183]
在s3409中，掩模内/外判断单元3300判断构造物计数是否大于或等于阈值。在构造物计数大于或等于阈值的情况下，可以判断为所选择的体素是构造物，因此处理进入s3407并且将所选择的体素从目标体素空间中去除。另一方面，在构造物计数小于阈值的情况下，可以判断为所选择的体素是前景，因此不将所选择的体素从目标体素空间中去除。
[0184]
这里，通过采用利用图14所示的16个照相机拍摄体育馆的虚拟视点图像生成系统作为示例来说明三维模型的生成示例。图35示出针对人物、人物的腿部、人物的头部、球门和其它区域(它们分别作为图14所示的虚拟视点图像生成系统中的前景、未被一部分照相机检测到的前景、被构造物隐藏的前景、构造物和非前景)的体素的假计数/构造物计数以及判断结果的示例。这里，假定：一个照相机在人物的腿部的前景提取中失败，在三个照相机中人物的头部被作为构造物的球门隐藏，并且该人物的腿部和头部未被前景分离装置130提取为前景。
[0185]
在s3404的判断中假计数的阈值是固定值10的情况下，位于除人物、腿部、头部和作为构造物的球门柱以外的其它区域中的体素的假计数是16且超过阈值，因此去除该体素。通过应用假计数的基于阈值的判断所生成的三维模型与前面所述的图23所示的三维模型相同。
[0186]
此外，在s3408所示的判断中构造物计数的阈值是固定值3的情况下，位于作为构造物的球门的区域中的体素的构造物计数是5且大于或等于阈值，因此去除该体素。另一方面，位于人物、人物的腿部和头部的区域中的各个体素的构造物计数是0且小于阈值，因此不去除这些体素。因此，生成如前面所述的图24所示的无缺陷的人物的三维模型。
[0187]
通过以上处理，通过目标体素被包括在构造物掩模内的照相机的数量(构造物计数)的基于阈值的判断，即使在前景被构造物阻挡了拍摄的情况下，也可以实现无缺陷的三维模型的生成。
[0188]
(其它实施例)
[0189]
还可以通过如下的处理来实现本发明：将实现上述实施例的一个或多个功能的程序经由网络或存储介质供给至系统或设备，并且使得该系统或设备的计算机中的一个或多个处理器读取并执行该程序。此外，还可以通过实现一个或多个功能的电路(例如，asic)来实现本发明。
[0190]
至此为止参考实施例说明了本发明，但无需说明，本发明不限于上述的实施例。所附权利要求书的范围符合最宽的说明，以包含所有这类修改、等同结构和功能。本发明不限于上述实施例，并且在未背离本发明的精神和范围的情况下，可以存在各种改变和修改。因此，为了公开本发明的范围，添加了所附的权利要求书。
[0191]
本技术要求2017年12月14日提交的日本专利申请2017
‑
239891、2018年5月7日提交的日本专利申请2018
‑
089467和2018年11月6日提交的日本专利申请2018
‑
209196的权益，这些申请的全部内容通过引用而被包含于此。