图像处理装置、3D模型生成方法和程序与流程

图像处理装置、3d模型生成方法和程序
技术领域
1.本技术涉及图像处理装置、3d模型生成方法和程序，并且更具体地，涉及能够在用于3d模型生成的多视角图像捕获中减少失败图像捕获的图像处理装置、3d模型生成方法和程序。


背景技术：

2.存在着以下技术：根据从多个视点捕获的运动图像来生成被摄体的3d模型，并且生成与任意观看/收听位置对应的3d模型的虚拟视点图像，以提供来自自由视点的图像。这种技术被称为体积捕获技术(volumetric capture technology)等。
3.在3d模型的生成中，使用了诸如可视外壳(visual hull)的方法(例如，参照专利文献1)，该方法利用来自不同方向的多个捕获图像来切出被摄体的三维形状。由于通过增加相机的数目来提高3d模型的精确度，因此优选地使用多个相机从不同方向捕获被摄体的图像。
4.引用列表
5.专利文献
6.专利文件1：wo 2018/150933 a


技术实现要素：

7.本发明要解决的问题
8.然而，在相机的数目大的情况下，存在着当被摄体移动时被摄体在某个相机的图像捕获范围之外并且需要重新进行图像捕获的情况。
9.本技术是鉴于这样的情况而作出的，并且旨在减少用于3d模型生成的多视角图像捕获中的失败图像捕获。
10.问题的解决方案
11.根据本技术的一个方面的图像处理装置包括：生成单元，其生成根据多个多视角图像生成的图像捕获范围的3d区域；以及确定单元，其基于通过将3d区域投影到特定视点上而获得的区域图像以及来自与特定视点对应的图像捕获设备的被摄体图像，来确定图像捕获设备捕获被摄体的状况。
12.根据本技术的一个方面的3d模型生成方法是用于生成被摄体的3d模型的3d模型生成方法，并且包括：生成根据多个多视角图像生成的图像捕获范围的3d区域；基于通过将3d区域投影到特定视点上而获得的区域图像以及来自与特定视点对应的图像捕获设备的被摄体图像，来确定图像捕获设备捕获被摄体的状况；以及基于多个多视角图像来生成被摄体的3d模型。
13.根据本技术的一个方面的程序使计算机用作为：生成单元，其生成根据多个多视角图像生成的图像捕获范围的3d区域；以及确定单元，其基于通过将3d区域投影到特定视点上而获得的区域图像以及来自与特定视点对应的图像捕获设备的被摄体图像，来确定图
像捕获设备捕获被摄体的状况。
14.在本技术的一个方面中，生成根据多个多视角图像生成的图像捕获范围的3d区域，并且基于通过将3d区域投影到特定视点上而获得的区域图像以及来自与特定视点对应的图像捕获设备的被摄体图像，来确定图像捕获设备捕获被摄体的状况。
15.注意，可以通过使计算机执行程序来实现根据本技术的一个方面的图像处理装置。由计算机执行的程序可以通过经由传输介质被发送或者通过被记录在记录介质上来提供。
16.图像处理装置可以是独立装置或构成一个装置的内部块。
附图说明
17.图1示出了应用本技术的图像处理系统的配置示例。
18.图2是描述图像处理系统的通知示例的图。
19.图3是示出图像处理装置的第一实施方式的配置示例的框图。
20.图4是示出计算3d区域的处理示例的图。
21.图5是示出有效区域掩模图像的处理示例的图。
22.图6是示出视觉识别相机信息的示例的图。
23.图7是示出轮廓提取单元的处理示例的图。
24.图8是描述确定单元的相机确定处理的图。
25.图9是描述第一图像捕获范围确定处理的流程图。
26.图10是示出图像处理装置的第二实施方式的配置示例的框图。
27.图11是描述第二图像捕获范围确定处理的流程图。
28.图12是示出图像处理装置的第三实施方式的配置示例的框图。
29.图13是描述根据第三实施方式的3d区域计算单元的处理的图。
30.图14是示出根据第三实施方式的投影单元的处理的图。
31.图15是示出相机布置的其他示例的图。
32.图16是示出应用本技术的计算机的实施方式的配置示例的框图。
33.实现本发明的方式
34.在下文中，将描述用于执行本技术的模式(在下文中，被称为实施方式)。注意，将按以下顺序提供描述。
35.1.图像处理系统的配置示例
36.2.图像处理装置的第一实施方式
37.3.第一图像捕获范围确定处理
38.4.图像处理装置的第二实施方式
39.5.第二图像捕获范围确定处理
40.6.图像处理装置的第三实施方式
41.7.第三图像捕获范围确定处理
42.8.相机布置的其他示例
43.9.计算机的配置示例
44.<1.图像处理系统的配置示例>
45.图1示出了应用本技术的图像处理系统的配置示例。
46.例如，图1中的图像处理系统包括n个图像捕获设备cam
‑
1至cam
‑
n、图像处理装置11和显示设备12。
47.如图1所示，图像捕获设备cam
‑
1至cam
‑
n(n＞1)被布置为包围作为被摄体的人，捕获被摄体的图像，并且将作为结果获得的捕获图像提供给图像处理装置11。捕获图像被作为运动图像或序列号静止图像从各个图像捕获设备cam顺序地提供给图像处理装置11。从图像捕获设备cam
‑
1至cam
‑
n提供的多个捕获图像是从不同视点捕获被摄体的多个多视角图像。图1中的示例示出了n＝8，并且八个图像捕获设备cam
‑
1至cam
‑
8被布置为包围被摄体的示例。
48.图像处理装置11根据图像捕获设备cam
‑
1至cam
‑
n提供的多个捕获图像生成作为被摄体的对象的3d模型。所生成的对象的3d模型的数据例如包括从各个图像捕获设备cam获得的被摄体的捕获图像的图像数据以及表示被摄体的3d形状的3d形状数据。3d形状数据可以是例如与多个图像捕获设备cam捕获的捕获图像对应的深度图像，或者由点云、多边形网格等来表示，其中点云使用点的集合来表示对象的三维位置，多边形网格使用顶点之间的连接来表示三维位置。
49.显示设备12显示从图像处理装置11提供的预定图像。
50.注意，图像处理装置11不是直接从图像捕获设备cam
‑
1至cam
‑
n获取捕获图像，而是可以获取曾经存储在诸如数据服务器的预定存储单元中的捕获图像，以生成对象的3d模型。此外，可以通过从图像捕获设备cam
‑
1至cam
‑
n获取的捕获图像与存储在存储单元中的捕获图像的组合来生成对象的3d模型。
51.在本实施方式中，由图像捕获设备cam中的每一个生成的运动图像包括包含rgb波长的捕获图像(rgb图像)，但是也可以包括包含红外(ir)图像的多光谱图像。
52.此外，图像捕获设备cam中的每一个可以在改变图像捕获条件(诸如曝光条件、光源位置和光源颜色)的同时执行多次图像捕获，并且将作为结果获得的捕获图像提供给图像处理装置11。
53.此外，图像捕获设备cam中的每一个可以包括距离测量传感器，测量距被摄体的距离，不仅生成用作被摄体的纹理信息的rgb捕获图像，而且还生成深度图像，并且将深度图像提供给图像处理装置11，在该深度图像中，与捕获图像的每个像素相关联地将距被摄体的距离存储为深度值。此外，距离测量传感器可以独立于各个图像捕获设备cam而布置。在该情况下，图像捕获设备cam的数目和距离测量传感器(距离测量设备)的数目可以不同。
54.图像处理装置11可以是云上的服务器设备，并且显示设备12可以是包括显示器的设备，例如智能电话(移动终端)。可以通过直接连接或者通过经由诸如局域网(lan)和因特网的预定网络的连接，在多个图像捕获设备cam与图像处理装置11之间以及在图像处理装置11与显示设备12之间执行通信。
55.在对象的3d模型的生成中，由于通过增加图像捕获设备cam的数目来提高3d模型的准确度，因此优选地使用多个图像捕获设备cam从不同方向捕获被摄体的图像。然而，在图像捕获设备cam的数目大的情况下，存在着以下情况：当被摄体移动时，被摄体在一个或更多个图像捕获设备cam的图像捕获范围之外，并且需要重新进行图像捕获。
56.图像处理装置11可以根据在图像捕获期间从n个各个图像捕获设备cam发送的捕
获图像来生成缩略图图像，并且可以将缩略图图像显示在显示设备12上。注意，显示在显示设备12上的缩略图图像可以是与n个各个图像捕获设备cam的捕获图像对应的所有缩略图图像，或者可以是与一个代表性图像捕获设备cam的捕获图像对应的一个缩略图图像(代表性缩略图图像)。此外，可以使用与预定的多个图像捕获设备cam对应的多个缩略图图像。缩略图图像是通过降低从图像捕获设备cam获得的捕获图像的分辨率和帧速率而获得的图像。
57.此外，图像处理装置11可以确定在图像捕获期间由于被摄体的移动而引起被摄体是否在预定图像捕获设备cam的图像捕获范围之外，并且可以向用户通知被摄体在图像捕获范围之外。这里，用户是作为图像捕获者或被摄体的人。
58.图2示出了在图像处理装置11确定被摄体是否在预定图像捕获设备cam的图像捕获范围之外并且向用户通知被摄体在图像捕获范围之外的情况下的通知示例。
59.图2的a示出了通过将“警告：cam05”的消息(字符)作为对话显示在显示设备12上，来向用户通知被摄体在图像捕获设备cam
‑
5的图像捕获范围之外的示例。
60.图2的b示出了将“警告：cam05”的消息叠加在显示设备12上所显示的代表性缩略图图像上，以向用户通知被摄体在图像捕获设备cam
‑
5的图像捕获范围之外的示例。
61.注意，在显示与n个图像捕获设备cam对应的所有缩略图图像的情况下，仅需要将“警告”的消息叠加在被摄体在图像捕获范围之外的图像捕获设备cam的缩略图图像上来通知用户。
62.图2的c示出了以下示例：在根据从预定图像捕获设备cam获得的捕获图像而生成的被摄体的轮廓图像中对处于图像捕获范围之外的被摄体的区域进行着色，以向用户通知被摄体的着色区域在图像捕获范围之外。
63.轮廓图像是表示被摄体的区域(被摄体区域)的图像，并且例如是其中每个像素的像素值被二值化为“0”或“1”的二值图像，其中该被摄体作为要以轮廓来绘制的对象。例如，在轮廓图像中，被摄体的区域具有被设置为“1”的像素值并且以白色表示，除了被摄体之外的区域具有被设置为“0”的像素值并且以黑色表示。
64.在图2的c的示例中，在以白色表示的轮廓图像的被摄体区域中，脚区域被着色为红色，并且向用户通知脚区域在图像捕获范围之外。注意，在图2中，由于绘制限制，红色区域由阴影表示。
65.如上所述，除了使用被摄体作为对象来生成对象的3d模型的对象生成功能之外，图像处理装置11还具有图像捕获范围确定功能——用于确定被摄体与图像捕获范围之间的位置关系，并且当被摄体在图像捕获范围之外时通知(警告)用户。
66.注意，在被摄体在图像捕获范围之外时通知用户的方面，可以在被摄体处于一个图像捕获设备cam的图像捕获范围之外的情况下通知用户，或者在设置有大量图像捕获设备cam的情况下，可以在被摄体处于预先设置的预定数目或更多的图像捕获设备cam的图像捕获范围之外的情况下通知用户。在该情况下，可以在稍后描述的确定单元36中设置(指定)用于通知的设备的数目或更多的设备。
67.此外，在图2的示例中，已经描述了通过将字符或图像显示在显示设备12上来给出被摄体在预定图像捕获范围之外的通知的示例，但是可以以其它方法给出通知。例如，可以通过输出蜂鸣音或者通过输出诸如“被摄体在第五相机的范围之外”和“脚超出范围”的语
音来给出通知。在通过诸如蜂鸣音和语音的声音给出通知的情况下，可以另外设置扬声器，或者可以使用显示设备12的扬声器。另外，可以提供显示设备12的画面显示和声音输出两者。此外，代替于立即通知，可以将通知信息连同捕获图像一起存储在存储单元中，使得可以在之后给出通知。例如，可以将通知信息作为标签信息嵌入在捕获图像或3d形状数据中，或者可以与捕获图像和3d形状数据分开地生成和存储用于存储通知信息的文件。当用户查看捕获图像或3d模型时，可以基于标签信息或文件中包括的通知信息来通过字符、图像、声音等给出通知。
68.在下文中，将详细描述图像处理装置11的图像捕获范围确定功能。注意，图像处理装置11的对象生成功能将被简要描述为使用一般方法来实现。
69.<2.图像处理装置的第一实施方式>
70.图3是示出图像处理装置11的第一实施方式的配置示例的框图。
71.图像处理装置11包括图像输入单元31、校准处理单元32、有效区域计算单元33、轮廓提取单元34、语义处理单元35、确定单元36、通知单元37、3d模型计算单元38和存储单元39。有效区域计算单元33包括3d区域计算单元41和投影单元42。注意，语义处理单元35作为选项提供并且可以省略。
72.图像输入单元31获取从n个各个图像捕获设备cam发送的捕获图像。捕获图像作为运动图像顺序地输入。来自n个各个图像捕获设备cam的n个捕获图像被提供给校准处理单元32、轮廓提取单元34、语义处理单元35、通知单元37和3d模型计算单元38。
73.校准处理单元32基于由n个图像捕获设备cam捕获的n个捕获图像，执行用于计算各个图像捕获设备cam的相机参数的校准处理。校准处理单元32使用例如通过借助于n个图像捕获设备cam捕获具有黑白格状方格图案的棋盘而获得的n个捕获图像来执行校准处理。通过校准处理，确定单独表示n个图像捕获设备cam中的每一个的特性的特性参数以及表示与另一图像捕获设备cam的关系的外部参数。表示单个图像捕获设备cam的特性的特性参数例如包括诸如图像捕获设备cam的焦距、主点(principal point)、视角的内部参数，以及诸如畸变(像差)的光学特性参数。外部参数包括自身图像捕获设备cam相对于另一图像捕获设备cam的相对坐标值(相对位置)。
74.注意，在n个图像捕获设备cam的位置固定的情况下，在执行校准处理之前需要的只是在用于生成3d模型的图像捕获之前捕获一次棋盘。在图像捕获设备cam的位置移动或者改变倍率(视角)等的情况下，除了开始图像捕获之前的校准处理之外，还需要基于被摄体的特征点检测等来执行实时校准处理。
75.注意，校准处理不限于使用棋盘的上述方法，并且可以使用其他方法，只要方法使得能够确定所需参数即可。通过校准处理确定的各种参数作为相机参数被提供给有效区域计算单元33(的3d区域计算单元41和投影单元42)。
76.有效区域计算单元33的3d区域计算单元41基于从校准处理单元32提供的相机参数来计算所有n个图像捕获设备cam的图像捕获范围中包括的3d区域。
77.图4示出了3d区域计算单元41计算3d区域51的处理示例，该3d区域51是六个各个图像捕获设备cam
‑
1至cam
‑
6(其中，n＝6)的图像捕获范围中包括的区域。
78.作为用于计算所有n个图像捕获设备cam的图像捕获范围中包括的3d区域的方法，例如，可以使用诸如可视外壳的方法，该方法用于根据相机参数来投影各个图像捕获设备
cam的图像捕获范围，并且切出三维形状。替选地，可以使用三维几何等来计算3d区域。表示所计算的3d区域的数据被以预定3d数据格式提供给投影单元42，该预定3d数据格式例如是使用点的集合表示对象的三维位置的点云、使用矩形体网格的集合表示对象的三维位置的体素数据(voxel data)、以及使用顶点之间的连接表示对象的三维位置的多边形网格。
79.投影单元42被提供以来自3d区域计算单元41的、所有n个图像捕获设备cam的图像捕获范围中包括的3d区域，以及来自校准处理单元32的相机参数。
80.投影单元42将来自3d区域计算单元41的3d区域投影到用作目标相机的预定图像捕获设备cam的视点上，并且生成被表示为二值图像的有效区域掩模图像(区域图像)，在该二值图像中，与3d区域对应的区域被设置为白色(像素值“1”)，除了3d区域之外的区域被设置为黑色(像素值“0”)。由于以n个图像捕获设备cam中的每一个为目标相机，针对所有图像捕获设备cam中的每一个生成有效区域掩模图像，因此生成与图像捕获设备cam的数目n一样多的有效区域掩模图像(即，n个图像)。在下文中，将有效区域掩模图像中以白色表示的区域称为投影3d区域。
81.图5示出了有效区域掩模图像52的示例，其中使用图像捕获设备cam
‑
1作为目标相机，通过将与图4中示出的六个图像捕获设备cam
‑
1至cam
‑
6对应的3d区域51投影到目标相机的视点上而获得该有效区域掩模图像52。
82.在通过将3d区域51投影到图像捕获设备cam
‑
1的视点上而获得的投影平面(图像捕获范围)中，有效区域掩模图像52被表示为二值图像，在该二值图像中，与3d区域51对应的投影3d区域53被设置为白色(像素值“1”)，除了投影3d区域53之外的区域被设置为黑色(像素值“0”)。
83.此外，投影单元42可以生成视觉识别相机信息，视觉识别相机信息包括指示有多少个图像捕获设备cam可以观看被摄体的表面的数目信息，以及指示哪个图像捕获设备cam可以观看被摄体的表面的相机信息。
84.图6示出了当由五个图像捕获设备cam
‑
1至cam
‑
5捕获图像时的视觉识别相机信息的示例。
85.如图6所示，根据能够观看被摄体的表面的图像捕获设备cam的数目而划分有效区域掩模图像52的投影3d区域53的内部。该数目表示数目信息，该数目信息指示能够直接在视觉上识别被摄体的图像捕获设备cam的数目。通过将3d区域51的表面上的各个点投影到各个图像捕获设备cam上，可以确定目标图像捕获设备cam是否可以直接在视觉上识别表面。通过明确哪些图像捕获设备cam可以观看被摄体(3d区域51)的表面，可以计数总共有多少个图像捕获设备cam可以观看被摄体(3d区域51)的表面。
86.返回图3，投影单元42将生成的n个有效区域掩模图像和视觉识别相机信息提供给确定单元36。
87.轮廓提取单元34针对从图像输入单元31提供的n个捕获图像中的每一个生成通过提取被摄体的区域而获得的轮廓图像，其中该被摄体作为要以轮廓来绘制的对象。生成的轮廓图像被提供给确定单元36。
88.用于在纹理图像中检测被摄体的轮廓的检测方法没有特别限制，并且可以采用任何方法。例如，如图7所示，可以通过预先捕获并存储背景图像62，并且使用取得捕获图像61与背景图像62之间的差的背景减法方法来生成轮廓图像63，其中在该背景图像62中仅捕获
不包括被摄体的背景。
89.此外，在还获取了深度图像的情况下，可以通过基于深度图像的距离信息将作为被摄体区域的前景区域与背景区域分开来生成轮廓图像，其中在该深度图像中，距被摄体的距离被存储为深度值。
90.替选地，可以通过使用诸如图切割(graph cut)和色度键(chroma key)的图像抠图技术，从仅一个捕获图像中提取被摄体区域来生成轮廓图像。
91.语义处理单元35执行用于识别在捕获图像中作为被摄体出现的对象的语义信息、并且将语义信息添加至每个预定区域的语义分割处理。例如，在被摄体是人的情况下，语义处理单元35可以通过语义分割处理将整个人的被摄体区域识别并分类为各个部位，例如头、手(右手和左手)、臂(右臂和左臂)、脚(右脚和左脚)、躯干等。在被摄体不是人的情况下，语义处理单元35可以识别对象的类型，例如球、球拍和汽车，并且向其添加语义信息。语义处理单元35将添加至所识别的被摄体的每个预定区域的语义信息提供给确定单元36。可以执行实例语义分割，其中语义信息包括个体信息。例如，通过利用个体信息，可以执行着眼于被摄体的数目(诸如一个人和两个人)或特定被摄体的处理。
92.确定单元36基于来自投影单元42的与n个图像捕获设备cam对应的n个有效区域掩模图像以及从确定单元36提供的n个轮廓图像，来确定各个图像捕获设备cam捕获被摄体的状况。
93.具体地，确定单元36以n个图像捕获设备cam中的每一个为目标相机，执行下面描述的其它相机确定处理和自身相机确定处理。确定单元36通过使用与用作为目标相机的图像捕获设备cam对应的一对有效区域掩模图像和轮廓图像，来执行用于确定被摄体是否在除了目标相机之外的任何图像捕获设备cam的图像捕获范围之外的其它相机确定处理。此外，确定单元36通过使用与用作为目标相机的图像捕获设备cam对应的轮廓图像，来执行用于确定被摄体是否在用作为目标相机的图像捕获设备cam的捕获范围之外的自身相机确定处理。
94.在其它相机确定处理中，如图8的a所示，确定单元36针对被摄体区域71的每个像素，比较轮廓图像中以白色表示的被摄体区域71是否超出有效区域掩模图像52中以白色表示的投影3d区域53。
95.在自身相机确定处理中，如图8的b所示，确定单元36针对被摄体区域71的每个像素，比较轮廓图像中以白色表示的被摄体区域71是否与轮廓图像63外周的四个边接触。
96.注意，如上所述，语义处理单元35可以作为选项而提供，并且在设置语义处理单元35的情况下，确定单元36可以通过使用来自语义处理单元35的语义信息来指定超出投影3d区域53的被摄体的部位(例如，右脚、左手等)、对象(球)等。
97.作为指示确定结果的确定信息，确定单元36向通知单元37提供被摄体是否在用作为目标相机的每一个图像捕获设备cam的图像捕获范围之外的结果，以及提供设备指定信息，该设备指定信息指示在被摄体在图像捕获范围之外的情况下哪个图像捕获设备cam是被摄体在其图像捕获范围之外的图像捕获设备cam。注意，确定信息可以恒定地提供给通知单元37，或者可以仅在被摄体在图像捕获范围之外的情况下提供给通知单元37。
98.此外，在设置语义处理单元35的情况下，确定单元36还可以在被摄体在图像捕获范围之外的情况下，向通知单元37提供语义指定信息作为确定信息的一部分，该语义指定
信息诸如是在图像捕获范围之外的对象和被摄体的部分。
99.此外，如图2的b和c中，在通知单元37将被摄体在图像捕获范围之外连同捕获图像和轮廓图像一起通知给用户的情况下，被摄体在其图像捕获范围之外的目标相机的轮廓图像和捕获图像也被从确定单元36提供给通知单元37。
100.通知单元37基于来自确定单元36的确定信息来生成用于向用户通知被摄体在特定图像捕获设备cam的图像捕获范围之外的通知信息，并且将通知信息输出至显示设备12。
101.在图2的a中示出的对话显示的情况下，通知信息是用于显示消息对话的显示控制信息，该消息对话包括用于指示被摄体在其图像捕获范围之外的图像捕获设备cam的信息。此外，在图2的b或c中的示例中，通知信息是用于显示以下信息以及轮廓图像或捕获图像的显示控制信息：该信息指示被摄体在其图像捕获范围之外的图像捕获设备cam。轮廓图像或捕获图像可以根据需要进行缩小处理等，并且可以作为缩略图图像输出至显示设备12。
102.此外，在输出蜂鸣音或诸如“被摄体在第五相机的范围之外”的语音以通知用户的情况下，通知信息是包括声学信号的声音控制信息。通知信息可以是画面显示和声音两者，也可以是其中之一。在设置语义处理单元35的情况下，可以提供诸如“脚超出图像捕获范围”、“球在图像捕获范围之外”的通知。显示设备12基于来自通知单元37的通知信息，向用户通知被摄体在特定图像捕获设备cam的图像捕获范围之外。
103.3d模型计算单元38使用从n个各个图像捕获设备cam提供的被摄体的捕获图像，来生成对象(以被摄体为对象)的3d模型，并且将生成的对象的3d模型的数据(3d模型数据)提供给存储单元39。
104.例如，3d模型计算单元38提取从图像捕获设备cam提供的包括被摄体的捕获图像与背景图像之间的差异，以生成其中提取了被摄体区域的轮廓图像。然后，3d模型计算单元38通过使用n个各个图像捕获设备cam的相机参数和不同方向上的多个轮廓图像，借助于诸如可视外壳的方法生成对象的3d模型。轮廓图像和相机参数可以从校准处理单元32和轮廓提取单元34获取，也可以单独计算。在本文中省略对象的3d模型的生成的细节。
105.存储单元39存储在3d模型计算单元38中生成的3d模型数据。存储的3d模型数据被提供给根据需要再现对象的3d模型的再现设备等，并且在再现设备中被再现(恢复)。
106.如上所述配置图像处理装置11。
107.注意，可以在图像处理装置11中执行的图像捕获范围确定功能和对象生成功能可以在不同装置中而不是相同装置中实现。在该情况下，执行图像捕获范围确定功能的图像处理装置11包括例如图像输入单元31、校准处理单元32、有效区域计算单元33、轮廓提取单元34、语义处理单元35、确定单元36和通知单元37。执行对象生成功能的图像处理装置11包括例如图像输入单元31、3d模型计算单元38和存储单元39。
108.<3.第一图像捕获范围确定处理>
109.接下来，将参照图9中的流程图描述由图像处理装置11的第一实施方式执行的第一图像捕获范围确定处理。例如，该处理与n个图像捕获设备cam中的图像捕获的开始同时开始。
110.首先，在步骤s1中，图像输入单元31获取从n个各个图像捕获设备cam发送的捕获图像。获取的n个捕获图像被提供给校准处理单元32、轮廓提取单元34、语义处理单元35、通知单元37和3d模型计算单元38。
111.在步骤s2中，校准处理单元32基于由n个图像捕获设备cam捕获的n个捕获图像，执行用于计算各个图像捕获设备cam的相机参数的校准处理。通过该处理，获得表示图像捕获设备cam中的每一个的特性的特性参数(内部参数和光学特性参数)，以及表示图像捕获设备cam之间的相对位置关系的外部参数。
112.在步骤s3中，3d区域计算单元41基于从校准处理单元32提供的相机参数来计算所有n个图像捕获设备cam的图像捕获范围中所包括的3d区域。
113.在步骤s4中，投影单元42生成通过将在3d区域计算单元41中计算的3d区域投影到各个图像捕获设备cam的视点上而获得的有效区域掩模图像。生成n个有效区域掩模图像，其是与图像捕获设备cam的数目一样多的图像。此外，投影单元42还可以生成表示数目信息和相机信息的视觉识别相机信息，数目信息指示可以观看图像捕获设备cam的图像捕获范围的图像捕获设备cam的数目，相机信息指示哪个图像捕获设备cam可以观看图像捕获范围。所生成的n个有效区域掩模图像和n个视觉识别相机信息被提供给确定单元36。
114.在步骤s5中，轮廓提取单元34根据由图像输入单元31提供的n个捕获图像生成n个轮廓图像。所生成的n个轮廓图像被提供给确定单元36。
115.在步骤s6中，语义处理单元35对从图像输入单元31提供的n个捕获图像执行语义分割处理以生成语义信息，并且将语义信息提供给确定单元36。在不需要指定处于图像捕获设备cam的图像捕获范围之外的对象或人的部位的情况下，可以省略该处理。
116.在步骤s7中，确定单元36基于来自投影单元42的n个有效区域掩模图像以及来自确定单元36的n个轮廓图像，执行用于确定被摄体是否在图像捕获设备cam的图像捕获范围之外的相机确定处理。更具体地，确定单元36执行用于确定被摄体是否在除了目标相机之外的任何图像捕获设备cam的图像捕获范围之外的其它相机确定处理，以及用于确定被摄体是否在用作为目标相机的图像捕获设备cam的图像捕获范围之外的自身相机确定处理。将确定信息从确定单元36提供给通知单元37，该确定信息指示以图像捕获设备cam中的每一个为目标相机而执行的其它相机确定处理和自身相机确定处理的确定结果。
117.在步骤s8中，基于来自确定单元36的确定信息，通知单元37生成用于向用户通知被摄体在特定图像捕获设备cam的图像捕获范围之外的通知信息，并且将通知信息发送至显示设备12。在被摄体没有处于任何图像捕获设备cam的图像捕获范围之外的情况下，不特别地需要该通知信息。
118.在步骤s9中，基于来自通知单元37的通知信息，显示设备12向用户通知被摄体在特定图像捕获设备cam的图像捕获范围之外。
119.此时，第一图像捕获范围确定处理结束。根据第一图像捕获范围确定处理，由于在被摄体处于捕获被摄体的多个图像捕获设备cam的图像捕获范围之外的情况下可以通知用户，因此可以减少用于3d模型生成的多视角图像捕获中的失败图像捕获。
120.在上述第一图像捕获范围确定处理中，确定单元36确定被摄体是否在图像捕获设备cam的图像捕获范围之外。然而，不仅是被摄体是否完全在图像捕获范围之外，确定单元36还可以在被摄体稍微移动的情况下确定被摄体是否将要在图像捕获范围之外，并且通知用户。在该情况下，在被摄体区域处于比通过将3d区域计算单元41所计算的3d区域51投影到目标相机的视点上而获得的投影3d区域53小预定比率(例如，10％)的范围之外的情况下，可以将这样的情况认为是被摄体将要在图像捕获范围之外的状态，并且可以给出通知。
替选地，在检测到被摄体的运动矢量并且在预定时间段之后预测的被摄体的位置在投影3d区域53之外的情况下，可以将这样的情况认为是被摄体将要在图像捕获范围之外的状态，并且可以给出通知。此外，在被摄体超出投影3d区域53特定量的情况下，可以给出通知，或者在基于在语义处理单元35中获得的语义信息而检测到特定部位超出区域的情况下，可以给出通知。
121.每当输入由n个图像捕获设备cam捕获的新的捕获图像时，重复执行参照图9描述的第一图像捕获范围确定处理，但是可以适当地省略在捕获图像的更新中没有改变的处理。例如，在n个图像捕获设备cam的位置和视角没有改变的情况下，只需要在第一确定处理中执行一次步骤s2中的校准处理以及步骤s3和步骤s4中的生成有效区域掩模图像的处理。替选地，可以在执行用于生成3d模型的图像捕获之前执行处理。
122.当由n个各个图像捕获设备cam捕获的捕获图像被顺序地输入到图像处理装置11中时，还与上述图像捕获范围确定处理并行地执行借助于3d模型计算单元38的3d模型生成处理。图像捕获范围确定处理和3d模型生成处理可以独立执行，或者可以协作执行。例如，在图像捕获范围确定处理中，也可以将指示被摄体在图像捕获设备cam的图像捕获范围之外的确定信息从确定单元36提供给3d模型计算单元38，并且在被摄体在图像捕获设备cam的图像捕获范围之外的情况下，可以停止或中断3d模型的生成。
123.<4.图像处理装置的第二实施方式>
124.图10是示出图像处理装置11的第二实施方式的配置示例的框图。
125.在图10中，与图3中示出的第一实施方式的部分对应的部分用相同的附图标记来标记，并且将适当地省略对这些部分的描述。
126.虽然上述根据第一实施方式的图像处理装置11具有强调关于被摄体是否在图像捕获设备cam的图像捕获范围之外的确定准确度的配置，但是根据第二实施方式的图像处理装置11具有强调实时处理性能的情况的配置。
127.在第二实施方式中，图像处理装置11仅使用从n个图像捕获设备cam中选择的m(n＞m)个图像捕获设备cam的捕获图像来执行用于确定被摄体是否在图像捕获设备cam的图像捕获范围之外的相机确定处理。
128.图10中的根据第二实施方式的图像处理装置11与根据第一实施方式的图像处理装置的不同之处在于，新设置了相机选择单元81和缩小处理单元82。
129.相机选择单元81被提供以来自校准处理单元32的、各个图像捕获设备cam的相机参数。
130.相机选择单元81从n个图像捕获设备cam中选择m(n＞m)个图像捕获设备cam。相机选择单元81可以通过用户的指定手动选择设备，或者可以在没有用户的指定的情况下自动选择设备。
131.在手动选择的情况下，相机选择单元81基于各个图像捕获设备cam的相机参数，在显示设备12上显示各个图像捕获设备cam的布置和视角信息，并且使得用户能够指定要使用的m个图像捕获设备cam。
132.另一方面，在自动选择的情况下，相机选择单元81基于各个图像捕获设备cam的相机参数，将彼此靠近的若干图像捕获设备cam分组，以将n个图像捕获设备cam分类为m个组。然后，相机选择单元81从每个组中选择一个图像捕获设备cam，从而选择要使用的m个图像
捕获设备cam。替选地，在被摄体是人的情况下，相机选择单元81可以将捕获人脸的图像捕获设备cam设置为参考图像捕获设备cam，并且顺序地选择在远离参考图像捕获设备cam的位置处的图像捕获设备cam以及在与选择的图像捕获设备cam对称的位置处的图像捕获设备cam，直到图像捕获设备cam的数目变为m。
133.相机选择单元81将用于指定所选择的m个图像捕获设备cam的相机选择信息提供给有效区域计算单元33的3d区域计算单元41和缩小处理单元82。
134.有效区域计算单元33的3d区域计算单元41使用在相机选择单元81中选择的m个图像捕获设备cam的相机参数来计算m个图像捕获设备cam的图像捕获范围中所包括的3d区域。在第二实施方式中，由于根据第一实施方式的使用n个相机参数的3d区域计算处理改变为使用m个相机参数的3d区域计算处理，因此减少了处理负荷。此外，通过将计算3d区域时表示对象的三维形状的点或顶点的分辨率、体素尺寸等设置为比第一实施方式中的这些值更粗糙的设置值，处理负荷可以进一步减少。
135.投影单元42生成通过将在3d区域计算单元41中计算的3d区域投影到m个各个图像捕获设备cam的视点上而获得的m个有效区域掩模图像。此外，投影单元42根据由缩小处理单元82执行的缩小处理的缩小比率，来缩小所生成的m个有效区域掩模图像。
136.缩小处理单元82在图像输入单元31所提供的由n个图像捕获设备cam捕获的n个捕获图像之中选择与在相机选择单元81中选择的m个图像捕获设备cam对应的m个捕获图像。然后，缩小处理单元82生成通过以预定缩小比率缩小所选择的m个捕获图像而获得的低分辨率捕获图像(在下文中，被称为低分辨率图像)。例如，在从图像输入单元31提供的捕获图像具有被称为高清晰度(hd)的1920
×
1080的分辨率或4k分辨率(其为hd的分辨率的四倍)的情况下，缩小处理单元82将捕获图像缩小为被称为vga的640
×
480的低分辨率图像。缩小处理的方法没有特别限制，并且可以选择任何方法。例如，可以采用最近邻方法、线性插值方法、双三次方法、面积平均方法(area average method)等。此外，可以使用以诸如1/2和1/4的预定比率在水平方向和垂直方向中的每一个方向上简单地对像素数进行稀疏化的方法。
137.缩小处理单元82的缩小比率和投影单元42缩小有效区域掩模图像时的缩小比率被预先设置为相同。
138.除了对从n个图像中选择的m个图像执行处理并且图像具有低分辨率之外，轮廓提取单元34、语义处理单元35和确定单元36类似于第一实施方式的轮廓提取单元、语义处理单元和确定单元。
139.第二实施方式的其他要点类似于上述第一实施方式的要点。
140.<5.第二图像捕获范围确定处理>
141.接下来，将参照图11中的流程图描述由图像处理装置11的第二实施方式执行的第二图像捕获范围确定处理。例如，该处理与n个图像捕获设备cam中的图像捕获的开始同时开始。
142.由于步骤s21和步骤s22中的处理类似于图9中的第一图像捕获范围确定处理的步骤s1和步骤s2中的处理，因此将省略其描述。
143.在步骤s23中，相机选择单元81从n个图像捕获设备cam中选择m(n＞m)个图像捕获设备cam。相机选择单元81将用于指定所选择的m个图像捕获设备cam的相机选择信息提供
给有效区域计算单元33的3d区域计算单元41和缩小处理单元82。
144.在步骤s24中，使用在相机选择单元81中选择的m个图像捕获设备cam的相机参数来计算m个图像捕获设备cam的图像捕获范围中所包括的3d区域。
145.在步骤s25中，投影单元42生成通过将在3d区域计算单元41中计算的3d区域投影到m个各个图像捕获设备cam的视点上而获得的m个有效区域掩模图像，并且以预定缩小比率来缩小有效区域掩模图像。缩小处理之后的m个有效区域掩模图像被提供给确定单元36。注意，类似于第一实施方式，投影单元42可以生成视觉识别相机信息。
146.在步骤s26中，缩小处理单元82在图像输入单元31提供的n个捕获图像之中选择与在相机选择单元81中选择的m个图像捕获设备cam对应的m个捕获图像，并且以预定缩小比率来缩小m个捕获图像。缩小之后的m个低分辨率图像被提供给轮廓提取单元34和语义处理单元35。
147.在步骤s27中，轮廓提取单元34根据由缩小处理单元82提供的m个低分辨率图像生成m个轮廓图像。所生成的m个轮廓图像被提供给确定单元36。
148.在步骤s28中，语义处理单元35对从缩小处理单元82提供的m个低分辨率图像执行语义分割处理以生成语义信息，并且将语义信息提供给确定单元36。注意，在特别优先考虑实时处理性能的情况下，可以省略该处理。
149.在步骤s29中，确定单元36基于来自投影单元42的m个有效区域掩模图像以及来自确定单元36的m个轮廓图像，执行用于确定被摄体是否在图像捕获设备cam的图像捕获范围之外的相机确定处理。除了使用m个有效区域掩模图像和轮廓图像而不是n个有效区域掩模图像和轮廓图像之外，该处理类似于第一图像捕获范围确定处理。
150.由于步骤s30和步骤s31类似于图9中的第一图像捕获范围确定处理的步骤s8和步骤s9，因此将省略其描述。
151.此时，第二图像捕获范围确定处理结束。同样根据第二图像捕获范围确定处理，由于在被摄体处于捕获被摄体的多个图像捕获设备cam的图像捕获范围之外的情况下可以通知用户，因此可以减少用于3d模型生成的多视角图像捕获中的失败图像捕获。
152.根据第二图像捕获范围确定处理，由于仅使用m个图像捕获设备cam中的n个图像捕获设备cam的捕获图像来执行用于确定被摄体是否在图像捕获设备cam的图像捕获范围之外的相机确定处理，因此可以减少处理负荷并且提高实时处理性能。
153.注意，在第二实施方式中，在图像处理装置11中设置了将捕获图像的分辨率改变为低分辨率的处理单元，但是可以改变图像捕获设备cam的分辨率设置，使得从图像捕获设备cam提供的捕获图像具有低分辨率。在该情况下，用于与第二图像捕获范围确定处理并行地执行的3d模型生成处理的捕获图像也具有低分辨率。在期望将用于3d模型生成处理的捕获图像设置为高分辨率图像的情况下，3d模型生成处理只需要以时分(time division)方式来执行，使得在第二图像捕获范围确定处理中确认图像捕获范围之后，图像捕获设备cam的分辨率设置被改变为高分辨率设置。
154.<6.图像处理装置的第三实施方式>
155.图12是示出图像处理装置11的第三实施方式的配置示例的框图。
156.在图12中，与图3中示出的第一实施方式的部分对应的部分用相同的附图标记来标记，并且将适当地省略对这些部分的描述。
157.根据第三实施方式的图像处理装置11与第二实施方式的共同之处在于，其具有减少算术处理并且减少处理负荷的配置。另一方面，在第二实施方式中，有效区域计算单元33生成有效区域掩模图像的处理本身没有改变，改变了捕获图像的数目和分辨率，而第三实施方式与第二实施方式的不同之处在于，有效区域计算单元33生成有效区域掩模图像的处理改变了。
158.当将图12中的第三实施方式的配置示例与图3中示出的第一实施方式的配置示例进行比较时，图3中的有效区域计算单元33的3d区域计算单元41和投影单元42被图12中的3d区域计算单元91和投影单元92代替，其他配置相同。
159.如图13所示，3d区域计算单元91基于从校准处理单元32提供的相机参数，通过将图像捕获范围近似为四棱台的形状来计算n个图像捕获设备cam中的每一个的图像捕获范围。图13中的深度方向上的范围(zmax和zmin)被设置(输入)为参数。
160.3d区域计算单元91针对图像捕获设备cam中的每一个计算四棱台的八个顶点的坐标，作为图像捕获设备cam的图像捕获范围，并且将坐标提供给投影单元92。
161.投影单元92使用生成有效区域掩模图像的n个图像捕获设备cam中的每一个作为目标相机来执行以下处理。
162.投影单元92将从3d区域计算单元91提供的n个图像捕获设备cam中的每一个的四棱台的八个顶点的坐标投影到目标相机的视点上，以生成通过将n个四棱台的简单3d区域投影到目标相机的投影平面上而获得的n个四棱台投影区域。
163.将参照图14描述投影单元92的处理。在图14中，为了有助于理解附图，将描述以下示例：在假设目标相机是图像捕获设备cam
‑
3的情况下，将两个图像捕获设备cam
‑
1和cam
‑
2的图像捕获范围投影到图像捕获设备cam
‑
3的视点上。
164.图14的a示出了从用作为目标相机的图像捕获设备cam
‑
3的视点观看图像捕获设备cam
‑
1的图像捕获范围的状态。可以通过将图像捕获设备cam
‑
1的图像捕获范围投影到用作为目标相机的图像捕获设备cam
‑
3的视点上来生成该状态。
165.图14的b示出了从用作为目标相机的图像捕获设备cam
‑
3的视点观看图像捕获设备cam
‑
2的图像捕获范围的状态。可以通过将图像捕获设备cam
‑
2的图像捕获范围投影到用作为目标相机的图像捕获设备cam
‑
3的视点上来生成该状态。
166.随后，投影单元92生成有效区域掩模图像，其中所有n个四棱台投影区域交叠的区域被设置为目标相机的投影3d区域。
167.图14的c示出了通过使图像捕获设备cam
‑
1的图像捕获范围与图像捕获设备cam
‑
2的图像捕获范围交叠而生成的有效区域掩模图像的概念图。
168.图14的c中的有效区域掩模图像对应于第一实施方式中的图5中示出的有效区域掩模图像52，并且实际上是类似于图5中的有效区域掩模图像52的二值图像。在图14的c中，阴影区域是图像捕获设备cam
‑
1的图像捕获范围与图像捕获设备cam
‑
2的图像捕获范围交叠的区域，并且对应于目标相机的投影3d区域53。
169.同样在第三实施方式中，投影单元92可以生成视觉识别相机信息。第三实施方式中的视觉识别相机信息包括用于指示从其能够看见目标相机的投影平面(图像捕获范围)的图像捕获设备cam的数目的数目信息，以及用于指示从其能够看见目标相机的投影平面(图像捕获范围)的图像捕获设备cam的相机信息。
170.图14的d示出了数目信息的示例，该数目信息指示从其能够看见目标相机的图像捕获范围的图像捕获设备cam的数目。
171.在图14的d中，目标相机的图像捕获范围被划分为四个区域101至104，并且针对区域101至104中的每一个存储与图14的a至c中的投影状态相对应的数目信息。
172.由于区域101是只有作为目标相机的图像捕获设备cam
‑
3观看的区域，因此数目信息为“1”。由于区域102是图像捕获设备cam
‑
3和图像捕获设备cam
‑
2这两个设备观看的区域，因此数目信息为“2”。由于区域103是图像捕获设备cam
‑
1至cam
‑
3观看的区域，因此数目信息为“3”。由于区域104是图像捕获设备cam
‑
1和图像捕获设备cam
‑
3这两个设备观看的区域，因此数目信息为“2”。
173.图14的e示出了相机信息的示例，该相机信息指示从其能够看见目标相机的图像捕获范围的图像捕获设备cam。
174.在图14的e中，作为目标相机的图像捕获设备cam
‑
3的图像捕获范围被划分为四个区域101至104，并且针对区域101至104中的每一个存储与图14的a至c中的投影状态相对应的相机信息。
175.注意，由于从自身图像捕获设备cam明显可见区域，因此仅将用于指示从其他图像捕获设备cam是否可见区域的信息记录为相机信息。
176.由于区域101是只有图像捕获设备cam
‑
3观看的区域，因此区域101没有相机信息。对于区域102，记录了用于指示从除了自身设备之外的图像捕获设备cam
‑
2观看区域102的相机信息。对于区域103，记录了用于指示从除了自身设备之外的图像捕获设备cam
‑
1和cam
‑
2观看区域103的相机信息。对于区域104，记录了用于指示从除了自身设备之外的图像捕获设备cam
‑
1观看区域104的相机信息。
177.第三实施方式的其他要点类似于上述第一实施方式的要点。
178.<7.第三图像捕获范围确定处理>
179.在由图像处理装置11的第三实施方式执行的第三图像捕获范围确定处理中，参照图9描述的第一图像捕获范围确定处理的步骤s3和步骤s4被用下面的步骤s3’和步骤s4’代替。
180.在步骤s3’中，3d区域计算单元91基于从校准处理单元32提供的相机参数，通过将图像捕获范围近似为四棱台来计算n个图像捕获设备cam中的每一个的图像捕获范围。
181.在步骤s4’中，投影单元92使用生成有效区域掩模图像的n个图像捕获设备cam中的每一个作为目标相机来执行以下处理。投影单元92将从3d区域计算单元91提供的n个图像捕获设备cam中的每一个的四棱台的八个顶点的坐标投影到目标相机的视点上，以生成通过将n个四棱台的简单3d区域投影到目标相机的投影平面上而获得的n个四棱台投影区域。随后，投影单元92生成有效区域掩模图像，其中所有n个四棱台投影区域交叠的区域被设置为目标相机的投影3d区域。
182.因此，在第一图像捕获范围确定处理中，有效区域计算单元33计算n个各个图像捕获设备cam的图像捕获范围——每个图像捕获范围以四棱台的形状形成，整合所有n个图像捕获范围以计算3d区域，并且然后将整合的3d区域投影到每一个图像捕获设备cam的视点上，以生成目标相机的有效区域掩模图像。即，第一实施方式的有效区域计算单元33按照计算n个图像捕获范围、整合和投影的顺序执行处理。
183.另一方面，在第三图像捕获范围确定处理中，有效区域计算单元33计算n个各个图像捕获设备cam的图像捕获范围——每个图像捕获范围以四棱台的形状形成，将图像捕获范围投影到各个图像捕获设备cam的视点上以生成n个四棱台投影区域，并且将投影的n个四棱台投影区域整合为目标相机的投影3d区域，以生成有效区域掩模图像。即，第三实施方式的有效区域计算单元33按照计算n个图像捕获范围、投影和整合的顺序执行处理。
184.可以说，第一实施方式的3d区域计算单元41是根据n个各个图像捕获设备cam的n个捕获图像(多个多视角图像)来生成一个3d区域的生成单元，其中n个图像捕获设备cam的图像捕获范围被整合成该一个3d区域。
185.可以说，第三实施方式的3d区域计算单元91是根据n个各个图像捕获设备cam的n个捕获图像(多个多视角图像)来生成n个各个图像捕获设备cam的n个3d区域的生成单元。
186.同样根据第三图像捕获范围确定处理，由于在被摄体处于捕获被摄体的多个图像捕获设备cam的图像捕获范围之外的情况下可以通知用户，因此可以减少用于3d模型生成的多视角图像捕获中的失败图像捕获。
187.<8.相机布置的其他示例>
188.在上述每一个实施方式中，如图1所示，已经描述了n个图像捕获设备cam被布置在被摄体的外周以包围被摄体，但是图像捕获设备cam的布置不限于此。
189.例如，如图15的a所示，多个图像捕获设备cam可以被布置为面朝外，或者如图15的b所示，多个图像捕获设备cam可以被布置为以聚焦的方式面向特定方向，如在音乐厅的舞台中那样。
190.<9.计算机的配置示例>
191.上述一系列处理可以通过硬件或软件来执行。在通过软件执行一系列处理的情况下，将包括软件的程序安装在计算机中。这里，例如，计算机包括结合在专用硬件中的微型计算机、能够通过安装各种程序等来执行各种功能的通用个人计算机等。
192.图16是示出借助于程序执行上述一系列处理的计算机的硬件的配置示例的框图。
193.在计算机中，中央处理单元(cpu)301、只读存储器(rom)302和随机存取存储器(ram)303通过总线304相互连接。
194.输入/输出接口305也连接至总线304。输入单元306、输出单元307、存储单元308、通信单元309和驱动器310连接至输入/输出接口305。
195.输入单元306包括键盘、鼠标、麦克风、触摸面板、输入端子等。输出单元307包括显示器、扬声器、输出端子等。存储单元308包括硬盘、ram盘、非易失性存储器等。通信单元309包括网络接口等。驱动器310驱动可移除记录介质311，例如磁盘、光盘、磁光盘和半导体存储器。
196.在如上所述配置的计算机中，例如，cpu 301经由输入/输出接口305和总线304将存储单元308中存储的程序加载到ram 303中，并且执行程序以使上述一系列处理被执行。ram 303还适当地存储cpu 301执行各种处理所必需的数据等。
197.例如，可以通过将由计算机(cpu 301)执行的程序记录在作为封装介质等的可移除介质311中来提供程序。此外，可以经由诸如局域网、因特网和数字卫星广播的有线或无线传输介质来提供程序。
198.在计算机中，通过将可移除记录介质311附接至驱动器310，可以经由输入/输出接
口305将程序安装在存储单元308中。此外，程序可以经由有线或无线传输介质在通信单元309中接收并安装在存储单元308中。另外，可以将程序预先安装在rom 302或存储单元308中。
199.注意，在本说明书中，流程图中描述的步骤可以根据所描述的顺序按时间顺序执行，或者不必按时间顺序执行，并且可以并行地执行或者在必要的时间(例如在执行调用时)执行。
200.在本说明书中，系统是指一组多个组件(设备、模块(部件)等)，并且所有部件是否均在同一壳体中并不重要。因此，容纳在分开的壳体中并经由网络连接的多个设备的集合以及具有容纳在一个壳体中的多个模块的设备都是系统。
201.本技术的实施方式不限于以上提及的实施方式，并且可以在不脱离本技术的范围的情况下进行各种改变。
202.例如，可以采用组合上述多个实施方式中的全部或一些实施方式的模式。
203.例如，本技术可以被配置为云计算，其中由多个设备经由网络来共享并共同处理一个功能。
204.此外，以上提及的流程图中描述的每个步骤不仅可以由一个设备执行，而且还可以由多个设备共享并执行。
205.此外，在一个步骤包括多个处理的情况下，步骤中包括的多个处理不仅可以由一个设备执行，而且还可以由多个设备共享并执行。
206.注意，本说明书中描述的效果仅是说明性的，而不应被限制，并且可以存在除了本说明书中描述的效果之外的效果。
207.注意，本技术可以采用以下配置。
208.(1)
209.一种图像处理装置，包括：
210.生成单元，其生成根据多个多视角图像生成的图像捕获范围的3d区域；以及
211.确定单元，其基于通过将所述3d区域投影到特定视点上而获得的区域图像以及来自与所述特定视点对应的图像捕获设备的被摄体图像，确定所述图像捕获设备捕获被摄体的状况。
212.(2)
213.根据以上(1)所述的图像处理装置，
214.其中，所述确定单元使用所述区域图像和所述被摄体图像作为一对，来确定所述被摄体是否在已经捕获了所述多个多视角图像的多个图像捕获设备的图像捕获范围之外。
215.(3)
216.根据以上(1)或(2)所述的图像处理装置，
217.其中，所述确定单元使用所述区域图像和所述被摄体图像作为一对，来确定所述被摄体是否将要在已经捕获了所述多个多视角图像的多个图像捕获设备的图像捕获范围之外。
218.(4)
219.根据以上(2)或(3)所述的图像处理装置，
220.其中，在所述被摄体在所述多个图像捕获设备的图像捕获范围之外的情况下，所
述确定单元还确定所述被摄体在哪个图像捕获设备的图像捕获范围之外。
221.(5)
222.根据以上(1)至(4)中任一项所述的图像处理装置，
223.其中，所述确定单元使用所述被摄体图像来确定所述被摄体是否在与所述特定视点对应的图像捕获设备的图像捕获范围之外。
224.(6)
225.根据以上(1)至(5)中任一项所述的图像处理装置，还包括
226.语义处理单元，其识别所述被摄体的语义信息，
227.其中，所述确定单元使用所述被摄体的语义信息来进行确定。
228.(7)
229.根据以上(1)至(6)中任一项所述的图像处理装置，还包括
230.计算单元，其基于所述多个多视角图像来计算已经捕获了所述多个多视角图像的多个图像捕获设备的相机参数，
231.其中，所述生成单元基于所计算的所述多个图像捕获设备的相机参数来生成所述图像捕获范围的3d区域。
232.(8)
233.根据以上(7)所述的图像处理装置，
234.其中，所述生成单元生成一个3d区域，所述一个3d区域是已经捕获了所述多个多视角图像的所有图像捕获设备的图像捕获范围中所包括的3d区域。
235.(9)
236.根据以上(1)至(8)中任一项所述的图像处理装置，还包括
237.投影单元，其生成通过将所述3d区域投影到所述特定视点上而获得的区域图像。
238.(10)
239.根据以上(1)至(9)中任一项所述的图像处理装置，
240.其中，所述区域图像是二值图像。
241.(11)
242.根据以上(1)至(10)中任一项所述的图像处理装置，还包括
243.轮廓提取单元，其生成通过从所述多个多视角图像中的每一个中对所述被摄体的区域进行轮廓提取而获得的轮廓图像，
244.其中，所述确定单元基于所述区域图像和作为所述被摄体图像的所述轮廓图像来确定所述图像捕获设备捕获所述被摄体的状况。
245.(12)
246.根据以上(1)至(11)中任一项所述的图像处理装置，还包括
247.选择单元，其从与所述多个多视角图像对应的多个图像捕获设备中选择若干个图像捕获设备，
248.其中，所述生成单元生成根据与所选择的若干个图像捕获设备对应的多视角图像生成的所述图像捕获范围的所述3d区域，并且
249.基于通过将所述3d区域投影到所述特定视点上而获得的区域图像以及来自与所述特定视点对应的图像捕获设备的被摄体图像，来确定所述图像捕获设备捕获所述被摄体
的状况。
250.(13)
251.根据以上(1)至(12)中任一项所述的图像处理装置，还包括
252.缩小处理单元，其以预定缩小比率缩小所述多个多视角图像，
253.其中，所述确定单元基于缩小后的所述区域图像和所述被摄体图像来确定所述图像捕获设备捕获所述被摄体的状况。
254.(14)
255.根据以上(1)至(13)中任一项所述的图像处理装置，
256.其中，所述生成单元生成通过对与所述多个多视角图像对应的多个图像捕获设备的各个图像捕获范围进行近似而获得的多个3d区域，并且
257.所述确定单元基于通过将所述多个3d区域投影到所述特定视点上而获得的区域图像以及来自与所述特定视点对应的图像捕获设备的被摄体图像，来确定所述图像捕获设备捕获所述被摄体的状况。
258.(15)
259.根据以上(14)所述的图像处理装置，
260.其中，所述3d区域具有四棱台的形状。
261.(16)
262.根据以上(1)至(15)中任一项所述的图像处理装置，还包括
263.通知单元，其向用户通知所述确定单元的确定结果。
264.(17)
265.根据以上(16)所述的图像处理装置，
266.其中，所述通知单元参考存储在预定存储单元中的所述确定结果，并且向所述用户通知所述确定结果。
267.(18)
268.一种用于生成被摄体的3d模型的3d模型生成方法，包括：
269.生成根据多个多视角图像生成的图像捕获范围的3d区域；
270.基于通过将所述3d区域投影到特定视点上而获得的区域图像以及来自与所述特定视点对应的图像捕获设备的被摄体图像，来确定所述图像捕获设备捕获所述被摄体的状况；以及
271.基于所述多个多视角图像来生成所述被摄体的3d模型。
272.(19)
273.一种程序，用于使计算机用作为：
274.生成单元，其生成根据多个多视角图像生成的图像捕获范围的3d区域，以及
275.确定单元，其基于通过将所述3d区域投影到特定视点上而获得的区域图像以及来自与所述特定视点对应的图像捕获设备的被摄体图像，来确定所述图像捕获设备捕获被摄体的状况。
276.附图标记列表
277.cam
‑
1至cam
‑
8 图像捕获设备
278.11 图像处理装置
279.12 显示设备
280.31 图像输入单元
281.32 校准处理单元
282.33 有效区域计算单元
283.34 轮廓提取单元
284.35 语义处理单元
285.36 确定单元
286.37 通知单元
287.38 3d模型计算单元
288.41 3d区域计算单元
289.42 投影单元
290.81 相机选择单元
291.82 缩小处理单元
292.91 3d区域计算单元
293.92 投影单元
294.301 cpu
295.302 rom
296.303 ram
297.306 输入单元
298.307 输出单元
299.308 存储单元
300.309 通信单元
301.310 驱动器