摄影指示方法、摄影方法、摄影指示装置及摄影装置与流程

1.本公开涉及摄影指示方法、摄影方法、摄影指示装置及摄影装置。


背景技术：

2.在专利文献1中公开了一种技术，使用通过从多个视点对被摄体进行摄影而得到的多个图像，生成被摄体的三维模型。
3.在先技术文献
4.专利文献
5.专利文献1：日本特开2017-130146号公报


技术实现要素：

6.发明所要解决的课题
7.在三维模型的生成处理中，期望能够提高三维模型的精度。本公开的目的在于，提供能够提高三维模型的精度的摄影指示方法或者摄影指示装置。
8.用于解决课题的手段
9.本公开的一个方式所涉及的摄影指示方法由摄影指示装置执行，为了基于对被摄体进行摄影而得到的多个图像各自的摄影位置及姿态、以及所述多个图像生成所述被摄体的三维模型，受理第1区域的指定，并指示摄影位置及姿态中的至少一方以摄影用于生成被指定的所述第1区域的三维模型的图像。
10.本公开的一个方式所涉及的摄影方法由摄影装置执行，摄影对象空间的多个第1图像，基于所述多个第1图像、以及所述多个第1图像各自的第1摄影位置及姿态，生成所述对象空间的第1三维位置信息，针对难以生成比所述第1三维位置信息详细的所述对象空间的第2三维位置信息的第2区域，不生成所述第2三维位置信息而使用所述第1三维位置信息进行判定。
11.发明效果
12.本公开能够提供能够提高三维模型的精度的摄影指示方法或者摄影指示装置。
附图说明
13.图1是实施方式1所涉及的终端装置的框图。
14.图2是实施方式1所涉及的终端装置的时序图。
15.图3是实施方式1所涉及的初始处理的流程图。
16.图4是表示实施方式1所涉及的初始显示的一例的图。
17.图5是表示实施方式1所涉及的优先指定位置的选择方法的一例的图。
18.图6是表示实施方式1所涉及的优先指定位置的选择方法的一例的图。
19.图7是实施方式1所涉及的位置姿态估计处理的流程图。
20.图8是实施方式1所涉及的摄影位置候选决定处理的流程图。
21.图9是表示从上方观察实施方式1所涉及的相机和对象的状况的图。
22.图10是表示实施方式1所涉及的由各相机得到的图像的例子的图。
23.图11是用于说明实施方式1所涉及的摄影位置候选决定的例子的示意图。
24.图12是用于说明实施方式1所涉及的摄影位置候选决定的例子的示意图。
25.图13是用于说明实施方式1所涉及的摄影位置候选决定的例子的示意图。
26.图14是实施方式1所涉及的三维重构处理的流程图。
27.图15是实施方式1所涉及的摄影中显示处理的流程图。
28.图16是表示实施方式1所涉及的以视觉方式提示摄影位置候选的方法的一例的图。
29.图17是表示实施方式1所涉及的以视觉方式提示摄影位置候选的方法的一例的图。
30.图18是表示实施方式1所涉及的报警的显示例的图。
31.图19是实施方式1所涉及的摄影指示处理的流程图。
32.图20是表示实施方式2所涉及的三维重构系统的构成的图。
33.图21是实施方式2所涉及的摄影装置的框图。
34.图22是表示实施方式2所涉及的摄影装置的动作的流程图。
35.图23是实施方式2所涉及的位置姿态的估计处理的流程图。
36.图24是实施方式2所涉及的位置姿态综合处理的流程图。
37.图25是表示实施方式2所涉及的对象空间中的摄影的情形的平面图。
38.图26是表示实施方式2所涉及的图像例及比较处理的例子的图。
39.图27是实施方式2所涉及的区域检测处理的流程图。
40.图28是实施方式2所涉及的显示处理的流程图。
41.图29是表示实施方式2所涉及的ui画面的显示例的图。
42.图30是表示实施方式2所涉及的区域信息的例子的图。
43.图31是表示实施方式2所涉及的位置姿态的估计失败的情况下的显示例的图。
44.图32是表示实施方式2所涉及的低精度区域被检测出的情况下的显示例的图。
45.图33是表示实施方式2所涉及的向用户的指示的例子的图。
46.图34是表示实施方式2所涉及的指示(箭头)的例子的图。
47.图35是表示实施方式2所涉及的区域信息的例子的图。
48.图36是表示实施方式2所涉及的对象区域的摄影状况的平面图。
49.图37是表示实施方式2所涉及的使用三维点的情况下的摄影完成区域的例子的图。
50.图38是表示实施方式2所涉及的使用网格的情况下的摄影完成区域的例子的图。
51.图39是表示实施方式2所涉及的深度图像的例子的图。
52.图40是表示实施方式2所涉及的使用深度图像的情况下的摄影完成区域的例子的图。
53.图41是实施方式2所涉及的摄影方法的流程图。
具体实施方式
54.本公开的一个方式所涉及的摄影指示方法由摄影指示装置执行，为了基于对被摄体进行摄影而得到的多个图像各自的摄影位置及姿态、以及所述多个图像生成所述被摄体的三维模型，受理第1区域的指定，并指示摄影位置及姿态中的至少一方以摄影用于生成被指定的所述第1区域的三维模型的图像。
55.由此，能够优先地提高用户所需的区域的三维模型的精度，因此能够提高三维模型的精度。
56.例如，基于所述各自的摄影位置及姿态、以及所述多个图像，检测难以生成所述三维模型的第2区域，指示摄影位置及姿态中的至少一方以生成易于生成所述第2区域的三维模型的图像，在与所述第1区域对应的所述指示中，指示所述摄影位置及姿态中的至少一方以摄影易于生成所述第1区域的所述三维模型的图像。
57.例如，显示被执行了属性的识别后的所述被摄体的图像，在所述第1区域的指定中，受理所述属性的指定。
58.例如也可以是，在所述第2区域的检测中，(i)在二维图像上，求出与基于所述摄影位置及姿态的对极线的角度差比预定的值小的边缘，(ii)检测与求出的边缘对应的三维区域作为所述第2区域，在与所述第2区域对应的所述指示中，指示所述摄影位置及姿态中的至少一方以进行所述角度差比所述值大的图像的摄影。
59.例如也可以是，所述多个图像是当前摄影中及显示中的动态图像所包括的多个帧，与所述第2区域对应的所述指示被实时地进行。
60.由此，通过实时地进行摄影指示，能够提高用户的便利性。
61.例如也可以是，在与所述第2区域对应的所述指示中，摄影方向被指示。
62.由此，用户能够依照指示容易地进行适宜的摄影。
63.例如也可以是，在与所述第2区域对应的所述指示中，摄影区域被指示。
64.由此，用户能够依照指示容易地进行适宜的摄影。
65.另外，本公开的一个方式所涉及的摄影指示装置具备处理器和存储器，为了基于对被摄体进行摄影而得到的多个图像各自的摄影位置及姿态、以及所述多个图像生成所述被摄体的三维模型，受理第1区域的指定，指示摄影位置及姿态中的至少一方以摄影用于生成被指定的所述第1区域的三维模型的图像。
66.由此，能够优先地提高用户所需的区域的三维模型的精度，因此能够提高三维模型的精度。
67.本公开的一个方式所涉及的摄影指示方法基于对被摄体进行摄影而得到的多个图像各自的摄影位置及姿态、以及所述多个图像，检测难以通过使用所述多个图像生成所述被摄体的三维模型的区域，并指示摄影位置及姿态中的至少一方以摄影易于生成所检测出的所述区域的三维模型的图像。
68.由此，能够提高三维模型的精度。
69.例如，所述摄影指示方法也可以进而受理优先区域的指定，在所述指示中，指示所述摄影位置及姿态中的至少一方以摄影易于生成被指定的所述优先区域的三维模型的图像。
70.由此，能够优先地提高用户所需的区域的三维模型的精度。
71.本公开的一个方式所涉及的摄影方法由摄影装置执行，摄影对象空间的多个第1图像，基于所述多个第1图像、以及所述多个第1图像各自的第1摄影位置及姿态，生成所述对象空间的第1三维位置信息，针对难以生成比所述第1三维位置信息详细的所述对象空间的第2三维位置信息的第2区域，不生成所述第2三维位置信息而使用所述第1三维位置信息进行判定。
72.由此，该摄影方法能够不生成第2三维位置信息而使用第1三维位置信息对难以生成第2三维位置信息的第2区域进行判定，因此能够提高用于生成第2三维位置信息的多个图像的摄影的效率。
73.例如也可以是，所述第2区域是图像的摄影未被进行的区域、以及所述第2三维位置信息的精度被估计为比预定的基准低的区域中的至少一方。
74.例如也可以是，所述第1三维位置信息包括第1三维点群，所述第2三维位置信息包括比所述第1三维点群密集的第2三维点群。
75.例如也可以是，在所述判定中，判定与所述第1三维点群的周围的区域对应的所述对象空间的第3区域，并将所述第3区域以外的区域判定为所述第2区域。
76.例如也可以是，在所述判定中，使用所述第1三维点群生成网格，将与生成了所述网格的区域对应的所述对象空间的第3区域以外的区域判定为所述第2区域。
77.例如也可以是，在所述判定中，基于所述第1三维点群的重投影误差，判定所述第2区域。
78.例如也可以是，所述第1三维位置信息包括深度图像，基于所述深度图像，将相对于摄影视点处于预定的距离以内的区域判定为第3区域，并将所述第3区域以外的区域判定为所述第2区域。
79.例如，所述摄影方法也可以进而使用已摄影的多个第2图像、所述多个第2图像各自的第2摄影位置及姿态、所述多个第1图像、以及多个所述第1摄影位置及姿态，使所述多个第1摄影位置及姿态的坐标系与多个所述第2摄影位置及姿态的坐标系对应。
80.由此，能够使用通过多次摄影而得到的信息来进行第2区域的判定。
81.例如，所述摄影方法也可以进而在所述对象空间的摄影中，显示所述第2区域、或者所述第2区域以外的第3区域。
82.由此，能够向用户提示第2区域。
83.例如也可以是，将表示所述第2区域或者所述第3区域的信息重叠在所述多个图像的某一个上显示。
84.由此，能够向用户提示图像内的第2区域的位置，因此用户能够容易地掌握第2区域的位置。
85.例如也可以是，在所述对象空间的地图上，重叠表示所述第2区域或者所述第3区域的信息进行显示。
86.由此，能够向用户提示周边环境中的第2区域的位置，因此用户能够容易地掌握第2区域的位置。
87.例如也可以是，显示所述第2区域、以及所述第2区域所包括的各区域的复原精度。
88.由此，用户不仅能够掌握第2区域还能够掌握各区域的复原精度，因此能够据此进行恰当的摄影。
89.例如，所述摄影方法也可以进而向用户提示用于使所述用户对所述第2区域进行摄影的指示。
90.由此，用户能够有效地进行恰当的摄影。
91.例如也可以是，所述指示包括从当前位置向所述第2区域的方向及距离中的至少一方。
92.由此，用户能够有效地进行恰当的摄影。
93.另外，本公开的一个方式所涉及的摄影装置具备处理器和存储器，所述处理器使用所述存储器，摄影对象空间的多个第1图像，基于所述多个第1图像、以及所述多个第1图像各自的第1摄影位置及姿态，生成所述对象空间的第1三维位置信息，针对难以使用所述多个第1图像生成比所述第1三维位置信息详细的所述对象空间的第2三维位置信息的第2区域，不生成所述第2三维位置信息而使用所述第1三维位置信息进行判定。
94.由此，该摄影装置能够不生成第2三维位置信息而使用第1三维位置信息对难以生成第2三维位置信息的第2区域进行判定，因此能够提高用于生成第2三维位置信息的多个图像的摄影的效率。
95.此外，这些概括性或者具体性的方式也可以通过系统、方法、集成电路、计算机程序或者计算机可读取的cd-rom等记录介质实现，也可以通过系统、方法、集成电路、计算机程序及记录介质的任意组合实现。
96.以下，关于实施方式，参照附图具体进行说明。此外，以下说明的实施方式均表示本公开的一个具体例。以下的实施方式所示的数值、形状、材料、构成要素、构成要素的配置位置及连接方式、步骤、步骤的顺序等是一例，并非意在限定本公开。此外，关于以下实施方式中的构成要素之中独立权利要求中未记载的构成要素，作为任意的构成要素而被说明。
97.(实施方式1)
98.通过使用由相机摄影的多个图像来生成三维模型，能够比使用激光计测来生成三维模型的方法更简单地生成三维地图等。因此，在建筑现场的施工管理等中测量距离的情况等下，采用通过使用图像来生成三维模型的方法。在此，三维模型是在计算机上对被摄像的计测对象进行表现的模型。三维模型例如具有计测对象上的各三维位置的位置信息。
99.但是，在使用图像生成三维模型时，需要映现了同一位置的具有视差的多个图像。另外，图像的张数越多，则能够越密集地生成三维模型。另外，视差影响复原精度，因此在测量距离的情况下，一边相对于被摄体恰当地移动一边进行摄影为佳。但是，难以一边对应于被摄体的状况一边在摄影中掌握恰当的摄影位置。
100.在本实施方式中，说明检测难以进行三维重构(生成三维模型)的区域并基于检测结果指示摄影位置或者摄影姿态的ui(用户界面)等。由此，能够抑制三维模型的重构的失败或者精度的降低。另外，能够减少重新摄影的发生，因此能够提高作业效率。
101.首先，说明作为本实施方式所涉及的摄影指示装置的一例的终端装置100的构成。图1是本实施方式所涉及的终端装置100的框图。该终端装置100具有摄像功能、估计摄影中的三维位置及姿态的功能、根据摄影图像决定下一摄影位置候选的功能、以及向用户提示所估计的摄影位置候选的功能。此外，终端装置100也可以具有使用所估计的三维位置及姿态进行三维重构并生成作为摄影环境的三维点群(点云)的三维模型的功能、利用该三维模型决定下一摄影位置候选的功能、向用户提示所估计的摄影位置候选的功能、以及与其他
终端装置及管理服务器等之间收发摄影影像、三维位置姿态及三维模型中的至少一个的功能。
102.终端装置100具备摄像部101、控制部102、位置姿态估计部103、三维重构部104、图像解析部105、点群解析部106、通信部107、ui部108、影像保存部111、相机姿态保存部112和三维模型保存部113。
103.摄像部101是相机等摄像装置，取得影像(动态图像)。此外，以下主要说明使用影像的例子，但也可以替代影像而使用多个静止图像。摄像部101将取得的影像保存至影像保存部111。此外，摄像部101既可以摄影可见光图像，也可以摄影红外图像。在使用红外图像的情况下，在夜晚等环境暗的状况下也能够进行摄像。此外，摄像部101既可以是单目相机，也可以如立体相机那样具有多个相机。通过使用校准后的立体相机，能够提高三维位置及姿态的精度。即使在立体相机未被校准的情况下，也能够取得具有视差的视差图像。
104.控制部102对终端装置100的摄像处理等的整体进行控制。位置姿态估计部103使用影像保存部111中保存的影像，估计摄影了影像的相机的三维位置及姿态。另外，位置姿态估计部103向相机姿态保存部112保存所估计的三维位置及姿态。例如，位置姿态估计部103为了估计相机的位置及姿态而使用slam(同时定位与地图构建(simultaneous localization and mapping))等图像处理。或者，位置姿态估计部103也可以使用由终端装置100所具备的各种传感器(gps或者加速度传感器)得到的信息来计算相机的位置及姿态。在前者中，能够根据来自摄像部101的信息估计位置及姿态。在后者中，能够以较少的处理实现图像处理。
105.三维重构部104使用影像保存部111中保存的影像及相机姿态保存部112中保存的三维位置及姿态进行三维重构，从而生成三维模型。另外，三维重构部104将生成的三维模型保存至三维模型保存部113。例如，三维重构部104使用以sfm(运动恢复结构(structure from motion))为代表的图像处理进行三维重构。或者，三维重构部104在使用通过立体相机等校准后的相机得到的影像的情况下，也可以活用立体视差。在前者中，通过利用大量图像，能够生成高精度的三维模型。在后者中，能够以较少的处理高速地生成三维模型。
106.此外，在位置姿态估计部103中利用了slam的情况下，与估计三维位置及姿态同时也生成周边环境的三维模型。由此，也可以活用该三维模型。
107.在图像解析部105中，为了使用影像保存部111中保存的影像及相机姿态保存部112中保存的三维位置及姿态高精度地进行三维重构，对从哪个位置进行摄影为佳进行解析，并基于解析结果决定摄影位置候选。表示被决定的摄影位置候选的信息向ui部108输出，并向用户提示。
108.点群解析部106使用影像保存部111中保存的影像、相机姿态保存部112中保存的三维位置及姿态、以及处于三维模型保存部113中的三维模型，判定三维模型所包括的点群的疏密。点群解析部106决定使得稀疏的区域映现的摄影位置候选。另外，点群解析部106对通过使用容易发生透镜的失真等的图像的周边区域而生成的点群的区域进行检测，并决定使得该区域映现于相机中央的摄影位置候选。被决定的摄影位置候选向ui部108输出，并向用户提示。
109.通信部107与云服务器或者其他终端装置之间经由通信收发被摄影的影像、被计算出的三维姿态及三维模型。
110.ui部108向用户提示被摄影的影像、以及由图像解析部105及点群解析部106决定的摄影位置候选。另外，ui部108具有用于输入来自用户的摄影开始指示、摄影结束指示及优先处理位置的输入功能。
111.接下来，说明本实施方式所涉及的终端装置100的动作。图2是表现终端装置100内的信息收发等的时序图。在图2中，以淡墨色表示的区域，表示摄像部101正持续进行摄影。终端装置100为了生成高品质的三维模型，实时地对影像、以及摄影位置及姿态进行解析，并向用户进行摄影指示。在此，实时的解析是指一边进行摄影一边进行解析。或者，实时的解析是指不生成三维模型而进行解析。具体而言，终端装置100在摄影中估计相机的位置及姿态，基于估计结果以及被摄影的影像，判定难以复原的区域。终端装置100预测能够确保易于复原该区域的视差的摄影位置及姿态，并利用ui提示所预测的摄影位置及姿态。在此，提示动态图像摄影中的序列，但在每一张静止图像的摄影中也可以实施同样的处理。
112.首先，ui部108进行初始处理(s101)。由此，ui部108将摄影开始信号向摄像部101发送。开始处理例如通过用户点击处于终端装置100的显示器上的“摄影开始”按钮来进行。
113.接下来，ui部108进行摄影中显示处理(s102)。具体而言，ui部108在摄影中提示影像以及向用户的指示。
114.接受了摄影开始信号的摄像部101实施影像的摄影，并将作为摄影的影像的图像信息向位置姿态估计部103、三维重构部104、图像解析部105及点群解析部106发送。例如，摄像部101既可以进行与摄影同时适宜地发送影像的流式传输发送，也可以按每一定时间将该时间的影像一并发送。也就是说，图像信息是影像所包括的1个或者多个图像(帧)。在前者中，能够适宜地进行处理，因此能够减少生成三维模型的等待时间。在后者中，能够活用被摄影的大量信息，因此能够实现高精度的处理。
115.位置姿态估计部103首先在摄影开始时进行输入等待处理，成为等待来自摄像部101的图像信息的状态。位置姿态估计部103如果从摄像部101被输入了图像信息，则进行位置姿态估计处理(s103)。也就是说，位置姿态估计处理按每1帧或者每多个帧进行。位置姿态估计部103在位置姿态估计处理失败的情况下，为了向用户提示失败而将估计失败信号向ui部108发送。位置姿态估计部103在位置姿态估计处理成功的情况下，为了输出现状的三维位置及姿态，向ui部108发送作为三维位置及姿态的估计结果的位置姿态信息。另外，位置姿态估计部103将位置姿态信息向图像解析部105及三维重构部104发送。
116.图像解析部105首先在摄影开始时进行输入等待处理，成为等待来自摄像部101的图像信息及来自位置姿态估计部103的位置姿态信息的状态。图像解析部105如果被输入了图像信息及位置姿态信息，则进行摄影位置候选决定处理(s104)。此外，摄影位置候选决定处理既可以按每帧进行，也可以按每一定时间(多个帧)(例如每5秒)进行。另外，图像解析部105也可以判定终端装置100是否正在向通过摄影位置候选决定处理生成的摄影位置候选移动，在正在移动的情况下，不进行新的摄影位置候选决定处理。例如，如果当前的位置及姿态处于将决定摄影位置候选时的图像的位置及姿态与计算出的候选的位置及姿态连结的直线上，则图像解析部105判定为正在移动。
117.三维重构部104首先在摄影开始时进行输入等待处理，成为等待来自摄像部101的图像信息及位置姿态估计部103的位置姿态信息的状态。三维重构部104如果被输入了图像信息及位置姿态信息，则进行三维重构处理(s105)从而计算三维模型。三维重构部104将作
为计算出的三维模型的点群信息向点群解析部106发送。
118.点群解析部106首先在摄影开始时进行输入等待处理，成为等待来自三维重构部104的点群信息的状态。点群解析部106如果被输入了点群信息，则进行摄影位置候选决定处理(s106)。例如，点群解析部106判定点群整体的疏密的状态，检测稀疏的区域。点群解析部106决定使得该稀疏的区域较多地映现的摄影位置候选。此外，点群解析部106也可以不仅使用点群信息而且还使用图像信息或者位置姿态信息来决定摄影位置候选。
119.接下来，说明初始处理(s101)。图3是初始处理(s101)的流程图。首先，ui部108显示当前的摄像图像(s201)。接下来，ui部108取得是否有用户希望优先复原的位置即优先位置(s202)。例如，ui部108显示用于指定优先模式的按钮，在该按钮被选择的情况下判定为有优先位置。
120.在有优先位置的情况下(s203：是)，ui部108显示优先位置选择画面(s204)，并取得由用户选择的优先位置的信息(s205)。在步骤s205之后，或者在没有优先位置的情况下(s203：否)，接下来，ui部108将摄影开始信号向摄像部101输出。由此，开始摄影(s206)。例如，既可以由用户按压按钮从而开始摄影，也可以随着经过一定时间而自动地开始摄影。
121.在此，对于设定的优先位置，将进行相机的移动的指示等时的复原的优先级设定得高。由此，不会发生指示相机移动以对虽然难以复原但用户并不需要的区域进行复原的情况，能够指示用户所需的区域作为对象。
122.图4是表示初始处理(s101)的初始显示的一例的图。摄像图像201、用于选择是否选择优先指定位置的优先指定按钮202、以及用于使摄影开始的摄影开始按钮203被显示。此外，摄像图像201既可以是静止图像，也可以是当前摄影中的影像(动态图像)。
123.图5是表示优先指定时的优先指定位置的选择方法的一例的图。在该图中，对窗框等对象物进行属性识别，使用选择栏204，从图像所包括的多个对象物的一览表中选择期望的对象物。例如，对于图像通过语义分割(semantic segmentation)等方法对各像素附加窗框、桌子、墙壁等标签，通过选择标签来一并选择对象像素。
124.图6是表示优先指定时的优先指定位置的别的选择方法的例子的图。在该图中，用户通过指示器或者触摸操作来指定任意的区域(在图中是由矩形包围的区域)，从而选择优先位置。此外，用户只要能够选择特定区域即可，手段不作限定，例如也可以通过指定颜色来进行选择，还可以进行图像中的右侧区域等大致的指定。
125.另外，也可以使用除了在画面上进行操作以外的输入方法。例如，也可以通过语音输入来进行选择操作。在该情况下，在寒冷地域中通过戴着手套的状态等的手难以进行操作时，输入变得容易。
126.另外，在此表示了在摄影前的初始处理中选择优先位置的例子，但也可以在摄影中适宜地追加优先位置。由此，能够选择在初始状态下未映现的位置。
127.接下来，说明位置姿态估计处理(s103)。图7是位置姿态估计处理(s103)的流程图。首先，位置姿态估计部103从影像保存部111取得1个以上的图像或者影像(s301)。接下来，位置姿态估计部103计算或者取得与被输入的图像的量相应的位置姿态信息，该位置姿态信息包括相机的三维位置及姿态(朝向)、以及包括透镜(镜头)信息等的相机参数(s302)。例如，位置姿态估计部103对于s301中取得的图像施加slam或者sfm等图像处理，从而计算位置姿态信息。
128.接下来，位置姿态估计部103将s302中取得的位置姿态信息存放至相机姿态保存部112(s303)。
129.此外也可以是，s301中输入的图像是由多个帧构成的一定时间量的图像序列，s302以后的处理对于该图像序列(多个图像)进行。或者也可以是，像流式传输那样逐次输入图像，按被输入的每个图像反复进行s302以后的处理。在前者中，通过利用多个时刻量的信息，能够提高精度。在后者中，能够逐次输入，因此能够确保固定长度的输入延迟，能够削减生成三维模型所耗费的等待时间。
130.接下来，说明图像解析部105所进行的摄影位置候选决定处理(s104)。图8是摄影位置候选决定处理(s104)的流程图。首先，图像解析部105从影像保存部111取得多个图像或者影像(s401)。另外，取得的多个图像之中的一个被设定为关键图像。在此，关键图像是在进行后级的三维重构时作为基准的图像。例如，关键图像的各像素处的深度使用除了关键图像以外的其他图像的信息被估计，并使用被估计的深度进行三维重构。接下来，图像解析部105取得多个图像各自的位置姿态信息(s402)。
131.接下来，图像解析部105使用各图像的位置姿态信息，计算图像间(相机间)的对极线(s403)。接下来，图像解析部105检测各图像中的边缘(s404)。例如，图像解析部105通过索贝尔(sobel)滤波器等的滤波处理检测边缘。
132.接下来，图像解析部105计算各图像中的对极线与边缘的角度(s405)。接下来，图像解析部105基于s405中得到的角度，计算关键图像的各像素的复原难易度(s406)。具体而言，对极线与边缘越平行，三维重构越难，因此角度越小，复原难易度被设定得越高。此外，复原难易度既可以按多个阶段设定，也可以按高/低这2个阶段设定。例如也可以是，在角度比预定的值(例如5度)小的情况下，复原难易度被设定得高，在角度比预定的值大的情况下，复原难易度被设定得低。
133.接下来，图像解析部105基于s406中计算出的复原难易度，估计从哪个位置摄影则易于对复原难易度高的区域进行复原，并将估计的位置决定为摄影位置候选(s407)。具体而言，复原难易度高的区域，与处于与相机间的移动方向相同的平面上是同义的，通过相机向与该平面垂直的方向移动，对极线与边缘变得不再水平。因此，如果相机在前进中则通过使相机向上下方向或者左右方向移动，能够在复原难易度高的区域中降低复原难易度。
134.此外，通过s401至s406的处理求出了复原难易度，但只要能够计算复原难易度即可，不限定于此。例如，由于透镜的失真引起的画质的降低在图像端部比图像中央大。因此，图像解析部105也可以判定在各图像中仅在画面的端部映现的对象，并将该对象的区域的复原难易度设定得高。例如，图像解析部105也可以根据位置姿态信息判定三维空间中的相机的视野，根据各相机的视野的重叠，判定仅在画面端部映现的区域。
135.以下，说明复原的困难性根据对极线与边缘所成的角而变化。图9是表示从上方观察相机和对象的状况的图。图10是表示在图9所示的状况下由各相机得到的图像的例子的图。
136.在该情况下，在相对于相机a的图像内的点而在相机b的图像内探索对应点时，对根据相机几何能够计算的对极线上进行探查。在如点a那样对极线与对象的图像上的边缘平行的情况下，难以使用ncc(归一化互相关(normalized cross correlation))等像素信息进行匹配，难以决定正确的对应点。
137.另一方面，在如点b那样对极线与对象的图像上的边缘垂直的情况下，易于匹配，能够决定正确的对应点。也就是说，通过计算对极线与图像上的边缘之间的角度，能够判定决定对应点的难易度。正确求出该对应点，关系到三维重构的精度。由此，能够将该对极线与图像上的边缘之间的角度，用作三维重构的难易度。此外，只要是含义与角度相同的信息即可，例如也可以将对极线和边缘看作矢量，并使用对极线与边缘的内积值。
138.此外，对极线能够使用相机a与相机b间的基础矩阵(fundamental matrix)计算。该基础矩阵能够根据相机a及相机b的位置姿态信息计算。在将相机a及相机b的内部矩阵设为ka及kb，并将从相机a观察的相机b的相对旋转矩阵设为r并将相对移动矢量设为t的情况下，能够如下求出对极线。
139.对于相机a上的像素(x，y)，通过下式计算(a，b，c)，相机b上的对极线能够表现为满足ax by c＝0的直线。
140.[数1]
[0141]
f＝k
b-t
*([t
x
]*r)*k
a-1
[0142][0143][0144]
以下，说明摄影位置候选决定的例子。图11～图13是用于说明摄影位置候选决定的例子的示意图。复原难易度高的边缘如图11所示，大多是处于经过将相机a与相机b的三维位置连结的直线的三维上的平面上的直线或者线段。相反地，与经过该直线的平面越垂直的直线，在相机a与相机b间的匹配中对极线与边缘的角度越大，复原难易度越低。
[0145]
即，如图12所示，在决定摄影位置候选时对于作为目标的边缘，如果从处于相对于包含边缘在内的上述条件的平面垂直移动的方向上的相机c的位置进行摄影，则在与相机a或者相机b进行匹配时，能够降低作为目标的边缘处的复原难易度。由此，图像解析部105将相机c决定为摄影位置候选。
[0146]
另外，图像解析部105在不存在作为目标的边缘的情况下，也可以将复原难易度最高的边缘作为候选并利用上述的方法决定摄影位置候选。或者，图像解析部105也可以从复原难易度前10位的边缘中，选择随机的边缘作为候选。
[0147]
另外，在此仅利用一对相机(相机a和相机b)的信息计算了相机c，但在存在复原难易度高的多个边缘的情况下，也可以如图13所示，图像解析部105决定对于第1边缘的摄影位置候选(相机c)、以及对于第2边缘的摄影位置候选(相机c)，并输出将相机c与相机d相连的路径。
[0148]
此外，摄影位置候选决定的方法不限于此，图像解析部105也可以考虑到越靠画面中央则失真等对画质劣化的影响越少，在以相机a中映现在画面端部的边缘作为目标的情况下，决定使得该边缘映现在画面中央的位置作为摄影位置候选。
[0149]
接下来，说明三维重构处理(s105)。图14是三维重构处理(s105)的流程图。首先，三维重构部104从影像保存部111取得多个图像或者影像(s501)。接下来，三维重构部104从相机姿态保存部112取得多个图像各自的位置姿态信息(相机参数)(s502)。
[0150]
接下来，三维重构部104使用所取得的多个图像及多个位置姿态信息进行三维重构，从而生成三维模型(s503)。例如，三维重构部104使用视体积相交法或者sfm进行三维重构。最后，三维重构部104将生成的三维模型存放至三维模型保存部113(s504)。
[0151]
此外，s503的处理也可以不由终端装置100进行。例如，终端装置100向云服务器等发送图像及相机参数。云服务器进行三维重构从而生成三维模型。终端装置100从云服务器接收三维模型。由此，终端装置100无论终端装置100的性能如何都能够利用高品质的三维模型。
[0152]
接下来，说明摄影中显示处理(s102)。图15是摄影中显示处理(s102)的流程图。首先，ui部108显示ui画面(s601)。接下来，ui部108取得摄影中的图像即摄像图像并进行显示(s602)。接下来，ui部108判定是否接收了摄影位置候选或者估计失败信号(s603)。在此，估计失败信号是在位置姿态估计部103中的位置姿态估计失败的情况下从位置姿态估计部103发送的信号。另外，摄影位置候选从三维重构部104或者点群解析部106发送。
[0153]
ui部108在接收了摄影位置候选的情况下(s603：是)，显示有摄影位置候选之意(s604)，并提示摄影位置候选(s605)。例如，ui部108既可以经由ui以视觉方式显示摄影位置候选，也可以使用扬声器等输出声音的机构所发出的声音进行提示。具体也可以是，在将终端装置100向上移动的情况下通过声音指示“请拿起20cm”，在对右侧进行摄影的情况下通过声音指示“请向右回转45
°”
。由此，用户在伴随移动的摄影中可以不注视终端装置100的画面，因此能够安全地进行摄影。
[0154]
另外，在终端装置100具备振动器等振子的情况下，也可以通过振动进行提示。例如，能够预先决定在向上移动时进行2次短振动而在向右回转时进行1次长振动这样的规则，并依照该规则进行提示。在该情况下，也不需要注视画面，因此能够实现安全的摄影。
[0155]
此外，ui部108在接收了估计失败信号的情况下，在s604中，显示估计失败之意。
[0156]
在s605之后，或者在未接收摄影位置候选的情况下(s603：否)，接下来，ui部108判定是否有摄影结束的指示(s606)。摄影结束的指示例如既可以通过针对ui画面的操作进行，也可以通过声音进行指示。或者，也可以通过将终端装置100晃动2次等手势输入进行指示。
[0157]
在有摄影结束的指示的情况下(s606：是)，ui部108发送用于向摄像部101传达摄影结束的摄影结束信号(s607)。另外，在没有摄影结束的指示的情况下(s606：否)，ui部108再次进行s601以后的处理。
[0158]
图16是表示以视觉方式提示摄影位置候选的方法的一例的图。在此，表示摄影位置候选是比当前靠上的位置、并进行指定以从比当前靠上的位置进行摄影的例子。在该例中，在画面上被提示上箭头211。此外，ui部108也可以与从当前位置到摄影位置候选的距离相应地变更箭头的显示方式(颜色、大小等)。例如，ui部108也可以在当前的位置离摄影位置候选远的情况下显示红且大的箭头，当前的位置越接近于摄影位置候选，显示越绿且小的箭头。另外，ui部108在不存在摄影位置候选的情况(也就是说，在当前的摄影中不存在复原难易度高的区域的情况)下，不显示箭头，或者，也可以提示
○
记号来表示当前的摄影很好。
[0159]
图17是表示以视觉方式提示摄影位置候选的方法的别的例子的图。在此，ui部108显示在相机向摄影位置候选进行了移动的情况下靠近画面中央的点线框212，向用户提示
将相机移动以使点线框212接近于画面的中心。此外，也可以利用框的颜色或者粗细表示从当前的位置到摄影位置候选的距离。
[0160]
另外，在用户没有依照用于使相机位置接近于被提示的摄影位置候选的指示的情况下，ui部108也可以如图18所示显示报警等的消息213。另外，ui部108也可以与状况相应地切换指示的方式。例如，ui部108也可以在刚开始指示时显示得较小，如果经过了一定时间则使显示变大。或者，ui部108也可以基于从指示开始起的时间发出报警。例如，ui部108也可以在从指示开始起1分钟后没有依照指示的情况下发出报警。
[0161]
另外，ui部108也可以在当前的位置与摄影位置候选相离的情况下，提示大致的信息，在成为能够在画面内表现的近距离时通过框进行显示。
[0162]
此外，摄影位置候选的显示方法也可以例示的方法以外的方式。例如，ui部108也可以在地图信息(二维或者三维)上显示摄影位置候选。由此，用户能够以直觉掌握移动的方向。
[0163]
另外，在此描述了向用户进行指示的例子，但也可以对于机器人或者无人机等具备相机的移动体进行指示。在该情况下，终端装置100的功能也可以被包含在移动体中。也就是说，移动体也可以向决定的摄影位置候选移动并进行摄影。由此，在自动控制的设备中也能够稳定地生成高精度的三维模型。
[0164]
另外，在终端装置100内或者服务器中进行三维重构时，也可以活用被判定为复原难易度高的像素的信息。例如，终端装置100或者服务器也可以将通过使用被判定为复原难易度高的像素而重构的三维点，判定为精度低的区域或者点。另外，也可以向三维模型或者三维点赋予表示该精度低的区域或者点的元数据。由此，能够在后处理中判定被生成的三维点是高精度还是低精度。例如，能够与精度相应地切换三维点在滤波处理中的校正程度。
[0165]
如上，本实施方式所涉及的摄影指示装置进行如图19所示的处理。摄影指示装置(例如终端装置100)基于对被摄体进行摄影而得到的多个图像各自的摄影位置及姿态、以及多个图像，检测难以使用多个图像生成被摄体的三维模型的区域(第2区域)(s701)。接下来，摄影指示装置指示摄影位置及姿态中的至少一方以摄影易于生成所检测出的所述区域的三维模型的图像(s702)。由此，能够提高三维模型的精度。
[0166]
在此，易于生成三维模型的图像，包括(1)在存在从多个摄影视点之中的一部分摄影视点未被摄影的区域的情况下的该未被摄影的区域的图像；(2)抖动小的区域的图像；(3)对比度比其他区域高因此特征点多的区域的图像；(4)与其他区域相比距摄影视点近的区域、且在计算出三维位置时被估计为计算出的三维位置与实际的位置之间的误差小的区域的图像；(5)透镜失真的影响比其他区域小的区域的图像中的至少一个。
[0167]
例如，摄影指示装置进而受理优先区域(第1区域)的指定，在所述指示(s702)中，指示摄影位置及姿态中的至少一方以摄影易于生成被指定的优先区域的三维模型的图像。由此，能够优先地提高用户所需的区域的三维模型的精度。
[0168]
例如，本实施方式所涉及的摄影指示装置为了基于对被摄体进行摄影而得到的多个图像各自的摄影位置及姿态、以及所述多个图像生成所述被摄体的三维模型，受理第1区域(例如优先区域)的指定(图3的s205)，并指示摄影位置及姿态中的至少一方以摄影用于生成被指定的所述第1区域的三维模型的图像。由此，能够优先地提高用户所需的区域的三维模型的精度，因此能够提高三维模型的精度。
[0169]
例如，基于所述各自的摄影位置及姿态、以及所述多个图像，检测难以生成所述三维模型的第2区域(s701)，并指示摄影位置及姿态中的至少一方以生成易于生成所述第2区域的三维模型的图像(s702)，在与所述第1区域对应的所述指示(s702)中，指示所述摄影位置及姿态中的至少一方以摄影易于生成所述第1区域的所述三维模型的图像。
[0170]
例如，如图5等所示，摄影指示装置显示被执行了属性的识别后的所述被摄体的图像，在所述第1区域的指定中，受理所述属性的指定。
[0171]
例如，在所述第2区域的检测中，(i)在二维图像上，求出与基于摄影位置及姿态的对极线之间的角度差比预定的值小的边缘，(ii)检测与求出的边缘对应的三维区域作为所述第2区域。摄影指示装置在与所述第2区域对应的所述指示(s702)中，指示摄影位置及姿态中的至少一方以摄影所述角度差比所述值大的图像。
[0172]
例如，所述多个图像是当前摄影中及显示中的动态图像所包括的多个帧，与所述第2区域对应的所述指示(s702)被实时地进行。由此，通过实时地进行摄影指示，能够提高用户的便利性。
[0173]
例如，在与所述第2区域对应的所述指示(s702)中，例如，如图16所示，摄影方向被指示。由此，用户能够依照指示容易地进行适宜的摄影。例如，提示下一摄像位置相对于当前位置所存在的方向。
[0174]
例如，在与所述第2区域对应的所述指示(s702)中，例如，如图17所示，摄影区域被指示。由此，用户能够依照指示容易地进行适宜的摄影。
[0175]
例如，摄影指示装置具备处理器和存储器，处理器使用存储器进行上述处理。
[0176]
(实施方式2)
[0177]
通过使用由相机摄影的多个图像来生成三维模型，能够比使用激光计测来生成三维模型的方法更简单地生成三维地图等。在此，三维模型是在计算机上对被摄像的计测对象进行表现的模型。三维模型例如具有计测对象上的各三维位置的位置信息。
[0178]
但是，在摄影用于生成计测对象的空间(以下称为对象空间)的三维模型的图像时，用户(摄影者)不容易判断所需的图像。由此，由于未得到恰当的图像而无法重构三维模型，或者，三维模型的精度有可能降低。在此，精度是三维模型的位置信息与实际的位置之间的误差。在本实施方式中，在摄影中向用户提示用于辅助摄影的信息。由此，用户能够有效地进行恰当的图像的摄影。另外，能够提高被生成的三维模型的精度。
[0179]
具体而言，在本实施方式中，在对象空间的摄影时，检测摄影未被进行的区域，并向用户(摄影者)提示所检测出的区域。在此，摄影未被进行的区域也可以包括：在对对象空间进行摄影时，在该时刻未进行摄影的区域(例如，被其他对象遮挡的区域)、以及虽然进行了摄影但未能得到三维点的区域。另外，检测难以进行三维重构(生成三维模型)的区域，并向用户提示所检测出的区域。另外，由此能够提高摄影的效率，并且能够抑制三维模型的重构的失败或者精度的降低。
[0180]
首先，说明本实施方式所涉及的三维重构系统的构成例。图20是表示本实施方式所涉及的三维重构系统的构成的图。如图20所示，三维重构系统包括摄影装置301和重构装置302。
[0181]
摄影装置301是用户所使用的终端装置，例如是平板电脑终端、智能电话或者笔记本型个人计算机等便携终端。摄影装置301具有摄影功能、估计相机的位置及姿态(以下称
为位置姿态)的功能、以及显示摄影完成区域的功能等。另外，摄影装置301在摄影中及摄影后，将摄影的图像及位置姿态向重构装置302发送。在此，图像例如是动态图像。此外，图像也可以是多个静止图像。另外，摄影装置301在摄影中估计位置姿态，使用位置姿态及三维点群中的至少一方判定摄影完成区域，并向用户提示摄影完成区域。
[0182]
重构装置302例如是经由网络等与摄影装置301连接的服务器。重构装置302取得由摄影装置301摄影的图像，并使用所取得的图像生成三维模型。例如，重构装置302既可以使用由摄影装置301估计的相机位置姿态，也可以根据取得的图像进行相机位置估计。
[0183]
另外，摄影装置301与重构装置302之间的数据的交接既可以基于离线方式经由hdd(硬盘驱动器)等进行，也可以经由网络常时进行。
[0184]
此外，由重构装置302生成的三维模型既可以是将三维空间密集地复原的三维点群(点云)，也可以是三维网格的集合。另外，由摄影装置301生成的三维点群，是将空间中的物体的角等具有特征的点稀疏地三维复原而成的三维点的集合。也就是说，由摄影装置301生成的三维模型(三维点群)是空间分辨率比由重构装置302生成的三维模型低的模型。换言之，由摄影装置301生成的三维模型(三维点群)是比由重构装置302生成的三维模型简化的模型。此外，简化的模型例如是信息量少的模型、易于生成的模型或者精度低的模型。例如，由摄影装置301生成的三维模型，是比由重构装置302生成的三维模型稀疏的三维点群。
[0185]
接下来，说明摄影装置301的构成。图21是摄影装置301的框图。摄影装置301具备摄像部311、位置姿态估计部312、位置姿态综合部313、区域检测部314、区域检测部314、ui部315、控制部316、图像保存部317、位置姿态保存部318和区域信息保存部319。
[0186]
摄像部311是相机等摄像装置，取得图像(动态图像)。此外，以下主要说明使用动态图像的例子，但也可以替代动态图像而使用多个静止图像。摄像部311将取得的图像保存至图像保存部317。此外，摄像部311既可以摄影可见光图像，也可以摄影非可见光图像(例如红外图像)。在使用红外图像的情况下，在夜晚等环境暗的状况下也能够进行摄像。此外，摄像部311既可以是单目相机，也可以像立体相机那样具有多个相机。通过使用校准后的立体相机，能够提高三维位置及姿态的精度。此外，摄像部311也可以是如rgb―d传感器那样的也能够摄影深度图像的设备。在该情况下，能够取得作为三维信息的深度图像，因此能够改善相机位置姿态的估计的精度。另外，在后述的综合三维姿态时能够将深度图像活用作对位的信息。
[0187]
控制部316对摄影装置301的摄像处理等的整体进行控制。位置姿态估计部312使用图像保存部317中保存的图像，对摄影了图像的相机的三维位置及姿态(位置姿态)进行估计。另外，位置姿态估计部312向位置姿态保存部318保存所估计的位置姿态。例如，位置姿态估计部312为了估计位置姿态而使用slam(同时定位与地图构建(simultaneous localization and mapping))等图像处理。或者，位置姿态估计部312也可以使用由摄影装置301所具备的各种传感器(gps或者加速度传感器)得到的信息计算相机的位置及姿态。在前者中，能够根据来自摄像部311的信息估计位置及姿态。在后者中，能够以较少的处理实现图像处理。
[0188]
位置姿态综合部313在一个环境中多次进行摄影的情况下，将各摄影中估计的相机的位置姿态综合，计算能够在同一空间中处理的位置姿态。具体而言，位置姿态综合部313使用在最初的摄影中得到的位置姿态的三维坐标轴作为基准坐标轴。然后，位置姿态综
合部313将第2次以后的摄影中求出的位置姿态的坐标变换为基准坐标轴的空间的坐标。
[0189]
区域检测部314使用图像保存部317中保存的图像、以及位置姿态保存部318中保存的位置姿态，检测在对象空间中无法进行三维重构的区域或者三维重构的精度低的区域。在对象空间中无法进行三维重构的区域，例如是图像未被摄影的区域。三维重构的精度低的区域，例如是对该区域摄影的图像的张数少(比预定的张数少)的区域。另外，精度低的区域，是在生成了三维位置信息的情况下被生成的三维位置信息与实施的位置之间的误差大的区域。另外，区域检测部314将检测出的区域的信息保存至区域信息保存部319。此外，区域检测部314也可以检测能够进行三维重构的区域，并将该区域以外判定为无法进行三维重构的区域。
[0190]
另外，区域信息保存部319中保存的信息既可以是重叠在图像上的二维信息，也可以是三维坐标信息等三维信息。
[0191]
ui部315向用户提示被摄影的图像、以及由区域检测部314检测出的区域信息。另外，ui部315具有供用户输入摄影开始指示及摄影结束指示的输入功能。例如，ui部315是带触摸面板的显示器。
[0192]
接下来，说明本实施方式所涉及的摄影装置301的动作。图22是表示摄影装置301的动作的流程图。在摄影装置301中，与用户的指示相应地进行摄影的开始及停止。具体而言，通过按下处于ui上的摄影开始按钮，从而开始摄影。在被输入了摄影开始指示的情况下(s801：是)，摄像部311开始摄影。摄影的图像被保存至图像保存部317。
[0193]
接下来，位置姿态估计部312在图像每次被追加时计算位置姿态(s802)。计算出的位置姿态被保存至位置姿态保存部318。此时，在除了位置姿态以外还存在例如通过slam生成的三维点群的情况下，也保存被生成的三维点群。
[0194]
接下来，位置姿态综合部313对位置姿态进行综合(s803)。具体而言，位置姿态综合部313利用位置姿态的估计结果和图像，判定能否对此前摄影的图像的位置姿态与新摄影的图像的位置姿态的三维坐标空间进行综合，在能够综合的情况下对它们进行综合。也就是说，位置姿态综合部313将新摄影的图像的位置姿态的坐标，变换至此前的位置姿态的坐标系。由此，多个位置姿态在一个三维坐标空间中表现。由此，能够共通地利用在多次摄影中得到的数据，能够提高位置姿态的估计的精度。
[0195]
接下来，区域检测部314对摄影完成区域等进行检测(s804)。具体而言，区域检测部314使用位置姿态的估计结果、以及图像，生成三维位置信息(三维点群、三维模型或者深度图像等)，使用所生成的三维位置信息，检测无法进行三维重构的区域或者三维重构的精度低的区域。另外，区域检测部314将检测出的区域的信息保存至区域信息保存部319。接下来，ui部315显示通过上述处理得到的区域的信息(s805)。
[0196]
另外，反复进行这一系列处理直到摄影结束(s806)。例如，这些处理在每次取得1个或者多个帧的图像时反复进行。
[0197]
图23是位置姿态的估计处理(s802)的流程图。首先，位置姿态估计部312从图像保存部317取得图像(s811)。接下来，位置姿态估计部312使用所取得的图像计算各图像中的相机的位置姿态(s812)。例如，位置姿态估计部312使用slam或者sfm(运动恢复结构(structure from motion))等图像处理计算位置姿态。此外，在摄影装置301具有imu(惯性计测装置)等传感器的情况下，位置姿态估计部312也可以活用由这些传感器得到的信息来
估计位置姿态。
[0198]
另外，位置姿态估计部312也可以作为透镜的焦距等相机参数而利用事先进行校准并求出的结果。或者，位置姿态估计部312也可以与估计位置姿态同时计算相机参数。
[0199]
接下来，位置姿态估计部312将计算出的位置姿态的信息保存至位置姿态保存部318(s813)。此外，在位置姿态的信息的计算失败的情况下，也可以将表示失败的信息保存至位置姿态保存部318。由此，能够知晓失败的地点及时刻、以及在怎样的图像中失败，能够在重新摄影时等活用这些信息。
[0200]
图24是位置姿态综合处理(s803)的流程图。首先，位置姿态综合部313从图像保存部317取得图像(s821)。接下来，位置姿态综合部313取得当前的位置姿态(s822)。接下来，位置姿态综合部313将当前的摄影路径以外的摄影完成路径的图像及位置姿态取得至少1个(s823)。此外，摄像完成路径例如能够根据通过slam得到的相机的位置姿态的序列信息生成。另外，摄像完成路径的信息例如保存于位置姿态保存部318。具体而言，在每次尝试摄影时保存slam的结果，在第n次摄影(现在的路径)中，将第n次摄影的三维坐标轴与第1～n-1次的结果(过去的路径)的三维坐标轴综合。此外，也可以替代slam的结果，而使用通过gps或者bluetooth(蓝牙，注册商标)得到的位置信息。
[0201]
接下来，位置姿态综合部313判定是否能够综合(s824)。具体而言，位置姿态综合部313判定所取得的摄影完成路径的位置姿态及图像与当前的位置姿态及图像是否相似，在相似的情况下判断为能够综合，在不相似的情况下判断为不能综合。更具体而言，位置姿态综合部313根据各图像计算表现了图像整体的特征的特征量，通过将其比较来判定是否为相似的视点的图像。另外，在摄影装置301具有gps而知晓摄影装置301的绝对位置的情况下，位置姿态综合部313也可以使用该信息，判定与当前的图像在相同或者相近的位置摄影的图像。
[0202]
在能够综合的情况下(s824：是)，位置姿态综合部313进行路径综合处理(s825)。具体而言，位置姿态综合部313计算当前的图像与摄影了与该图像相似的区域的参照用图像之间的三维相对位置。位置姿态综合部313对参照用图像的坐标加上所计算出的三维相对位置，从而计算当前的图像的坐标。
[0203]
以下，说明路径综合处理的具体例。图25是表示对象空间中的摄影的情形的平面图。路径c是摄影完成及位置姿态估计完成的相机a的路径。此外，在该图中，表示了相机a存在于路径c上的规定的位置的情况。另外，路径d是当前正在进行摄影的相机b的路径。此时，当前的相机b与相机a以相同的视野摄影图像。此外，在此表示2个图像由不同的相机得到的例子，但也可以使用由同一相机在不同时刻摄影的2个图像。图26是表示在该情况下的图像例及比较处理的例子的图。
[0204]
如图26所示，位置姿态综合部313对于各个图像，提取orb(定向fast和旋转brief(oriented fast and rotated brief))特征量等特征量，并基于它们的分布或者数量等提取图像整体的特征量。例如，位置姿态综合部313如词袋(bag of words)那样对图像中出现的特征量进行聚类，使用每类的直方图作为特征量。
[0205]
位置姿态综合部313对图像间的图像整体的特征量进行比较，在被判定为映现同一位置的图像的情况下，在图像间进行特征点匹配从而计算各个相机间的相对的三维位置。换言之，位置姿态综合部313从摄影完成的路径的多个图像中，探索画面整体的特征量
相近的图像。位置姿态综合部313基于该相对的位置关系，将路径d的三维位置变换至路径c的坐标系。由此，能够在一个坐标系中表现多个路径。像这样，能够综合多个路径中的位置姿态。
[0206]
此外，在摄影装置301具有gps等能够检测绝对位置的传感器的情况下，位置姿态综合部313也可以使用其检测结果进行综合处理。例如，位置姿态综合部313也可以不进行使用上述图像的处理，而进行使用传感器的检测结果的处理，也可以不仅使用图像而且使用传感器的检测结果。例如，位置姿态综合部313也可以活用gps的信息，对作为比较对象的图像进行筛选。具体而言，位置姿态综合部313也可以通过gps，将相对于当前的相机位置的纬度经度分别处于
±
0.001度以下的范围内的位置姿态的图像设定为比较对象。由此，能够削减处理量。
[0207]
图27是区域检测处理(s804)的流程图。首先，区域检测部314从图像保存部317取得图像(s831)。接下来，区域检测部314从位置姿态保存部318取得位置姿态(s832)。另外，区域检测部314从位置姿态保存部318，取得表示通过slam等生成的特征点的三维位置的三维点群。
[0208]
接下来，区域检测部314使用所取得的图像、位置姿态及三维点群，检测未摄影区域(s833)。具体而言，区域检测部314将三维点群投影到图像中，将三维点被投影到的像素的周边(距像素为预定的距离以内)判定为可复原区域(摄影完成区域)。此外，被投影的三维点距摄影位置越远，也可以使上述的预定的距离越大。另外，在利用了立体相机的情况下，区域检测部314也可以根据视差图像估计可复原区域。另外，在使用了rgb-d相机的情况下，也可以使用所得到的深度值进行判定。此外，关于摄影完成区域的判定处理的详细情况后述。另外，区域检测部314也可以不仅判定能否生成三维模型，而且判定在进行了三维重构时的精度。
[0209]
最后，区域检测部314输出所得到的区域信息(s834)。该区域信息例如既可以是将各区域的信息重叠在摄影图像上而得到的图像，也可以是在三维地图等的三维空间中配置各区域的信息而得到的信息。
[0210]
图28是显示处理(s805)的流程图。首先，ui部315确认是否有要显示的信息(s841)。具体而言，ui部315确认在图像保存部317中是否有新追加的图像，如果有则判定为有显示信息。另外，ui部315确认在区域信息保存部319中是否有新追加的信息，如果有则判定为有显示信息。
[0211]
在有显示信息的情况下(s841：是)，ui部315取得图像及区域信息等显示信息(s842)。接下来，ui部315显示所取得的显示信息(s843)。
[0212]
图29是表示由ui部315显示的ui画面的例子的图。该ui画面包括摄影开始/摄影停止按钮321、摄影中图像322、区域信息323和字符显示区域324。
[0213]
摄影开始/摄影停止按钮321是供用户指示摄影的开始及停止的操作部。摄影中图像322是当前摄影中的图像。区域信息323显示摄影完成区域及低精度区域等。在此，低精度区域，是指在使用被摄影的图像生成三维模型的情况下被生成的三维模型的精度低的区域。在字符显示区域324中，以字符表示未摄影的区域或者低精度区域的信息。此外，也可以替代字符而使用声音等。
[0214]
图30是表示区域信息323的例子的图。如图30所示，例如使用在摄影中的图像上重
叠表示各区域的信息而得到的图像。另外，随着摄影视点的移动，区域信息323的显示实时地变更。由此，用户能够一边对当前的相机视点的图像中进行参照，一边简单地掌握摄影完成区域等。例如，摄影完成区域与低精度区域以不同的颜色显示。另外，在当前的路径中摄影完成的区域与在其他路径的摄影中摄影完成的区域以不同的颜色显示。此外，表示各区域的信息如图30所示，既可以是重叠在图像上的信息，也可以由字符或者记号表现。也就是说，该信息只要是用户能够以视觉判断各区域的信息即可。由此，用户知晓只要对未附加颜色的区域及低精度区域进行摄影即可，因此能够避免遗漏摄影等。另外，为了执行路径综合处理，能够以摄影完成区域与其他路径的摄影完成区域连续的方式向用户提示应该摄影的区域。
[0215]
此外，对于低精度区域等希望使用户关注的区域，也可以利用闪烁等易于引起用户关注的显示。此外，区域的信息被重叠至的图像也可以是过去的图像。
[0216]
此外，在此将摄影中图像322和区域信息323个别地显示，但也可以在摄影中图像322上重叠区域的信息。在该情况下，能够减小显示所需的区域，因此即使是智能电话等较小的终端也易于视觉辨认。由此，也可以与终端的类别相应地切换这些显示方法。例如也可以是，在智能电话等画面大小较小的终端上，在摄影中图像322上重叠区域的信息，而在平板电脑终端等画面大小较大的终端上，将摄影中图像322与区域信息323个别地显示。
[0217]
另外，ui部315利用字符或者声音，提示在当前位置的几m前产生了低精度区域等。该距离能够根据位置估计的结果计算。通过使用字符信息，能够向用户正确地通知信息。另外，在使用声音的情况下，在摄影中无需移开视线等即可，因此能够安全地进行通知。
[0218]
此外，也可以不是在图像上进行二维显示，而是通过ar(增强现实(augmented reality))眼镜或者hud(抬头显示器(head-up display))，在现实空间中重叠区域的信息。由此，与从现实的视点观察的影像之间的亲和性提高，能够向用户直观地提示应该摄影的位置。
[0219]
此外，摄影装置301在位置姿态的估计失败的情况下，也可以向用户通知位置姿态的估计失败。图31是表示在该情况下的显示例的图。
[0220]
例如，位置姿态估计失败时的图像也可以显示于区域信息323。另外，也可以提示用于促使从该地点重新开始摄影的字符或者声音。由此，用户能够在失败时迅速重新开始。
[0221]
另外，摄影装置301也可以根据从失败起的经过时间和移动速度预测失败位置，并利用声音或者字符提示“请返回5m前”等信息。或者，摄影装置301也可以显示二维地图或者三维点地图，并且在该地图上提示摄影失败位置。
[0222]
另外，摄影装置301也可以对用户返回到失败位置进行检测，并将该情况向用户利用字符、图像、声音或者振动等进行提示。例如，能够利用图像整体的特征量等对用户返回到失败位置进行检测。
[0223]
另外，摄影装置301在检测出低精度区域的情况下，也可以向用户指示再次摄影以及摄影方法。在此，摄影方法例如是使该区域更大地映现等。例如，摄影装置301也可以使用字符、图像、声音或者振动等进行该指示。
[0224]
由此，能够提高所取得的数据的品质，因此能够提高被生成的三维模型的精度。
[0225]
图32是表示检测出低精度区域的情况下的显示例的图。例如，如图32所示，使用字符针对用户进行指示。在该例中，在字符显示区域324中，显示检测出低精度区域之意。另
外，显示“请返回5m前”等用于摄影低精度区域的向用户的指示。另外，摄影装置301也可以在检测出用户移动到被指示的场所、或者对指示的区域进行了摄影的情况下停止这些显示。
[0226]
图33是表示向用户的指示的别的例子的图。例如，也可以通过图33所示的箭头325，向用户移动来显示方向及距离。图34是表示该箭头的例子的图。例如，如图34所示，移动方向由箭头的角度表示，而且距移动目的地的距离由箭头的大小显示。此外，也可以与距离相应地变更箭头的显示方式。例如，显示方式既可以是颜色，也可以是效果的有无或者大小。效果例如是闪烁、移动或者扩大缩小等。另外，也可以变更箭头的浓淡。例如，距离越近，则也可以使效果越大，也可以使箭头的颜色越浓。另外，也可以将上述多个组合。
[0227]
另外，不限于箭头，只要是能够识别方向的显示即可，也可以使用三角形或者手指的图标等任意的显示。
[0228]
另外，作为区域信息323，也可以不向摄影中的图像重叠，而在平面图或者斜视图等基于第三方视点的图像上重叠区域的信息。例如，如果是能够准备三维地图的环境，则也可以在三维地图上重叠显示摄影完成区域等。
[0229]
图35是表示在该情况下的区域信息323的例子的图。图35是将三维地图作为平面图来观察的图，表示摄影完成区域及低精度区域。另外，表示当前的相机位置331(摄影装置301的位置及方向)、当前的路径332、以及过去的路径333。
[0230]
此外，在建筑现场等中存在对象空间的cad等的地图的情况下，或者在以前在相同的场所进行过三维建模，已经生成了三维地图信息的情况下，摄影装置301也可以对其进行活用。另外，摄影装置301在能够利用gps等的情况下，也可以基于由gps得到的纬度经度信息制作地图信息。
[0231]
像这样，通过将相机的位置姿态的估计结果以及摄影完成区域重叠在三维地图上，并作为俯瞰图显示，用户能够简单地掌握哪个区域完成了摄影、以及经过哪个路径进行了摄影等。例如，在图35所示的例中，能够使用户注意到在向摄影中的图像的提示中难以理解的对柱子背侧未完成摄影等的遗漏摄影等，因此能够实现有效的摄影。
[0232]
此外，在没有cad等的环境中，也可以不使用地图而同样使用从第三方视点的显示。在该情况下，虽然由于没有作为参照的对象而视觉辨认性下降，但用户能够掌握当前的摄影位置与低精度区域之间的位置关系。另外，用户能够确认未能拍摄被预想为有对象的区域的状况。由此，在该情况下也能够提高摄影的效率。
[0233]
此外，在此表示了平面图的例子，但也可以使用从其他视点观察的地图信息。另外，摄影装置301也可以具有变更三维地图的视点的功能。例如，也可以使用供用户进行视点的变更操作的ui。
[0234]
另外，摄影装置301既可以显示上述的图29等所示的区域信息323和图35所示的区域信息这双方，也可以具有切换这些显示的功能。
[0235]
接下来，说明摄影完成区域的判定方法及提示方法的例子。在相机的位置估计中使用了slam的情况下，不仅生成相机的位置姿态信息，而且生成与图像中的物体的角等特征点相关的三维点群。关于生成了该三维点的区域，能够判定为能够进行三维建模，因此通过将三维点投影到图像中，能够在图像上提示摄影完成区域。
[0236]
图36是表示对象区域的摄影状况的平面图。图中的黑圆点表示被生成的三维点
(特征点)。图37是表示将三维点向图像中投影并将三维点的周围的区域判定为摄影完成区域的例子的图。
[0237]
另外，摄影装置301也可以将三维点连结从而生成网格，并使用该网格判定为摄影完成区域。图38是表示在该情况下的摄影完成区域的例子的图。如图38所示，摄影装置301也可以将生成了网格的区域判定为摄影完成区域。
[0238]
此外，摄影装置301在利用了立体相机或者rgb-d传感器的情况下，也可以利用从它们得到的视差图像或者深度图像来判定摄影完成区域。由此，能够以较少的处理得到密集的三维信息，因此能够更准确地判定摄影完成区域。
[0239]
另外，在该例中使用slam进行自身位置估计(位置姿态估计)，但只要能够在摄影中估计相机的位置姿态即可，不限于此。
[0240]
另外，摄影装置301也可以不仅提示摄影完成区域，而且预想被复原时的精度，并显示所预想的精度。具体而言，三维点根据图像中的特征点计算。在将该三维点投影至图像的情况下，投影的三维点有时从作为基准的特征点偏离。该偏离被称为重投影误差，能够使用重投影误差来评价精度。具体而言，重投影误差越大，则能够判断为精度越低。
[0241]
例如，摄影装置301也可以由摄影完成区域的颜色来表现精度。例如，高精度的区域由蓝色表现，低精度的区域由红色表现。此外，精度也可以通过颜色的差异或者浓淡以阶段性表现。由此，用户能够容易地掌握各区域的精度。
[0242]
另外，摄影装置301也可以利用由rgb-d传感器等得到的深度图像来进行能否复原的判定及精度评价。图39是表示深度图像的例子的图。在该图中，颜色越浓(阴影越密)，则意味着距离越远。
[0243]
在此存在如下倾向：距相机的距离越近，生成的三维模型的精度越高，距离越远，则精度下降。由此，例如，摄影装置301也可以将直到一定范围的深度(例如直到5m)为止的像素判定为被摄影的范围。图40是表示将直到一定范围的深度的区域判定为摄影完成区域的情况下的例子的图。在该图中，阴影的区域被判定为摄影完成区域。
[0244]
另外，摄影装置301也可以与到区域的距离相应地判定该区域的精度。也就是说，摄影装置301也可以距离越近，则判定为精度越高。例如，既可以由线性定义距离与精度的关系，也可以使用其他定义。
[0245]
另外，摄影装置301在利用立体相机的情况下，也能够根据视差图像生成深度图像，因此也可以利用与使用深度图像的情况同样的方法判定摄影完成区域及精度。在该情况下，摄影装置301针对未能根据视差图像计算出深度值的区域，也可以判定为不能复原(未摄影)。或者，摄影装置301针对未能计算出深度值的区域，也可以根据周边的像素估计深度值。例如，摄影装置301以对象像素为中心计算5
×
5像素的平均值。
[0246]
另外，对表示上述判定出的摄影完成区域的三维位置及各三维位置的精度的信息进行积蓄。如上所述，对相机的位置姿态的坐标进行综合，因此也能够对得到的区域信息的坐标进行综合。由此，生成表示对象空间中的摄影完成区域的三维位置及各三维位置的精度的信息。
[0247]
如上，本实施方式所涉及的摄影指示装置进行图41所示的处理。摄影装置301摄影对象空间的多个第1图像(s851)，基于多个第1图像、以及多个第1图像各自的第1摄影位置及姿态，生成对象空间的第1三维位置信息(例如，稀疏的三维点群或者深度图像)(s852)，
针对通过使用多个第1图像难以生成比第1三维位置信息详细的对象空间的第2三维位置信息(例如密集的三维点群)的第2区域，不生成第2三维位置信息而使用第1三维位置信息进行判定(s853)。
[0248]
在此，难以生成三维位置信息的区域包括：不能计算三维位置的区域、以及三维位置与实际的位置之间的误差比规定的阈值大的区域中的至少一方。具体而言，第2区域包括(1)从多个摄影视点之中的一部分摄影视点未被摄影的区域；(2)虽然被摄影，但抖动大的区域；(3)虽然被摄影，但对比度比其他区域低因此特征点少的区域；(4)虽然被摄影，但与其他区域相比距摄影视点远的区域，即使计算出三维位置，计算出的三维位置与实际的位置之间的误差也大的区域，(5)透镜失真的影响比其他区域大的区域中的至少一个。此外，抖动例如能够通过求出特征点的历时的位置变化来检测。
[0249]
另外，详细的三维位置信息例如是空间分辨率高的三维位置信息。三维位置信息的空间分辨率表示能够将相邻的2个三维位置判别为不同的三维位置时的该相邻的2个三维位置间的距离。另外，空间分辨率高，表示相邻的2个三维位置间的距离小。即，空间分辨率高的三维位置信息在规定大小的空间中具有较多的三维位置的信息。另外，也可以将空间分辨率高的三维位置信息称为密集的三维位置信息，而将空间分辨率低的三维位置信息称为稀疏的三维位置信息。
[0250]
另外，详细的三维位置信息也可以是信息量多的三维位置信息。例如，第1三维位置信息也可以是像深度图像那样来自1个视点的距离信息，第2三维位置信息也可以是能够得到来自任意视点的距离信息的三维点群等三维模型。
[0251]
另外，例如，对象空间与被摄体是相同的概念，共通地意味着被摄影的区域。
[0252]
由此，摄影装置301能够不生成第2三维位置信息而使用第1三维位置信息对难以生成第2三维位置信息的第2区域进行判定，因此能够提高用于生成第2三维位置信息的多个图像的摄影的效率。
[0253]
例如，第2区域是图像的摄影未被进行的区域以及第2三维位置信息的精度被估计为比预定的基准低的区域中的至少一方。在此，基准例如是2个不同的三维位置间的距离的阈值。也就是说，第2区域是在生成了三维位置信息的情况下被生成的三维位置信息与实施的位置之差比预定的阈值大的区域。
[0254]
例如，第1三维位置信息包括第1三维点群，第2三维位置信息包括比第1三维点群密集的第2三维点群。
[0255]
例如，摄影装置301在判定(s853)中，判定与第1三维点群的周围的区域(相对于第1三维点群处于规定的距离以内的区域)对应的对象空间的第3区域，并将第3区域以外的区域判定为第2区域(例如图37)。
[0256]
例如，摄影装置301在判定(s853)中，使用第1三维点群生成网格，并将与生成了网格的区域对应的对象空间的第3区域以外的区域判定为第2区域(例如图38)。
[0257]
例如，摄影装置301在判定(s853)中，基于第1三维点群的重投影误差，判定第2区域。
[0258]
例如，第1三维位置信息包括深度图像。摄影装置301例如如图40所示，基于深度图像，将相对于摄影视点处于预定的距离以内的区域判定为第3区域，并将第3区域以外的区域判定为第2区域。
[0259]
例如，摄影装置301进而使用已摄影的多个第2图像、多个第2图像各自的第2摄影位置及姿态、多个第1图像、以及多个第1摄影位置及姿态，使多个第1摄影位置及姿态的坐标系与多个第2摄影位置及姿态的坐标系对应。由此，摄影装置301能够使用在多次摄影中得到的信息进行第2区域的判定。
[0260]
例如，摄影装置301进而在对象空间的摄影中，显示第2区域、或者第2区域以外的第3区域(例如摄影完成区域)(例如图30)。由此，摄影装置301能够向用户提示第2区域。
[0261]
例如，摄影装置301将表示第2区域或者第3区域的信息重叠在多个图像中的某一个上显示(例如图30)。由此，摄影装置301能够向用户提示图像内的第2区域的位置，因此用户能够容易地掌握第2区域的位置。
[0262]
例如，摄影装置301在对象空间的地图上，重叠表示第2区域或者第3区域的信息并进行显示(例如图35)。由此，摄影装置301能够向用户提示周边环境中的第2区域的位置，因此用户能够容易地掌握第2区域的位置。
[0263]
例如，摄影装置301显示第2区域、以及第2区域所包括的各区域的复原精度(三维重构的精度)。由此，用户不仅能够掌握第2区域还能够掌握各区域的复原精度，因此能够据此进行恰当的摄影。
[0264]
例如，摄影装置301进而向用户提示用于使用户对第2区域进行摄影的指示(例如图32及图33)。由此，用户能够有效地进行恰当的摄影。
[0265]
例如，指示包括从当前位置向第2区域的方向及距离中的至少一方(例如图33及图34)。由此，用户能够有效地进行恰当的摄影。
[0266]
例如，摄影装置具备处理器和存储器，处理器使用存储器进行上述处理。
[0267]
以上，说明了本公开的实施方式所涉及的摄影指示装置及摄影装置等，但本公开不限定于该实施方式。
[0268]
例如，也可以将实施方式1所涉及的摄影指示装置与实施方式2所涉及的摄影装置组合。例如，上述摄影指示装置也可以具有上述摄影装置所包括的至少一部分处理部。另外，上述摄影装置也可以具有上述摄影指示装置所包括的至少一部分处理部。另外，也可以将上述摄影指示装置所包括的至少一部分处理部与上述摄影装置所包括的至少一部分处理部组合。也就是说，实施方式1所涉及的摄影指示方法也可以包括实施方式2所涉及的摄影方法所包括的至少一部分处理。另外，实施方式2所涉及的摄影方法也可以包括实施方式1所涉及的摄影指示方法所包括的至少一部分处理。另外，也可以将实施方式1所涉及的摄影指示方法所包括的至少一部分处理与实施方式2所涉及的摄影方法所包括的至少一部分处理组合。
[0269]
另外，上述实施方式所涉及的摄影指示装置及摄影装置等中包括的各处理部典型地以作为集成电路的lsi实现。这些既可以个别地作为单芯片，也可以以包含一部分或者全部的方式作为单芯片。
[0270]
另外，形成集成电路不限于lsi，也可以由专用电路或者通用处理器实现。也可以利用在制造lsi后能够编程的fpga(field programmable gate array：现场可编程逻辑门阵列)，或者可重构lsi内部的电路单元的连接及设定的可重构处理器。
[0271]
另外，在上述各实施方式中，各构成要素也可以由专用的硬件构成，或者通过执行适于各构成要素的软件程序来实现。各构成要素也可以通过cpu或处理器等程序执行部读
出并执行在硬盘或半导体存储器等记录介质中记录的软件程序来实现。
[0272]
另外，本公开也可以作为由摄影指示装置等执行的摄影指示方法等实现。
[0273]
另外，框图中的功能模块的分割是一例，也可以将多个功能模块作为一个功能模块实现，或者将一个功能模块分割为多个，或者将一部分功能转移至其他功能模块。另外，也可以将具有相似的功能的多个功能模块的功能，由单一的硬件或者软件并列或者分时地处理。
[0274]
另外，流程图中的各步骤执行的顺序是为了具体说明本公开而例示的顺序，也可以是上述以外的顺序。另外，上述步骤的一部分也可以与其他步骤同时(并行)地执行。
[0275]
以上基于实施方式说明了一个或者多个方式所涉及的摄影指示装置等，但本公开不限定于该实施方式。只要不脱离本公开的主旨，对本实施方式施加了本领域技术人员所想到的各种变形而得到的方式、将不同实施方式中的构成要素组合而构筑的方式，也可以都包含在一个或者多个方式的范围内。
[0276]
工业实用性
[0277]
本公开能够适用于摄影指示装置。
[0278]
附图标记说明：
[0279]
100 终端装置
[0280]
101 摄像部
[0281]
102 控制部
[0282]
103 位置姿态估计部
[0283]
104 三维重构部
[0284]
105 图像解析部
[0285]
106 点群解析部
[0286]
107 通信部
[0287]
108 ui部
[0288]
111 影像保存部
[0289]
112 相机姿态保存部
[0290]
113 三维模型保存部
[0291]
301 摄影装置
[0292]
302 重构装置
[0293]
311 摄像部
[0294]
312 位置姿态估计部
[0295]
313 位置姿态综合部
[0296]
314 区域检测部
[0297]
315 ui部
[0298]
316 控制部
[0299]
317 图像保存部
[0300]
318 位置姿态保存部
[0301]
319 区域信息保存部
[0302]
321 摄影开始/摄影停止按钮
[0303]
322 摄影中图像
[0304]
323 区域信息
[0305]
324 字符显示区域
[0306]
325 箭头
[0307]
331 相机位置
[0308]
332 当前的路径
[0309]
333 过去的路径