信息处理设备及其控制方法和存储介质与流程

信息处理设备及其控制方法和存储介质
1.(本技术是申请日为2019年10月11日、申请号为2019800723919、发明名称为“信息处理设备及其控制方法和存储介质”的申请的分案申请。)
技术领域
2.本发明涉及由多个图像构成的全景图像的摄像支持系统。


背景技术：

3.作为检查结构体的过程的一部分，提出了如下方法：分析结构体的拍摄图像(图片)，以掌握诸如裂缝或生锈的变形的存在/不存在或时间变化。需要拍摄结构体的壁面的高分辨率图像，以从拍摄图像中检测毫米级的微小变形。因此，可以采用将摄像对象范围划分为多个区域并且拍摄各个区域的图像的全景摄像方法。对于全景摄像，因为需要针对整个摄像范围进行多次摄像以避免摄像遗漏，所以使用如下摄像系统，在该摄像系统中将照相机平台设备和摄像设备组合以自动依次驱动平摇和俯仰。
4.在专利文献1中，针对摄像对象范围被划分为的各个部分区域，获取到被摄体的距离，并决定要用于各个摄像区域的镜头焦点位置，然后，依次执行针对多个摄像区域的实际摄像，使得针对各个区域获得聚焦的图像。
5.引用列表
6.专利文献
7.专利文献1：日本特开2011-237713


技术实现要素：

8.技术问题
9.在摄像对象是诸如坝的巨大结构体的情况下，全景摄像中的照相机平台设备的旋转角度由于其尺寸而较大，因此拍摄出具有强烈倾斜的图像。此外，对于诸如在坝的前面的中心处具有排放通道的坝的结构体，在很多情况下，还存在无法避免强烈倾斜的情形，诸如不能将摄像设备安装在直接面对该结构体的位置的情形。另一方面，在基于图像的结构体检查中，除了令人满意的对变形的聚焦状态之外，还需要一定水平或更高水平的高分辨率来从图像准确地估计变形的实际大小。在相对于摄像对象存在强烈倾斜的状态下，在从摄像设备到被摄体的距离方面，近处部分与远处部分之间的差异较大，因此难以获得高分辨率的图像。然而，传统上，还没有建立用于支持全景摄像以获得大被摄体的高分辨率图像的技术。因此，涉及了麻烦的工作，诸如在根据用户自己的判断在摄像设备侧尝试参数的同时重复摄像。
10.鉴于前述内容而做出本发明，并且本发明的目的在于在用于拍摄大被摄体的图像的全景摄像中支持用于拍摄具有必要分辨率的图像的工作。
11.解决技术问题的手段
12.为了解决上述问题，一种信息处理设备，其包括：获取部件，用于获取与包括摄像
设备和被摄体面之间的物理关系的摄像环境有关的信息以及用于获取指示与所述摄像设备要拍摄的图像的图像质量有关的条件的信息；决定部件，用于基于所述获取部件所获取的信息来决定摄像参数，其中利用所述摄像参数，在所述摄像设备中设置了所述摄像参数的情况下，所述被摄体面能容纳在景深中；以及呈现部件，用于向用户呈现所述被摄体面上的范围，在该范围中，通过利用设置了所决定的摄像参数的所述摄像设备进行摄像而获得的图像满足与图像质量有关的条件。
13.本发明的有利效果
14.根据本发明，即使在拍摄大被摄体的图像的全景摄像中，也容易拍摄具有必要分辨率的图像。
附图说明
15.图1是示出包括信息处理设备100的全景摄像系统的配置的示例的图。
16.图2a是示出信息处理设备100的硬件配置和功能配置的示例的图。
17.图2b是示出信息处理设备100的硬件配置和功能配置的示例的图。
18.图3是示出全景摄像支持系统的用户界面的示例的图。
19.图4是示出信息处理设备100要执行的主要处理的示例的流程图。
20.图5a是示出信息处理设备100要执行的处理的示例的流程图。
21.图5b是示出信息处理设备100要执行的处理的示例的流程图。
22.图6是示出要在全景摄像支持系统中生成的数据的示例的表。
23.图7a示意性示出了被摄体与摄像设备之间的位置关系的示例。
24.图7b示意性示出了被摄体与摄像设备之间的位置关系的示例。
25.图8a示意性示出了被摄体与摄像设备之间的位置关系的示例。
26.图8b示意性示出了被摄体与摄像设备之间的位置关系的示例。
27.图9a示意性示出了被摄体与摄像设备之间的位置关系的示例。
28.图9b示意性示出了被摄体与摄像设备之间的位置关系的示例。
29.图9c示意性示出了被摄体与摄像设备之间的位置关系的示例。
30.图9d示意性示出了被摄体与摄像设备之间的位置关系的示例。
31.图10a是示出信息处理设备100的功能配置的示例的图。
32.图10b是示出信息处理设备100的功能配置的示例的图。
33.图11a是示出要在全景摄像支持系统中生成的数据的示例的表。
34.图11b是示出要在全景摄像支持系统中生成的数据的示例的表。
35.图12是示出信息处理设备100要执行的处理的示例的流程图。
36.图13是示意性示出被摄体与摄像设备之间的位置关系的示例的图。
37.图14是示出全景摄像支持系统的用户界面的示例的图。
38.图15是示出全景摄像支持系统的用户界面的示例的图。
39.图16是示出信息处理设备100要执行的处理的示例的流程图。
具体实施方式
40.下面将参照附图详细描述根据本发明的实施例的信息处理。实施例中描述的配置
是示例，并且并不意图将本发明的范围限制于这些配置。
41.《第一示例性实施例》
42.作为第一示例性实施例，将描述用于支持摄像设备的全景摄像支持系统，该摄像设备控制安装在电子照相机平台上的数字照相机并对结构体进行全景摄像。在本示例性实施例中，全景摄像是将摄像对象范围划分为多个区域的摄像方法，并对各个区域进行摄像。换句话说，通过多次摄像来获得覆盖整个摄像对象范围的多个图像。在本示例性实施例中的全景摄像的定义中，是否存在将获得的多个图像组合成一个图像的处理无关紧要。图1是示出包括信息处理设备100的全景摄像系统的配置的示例的图。在图1中，摄像设备101被安装在照相机平台设备102上，并且由三脚架103固定。驱动单元104和驱动单元105分别在平摇方向和俯仰方向上驱动照相机平台设备。摄像设备101通过通信电缆106连接到照相机平台设备102。信息处理设备100是用于全景摄像系统的控制设备，并且信息处理设备100包括显示器和输入装置(键盘和定点装置)。在本示例性实施例中，使用膝上型计算机，但是可以使用具有触摸面板显示器等的平板个人计算机(pc)。在本示例性实施例中，信息处理设备100和照相机平台设备102通过通信电缆107连接，但是可以通过无线网络连接。
43.图2a是示出根据本示例性实施例的用作全景摄像支持设备的信息处理设备100的硬件框图。中央处理单元(以下称为cpu 201)执行信息的计算和处理、以及基于控制程序对各个硬件的控制，从而实现以下描述的各个功能配置和处理。只读存储器(以下称为rom 202)存储用于规定cpu 201的操作处理过程的控制程序。rom 202包括存储操作系统(os)的程序rom以及存储对系统进行操作所需的信息的数据rom，该操作系统是用于控制摄像设备的装置的系统程序。随机存取存储器(以下称为ram 203)用作cpu 201的主存储器，并且用作加载要执行的程序并执行该程序所需的工作存储器。显示器204是用于显示从信息处理设备100输出的各种信息(即，将信息呈现给用户)的显示单元。在本示例性实施例中，输入装置205是键盘或诸如鼠标的定点装置，并且输入装置205用作供用户将信息输入到信息处理设备100中的输入单元。通信模块206发送和接收将由信息处理设备100与照相机平台设备102和摄像设备101交换的各种信息和控制信号。硬盘驱动器(hdd 207)用作辅助存储器。但是，hdd 207可以替换为经由网络连接的外部装置。输入输出总线208对应于连接上述模块的地址总线、数据总线和控制总线。
44.图2b是示出信息处理设备100的软件的配置的框图的示例。cpu 201将存储在rom 202中的程序加载到ram 203中，并基于以下描述的各个流程图执行处理，使得实现这些功能单元。然后，将执行各个处理的结果保持在ram 203中。例如，在硬件被配置为对使用cpu 201的软件处理的代替的情况下，可以配置与这里描述的各功能单元的处理相对应的计算单元或电路。
45.获取单元210获取通过在下面描述的用户界面画面中进行的用户操作而输入的摄像条件。在本示例性实施例中，要由用户输入的摄像条件由关于被摄体的信息、关于摄像设备的信息、关于被摄体与摄像设备之间的位置关系的信息、以及关于包括必要分辨率信息的摄像设置的信息构成。根据本示例性实施例的关于被摄体的信息具体是关于指示被摄体的大小的高度和宽度的信息。获得定义安装摄像设备的摄像位置的信息，作为关于被摄体与摄像设备之间的位置关系的信息。关于被摄体的信息、关于摄像设备的信息以及关于被摄体与摄像设备之间的位置关系的信息被统称为关于包括摄像设备与被摄体面之间的物
理关系的摄像环境的信息。作为关于摄像设备的信息，输入照相机型号、全景摄像中的单个拍摄图像的宽度和高度、以及镜头型号。系统预先保持各个照相机型号和各个镜头型号的规格信息(例如，照相机传感器的详情和镜头焦距范围)，使得可以通过利用关于各个规格的特定数值信息进行替换，来分析型号名称的输入。另选地，可以采用通过输入各个数值而不是输入照相机/镜头的型号名称来获取信息的形式。必要分辨率是作为利用通过图像分析检测结构体中生成的变形的处理在结构体检查工作中准确估计变形的实际大小的条件的分辨率，并且以特定数值或数值范围的形式来指定。
46.参数决定单元211基于由获取单元210获取的摄像条件和摄像位置，来决定为了获得具有对于用户而言必要的分辨率的全景图像而需要在摄像设备中设置的摄像参数。在本示例性实施例中，摄像参数是焦距和光圈(f数)的组合。参数决定单元211生成焦距和光圈(f数)的多个组合。选择单元212基于例如用户操作从由参数决定单元211决定的摄像参数中选择一个摄像参数。在本示例性实施例的情况下，由于摄像参数是焦距和f数的组合，因此选择针对各自的一个值。
47.视角决定单元213基于与由获取单元210获取的摄像位置和由选择单元212选择的摄像参数有关的信息，来决定使得能够拍摄具有全景摄像中必要的分辨率的图像的摄像角度(以下称为全景摄像视角)。输出单元214输出由参数决定单元211决定的摄像参数和由视角决定单元213决定的全景摄像视角。在本示例性实施例中，所决定的摄像参数和指示全景视角的图像被输出到用作显示单元的显示器204，以进行显示。
48.图3是示出根据本示例性实施例的全景摄像支持系统的用户界面的示例的图，该用户界面显示在显示器204上。图3所示的应用画面300中的区域301至303是用户输入摄像条件的区域。区域301是用于输入关于被摄体的信息的区域，并且在本示例性实施例的情况下，设置了用于输入以米为单位的数值的文本形式，该数值指示被摄体的宽度和高度。区域302是供用户输入关于摄像仪器的信息的区域。在本示例性实施例中，在下拉列表中分别显示照相机型号、全景摄像中的单个拍摄图像的宽度和高度以及镜头型号。用户可以从各个列表中选择一个。区域303是供用户输入必要的分辨率的区域，并且在本示例性实施例中设置了用于接收以px/mm为单位输入的数字的文本形式。
49.区域304是以图形方式显示被摄体与摄像设备之间的位置关系的区域。在本示例性实施例中，将结构体的布局图、航空照片或其他数据作为源信息读入并使用。用户通过诸如在读入的图像中用矩形或其他形状包围被摄体的操作来指定被摄体306。使用在源信息中定义的坐标来表达被摄体，并与上述源信息相关联地记录该被摄体。可以使用图像识别技术代替用户的指定操作，来从源信息中指定可以作为被摄体的区域。在区域304中，定义了基于源信息的坐标系。在区域304中，项目307是表示摄像设备101的安装位置(以下称为摄像位置)的指示符。在将信息输入到区域301至303中的各个区域并且输入指示被摄体与摄像设备之间的位置关系的信息(源信息、被摄体和摄像位置)的阶段，用户指定设置按钮314。响应于对设置按钮314的指定，信息处理设备100基于输入的各种信息开始计算摄像参数的处理。
50.区域305是显示摄像参数的区域。在本示例性实施例中，摄像参数表示要在摄像设备101中设置的各种信息中的“焦距(f)”和“光圈(f数)”。在区域305中，摄像参数显示为可使用滑块上的用户界面组件来选择。基于区域302中输入的关于摄像设备的信息来设置各
个滑块的最大长度(柄的可移动范围)。用户可以通过移动柄309来选择焦距f(mm)，并通过移动柄310来选择光圈(f数)。在通过以下描述的参数决定单元211的处理将多个参数决定为用于获得具有必要分辨率的全景图像的摄像参数的情况下，在各个滑块上指示所决定的参数的范围。例如，所决定的摄像参数的范围由诸如项目312和项目313的图形来指示。用户可以从由项目312指示的范围中选择焦距，并且从由项目313指示的范围中选择f数。焦距的选择可以改变由项目313包围的f数的范围，并且f数的改变可以改变由项目312包围的焦距的范围。
51.项目308表示在使用用户通过操作区域305中的滑块所选择的摄像参数从由项目307指示的位置进行全景摄像的情况下的可摄像被摄体面的范围。在区域304的情况下，由于鸟瞰，项目308表示摄像范围的宽度。项目308根据所选择的摄像参数而改变。区域311是用于显示在选择摄像参数时要参照的信息的区域。在本示例性实施例中，在使用选择的参数进行摄像的情况下，显示在一次全景摄像中拍摄的图像数量和图像的分辨率的理论值。
52.图4是示出在本示例性实施例中由信息处理设备100执行的主要处理的示例的流程图。在本示例性实施例中，当在信息处理设备100中启动全景摄像支持系统时，出现图3所示的画面300，并且图4中的流程图中的处理开始。初始化在画面300中输入的各种信息，或者读入基于用户的指令而先前保存的输入信息作为初始值。以下，将在各个步骤的附图标记的开头附加字符s来描述各个处理(步骤)。
53.在步骤s401中，获取单元210响应于设置按钮314的指定，获取关于用户在画面300中输入的摄像条件的信息。所获取的摄像条件至少包括关于被摄体的信息、关于被摄体与摄像设备之间的位置关系的信息、关于摄像设备的信息以及指示必要分辨率的条件的信息。
54.在步骤s402中，参数决定单元211基于摄像条件和摄像位置来决定摄像参数，以在全景摄像中使整个被摄体聚焦。所决定的摄像参数存储在图6所示的表中。图6示出了在根据本示例性实施例的全景摄像支持系统中要生成的数据的示例，并且是存储基于摄像条件决定摄像参数的表。在本示例性实施例中，摄像参数是焦距和f数的组合，并且图6的表中的各个记录表示该组合。表示被分配以唯一识别摄像参数的id的信息被存储在列601中。作为摄像参数的一部分的焦距f(mm)被存储在列602中，并且光圈(f数)的值被存储在列603中。下面将参照图5a中的流程图详细描述在步骤s402中进行的处理。参数决定单元211将所生成的表存储在ram 203中。聚焦范围可以限于被摄体的一部分，而不是整个被摄体。在这种情况下，被摄体的该部分被预先指定为区域304上的摄像对象。
55.在步骤s403中，参数决定单元211确定是否通过步骤s402中的处理决定了至少一个(一组)摄像参数。如果决定了至少一个摄像参数，则处理进入步骤s404。如果未决定摄像参数，则提示用户重置摄像条件，并且处理返回到步骤s401。
56.在步骤s404中，输出单元214输出通过参照ram 203中保持的表而更新画面300来决定的摄像参数组合。在本示例性实施例中，重新显示或更新图3中的项目312和项目313。根据图6所示的表，存在这样的组合：当焦距为24(mm)时，f数为4至11，当焦距为35(mm)时，f数为5.6至11，当焦距为50(mm)时，f数为8至11，而当焦距为70(mm)时，f数为11。在图3所示的示例中，柄309位于用于选择焦距35(mm)的位置，从而项目313包围对应于焦距35的f数5.6至11。另一方面，柄310位于用于选择f数11的位置，从而项目312包围对应的焦距24至70
(mm)。例如，在通过用户操作来移动柄309并且选择了焦距24(mm)的情况下，项目313改变以包围f数4至11。
57.关于针对要在滑块中设置的初始值(紧接在执行步骤s404之后的柄309和柄310的位置)要选择在步骤s402中生成的一个或多个摄像参数中的哪一个，例如，选择最小焦距和f数的组合。此外，例如，可以选择最大焦距和f数的组合，并且可以选择其平均值的组合。此外，在根据经验得知f数的适当范围以避免由于过大光圈而对图像质量的影响(诸如球面像差和小光圈模糊)的情况下，针对初始值可以选择由此推荐的f数。
58.在步骤s405中，选择单元212从由决定单元211决定的摄像参数中选择由用户操作指定的摄像参数。在本示例性实施例的情况下，每当更新柄309或柄310的位置时，基于该位置来选择摄像参数。选择摄像参数对应于从图6所示的表中确定由一个id识别的一个记录。
59.在步骤s406中，视角决定单元213基于所获取的摄像条件和摄像位置以及在步骤s405中选择的摄像参数，来决定全景摄像视角。下面将参照图5b中的流程图详细描述在步骤s406中执行的处理。在步骤s407中，输出单元214输出由视角决定单元213决定的全景摄像视角。具体地，重新显示或更新画面300中的项目308。
60.图5a是示出在步骤s402中由参数决定单元211执行的生成摄像参数的处理的流程图。在s501中，参数决定单元211根据摄像条件(在本示例性实施例中由用户输入的照相机型号和镜头类型)确定焦距和f数的范围，并生成焦距和f数的组合。然而，在步骤s501的定时生成的组合是根据用户输入的摄像条件而生成尽可能全面的组合，并且所生成的组合不一定使得能够进行用于获得对于用户而言必要的分辨率的摄像。因此，在下文中将在s501中生成的组合称为摄像参数候选。摄像参数候选存储在图6所示的表中。在步骤s502中，进行控制以将步骤s503至s507重复在步骤s501中生成的摄像参数候选的数量的次数。
61.在步骤s503中，参数决定单元211计算从摄像设备到被摄体面上的距摄像设备最远的点(以下称为最远点)的距离d
far
。在图7a和图7b中示意性示出了如何计算d
far
。图7a是从上方观察的被摄体的图。在相对于被摄体面将摄像设备安装在与倾斜角度θ和距离d0相对应的位置的情况下，如公式(1)计算图7a所示的d'
far
：
[0062][0063]
其中sh是被摄体面的高度，sw是被摄体面的宽度。
[0064]
图7b是斜地观察的被摄体的图。如公式(2)计算图7b中所示的d
far
：
[0065][0066]
其中从地面到摄像设备的高度为ch。
[0067]
在步骤s504中，参数决定单元211计算从摄像设备到被摄体面上的距摄像设备最近的点(以下称为最近点)的距离d
near
。在图8a和图8b中示意性示出了如何计算d
near
。图8a和图8b是从上方观察的被摄体体的图。如图8a所示，如果摄像设备位于被摄体面的前面(d0sinθ≤sw/2)，则如公式(3)计算d
near
：
[0068]dnear
＝d0cosθ(在d0sinθ≤sw/2的情况下)
ꢀꢀ
(3)
[0069]
如图8b所示，在摄像设备不在被摄体面的前面(d0sinθ》sw/2)的情况下，如公式(4)
计算d
near
：
[0070]
(在d0sinθ≤sw/2的情况下)
ꢀꢀꢀꢀꢀ
(4)
[0071][0072]
在步骤s505中，参数决定单元211根据例如摄像参数候选来确定景深。景深由分别如公式(5)和公式(6)计算的前景深dn和后景深df构成：
[0073][0074][0075]
其中d是从摄像设备到被摄体面的距离，且δ是容许弥散圆直径(常数)。
[0076]
在步骤s506中，参数决定单元211确定当采用特定摄像参数候选时是否可以进行使整个被摄体聚焦的全景摄像。具体地，可以确定最远距离d
far
与最近距离d
near
之间的差是否落入在s505中计算出的景深之内。
[0077]
为了最有效地使用景深，需要数值地计算距被摄体的距离d，以获得整个景深(后景深 前景深)》(d
far-d
near
)，但是这种计算的成本高。因此，在本示例性实施例中，使用关系d＝d
far
或d＝d
near
来减少计算量。在前者的情况下，确定标准是(d
far-d
nea
)是否落在前景深dn内。在后者的情况下，确定标准是(d
far-d
nea
)是否落在后景深df内。这种摄像参数拒绝条件由公式(7)表示：
[0078][0079]
在s507中，参数决定单元211从图6所示的表中删除在步骤s506中不满足公式(7)的条件的摄像参数候选。如上所述，使用公式(7)来缩小在步骤s501中生成的所有摄像参数候选。随后，将保留在图6的表中的摄像参数候选决定为摄像参数。然后，处理进入图4所示的步骤s403。
[0080]
接下来，将参照图5b和图9a至图9d描述由视角决定单元213在步骤s406中执行的、决定表示摄像范围的全景摄像视角(以下用φ表示)的处理。图5b是示出决定全景摄像视角φ的处理的示例的流程图。为了简化，如图9a的示意图所示，平摇方向和俯仰方向二者由相同的全景摄像视角φ表示。
[0081]
在步骤s511中，视角决定单元213初始化临时全景摄像视角φ'。具体而言，将0
°
设置为φ'。在步骤s512中，垂直线从摄像设备落到被摄体面，并且计算垂直线长度d
p
。这里，在摄像设备不存在于被摄体面的前面的情况下，包括被摄体面的平面被扩大到摄像设备的前面，并且计算落到扩大平面的垂直线的长度d
p
。在步骤s513中，视角决定单元213临时存储临时全景摄像视角φ'。在步骤s514中，将小角度δφ添加到临时全景摄像视角φ'，并且由此扩大临时全景摄像视角φ'。
[0082]
在步骤s515中，视角决定单元213针对在使用临时全景摄像视角φ'要进行全景摄像的情况下的摄像范围，计算从摄像设备到摄像范围上的最远点的距离d
subject,far
。在本示例性实施例中，临时全景摄像视角在平摇方向和俯仰方向上都以角度φ'扩大，因此，摄像
范围上的最远点p
far
是摄像范围的各顶点。首先，如图9b所示，计算摄像范围的宽度和高度中的各个的l/2，即一半长度。接下来，如图9c所示，计算连接垂直线的垂足h和最远点p
far
的向量的大小d
p
。最后，如图9d所示，确定从摄像设备到摄像范围上的最远点的距离d
subject,far
。可以通过勾股定理使用d
p
的大小以及连接垂直线的垂足h和最远点p
far
的向量的大小来确定距离d
subject,far
。
[0083]
在步骤s516中，视角决定单元213计算在摄像范围上的最远点处的分辨率r(px/mm)。以下关系表达式为真：
[0084]ssubject
：d
subject
＝s
sensor
：f
[0085]
其中，s
subject
是出现在拍摄图像中的被摄体面的大小，d
subject
是从摄像设备到被摄体面的距离，s
sensor
是传感器大小。
[0086]
用拍摄图像的大小s
image
/分辨率r(px/mm)来表示出现在拍摄图像中的被摄体面的大小s
subject
，因此如下重写上述关系表达式：
[0087]simage
/r：d
subject
＝s
sensor
：f
[0088]
针对分辨率r布置上述关系式：
[0089][0090]
根据摄像条件得知传感器大小s
sensor
和拍摄图像大小s
image
，并且根据摄像参数得知焦距f。从而，通过将步骤s514中计算出的从摄像设备到摄像范围的最远点的距离d
subject,far
代入公式(8)的d
subject
，来计算摄像范围上距摄像设备的最远点处的分辨率r
far
。
[0091]
在步骤s517中，视角决定单元213将在步骤s401中获取的对于用户而言必要的分辨率(px/mm)与在步骤s516中确定的分辨率r进行比较。在分辨率r小于必要分辨率的情况下，这意味着在整个摄像范围内可以进行满足对于用户而言必要的分辨率的全景摄像。换句话说，可以确保更宽的摄像范围。在这种情况下，处理返回到步骤s513以扩大全景摄像视角。否则，意味着在摄像范围内包括不满足对于用户而言必要的分辨率的区域。因此，在s518中，提取在步骤s513中最后存储的临时全景摄像视角φ'，并将其决定为全景摄像视角φ。在步骤s407中，基于所决定的全景摄像视角φ，在区域304上确定摄像范围，并将该范围作为项目308显示在画面300上。
[0092]
用户可以确认通过上述处理显示的画面300，并且确认使得能够拍摄具有必要分辨率的全景图像的摄像参数。具体地，用户参照在区域305中显示的摄像参数中的由柄309和柄310指示的摄像参数，在摄像设备101中实际进行设置。此外，在选择特定摄像参数的情况下，可以识别通过全景摄像可拍摄的被摄体面的范围。
[0093]
此外，还可以通过检查在步骤s406中计算出的全景摄像视角来设置照相机平台设备102中的全景摄像范围。在这种情况下，如果将在步骤s406中计算出的全景摄像视角也作为可以输入到照相机平台设备102中的数值信息呈现给用户，则便利性进一步增大。用户可以确认该数值，并且将全景摄像的范围设置为角度。可以在摄像设备101中自动设置由信息处理设备100决定的摄像参数，并且可以在照相机平台设备102中自动设置由信息处理设备100决定的全景摄像视角。在该处理中，全景摄像视角由平摇角度和俯仰角度表示，并且在照相机平台设备102中被设置为关于全景摄像范围的设置。可以将照相机平台设备安装在自推进滑架、无人机等上，并且可以通过输入在图4所示的处理中输入的摄像位置和摄像方
向，来自动设置摄像设备和照相机平台设备各自的位置和方向。
[0094]
根据本示例性实施例，可以将理论上确定的摄像范围可视化，使得用户可以容易地决定摄像参数并选择摄像仪器，以从一个摄像位置尽可能宽地进行摄像。此外，还可以在可视化摄像范围之后进行重新选择摄像参数的操作。在这种情况下，再次执行图4所示的步骤s406及其之后的处理，并且使基于重新选择的摄像参数的摄像范围可视化。
[0095]
此外，可以显示当在步骤s405中选择摄像参数时或当重新选择摄像参数时用作基准的各种信息。在本示例性实施例中的图3所示的画面300的情况下，区域311是用于选择摄像参数的基准信息，其包括一次全景摄像中要拍摄的图像总数、以及全景摄像中的最大分辨率和最小分辨率。每当用户移动滑块的柄以重新选择摄像参数时，重新计算基准信息，并且用户由此可以基于基准信息来选择摄像参数。例如，可以进行选择以设置尽可能少的拍照，或者进行选择以减小分辨率之间的差异。
[0096]
在本示例性实施例中，二维绘图、地图、航空照片等显示在区域304中，但是与其等效的内容可以以三维显示。在这种情况下，需要在三维空间中至少设置适当的比例，并配置要作为被摄体的结构体的三维模型。在三维模型上对摄像范围进行可视化，这使用户能够直观地确认摄像范围。
[0097]
如上所述，根据本示例性实施例，在容易涉及倾斜的设置环境中通过全景摄像对结构体进行摄像的情况下，用户可以容易地设置适当的参数以获得具有必要分辨率的图像。例如，因为在摄像之后应用图像处理的阶段没有获得必要分辨率，所以不需要进行诸如改变各种条件和参数来再次进行摄像的工作。简化了以高分辨率对大的结构体的表面进行摄像的工作，因此，尤其使利用用于通过图像分析而检测结构体中发生的变形的处理的检查工作变得容易。
[0098]
《第二示例性实施例》
[0099]
在第一示例性实施例中，基于由用户输入的摄像条件以及在初始状态下设置的摄像位置，计算适合于从摄像位置进行的全景摄像的摄像参数和全景摄像视角。相反，在第二示例性实施例中，基于由用户输入的摄像条件以及在初始状态下设置的摄像位置，将适合于摄像的其他摄像位置呈现为用户支持信息。例如，存在基于在初始状态下设置的摄像位置而决定的全景摄像视角(摄像范围)中不包括整个被摄体平面的情况，诸如被摄体是巨大结构体的情况。换句话说，存在无法在一次全景摄像中拍摄整个被摄体面的情况。在第二示例性实施例中，在预计在一次全景摄像无法对被摄体摄像并且多次进行全景摄像的情况下，可以呈现适合于第二次和后续摄像的摄像位置作为用户支持信息。第二次和后续的全景摄像在下文中将被称为附加摄像。
[0100]
可以由具有与第一示例性实施例相同的硬件配置的信息处理设备100来执行第二示例性实施例。图10a是示出根据第二示例性实施例的信息处理设备100的功能框图。将省略与在第一示例性实施例中描述的图2b共同的功能单元的描述。位置决定单元1001决定多次附加摄像中的各次附加摄像的摄像位置。在本示例性实施例中，以表的形式生成所决定的摄像位置，并将其保持在ram 203中。图11a是要在全景摄像支持系统中生成的数据的示例，并且图11a示出了存储附加摄像的摄像位置的表。在列1101中，存储用于唯一地识别附加摄像的id。在列1102中，定义了指示用于附加摄像的摄像位置的位置信息。在本示例性实施例中，基于在区域304中定义的坐标系来决定位置信息。与第一示例性实施例一样，在区
域304中定义的坐标系符合源信息，诸如为设置区域304而读入的图。
[0101]
与第一示例性实施例一样，沿图4所示的流程图来执行第二示例性实施例中进行的主要处理，因此这里将省略其描述。在第二示例性实施例中，在图4的流程图中输出摄像范围的阶段，位置决定单元1001开始图12中的流程图的处理。
[0102]
在本示例性实施例中，通过在被摄体的宽度方向上进行摄像位置的平行移位(以下称为移位)，来确定用于附加摄像的各个摄像位置。基于在第一示例性实施例中计算出的摄像范围的宽度来确定移位量。
[0103]
在步骤s1201中，位置决定单元1001计算摄像位置的移位量t(m)。如公式(9)计算移位量t(m)：
[0104]
t＝(1-ro)lwꢀꢀ
(9)
[0105]
其中ro是与相邻摄像范围重叠的重叠率，lw是摄像范围的宽度。
[0106]
在步骤s1202中，位置决定单元1001计算可以从当前摄像位置分别向左和向右进行多少次移位。首先，在从初始位置进行全景摄像的情况下，计算在摄像范围的左侧和右侧各自的非摄像区域的长度x。图13示意性示出了如何基于被摄体与摄像设备之间的位置关系来计算长度x。如图13所示，在初始摄像位置位于被摄体面的中心的左侧的情况下，可以使用公式(10)来确定左侧的非摄像区域的大小，并且可以使用公式(11)来确定右侧的非摄像区域的大小。在初始位置位于被摄体面的中心的右侧的情况下，公式左右相互替换。
[0107][0108][0109]
接下来，通过将非摄像区域的长度除以摄像范围的长度，来计算可以在左侧和右侧分别进行的移位的次数。注意，在该处理中考虑了摄像范围的重叠率。如公式(12)中确定移位次数。ceil函数是针对自变量x而返回x以上的最小整数的函数。
[0110][0111]
在步骤s1203中，位置决定单元1001设置移位方向的初始值。在此，将移位方向的初始值设置为摄像设备的左手方向。可以从右手方向开始移位。
[0112]
在步骤s1204中，进行控制以将下述步骤s1205执行当前移位方向(这里是摄像设备的左手方向)上的移位次数。在步骤s1205中，将摄像位置沿当前移位方向移动在步骤s1201中计算出的移位量。此后，将移位后的摄像位置记录在图11a的表中，作为用于附加摄像的摄像位置。在步骤s1206中，将移位量设置为零，并且位置返回到初始摄像位置。在步骤s1207中，将在步骤s1203中计算出的移位方向反转。
[0113]
在步骤s1208中，进行控制以将下述步骤s1209执行当前移位方向(这里是摄像设备的右手方向)上的移位次数。在步骤s1209中，将摄像位置沿当前移位方向移动在步骤s1201中计算出的移位量。此后，将移位后的摄像位置记录在图11a的表中，作为用于附加摄像的摄像位置。在步骤s1210中，位置决定单元1001在区域304上显示存储在图11a的表中的用于附加摄像的摄像位置。在本示例性实施例中，将与在第一示例性实施例中计算出全景摄像视角类似的全景摄像视角用于表示附加摄像的摄像范围的全景摄像视角。因此，当可
视化用于附加摄像的摄像范围时，使用在第一示例性实施例中计算出的全景摄像视角。由于仅在被摄体的宽度方向上的平行移位以及从摄像设备(镜头)到被摄体的距离不变是先决条件，因此，在移位后的摄像位置处，在基于与初始位置的摄像参相同的摄像参数而进行的摄像中，被摄体面包括在景深中。
[0114]
图14是示出在区域304上可视化附加摄像的摄像位置和摄像范围的情况下的画面300的示例的图。项目1401各自表示用于附加摄像的摄像位置，项目1402各自表示用于附加摄像的摄像范围。然而，由图14所示的项目1402表示的摄像范围对应于在相应的摄像位置处的项目1401的视角中包括的摄像对象结构体的表面的各个范围。为了清楚地表示各个摄像范围及其重叠，例如可以通过颜色编码来区分并显示诸如项目308的线段。
[0115]
根据本示例性实施例，在基于用户指定的初始状态下的摄像位置而确定的摄像范围中无法对整个被摄体摄像的情况下，可以进一步确定并输出用于要进行多次的附加摄像的摄像位置和摄像范围。用户可以在预先或实时检查所呈现的摄像位置和摄像范围的同时执行全景摄像，从而减少了在摄像地点进行尝试和返工的工作。简化了以高分辨率对大的结构体的表面进行摄像的工作，因此，尤其使利用通过图像分析检测结构体中发生的变形的处理的检查工作变得容易。
[0116]
在通过用户输入来更新被指定为初始状态下的摄像位置的信息的情况下，用于附加摄像的摄像位置也可以与信息的更新一起被实时更新。在这种情况下，在初始摄像位置的每次更新时执行图12所示的处理，重新计算用于各个附加摄像的摄像位置，并且更新区域304上的显示。
[0117]
初始状态下的摄像位置是由理解要进行全景摄像的现场情况的用户指定的位置，作为能够安装图1所示的全景摄像系统的位置。换句话说，第二示例性实施例使系统能够响应于来自用户的关于可以实际安装摄像设备的位置的信息的输入而提出其他摄像位置。在第二示例性实施例中，可以省略图4所示的流程图的步骤s402至s405，并且因此可以在替代处理中接收由用户指定为要初始设置的摄像条件的一部分的摄像参数。另选地，可以省略步骤s404，并且可以在步骤s405中自动选择最合适的摄像参数组合。即使进行了这样的变型，根据第二示例性实施例，用户也可以在确认所呈现的摄像位置和摄像范围之后执行全景摄像，从而减少了在摄像地点进行尝试和返工的工作。
[0118]
初始状态下的摄像位置不限于在区域304中指定一个摄像位置的方法，并且可以采用例如使用被认为能够根据实际情况安装摄像设备的范围的指定方法。在这种情况下，例如，预先准备用于从指定范围(例如，x坐标和y坐标最小的点)确定第一摄像位置的规则，并且假设该位置是初始状态下的摄像位置来进行一系列处理。此外，例如，预先准备用于确定在指定范围内的第一摄像位置的多个候选的规则(例如，在区域304的坐标系转换至的网格中的网格点之中的指定范围中包括的全部)，并且假设各个位置是初始状态下的摄像位置来进行一系列处理。可以由用户选择是否采用第一摄像位置，或者可以确定包括附加摄像的摄像次数最小的模式并将该模式呈现给用户。
[0119]
《变型例》
[0120]
在第二示例性实施例中，基于用户指定的初始状态下的摄像位置，确定附加摄像的一个或多个摄像位置，并将其与对应的摄像范围一起呈现给用户。从这里开始，作为第二示例性实施例的变型例，将描述如下情况：可以通过从用户接收关于是否使用所呈现的附
加摄像的各个摄像位置的指令来调整要呈现的摄像位置。例如，在对在图15中的区域304中指示的摄像地点进行全景摄像的情况下，在被摄体面与附加摄像的其中一个摄像位置之间可能存在障碍物1501。以这种方式，存在如下情况：不必从附加摄像的理论上提出的各个摄像位置对被摄体进行摄像。在该变型例中，从能够更详细地了解现场情况的用户附加地获取关于可以实际安装摄像设备的位置的信息，并且该信息被反映在要提出的附加摄像的摄像位置中。
[0121]
在该变型中，用户在作为第二示例性实施例中计算出的用于附加摄像的摄像位置的项目1401中，指定要在全景摄像中使用的位置。由用户指定的摄像位置在下文中将被称为“已确认状态”。通过使用诸如鼠标的定点装置或触摸面板选择作为摄像位置的项目1401中的任何一个，来输入用户对已确认状态的指定。接下来，信息处理设备100计算被摄体面的无法仅从所确定的摄像位置进行摄像的范围，并将所计算出的范围呈现给用户。然后，用户将未确认的作为摄像位置的项目1401移动到可以对范围进行摄像的位置。最后，信息处理设备100针对被摄体面上无法进行摄像的区域，执行决定从用户移动的作为摄像位置的项目1401能够摄像的摄像范围的处理。
[0122]
下面将描述在用户已经移动了用于附加摄像的摄像位置的情况下的处理。在该变型例中，决定从移动的摄像位置1401能够摄像的摄像范围的处理是基于决定从用户指定的初始摄像位置能够摄像的摄像范围的处理的，在第一和第二示例性实施例中执行该处理。在下文中，适当地省略与第一示例性实施例和第二示例性实施例共同的元件的描述，并且将主要描述不同之处。
[0123]
图10b是示出根据变型例的信息处理设备100的功能框图。变型例的获取单元1002除了获取关于摄像条件和初始摄像位置的信息之外，还获取通过指定表示附加摄像的摄像位置的项目1401中的任一个的操作、以及由用户更新附加摄像的摄像位置的操作而输入的信息。
[0124]
管理单元1003管理由位置决定单元1001决定的用于附加摄像的摄像位置的已确认状态/未确认状态。与第二示例性实施例一样，所决定的摄像位置以表的形式生成，并保持在ram 203中。图11b示出了变型例中的存储用于附加摄像的摄像位置的表的示例。与图11a一样，附加摄像的id被存储在列1101中，并且摄像位置的坐标被存储在列1102中。在图11b所示的表中，指示各个记录的附加摄像的确认状态的信息被存储在列1103中。确认状态取两个值“已确认”和“未确认”，并且附加摄像的所有确认状态在初始状态下均为“未确认”。当从获取单元1002接收到指示项目1401中的任何一项被选择的通知时，管理单元1003将相应的附加摄像存储为处于已确认状态。具体地，在图11b的表中存储的表示附加摄像的记录之中，针对与由用户操作指定的附加摄像相对应的记录，在列1103中设置“已确认”。区域决定单元1004确定被摄体面的、在初始摄像和已确认的附加摄像中将不拍摄的未确认区域。
[0125]
图16是示出变型例中的区域决定单元1004执行的决定未确认区域的处理的示例的流程图。在图4的流程图所示的主要处理以及图12的流程图所示的决定用于附加摄像的摄像位置的处理之后，每当通过用户操作改变附加摄像的确认状态时，执行该处理。
[0126]
在步骤s1601中，区域决定单元1004将基于初始摄像位置决定的摄像范围(s406)存储在ram 203中，作为已确认的摄像范围。已确认的摄像范围对应于通过将基于初始摄像
位置的摄像范围和基于用于附加摄像的摄像位置中的“已确认”状态的摄像位置的摄像范围相加而获得的摄像范围。在步骤s1602中，参照图11b所示的表，区域决定单元1004进行控制以将步骤s1603和s1604中进行的处理重复“已确认”状态下的附加摄像的次数。在步骤s1603中，根据用于附加摄像的摄像位置/全景摄像视角，区域决定单元1004确定该附加摄像中的摄像范围。在步骤s1604中，将在步骤s1603中确定的摄像范围添加到已确认的摄像范围。在步骤s1605中，比较已确认的摄像范围和被摄体面，并确定在初始摄像和附加摄像中将不拍摄的被摄体面的范围。以下将该范围称为未确认区域。
[0127]
在步骤s1606中，区域决定单元1004使用在步骤s1605中确定的未确认区域作为新的被摄体面，通过在第一示例性实施例中描述的方法来决定用于全景摄像的摄像参数。换句话说，从用户接收指定用于对未确认区域进行附加摄像的摄像位置和摄像条件的输入，基于该输入执行与图4中的流程图相符的处理，并且重新确定摄像参数和摄像范围。因此，作为考虑到现场状态而进行指定可以进行摄像的摄像位置的操作的结果，用户可以通过实际可能的全景摄像来识别用以获得必要分辨率而能够拍摄的范围。进行一次用于拍摄整个未确认区域的摄像不一定是足够的。如第二示例性实施例中所述，在需要进行多次摄像的情况下，还可以在步骤s1606中呈现用于其他附加摄像的摄像位置。
[0128]
根据上述变型例，在由于障碍物等的影响而难以从第二示例性实施例中计算出的附加摄像位置进行摄像的情况下，将其明确地通知给用户。随后，基于用户指定的用于附加摄像的摄像位置(从该摄像位置可以实际地进行考虑了障碍物等的位置的摄像)，来确定适合于附加摄像的摄像参数和摄像范围。根据该变型例，即使在存在障碍物等的复杂现场，也简化了用于对被摄体(特别是大的结构体)进行全景摄像以获得具有必要分辨率的图像的工作。简化了用于以高分辨率对大的结构体的表面进行摄像的工作，因此，尤其使利用通过图像分析检测结构体中发生的变形的处理的检查工作变得容易。即使在变型例中，与第二示例性实施例一样，即使省略了关于摄像参数的决定或输出的处理，也可以通过输出适合现场情况的摄像位置来获得上述效果。
[0129]
《其他示例性实施例》
[0130]
还可以通过以下处理来实现本发明：经由网络或存储介质将用于实现上述示例性实施例的一个或多个功能的程序提供给系统或设备，并使该系统或设备的计算机中的一个或多个处理器读取和执行该程序。此外，本发明还可以通过实现一个或多个功能的电路(例如，asic)来实现。此外，对于输出方法，也可以采用如下变型例，即通过声音等向用户提供通知，来代替在显示单元上呈现给用户的显示。
[0131]
本发明不限于上述示例性实施例，并且可以在不脱离本发明的精神和范围的情况下进行各种修改和变型。因此，附上权利要求以使本发明的范围公开。
[0132]
本技术要求2018年10月30日提交的日本专利申请第2018-204383号的优先权，该申请的全部内容通过引用并入本文。