摄像装置、显示装置和摄像显示系统的制作方法

摄像装置、显示装置和摄像显示系统
1.本技术是国际申请日为2017年6月1日、申请号为201780038305.3、pct国际申请号为pct/jp2017/020407、发明名称为“摄像装置、显示装置和摄像显示系统”的专利申请的分案申请。
技术领域
2.本发明涉及摄像装置和显示装置的技术，涉及拍摄图像的画面显示技术。


背景技术：

3.现有技术中，作为具有拍摄拍摄方向和视野角不同的多个图像的功能的摄像装置等电子设备，有数字摄像机和智能手机等。另外，作为具有再现显示这多个图像的功能的显示装置等电子设备，有电视接收机(以下有时记作“电视机”)和笔记本pc等。上述图像是静止图像或动态图像。拍摄方向例如能够用方位角和仰角规定。视野角(angle of view)是用角度表示图像范围，也称为视野角，例如能够用与方位角对应的水平视野角、和与仰角对应的垂直视野角规定。
4.作为视野角不同的图像，可以列举相对而言广角地拍摄的图像(以下有时记作“广角图像”、“第1图像”等)、和相对而言狭角地拍摄的图像(以下有时记作“狭角图像”、“第2图像”等)。作为广角的例子，可以列举水平视野角120
°
、或180
°
以上的视野角。另外，180
°
的情况下有时也称为半天球图像，360
°
的情况下有时也称为全天球图像。作为狭角的例子，可以列举水平视野角45
°
以下的视野角。以下，作为角度的单位用度(
°
)表示，但能够换算为弧度等单位。
5.作为关于拍摄图像的画面显示的现有技术例，可以列举日本特开2000
‑
92439号公报(专利文献1)。专利文献1中，作为电子静态摄像机，记载了以下内容。该电子静态摄像机在指示了电源off的情况下，生成能够将记录用存储器中记录的记录图像在外部装置中一览显示的图像一览显示用文件。在通过使用该文件的图像检索而显示的一览显示画面中，一览显示多个缩小图像。
6.现有技术文献
7.专利文献
8.专利文献1：日本特开2000
‑
92439号公报


技术实现要素：

9.发明要解决的课题
10.拍摄者即用户有时使用摄像装置在同样的场所和日期时间拍摄拍摄方向和视野角不同的多个图像。例如，用户在同一天在同一公园中，以某一拍摄方向和视野角拍摄广角图像，以另一拍摄方向和视野角拍摄狭角图像。这样的情况下，这多个图像可以称为关于场所和日期时间、拍摄方向和视野角等具有规定关系的关联的图像组。
11.现有的摄像装置和显示装置具有在显示画面中将多个图像例如按拍摄日期时间
或文件名等顺序以一览或并排配置显示的功能。例如，专利文献1的情况下，在一览显示画面中多个缩小图像以并排配置显示。
12.但是，现有技术中，用户难以直观地辨认在显示画面中显示的全部图像中的具有规定关系的多个图像。例如，即使在同样的场所和日期时间拍摄的广角图像和狭角图像同时存在的情况下，用户也难以得知这些图像的关系。现有技术中，不具有将具有关系的多个图像关联地再现显示的功能。现有技术中，也不具有从在显示画面中显示了某一图像的状态起、参照与该图像具有关系的其他图像进行显示的功能等。现有技术中，用户对多个图像的编辑和管理的操作也费时费力。
13.即，现有技术难以进行具有关系的多个图像的适当的阅览，在易用性方面具有改善余地。
14.本发明的目的在于提供一种对于摄像装置和显示装置、易于得知多个图像的关系、能够实现更好的易用性的技术。
15.用于解决课题的方法
16.本发明中的代表性的实施方式，是摄像装置和显示装置，特征在于具有以下所示的结构。
17.一个实施方式的摄像装置，包括：摄像部，其拍摄静止图像或动态图像的图像而得到图像数据；和显示部，其基于上述图像数据将上述图像再现显示在显示画面中，上述摄像装置取得第1信息，该第1信息包含作为上述图像的拍摄方向的方位角和仰角的至少一者、和上述图像的视野角或能够计算上述视野角的视野角相关信息的至少一者，对于上述拍摄的多个图像，在第1图像的第1拍摄方向的第1视野角的范围内包含第2图像的第2拍摄方向的情况下，将上述第2图像与上述第1图像关联，将基于用户的操作选择出的上述第1图像显示在上述显示画面内，并且将与上述第1图像关联的上述第2图像作为上述第2图像或表示上述第2图像的第2信息以使其重叠在上述第1图像上的状态进行显示。
18.一个实施方式的显示装置，包括：输入部，其输入用外部的摄像装置拍摄的、静止图像或动态图像的图像的图像数据并保持；和显示部，其基于上述图像数据将上述图像再现显示在显示画面中，上述摄像装置取得第1信息，该第1信息包含作为上述图像的拍摄方向的方位角和仰角的至少一者、和上述图像的视野角或能够计算上述视野角的视野角相关信息的至少一者，对于上述拍摄的多个图像，在第1图像的第1拍摄方向的第1视野角的范围内包含第2图像的第2拍摄方向的情况下，将上述第2图像与上述第1图像关联，将基于用户的操作选择出的上述第1图像显示在上述显示画面内，并且将与上述第1图像关联的上述第2图像作为上述第2图像或表示上述第2图像的第2信息以使其重叠在上述第1图像上的状态进行显示。
19.发明效果
20.根据本发明中的代表性的实施方式，对于摄像装置和显示装置，易于得知多个图像的关系，能够实现更好的易用性。
附图说明
21.图1是表示包括本发明的实施方式1的摄像装置和显示装置地构成的摄像显示系统的结构的图。
22.图2是表示实施方式1的摄像装置的结构的图。
23.图3是表示实施方式1的显示装置的结构的图。
24.图4是表示实施方式1的摄像装置的外观的图。
25.图5是表示实施方式1的摄像装置中的管理信息和元数据的结构的图。
26.图6是表示实施方式1的摄像装置中的多个图像的关系的管理的图。
27.图7是表示实施方式1的摄像装置中的、关于多个图像的拍摄方向和视野角、特别是方位角和水平视野角的说明图。
28.图8是表示实施方式1的摄像装置中的、特别是仰角和垂直视野角的说明图。
29.图9是表示实施方式1的摄像装置中的、视野角相关信息的说明图。
30.图10是表示实施方式1的摄像装置中的、显示画面的显示模式的转变的图。
31.图11是表示实施方式1的摄像装置中的、第2显示模式的画面例的图。
32.图12是表示实施方式1的摄像装置中的、第3显示模式的第1狭角图像的画面例的图。
33.图13是表示实施方式1的摄像装置中的、第3显示模式的第2狭角图像的画面例的图。
34.图14是表示实施方式1的摄像装置中的、拍摄时的控制处理的流程的图。
35.图15是表示实施方式1的摄像装置和显示装置中的、再现显示时的控制处理的流程的图。
36.图16是表示实施方式1的摄像装置中的、第1选择方式的说明图。
37.图17是表示实施方式1的摄像装置中的、第2选择方式的说明图。
38.图18是表示实施方式1的摄像装置中的、第3选择方式的说明图。
39.图19是表示实施方式1的变形例的摄像装置中的、第2显示模式的画面例的图。
40.图20是表示实施方式1的变形例的摄像装置中的、第1显示模式和第2显示模式的画面例的图。
41.图21是表示实施方式1的变形例的摄像装置中的、编辑功能的显示画面的例子的图。
42.图22是表示本发明的实施方式2的摄像装置和显示装置中的、全天球图像的说明图。
43.图23是表示实施方式2的摄像装置中的、关于摄像部的结构的图。
44.图24是表示实施方式2的摄像装置中的、外观结构的图。
45.图25是表示实施方式2的摄像装置中的、第2显示模式的画面例的图。
46.图26是表示本发明的实施方式3的摄像装置中的、拍摄模式的说明图。
47.图27是表示实施方式4的摄像装置中的多个图像的关系的管理的图。
48.图28是表示实施方式4的摄像装置中的、关于多个图像的拍摄方向和视野角、特别是方位角和水平视野角的说明图。
49.图29是表示实施方式4的摄像装置中的、特别是仰角和垂直视野角的说明图。
50.图30是表示实施方式4的摄像装置中的、显示画面的显示模式的转变的图。
51.图31是表示实施方式4的变形例的摄像装置中的、第2显示模式的画面例的图。
52.图32是表示实施方式4的变形例的摄像装置中的、第2显示模式的画面例的图。
53.图33是表示实施方式4的摄像装置中的、第2显示模式画面的另一个图像例的图。
54.图34是表示实施方式4的摄像装置中的、第2显示模式画面的另一个图像例的图。
55.图35是表示实施方式4的摄像装置中的、第2显示模式画面的另一个图像例的图。
56.图36是表示实施方式4的摄像装置中的、第2显示模式画面的滚动等的例子的图。
57.图37是表示实施方式4的摄像装置中的、第2显示模式画面的放大缩小等的例子的图。
58.图38是表示实施方式4的摄像装置中的、第2显示模式画面例的图。
59.图39是表示实施方式4的摄像装置中的、第2显示模式画面例的图。
60.图40是表示实施方式4的摄像装置中的、第4显示模式画面例的图。
61.图41是表示实施方式4的摄像装置中的、地图显示模式画面例的图。
62.图42是表示实施方式4的摄像装置和显示装置中的、再现显示时的控制处理的流程的图。
63.图43是表示实施方式4的摄像装置中的、关联的条件等的说明图。
64.图44是表示实施方式4的变形例的摄像装置中的、第2显示模式画面例的图。
65.图45是表示实施方式4的变形例的摄像装置中的、第2显示模式画面例的图。
66.图46是表示本发明的实施方式5的摄像装置中的、拍摄菜单画面的图。
67.图47是表示本发明的实施方式6的摄像装置中的、拍摄模式的监视图像的显示画面的图。
68.图48是表示实施方式6的变形例的摄像装置中的、拍摄模式的监视图像的显示画面的图。
69.图49是表示本发明的实施方式7的摄像装置中的、第1编辑功能的显示画面例的图。
70.图50是表示实施方式7的摄像装置中的、第2编辑功能的显示画面例的图。
具体实施方式
71.以下，对于本发明的实施方式基于附图详细进行说明。其中，在用于说明实施方式的全部图中对于同一部分原则上附加同一符号，省略其反复的说明。
72.(实施方式1)
73.用图1～图21对于本发明的实施方式1的摄像装置和显示装置进行说明。实施方式1的摄像装置和显示装置具有将拍摄时的拍摄方向和视野角不同的多个图像、特别是广角图像和狭角图像以关联的状态显示的功能。
74.[摄像显示系统]
[0075]
图1表示包括实施方式1的摄像装置和显示装置地构成的系统即摄像显示系统的结构。图1的摄像显示系统中，实施方式1的摄像装置1即第1摄像装置1a和第2摄像装置1b、实施方式1的显示装置2即第1显示装置2a和第2显示装置2b、和服务器3，经由通信网络4连接。通信网络4包括无线通信网络和互联网。
[0076]
摄像装置1是至少具有摄像功能和显示功能的电子设备。显示装置2是至少具有显示功能的电子设备。拍摄者即用户具有第1摄像装置1a和第2摄像装置1b、和第1显示装置2a和第2显示装置2b作为自身持有的或者具有使用权限的电子设备。例如，第1摄像装置1a是
数字摄像机，第2摄像装置1b是智能手机，第1显示装置2a是电视机，第2显示装置2b是笔记本pc。
[0077]
第1摄像装置1a和第2摄像装置1b至少具有将用本设备拍摄的图像的图像数据保持在本设备内的存储单元中的功能。另外，第1摄像装置1a和第2摄像装置1b也可以具有将用本设备拍摄的图像的图像数据对服务器3发送而存储、注册在服务器3的图像数据db中的功能。另外，第1摄像装置1a和第2摄像装置1b也可以具有基于用户操作、将用本设备拍摄的图像的图像数据对第1显示装置2a和第2显示装置2b发送的功能。
[0078]
第1显示装置2a和第2显示装置2b具有从外部设备即摄像装置1或服务器3等接收、输入图像数据、保持在本设备内的存储单元中的功能。例如，第1显示装置2a从第1摄像装置1a和第2显示装置2b通过通信接收图像数据。例如，第2显示装置2b从第1摄像装置1a和第2摄像装置1b通过通信接收图像数据。另外，第1显示装置2a和第2显示装置2b具有图像数据显示部。图像数据显示部基于图像数据在显示画面中显示图像。
[0079]
另外，例如，第2显示装置2b具有图像数据编辑部。图像数据编辑部基于对显示画面的用户操作，编辑图像数据的信息和内容。如后所述，用户通过编辑能够进行关于多个图像的关系的设定。
[0080]
服务器3例如是运营商管理的服务器装置，从用户的设备接收并保管图像数据，存储在图像数据db内。由此，实现图像数据的备份和统一管理等。另外，服务器3和图像数据db也可以用分别的设备实现。
[0081]
[摄像装置]
[0082]
图2表示摄像装置1的结构。摄像装置1包括：控制部101、存储部102、摄像部103、显示装置104、操作输入部105、记录部106、记录介质107、通信接口部108、拍摄方向测量部111、内部时钟112、位置检测部113、传感器组114、麦克风115、扬声器116、接口电路部131、信号处理部132、存储器133等。该各部经由总线等相互连接，基于控制部101的控制高速地协作。
[0083]
控制部101控制摄像装置1整体。控制部101包括处理器和rom和ram等控制电路。控制部101具有摄像控制部11、显示控制部12、触摸检测部13、设定部14、关联部15作为通过控制电路的处理实现的处理部。
[0084]
控制部101与工作模式相应地，控制摄像部103等各部，实现摄像和显示。工作模式有摄像模式、再现显示模式等。控制部101与工作模式和状态相应地，经由信号处理部132和存储器133控制摄像部103、显示装置104、记录部106等。
[0085]
控制部101基于通过操作输入部105和触摸传感器42进行的用户输入操作，控制摄像的拍摄方向和视野角等设定。控制部101随着通过摄像部103进行的图像的拍摄，与图像数据23一同生成元数据22，作为包括元数据22和图像数据23的图像文件24，存储在存储部102中，或者记录在记录部106的记录介质107中。另外，控制部101生成并管理关于图像文件24的管理信息21。
[0086]
存储部102基于控制部101的控制，存储包括多个图像文件24、和管理信息21的各种数据和信息。另外，存储部102也可以是整合在控制部101内的方式、存储部102与记录部106合一的方式等。
[0087]
摄像部103基于从摄像控制部11的控制拍摄图像。摄像部103包括驱动部31、透镜
部32。驱动部31包括驱动电路，基于从摄像控制部11的驱动控制，驱动透镜部32的摄像元件和透镜。透镜部32包括包含支持电子变焦或光学变焦的透镜的、由多个透镜构成的光学系统。例如，驱动部31进行控制对焦透镜的位置而改变焦距的对焦动作。透镜部32的透镜可以是不需要更换地固定的、支持电子变焦的变焦透镜的方式，也可以是通过拆装能够更换的光学透镜的方式。
[0088]
摄像部103包括cmos或ccd等摄像元件。在摄像元件的摄像面上，光电转换元件二维地排列。摄像部103对经由透镜部32入射的并在摄像元件的摄像面上成像的被摄体的光学像进行光电转换而转换为摄像信号。在摄像部103中，内置了将模拟信号转换为数字信号的ad转换电路，输出数字化后的摄像信号。在摄像部103中，也可以使用配置了相位差自动对焦用的像素的摄像元件，实现自动对焦的高速化，也可以内置存储器，实现摄像信号的输入输出的高速化。也可以在摄像部103的外部设置ad转换电路等。对于摄像部103的摄像方式并不限定。
[0089]
显示装置104例如是触摸面板，包括显示部41和触摸传感器42。触摸面板是显示单元并且是操作输入单元。显示部41包括显示驱动器，对用户显示显示画面。显示部41例如是液晶显示部，但也可以是有机el显示部等。对于显示部41的方式和触摸传感器42的方式并不限定。显示装置104可以具有多个，也可以不具有触摸传感器42。实施方式1中，在作为主要的显示装置104的触摸面板之外，还具有后述的拍摄监视用的显示装置。
[0090]
触摸传感器42与显示部41的显示画面的区域对应地配置，接受对显示画面的触摸输入操作。触摸传感器42例如是静电电容方式，将手指等接近或触摸引起的静电电容变化检测为电信号，将触摸检测信号对控制部101的触摸检测部13输出。触摸面板例如在液晶面板显示部中内置触摸传感器42，在正面侧配置有玻璃保护盖，在背面侧配置背光源。另外，显示装置104也可以进行基于一定时间的非使用状态等自动地通过背光源熄灭而成为非显示状态的控制。触摸面板也可以是压敏方式等。
[0091]
触摸检测部13基于从触摸传感器42得到的触摸检测信号，检测显示画面中有无触摸和触摸位置坐标等，并且检测触击(tap)、轻扫(swipe)和捏动(pinch)等操作。用户通过对触摸面板的显示画面的触摸输入操作，能够进行对摄像装置1的指示输入、和在显示画面内对任意位置对焦的操作等各种操作。
[0092]
接口电路部131与工作模式相应地，基于控制部101的控制，将来自控制部101的驱动控制信号对摄像部103传输。另外，接口电路部131基于控制，将来自摄像部103的摄像信号对信号处理部132或存储器133输出。另外，也可以是在接口电路部131上连接多个摄像部103的方式。
[0093]
信号处理部132包括图像声音信号处理电路、和编码解码电路，具有按照控制部101的控制、进行图像信号处理、声音信号处理、编码处理和解码处理等各种信号处理的功能。信号处理部132的信号处理包括对来自摄像部103的摄像信号的信号处理、和对图像数据23的信号处理、和在显示装置104上显示影像时的信号处理。信号处理部132通过信号处理生成记录用或显示用的影像信号。该影像信号包括图像数据23的静止图像和动态图像。
[0094]
信号处理部132例如对于摄像信号进行滤波、与感光度设定相应的放大、白平衡修正等信号处理。信号处理部132在将图像数据23作为图像文件24记录在记录介质107中等时，对于原始数据进行此时用的规定格式的编码处理。该编码包括数据压缩。信号处理部
132在从记录介质107读取图像数据23等时，进行对应的解码处理，还原为原始数据。信号处理部132基于图像数据23在显示装置104上再现显示图像时，进行此时用的信号处理。信号处理部132进行对来自麦克风115的声音输入信号和对扬声器116的声音输出信号的声音信号处理。
[0095]
存储器133在信号处理部132的信号处理时被用作缓冲存储器，保存各信号和数据。存储器133例如由dram或闪存等构成。
[0096]
操作输入部105包括能够由用户输入操作的各种硬件按钮。用户通过操作输入部105能够输入指示，能够对设定部14设定视野角相关信息等。
[0097]
设定部14接受通过操作输入部105和触摸面板由用户输入的设定，设定关于拍摄和显示的信息。设定部14中，作为关于拍摄的设定信息，能够设定关于摄像部103的透镜的电子变焦倍率、焦距、视野角等。摄像控制部11以基于设定部14的设定信息自动调整视野角等的方式，对摄像部103进行驱动控制。
[0098]
记录部106包括记录再现电路等，可拆装地设置记录介质107。记录介质107例如是sd卡。记录部106基于控制部101的控制，将包括存储部102或存储器133等的图像数据23的图像文件24记录在记录介质107中。记录部106基于控制部101的控制，从记录介质107读取图像文件24并保存在存储部102或存储器133等中。用户能够卸下记录介质107并携带和更换。另外，图像文件24中也可以与图像数据23一同地包括声音数据。
[0099]
通信接口部108包括无线通信接口部。通信接口部108基于控制部101的控制，经由无线接入点等与通信网络4连接，与外部装置之间进行通信处理。例如，如图1所示，摄像装置经由通信网络4与服务器3或显示装置2或本设备以外的摄像装置1通信，发送本设备的图像文件24，或者从外部设备接收图像文件24。此时，通信接口部108传输图像文件24的通信数据。通信接口部108也可以具有电话网络通信功能、lan通信功能、近距离通信功能等。
[0100]
拍摄方向测量部111包括电子罗盘、陀螺仪传感器、加速度传感器等传感器，使用它们测量摄像装置1的拍摄方向，将拍摄方向的信息对控制部101输出。拍摄方向测量部111测量方位角和仰角作为拍摄方向。另外，拍摄方向测量部111基于摄像装置1的姿态的检测，检测表示拍摄时的图像的倾斜的旋转角。图像的旋转角用相对于水平方向和铅垂方向的、图像的矩形的横线和纵线所成的角度表示。
[0101]
内部时钟112测量当前日期时间。由此，控制部101能够得到拍摄日期时间。位置检测部113包括gps接收部，使用来自卫星的信号，检测摄像装置1的位置。位置检测部113检测{纬度，经度，标高(海拔高度)}作为位置信息。标高也可以省略。传感器组114是其他的传感器组，例如可以列举接近传感器和照度传感器。麦克风115是声音输入设备，扬声器116是声音输出设备。
[0102]
摄像控制部11与摄像装置1的工作模式相应地，在拍摄时控制摄像部103等拍摄图像，得到图像数据23。摄像控制部11将图像数据23作为图像文件24保存在存储部102等中。摄像部103和摄像控制部11具有能够拍摄广角图像和狭角图像双方的图像的功能。摄像控制部11进行关于摄像部103的光学系统的变焦控制。变焦控制是电子变焦或光学变焦的控制。摄像控制部11基于设定部14的视野角相关信息等设定信息，得知和调整关于摄像部103的透镜的电子变焦倍率、焦距、视野角等。
[0103]
摄像部103中能够更换为焦距等不同的光学透镜的情况下，例如用户在拍摄狭角
图像时更换为焦距相对较长的光学透镜，在拍摄广角图像时更换为焦距相对较短的光学透镜。用户更换了摄像部103的透镜的情况下，设定部14可以自动地检测出该更换，检测出更换后的透镜的焦距等。或者，也可以在更换后，由用户对设定部14输入设定更换后的透镜的焦距等。然后，摄像控制部11从设定部14取得更新后的设定信息而得知焦距等。
[0104]
显示控制部12控制显示装置104的显示部41等，在显示部41的显示画面中显示图像和信息。显示控制部12基于管理信息21和图像文件24，在显示画面中显示文件夹信息和图像。显示控制部12提供作为对用户的图形用户界面的各种画面。显示控制部12控制与后述的显示模式相应的画面的切换。显示控制部12也提供菜单画面和设定画面等。
[0105]
关联部15与摄像控制部11和显示控制部12协作地，进行将具有规定关系的多个图像关联的关联处理。关联部15按照后述的关联方式，在拍摄时或再现显示时等规定的时机和契机，进行关联处理。关联部15中，作为关联处理中的第1处理，将存储部102等的多个图像数据23作为对象，进行用于关联的判断。该第1处理的判断中，按照后述的选择方式，基于拍摄场所等条件，选择作为关联的候选的图像。关联部15中，作为第2处理，在作为候选的多个图像中，基于拍摄方向和视野角的条件，决定关联的第1图像和第2图像。关联部15在判断之后，以使第1图像和第2图像关联的方式，生成元数据22或管理信息21。
[0106]
显示控制部12在图像的再现显示时，基于关联部15的判断结果、或者已关联的图像文件24的元数据22或管理信息21的参照确认，确定具有规定关系的第1图像和第2图像，将包括该第1图像和第2图像的多个图像在显示画面中以关联的状态显示。
[0107]
另外，作为摄像装置1的控制部101和信号处理部132等的各处理部和各功能的硬件结构，可以是各处理部和各功能用个别的lsi等电路实现的方式，也可以是用1个整合的lsi等电路实现的方式。
[0108]
[显示装置]
[0109]
图3表示显示装置2的结构。显示装置2作为相对于摄像装置1主要不同的结构，不具有摄像部103和关于摄像的处理部。对于显示装置2的构成要素中的与摄像装置1的构成要素同样的构成要素省略说明。显示装置2具有控制部201、存储部202、显示部204、操作输入部205、记录部206、记录介质207、通信接口部208、传感器组214、麦克风215、扬声器216等。该各部经由总线等相互连接，基于控制部201的控制高速地协作。
[0110]
控制部201控制显示装置2整体。控制部201包括处理器和rom和ram等控制电路。控制部201具有显示控制部212、关联部215作为通过控制电路的处理实现的处理部。控制部201基于通过操作输入部205进行的用户输入操作，控制显示部204的显示画面中的显示。
[0111]
存储部202基于控制部201的控制，存储包括多个图像文件24、和管理信息21的各种数据和信息。图像文件24和管理信息21可以是本设备中生成的，也可以是从外部设备取得的。
[0112]
显示部204包括显示驱动器，对用户显示显示画面。显示部204也可以是触摸面板。
[0113]
操作输入部205包括能够由用户输入操作的各种硬件按钮。操作输入部205也可以具有遥控器和遥控器受光部。用户能够通过操作输入部205进行指示输入和用户设定。
[0114]
记录部206包括记录再现电路等，可拆装地设置记录介质207。记录部206基于控制部201的控制，将包括存储部202或存储器等的图像数据23的图像文件24记录在记录介质207中。记录部206基于控制部201的控制，从记录介质207读取图像文件24并保存在存储部
202或存储器等中。用户能够卸下记录介质207并携带和更换。
[0115]
通信接口部208基于控制部201的控制，与通信网络4连接，与外部装置之间进行通信处理。例如，如图1所示，显示装置2经由通信网络4与服务器3或摄像装置1或本设备以外的显示装置2通信，发送本设备的图像文件24，或者从外部设备接收图像文件24。此时，通信接口部208传输图像文件24的通信数据。
[0116]
显示控制部212控制显示部204等，在显示部204的显示画面中显示图像和信息。显示控制部212基于图像文件24和管理信息21，在显示部204的显示画面中再现显示文件夹信息和图像。显示控制部212提供作为对用户的图形用户界面的各种画面。显示控制部212控制与显示模式相应的画面的切换。
[0117]
关联部215与显示控制部212协作地，进行将具有规定关系的多个图像关联的关联处理。关联部215也能够以从外部设备取得的图像文件24为对象进行关联处理。关联部215的关联处理与关联部15的关联处理是同样的。关联部215判断的结果是将第1图像和第2图像关联的情况下，在第1图像和第2图像的图像文件24的元数据22、或者管理信息21中记载关联信息。
[0118]
显示控制部212在图像的再现显示时，基于关联部215的判断结果、或者已关联的图像文件24的元数据22或管理信息21的参照确认，确定具有规定关系的第1图像和第2图像，将包括该第1图像和第2图像的多个图像在显示画面中以关联的状态显示。
[0119]
以下主要以摄像装置1为主体进行说明，但对于关于摄像的功能和动作以外，能够以显示装置2为主体同样地实现。
[0120]
[摄像装置－外观]
[0121]
图4表示摄像装置1的外观的结构例。在图4的左侧，示出了摄像装置1的壳体400的从背面观察的结构，在右侧示出了壳体400的从右侧面观察的结构。背面是设置了显示部41的显示画面401的一方的面，正面是设置了摄像部103的透镜402的一方的面。
[0122]
在侧面的结构中，在壳体400的正面中心位置，配置有透镜部32的透镜402。另外，以对于主要的壳体400例如向上方伸出的状态设置有电子取景器(evf)403。evf403是显示装置104之一。
[0123]
在背面的结构中，配置有与上述的触摸面板对应的矩形的显示画面401，能够进行信息显示和触摸输入操作。另外，evf403具有显示画面404和接近传感器405。evf403基于在拍摄时经由透镜和摄像元件输入的信号，将被摄体的图像作为拍摄监视图像显示。用户能够在确认evf403的拍摄监视图像的同时进行拍摄。在显示画面404中，也可以重叠地显示光圈值等信息。接近传感器405检测物体的接近。接近传感器405有静电电容方式、光学方式等。例如，控制部101通过接近传感器405检测有无接近，由此判断用户是否使用evf403。控制部101与该判断相应地，自动地切换显示画面401中的显示、和evf403的显示画面404中的拍摄监视图像的显示。另外，不限于evf403，也可以是装载光学取景器的方式。另外，也能够设定在显示画面401中显示拍摄监视图像的模式。
[0124]
在壳体400上，作为操作输入部105，设置有模式设定拨盘431、快门按钮432、十字键433、再现显示模式按钮434、电源按钮435等。十字键433中，包括上下左右按钮和中心按钮，能够用于显示画面401内的要求的位置的信息的选择、决定和取消等的输入。在显示画面401中，也能够基于规定的输入操作进行菜单显示。
[0125]
模式设定拨盘431用于设定工作模式。快门按钮432在拍摄时按下。再现显示模式按钮434在显示画面401中进行再现显示时使用，也能够切换显示模式。电源按钮435用于电源on/off等。用户能够进行在显示画面401或显示画面404中显示拍摄监视图像、触摸要求的位置而对焦等各种输入操作。
[0126]
[摄像装置－工作模式]
[0127]
作为摄像装置1的工作模式，有拍摄模式、再现显示模式等。拍摄模式的动作概要如下所述。用户按下电源按钮435使其成为电源on状态时，起动通常拍摄模式。控制部101与通常拍摄模式相应地，对摄像部103等进行驱动控制。在通常拍摄模式中，作为图像能够拍摄静止图像和动态图像。在拍摄时，控制部101以规定的周期从摄像部103读取摄像信号，经过接口电路部131，用信号处理部132施加规定的信号处理，转换为显示用的格式的影像信号。然后，控制部101基于该影像信号，在显示装置104的触摸面板的显示画面401或evf403的显示画面404中，实时地显示拍摄监视图像。用户在确认显示画面401或显示画面404的拍摄监视图像的同时如下所述地进行拍摄。
[0128]
用户通过操作输入部105对设定部14设定视野角相关信息等作为拍摄条件。拍摄静止图像的情况下，用户按下快门按钮432。摄像控制部11检测出快门按钮432的按下，按照设定的拍摄条件，决定光圈值和快门速度和对焦等。快门按钮432例如有半按、全按的状态。摄像控制部11在半按状态时设定对焦等，在全按状态时控制开始摄像。
[0129]
对于由摄像部103拍摄的静止图像的摄像信号，使用信号处理部132和存储器133，施加静止图像用的规定的信号处理。作为此时的编码方式例如应用jpeg，但作为其他方式也可以应用mpeg和高画质的raw格式等。与编码后的静止图像数据对应的图像文件24，例如被记录部106记录在记录介质107中。
[0130]
拍摄动态图像的情况下，用户按下动态图像拍摄按钮开始动态图像拍摄，再次按下动态图像拍摄按钮停止动态图像拍摄。动态图像的摄像信号被施加动态图像用的规定方式的信号处理。作为其方式，例如应用h264或h265等mpeg、其他格式。编码后的动态图像数据同样地例如被记录在记录介质107中。
[0131]
再现显示模式的动作概要如下所述。控制部101检测出通过再现显示模式按钮434设定为再现显示模式时，从记录部106的记录介质107读取图像文件24并保存在存储部102中。显示控制部12根据图像数据23，使用信号处理部132通过解码处理而还原为图像的原始数据，生成用于在显示画面中显示图像等的影像数据。显示控制部12基于影像数据控制显示装置104，在显示画面中显示图像等。
[0132]
[管理信息和图像文件]
[0133]
图5表示存储部102的管理信息21和图像文件24的结构例。管理信息21包括图像文件管理信息、和关联管理信息。图像文件管理信息是通过公知的文件系统进行管理的信息，例如包括文件名、更新日期时间、种类、大小等信息。关联管理信息是为了管理多个图像的关系而生成的特有的信息。关联管理信息例如包括种类识别符、参照识别符、设定字符串。
[0134]
种类识别符是用于按每个图像文件24识别该图像的种类的识别符。图像的种类例如有广角图像和狭角图像这2种。参照识别符是用于参照多个图像之间的关联的识别符。参照识别符例如在存在第1图像和与其关联的第2图像的情况下，作为对于第1图像具有的参照识别符，是参照目标的第2图像的图像文件24的文件名。另外，作为对于第2图像的参照识
别符，是参照源的第1图像的图像文件24的文件名。设定字符串如后所述，是基于用户操作能够由用户任意地设定的字符串。用户在图像的编辑和管理操作时，能够对于图像设定例如表示拍摄场所的字符串。另外，在关联管理信息内设置了设定字符串，但也可以在元数据22内设置设定字符串。
[0135]
图像文件24包括元数据22和图像数据23。在图像文件24的头部具有元数据22，在主体部具有图像数据23。图像数据23是静止图像或动态图像的数据，在记录用的情况下是编码数据。元数据22是管理包括关于图像数据23的各种属性值的信息的数据，换言之，是附属信息、属性信息。元数据22包含拍摄日期时间、拍摄场所、机型、分辨率、拍摄方向、视野角、视野角相关信息、旋转角、缩略图作为信息项目。
[0136]
拍摄日期时间例如是年月日时分秒。拍摄场所包括位置信息或设定字符串。位置信息包括用位置检测部113检测出的位置坐标(纬度、经度、标高)。设定字符串是表示由用户设定的拍摄场所的字符串。机型是唯一地表示摄像装置1的种类的信息。机型也可以包括透镜种类等。分辨率表示图像数据23的图像的分辨率。
[0137]
拍摄方向是包括方位角(设为θ)、仰角(设为φ)的信息。视野角是包括水平视野角(设为ah)、垂直视野角(设为av)的信息。视野角相关信息是电子变焦倍率(设为n)、焦距(设为f)、摄像元件的摄像面的尺寸等信息。尺寸设为{水平尺寸sw，垂直尺寸sh，对角线尺寸sd}。另外，也可以采用在元数据22中仅设置视野角项目和视野角相关信息项目中的一方的形式。
[0138]
旋转角换言之是拍摄时的以透镜的光轴为轴的旋转，是表示拍摄时的图像的旋转的角度。例如，是如图4所示以壳体400的横向相对于水平面一致的状态为基准的角度和方向。
[0139]
缩略图是基于图像的原始数据的缩小图像。缩略图与图像的分辨率和种类等相应地构成，有编码或无编码地记录。预先生成和保持缩略图的情况下，在再现显示时能够高速地显示缩略图。缩略图也可以以不同的分辨率等生成和保持多种缩略图。缩略图也可以省略，也可以与元数据22分别地管理。显示控制部12也可以在每次再现显示时生成并显示缩略图。
[0140]
另外，元数据22是规定的格式、例如基于exif(exchangeable image file format)扩展的格式，但不限定于此。exif是数字摄像机的照片用的格式。exif中，将机型和拍摄条件信息作为元数据嵌入图像数据中。图像显示和图像编辑的软件能够参照该元数据，并且用户能够编辑元数据的信息。现有的exif的图像文件的元数据中，不包括视野角等信息。实施方式1中，作为扩展的格式，在元数据22中，作为特有的信息项目，设置了视野角、视野角相关信息等项目。
[0141]
元数据22作为图像文件24的头部生成和管理，但也可以与图像数据文件分别地、作为元数据文件生成和管理。另外，不限于用元数据22管理特有的信息的方式，也可以采用在管理信息21中将同样的信息集中管理的方式。另外，动态图像的情况下，对于元数据22等的各种信息，例如可以对于规定时间间隔的每个图像帧记载。该时间间隔可以是固定的，也可以仅是视野角等发生了变化时。
[0142]
[多个图像的关系的管理]
[0143]
图6表示关于多个图像的关系的关联管理。控制部101例如在图5的管理信息21中
的关联管理信息中，管理如图6所示的关系。图6中，第1图像的种类是广角，第2图像的种类是狭角。本例中，作为第1图像，具有第1广角图像、第2广角图像等，作为第2图像，具有第1狭角图像、第2狭角图像等。例如，对于第1广角图像，关联了第1狭角图像、第2狭角图像、第3狭角图像等多个第2图像。作为关联信息，例如作为使第1广角图像的图像文件具有的参照识别符，具有第1狭角图像等的图像文件名。另外，作为使第1狭角图像的图像文件具有的参照识别符，具有第1广角图像的图像文件名。由此，能够在具有关系的图像之间相互参照。
[0144]
另外，在显示画面中，作为1个显示模式，可以显示表示如图6所示的多个图像的关系的信息。此时，可以如图6所示地用树结构显示第1图像和第2图像，也可以按未图示的在第1图像的节点的周围用连接线连接了第2图像的节点的状态显示。
[0145]
实施方式1中，作为图像的种类，区分关于视野角的广角和狭角。摄像装置1基于阈值按绝对值区分视野角。作为关于视野角的阈值设定了第1视野角。控制部101在拍摄的图像的视野角在第1视野角以上的情况下，作为种类视为广角图像，在不足第1视野角的情况下视为狭角图像。不限于此，视野角的种类也可以设置3种以上。
[0146]
[图像的拍摄方向和视野角]
[0147]
图7是对于关于实施方式1的摄像装置1中作为具体例使用的多个图像即广角图像和狭角图像的拍摄方向和视野角的关系、简易地示出概念的说明图。图7特别对于方位角和水平视野角示出。
[0148]
具有作为第1图像的广角图像6a、作为第2图像的第1狭角图像6b、和第2狭角图像6c。这些图像是由用户使用摄像装置1在同一场所的拍摄地点即点p0拍摄的图像。假设各图像是在按广角图像6a、第1狭角图像6b、第2狭角图像6c的顺序从远到近的日期时间拍摄的。关于各图像的拍摄日期时间，例如广角图像6a是2016年1月5日13时11分30秒，第1狭角图像6b是同一天的13时14分40秒，第2狭角图像6c是同一天的13时15分50秒。
[0149]
广角图像6a具有与用方位角θ1表示的拍摄方向63a、水平视野角ah1对应的拍摄范围601。第1狭角图像6b具有与用方位角θ2表示的拍摄方向63b、水平视野角ah2对应的拍摄范围602。第2狭角图像6c具有与用方位角θ3表示的摄影方向63c、水平视野角ah3对应的拍摄范围603。图7中，在图像的拍摄方向中，用点划线示出了用方位角θ规定的拍摄方向。
[0150]
点p0特别表示摄像部103的透镜402的中心点。球面600表示全天球的球面，是舍去无限远点得到的假想的球面。球面600特别表示与方位角θ和x
‑
y平面对应的圆周的部分。n表示北方，e表示东方，s表示南方，w表示西方。x方向对应于东方，y方向对应于北方，z方向对应于天顶方向。方位角θ以n为基准的0
°
，以顺时针为正方向，e表示为 90
°
，s表示为 180
°
，w表示为 270
°
(
‑
90
°
)。
[0151]
用球面600上的圆弧表示的拍摄范围601，表示广角图像6a中的与水平视野角ah1对应的部分，相当于从点p0观察的对球面600投影的区域。本例中，简易地示出了在球面600上、作为在广角图像6a中映出的风景、存在山611和天空、塔612和建筑物613等的情况。第1狭角图像6b是拍摄了塔612的例子，第2狭角图像6c是拍摄了建筑物613的例子。
[0152]
各图像的方位角θ、仰角φ、水平视野角ah、垂直视野角av的值的具体例如下所述。设广角图像6a的方位角为θ1、仰角为φ1、水平视野角为ah1、垂直视野角为av1，设第1狭角图像6b的方位角为θ2、仰角为φ2、水平视野角为ah2、垂直视野角为av2，设第2狭角图像6c的方位角为θ3、仰角为φ3、水平视野角为ah3、垂直视野角为av3。
[0153]
θ1＝ 10
°
，φ1＝0
°
，ah1＝120
°
，av1＝80
°
[0154]
θ2＝ 45
°
，φ2＝0
°
，ah2＝21
°
，av2＝14
°
[0155]
θ3＝
‑
20
°
，φ3＝
‑
10
°
，ah3＝21
°
，av3＝14
°
[0156]
图8是与图7同样地、特别对于仰角φ和垂直视野角av示出的说明图。图8中，用另一个狭角图像6d的例子示出。图8中，x方向对应于水平方向，z方向对应于铅垂方向。z方向上的正方向对应于头、天顶方向，负方向对应于脚下方向。仰角φ以水平方向为基准0
°
，z方向的天顶方向是 90
°
，脚下方向是
‑
90
°
。示出狭角图像6d中的与垂直视野角av4对应的拍摄范围801。狭角图像6d的拍摄方向63d表示与仰角φ4对应的部分。
[0157]
[视野角和视野角相关信息]
[0158]
图9简易地表示视野角和视野角相关信息。另外，图9中，示出了在设定部14中存储视野角和视野角相关信息作为设定信息的情况。示出了{水平视野角ah，垂直视野角av}作为图像的视野角。另外，示出了图像中的与水平视野角ah对应的水平尺寸sh、和与垂直视野角av对应的垂直尺寸sv。水平尺寸sh是图像帧内水平方向上的从右端到左端的尺寸。垂直尺寸sv是图像帧内垂直方向上的从上端到下端的尺寸。另外，实施方式1中，使用水平视野角ah和垂直视野角av，但不限于此，包括对角线视野角ad地、使用至少1个视野角即可。
[0159]
作为视野角相关信息，使用考虑了光学变焦的透镜的焦距f、电子变焦倍率n、和摄像元件的摄像面的尺寸{水平尺寸sw，垂直尺寸sh，对角线尺寸sd}。也可以代替尺寸地使用机型。焦距f是35mm等效焦距。
[0160]
视野角也能够使用视野角相关信息、基于关系式计算得到。控制部101在具有对于计算视野角充分的视野角相关信息的情况下，也可以根据视野角相关信息计算求出视野角。视野角例如能够使用摄像元件的尺寸、焦距f、和电子变焦倍率n计算。例如能够使用35mm等效焦距或摄像元件的尺寸等信息，根据按逆正切(arctan)唯一地决定的关系式计算视野角。
[0161]
根据视野角相关信息计算视野角的情况如下所述。摄像控制部11参照关于图像的视野角相关信息。摄像控制部11能够根据上述设定部14的设定信息、或者元数据22或管理信息21中记载的信息得知视野角相关信息。视野角{水平视野角ah，垂直视野角av，对角线视野角ad}例如能够基于下式计算。
[0162]
ah＝2
×
arctan(sw/(2
×
n
×
f))
……
(1)
[0163]
av＝2
×
arctan(sh/(2
×
n
×
f))
……
(2)
[0164]
ad＝2
×
arctan(sd/(2
×
n
×
f))
……
(3)
[0165]
另外，关于焦距f，通常按35mm等效表示。这相当于在摄像元件的尺寸是35mm画幅{sw＝35mm，sh＝24mm}的情况下满足上式。
[0166]
例如，给出电子变焦倍率n、焦距f、尺寸{水平尺寸sw，垂直尺寸sh}时，决定了水平视野角ah1和垂直视野角av1。控制部101将该视野角的信息记载在元数据22的视野角项目、或管理信息21内。另外，因为能够根据视野角相关信息计算视野角，所以摄像装置1也可以不保存上述视野角，而是改为保存上述视野角相关信息作为元数据22等之一。另外，因为能够根据机型得知视野角相关信息的摄像元件的尺寸等，所以摄像装置1也可以代替摄像元件的尺寸等地保存机型作为元数据22等之一。例如，摄像装置1预先保持表示机型与视野角相关信息的对应关系的信息。或者，摄像装置1能够通过通信从外部装置参照表示该对应关
系的信息。摄像装置1能够基于该信息根据机型得到视野角相关信息。
[0167]
[视野角等的保存]
[0168]
摄像装置1在拍摄图像时，生成包含拍摄日期时间、拍摄方向{方位角θ，仰角φ}、视野角{水平视野角ah，垂直视野角av}等的信息。摄像控制部11通过内部时钟112得到摄像日期时间。摄像控制部11通过位置检测部113得到位置信息{纬度，经度，标高}。摄像控制部11通过拍摄方向测量部111得到拍摄方向{方位角θ和仰角φ}。摄像控制部11通过设定部14的设定信息或者计算得到视野角{水平视野角ah和垂直视野角av}。然后，摄像装置1将这些信息记载在图5的元数据22的对应的项目中，与图像数据23一同生成为图像文件24。
[0169]
[显示画面(1)－显示模式]
[0170]
图10表示显示部41的显示画面401的显示模式及其转变。摄像装置1至少具有第1显示模式、第2显示模式、第3显示模式作为再现显示模式的显示模式。摄像装置1例如最初以第1显示模式显示，基于用户操作切换显示模式。
[0171]
第1显示模式是进行关于全部图像的信息的一览显示的模式，是显示文件夹画面的模式。在第1显示模式的第1画面中，将文件夹的多个图像的信息例如按以文件名或日期时间等为键的顺序一览显示。本例中，作为多个图像，将图像g1、g2、g3等的信息从上方起顺序排列显示。在各图像的行中，显示了图像的图标或缩略图、文件名、拍摄日期时间、种类、其他信息。作为其他信息，可以显示拍摄方向{方位角θ，仰角φ}和视野角{水平视野角ah，垂直视野角av}等属性值。用户对于第1画面中未能完全显示的信息，能够使其滚动等而显示。第1画面不限于这样的文件夹画面，能够是公知的各种方式。例如，也能够是将多个图像的缩略图二维地并排配置显示的画面等。在第1画面中，由用户对要求的第1图像、例如图像g1(对应于广角图像6a)进行选择操作。该情况下，摄像装置1在存在与选择出的第1图像关联的第2图像的情况下，转变至第2显示模式的第2画面。
[0172]
第2显示模式是进行包括广角图像和狭角图像的多个图像中的关联显示的特有的模式。在第2显示模式的第2画面中，整体地显示选择出的第1图像901即广角图像6a，在第1图像901上，将具有规定关系的1个以上第2图像即狭角图像在以规定的图形902的状态重叠地关联的状态下显示。例如，图形902是表示第1狭角图像6b的图形，图形903是表示第2狭角图像6c的图形。另外，虚线框为了在说明上易于理解而示出了存在对应的狭角图像的区域。在第2画面中，也能够按照用户操作，通过滚动和放大缩小等动作改变显示状态。
[0173]
在第2画面中由用户对要求的第2图像的图形进行选择操作。选择操作例如是图形的触击。该情况下，摄像装置1转变至显示选择出的第2图像的第3显示模式的第3画面。另外，在第2画面中，在进行了用于返回至第1显示模式的规定的操作的情况下，摄像装置1返回至第1显示模式的第1画面。规定的操作例如是第1显示模式指定输入、或者按下返回按钮等。
[0174]
第3显示模式是进行关于指定的单一图像、例如狭角图像的详细显示的模式。本例中，示出了在第3画面中显示单一的第2图像904即狭角图像的例子，但同样也能够显示单一的广角图像。在第3显示模式的第3画面中，也能够按照用户操作，通过滚动和放大缩小等改变显示状态。在第3画面中，由用户进行了规定的操作、例如第2显示模式指定输入、或触击第2图像904的区域的情况下，摄像装置1返回至第2显示模式的第2画面。
[0175]
另外，用户想要仅阅览广角图像的情况下，摄像装置1与规定的操作相应地，在显
示画面中仅详细显示第1图像。例如，摄像装置1与第2画面中的规定的操作相应地，使第2图像的图形成为非显示状态，由此仅显示第1图像。摄像装置1与从该状态起的规定的操作相应地，使第2图像的图形再次返回至显示状态。或者，摄像装置1与第2画面中的规定的操作、例如触击第1图像上的不存在第2图像的图形的区域等相应地，转变至详细显示第1图像的第3画面。
[0176]
[显示画面(2)－第2显示模式]
[0177]
图11表示第2显示模式的第2画面的例子。本例对应于图7等的具体例，表示选择广角图像6a显示的情况。示出了对于广角图像6a关联了第1狭角图像6b和第2狭角图像6c的情况。显示控制部12基于图像文件24和管理信息21显示第2画面。在第2画面中，整体地显示第1图像即广角图像6a，在该第1图像上，重叠地显示表示各第2图像即狭角图像的图形。
[0178]
图11中，以显示画面401内的与方位角对应的画面内水平方向为x方向、与仰角对应的画面内垂直方向为y方向地表示。设显示画面401的x方向的横宽为w，y方向的纵宽为h。
[0179]
点p1表示显示画面401的中央的点。最初，在没有进行滚动和放大缩小等动作的状态下，广角图像6a的整体被显示在显示画面401内。最初，以在点p1配置与广角图像6a的拍摄方向63a对应的中心点的位置坐标(xa，ya)的方式进行显示。位置坐标(xa，ya)是用(方位角，仰角)表示与(θ1＝ 10
°
，φ1＝0
°
)对应的点。
[0180]
广角图像6a的水平视野角ah1是120
°
，垂直视野角av1是80
°
。广角图像6a与显示画面401的横宽w和纵宽h对应地，以与水平视野角ah1对应的水平尺寸sh1、和与垂直视野角av1对应的垂直尺寸sv1显示。右端的位置xar对应于方位角70
°
，左端的位置xal对应于方位角
‑
50
°
，上端的位置yat对应于仰角40
°
，下端的位置yab对应于仰角
‑
40
°
。
[0181]
在广角图像6a上，重叠地显示了表示狭角图像的图形即标记。本例中，作为标记，示出了表示第1狭角图像6b的标记8b、表示第2狭角图像6c的标记8c。关于标记，特别示出了气泡形状的情况。标记可以基于用户设定变化。中心点p2表示显示表示第1狭角图像6b的标记8b的位置。中心点p3表示显示表示第2狭角图像6c的标记8c的位置。中心点p2的位置(xb，yb)在(方位角，仰角)上对应于( 45
°
，0
°
)，中心点p3的位置(xc，yc)对应于(
‑
20
°
，
‑
10
°
)。
[0182]
显示控制部12基于与第1图像关联的第2图像的拍摄方向和视野角等信息，决定第1图像上的第2图像的标记的显示位置地进行显示。
[0183]
第1狭角图像6b的中心点p2的位置(xb，yb)在忽略广角失真和畸变像差的情况下，可以使用从广角图像6a的点p1起的方位角的差(35
°
)和仰角的差(0
°
)、用下式得到。
[0184]
xb＝(w/2)
×
tan35
°
/tan60
°……
(4)
[0185]
yb＝(h/2)
×
tan0
°
/tan40
°
＝0
……
(5)
[0186]
第2狭角图像6c的中心点p3的位置(xc，yc)在忽略广角失真和畸变像差的情况下，可以使用从广角图像6a的点p1起的方位角的差(
‑
30
°
)和仰角的差(
‑
10
°
)、用下式得到。
[0187]
xc＝(w/2)
×
tan(
‑
30
°
)/tan60
°……
(6)
[0188]
yc＝(h/2)
×
tan(
‑
10
°
)/tan40
°……
(7)
[0189]
用户在显示画面401中对要求的标记进行选择操作、例如触击。由此，能够选择与该标记对应的第2图像，在第3显示模式的第3画面中显示。另外，图11的例子中，示出了相对于显示画面401的大小，最初能够显示广角图像6a整体的情况。显示控制部12在不能在显示画面401中显示广角图像整体的情况下，可以按广角图像的一部分、即视野角的一部分的状
态显示，也可以按缩小而可以容纳整体的状态显示。另外，在显示画面401内，也可以显示拍摄方向和视野角等的值作为阅览辅助信息，也可以显示用于滚动和放大缩小等动作的图标等。
[0190]
[显示画面(3)－第3显示模式]
[0191]
图12表示作为第3显示模式的第3画面的显示例的、选择了第1狭角图像6b的标记8b的情况下的第1狭角图像6b的显示。最初，在显示画面401内的整体显示第1狭角图像6b。以在显示画面401的中央的点p1配置第1狭角图像6b和标记8b的中心点p2的状态显示。中心点p2的位置(xb，yb)对应于拍摄方向63b即{θ2＝45
°
，φ2＝0
°
}。
[0192]
第1狭角图像6b的水平视野角ah2是21
°
，垂直视野角av2是14
°
。显示画面401中的、右端的位置xbr对应于方位角 55.5
°
，左端的位置xbl对应于方位角 34.5
°
，上端的位置ybt对应于仰角 7
°
，下端的位置ybb对应于仰角
‑7°
。
[0193]
图13表示作为第3显示模式的第3画面的例子的、选择了第2狭角图像6c的标记8c的情况下的第2狭角图像6c的显示。最初，在显示画面401内的整体显示第2狭角图像6c。在以在显示画面401的中央的点p1配置第2狭角图像6c和标记8c的中心点p3的状态显示。中心点p3的位置(xc，yc)对应于拍摄方向63c即{θ3＝
‑
20
°
，φ3＝
‑
10
°
}。
[0194]
第2狭角图像6c的水平视野角ah3是21
°
，垂直视野角av3是14
°
。显示画面401中的、右端的位置xcr对应于方位角
‑
9.5
°
，左端的位置xcl对应于方位角
‑
30.5
°
，上端的位置yct对应于仰角
‑3°
，下端的位置ycb对应于仰角
‑
17
°
。
[0195]
另外，不限于仅能够从第2显示模式转变至第3显示模式。也能够有从第1显示模式通过规定的操作而不经由第2显示模式地直接转变至第3显示模式的动作模式，能够与用户设定等相应地选择动作模式。
[0196]
[关联方式]
[0197]
作为关联方式，关于进行关联的时机等，具有第1方式、第2方式。第1方式是在拍摄时进行关联的方式，第2方式是在再现显示时进行关联的方式。实施方式1中，摄像装置1使用第1方式，显示装置2使用第2方式。
[0198]
第1方式中，摄像装置1在拍摄图像之后，立刻使用关联部15进行关联处理，结果将关联信息记载在元数据22或管理信息21中。摄像装置1在再现显示该图像时，通过参照元数据22或管理信息21的关联信息，能够得知多个图像的关系，在显示画面中用第2显示模式显示。
[0199]
第2方式中，显示装置2在基于图像文件24在显示画面中再现显示时，使用关联部215进行关联处理，结果在显示画面中用第2显示模式显示。
[0200]
第2方式中，显示装置2通过在每次再现显示时进行关联处理，也可以省略在元数据22和管理信息21中记载关联信息。或者，第2方式中，显示装置2也可以在某一图像的初次再现显示时进行关联处理，在元数据22和管理信息21中记载关联信息，之后，在该图像的第2次以后的再现显示时，参照关联信息并省略关联处理。
[0201]
另外，其他实施方式的摄像装置1中，也可以采用第2方式。关于采用哪一个关联方式，可以是在实现上固定的方式，也可以是能够与用户设定相应地选择和设定关联方式的方式。
[0202]
[处理流程(1)]
[0203]
图14和图15表示实施方式1的摄像装置1和显示装置2的处理流程。图14表示摄像装置1中的图像的拍摄时的控制处理的流程。图14具有步骤s101～s106。在图像的每次拍摄时反复同样的处理。以下按步骤的顺序进行说明。
[0204]
(s101)控制部101基于用户操作，对于设定部14设定视野角等。摄像控制部11基于设定部14的设定信息，得知视野角等。
[0205]
(s102)基于用户操作，摄像控制部11控制摄像部103拍摄图像，得到图像数据23并保存在存储部102中。摄像控制部11将视野角或视野角相关信息记载在图像文件24的元数据22、或管理信息21中。
[0206]
(s103)根据是在拍摄时进行关联的第1方式还是在再现显示时进行关联的第2方式进行分支。第1方式的情况下前进至s104，第2方式的情况下前进至s106。即，实施方式1的摄像装置1中因为采用第1方式所以前进至s104，其他实施方式的摄像装置1中采用第2方式的情况下前进至s106。
[0207]
(s104)关联部15进行规定的关联处理。由此，将包括第1图像和第2图像的多个图像关联。
[0208]
(s105)关联部15在关联处理之后，生成关联信息，并记载在图像文件24的元数据22、或管理信息21中。摄像控制部11将图像文件24保存在存储部102中，记录在记录部106的记录介质107中。
[0209]
(s106)摄像控制部11在此时不进行关联，所以生成不包括关联信息的元数据22和管理信息21。控制部101将图像文件24保存在存储部102中，记录在记录部106的记录介质107中。
[0210]
[处理流程(2)]
[0211]
图15表示摄像装置1或显示装置2中的、图像的再现显示时的控制处理的流程。图15的控制对应于如图10所示使显示模式转变的控制。图15具有步骤s201～s210。以下按步骤的顺序进行说明。以下用摄像装置1是主体的情况进行说明，但显示装置2是主体的情况也是同样的。
[0212]
(s201)控制部101基于用户操作，用显示控制部12在显示装置104的显示部41的显示画面401中，如图10所示地显示第1显示模式的第1画面。显示控制部12与用户输入操作相应地，接受第1画面内的图像的选择等。
[0213]
(s202)显示控制部12根据在第1显示模式的第1画面中选择出的图像是第1图像即广角图像、还是第2图像即狭角图像进行分支。是第1图像的情况下前进至s203，是第2图像的情况下前进至s209。
[0214]
(s203)显示控制部12根据第1方式还是第2方式进行分支。第2方式的情况下前进至s204，第1方式的情况下前进至s206。即，实施方式1的摄像装置1的情况下因为是第1方式所以前进至s206，显示装置2的情况下因为是第2方式所以前进至s204。
[0215]
(s204)显示控制部12在再现显示前，使用关联部15进行多个图像的关联处理。
[0216]
(s205)显示控制部12在s204之后，读取与第1图像关联的第2图像的图像数据23。
[0217]
(s206)第1方式的情况下，已经进行了关联处理。显示控制部12参照第1图像的图像文件24的元数据22或管理信息21中的关联信息，确认关联。显示控制部12读取与第1图像关联的第2图像的图像数据23。
[0218]
(s207)显示控制部12使用s205或s206的结果的图像数据23，在显示画面中用第2显示模式显示。即，显示控制部12如图11的第2画面所示地，以在第1图像上重叠第2图像的图形地关联的状态显示。显示控制部12与用户输入操作相应地，接受第2画面内的第2图像的图形的选择等。用户例如想要阅览第2图像的情况下触击标记，想要返回至第1画面的情况下触击第1图像的区域。
[0219]
(s208)显示控制部12根据第2显示模式的第2画面中选择出的图像是否表示第2图像的标记进行分支。在是表示第2图像的标记的情况下前进至s209。在是其他操作、例如第1图像的区域的操作的情况下，对应于返回动作，该情况下返回至s201。
[0220]
(s209)显示控制部12使用与s208中选择出的标记对应的第2图像的图像数据23，在显示画面中用第3显示模式，如图12等的第3画面所示地，详细显示第2图像。显示控制部12与用户输入操作相应地，接受第3画面内的返回动作等。用户在例如想要返回至第2画面的情况下，触击第2图像的区域。
[0221]
(s210)显示控制部12在第3显示模式的第3画面中，发生了与返回动作对应的输入操作的情况下，如a1所示地返回至s207，没有发生的情况下，在s209中继续第3显示模式的显示。另外，也可以从第3显示模式与规定的输入操作相应地返回至第1显示模式的第1画面。
[0222]
[关联处理(1)]
[0223]
关联部15进行多个图像的关联处理。关联处理包括第1处理、第2处理。第1处理是基于规定的选择方式的选择条件、选择作为关联的候选的图像的处理。作为规定的选择方式，有以下所示的第1选择方式、第2选择方式、第3选择方式。实施方式1中，使用第1选择方式。变形例中，使用第2选择方式或第3选择方式。另外，关于采用哪一个选择方式，可以是在实现上固定的方式，也可以是能够通过用户设定可变地选择的方式。
[0224]
[第1选择方式－拍摄场所]
[0225]
图16是表示第1选择方式的说明图。第1选择方式使用关于拍摄场所的条件作为选择条件。第1选择方式中，选择判断为拍摄场所大致相同的图像作为候选。第1选择方式中，为了判断拍摄场所，使用由位置检测部113得到的位置信息{纬度，经度，标高}。关联部15在关联时，例如参照拍摄时在元数据22的拍摄场所项目中记载的位置信息{纬度，经度}。用{la，lo}表示{纬度，经度}。
[0226]
如图16所示，关联部15以第1图像即广角图像为基准，在空间、例如x
‑
y平面中，将表示第1图像的拍摄场所的位置1601作为中心点。位置1601用{la1，lo1}表示。位置范围1600相当于条件的阈值，表示以位置1601为中心点的、规定的半径距离的圆形区域。另外，规定位置范围1600的半径距离可以是在设计上固定的设定值，也可以是能够通过用户设定改变的设定值。
[0227]
关联部15相对于第1图像的位置1601，比较第2图像即各狭角图像的位置。本例中，示出了在广角图像周围，存在第1狭角图像的位置1602{la2，lo2}、第2狭角图像的位置1603{la3，lo3}、第3狭角图像的位置1604{la4，lo4}的情况。关联部15搜索相对于第1图像的位置1601、在位置范围1600内包括的图像。本例中，在位置范围1600内，包括第1狭角图像的位置1602、和第2狭角图像的位置1603，不包括第3狭角图像的位置1604。
[0228]
关联部15将位置包括在位置范围1600内的第2图像判断为在与第1图像大致相同
的拍摄场所拍摄的图像，选择为关联的候选。作为相同的拍摄场所的例子，可以列举用户在某一瞭望台上，沿着扶手绕行一圈拍摄360
°
各方向的情况。
[0229]
[第2选择方式－拍摄日期时间]
[0230]
图17是表示第2选择方式的说明图。第2选择方式使用关于拍摄日期时间的条件作为选择条件。第2选择方式中，将判断为拍摄日期时间大致相同的图像选择为候选。关联部15在关联时，例如参照元数据22的拍摄日期时间项目中记载的拍摄日期时间(年月日时分秒)。
[0231]
关联部15在拍摄日期时间的时间序列中，以第1图像即广角图像为基准，取表示第1图像的拍摄日期时间的时刻t1。本例中，时刻t1是日期时间dt3。日期时间范围170相当于条件的阈值，表示以时刻t1为中心点的包括其前后的规定时间的范围。另外，规定日期时间范围170的时间可以是设计上固定的设定值，也可以是能够通过用户设定改变的设定值。日期时间范围170例如能够设定1天(24小时)、1小时、5分钟等。
[0232]
关联部15检索相对于第1图像的拍摄日期时间的时刻t1、在规定的日期时间范围170内包括的第2图像。关联部15相对于第1图像的拍摄日期时间的时刻t1，比较第2图像即各狭角图像的拍摄日期时间。本例中，示出了在时刻t1附近，存在第1狭角图像的拍摄日期时间的时刻t2、第2狭角图像的时刻t3、第3狭角图像的时刻t4的情况。本例中，在日期时间范围170内，包括第1狭角图像的时刻t2、和第2狭角图像的时刻t3，不包括第3狭角图像的时刻t4。控制部101将时刻包括在日期时间范围170内的第2图像判断为在与第1图像大致相同的拍摄日期时间拍摄的图像，选择为关联的候选。
[0233]
[第3选择方式－设定字符串]
[0234]
图18是表示第3选择方式的说明图。第3选择方式使用关于能够由用户任意地设定的设定字符串的条件作为选择条件。第3选择方式中，将判断为设定字符串大致相同的图像选择为候选。关联部15在关联时，例如参照在摄像后作为关联管理信息的设定字符串设定的字符串。
[0235]
图18中，示出了第1显示模式的第1画面中的多个图像的信息的一览显示的例子。该例中，对于各图像，显示了文件名、拍摄日期时间、标签、种类等作为信息。“标签”项目相当于设定字符串。用户在编辑操作中，能够在“标签”项目中任意地设定字符串。本例中，用户在“标签”项目中设定了表示拍摄场所的字符串。例如，图像g1、g2、g3是在同一公园拍摄的图像，设定了字符串“a公园”。图像g4、g5是在同一瞭望台拍摄的图像，设定了字符串“b瞭望台”。另外，关于“种类”项目，作为该图像的视野角的种类，显示了“广角”或“狭角”。
[0236]
关联部15以由用户选择出的第1图像、例如图像g1为基准，参照该第1图像的“标签”项目的设定字符串。关联部15相对于第1图像的设定字符串，参照其他第2图像即各狭角图像的设定字符串进行比较，例如搜索具有包括相同的字符串的设定字符串的图像。例如，图像g1、g2、g3的设定字符串相同。关联部15将这些图像判断为在同一拍摄场所拍摄的图像，选择为关联的候选。
[0237]
作为变形例，控制部101也可以在拍摄时等不依赖于用户操作地、自动地设定表示拍摄场所的字符串。例如，控制部101可以基于位置信息{纬度，经度}决定表示拍摄场所的字符串。控制部101也可以在图像的“文件名”项目等中设定字符串。控制部101例如也可以按规定的规则自动地附加包括设定字符串的文件名。作为文件名的规则的例子，可以列举
[拍摄日期时间] [设定字符串(拍摄场所)] [个别序号]。
[0238]
上述选择方式也能够组合地使用。例如，也可以是将第1选择方式的拍摄场所的条件、与第2选择方式的拍摄日期时间的条件组合的条件。作为该条件，例如能够指定“在同一拍摄场所直到过去一年前”等。
[0239]
[关联处理(2)]
[0240]
关联部15的关联处理中的第2处理如下所述。第2处理中，对于第1处理中选择为候选的图像，使用拍摄方向和视野角的信息，进行关联的判断，按照其判断结果进行关联。关联部15参照各图像文件24的元数据22或管理信息21中的拍摄方向和视野角的信息。关联部15作为条件判断在作为基准的第1图像即广角图像的视野角{水平视野角ah，垂直视野角av}的范围内是否包括候选的图像的拍摄方向{方位角θ，仰角φ}。关联部15将满足该条件的图像决定为关联的图像。
[0241]
上述图7的例子中，在广角图像6a的水平视野角ah1的范围(
‑
50
°
～ 70
°
)内，包括第1狭角图像6b的拍摄方向63b的方位角θ2＝45
°
，包括第2狭角图像6c的拍摄方向63c的方位角θ3＝
‑
20
°
。另外，虽然未图示，但在广角图像6a的垂直视野角av1的范围(
‑
40
°
～ 40
°
)内，包括第1狭角图像6b的拍摄方向63b的仰角φ2＝0
°
，包括第2狭角图像6c的拍摄方向63c的仰角φ3＝
‑
10
°
。由此，对于广角图像6a，关联第1狭角图像6b和第2狭角图像6c。
[0242]
关联部15在将第1图像与第2图像关联的情况下，如上所述，可以在管理信息21中记载关联管理信息，也可以在各图像的元数据22中记载同样的信息。
[0243]
[动态图像]
[0244]
以上主要说明了静止图像的情况，但在动态图像的情况下基本上也能够同样地应用。摄像控制部11在拍摄动态图像的情况下，在连续的拍摄模式中，在变更电子变焦倍率和视野角等的同时进行拍摄而得到动态图像的图像数据23。摄像控制部11对于该动态图像的图像文件24，将与时刻相应的电子变焦倍率和视野角等信息记载在元数据22或管理信息21中。另外，再现显示动态图像时，显示控制部12也可以在第2显示模式的第2画面中，例如与动态图像的起始时刻的图像帧、和暂停状态的图像帧的位置对应地显示标记等。
[0245]
显示控制部12在第2显示模式的第2画面中再现显示动态图像的情况下，基于元数据22等中记载的拍摄日期时间、位置信息、和与时刻相应地变化的拍摄方向等，决定图形的显示位置。该显示位置例如可以与构成动态图像的最初的图像帧的拍摄方向等相应地成为1个固定的显示位置，也可以是根据多个图像帧的统计值决定的显示位置。该显示位置也可以是对应于与图像帧相应地变化的拍摄方向的显示位置。
[0246]
[效果等]
[0247]
如上所述，根据实施方式1的摄像装置1和显示装置2，易于得知包括广角图像和狭角图像的多个图像的关系，能够实现更好的易用性。在显示画面中，在广角图像上，自动地重叠显示具有关系的狭角图像，所以用户对于具有关系的多个图像能够容易地辨认、能够直观地得知、能够适当地阅览。用户能够辨认在广角图像的视野角内存在的狭角图像，能够参照关联的狭角图像迅速地阅览。用户能够切换显示模式同时适当地阅览大量的图像。
[0248]
可以列举以下实施方式1的变形例。作为变形例，对于图像的种类，也可以相对地判断视野角的关系。即，摄像装置1或显示装置2参照多个图像中的视野角，将具有其中最大的视野角的图像作为广角图像即第1图像，将该第1图像以外的图像作为狭角图像即第2图
像。
[0249]
[变形例(1)－第2显示模式]
[0250]
图19表示实施方式1的变形例的摄像装置1中的、第2显示模式的第2画面的例子。图19对应于图7的具体例。在图19的显示画面401中，作为表示第2图像的图形，不是采用标记，而是采用透过框。例如，透过框9b表示第1狭角图像6b，透过框9c表示第2狭角图像6c。透过框中，矩形的四边用线和颜色显示，其内部是透过区域，直接显示位于背景上的第1图像的部分。显示上的透过框的区域的尺寸，特别与该第2图像的视野角的大小对应地决定。由此，能够更易于得知广角图像内的狭角图像的关系。
[0251]
另外，在图19的例子中，示出了最初，从在显示画面401中将广角图像6a显示在与图11同样的基准位置的状态起，基于用户操作滚动和放大缩小，移动和变更了显示上的中心点和视野角范围的状态。图19中，在显示画面的中央的点p1，作为广角图像6a的视点的位置(xa，ya)，配置了在(方位角，仰角)上对应于( 15
°
， 10
°
)的点。在显示画面401中，广角图像6a的水平视野角120
°
的范围中的90
°
的范围、和仰角80
°
的范围中的60
°
的范围被放大地显示。位置xa是方位角15
°
，位置ya是仰角10
°
。显示画面401中的、右端的位置xar对应于60
°
，左端的位置xal对应于
‑
30
°
，上端的位置yat对应于40
°
，下端的位置yab对应于
‑
20
°
。
[0252]
透过框9b的中心点p2的位置坐标(xb，yb)在(方位角，仰角)上对应于( 45
°
，0
°
)。透过框9b的横宽是对应于水平视野角ah2＝21
°
的尺寸，是方位角45
°±
10.5
°
的范围，左端的位置xbl是 34.5
°
，右端的位置xbr是 55.5
°
。透过框9b的纵宽是对应于垂直视野角av2＝14
°
的尺寸，是仰角0
°±7°
的范围，上端的位置ybt是 7
°
，下端的位置ybb是
‑7°
。
[0253]
对于透过框9c也同样地决定位置和尺寸。透过框9c的中心点p3的位置坐标(xc，yc)对应于(
‑
20
°
，
‑
10
°
)。透过框9c的横宽是对应于水平视野角ah3＝21
°
的尺寸，是方位角
‑
20
°±
10.5
°
的范围，左端的位置xcl是
‑
30.5
°
，右端的位置xcr是
‑
9.5
°
。透过框9c的纵宽是对应于垂直视野角av3＝14
°
的尺寸，是仰角
‑
10
°±7°
的范围，上端的位置yct是
‑3°
，下端的位置ycb是
‑
17
°
。
[0254]
透过框9b的显示位置{xbr，xbl，ybt，ybb}、透过框9c的显示位置{xcr，xcl，yct，ycb}在忽略广角失真和畸变像差的情况下，可以用下式得到。其中，设定了系数kw、系数kh。
[0255]
xbr＝(w/2)
‑
kw(tan50
°‑
tan55.5
°
)
……
(8)
[0256]
xbl＝(w/2)
‑
kw(tan50
°‑
tan34.5
°
)
……
(9)
[0257]
kw＝w/(tan50
°
tan40
°
)
……
(10)
[0258]
ybt＝(h/2)
‑
kh(tan40
°‑
tan7
°
)
……
(11)
[0259]
ybb＝(h/2)
‑
kh(tan40
°‑
tan(
‑7°
))
……
(12)
[0260]
kh＝h/(tan40
°
tan20
°
)
……
(13)
[0261]
xcr＝(w/2)
‑
kw(tan50
°‑
tan(
‑
9.5
°
))
……
(14)
[0262]
xcl＝(w/2)
‑
kw(tan50
°‑
tan(
‑
30.5
°
))
……
(15)
[0263]
yct＝(h/2)
‑
kh(tan40
°‑
tan(
‑3°
))
……
(16)
[0264]
ycb＝(h/2)
‑
kh(tan40
°‑
tan(
‑
17
°
))
……
(17)
[0265]
另外，图19的例子中，用位于点p5的表示狭角图像的透过框9e表示了关于图像的旋转角的例子。该狭角图像具有相对于x方向的角度α。
[0266]
显示控制部12使用图像数据23的图像的拍摄方向和视野角的信息，决定透过框的
尺寸。显示控制部12在进行了与广角图像的显示中的视点变更对应的滚动和放大缩小的情况下，以与变更后的显示状态对应的方式，决定透过框的位置和尺寸。
[0267]
该变形例中，具有通过透过框的显示，易于得知狭角图像的范围、位置关系的优点。作为其他变形例，也可以代替透过框地，以同一尺寸显示缩略图。
[0268]
[变形例(2)－第2显示模式]
[0269]
图20表示实施方式1的变形例的摄像装置1中的显示画面的例子。在图20的上侧，示出了第1显示模式的第1画面的例子，在该第1画面中，将广角图像的缩略图和狭角图像的缩略图以纵横并排配置一览显示。此时，对于显示上的缩略图的尺寸，决定为与该图像的视野角的大小相应的纵横尺寸。示出了本例的广角图像的缩略图2001是水平视野角在180
°
以上的较大的全景图像的缩略图的情况。示出了狭角图像的缩略图2002是水平视野角不足180
°
的图像的缩略图的情况。另外，并排配置时的图像数量，在一个方向上是2张、3张、4张等可变的。用户能够根据缩略图的大小区分广角和狭角。
[0270]
图20的下侧表示第2显示模式的第2画面的例子。在显示画面401内，具有主要区域1001、和主要区域1001以外的区域、本例中为右边区域1002和下边区域1003。在主要区域1001中，以第2显示模式在第1图像上重叠显示第2图像的标记等。在区域1001中不能完全显示第1图像整体的情况下，以拍摄方向为中心点，最初显示一部分视野角的范围。本例中，在第1画面中选择出的广角图像中的与一部分水平视野角对应的范围被显示在区域1001中。用户能够与视点变更等相应地通过滚动和放大缩小等变更区域1001中的第1图像的显示状态。
[0271]
第2图像的图形也可以与图像的种类和拍摄日期时间等的不同相应地显示不同的图形。本例中，作为图形，示出了圆形、菱形、星形的标记。作为图像的种类，例如可以基于用户设定等设定与视野角的不同相应的种类。另外，也可以对图形附加信息进行显示。本例中，对标记附加了识别编号。另外，在图形中，作为信息也可以显示基于元数据22或管理信息21的拍摄日期时间等属性值，也可以仅显示属性值。
[0272]
在右边区域1002中，并排地显示了与第1图像关联的全部多个第2图像的信息、例如标记和属性值等。在区域1001中，与显示状态相应地，成为显示一部分第2图像的标记、没有显示其他第2图像的标记的状态。在区域1002中，也显示在区域1001中没有显示的第2图像的信息。在区域1001中选择了第2图像的标记的情况下、或者在区域1002中选择了第2图像的标记的情况下，可以转变至第3显示模式。另外，在右下的区域中，将最后选择出的第2图像的缩略图作为预览显示。
[0273]
在下边区域1003中，显示了显示模式、第1图像的信息、操作按钮、设定信息等。例如，显示了当前的显示模式是第2显示模式、和第1图像的拍摄日期时间等属性值等信息。另外，设置了用于切换第2显示模式的标记的显示和非显示的按钮。在“on(开启)”状态下显示标记，在“off(关闭)”状态下使标记成为非显示，即仅显示第1图像。另外，设置了用于从第2显示模式返回至第1显示模式的动作的返回按钮等。
[0274]
另外，在第2显示模式的第2画面内，在第1图像上的大致同一位置、同一区域内密集地存在关联的多个第2图像的情况下，不是重叠显示各个标记，而是显示一个代表标记。本例中，作为代表标记采用星形。用户选择操作代表标记时，在代表标记的位置显示关联的多个第2图像的信息。作为此时显示多个第2图像的信息的方式，例如在第1图像上显示弹出
区域1005，在弹出区域1005中显示多个第2图像的信息。用户从弹出区域1005内选择操作要求的第2图像时，转变至详细显示选择出的第2图像的第3显示模式。
[0275]
作为其他方式，也可以在右边区域1002等中显示与代表标记关联的多个第2图像的信息。另外，作为其他方式，也可以与代表标记的选择相应地，在规定的区域顺次显示关联的多个第2图像、即进行幻灯片显示。例如，存在同一场所、同一拍摄方向、不同拍摄日期时间拍摄的多个图像的情况下，能够将这些图像关联地连续地再现显示。
[0276]
另外，作为其他方式，也可以与代表标记的选择操作相应地，放大显示多个第2图像密集的区域，成为能够区分多个第2图像的标记的显示状态。
[0277]
[变形例(3)－外部设备协作]
[0278]
摄像装置1和显示装置2可以将图像文件24保存至外部设备，也可以从外部设备读取图像文件24并再现显示。摄像装置1和显示装置2可以将对外部设备发送的图像文件24作为对象进行关联处理，将包括关联信息的图像文件24对外部设备发送。另外，摄像装置1和显示装置2可以将从外部设备接收的图像文件24作为对象进行关联处理，基于关联信息以关联的状态进行再现显示。即，作为上述第1方式和第2方式以外的关联方式，也可以采用在对外部设备发送图像文件24之前进行关联的方式，和在从外部设备接收图像文件24之后进行关联的方式。另外，摄像装置1和显示装置2可以在对外部设备发送多个图像文件24的情况下，记载视野角信息和关联信息作为每个图像文件24的元数据22，也可以在多个图像文件24之外的管理文件中记载并提供。
[0279]
例如，图1的系统中，摄像装置1对于拍摄的多个图像，在对服务器3发送之前，进行关联处理，生成包括视野角和关联信息的图像文件24，通过通信网络4对服务器3发送而使其保存在图像数据db中。摄像装置1或显示装置2通过通信网络4访问服务器3，从服务器3的图像数据db取得该图像文件24。另外，此时，能够指定例如拍摄日期时间和拍摄场所等作为检索条件一并取得多个图像文件24。摄像装置1或显示装置2对于取得的多个图像文件24的图像数据23，基于对关联信息的参照，以关联的状态进行再现显示。
[0280]
另外，例如，摄像装置1对于拍摄的多个图像，不进行关联处理地，将包括视野角但不包括关联信息的图像文件24对服务器3发送而使其保存在图像数据db中。摄像装置1或显示装置2通过通信网络4访问服务器3，从服务器3的图像数据db取得该图像文件24。摄像装置1或显示装置2对于取得的多个图像文件24，进行关联处理，基于视野角和关联信息，以关联的状态进行再现显示。
[0281]
另外，服务器3也可以将图像数据db的多个图像数据23作为对象进行关联处理。服务器3进行该关联处理，保存为包括关联信息的图像文件24。摄像装置1或显示装置2对于从服务器3取得的多个图像文件24，基于对关联信息的参照进行再现显示。
[0282]
另外，例如，摄像装置1对于拍摄的多个图像，进行关联处理，将包括视野角和关联信息的图像文件24对显示装置2发送。显示装置2取得该图像文件24，对于取得的图像文件24的图像数据23，基于对关联信息的参照，以关联的状态进行再现显示。
[0283]
另外，例如，摄像装置1对于拍摄的多个图像，不进行关联处理地，将包括视野角但不包括关联信息的图像文件24对显示装置2发送。显示装置2取得该图像文件24，对于取得的图像文件24的图像数据23，进行关联处理，基于关联信息，以关联的状态进行再现显示。
[0284]
另外，摄像装置1和显示装置2也可以从同一用户的多个设备读取各图像文件24，
对它们统一地管理。例如，图1的第1摄像装置1a和第2摄像装置1b分别对于拍摄的图像的图像文件24不进行关联地，对第1显示装置2a发送。第1显示装置2a对于这些图像文件24，进行关联处理，以关联的状态进行再现显示。
[0285]
根据该变形例，能够用多个设备协作的系统实现关联显示功能，用户能够实现大量图像的关联和保存等。
[0286]
[变形例(4)－编辑功能]
[0287]
作为变形例的摄像装置1和显示装置2，设置能够由用户判断多个图像的关联并手动地设定、编辑的编辑功能。用户使用编辑功能，能够在显示画面内进行关联的图像的追加和删除和变更，能够变更各图像的显示位置。
[0288]
图21表示变形例的摄像装置1和显示装置2中的第2显示模式的第2画面的例子。以下示出了具有编辑功能的摄像装置1的情况，但具有编辑功能的显示装置2的情况也是同样的。能够基于用户设定或输入操作，切换编辑有效的“on”状态、和无效的“off”状态。摄像装置1在“on”状态的情况下，在第2显示模式的第2画面中，基于用户输入操作可变地设定对于第1图像的第2图像的关联、和第2图像的图形的显示位置等。控制部101将第2图像的图形的显示位置作为元数据22或管理信息21之一保存和管理。控制部101在再现显示时，参照该信息决定图形的显示位置。
[0289]
本例中，示出了显示透过框作为第2图像的图形的情况。最初，摄像装置1与实施方式1同样地，自动地决定第2图像的显示位置并显示。例如，显示表示第1狭角图像6b的透过框9b1。用户例如触摸第2图像的透过框9b1并使其向要求的方向和位置移动。控制部101按照用户操作以使该图形的显示位置移动的方式更新显示状态。本例中，将透过框9b1的移动后的状态表示为透过框9b2。第1狭角图像6b的中心点从移动前的点p21成为移动后的点p22。控制部101以将第2图像的图形的移动后的位置作为新的显示位置保存的方式更新管理值。
[0290]
另外，控制部101也可以在第2图像的图形移动后，显示用于确认显示位置变更的信息，对用户确认是否变更和保存。控制部101例如在移动后的位置附近显示弹出区域，显示“已移动显示位置。保存/不保存”等。用户确认该信息并按下例如“保存”按钮。由此，控制部101保存移动后的显示位置。
[0291]
另外，作为编辑功能，具有追加关联的第2图像的功能、和解除第2图像的关联的功能。追加的情况下，用户触摸显示画面内的要求的位置、例如点p23，指定追加。例如能够通过弹出区域的追加按钮，由用户选择追加的第2图像。控制部101在该位置显示关于选择出的第2图像的图形，将该第2图像的显示位置保存在管理值中。
[0292]
解除的情况下，用户选择在显示画面内显示的第2图像的图形，指定解除。例如，用户触摸第2狭角图像6c的透过框9c，按下弹出区域的解除按钮。控制部101将指定了解除的第2图像的关联解除，消去显示，更新管理值。
[0293]
根据该变形例，通过编辑功能，用户对于第2显示模式的多个图像的关联显示，能够自由地编辑为自己易于观看的状态和易于理解的状态。
[0294]
(实施方式2)
[0295]
用图22～图25对于本发明的实施方式2的摄像装置和显示装置进行说明。以下，对于实施方式2的结构中的与实施方式1的结构不同的部分进行说明。实施方式2的摄像装置1
中，具有拍摄全天球图像作为广角图像的功能，具有将该广角图像作为第1图像进行关联显示的功能。
[0296]
[全天球图像]
[0297]
本说明书中，如图7所示，将以摄像装置和拍摄者即用户的位置为中心点设定的假想的球面600称为全天球。本说明书中，全天球图像指的是具有360
°
作为水平视野角和垂直视野角的至少一者的视野角的图像。
[0298]
图22用水平视野角示出了实施方式2中的全天球图像。在与全天球对应的球面600中，具有第1广角图像6a、第2广角图像6b、和狭角图像6c。第1广角图像6a是从摄像装置1的正面摄像机一侧在前方的拍摄方向(例如北方)上观察的具有水平视野角180
°
的拍摄范围2201的广角图像。第2广角图像6b是从背面摄像机一侧在后方的拍摄方向(例如南方)上观察的具有水平视野角180
°
的拍摄范围2202的广角图像。狭角图像6c是从正面摄像机一侧在要求的拍摄方向(例如北方)上具有水平视野角ah的拍摄范围2203的狭角图像。通过第1广角图像6a与第2广角图像6b的合成，构成具有水平视野角360
°
的拍摄范围的广角图像即全天球图像。虽然未图示，但对于垂直视野角av也是同样的，例如第1广角图像6a具有垂直视野角180
°
的拍摄范围。
[0299]
[摄像装置]
[0300]
图23表示摄像装置1中的关于摄像部103的部分的结构。摄像装置1具有第1摄像部103a、第2摄像部103b、第3摄像部103c作为摄像部103，它们与接口电路131连接。
[0301]
第1摄像部103a是对应于正面摄像机的摄像部，包括驱动部31a和透镜部32a。透镜部32a具有作为能够拍摄正面的水平视野角和垂直视野角180
°
的拍摄范围(即半天球)中的第1广角图像6a的超广角透镜的第1透镜。第2摄像部103b是对应于背面摄像机的摄像部，包括驱动部31b和透镜部32b。透镜部32b具有作为能够拍摄背面的水平视野角和垂直视野角180
°
的拍摄范围(即半天球)中的第2广角图像6b的超广角透镜的第2透镜。
[0302]
第3摄像部103c是与实施方式1的摄像部103同样的结构，包括驱动部31c和透镜部32c。透镜部32c具有能够拍摄正面的水平方向和垂直方向上不足180
°
的设定的视野角范围内的狭角图像6c的第3透镜。用摄像部103c拍摄时的视野角，能够在不足180
°
的规定的视野角范围内基于用户操作设定。例如，假设拍摄具有50
°
作为水平视野角ah的狭角图像6c。
[0303]
控制部101包括全天球摄像控制部11a、摄像控制部11b。全天球摄像控制部11a对第1摄像部103a和第2摄像部103b进行驱动控制，拍摄全天球图像。全天球摄像控制部11a以在同一时机拍摄第1摄像部103a中的第1广角图像6a、和第2摄像部103b中的第2广角图像6b的方式进行控制。全天球摄像控制部11a通过信号处理部132等，输入该第1广角图像6a和第2管教图像6b并合成，由此拍摄具有360
°
的视野角范围的全天球图像。
[0304]
另外，这样包括能够拍摄全天球图像的光学系统的摄像部103和控制部101等的结构，能够用公知技术实现。
[0305]
全天球摄像控制部11a对于拍摄的全天球图像的图像数据23，与实施方式1同样地，与包括视野角等信息的元数据22等一同作为图像文件24存储在存储部102中。摄像控制部11b对于拍摄的狭角图像的图像数据23，与实施方式1同样地，与包括视野角等信息的元数据22等一同作为图像文件24存储在存储部102中。
[0306]
在摄像装置1的拍摄模式中，也能够与控制部101的控制相应地，使用某一个摄像
部拍摄图像。能够基于从控制部101的控制，在摄像部103a、摄像部103b和摄像部103c中，同时进行一次摄像。另外，也能够基于从控制部101的控制，在摄像部103a、摄像部103b和摄像部103c中，在个别的时机进行摄像。通过摄像部103a与摄像部103b的同时拍摄和合成能够拍摄全天球图像。另外，通过使用摄像部103a和摄像部103b中的一方拍摄，能够拍摄由第1广角图像6a或第2广角图像6b形成的半天球图像。另外，也能够进行摄像部103a或摄像部103b中的一方、与摄像部103c的同时拍摄。该情况下，该一方的广角图像和狭角图像6c中拍摄日期时间相同，能够自动地关联。控制部101也可以在拍摄的图像的元数据22或管理信息21中，附加表示全天球图像或半天球图像或狭角图像6c的种类等信息。控制部101对于同时拍摄的多个图像，也可以在元数据22等中附加关联信息。
[0307]
[摄像装置－外观]
[0308]
图24表示摄像装置1的实现例的外观。本例中，作为摄像装置1示出了是智能手机的情况。图24的左侧表示摄像装置1的壳体2400的正面摄像机一侧，右侧表示背面摄像机一侧。在正面摄像机一侧，在壳体2400的规定位置设置了第1透镜2401，并且在规定位置设置了第3透镜2403。在背面摄像机一侧，在与正面摄像机一侧的第1透镜2401的位置对应的相反一侧的规定位置设置了第2透镜2402。另外，在背面摄像机一侧，设置了显示装置104的显示画面2404、和操作按钮2405等。
[0309]
[显示画面－第2显示模式]
[0310]
图25表示实施方式2中的第2显示模式的第2画面的例子。第1显示模式的第1画面与实施方式1是同样的，能够一览显示全天球图像和狭角图像的信息。显示控制部12在第1显示模式的第1画面中选择操作了全天球图像的情况下，显示如图25所示的第2显示模式的第2画面。
[0311]
显示控制部12在第2画面内，如圆形区域2500所示地，显示全天球图像。显示控制部12最初以全天球图像的拍摄方向(方位角和仰角，例如图22的北方)位于中心的点p0的显示状态将区域2500显示。对于区域2500，能够与用户的触摸输入操作等相应地，以与视点变更对应地改变显示状态的方式，进行滚动和放大缩小等动作。例如，在区域2500内，用户向左方向轻扫操作时，以全天球图像内的视点向右方向、即水平视野角的正方向移动的方式，更新区域2500内的显示状态。控制部101进行变更此时的显示状态的图像处理。另外，变更全天球图像的显示状态的图像处理是公知技术。另外，特别是对于全天球图像的最初的显示状态下的视点的位置，作为仰角可以采用0
°
即水平方向，也可以采用90
°
即天顶方向。
[0312]
控制部101在存在与全天球图像关联的狭角图像的情况下，在全天球图像的区域2500上，将这些狭角图像与实施方式1同样地用规定的图形或缩小图像等显示。本例中，示出了用透过框显示的情况。示出了在全天球图像的区域2500上，关联了3个狭角图像的情况。在点p11具有表示第1狭角图像的透过框2501，在点p12具有表示第2狭角图像的透过框2502，在点p13具有表示第3狭角图像的透过框2503。随着全天球图像的区域2500内的显示状态的变更，狭角图像的图形的位置和形状和尺寸等也变更。另外，与透过框对应的狭角图像的区域，因为配置在全天球的球面内，所以作为形状在圆周方向上变形，即具有圆弧部分。本例中简单地用矩形显示了透过框。
[0313]
另外，与实施方式1同样地，也能够基于对第2显示模式的第2画面的规定的操作，进行狭角图像的图形的显示的on/off的切换、和返回至第1显示模式的动作等。控制部101
在第2画面中对表示狭角图像的图形进行选择操作时，与实施方式1同样地，用第3显示模式详细显示该狭角图像。
[0314]
[效果等]
[0315]
根据实施方式2，在显示全天球图像作为广角图像时，关联地显示具有同一拍摄场所等规定关系的狭角图像，所以用户易于得知多个图像的关系，能够适当地阅览。
[0316]
作为实施方式2的变形例，能够是以下所述。也可以是省略背面摄像机一侧的第2摄像部103b、用第1摄像部103a拍摄具有前方的180
°
的视野角范围的半天球图像的方式。
[0317]
在第2显示模式的第2画面中，对于全天球图像的区域2500，也可以不是以圆形，而是转换为矩形的区域进行显示。在该矩形的区域中，显示全天球图像中的与一部分视野角范围对应的图像，基于用户操作变更显示状态。
[0318]
摄像装置1也可以在本设备内拍摄全天球图像，导入用外部设备拍摄的狭角图像，进行关联显示。反之，摄像装置1也可以在本设备内拍摄狭角图像，导入用外部设备拍摄的全天球图像，进行关联显示。例如，图1的第2摄像装置1b可以拍摄全天球图像，将用第1摄像装置1a拍摄的狭角图像、和服务器3中注册的狭角图像取得至本设备，进行关联显示。
[0319]
另外，具有360
°
的视野角的图像，无论摄像机的拍摄方向如何都具有全方位的视野角。因此，并不一定需要与拍摄方向相应地变更显示画面内的显示方向。于是，在第2显示模式或第3显示模式中再现显示全天球图像的动态图像时，也可以能够选择如下所述的2种显示方法。第一，与狭角图像的再现显示同样地，保持原状地再现显示与拍摄时的拍摄方向相应地变化的图像。或者，第二，基于动态图像拍摄时作为元数据记录的拍摄方向的信息，例如旋转相当于方位角的角度，与拍摄方向无关地，使图像的方向固定，以该固定的方向进行再现显示。
[0320]
另外，无论是动态图像还是静止图像，都可以在显示图像时，用拍摄方向测量部111和位置检测部113检测出摄像装置1(显示装置2也同样)的方向，以使检测出的方向与图像的拍摄方向一致的方式进行显示。
[0321]
(实施方式3)
[0322]
用图26对于本发明的实施方式3的摄像装置和显示装置进行说明。以下，对于实施方式3的结构中的与实施方式1的结构不同的部分进行说明。在实施方式3的摄像装置1中，设置用于进行多个图像的关联的特有的拍摄模式。
[0323]
[拍摄模式]
[0324]
实施方式3的摄像装置1作为拍摄模式具有通常的拍摄模式即第1拍摄模式、和用于进行关联的第2拍摄模式。摄像装置1基于用户输入操作和用户设定，进行拍摄模式的切换。用户通过操作输入部105等，在任意的时机进行切换第1拍摄模式和第2拍摄模式的规定的操作。规定的操作例如可以是按下模式切换按钮。
[0325]
图26表示实施方式3的摄像装置1中的、时间轴中的拍摄模式的切换等。摄像装置1最初设为第1拍摄模式的状态，对于在第1拍摄模式中拍摄的各个图像，不进行关联处理。例如，在时刻t11拍摄的图像不进行关联，在元数据22等中不记载关联信息。
[0326]
用户在要求的时机、例如时刻t2进行从第1拍摄模式切换至第2拍摄模式的操作。摄像装置1在第2拍摄模式的状态下，将在该期间中拍摄的各个图像作为对象，自动地进行关联处理。例如，在第2拍摄模式中的时刻t1～t4分别拍摄了图像。控制部101用关联部15对
于这些图像进行关联处理，在元数据22或管理信息21中记载关联信息。此时，关联部15将该多个图像关联为组。本例中，时刻t1～t4的各图像被关联为第1组。关联部15将组识别信息记载为元数据22或管理信息21之一。组识别信息例如可以是使用了第2拍摄模式的期间的开始日期时间和结束日期时间的字符串，也可以是使用了第2拍摄模式的发生次数的字符串。另外，也可以在这些图像的文件名和元数据22中，附加将组识别信息、与个别的图像的拍摄日期时间和顺序编号组合而成的字符串。
[0327]
用户在要求的时机、例如时刻t4进行从第2拍摄模式切换至第1拍摄模式的操作。摄像装置1对于在第1拍摄模式中拍摄的各个图像、例如在时刻t12拍摄的图像，不进行关联。控制部101也可以在返回至第1拍摄模式的时刻执行关联处理。
[0328]
另外，关联部15对于在第2拍摄模式的期间内拍摄的多个图像，判断广角图像、狭角图像的种类。关联部15在仅存在广角图像和狭角图像中的一方的情况下，不进行关联。关联部15在存在广角图像和狭角图像双方的情况下，对于广角图像即第1图像，关联狭角图像即第2图像。
[0329]
显示控制部12在再现显示时，基于对图像文件24和管理信息21中的组识别信息等的参照，确认关联并进行关联显示。
[0330]
[效果等]
[0331]
根据实施方式3，用户能够容易地切换拍摄模式而按自己的判断进行关联。实施方式3相当于用特有的拍摄模式将上述第2选择方式的关于拍摄日期时间的判断自动化的方式。
[0332]
作为实施方式3的变形例，能够是以下所述。摄像装置1与判断相应地自动地进行拍摄模式的切换。摄像装置1在拍摄时，判断图像的视野角的种类、例如广角和狭角的区分。然后，摄像装置1在拍摄的图像是广角图像的情况下，自动地从第1拍摄模式切换至第2拍摄模式。摄像装置1判断在该第2拍摄模式内拍摄的狭角图像，对于最初的广角图像关联该狭角图像。摄像装置1在从进入第2拍摄模式起经过了例如基于设定的规定时间后，从第2拍摄模式返回至第1拍摄模式。
[0333]
(实施方式4)
[0334]
用图27～图45对于本发明的实施方式4的摄像装置和显示装置进行说明。实施方式4的基本的结构与实施方式1是同样的。实施方式4的摄像装置和显示装置具有将拍摄时的拍摄方向和视野角不同的多个图像以关联的状态显示的功能。
[0335]
[摄像显示系统，摄像装置，显示装置]
[0336]
包括实施方式4的摄像装置和显示装置地构成的摄像显示系统的结构与上述图1是同样的。实施方式4的摄像装置1的结构与上述图2是同样的。实施方式4的显示装置2的结构与上述图3是同样的。摄像装置1的外观的结构例与上述图4是同样的。以下主要以摄像装置1为主体进行说明，但对于关于摄像的功能和动作以外，能够以显示装置2为主体同样地实现。
[0337]
[管理信息和图像文件]
[0338]
在上述图5中，示出了存储部102的管理信息21和图像文件24的结构例。图像的种类例如有广角图像和狭角图像这2种。也可以使参照识别符具有第1图像和第2图像属于的组的识别符。关于旋转角，在所谓横向拍摄的情况下，是与基准状态对应的旋转角接近0度
的状态。在作为视野角的比是水平视野角大于垂直视野角的图像的情况下，是横长的图像。在所谓纵向拍摄的情况下，是相对于基准状态旋转角接近90度的状态。
[0339]
[多个图像的关系的管理]
[0340]
图27表示关于多个图像的关系的关联管理。控制部101例如在图5的管理信息21中的关联管理信息中，管理如图27所示的关系。实施方式4中，在说明上将基准侧图像作为第1图像，将对于第1图像具有关系的参照侧图像作为第2图像。图27的例子中，作为第1图像，具有图像g1、g2、g3、g4等(另外，与实施方式1的图像g1等例子不同)。存在第1图像是广角图像的情况，也存在是狭角图像的情况。存在第2图像是广角图像的情况，也存在是狭角图像的情况。
[0341]
图像g1是种类是狭角的狭角图像，具有方位角θ1、仰角φ1、水平视野角ah1、垂直视野角av1等。作为与图像g1关联的第2图像，具有图像g11、g12、g13。图像g11、g12、g13是种类是狭角的狭角图像。例如图像g11具有方位角θ11、仰角φ11、水平视野角ah11、垂直视野角av11等。这些图像g1和图像g11、g12、g13被关联为具有规定关系的多个图像。这些图像被关联为属于同一组、例如第1组的图像组。
[0342]
图像g2是种类是广角的广角图像，具有方位角θ2、仰角φ2、水平视野角ah2、垂直视野角av2等。作为与图像g2关联的第2图像，具有图像g21、g22、g23。图像g21、g22、g23是狭角图像。例如图像g21具有方位角θ21、仰角φ21、水平视野角ah21、垂直视野角av21等。这些图像属于第2组。
[0343]
图像g3是狭角图像，具有方位角θ3、仰角φ3、水平视野角ah3、垂直视野角av3等。作为与图像g3关联的第2图像，具有图像g31、g32。图像g31是广角图像，图像g32是狭角图像。这些图像属于第3组。
[0344]
图像g4是广角图像，具有方位角θ4、仰角φ4、水平视野角ah4、垂直视野角av4等。作为与图像g4关联的第2图像，具有图像g41、g42。图像g41是广角图像，图像g42是狭角图像。这些图像属于第4组。
[0345]
另外，例如将图像g11视为基准侧的第1图像的情况下，图像g1一方成为参照侧的第2图像。另外，也存在例如将图像g11作为基准侧的第1图像、对于该图像g11进而关联其他图像作为第2图像的情况。
[0346]
作为关联信息的例子，具有各第2图像的图像文件名作为使第1图像的图像文件具有的参照识别符。另外，具有第1图像的图像文件名作为使各第2图像的图像文件具有的参照识别符。另外，具有组识别符作为关联的各图像中具有的参照识别符。通过它们能够在具有关系的图像之间相互参照。
[0347]
另外，作为1个显示模式，也可以在显示画面中，显示表示如图27所示的多个图像的关系的信息。此时，可以如图27所示地用树结构显示第1图像和第2图像，也可以按未图示的在第1图像的节点的周围用连接线连接了第2图像的节点的状态显示。
[0348]
[图像的拍摄方向和视野角]
[0349]
图28作为多个图像的具体例，对于关于广角图像和狭角图像的拍摄方向和视野角的关系，简易地示出了概念。图28中，特别对于方位角和水平视野角示出。本例中，具有图像5a、图像5b、图像5c、图像5d。图像5a、5b、5c是狭角图像，图像5d是广角图像。这些图像是由用户使用摄像装置1在同一场所的拍摄地点即点p0拍摄的图像。假设各图像例如是在按图
像5d、图像5a、图像5b、图像5c的顺序从远到近的日期时间拍摄的。关于各图像的拍摄日期时间，例如图像5d是2016年1月5日13时10分0秒，图像5a是同一天的13时11分30秒，图像5b是同一天的13时14分40秒，图像5c是同一天的13时15分50秒。
[0350]
图像5a具有与用方位角θa表示的拍摄方向7a、水平视野角aha对应的拍摄范围701。图像5b具有与用方位角θb表示的拍摄方向7b、水平视野角ahb对应的拍摄范围702。图像5c具有与用方位角θc表示的拍摄方向7c、水平视野角ahc对应的拍摄范围703。图像5d拍摄方向与图像5a的拍摄方向7a相同，具有与水平视野角ahd对应的拍摄范围704。图28中，在图像的拍摄方向中，用点划线示出了用方位角θ规定的拍摄方向。
[0351]
用球面600上的圆弧表示的拍摄范围701，表示图像5a中的与水平视野角aha对应的部分，相当于从点p0观察的对球面600投影的区域。图像5b是拍摄了塔612的例子，图像5c是拍摄了建筑物613的例子。
[0352]
各图像的方位角θ、仰角φ、水平视野角ah、垂直视野角av的值的具体例如下所述。设图像5a的方位角为θa、仰角为φa、水平视野角为aha、垂直视野角为ava，设图像5b的方位角为θb、仰角为φb、水平视野角为ahb、垂直视野角为avb，设图像5c的方位角为θc、仰角为φc、水平视野角为ahc、垂直视野角为avc。另外，设图像5d的方位角θd＝θa、仰角φd＝φa、水平视野角为ahd、垂直视野角为avd。
[0353]
θa＝ 10
°
，φa＝0
°
，aha＝21
°
，ava＝14
°
[0354]
θb＝ 45
°
，φb＝0
°
，ahb＝21
°
，avb＝14
°
[0355]
θc＝
‑
20
°
，φc＝
‑
10
°
，ahc＝21
°
，avc＝14
°
[0356]
θd＝ 10
°
，φd＝0
°
，ahd＝120
°
，avd＝80
°
[0357]
图29是与图28同样地、特别对于仰角φ和垂直视野角av示出的说明图。图29中，用另一个图像5e即狭角图像的例子示出。设图像5e的方位角为θe、仰角为φe、水平视野角为ave、垂直视野角为ahe。示出了与图像5e的垂直视野角ave对应的拍摄范围705。图像5e的拍摄方向7e表示与仰角φe对应的部分。
[0358]
[显示画面－显示模式]
[0359]
图30表示显示部41的显示画面401的显示模式及其转变。摄像装置1至少具有第1显示模式、第2显示模式、第3显示模式作为再现显示模式的显示模式。摄像装置1例如最初以第1显示模式显示，基于用户操作切换显示模式。摄像装置1在拍摄后或再现显示时，基于图像的拍摄场所和拍摄日期时间等的判断、和拍摄方向和视野角等的判断，进行多个图像的关联，对于多个图像设定组，生成关联管理信息。摄像装置1的图像的再现显示时，基于元数据22(至少拍摄方向信息)和关联管理信息，将具有关系的同一组的多个图像如下所示地以在显示画面401内关联的状态显示。
[0360]
[第1显示模式－第1画面]
[0361]
第1显示模式是进行关于全部图像的信息的一览显示的模式，是显示文件夹画面的模式。在第1显示模式的第1画面中，将文件夹的多个图像的信息例如按以文件名或日期时间等为键的顺序一览显示。本例中，作为多个图像，将图像j1、j2、j3等的信息从上方起顺序排列显示。在各图像的行中，显示了图像的图标或缩略图、文件名、拍摄日期时间、种类、其他信息。本例中，图像j1、j2、j3的种类是狭角。作为其他信息，可以显示拍摄方向{方位角θ，仰角φ}和视野角{水平视野角ah，垂直视野角av}等属性值。第1画面不限于这样的文件
夹画面，能够是公知的各种方式。例如，能够是将多个图像的缩略图在规定方向或纵横等二维状地并排配置显示的画面等。
[0362]
在第1画面中，由用户对要求的第1图像、例如图像j1进行选择操作。图像j1相当于图27的图像g1、和图28的图像5a。摄像装置1在存在与选择出的第1图像关联的第2图像的情况下，转变至第2显示模式的第2画面。假设对于图像j1，例如关联了图像j2、j3等。图像j2、j3等相当于图27的图像g11、g12、和图28的图像5b、5c。图像j1～j3的关系相当于图27的第1组。
[0363]
[第2显示模式－第2画面(1)－缩略图，第1组]
[0364]
第2显示模式是进行多个图像中的关联显示的特有的模式。显示控制部12基于图像文件24和管理信息21显示第2画面。在第2显示模式的第2画面中，首先在整体中设置了规定的背景区域50。背景区域50是黑色区域等，能够由用户设定。背景区域50具有显示画面401的纵横的尺寸以上的尺寸，具有包含多个图像的视野角范围的充分的大小。
[0365]
显示控制部12在显示画面401内的背景区域50上，以关联的状态显示具有关系的多个图像。设显示画面401和背景区域50的中心点为点p0。在背景区域50上的点p0，显示表示选择出的第1图像的图像j1的图形61。图形61的中心点p1被配置在点p0。实施方式4中，第1图像的图形61是缩略图。在背景区域50上，在图像j1的图形61的周围，显示表示图像j2的图形62、表示图像j3的图形63，作为表示具有关系的第2图像的图形。示出了图形62的中心点p2、图形63的中心点p3。第2图像的图形62和图形63例如是缩略图。第2图像的图形62等的显示位置，相对于第1图像的图形61的显示位置，与拍摄方向和视野角的关系相应地决定。另外，各缩略图的显示尺寸被决定为与视野角对应的尺寸。
[0366]
在第2画面中，能够按照用户操作，通过滚动和放大缩小等动作变更显示状态。例如，通过第2画面内的轻扫等操作，能够进行与背景区域50对应的范围中的滚动和放大缩小。在显示状态变更时，维持多个图像的位置关系等。
[0367]
在第2画面中由用户对要求的第1图像或第2图像的图形进行选择操作。选择操作例如是图形的触击等。该情况下，摄像装置1转变至显示选择出的图像的第3显示模式的第3画面。本例中示出了选择了第2图像的图像j2的图形62的情况。另外，在第2画面中，在进行了用于返回至第1显示模式的规定的操作的情况下，摄像装置1返回至第1显示模式的第1画面。规定的操作例如是第1显示模式指定输入、按下返回按钮、背景区域50的触击等。
[0368]
这样，在第2画面中，具有关系的多个图像以缩略图的状态、以包括相互的位置关系、拍摄方向和视野角等的关系一目了然的方式显示。用户能够直观地得知多个图像的关系，能够容易地从第1图像参照第2图像。另外，在说明上图示的中心点和中心线等是非显示的，但也可以将它们作为阅览辅助信息显示在画面内。
[0369]
[第3显示模式－第3画面]
[0370]
第3显示模式是进行关于指定的单一图像即狭角图像或广角图像的详细显示的模式。本例中，示出了在第3画面中整体地扩大显示狭角图像的图像j2的例子。同样也能够显示的单一的广角图像。最初，以在显示画面401的中心的点p0配置了与对象图像即图像j2的拍摄方向(θ，φ)对应的中心点p2的状态显示。显示控制部12在显示画面401内不能显示图像整体的情况下，也可以显示图像的一部分、即以视野角的一部分的状态显示，也可以按缩小而可以容纳整体的状态显示。在第3画面中，能够按照用户操作，通过滚动和放大缩小等
变更显示状态。广角图像的显示的情况下，在不能完全显示广角图像整体的情况下，最初将广角图像的拍摄方向与点p0对齐地显示广角图像的一部分，之后，与滚动等相应地变更显示状态。同样，在第2画面中选择了第1图像即图像j1的图形61的情况下，摄像装置1在第3画面中仅详细显示图像j1。在第3画面中，进行了规定的操作、例如第2显示模式指定输入、按下返回按钮、图像区域的触击等的情况下，摄像装置1返回至第2显示模式的第2画面。另外，不限于仅能够从第2显示模式转变至第3显示模式。
[0371]
[第2显示模式－第2画面(2)－标记]
[0372]
图31表示作为变形例的、第2显示模式的第2画面的另一个显示例。在该第2画面中，第1图像的图形61同样是缩略图，作为表示第2图像的图形，采用规定的标记。关于标记，特别示出了气泡形状的情况。标记可以基于用户设定变化。例如，在中心点p2显示了表示图像j2的标记72，在中心点p3显示了表示图像j3的标记73。用户对标记进行选择操作时，与该标记对应的图像被显示在第3显示模式的第3画面中。或者，也可以与标记的选择操作相应地，在其位置显示缩略图等。各标记的显示位置与图像的拍摄方向(方位角θ，仰角φ)相应地决定。在这样显示标记的方式中，画面显示内容变得简单。
[0373]
[第2显示模式－第2画面(3)－透过框]
[0374]
图32表示作为变形例的、第2显示模式的第2画面的另一个显示例。在该第2画面中，第1图像的图形61同样是缩略图，作为表示第2图像的图形，采用透过框。透过框中，矩形的四边用线和颜色显示，其内部是透过区域，直接显示背景区域50的部分。例如，在中心点p2显示了表示图像j2的透过框82，在中心点p3显示了表示图像j3的透过框83。用户对透过框进行选择操作时，与该透过框对应的图像显示在第3显示模式的第3画面中。或者，也可以与透过框的选择操作相应地，在其位置显示缩略图等。透过框的显示位置与图像的拍摄方向相应地决定，透过框的显示尺寸与图像的视野角对应地决定。
[0375]
在第2画面中进行放大缩小等的情况下，显示控制部12与变更后的显示状态对应地，更新缩略图和透过框的显示尺寸。这样显示缩略图和透过框的方式中，易于得知多个图像中的视野角的关系。
[0376]
另外，图32中，用位于点p4的表示狭角图像的透过框84示出了关于第2图像的旋转角的例子。该狭角图像具有相对于x方向的角度α作为旋转角。另外，显示控制部12也可以在第2画面内，与对于第2图像的图形的规定的操作、例如双击等相应地，将显示状态切换为将该第2图像作为新的第1图像使其位于显示画面401的中央，也可以与其一同参照新的第2图像并显示。
[0377]
[第2显示模式－第2画面(4)－第2组]
[0378]
图33作为第2画面的另一个显示例示出了其他多个图像的情况。本例中，在第1画面中选择出的第1图像即图像j5是广角图像。作为与第1图像关联的第2图像，具有图像j6、j7，是狭角图像。本例的多个图像的关系相当于图27的第2组。
[0379]
在背景区域50上的中心的点p0，配置与图像j5的拍摄方向对应的中心点p5地，显示了表示图像j5的图形65即缩略图。图形65的缩略图的显示尺寸，与该广角图像的视野角对应地决定。本例中，示出了在显示画面401和背景区域50内，可以容纳图形65的缩略图整体的情况。不能容纳图形65的缩略图整体的情况下，显示与广角图像的一部分视野角对应的、缩略图的一部分。能够与滚动等相应地显示图形65的缩略图整体。
[0380]
在图形65上，在中心点p6重叠地显示了表示图像j6的图形即透过框86，在中心点p7重叠地显示了表示图像j7的图形即透过框87。这样，在第1图像是广角、第2图像是狭角的情况下，也能够在第2画面中得知该多个图像的关系。
[0381]
[第2显示模式―第2画面(5)―第3组]
[0382]
图34作为第2画面的另一个显示例示出了其他图像的情况。本例中，在第1画面中选择出的第1图像即图像j1是狭角图像。作为与第1图像关联的第2图像，具有图像j8、j9，图像j8是广角图像。本例的多个图像的关系相当于图27的第3组。
[0383]
在背景区域50上的中心的点p0，显示了表示图像j1的图形61即缩略图。在背景区域50上，在中心点p8显示了表示图像j8的图形即透过框88。在中心点p9显示了表示图像j9的图形即透过框89。本例中，在图像j1的缩略图的外侧，图像j8的透过框88扩展开。示出了图像j8的透过框88不能容纳在显示画面401内、在背景区域50上显示了一部分的情况。能够与滚动等相应地显示透过框88的其他的一部分。这样，在第1图像是狭角、第2图像是广角的情况下，也能够在第2画面中得知该多个图像的关系。
[0384]
[第2显示模式－第2画面(6)－第4组]
[0385]
图35作为第2画面的另一个显示例示出了其他图像的情况。本例中，在第1画面中选择出的第1图像即图像j5是广角图像。作为与第1图像关联的第2图像，具有图像j8、j9，图像j8是广角图像。本例的多个图像的关系相当于图27的第4组。
[0386]
在背景区域50上的中心的点p0，显示了表示图像j5的图形65即缩略图。在背景区域50上，在中心点p8显示了表示图像j8的图形即透过框88。本例中，图像j5的缩略图与图像j8的透过框88部分地重叠。示出了图像j8的透过框88不能容纳在显示画面401内、在背景区域50上显示了一部分的情况。这样，在第1图像、第2图像都是广角的情况下，也能够在第2画面中得知该多个图像的关系。
[0387]
[第2显示模式－第2画面(7)－滚动]
[0388]
图36作为第2显示模式的第2画面的另一个显示例示出了滚动例。在该第2画面中，背景区域50具有方位角θ和作为水平视野角ah与360
°
的范围对应的x方向的宽度。在显示画面401内，显示与背景区域50的一部分视野角范围对应的部分，能够通过x方向的滚动等变更显示状态。在背景区域50上，多个图像被配置在与拍摄方向和视野角相应的位置。最初，第1图像的图形61被配置在点p0显示。图36的背景区域50的右端对应于θ＝180
°
，左端对应于
‑
180
°
，左右端也可以以显示循环的方式相连。显示画面401b表示x方向的滚动后的例子。由此，在显示画面401b中，显示包括在背景区域50的一部分中的图像的图形、例如图形161等。
[0389]
[第2显示模式－第2画面(8)－放大缩小]
[0390]
图37作为第2显示模式的第2画面的另一个显示例示出了放大缩小例。图37的上侧表示放大前的状态，下侧表示放大后的状态。在上侧的第2画面中，在背景区域50上，在中心的点p0显示了缩略图作为第1图像即图像r1的图形1701。作为与第1图像关联的第2图像，例如具有图像r2、r3、r4。图像r2是与图像r1拍摄方向相同的广角图像，在点p0配置了透过框作为图形1702。图像r3是与图像r1拍摄方向接近的狭角图像，在中心点pr3配置了图形1703。对于第1图像的缩略图，图像r3的重叠的部分较大，所以使图像r3的图形1703成为透过框。在中心点pr4配置了透过框作为图像r4的图形1704。各图形的显示尺寸基于视野角和
放大缩小率决定。
[0391]
从上述状态起，与用户的捏动等操作相应地，将要求的部分放大显示。用框1700表示放大的部分。在下侧的第2画面中，框1700的部分在显示画面401整体中显示。各图像维持视野角等的关系地被放大显示。图像r1的图形1701通过放大而被显示为不是缩略图而是放大图像1701b。放大图像1701b基于图像r1的原本的图像数据23或缩略图生成，在高清显示的情况下使用原本的图像数据23生成。
[0392]
[第2显示模式－第2画面(9)－全天球背景]
[0393]
图38表示实施方式4的第2显示模式的第2画面的另一个显示例。在该第2画面中，在显示画面401内，作为背景区域50，设置了不是矩形、而是与半天球的球面对应的圆形的区域。在第2画面的圆形的背景区域50内，显示具有关系的多个图像。作为具有关系的多个图像的例子，具有图像j1～j5。设背景区域50的圆形的中心点为点o。在点o，最初显示缩略图作为表示第1图像、例如图像j1的图形381。点o是与第1图像的拍摄方向(方位角θ，仰角φ)对应的点。能够将背景区域50的半天球的球面上的任意位置的点用(方位角θ，仰角φ)表示。本例中，示出了点o是(θ＝0
°
，φ＝0
°
)的情况。另外，在背景区域50的圆形的上端、下端、左端、右端，显示了用于辅助阅览的方位信息，但也可以省略。本例中，作为方位信息，显示了与球面内的视点方向相应地变化的方位角度。上端的点对应于(0
°
，90
°
)，下端的点对应于(0
°
，
‑
90
°
)，右端的点对应于(90
°
，0
°
)，左端的点对应于(0
°
，
‑
90
°
)。
[0394]
摄像装置1对于具有关系的多个图像中的各图像，基于拍摄方向和视野角等信息，生成从拍摄位置与视点方向相应地向背景区域50的球面投影的投影图像区域，作为表示该图像的图形。本例中，作为与图像j1关联的第2图像具有图像j2～j5，示出了表示各第2图像的图形382～385。图形382～385例如是缩略图，但也可以是上述透过框或标记等。
[0395]
用户能够与第2画面中的操作相应地，从任意的视点方向观看全天球的球面。摄像装置1与该视点变更的操作相应地，通过公知的图像处理，实时地变更背景区域50的半天球内的多个图像的显示状态。视点变更的操作可以是通过背景区域50内的轻扫等进行的滚动，也可以是位于背景区域50外的上下左右的滚动按钮操作和同样的硬件按钮操作等。另外，也能够与捏动等操作相应地进行背景区域50的图像的放大缩小。在该第2画面中，用户能够在以要求的视线方向观看背景区域50的全天球的球面的状态下，阅览多个图像的关系。
[0396]
在显示画面401的左上，显示了表示当前的显示模式是第2显示模式、和中心的第1图像是图像j1的信息。在显示画面401的左下，设置了切换关联图像即第2图像的显示的项目。在该项目的on状态下如图所示地显示第1图像和第2图像，在off状态下使第2图像成为非显示而仅显示第1图像。在显示画面401的右下，设置了返回按钮和显示模式切换按钮。能够用返回按钮返回至第1画面的原本的状态，能够用显示模式切换按钮选择显示模式进行转变。在该第2画面中，也能够与单一图像的选择操作相应地在第3显示模式的第3画面中详细显示，能够与第3画面中的规定的操作相应地返回至第2画面的原本的状态。
[0397]
图像j1～j5的拍摄方向和视野角的具体例如下所述。图像j1是(θ，φ)＝(0
°
，0
°
)，{水平视野角ah，垂直视野角av}＝{74
°
，53
°
}。同样的，图像j2是(0
°
，40
°
)，{14
°
，7
°
}。图像j3是(45
°
，0
°
)，{54
°
，38
°
}。图像j4是(340
°
，
‑
30
°
)，{27
°
，40
°
}。图像j5是(310
°
，20
°
)，{17
°
，11
°
}。图像j1是以图28的北方、图29的水平方向拍摄的图像，是以换算为35mm相当于24mm的
焦距f横向拍摄(旋转角＝0
°
)的图像。图像j4是纵向拍摄(旋转角＝90
°
)的图像。
[0398]
在背景区域50上显示的各图像的缩略图和透过框的显示尺寸，基于该图像的视野角信息、基于与视野角成正比的大小等规定的关系式决定。但是，焦距增大视野角减小时，缩略图的尺寸也变小。因此，也可以对于缩略图等的显示尺寸预先设定最小值，将显示尺寸决定为该最小值以上。
[0399]
另外，在背景区域50的半球面上显示的投影图像的图形，正确而言不是矩形，而是与半径方向相应地具有变形的图形、即具有圆周方向的圆弧的图形。本例中简易地用矩形图示了投影图像的图形。投影图像的图形可以如本例所示是矩形的显示，也可以是正确地具有变形的图形的显示。采用具有变形的图形的显示的情况下的处理方法如下所述。显示控制部12在生成在背景区域50的半球面上显示的图形时，将对象图像的图像数据23或元数据22内的缩略图读取至存储器133。显示控制部12基于该图像数据或缩略图，使用信号处理部132，通过公知的图像处理，生成向半球面的投影图像。显示控制部12显示该投影图像或与其外框线对应的透过框。使投影图像的图形简易地成为矩形的显示的情况下的处理方法如下所述。显示控制部12省略上述投影图像的生成处理，对于用于在背景区域50的半球面上显示图像的图形的中心点的位置坐标，基于该图像的拍摄方向(θ，φ)计算出。显示控制部12在计算出的中心点粘贴显示该图像的缩略图或透过框。
[0400]
图39作为具有上述圆形的背景区域50的第2画面的另一个显示例示出了使视点方向成为天顶方向的情况下的显示状态。作为具有关系的多个图像，具有图像k1、k2、k3。例如，图像k1拍摄方向的方位角θ是0
°
，图像k2是θ＝90
°
，图像k3是θ＝225
°
。在该第2画面中，最初选择出的第1图像的缩略图例如配置在与北方的θ＝0
°
对应的位置显示。图像k2被选择为第1图像的情况下，以使圆形的背景区域50的上端成为θ＝90
°
的方式，维持多个图像的视野角的关系地，以使方位角θ旋转
‑
90
°
的状态显示。该显示状态的情况下，易于辨认多个图像的方位角θ的关系。
[0401]
另外，上述多个显示例的结构，可以是适当组合的结构，也可以是在多个显示例之间转变的结构。例如，图36的第2显示模式的第2画面的滚动的显示例、和图37的放大缩小的显示例，能够在第2画面和第3画面中的任意画面中应用。另外，可以通过在第2画面中进行缩小显示操作，而从狭角的范围的显示逐次地转变至广角的范围的显示的状态，进而连续地转变至图39的第2画面的全天球背景的显示状态。反之，也可以从图39的全天球背景的显示状态起，按照放大显示操作，逐次地转变至广角的范围的显示状态。
[0402]
另外，在图36的第2画面中，能够通过滚动将在画面内未显示的图像显示在画面内，但也可以改为以下所述。使拍摄方向测量部111等在显示模式中也工作，检测摄像装置1或显示装置2的朝向。由此，与该装置的朝向相应地，以成为该装置的朝向与图像的拍摄方向一致的显示状态的方式，显示该图像。换言之，以与该装置的朝向对齐的方式自动地进行滚动。
[0403]
[第4显示模式－第4画面]
[0404]
图40作为变形例示出了第4显示模式的第4画面。第4显示模式是第1显示模式的变形例。例如，在图38等的第2画面中，通过显示模式切换按钮等规定的操作指定了第4显示模式的情况下，显示第4画面。该第4画面将具有关系的多个图像、例如图像j1～j5的缩略图用纵横的排列一览显示。例如，在左上显示了图像j1的缩略图，在其右侧显示了图像j2的缩略
图。在上述第1画面中，与图像间的关系无关地，一览显示了全部图像的信息，但在第4画面中，仅一览显示同一组的具有关系的多个图像。能够从第4画面与用户操作相应地转变至第1画面、第2画面、第3画面等。
[0405]
另外，在第1画面和第4画面中，同时存在广角图像和狭角图像的情况下，也可以将广角图像的缩略图和狭角图像的缩略图纵横地配置显示。此时，关于缩略图的显示尺寸，可以是与图像的视野角的大小相应地决定的不同的显示尺寸。例如，广角图像的水平视野角是180
°
以上的较大的全景图像的情况下，可以将该广角图像的缩略图显示在一行中，在其下方的行中，并排地显示多个狭角图像的缩略图。并排配置的图像数量，在一个方向上是2张、3张、4张等可变的。
[0406]
[地图显示模式]
[0407]
图41作为变形例示出了设置地图显示模式作为显示模式之一的情况下的显示画面。摄像装置1通过通信网络4从外部取得地图信息，或者使用预先在内部保持的地图信息。摄像装置1在显示画面401内的背景区域50中显示地图信息作为与地图显示模式对应的画面。摄像装置1基于对象图像即第1图像和第2图像的元数据22的位置信息，在背景区域50的地图上，显示表示各对象图像的图形。例如，在中心的点p0，显示了缩略图作为表示拍摄地点是该位置的第1图像即图像m1的图形621。该图形621也可以是透过框或标记。另外，在位于点p0附近的各点，例如用标记显示了表示在该位置拍摄的第2图像的图形。例如，在点pm2显示了表示第2图像即图像m2的标记622。该多个图像是位于规定的距离范围内的关联的图像。在该画面中，能够与用户的规定的操作相应地，切换至其他显示模式的画面。另外，在该画面中，对要求的位置的图形进行了选择操作的情况下，可以用第3显示模式的第3画面详细显示，也可以在该位置显示缩略图。
[0408]
[关联方式]
[0409]
作为关联方式，在实施方式4中，与实施方式1同样地，摄像装置1使用第1方式，显示装置2使用第2方式。
[0410]
[处理流程(1)]
[0411]
实施方式4的摄像装置1和显示装置2的处理流程与上述图14是同样的。
[0412]
[处理流程(2)]
[0413]
图42表示实施方式4的摄像装置1或显示装置2中的、图像的再现显示时的控制处理的流程。图42的控制对应于如图30所示地使显示模式转变的控制。图42具有步骤s401～s409。以下按步骤的顺序进行说明。以下用摄像装置1是主体的情况进行说明，但显示装置2是主体的情况也是同样的。
[0414]
(s401)控制部101基于用户操作，通过显示控制部12，在显示装置104的显示部41的显示画面401中，如图30所示地显示第1显示模式的第1画面。显示控制部12与用户输入操作相应地，接受第1画面内的图像的选择等。将选择出的图像作为基准侧的第1图像。
[0415]
(s402)显示控制部12根据第1方式还是第2方式进行分支。第2方式的情况下前进至s403，第1方式的情况下前进至s405。即，实施方式4的摄像装置1的情况下因为是第1方式所以前进至s405，显示装置2的情况下因为是第2方式所以前进至s403。
[0416]
(s403)显示控制部12在再现显示前，使用关联部15进行多个图像的关联处理。
[0417]
(s404)显示控制部12在s403之后，在存在与第1图像关联的第2图像的情况下，读
取该第2图像的图像数据23。
[0418]
(s405)第1方式的情况下，已经进行了关联处理。显示控制部12参照第1图像的图像文件24的元数据22或管理信息21中的关联信息，确认关联。显示控制部12读取与第1图像关联的第2图像的图像数据23。
[0419]
(s406)显示控制部12使用s404或s405的结果的图像数据23，在显示画面中用第2显示模式显示包括第1图像和第2图像的多个图像。即，显示控制部12如图30的第2画面的例子所示地，在背景区域50上的中心位置显示第1图像的图形，在其周围显示第2图像的图形。显示控制部12与用户输入操作相应地，接受第2画面内的第1图像和第2图像的图形的选择等。例如，在仅阅览第1图像的情况或仅阅览第2图像的情况下，选择操作对应的图形。返回至第1画面的情况下，进行规定的操作。
[0420]
(s407)显示控制部12根据是在第2显示模式的第2画面中选择了第1图像或第2图像的图形、还是进行了返回等操作，进行分支。选择了第1图像或第2图像的情况下前进至s408。是其他操作、例如按下返回按钮、第1显示模式指定、背景区域50的触击等操作的情况下返回至s401。
[0421]
(s408)显示控制部12使用与s407中选择出的图形对应的图像的图像数据23，用第3显示模式在第3画面中详细显示该图像。显示控制部12接受第3画面中的用户输入操作。例如，返回至第2画面的情况下，进行按下返回按钮、第2显示模式指定、图像区域的触击等。
[0422]
(s409)显示控制部12在第3显示模式的第3画面中发生了返回等操作的情况下，如a1所示返回至s406，没有发生的情况下，在s408中继续第3显示模式的显示。另外，也可以从第3显示模式起，与规定的操作相应地，返回至第1显示模式的第1画面。
[0423]
[关联处理(1)]
[0424]
关联部15进行多个图像的关联处理。关联处理与上述同样地包括第1处理、第2处理。第1处理与上述同样地具有第1选择方式、第2选择方式、第3选择方式等。实施方式1中，使用第1选择方式。变形例中，使用第2选择方式或第3选择方式。
[0425]
[第1选择方式－拍摄场所]
[0426]
第1选择方式与上述图16是同样的。关联部15以第1图像为基准，取表示第1图像的拍摄场所的位置1601为中心点。关联部15将位置包括在位置范围1600内的第2图像判断为在与第1图像大致相同的拍摄场所拍摄的图像，选择为关联的候选。作为用于判断同一拍摄场所的手段，不限于使用gps位置信息的方式，也能够应用使用bluetooth(注册商标)等近距离通信接口的位置信息的方式、和使用室内测位系统等的位置信息的方式等。例如，在设施等中，设置了与近距离通信接口对应的设备，摄像装置1通过与该设备的通信取得位置信息。由此，能够高精度地得知位置。
[0427]
[第2选择方式－拍摄日期时间]
[0428]
第2选择方式与上述图17是同样的。关联部15以第1图像为基准，取表示第1图像的拍摄日期时间的时刻t1。关联部15将拍摄日期时间包括在日期时间范围170内的第2图像判断为在与第1图像拍摄日期时间大致相同，选择为关联的候选。
[0429]
[第3选择方式－设定字符串]
[0430]
第3选择方式与上述图18是同样的。关联部15将相对于第1图像的设定字符串、判断为设定字符串大致相同的第2图像选择为关联的候选。
[0431]
[第4选择方式－被摄体的种类]
[0432]
作为其他选择方式也能够是以下的第4选择方式。摄像装置1通过图像识别处理，判断被摄体的种类。被摄体的种类可以列举风景、建筑物、人物、动物等。能够判断的被摄体的种类，取决于图像识别处理的精度等。摄像装置1与判断的被摄体的种类相应地，将具有相同的被摄体的种类的多个图像推定为具有关系的组，选择为候选。
[0433]
另外，摄像装置1也可以将判断的被摄体的种类用作用于判断多个图像的关系的基准。摄像装置1与被摄体的种类相应地，例如调整作为第1选择方式的阈值的位置范围等。例如，被摄体的种类是风景的情况下，即使焦距较大、拍摄地点的位置的差异较大，图像变化的影响也较小。因此，该情况下，将位置范围设定为相对较大。由此，关联该较大的位置范围内包含的图像组。被摄体的种类是人物的情况下，焦距较小、拍摄地点的位置的差异较大时，对图像变化的影响较大。因此，该情况下，将位置范围设定为相对较小。
[0434]
同样，摄像装置1也可以与到被摄体的距离的判断、和拍摄模式的不同相应地，调整位置范围等的阈值。例如，拍摄模式被设定为适合风景拍摄的微距模式等的情况下，使作为阈值的位置范围相对地增大。
[0435]
[关联处理(2)]
[0436]
第2处理如下所述。关联部15参照各图像文件24的元数据22或管理信息21中的拍摄方向和视野角的信息。关联部15作为第1条件，判断在作为基准的第1图像的视野角{水平视野角ah，垂直视野角av}的范围内，是否包括候选的图像的拍摄方向(方位角θ，仰角φ)。关联部15将满足该第1条件的图像决定为关联的图像。另外，关联部15也可以作为第2条件，判断在向作为基准的第1图像的视野角{水平视野角ah，垂直视野角av}的范围外延长的、规定的视野角范围内，是否包括候选的图像的拍摄方向(方位角θ，仰角φ)。关联部15将满足该第2条件的图像决定为关联的图像。在第2处理中，应用第1条件或第2条件。
[0437]
满足第1条件的例子如下所述。作为第1图像的例子采用图28的广角图像即图像5d。图像5d的水平视野角ahd是120
°
，该水平视野角ahd的拍摄范围704右端位置是70
°
，左端位置是
‑
50
°
。在该拍摄范围704内，包括了图像5b的拍摄方向7b的方位角θb＝45
°
、和图像5c的拍摄方向7c的方位角θc＝
‑
20
°
。另外，虽然未图示，但在图像5d的垂直视野角avd的范围内，包括了图像5b的拍摄方向7b的仰角φb、和图像5c的拍摄方向7c的仰角φc。由此，满足第1条件，对图像5d关联图像5b和图像5c。
[0438]
图43表示关于判断多个图像的关系时的第1条件、第2条件等的说明图。在显示画面401内的整体的背景区域50中，设与方位角θ对应的画面内水平方向为x方向，与仰角φ对应的画面内垂直方向为y方向。设显示画面401的x方向的横宽为w，y方向的纵宽为h。用位置坐标(x0，y0)表示显示画面401的中心的点p0。在显示画面401整体中设定了相同大小以上的背景区域50。
[0439]
作为基准即第1图像，以第1狭角图像即图像q1为例。将与图像q1的拍摄方向(θ，φ)对应的点作为中心点p1。本例中，设中心点p1的(θ，φ)为(0
°
，0
°
)。表示图像q1的图形271以中心点p1与点p0对齐的方式配置。图形271此处是矩形，用实线框表示。设图像q1的水平视野角ah1为21
°
，垂直视野角av1为14
°
。图像q1的图形271具有与其水平视野角ah1对应的水平尺寸sh1、和与垂直视野角av1对应的垂直尺寸sv1。用位置x11表示图形271的x方向右端，用位置x12表示左端，分别在方位角θ上是10.5
°
、
‑
10.5
°
。用位置y11表示图形271的y
方向上端，用位置y12表示下端，分别在仰角φ上是7
°
、
‑7°
。
[0440]
作为第2图像，以第2狭角图像即图像q2为例。将与图像q2的拍摄方向(θ，φ)对应的点作为中心点p2。本例中，设中心点p2的(θ，φ)为(16
°
，
‑6°
)。表示图像q2的图形272被配置在中心点p2，同样用实线框表示。图像q2的水平视野角ah2和垂直视野角av2与图像q1同样是21
°
、14
°
。图像q2的图形272具有与其水平视野角ah2对应的水平尺寸sh2、和与垂直视野角av2对应的垂直尺寸sv2。用位置x21表示图形272的x方向右端，用位置x22表示左端，分别在方位角θ上是26.5
°
、5.5
°
。用位置y21表示图形272的y方向上端，用位置y22表示下端，分别在仰角φ上是1
°
、
‑
13
°
。
[0441]
作为第1条件的例子，设为在以图像q1的拍摄方向为中心的水平视野角ah1和垂直视野角av1的范围内，包括图像q2的拍摄方向(θ，φ)，换言之是在图像q1的水平尺寸和垂直尺寸的范围内，包括图像q2的中心点p2。特别是，需要方位角θ和仰角φ双方满足条件。本例中，图像q2的方位角θ＝16
°
，处于图像q1的水平视野角ah1的范围(
‑
10.5
°
～10.5
°
)之外，仰角φ＝
‑6°
处于垂直视野角av1的范围(
‑7°
～7
°
)之内。因此，图像q2不满足第1条件。
[0442]
为了第2条件，在以第1图像即图像q1的拍摄方向为中心的水平视野角ah1和垂直视野角av1的范围外，设定延长的阈值范围273。用虚线框表示阈值范围273。阈值范围273可以是实现上的固定的设定值，也可以是用户设定值。阈值范围273特别可以是与背景区域50的大小一致的。另外，特别是，阈值范围273可以是基于第1图像的视野角的大小、根据规定的计算式得到的范围、例如加上规定的视野角的范围、或者乘以规定比率的范围。本例中，阈值范围273是相对于第1图像的视野角的范围3倍大小的范围，是水平视野角aht＝63
°
，垂直视野角avt＝42
°
。阈值范围273的x方向右端是位置x31，左端是位置x32，在方位角θ上是31.5
°
、
‑
31.5
°
。阈值范围273的y方向上端是位置y31，下端是位置y32，在仰角φ上是21
°
、
‑
21
°
。
[0443]
作为第2条件的例子，设为在基于图像q1的视野角的阈值范围273内，包括了图像q2的拍摄方向(θ，φ)。特别是，需要方位角θ和仰角φ双方满足条件。本例中，图像q2的方位角θ＝16
°
处于阈值范围273的水平视野角aht的范围内，仰角φ＝
‑6°
处于垂直视野角avt的范围内。因此，图像q2满足第2条件。由此，在使用第2条件的情况下，图像q2与图像q1关联。
[0444]
作为其他条件也能够是以下所述。作为第3条件，设为在第1图像的视野角范围内，第2图像的视野角范围的一部分重叠。作为第4条件，设为在第1图像的视野角范围外的阈值范围内，第2图像的视野角范围的一部分重叠。例如，在图像q1的视野角范围内，图像q2的视野角范围的一部分重叠。换言之，图像q2的左端的位置x22比图像q1的右端的位置x11位于更左方。因此，对于图像q1关联图像q2。
[0445]
作为第5条件，设为第1图像的拍摄方向的角度(θ或φ)、与第2图像的拍摄方向的对应的角度(θ或φ)的差值在规定的阈值角度以内。换言之，是计算第1图像的中心点的位置坐标与第2图像的中心点的距离，该距离在规定的阈值距离以内。例如，图像q1的中心点p1与图像q2的中心点p2的方位角θ的差值dθ是16
°
，仰角φ的差值dφ是
‑6°
。设阈值角度为(dθt，dφt)。在dθ≤dθt的情况、或者dφ≤dφt的情况下，视为满足条件。
[0446]
在第1图像是广角图像的情况、和第2图像是广角图像的情况下，也能够同样地应用如上所述的条件进行关联的判断。另外，特别可以在第1图像是广角图像的情况下应用第1条件，在第1图像是狭角图像的情况下应用第2条件。这样，也可以是与图像的种类等相应
地选择条件的方式，和将多个条件组合应用的方式。
[0447]
[效果等]
[0448]
如上所述，根据实施方式4的摄像装置1和显示装置2，易于得知包括广角图像和狭角图像的多个图像的关系，能够实现更好的易用性。在显示画面中，例如在广角图像的附近，自动地重叠显示具有关系的狭角图像，所以用户对于具有关系的多个图像能够容易地辨认、能够直观地得知、能够适当地阅览。用户也易于得知广角图像与狭角图像的关系。用户从阅览第1图像的状态起，能够迅速地参照具有关系的第2图像。用户能够切换显示模式同时适当地阅览大量的图像。
[0449]
可以列举以下实施方式4的变形例。实施方式4中也能够是与实施方式1同样的各种变形例。
[0450]
[变形例(1)－第2画面]
[0451]
图44表示实施方式4的变形例的摄像装置1中的第2显示模式的第2画面的例子。与图20的例子同样，在显示画面401内，具有主要区域281、和主要区域281以外的区域、本例中是右边区域282和下边区域283。在主要区域281中，在背景区域上，在中心位置显示缩略图作为第1图像的图形284，在其周围显示关联的第2图像的图形。第1图像和第2图像的图形也可以与图像的种类和拍摄日期时间等的不同相应地显示不同的图形。本例中，对标记附加了识别编号。在第1图像的缩略图中，一同显示了识别编号是1的标记。作为第2图像的图形，显示了识别编号是2以下的标记。
[0452]
[变形例(2)－倾斜操作]
[0453]
作为变形例，使用拍摄方向测量部111的传感器等检测出表示摄像装置1的壳体的倾斜和旋转的倾斜角度。摄像装置1与检测出的倾斜角度的状态相应地，控制显示模式的切换、和第2画面内的多个图像的滚动等。能够与规定的操作相应地，切换该功能有效的显示模式和无效的显示模式。通常，在无效的显示模式中，不依赖于摄像装置1的倾斜角度地，固定显示第2画面的显示内容。然后，能够与上述规定的操作相应地，通过滚动和放大缩小等变更显示状态。
[0454]
图45表示在有效的显示模式中，摄像装置1的壳体400的显示画面401被配置在x
‑
z面的状态。对于壳体400和显示画面401的方向，示出了关于y轴的倾斜操作及其倾斜角度291、和关于x轴的倾斜操作及其倾斜角度292。作为第2画面的例子，示出了与图30的第2画面同样的例子。在第2画面的背景区域50上，在中央显示了第1图像的图形61，在附近显示了第2图像的图形62。
[0455]
在该状态下，作为用户操作，进行使壳体400倾斜的操作。例如，进行关于y轴的向右侧的正方向倾斜的操作。摄像装置1检测出此时的倾斜角度291，与该倾斜角度291相应地，通过向右方向的滚动变更第2画面内的显示状态。由此，在第2画面内各图像向左方向移动，与此同时位于画面外的右方的信息被显示在画面内。在该显示模式中，用户仅用倾斜操作就能够容易地变更显示状态，能够不费力地阅览多个图像。同样，也可以是与倾斜操作相应地控制放大缩小的方式。
[0456]
[变形例(3)－外部设备协作]
[0457]
作为变形例，与实施方式1的变形例同样地，能够是进行外部设备协作的摄像装置1和显示装置2、摄像显示系统。例如，摄像装置1和显示装置2可以采用在对外部设备发送图
像文件24之前进行关联的方式、和在从外部设备接收图像文件24之后进行关联的方式。
[0458]
(实施方式5)
[0459]
用图46对于本发明的实施方式5的摄像装置和显示装置进行说明。以下，对于实施方式5的结构中的与实施方式4的结构不同的部分进行说明。实施方式5的摄像装置1中，与实施方式3同样地，设置用于进行多个图像的关联的特有的拍摄模式。
[0460]
[拍摄模式]
[0461]
实施方式5的摄像装置1作为拍摄模式具有通常的拍摄模式即第1拍摄模式、和用于进行关联的组拍摄模式即第2拍摄模式。摄像装置1基于用户输入操作和用户设定，进行拍摄模式的切换。用户通过操作输入部105等，在任意的时机进行切换第1拍摄模式和第2拍摄模式的规定的操作。
[0462]
实施方式5的摄像装置1中的、时间轴上的拍摄模式的切换等，与上述图26是同样的。用户在要求的时机、例如时刻t2进行从第1拍摄模式切换至第2拍摄模式的操作。摄像装置1在第2拍摄模式的状态下，将在该期间中拍摄的各个图像作为对象，自动地关联为组。例如，在第2拍摄模式中的时刻t1～t4分别拍摄了图像。控制部101用关联部15对于这些图像进行关联处理，在元数据22或管理信息21中记载关联信息。本例中，时刻t1～t4的各图像被关联为1个组。在这些图像的图像文件24或管理信息21中记载组识别符。
[0463]
用户在要求的时机、例如时刻t4进行从第2拍摄模式切换至第1拍摄模式的操作。摄像装置1对于在第1拍摄模式中拍摄的各个图像、例如在时刻t12拍摄的图像，不进行关联。控制部101也可以在返回至第1拍摄模式的时刻执行关联处理。显示控制部12在再现显示时，基于对图像文件24和管理信息21中的组识别符等的参照，确认关联并进行关联显示。
[0464]
[菜单画面]
[0465]
图46作为摄像装置1的显示画面的例子示出了关于拍摄模式的菜单画面。该菜单画面例如通过按下图4的十字键433的中心按钮而显示。该菜单画面具有拍摄菜单311、再现菜单312、设定菜单313。拍摄菜单311具有关于拍摄模式的设定项目，再现菜单312具有关于再现显示模式的设定项目，设定菜单313具有设定模式的设定项目。各模式的各设定项目中能够由用户设定。例如，在拍摄菜单311中，作为设定项目，具有组拍摄314、尺寸、画质、对焦模式、手抖补正等。尺寸和画质等是公知的设定项目。
[0466]
用户在菜单画面中，通过与触击等操作相应地，选择拍摄菜单311的组拍摄314的设定项目，选择on按钮，而将组拍摄模式设定为拍摄模式。选择了off按钮的情况下解除组拍摄模式。组拍摄模式的on/off也可以用专用的硬件按钮实现。另外，摄像装置1在组拍摄模式的on状态下电源off的情况下，也可以自动地将组拍摄模式切换为off状态。另外，摄像装置1也可以在从组拍摄模式成为on状态的时刻、或用拍摄模式拍摄了图像的时刻起经过了规定时间的情况下，自动地将组拍摄模式切换为off状态。
[0467]
[效果等]
[0468]
如上所述，根据实施方式5，用户能够按自己的判断切换拍摄模式而容易地将多个图像关联。
[0469]
(实施方式6)
[0470]
用图47和图48对于本发明的实施方式6的摄像装置和显示装置进行说明。以下，对于实施方式6的结构中的与实施方式4的结构不同的部分进行说明。实施方式6的摄像装置1
中，具有在拍摄模式中显示在显示画面中的监视图像中，关联地显示已拍摄的图像的功能。通过该功能，实现辅助用户进行的包括决定拍摄方向等的拍摄动作的辅助功能。另外，特别在实施方式6中，同时使用实施方式5的组拍摄模式。作为拍摄模式，在组拍摄模式中，显示监视图像，同时将已拍摄的图像作为第2图像关联地显示。
[0471]
[拍摄监视]
[0472]
图47表示实施方式6中、第1监视方式中的上述图4的evf403的显示画面404。显示控制部12在显示画面404中显示拍摄模式的监视图像，同时显示关联的图像。在第1监视方式中，将监视图像视为背景区域50和第1图像，在监视图像上显示第2图像的图形。摄像装置1与显示画面404的整体的背景区域50对应地，显示与拍摄中的拍摄方向和视野角等相应的监视图像411。显示画面404的中心的点p0与监视图像411的中心点一致。
[0473]
用户设为组拍摄模式并开始拍摄。摄像装置1与规定的操作相应地设为组拍摄模式。摄像装置1与实施方式5同样地，将在组拍摄模式中拍摄的图像关联为组，将关联的第2图像的信息保持在存储部102等中。
[0474]
显示控制部12，将监视图像411作为第1图像，判断关联的第2图像。特别是，关联在组拍摄模式中已拍摄的第2图像。显示控制部12在监视图像和该第2图像中，判断关于拍摄方向和视野角的条件，决定是否将该第2图像作为显示对象。此时的条件，能够应用与实施方式1同样的条件。显示控制部12例如使用第1条件，在监视图像411的视野角范围内包含第2图像的拍摄方向(θ，φ)的情况下，将该第2图像决定为显示对象。
[0475]
显示控制部12将表示显示对象的第2图像的图形重叠显示在监视图像411的区域内。本例中，采用标记作为图形。在点ps1，存在第2图像即图像s1的拍摄方向，显示了表示图像s1的标记321。在点ps2，存在第2图像即图像s2的拍摄方向，显示了表示图像s2的标记322。用户通过监视图像411内的标记，能够容易地辨认监视图像的视野角内的已拍摄图像的有无和位置。用户能够基于该辨认，决定新拍摄的图像的适合的拍摄方向和视野角等。
[0476]
图48作为变形例示出了第2监视方式的显示画面的例子。在第2监视方式中，在显示画面404的背景区域50内，将监视图像412作为第1图像显示，在监视图像412内及其周边，显示第2图像的图形。在显示画面404的中心的点p0，显示比显示画面404更小的大小的监视图像412。监视图像412的大小也可以与视野角等的状态相应地变更。显示控制部12对于监视图像412同样地判断第2图像的关联和条件，显示第2图像的图形。显示控制部12例如使用第2条件，在向监视图像412的视野角范围外延长的阈值范围内，包括了第2图像的拍摄方向或视野角的一部分的情况下，将该第2图像作为显示对象。本例中，在点ps3，存在第2图像即图像s3的拍摄方向，显示了表示图像s3的透过框331。另外，在显示画面404外的背景区域50上的未图示的点，存在第2图像的图像s4，在显示画面404内显示了表示图像s4的透过框332的一部分。图像s4是广角图像。用户通过监视图像412附近的透过框，能够容易地辨认监视图像412的视野角附近的已拍摄图像的有无和位置和视野角，能够决定新的图像的适合的拍摄方向和视野角。
[0477]
另外，在如图48所示的监视图像412的显示状态下决定了拍摄方向等之后，执行拍摄时，也可以基于规定的输入操作，转变至如图47所示地在显示画面404的整体中显示监视图像411的状态。另外，也可以与规定的输入操作相应地，切换第2图像的图形的显示和非显示。另外，对于是否这样在监视图像中进行关联显示，能够与用户设定相应地变更。也可以
在监视图像的显示画面内，设置显示模式切换按钮等。
[0478]
另外，也可以通过用触击和捏动等规定的操作选择在显示画面404中在监视图像中关联显示的表示已拍摄的第2图像的图形，而能够指示再次拍摄。摄像装置1对于指示了再次拍摄的第2图像，在显示画面404内放大而作为新的监视图像显示，并且自动地进行变焦控制而调整焦点等。摄像装置1以该状态的拍摄方向和视野角执行拍摄。
[0479]
[效果等]
[0480]
如上所述，根据实施方式6，通过辅助功能，用户能够容易地在监视图像中辨认已拍摄图像的有无和位置等，用户易于用已拍摄图像作为参考，决定关于接下来拍摄的图像的适合的拍摄方向和视野角等。用户例如能够选择未拍摄的拍摄方向和视野角进行拍摄。
[0481]
可以列举以下实施方式6的变形例。作为变形例，在触摸面板的显示画面401中也能够与上述同样地应用。另外，作为变形例，能够不限于与组拍摄模式同时使用地实现，在监视图像的显示中，与实施方式4同样地进行关联的确认处理等即可。另外，也可以使监视图像与第2图像的关联成为暂时的关联，在监视图像的显示结束后自动地解除关联。
[0482]
(实施方式7)
[0483]
用图49和图50对于本发明的实施方式7的摄像装置和显示装置进行说明。以下，对于实施方式7的结构中的与实施方式4的结构不同的部分进行说明。实施方式7中，与上述实施方式1的变形例同样地具有图像的编辑功能。该编辑功能是用户能够判断并手动地设定、编辑多个图像的关联的功能。用户能够使用编辑功能，在显示画面内进行关联的图像的追加和删除和变更。另外，作为编辑功能，具有通过裁剪生成合成图像的功能。
[0484]
[编辑功能(1)]
[0485]
图49表示摄像装置1的第2显示模式的第2画面的例子。以下示出了具有编辑功能的摄像装置1的情况，但具有编辑功能的显示装置2的情况也是同样的。能够与用户操作相应地，切换编辑有效的on状态和无效的off状态。摄像装置1在on状态的情况下，在第2显示模式的第2画面中，基于用户输入操作可变地设定对于第1图像的第2图像的关联、和第2图像的图形的显示位置等。控制部101将第2图像的图形的显示位置作为元数据22或管理信息21之一保存和管理。控制部101在再现显示时，参照该信息决定图形的显示位置。
[0486]
本例中，示出了显示透过框作为第2图像的图形的情况。最初，摄像装置1与实施方式4同样地，在背景区域50上自动地决定第1图像和第2图像的图形的显示位置并显示。例如，在中心的点p0，显示了第1图像的图形341即缩略图。另外，作为第2图像，在点p2a显示了某一狭角图像的图形342a即透过框。用户想要变更第2图像的图形的显示位置的情况下，例如触摸该图形并使其移动至要求的位置。控制部101以按照该用户操作使该图形的显示位置移动的方式更新显示状态。本例中，将图形342a的透过框的移动后的状态表示为位于移动后的点p2b的图形342b。控制部101将第2图像的图形的移动后的位置保存为新的显示位置。
[0487]
另外，作为编辑功能，具有追加关联的第2图像的功能、和解除第2图像的关联的功能。追加的情况下，用户触摸背景区域50上的要求的位置、例如点p3，按下弹出区域的追加按钮，选择追加的第2图像。控制部101在该位置显示关于选择出的第2图像的图形，保存显示位置，进行第1图像与该第2图像的关联。
[0488]
解除的情况下，用户选择在背景区域50上显示的第2图像的图形，指定解除。例如，
用户触摸位于点p4的图形344，按下弹出区域的解除按钮。控制部101解除指定了解除的该第2图像与第1图像的关联，消去其图形的显示。
[0489]
[编辑功能(2)]
[0490]
进而，作为编辑功能，具有通过裁剪生成合成图像的功能。通过该功能，能够生成具有比原图像更大的视野角的全景图像、和生成具有比原图像更小的视野角的图像等。首先，与实施方式4等同样地，摄像装置1得到拍摄的多个图像的图像文件24等。摄像装置1在上述第2显示模式的第2画面中，关联显示多个图像，与用户操作相应地使编辑功能的裁剪功能成为on状态。切换能够通过显示模式切换按钮和再现菜单中的模式选择等进行。
[0491]
图50的上侧是编辑功能的裁剪功能的on状态下的第2画面的显示例，显示了图像v1、v2、v3、v4这4张图像。以在背景区域50的中心的点p0配置第1图像即图像v1的中心点pv1的方式，显示了表示图像v1的图形351即缩略图。在图像v1的缩略图周围，在点pv2显示了第2图像即图像v2的图形352即缩略图，在点pv3显示了图像v3的图形353即缩略图，在点pv4显示了图像v4的图形354即缩略图。
[0492]
另外，本例中，各图像的缩略图具有重叠的部分，用虚线表示了重叠的部分的框线。对于重叠的部分，与多个图像的上下的配置相应地，显示位于上侧的图像的缩略图的部分。图像的上下的配置，例如将第1图像显示在最上层，在其下层显示第2图像。多个第2图像例如按与拍摄日期时间相应的顺序或由用户指定的顺序配置在上下层。能够与图像的选择操作等相应地变更多个图像的上下配置关系。本例中，从上层起顺序配置了图像v1、v2、v3、v4。在该状态下与用户操作相应地进行要求的滚动和放大缩小。例如，通过滚动，以图像v1的点pv1移动至点pv1b的方式，将整体移动。
[0493]
图50的下侧表示显示状态的变更后的第2画面。在该第2画面中，在背景区域50上，在多个图像的更上层，显示裁剪框350。裁剪框350能够与用户操作、例如触摸并拖动的操作等相应地，变更位置和纵横的尺寸、旋转角等。用户在图像上的要求的位置配置要求的状态的裁剪框350。在该状态下，能够通过规定的操作执行图像的裁剪。规定的操作例如是按下快门按钮、裁剪执行指定输入等。由此，摄像装置1新生成包括在该裁剪框350内包括的图像的视野角范围的裁剪图像的图像数据，存储在存储部102等中。
[0494]
摄像装置1在执行裁剪时，如本例所示在裁剪框350内跨多个图像包括了各视野角范围的情况下，将该多个图像的视野角范围合成，生成为1张裁剪图像。生成裁剪图像时，摄像装置1将与各图像(v1，v2，v3)对应的图像数据23读取至存储器133，通过公知的图像处理即拼接处理等合成。由此，得到与裁剪框350对应的合成图像。本例中，作为合成图像，得到具有与裁剪框350的横向尺寸对应的水平视野角的全景图像。不限于上述例子，能够通过裁剪生成从广角图像的视野角范围中截取要求的视野角范围的图像等。
[0495]
[效果等]
[0496]
如上所述，根据实施方式7，通过编辑功能，用户对于第2显示模式的多个图像的关联显示，能够自由地编辑为自己易于观看的状态和易于理解的状态。另外，现有技术中，例如想要生成全景图像的情况下，需要在摇动摄像机的同时进行拍摄等操作。与此相对，根据实施方式7，通过编辑功能，用户能够在确认拍摄后的多个图像的同时，容易地得到要求的全景图像和要求的视野角的图像。
[0497]
(实施方式8)
[0498]
对于本发明的实施方式8的摄像装置和显示装置进行说明。以下，对于实施方式8的结构中的与实施方式4的结构不同的部分进行说明。实施方式8的摄像装置1中，与实施方式2同样地，具有拍摄全天球图像作为广角图像的功能，具有将该广角图像作为第1图像或第2图像关联显示的功能。
[0499]
实施方式8中的全天球图像与上述图22是同样的。摄像装置1中的关于摄像部103的部分的结构与上述图23是同样的。摄像装置1的实现例的外观与上述图24是同样的。第3摄像部103c的透镜部32c具有能够拍摄正面的水平方向和垂直方向上不足180
°
的设定的视野角(例如50度程度的一般的视野角)中的狭角图像6c的第3透镜。用摄像部103c拍摄时的视野角，能够在规定的视野角范围内基于用户操作设定。例如，假设拍摄具有50
°
作为水平视野角ah的狭角图像6c。
[0500]
[第2显示模式－第2画面]
[0501]
实施方式8中，与实施方式4等同样地，在第2显示模式的第2画面中，在背景区域50上，关联显示第1图像和第2图像。此时，在实施方式8中，作为第1图像和第2图像，能够应用全天球图像或半天球图像。例如，使用与图38同样的形式的第2画面显示的情况下，第1图像是全天球图像的情况下，在圆形的背景区域50中直接显示与该全天球图像的拍摄方向对应的半天球部分。
[0502]
[效果等]
[0503]
如上所述，根据实施方式8，在显示全天球图像等作为广角图像时，能够关联显示包括具有关系的狭角图像的多个图像，用户易于得知多个图像的关系。
[0504]
作为实施方式8的变形例，能够是以下所述。在第2画面中显示全天球图像时，也可以不是以圆形，而是与图36同样地转换为具有360
°
的水平视野角的矩形的区域进行显示。另外，作为变形例，也可以使全天球图像成为缩小的圆形，在背景区域50内显示。
[0505]
以上基于实施方式具体地说明了本发明，但本发明不限定于上述实施方式，能够在不脱离其主旨的范围中进行各种变更。对于本发明的功能等，可以用集成电路等硬件实现一部分或全部，也可以用软件程序处理实现。
[0506]
附图标记的说明
[0507]1…
摄像装置
[0508]2…
显示装置
[0509]3…
服务器
[0510]4…
通信网络
[0511]
11
…
摄像控制部
[0512]
12
…
显示控制部
[0513]
13
…
触摸检测部
[0514]
14
…
设定部
[0515]
15
…
关联部
[0516]
21
…
管理信息
[0517]
22
…
元数据
[0518]
23
…
图像数据
[0519]
24
…
图像文件
[0520]
101
…
控制部
[0521]
102
…
存储部
[0522]
103
…
摄像部
[0523]
104
…
显示装置
[0524]
105
…
操作输入部
[0525]
106
…
记录部
[0526]
107
…
记录介质
[0527]
108
…
通信接口部
[0528]
111
…
拍摄方向测量部
[0529]
112
…
内部时钟
[0530]
113
…
位置检测部
[0531]
131
…
接口电路部
[0532]
132
…
信号处理部
[0533]
133
…
存储器
[0534]
901
…
第1图像
[0535]
902、903
…
图形
[0536]
904
…
第2图像。