图像处理设备、图像处理方法、计算机程序和存储介质与流程

1.本发明涉及能够合成多个图像或再现合成图像的图像处理设备等。


背景技术：

2.诸如数字照相机或具有照相机的移动终端等的摄像设备可以将摄像条件等添加至通过摄像所获得的图像数据的属性信息，并将图像数据记录为一个图像文件。专利文献1公开一种技术，其中，当记录从用于在摄像期间合成多个图像的多重曝光摄像获得的合成图像数据时，将多重曝光频率记录在文件头部中作为元数据。在专利文献1中，判断图像数据是否来自使用多重曝光频率通过多重曝光摄像而获得的图像。
3.[引文列表]
[0004]
[专利文献]
[0005]
专利文献1：日本专利特开2012
‑
094978


技术实现要素：

[0006]
[技术问题]
[0007]
然而，在上述现有技术中，仅可能识别是否已在涉及称为多重曝光摄像的一个合成处理的摄像模式中拍摄图像。未考虑在涉及各种合成处理的摄像模式中生成或通过各种合成处理序列生成的图像或者用于识别图像的属性信息的通用附带信息。
[0008]
本发明是针对该问题而做出的，并且提供能够根据合成处理的存在或不存在或类型适当地判断和处理图像的图像处理设备。
[0009]
[问题的解决方案]
[0010]
为了解决该问题，根据本发明的一个方面，提供一种图像处理设备，包括：合成部件，用于合成多个拍摄图像以生成合成图像；记录控制部件，用于将所述拍摄图像或所述合成图像作为记录图像记录在记录单元中；以及判断部件，用于判断摄像模式或由所述合成部件执行的合成方法，其中，所述记录控制部件将基于判断的结果而确定的类型数据与根据所述判断部件所判断的摄像模式或合成方法拍摄或合成的记录图像相关联地记录。
[0011]
[发明的有利效果]
[0012]
根据本发明，可以提供能够根据合成处理的存在或不存在或类型适当地判断和处理图像的图像处理设备。
附图说明
[0013]
图1是本实施例的图像处理设备的结构框图。
[0014]
图2是示出图像数据文件的数据结构的示例的图。
[0015]
图3是示出合成信息部分的数据结构的示例的图。
[0016]
图4是实施例中的图像处理设备中的整个流程图。
[0017]
图5是与实施例中的摄像模式相对应的流程图。
[0018]
图6是与实施例中的再现模式相对应的流程图。
[0019]
图7是示出实施例中的图像列表显示示例的图。
具体实施方式
[0020]
在后文中，将参考附图描述本发明的实施例。将摄像设备的示例描述为与本发明的实施例相关的图像处理设备。然而，图像处理设备包括诸如个人计算机、数字照相机以及数字电影照相机等的通用图像处理设备(在后文中称为pc)。本发明的图像处理设备可以应用于能够显示图像文件列表的诸如移动电话、智能电话、所谓的平板终端和汽车导航设备等的任何设备，并且包括其产品形式。
[0021]
图1是示出作为本实施例的图像处理设备的示例的摄像设备100的功能结构的框图。控制单元101包括作为计算机的中央处理单元(cpu)，并且用作用于控制整个摄像设备的控制部件。
[0022]
控制单元101从作为存储介质的只读存储器(rom)102读取用于操作摄像设备100的各构成部的计算机程序，将该计算机程序加载到随机存取存储器(ram)103，并执行该计算机程序。
[0023]
rom 102是可重写非易失性存储器，并且除了存储由cpu执行的操作程序之外，还存储操作摄像设备100的各构成部所需的参数等。ram 103是可重写易失性存储器，并且用作暂时存储通过操作摄像设备100的各构成部而输出的数据的区域。
[0024]
摄像光学系统104包括镜头、光圈和驱动此类光学构件的驱动单元，并且在摄像单元105中形成来自被摄体的光的图像。摄像单元105包括诸如电荷耦合器件(ccd)图像传感器或互补金属氧化物半导体(cmos)图像传感器等的摄像元件。摄像元件用作用于对摄像光学系统104所形成的光学图像执行光电转换以形成模拟图像信号并生成拍摄图像的摄像部件。
[0025]
模拟图像信号在摄像单元105的a/d转换器中通过模拟/数字(a/d)转换被转换为数字图像数据，并且将数字图像数据存储在ram 103中。在本实施例中，摄像部件包括在图像处理设备中，但是图像处理设备可以不包括摄像部件。
[0026]
图像处理单元107对存储在ram 103中的图像数据应用诸如白平衡调整、颜色插值、缩小/放大以及滤波等的各种图像处理。
[0027]
记录介质108是可拆卸地安装到摄像设备100的存储卡等，并且用作记录存储在ram 103中的图像数据的记录单元。控制单元101还用作用于将拍摄图像或合成图像记录在记录介质108上作为记录图像的记录控制部件。将由图像处理单元107处理的图像数据和在摄像单元105中经过a/d转换的图像数据等记录在记录介质108上作为记录图像数据。图像处理单元107根据基于在摄像单元105中的摄像期间预设的摄像模式的方法，执行用于合成通过摄像获得并从摄像单元105输出的多个图像数据的处理。
[0028]
例如，控制单元101根据表示用户通过使用操作单元111所设置的摄像模式的信号或基于在摄像期间由控制单元101从图像判断(获取)的摄像场景而定义的摄像模式，向图像处理单元107发出指示。响应于该指示，执行与摄像模式相对应的合成处理。控制单元101通过此时判断(获取)摄像模式来确定表示与合成相关的图像的类型的类型数据，并将确定的类型数据与通过图像处理单元107中的合成处理获得的合成图像的图像数据相关联地记
录在记录介质108上。
[0029]
例如，在本实施例中，生成根据通用标准(exif标准)配置头部信息的至少一部分的图像文件。类型数据被记录在符合头部信息的标准的数据区域中，因此，记录在图像文件的图像数据部分中的图像数据与类型数据彼此关联。
[0030]
图像处理单元107基于来自控制单元101的指示对多个输入图像数据执行合成处理。在这种情况下，作为合成对象的数据中的至少一些可以是从rom 102或记录介质108读取的数据。
[0031]
图像处理单元107根据用户通过使用操作单元111所设置的合成处理方法在再现期间合成记录在rom 102或记录介质108上的多个图像数据。稍后将描述各摄像模式及与其相对应的合成处理或再现期间的各种合成处理。
[0032]
显示单元109包括诸如液晶显示器(lcd)等的显示装置，并且对摄像单元105等所获取的拍摄图像执行直通图像显示。显示单元109显示诸如文本或图像等的数据或诸如菜单等的所谓的图形用户界面。
[0033]
距离图获取单元110通过例如根据飞行时间(tof)方法将信息创建为距离图或通过使用立体照相机来获取与被摄体的距离分布有关的信息。
[0034]
关于具有与距离图或拍摄图像相关的视差的图像之间的图像移位量分布或散焦量分布的数据表示被摄体的深度方向上的深度信息的分布。在后文中，表示深度信息的分布的数据将被称为距离图数据。获取的距离图数据作为数字数据存储在ram 103中。存在许多众所周知的图数据生成方法，并且可以使用其中任何一种。
[0035]
操作单元111包括按钮、拨盘、触摸面板以及滑动条等作为各种物理操作构件，并通过接收用户的操作来向控制单元101等输出指示信号。
[0036]
通信单元106是用于执行与外部设备的通信的无线lan接口等，但是可以采用诸如有线lan接口或usb接口等的任何类型的接口，只要该接口可以执行与外部设备的通信即可。图像文件可以经由通信单元106被发送至外部设备(例如，pc或智能电话)和从外部设备接收。
[0037]
(图像文件的数据结构)
[0038]
图2示出由摄像设备100生成和管理的图像文件的数据结构。
[0039]
在本实施例中，假定采用基于exif标准的文件格式。图像数据文件201例如在摄像单元105中的摄像期间生成、经由通信单元106获取或存储在记录介质108或rom 102中。当摄像设备100处理图像数据文件201时，图像数据文件201可以暂时复制到ram 103。
[0040]
图像数据文件201在其头部具有表示图像开始的标记soi(202)，然后具有应用标记app1(203)(app1区域)作为头部区域。
[0041]
应用标记app1(203)包括app1的大小(204)、app1的识别码(205)、表示创建图像的日期和时间的日期时间(206)、表示生成图像数据的日期和时间的原始日期时间(207)、表示图像之间的关系的关系信息(208)和摄像信息等(209)以及缩略图像(210)。
[0042]
ram 103中所存储的摄像日期和时间信息被存储在日期时间(206)和原始日期时间(207)中。关系信息(208)提供表示在例如要合成的多个拍摄图像之间存在关系的预定信息。预定信息可以是初始记录的相关图像的图像编号，并且可以是表示特定摄像模式的信息。
[0043]
摄像信息等(209)包括例如摄像日期和时间、摄像参数(曝光时间、光圈值、iso感光度、焦距以及辅助光源的存在或不存在)以及与本实施例相关的合成信息部分2091。合成信息部分2091存储本实施例中所生成和处理的合成相关信息。
[0044]
当前所记录的图像数据包括量化表dqt(212)、霍夫曼表dht(212)、帧开始标记sof(213)、扫描开始标记(214)以及存储压缩数据的图像数据部分215，并且以表示图像数据的末尾的标记eoi(216)终止。
[0045]
本实施例中所示的文件结构与exif标准的结构匹配，因此与exif标准兼容。然而，用于诸如本实施例的合成信息等的各种信息的记录结构不一定限于exif标准的结构。例如，图像可以记录在与图像数据文件201不同的文件中，并且可以记录在摄像设备100中所包括的特殊数据库中。
[0046]
图3示出存储在合成信息部分2091中的信息的示例。在本实施例中，后段的图像处理单元107、外部设备的应用或网络服务器等记录与本合成相关的各种信息，以基于本合成图像和与本合成图像相关的信息来执行合成处理的优化、复原或使用ai等的学习。信息中的至少一些存储在通用exif区域中，并且由于可获得与符合exif的各种设备的兼容性，因此可被通用应用来参考。
[0047]
在合成信息部分2091中配置有写入图像识别信息301、合成类型信息302、合成图像的源图像数信息303、合成图像信息304和合成图像的源图像信息305的各个区域。
[0048]
图像识别信息301是通常表示与合成相关的图像的类型的类型数据，并且存储诸如“非合成图像”、“一般合成图像”和“摄像期间获取的合成图像”等的分类信息中的任意一个。
[0049]“摄像期间获取的合成图像”是仅由在摄像期间从摄像传感器获取的一系列多个源图像(临时记录图像)(不必使用所有图像)合成的图像。“摄像期间获取的合成图像”是分配给在获取所有源图像时的摄像条件(光圈值、被摄体距离、光源和镜头焦距等)和被摄体范围(摄像视野)可被视为基本恒定的合成图像的分类。
[0050]
将“3”作为第一类型数据分配给“摄像期间获取的合成图像”。“一般合成图像”是分配给从多个拍摄图像(源图像)合成的合成图像的分类，并且合成方法不限于此。将“2”作为第二类型数据分配给“一般合成图像”。
[0051]“非合成图像”是分配给不能被视为分类为“一般合成图像”和“摄像期间获取的合成图像”的合成图像的图像(例如，被视为未合成的图像)的分类。将“1”作为类型数据分配给“非合成图像”。可以准备除上述“1”到“3”中的任何一个之外的值并用作图像识别信息301。例如，在不清楚要分配哪个分类的情况下，可以将“0”分配为类型数据。
[0052]
(各合成模式及其分类)
[0053]
接下来，将描述图像识别信息301被分配给通过在各种摄像模式中涉及合成处理而获得的图像或通过再现期间的各种合成处理而获得的合成图像的示例。
[0054]
在本实施例中，如上所述，在摄像期间用于合成的多个图像的摄像条件和视角基本相同的情况下，生成“3”作为第一类型数据。在用于合成的多个图像的摄像条件和视角其中之一实质上不同的情况下，生成“2”作为第二类型数据。在非合成的情况下，生成“1”作为第三类型数据。
[0055]
例如，存在如下的模式，其中作为多重拍摄系统(涉及在不同定时或使用不同摄像
光学系统进行多次摄像的摄像模式在下文中将称为多重拍摄系统)的合成的类型其中之一，在摄像期间执行高动态范围(hdr)合成。在摄像期间的hdr合成模式中，在多个源图像中存在诸如iso或快门速度等的摄像条件不能被视为恒定的图像。因此，将作为第二类型数据的“2”分配为图像识别信息。
[0056]
在摄像期间的hdr合成模式中，在多个源图像中，除iso或快门速度之外的摄像条件被视为基本恒定的图像可被分配有作为第一类型数据的“3”作为图像识别信息。在本文中，摄像期间的hdr合成模式是例如拍摄具有不同曝光(iso和快门速度等)的多个图像、使用不同伽马对各个图像进行显像并且对显像结果进行合成的模式。摄像期间的hdr合成模式是根据图像的亮度值从具有不同曝光条件的多个图像提取并合成适当图像的模式。
[0057]
即使在作为多重拍摄系统的合成的类型其中之一而在再现期间由图像处理设备或pc应用执行hdr处理的情况下(再现期间的hdr合成模式)，也将作为第二类型的“2”分配为图像识别信息。这是因为在摄像期间不合成图像。这也是因为在多个源图像中存在诸如iso或快门速度等的摄像条件不能被视为恒定的图像。这里，在再现期间由图像处理设备或pc应用等执行的hdr处理是例如根据曝光差用伽马对用户所选择的各图像进行显像并对显像结果进行合成的处理。
[0058]
对于以作为多重拍摄系统合成的类型其中之一而执行hdr绘画式摄像的hdr绘画式摄像模式获得的合成图像的情况，以与上述相同的方式将“2”分配为图像识别信息。hdr绘画式摄像是通过从具有不同曝光(iso和快门速度等)的多个图像执行灰度处理来生成具有绘画式氛围的合成图像的模式。
[0059]
作为合成的类型其中之一，同样在以拍摄多个图像并生成合成图像以实现多重拍摄降噪功能的摄像模式获得的合成图像的情况下，将“2”分配为图像识别信息。这是因为摄像条件可以视为恒定，但是该功能是基于手持摄像，并且各拍摄图像的视角可能由于照相机抖动等而不同，因此视角不能视为恒定。
[0060]
在拍摄多个图像并生成合成图像以实现多重拍摄降噪功能的摄像模式中，可以认为视角(被摄体的范围或摄像视野)和摄像条件能够视为基本恒定。因此，可以将“3”分配为图像识别信息。多重拍摄降低功能是在相同摄像条件下拍摄的多个图像基于检测到的抖动量而对齐、然后合成以获得具有降低的噪声的合成图像、并且在被摄体黑暗且具有大量噪声的情况下使用的摄像模式。
[0061]
在手持摄像中无闪光灯地对夜景进行多次摄像的前提下以手持夜景摄像模式获得的合成图像的情况下，也将“2”分配为图像识别信息。这也是因为摄像条件是恒定的，但是该功能是基于手持摄像的功能，并且各拍摄图像的视角可能由于照相机抖动而不同，并且视角不能视为恒定。
[0062]
然而，在以手持夜景摄像模式获得的合成图像的情况下，可以认为视角(被摄体的范围或摄像视野)和摄像条件能够视为基本恒定，并且可以将“3”分配为图像识别信息。
[0063]
作为合成的类型其中之一，在手持摄像中连续执行具有闪光灯的夜景摄像和不具有闪光灯的摄像的情况下，将“2”分配为图像识别信息。这是因为该功能是基于手持摄像的功能，并且视角不能视为恒定。这也是因为存在摄像条件中与“光源”相关的条件发生改变的拍摄图像。
[0064]
然而，在存在手持夜景闪光灯的情况下，可以通过改变分配图像识别信息的方式
将“3”分配为图像识别信息以避免与“无手持夜景闪光灯”混淆。然后，原则上，可以将“3”作为图像识别信息分配给在手持摄像中用闪光灯拍摄的夜景图像。
[0065]
接下来，将描述所谓的创新滤波器型摄像的情况。创新滤波器型摄像是通过对拍摄图像应用特殊图像处理效果来记录拍摄图像的摄像模式。
[0066]
摄像时的摄像模式的类型包括所谓的粗略单色摄像、软聚焦摄像、透视画风摄像、玩具照相机摄像、油画风摄像、水彩风摄像、鱼眼风摄像、美肤摄像以及背景模糊摄像等，并且在这种情况下，将“1”分配为图像识别信息。
[0067]
还将“1”作为图像识别信息分配给在编辑模式(应用)中获得的图像，其中在编辑模式(应用)中，将与在以该模式拍摄的图像上执行的图像处理等同的图像处理应用于再现期间的图像。分配“1”的原因是，在摄像模式或编辑模式(应用)中执行的一些图像处理涉及合成图像的模式，但是图像处理不是使用多个拍摄图像(源图像)的合成处理。
[0068]
粗略单色摄像是拍摄一个图像、将随机噪声叠加在拍摄图像上并且执行单色处理以产生类似于单色胶片的效果的摄像。软聚焦摄像是例如拍摄一个图像并且以预定比率来合成通过对拍摄图像应用低通滤波器(lpf)而获得的图像和原始拍摄图像的摄像。
[0069]
在透视画风摄像中，例如，拍摄一个图像并且在部分区域中合成通过对拍摄图像应用lpf而获得的图像和原始拍摄图像。在该模式下，使图像的一部分模糊以添加图像效果，就像实际被摄体被拍摄为透视画一样。
[0070]
玩具照相机摄像是例如拍摄一个图像并添加图像效果、就像图像由玩具照相机拍摄一样的摄像。在使用玩具照相机进行摄像时执行的图像处理是例如通过合成应用了lpf的图像和原始图像来再现模糊照片效果、或者由于亮度和颜色转换而再现诸如明亮光泽、偏置色调和周边调光等的效果的处理。
[0071]
在油画风摄像中，例如，拍摄一个图像，对拍摄图像进行图像处理并与要进行图像处理的原始图像合成，以使图像看起来像油画。
[0072]
在水彩风摄像中，例如，拍摄一个图像，对拍摄图像进行图像处理并与要进行图像处理的原始图像合成，以使图像看起来像水彩画。在鱼眼风摄像中，例如，拍摄一个图像，并且拍摄图像受到就像通过合成(插值)像素来拍摄图像以使得各区域具有鱼眼镜头式失真的效果。
[0073]
美肤摄像是增强肤色部分的降噪(nr)以降低解像感并使皮肤的纹理平滑的摄像模式。背景模糊摄像是例如通过改变光圈值来拍摄两个图像、基于两个图像之间的差异将主被摄体和背景彼此分离并且使背景模糊的摄像。在这种情况下，合成源图像是一个图像，并且拍摄多个图像以确定要模糊的区域。在一些情况下，可以通过打开光圈来实现背景模糊摄像。
[0074]
在日期加印摄像中，将日期文本数据叠加在图像上。
[0075]
在作为合成的类型其中之一的多重曝光摄像(多重合成模式)的情况下，将作为第二类型数据的“2”分配为图像识别信息。这是因为摄像条件和视角可以由用户自由设置，因此不能视为恒定。这是因为在连续拍摄优先的情况下，可以选择第一图像作为记录图像。
[0076]
然而，在控制单元101判断为用于拍摄多个图像的摄像条件和视角可以视为恒定的情况下，将作为第一类型数据的“3”分配为图像识别信息。这是因为存在摄像条件没有因检测到三脚架使用等而改变的情况。在连续拍摄的前提下执行多重曝光摄像(多重合成模
式)的情况下，可以认为视角是恒定的并且摄像条件基本上是恒定的，因此可以将作为第一类型数据的“3”分配为图像识别信息。
[0077]
多重曝光摄像包括例如加法模式、加法平均模式、比较亮模式和比较暗模式。加法模式是拍摄多个图像并且简单地将raw图像相加到一起的模式。加法平均模式是拍摄多个图像并且对raw图像进行简单地相加和平均的模式。这是为了改善例如非常暗的图像的s/n。
[0078]
比较亮模式是执行比较亮合成处理的模式，其中在比较亮合成处理中，当拍摄多个图像并合成raw图像时，采用同一坐标处的像素值不低的图像。
[0079]
比较暗模式是执行比较暗合成处理的模式，其中在比较暗合成处理中，当拍摄多个图像并合成raw图像时，采用同一坐标处的像素值不高的图像。
[0080]
在作为合成的类型其中之一的全景摄像、深度合成摄像或星空描绘摄像的情况下，将“2”分配为图像识别信息。这是因为合成了具有不同视角的源图像。
[0081]
在全景摄像中，用户平摇照相机以拍摄多个视角的图像并合成图像。利用该合成，通过连接以多个不同视角拍摄的多个图像来生成广角图像。在全景摄像中通过合成获得的广角图像包括全向(360度)图像等。
[0082]
在深度合成摄像或星空描绘摄像的情况下，可以将“3”分配为图像识别信息。这是因为：在深度合成摄像的情况下，由于焦点抖动，因此可以认为视角基本上是恒定的，并且除焦点之外的拍摄条件基本上是恒定的。这也是因为即使在星空描绘摄像的情况下也可以认为视角基本上是恒定的，并且除焦点以外的摄像条件基本上是恒定的。
[0083]
深度合成摄像是通过使焦点抖动来拍摄多个图像、基于由距离图获取单元110获取的距离图等来合成多个图像聚焦的区域以生成深度比各图像中的深度深的图像的摄像。星空描绘摄像是在使闪光灯发光的闪光灯摄像之后例如在没有闪光灯发光的情况下连续拍摄两个图像并且例如合成三个图像的摄像。
[0084]
作为合成的类型其中之一，将“3”在星空轨迹摄像中分配为图像识别信息。这是因为可以将视角(被摄体的范围或摄像视野)和摄像条件视为恒定。星空轨迹摄像是拍摄并比较亮地合成星空的多个图像的摄像模式。
[0085]
考虑摄像单元105例如是摄像元件和信号处理单元具有集成的多层结构的所谓的层压传感器的情况。
[0086]
在这种情况下，即使在层压传感器中执行图像合成，也可以想象，来自层压传感器的输出是数据格式几乎与未执行正常合成的图像的数据格式相同的一个图像数据，因此，将“1”分配为图像识别信息。
[0087]
然而，在控制单元101可以指示作为层压传感器的摄像单元105(即摄像单元105中的信号处理单元)执行合成处理的这种形式的情况下，响应于合成指示，将“2”作为图像识别信息分配给从摄像单元105输出的图像数据。
[0088]
可替代地，在通过使用层压传感器中的层压传感器的存储器合成具有相同摄像条件的多个图像的情况下，可将“3”分配为图像识别信息。
[0089]
作为合成的类型其中之一，存在微小地移动图像传感器或摄像光学系统以拍摄多个图像并且合成图像以增加解像度的被称为超解像摄像的摄像模式。在这种超解像摄像模式的情况下，由于摄像视野因为在视角偏移的情况下拍摄图像而不能被视为恒定，因此将
“
2”分配为图像识别信息。
[0090]
然而，在超解像摄像的情况下，可以认为视角基本恒定并且除焦点以外的摄像条件基本恒定，因此可以将“3”分配为图像识别信息。
[0091]
合成类型信息302是表示根据合成处理模式、合成处理和合成条件生成了合成图像的类型的信息。合成类型信息302基于与诸如上述的多重曝光模式、加法合成、比较亮合成、hdr合成以及全景合成等的多个合成类型相对应的类型数据，存储与当前图像数据相对应的信息中的至少一个。
[0092]
源图像数信息303是与被获取以生成图像数据文件201的图像数据的图像数量有关的信息，并且包括与拍摄图像(源图像)数、表示用于合成图像的源图像数的合成图像数、以及使用的图像编号有关的信息。拍摄图像数表示被拍摄以生成当前图像数据的图像的总数。这包括例如由于照相机抖动等导致图像质量恶化而最终不用于合成图像的图像数据的数量等。
[0093]
合成图像数表示实际存储在图像数据文件201的图像数据部分215中并用于生成图像数据的图像的数量。使用的图像编号是对在合成图像数中计数并且与在生成当前图像数据时合成的各个图像数据相关的图像编号进行排列的信息。
[0094]
在合成图像信息304中，记录关于与用于合成的图像的摄像条件有关的统计值的信息。在图3中，用于合成的图像中的曝光时间的最大值被记录为曝光时间的统计值。分别记录用于合成的多个图像的光圈值的平均值、iso感光度的平均值和焦距的平均值，作为光圈值、iso感光度和焦距的统计值。
[0095]
与记录在合成图像信息304中的各摄像条件相关的统计值不限于一种类型，并且可以根据数据收集或应用的目的来记录诸如最大值、最小值、总值、平均值以及方差值等的多种类型的任何统计值。在本实施例中，仅存储用于合成的图像的摄像参数的统计值，但本实施例不限于此，并且可以存储与被拍摄以生成图像数据、但不用于合成的图像的上述统计值有关的一种或多种类型的信息。
[0096]
源图像信息305是与被获取以生成图像数据文件201的图像数据的各图像的摄像参数有关的信息。记录诸如曝光时间、光圈值、iso感光度和焦距等的摄像参数以用于各拍摄图像。由于存储了这样的信息，因此可以收集与通过对特定场景摄像而获取的合成图像有关的信息，即被获取以生成合成图像的图像数和用于拍摄图像的摄像参数。
[0097]
(数字照相机的整体操作)
[0098]
在后文中，将参考图4中用于描述本实施例的摄像设备100的整体操作的流程图来描述本实施例的摄像设备100的整体操作。下面所示的包括图4的流程图通过控制单元101读取存储在rom 102中的程序并执行计算处理或控制来实现。
[0099]
(整体流程)
[0100]
在步骤s401中，当用户操作包括在操作单元111中的电源开关以切换到通电时，控制单元101对标志和控制变量等进行初始化。获取摄像模式信息，并执行判断和设置。在这种情况下，当设置涉及合成处理的摄像模式时，还获取用于合成的图像数n的设置信息，并且执行判断和设置。
[0101]
在步骤s402中，控制单元101判断包括在操作单元111中的模式切换开关的设置位置，在设置摄像模式的情况下进入步骤s403，并且在设置除摄像模式之外的模式的情况下
进入步骤s404。稍后将描述步骤s403中的摄像模式处理的细节。
[0102]
在步骤s404中，控制单元101判断模式切换开关是否被设置为再现模式，在设置再现模式的情况下进入步骤s405，并且在设置除再现模式以外的模式的情况下进入步骤s406。稍后将描述步骤s405中的再现模式处理的细节。在步骤s406中，控制单元101执行根据其它选择模式的处理，并在执行之后进入步骤s407。其它模式包括例如用于发送和接收存储在记录介质108中的文件的通信模式。
[0103]
在步骤s407中，控制单元101判断电源开关的设置位置。在电源开关被设置为通电的情况下，处理返回到步骤s402，并且在电源开关被设置为断电的情况下，处理进入步骤s408。在步骤s408中，控制单元101执行预定的完成处理。
[0104]
完成处理包括以下处理。即，控制单元101将显示单元109的显示改变为完成状态，关闭镜头屏障，并保护摄像单元105。控制单元101将标志、包括控制变量的参数、设置值和设置模式记录在非易失性存储器等中，然后将不需要供电的部分断电。
[0105]
(摄像/记录处理)
[0106]
图5是示出本实施例的摄像设备100中的摄像/记录处理的流程图。
[0107]
(摄像模式处理)
[0108]
图5是示出图4的步骤s403中的摄像模式处理的细节的流程图。
[0109]
当摄像模式开始时，在步骤s501中，控制单元101执行将拍摄图像顺次输出到显示单元109并将拍摄图像顺次显示在显示单元109上的直通显示。
[0110]
在步骤s502中，控制单元101判断用户是否按下了快门开关sw1。控制单元101在快门开关sw1已被按下的情况下进入步骤s503，并且在快门开关sw1尚未被按下的情况下等待按下快门开关sw1。在步骤s503中，控制单元101执行摄像准备操作。即，执行距离测量以将摄像镜头103聚焦在被摄体上，并且执行光测量以确定光圈值和快门时间。控制单元101还基于光测量结果根据需要设置从闪光灯等发射的光量。
[0111]
在步骤s504中，控制单元101判断用户是否按下了快门开关sw2，并在快门开关sw2已被按下的情况下进入步骤s506。在快门开关sw2尚未被按下的情况下，控制单元101进入步骤s505并判断快门开关sw1是否仍被按下。在快门开关sw1被释放的情况下，处理返回到步骤s502。如果在步骤s505中为“是”，则处理返回到步骤s504。
[0112]
在步骤s506中，控制单元101从控制单元101的实时时钟(rtc)获取开始摄像的日期和时间，并将该日期和时间存储到ram 103中。接下来，在步骤s507中，将合成处理标志i设置为0。
[0113]
接下来，在步骤s508中，控制单元101根据存储在ram 103或rom 102中的光测量数据基于光圈值打开具有光圈功能的光学系统104中的快门，并开始使摄像单元105的摄像传感器曝光。
[0114]
在步骤s509中，控制单元101输出来自摄像单元105的图像数据，然后使用图像处理单元107执行诸如压缩/编码处理等的图像处理。
[0115]
此后，在步骤s510中，控制单元101判断所设置的摄像模式是否是涉及合成处理的摄像模式。即，在步骤s401中，控制单元101用作用于判断(获取)摄像模式或由合成部件执行的合成方法的判断部件(获取部件)。
[0116]
如果摄像模式不是涉及合成处理的摄像模式，则处理进入步骤s511，并且要记录
在头部中的图像识别信息301被确定为表示正常图像(非合成图像)的类型数据“1”并被存储。
[0117]
在这种情况下，控制单元101用作用于根据例如与摄像模式的设置相关联的合成类型来生成类型数据的类型数据生成部件。
[0118]
如上所述，在图像处理单元107不执行合成的情况下，控制单元101确定类型数据(“1”作为图像识别信息301)。在步骤s512中，将图像数据与图像数据一起记录在记录介质108上。在这种情况下，控制单元101用作用于将与合成类型相对应的类型数据与记录图像相关联地记录在作为基于exif标准的头部区域的app1(203)中的记录控制部件。在步骤s512之后，处理返回到步骤s501。
[0119]
在步骤s510中判断为设置合成处理模式的情况下，处理进入步骤s513，并且在预设合成处理模式下执行合成。在这种情况下，控制单元101用作用于根据多种类型的方法合成多个拍摄图像以生成合成图像的合成部件。接下来，在步骤s514中，判断用于合成的拍摄图像数是否已经达到预设的图像数n，如果没有达到，则处理返回到执行新曝光操作的步骤s508。
[0120]
如果图像数达到n，则在步骤s515中获取文件名以及摄像日期和时间，并且在步骤s516中，生成用于将这些数据以及与合成类型相对应的类型数据记录在作为头部区域的app1(203)中的头部信息。
[0121]
在步骤s516中，控制单元101根据设置的摄像模式确定要与图像数据相关联地记录的类型数据。
[0122]
如上所述，在由合成部件执行合成的情况下，控制单元101根据合成的类型来生成至少两种类型的类型数据(“2”或“3”作为图像识别信息301)其中之一。以包括由图像处理单元107执行合成的情况和不执行合成的情况的方式，根据三种类型的类型数据中至少之一确定适当的分类，。
[0123]
接下来，在步骤s517中，控制单元101将图像显示在显示单元109上并将图像记录在记录介质108上。在这种情况下，控制单元101用作用于将类型数据与记录图像相关联地记录在作为基于exif标准的头部区域的app1(203)中的记录部件。
[0124]
在这种情况下，在类型数据是预定类型数据(合成识别信息为3)的情况下，在同一区域app1(203)中记录至少“用于合成的拍摄图像的数量”以及例如作为“用于合成的拍摄图像的摄像条件”的曝光时间等。在步骤s517之后，处理返回到步骤s501。
[0125]
在该实施例中，在每次曝光完成时执行合成，但是可以在执行n次摄像之后执行合成处理。
[0126]
(再现模式处理)
[0127]
图6是示出图4的步骤s405中的再现模式处理的细节的流程图。
[0128]
经由模式切换开关，根据来自用户的再现指示来开始再现模式。可替代地，在设置了再现模式的状态下接通并启动设备的情况下，该流程开始。
[0129]
首先，在步骤s601中，控制单元101从记录介质108获取初始图像信息。
[0130]
初始图像是最新图像或在先前再现中显示的图像。由于初始图像信息是在计算图像的总数或创建搜索列表之前获取的(后面将描述)，因此一开始再现模式，就可以显示初始图像，因此可以防止在诸如计算图像的总数等的处理期间不显示任何内容的问题。
[0131]
在步骤s602中，控制单元101判断在步骤s601中是否正确获取了初始图像信息。执行该判断是因为存在没有图像的情况或者存在由于介质缺陷而不能获得图像信息的情况。在可以获得初始图像信息的情况下，判断为存在至少一个图像。在存在图像的情况下，处理进入步骤s603，并且在不存在图像的情况下，处理进入步骤s609。
[0132]
在步骤s603中，控制单元101基于在步骤s601中获取的初始图像信息从记录介质108读取初始图像。在步骤s604中，执行文件分析处理，并且控制单元101分析并获取诸如用于所读取的初始图像的摄像信息和合成信息等的属性信息。
[0133]
即，在这种情况下，控制单元101用作用于获取与记录图像相关联地记录的与合成的类型相对应的类型数据、表示合成类型的信息、用于合成的拍摄图像的数量以及用于合成的拍摄图像的摄像条件的获取部件。确认图像数据是否损坏。
[0134]
在步骤s605中，控制单元101显示读取的初始图像，并根据需要与图像一起选择性地显示诸如摄像信息和合成信息等的属性信息。稍后将在图7中描述该选择显示。在根据步骤s604中的文件分析结果分析出数据未经授权(诸如初始图像的文件的一部分被破坏)的情况下，控制单元101还显示错误。
[0135]
在步骤s606中，控制单元101开始计算记录在记录介质108上的图像的总数，并获取图像的总数。该处理与图像显示处理异步执行，并且流程可以在不等待完成的情况下进入下一图像显示处理。通过上述处理中的步骤，即使在记录介质108上记录许多图像并且计算图像的总数需要时间的情况下，也可以查看图像。
[0136]
在步骤s607中，控制单元101分析记录介质108中的所有图像，并开始创建搜索列表作为搜索结果。搜索列表是预先获取并整体管理添加到各个图像的属性信息的列表。由于创建了搜索列表，因此例如可以将具有特定属性的图像整体设置为再现对象或删除对象。
[0137]
以与计算图像总数相同的方式，搜索列表创建处理与图像显示处理异步执行，并且可以进行下一图像显示处理。在步骤s608中，控制单元101进入等待用户的再现指示的状态。
[0138]
在步骤s602中不存在图像的情况下，控制单元101进入步骤s609，并且执行表示不存在图像的显示，例如，在显示单元109上显示诸如“不存在图像”等的消息，并且进入步骤s608。
[0139]
(画面显示)
[0140]
接下来，将描述本实施例中的图像数据的显示方法。图7是示出实施例中的图像列表显示示例的图，并且图7(a)示出在本设备中操作图像显示应用的情况下显示在显示单元109上的画面的示例。
[0141]
图7(a)示出了以列表形式显示存储在ram 103中的图像数据图像1到图像12的状态。这些图像是从例如数字照相机或移动电话获取的。图像还可以从网络上的服务器等下载。可以使用图像数据的缩略图，而不是使用图像数据本体。当在图7(a)中所示的状态下选择(触摸)显示切换按钮401时，画面转变到图7(b)中的画面。
[0142]
如图7(b)所示，对于合成相关信息被添加至的图像数据，在图像的缩略图上叠加并显示“大头针”形状的图标(在下文中称为大头针图标)。即，针对具有合成相关信息的图像文件显示大头针图标。该画面的示例示出图像识别信息301(例如，“1”到“3”)或合成类型
信息302等作为合成相关信息被写入图像1、3、4、6、7、8、10和11中。
[0143]
当然，大头针图标不一定必须完全叠加在缩略图上，并且足以区分具有/不具有合成相关信息的图像文件，因此大头针图标的一部分可以叠加或可以显示在图像数据的缩略图附近而不叠加在其上。在此画面中，大头针图标叠加并显示在写入了合成相关信息的图像数据上。用户可以通过确认画面来容易地确认合成相关信息被添加到哪些图像数据。
[0144]
当在图7(b)所示的状态下进一步点击显示切换按钮时，画面转变到图7(c)中的画面。如图7(c)中的画面所示，迄今为止的大头针图标变为与图像识别信息301或合成类型信息302相对应的图标或文本，并且因此可以容易地识别图像识别信息301或合成类型信息302等。
[0145]
例如，对于图像1、4、10和11，叠加并显示表示全景合成的“p”或表示全景的图标。这是因为合成类型信息302表示合成类型信息302是全景合成，即，通过使用全景合成获得合成图像数据。
[0146]
对于图像6和8，叠加并显示表示hdr合成的“hdr”或表示hdr的图标。这是因为合成类型信息302表示通过使用“hdr合成”获得图像数据。
[0147]
对于图像7，叠加并显示表示加法合成的“加法”或表示加法合成的图标。这表示合成类型信息302是“加法合成”，即，通过使用加法合成获得图像数据。大头针图标仍保留在图像3中。这表示未写入合成类型信息302的图像数据。在用于合成的拍摄图像的数量或用于合成的拍摄图像的摄像条件与记录图像相关联地记录在记录介质上的情况下，可以选择性地显示这两个中的至少一个。
[0148]
特别地，在类型数据例如为“3”的情况下，用于合成的拍摄图像的数量或用于合成的拍摄图像的摄像条件与记录图像相关联地记录在记录介质上。
[0149]
如上所述，在图7(c)的画面中，与合成类型信息302相对应的文本或图标等叠加并显示在图像数据上。因此，用户可以容易地确认合成了相应图像数据的合成类型、拍摄图像的数量以及用于合成的拍摄图像的摄像条件等。
[0150]
当在图7(c)中的显示画面上点击显示切换按钮时，画面变为图7(a)中的画面。即，每次点击显示切换按钮时，按顺序切换上述三种类型的显示画面。
[0151]
在上述实施例中，假设每次操作显示切换按钮401时，显示形式按照图7(a)、图7(b)、图7(c)和图7(a)的顺序循环。然而，可以直接从显示菜单指定其中一种显示类型，并且可以根据所选择的显示类型执行显示。
[0152]
可以显示图像识别信息301、合成类型信息302、作为用于合成的拍摄图像的数量的源图像数信息303、合成图像信息304以及诸如合成图像的源图像信息等的拍摄图像的摄像条件中至少之一。通过查看信息，可以了解拍摄者的意图或工夫。
[0153]
(再现期间的图像处理)
[0154]
将描述在图像处理单元107在再现图像时执行图像处理的情况下的操作。例如，假设控制单元101从rom 102或记录介质108读取图像数据，并在显示单元109的显示装置上显示图像。在该状态下，响应于来自用户经由操作单元111的图像处理指示，图像处理单元107接收与显示单元109上显示的图像相对应的图像数据，并执行图像处理。在本文中，控制单元101根据由图像处理单元107执行的图像处理来重写作为图像处理的对象的图像数据的头部信息。
[0155]
具体地，假设如下的情况：对在图像文件的图像识别信息301中存储“3”的图像数据，执行基于作为诸如灰度转换处理、颜色转换处理、缺陷校正处理和滤波处理等的处理的对象的图像数据的像素值而执行的图像处理。
[0156]
在这种情况下，控制单元101还将表示在摄像时获取的合成图像的“3”作为图像识别信息301存储在用于存储处理后的图像数据的图像文件中。相比之下，假设如下的情况：对存储“3”作为图像文件的图像识别信息301的图像数据，执行涉及与其它源图像的某种合成处理或者诸如文本数据、帧、图标或cg等的合成处理的图像处理。
[0157]
在这种情况下，控制单元101将表示一般合成图像的“2”作为图像识别信息301存储在用于存储处理后的图像数据的图像文件中。如上所述操作控制单元101，因此可以在系统中确保在摄像时获取的合成图像“3”的信息的可靠性。此外，无论执行上述图像处理中的哪一个，控制单元101还针对“2”被存储为图像文件的图像识别信息301的图像数据将表示一般合成图像的“2”作为图像识别信息301存储在用于存储处理后的图像数据的图像文件中。
[0158]
假设如下的情况：对“1”被存储为图像文件的图像识别信息301的图像数据，执行与在上述各摄像模式中被分类为“2”或“1”的处理相对应的图像处理。在这种情况下，控制单元101根据上述分类确定与处理后的图像数据相对应的图像识别信息301。即，控制单元101判断对再现图像执行的图像处理是否为合成和合成处理方法。
[0159]
基于判断结果，确定要记录在用于存储处理后的图像数据的图像文件中的图像识别信息301，并将其记录在包括处理后的图像数据的图像文件的合成信息部分2091中。在执行基于作为诸如灰度转换处理、颜色转换处理、缺陷校正处理和滤波处理等的其它处理的对象的图像数据的像素值而执行的图像处理的情况下，表示非合成图像的“1”也作为图像识别信息301存储在用于存储处理后的图像数据的图像文件中。
[0160]
如上所述，在本实施例中，存储在合成信息部分2091中的信息与图像数据一起被记录，因此用户或计算机可以根据合成处理的存在或不存在或类型适当地确定图像。例如，可以收集包括通过hdr合成所获得的图像的图像文件，使用ai等分析合成信息部分2091中记录的信息，并学习各种摄像条件等。
[0161]
场景或构图布置可用作用于学习曝光差异的参考信息，并且素材图像的曝光时间或iso也可用于此目的。
[0162]
对于星空轨迹摄像，可以基于附加到合成图像的表示包括各拍摄图像的曝光时间以及各个拍摄图像的摄像之间的非曝光时间段的总曝光时间段的标签来预测摄像时间和轨迹之间的关系。因此，不必将摄像时间设置得不必要的长。
[0163]
在照相机用于学习的情况下，将表示合成失败(例如，在照相机在摄像期间判断为失败的情况下，在云端判断为失败的情况下，或者在用户判断为失败并给出不良评级的情况下)的信息记录在文件中。这些信息可用于下一摄像条件。
[0164]
例如，如果失败的原因被认为是照相机抖动，则用户被认为容易使照相机抖动，并且可以进行诸如在下一次和后续摄像中将控制单元101所自动确定的曝光时间设置为更短时间等的改进。
[0165]
当使用应用等对用于确定合成图像的图像处理参数的合成jpeg图像执行图像处理时，参考合成信息部分中的信息。
[0166]
在用于存储针对各iso感光度的nr参数并根据拍摄iso感光度应用参数的应用中，可以在合成图像的情况下改变用于确定参数的逻辑。
[0167]
例如，在iso3200的非合成图像的情况下，使用iso3200的参数，在iso3200x2的合成图像的情况下，使用iso2500的参数，并且在iso3200x4的合成图像的情况下，使用iso1600的参数。以上述方式，可以根据合成图像的数量和源图像的iso感光度来切换参数。
[0168]
合成信息部分2091嵌入在exif结构的app1中的摄像条件的数据中，因此可以实现与现有exif兼容装置和软件的高兼容性。
[0169]
(其它实施例)
[0170]
本发明不限于上述实施例，可以基于本发明的精神进行各种修改，并且这些修改不排除在本发明的范围之外。
[0171]
通过执行本实施例中的一些或所有类型的控制来实现上述实施例的上述功能的计算机程序可以经由网络或各种存储介质提供给图像处理设备等。图像处理设备等中的计算机(或cpu或mpu等)可以读取并执行该程序。在这种情况下，程序和存储该程序的存储介质构成本发明。
[0172]
要求对2019年3月15日提交的日本专利申请2019
‑
49006和2019年3月15日提交的日本专利申请2019
‑
49142的优先权。这些日本专利申请的全部内容通过引用并入本文。
[0173]
[附图标记列表]
[0174]
100 摄像设备
[0175]
105 摄像单元
[0176]
110 距离图获取单元