文件处理设备、文件处理方法和程序与流程

1.本技术涉及文件处理设备、文件处理方法和程序，尤其涉及实现例如快速索引显示的文件处理设备、文件处理方法和程序。


背景技术：

2.作为用于高效存储图像的文件格式，存在高效图像文件格式(heif)(参见非专利文献1)。
3.引用列表
4.非专利文献
5.非专利文献1：iso/iec 23008-12：2017，information technology
‑‑
high efficiency coding and media delivery in heterogeneous environments
‑‑
part 12:image file format


技术实现要素：

6.本发明要解决的问题
7.预计将需要符合高效图像文件格式(heif)的heif文件来快速执行索引显示。
8.本技术是鉴于这种情况而做出的，并且旨在实现快速索引显示。
9.问题的解决方案
10.本技术的第一文件处理设备或程序是包括文件控制单元的文件处理设备，或用于使计算机用作这种文件处理设备的程序，其中文件控制单元生成存储与高效图像文件格式(heif)文件中的图像相关的相关图像的代理文件，代理文件是另一个heif文件。
11.本技术的第一文件处理方法是一种文件处理方法，包括生成存储与高效图像文件格式(heif)文件中的图像相关的相关图像的代理文件，代理文件是另一个heif文件。
12.在本技术的第一文件处理设备、文件处理方法和程序中，生成存储与高效图像文件格式(heif)文件中的图像相关的相关图像的代理文件，代理文件是另一个heif文件。
13.本技术的第二文件处理设备或程序是包括文件控制单元的文件处理设备，或者是用于使计算机用作这种文件处理设备的程序，其中文件控制单元检测高效图像文件格式heif文件中的图像，该图像与选自与图像相关的相关图像的所选择的相关图像对应并且存储在作为另一个heif文件的代理文件中。
14.本技术的第二文件处理方法是一种文件处理方法，包括检测高效图像文件格式heif文件中的图像，该图像与选自与图像相关的相关图像的所选择的相关图像对应并且存储在作为另一个heif文件的代理文件中。
15.在本技术的第二文件处理设备、文件处理方法和程序中，检测高效图像文件格式heif文件中的图像，该图像与选自与图像相关的相关图像的所选择的相关图像对应并且存储在作为另一个heif文件的代理文件中。
16.注意的是，第一和第二文件处理设备可以是独立的设备，或者可以是形成一个设
备的内部块。
17.此外，可以通过记录在记录介质上或通过经由传输介质传输来提供第一和第二程序。
附图说明
18.图1是图示对其应用本技术的数码相机的实施例的配置示例的框图。
19.图2是图示符合jpeg的联合摄影专家组(jpeg)文件的格式的示例的视图。
20.图3是图示iso基本媒体文件格式的示例的视图。
21.图4是图示符合heif的heif文件的格式示例的视图。
22.图5是图示图像项格式的heif文件的格式示例的视图。
23.图6是图示iprp盒的示例的视图。
24.图7是图示图像序列格式的heif文件的格式的示例的视图。
25.图8是图示trak盒的示例的视图。
26.图9是图示其中存储有主要图像和缩略图图像的正常集合文件的示例的视图。
27.图10是图示第一关联类型集合文件的示例的视图。
28.图11是图示第二关联类型集合文件的示例的视图。
29.图12是图示第三关联类型集合文件的示例的视图。
30.图13是图示其中存储有主要图像的轨道(track)和主要图像的缩略图图像的轨道的正常序列文件的示例的视图。
31.图14是图示关联类型序列文件的示例的视图。
32.图15是用于解释生成关联类型heif文件的生成处理的示例的概要的流程图。
33.图16是用于解释再现关联类型heif文件的再现处理的示例的概要的流程图。
34.图17是用于解释再现集合文件的再现处理的示例的流程图。
35.图18是用于解释步骤s32中读取再现目标图像的处理的示例的流程图。
36.图19是用于解释在步骤s31中获取再现目标项id的处理的第一示例的流程图。
37.图20是用于解释在步骤s31中获取再现目标项id的处理的第二示例的流程图。
38.图21是用于解释从第一关联类型集合文件获取作为预定主要图像的raw文件的指定信息的uuid的处理的示例的流程图。
39.图22是用于解释从第二关联类型集合文件获取作为预定主要图像的raw文件的指定信息的uuid的处理的示例的流程图。
40.图23是用于解释从第三关联类型集合文件获取作为预定主要图像的raw文件的指定信息的uuid的处理的示例的流程图。
41.图24是用于解释从集合文件获取主要图像的项id列表的处理的示例的流程图。
42.图25是用于解释从序列文件再现主要图像(的帧)关于预定时间信息的缩略图图像的处理的示例的流程图。
43.图26是用于解释从关联类型序列文件获取作为预定主要图像(的帧)的raw文件的指定信息的uuid的处理的示例的流程图。
44.图27是图示在采用主要图像的raw文件作为外部数据并生成关联类型集合文件的情况下将uuid存储到raw文件中的示例的视图。
45.图28是图示在采用主要图像的raw文件作为外部数据并生成关联类型序列文件的情况下将uuid存储到raw文件中的示例的视图。
46.图29是图示在采用主要图像的wav文件作为外部数据并生成关联类型集合文件的情况下将uuid存储到wav文件中的示例的视图。
47.图30是图示在采用主要图像的wav文件作为外部数据并生成关联类型序列文件的情况下将uuid存储到wav文件中的示例的视图。
48.图31是用于解释在数码相机10上的索引显示的示例的视图。
49.图32是用于解释在数码相机10以外的外部设备上的索引显示的示例的图。
50.图33是图示用于第一关联类型集合文件的索引显示的示例的视图。
51.图34是图示用于第一关联类型集合文件的索引显示的另一个示例的视图。
52.图35是图示用于关联类型序列文件的索引显示的示例的图。
53.图36是用于解释代理文件的第一示例的视图。
54.图37是用于解释代理文件的第二示例的视图。
55.图38是用于解释代理文件的第三示例的视图。
56.图39是用于解释代理文件的第四示例的视图。
57.图40是用于解释将作为作为外部数据的主要图像的指定信息的uuid写入到作为代理目标文件的序列文件#1的示例的视图。
58.图41是用于解释以第一关联类型集合文件作为代理目标文件生成代理文件的示例的视图。
59.图42是用于解释以第一关联类型集合文件作为代理目标文件生成代理文件的另一个示例的视图。
60.图43是用于解释以关联类型序列文件作为代理目标文件生成代理文件的示例的视图。
61.图44是用于解释由代理目标文件和由针对代理目标文件执行的代理文件生成处理生成的代理文件的集合所采用的模式的视图。
62.图45是图示由代理目标文件和代理文件的集合所采用的第二模式的详细示例的视图。
63.图46是图示由代理目标文件和代理文件的集合所采用的第三模式的详细示例的视图。
64.图47是用于解释在数码相机10上采用代理文件的索引显示的示例的视图。
65.图48是用于解释在数码相机10以外的外部设备上采用代理文件的索引显示的示例的视图。
66.图49是用于解释选择用作代理目标文件的heif文件的示例的视图。
67.图50是用于解释选择用作代理目标文件的heif文件的另一个示例的视图。
68.图51是用于解释用于生成第一模式的代理文件的代理文件生成处理和用于将缩略图图像添加到代理文件的添加处理的视图。
69.图52是用于解释用于生成第一模式的代理文件的代理文件生成处理的示例的流程图。
70.图53是用于解释将缩略图图像添加到第一模式的代理文件的添加处理的示例的
流程图。
71.图54是用于解释用于生成第二或第三模式的代理文件的代理文件生成处理和用于将缩略图图像添加到代理文件的添加处理的视图。
72.图55是用于解释用于生成第二或第三模式的代理文件的代理文件生成处理的示例的流程图。
73.图56是用于解释将缩略图图像添加到第二或第三模式的代理文件的添加处理的示例的流程图。
74.图57是用于解释用于检测与存储在第二模式的代理文件中的缩略图图像对应的主要图像的检测处理的示例的视图。
75.图58是用于进一步解释用于检测与存储在第二模式的代理文件中的缩略图图像对应的主要图像的检测处理的示例的视图。
76.图59是用于解释用于检测与存储在第二模式的代理文件中的缩略图图像对应的主要图像的检测处理的示例的流程图。
77.图60是用于解释用于检测与存储在第三模式的代理文件中的缩略图图像对应的主要图像的检测处理的示例的视图。
78.图61是用于进一步解释用于检测与存储在第三模式的代理文件中的缩略图图像对应的主要图像的检测处理的示例的视图。
79.图62是用于解释用于检测与存储在第三模式的代理文件中的缩略图图像对应的主要图像的检测处理的第一示例的视图。
80.图63是用于解释用于检测与存储在第三模式的代理文件中的缩略图图像对应的主要图像的检测处理的第一示例的流程图。
81.图64是用于解释用于检测与存储在第三模式的代理文件中的缩略图图像对应的主要图像的检测处理的第二示例的视图。
82.图65是用于解释用于检测与存储在第三模式的代理文件中的缩略图图像对应的主要图像的检测处理的第三示例的视图。
83.图66是用于解释用于检测与存储在第三模式的代理文件中的缩略图图像对应的主要图像的检测处理的第四示例的视图。
84.图67是用于解释当在生成代理目标文件时生成要存储在第一模式的代理文件中的缩略图图像的情况下执行的代理文件生成处理和添加处理的视图。
85.图68是用于解释当在生成代理目标文件时生成要存储在第一模式的代理文件中的缩略图图像的情况下执行的代理文件生成处理的示例的流程图。
86.图69是用于解释当在生成代理目标文件时生成要存储在第一模式的代理文件中的缩略图图像的情况下执行的添加处理的示例的流程图。
87.图70是用于解释在生成代理目标文件时生成要存储在第三模式的代理文件中的缩略图图像的情况下执行的代理文件生成处理和添加处理的视图。
88.图71是用于解释当在生成代理目标文件时生成要存储在第三模式的代理文件中的缩略图图像的情况下执行的代理文件生成处理的示例的流程图。
89.图72是用于解释在生成代理目标文件时生成要存储在第三模式的代理文件中的缩略图图像的情况下执行的添加处理的示例的流程图。
90.图73是用于解释已经存在的heif文件被用作代理目标文件的代理文件生成处理的示例的流程图。
91.图74是用于解释已经存在的heif文件被用作代理目标文件的添加处理的示例的流程图。
92.图75是图示对其应用本技术的计算机的实施例的配置示例的框图。
具体实施方式
93.《对其应用本技术的数码相机的一个实施例》
94.图1是图示对其应用本技术的数码相机的实施例的配置示例的框图。
95.数码相机10包括光学系统11、图像传感器12、信号处理单元13、介质14、接口15和16、按钮/键17、触摸面板18、液晶面板19、取景器20、接口21等。
96.光学系统11将来自被摄体的光会聚在图像传感器12上。
97.图像传感器12接收来自光学系统11的光并执行光电转换的成像以生成作为电信号的图像数据并将其供应给信号处理单元13。
98.信号处理单元13包括光学系统/图像传感器控制单元41、编码控制单元42、文件控制单元43、介质控制单元44、操作控制单元45、显示控制单元46和ui控制单元47。
99.光学系统/图像传感器控制单元41控制光学系统11和图像传感器12，并将通过根据控制执行的成像获得的图像(的数据)供应给编码控制单元42。
100.编码控制单元42将来自光学系统/图像传感器控制单元41的图像供应给显示控制单元46，并且根据需要对图像进行编码并将其供应给文件控制单元43。此外，编码控制单元42根据需要对从文件控制单元43供应的图像进行解码，并将其供应给显示控制单元46。
101.文件控制单元43生成存储从编码控制单元42供应的图像的文件，并将其供应给介质控制单元44。此外，文件控制单元43再现从介质控制单元44供应的文件，即，读取诸如存储在文件中的图像的数据，等等。例如，从文件读取的图像从文件控制单元43供应给编码控制单元42。
102.介质控制单元44控制介质14与接口15和16之间的文件交换。例如，介质控制单元44使来自文件控制单元43的文件被记录在介质14上或从接口15和16传输。此外，介质控制单元44从介质14读取文件，或使接口15和16接收文件，并将其供应给文件控制单元43。
103.操作控制单元45根据用户对按钮/键17或触摸面板18的操作，向必要的块供应与该操作对应的操作信号。
104.显示控制单元46执行显示控制等以将从编码控制单元42供应的图像等供应给液晶面板19、取景器20和接口21以显示。
105.ui控制单元47管理用户接口(ui)控制。
106.介质14是例如存储介质，诸如sd卡。接口15是例如局域网(lan)(诸如wi-fi(注册商标)或以太网(注册商标))的接口。接口16是例如通用串行总线(usb)接口。当向数码相机10输入命令或其它信息时，由用户操作按钮/键17和触摸面板18。触摸面板18可以与液晶面板19一体形成。液晶面板19和取景器20显示从显示控制单元46供应的图像等。接口21是传输至少图像的接口，诸如高清晰度多媒体接口(hdmi)(注册商标)或显示端口(dp)。
107.在如上所述配置的数码相机10中，光学系统/图像传感器控制单元41根据通过由
图像传感器12成像获得的raw数据的图像(下文中，也称为raw图像)生成例如具有与raw图像相同分辨率(像素数)的yuv图像作为heif文件的主要图像，并供应给编码控制单元42。
108.编码控制单元42根据yuv的主要图像生成例如比主要图像分辨率低的yuv图像(下文中，也称为屏幕指甲图像)，用于在液晶显示面板19或外部显示器上显示为基于主要图像的第一其它图像，并生成例如具有比屏幕指甲图像的分辨率低的分辨率的yuv图像(下文中，也称为缩略图图像)用于索引显示(列表显示)为基于主要图像的第二其它图像。例如，编码控制单元42经由显示控制单元46将屏幕指甲图像供应给液晶面板19，以显示为所谓的直通图像。作为缩略图图像，例如，可以采用在长边上具有320像素或更小的尺寸的图像。例如，主要图像与作为基于主要图像的第一其它图像的屏幕指甲图像或作为基于主要图像的第二其它图像的缩略图图像之间的尺寸(像素数)的比率可以是例如200倍或更少。类似地，主要图像与作为基于主要图像的第一其它图像的屏幕指甲图像与作为基于主要图像的第二其它图像的缩略图图像之间的尺寸的比率也可以是200倍或更小。作为屏幕指甲图像，例如，可以采用具有4k或更高分辨率的图像。此外，作为屏幕指甲图像，例如，可以根据用户的选择采用4k(qfhd)或fhd图像。而且，可以采用具有相同分辨率的图像作为主要图像和屏幕指甲图像。在采用具有相同分辨率的图像作为主要图像和屏幕指甲图像的情况下，可以将主要图像和屏幕指甲图像都存储在heif文件中，或者可以在不存储屏幕指甲图像的情况下存储主要图像。在主要图像存储在heif文件中而没有存储屏幕指甲图像的情况下，可以调整主要图像的尺寸并用作屏幕指甲图像。
109.此外，编码控制单元42在必要时对主要图像、屏幕指甲图像和与raw图像对应的缩略图图像(从同一raw图像生成的主要图像、屏幕指甲图像和缩略图图像)进行编码，并与raw图像一起供应给文件控制单元43。
110.文件控制单元43生成存储raw图像的raw文件，并生成存储对应的主要图像、屏幕指甲图像和缩略图图像(从同一raw图像生成的主要图像、屏幕指甲图像和缩略图图像)的heif文件、jpeg文件等，并供应给介质控制单元44。heif文件是符合高效图像文件格式(heif)的文件，而jpeg文件是符合联合摄影专家组(jpeg)的文件。
111.介质控制单元44将来自文件控制单元43的raw文件和heif文件或jpeg文件记录在介质14上，或者使raw文件和heif文件或jpeg文件从接口15或16传输。
112.在文件控制单元43中，例如可以根据用户的操作来选择要生成heif文件和jpeg文件中的哪一个。此外，虽然heif文件包括以后描述的图像项格式和图像序列格式，但是可以根据用户的操作来选择采用图像项格式和图像序列格式中的哪一个。而且，文件控制单元43可以根据用户的操作在heif文件和jpeg文件之间执行相互转换。
113.而且，在生成heif文件时，文件控制单元43可以关联heif文件中的内部数据(存储在heif文件中的数据，其在heif文件中并且要与外部数据(未存储在heif文件中的数据)关联)与指定外部数据的指定信息，并存储到heif文件中。内部数据和要与内部数据相关联的外部数据的指定信息彼此关联地存储在其中的heif文件也被称为关联类型heif文件。关联类型heif文件可以例如通过存储关联内部数据和指定信息的关联信息等将内部数据和指定信息彼此关联地存储。
114.《jpeg文件》
115.图2是图示符合jpeg的联合摄影专家组(jpeg)文件的格式的示例的视图。
116.jpeg文件通过存储例如exif元数据、缩略图图像和可扩展元数据平台(xmp)(注册商标)元数据、表示主要图像和简单显示图像的存储地点(位置)等的mpf、主要图像和简单显示图像来配置。作为简单显示图像，例如可以采用屏幕指甲图像。
117.《iso基本媒体文件格式》
118.图3是图示iso基本媒体文件格式的示例的视图。
119.heif(iso/iec 23008-12)是符合iso基本媒体文件格式(iso/iec 14496-12)的文件格式，因此heif文件符合iso基本媒体文件格式。
120.iso基本媒体文件格式以被称为盒的单元作为存储数据的容器而形成，并具有被称为盒结构的结构。
121.盒包括类型(盒类型)、实际数据(数据)等。类型表示盒中的实际数据的类型。作为实际数据，有可能采用诸如图像(静止图像或移动图像)、音频和字幕、属性名称(字段名称)和(由)属性名称(表示的变量)的属性值(字段值)之类的可再现媒体数据，以及其它各种其它数据。
122.而且，可以采用盒作为实际数据。即，盒可以有盒作为实际数据，这使得层次结构成为可能。
123.符合iso基本媒体文件格式的基本媒体文件可以具有ftyp盒、moov盒(moviebox)、meta盒(metabox)、mdat盒(mediadatabox)等。ftyp盒存储用于识别文件格式的标识信息。moov盒可以存储trak盒等。meta盒可以存储iinf盒、iprp盒、iref盒、iloc盒等。mdat盒可以存储媒体数据(av数据)和任何其它数据。
124.heif符合上述iso基本媒体文件格式。
125.《heif文件》
126.图4是图示符合heif的heif文件的格式示例的视图。
127.heif文件被粗略地划分为图像项格式和图像序列格式。而且，图像项目格式包括后面将描述的只有一个项的单一图像格式和具有多个项的图像集合格式。
128.图像项格式的heif文件有ftyp盒、meta盒和mdat盒。
129.图像序列格式的heif文件有ftyp盒、moov盒和mdat盒。
130.注意的是，heif文件也可以兼具有meta盒和moov盒，而不是只有其中一个。
131.ftyp盒存储用于识别文件格式的标识信息，例如，诸如文件为图像项格式或图像序列格式的heif文件的事实。
132.meta盒和moov盒存储mdat盒中存储的媒体数据的再现、管理等所必需的元数据，例如，诸如媒体数据的存储位置之类的元数据。
133.mdat盒存储媒体数据(av数据)等。
134.例如，在数码相机10中，可以根据用户的操作来选择要生成图像项格式和图像序列格式的heif文件中的哪个heif文件。此外，当在heif文件的mdat盒中对图像进行编码和存储的情况下，图像项格式只允许帧内编码(intra coding)，而图像序列格式允许帧内编码和帧间编码(inter coding)。因此，例如，在优先权给予高速访问存储在heif文件中的数据的情况下，可以选择生成图像项格式的heif文件。而在优先权给予减小heif文件的尺寸(数据量)的情况下，可以选择生成图像序列格式的heif文件。
135.图5是图示图像项格式的heif文件的格式的示例的视图。
136.图像项格式的heif文件在ftyp盒中存储指示heif文件为图像项格式的信息，例如mif1等(作为属性值)。
137.meta盒存储了iinf盒、iref盒、iprp盒和iloc盒。
138.iinf盒存储(表示)mdat盒中存储的媒体数据(av数据)等项的数量(的属性名称和属性值)。该项是图像项格式的heif文件的mdat盒中存储的一个数据，例如，一个图像(屏幕)是项。在本说明书中，无论静止图像还是移动图像，一个图像也被称为帧。一帧是一个项。
139.iref盒存储指示项之间的关系的信息。例如，在mdat盒中，可以将对应的主要图像、屏幕指甲图像和缩略图图像中的每一个都存储为项。在mdat盒存储项i1为主要图像、项i2为屏幕指甲图像并且项i3为缩略图图像的情况下，iref盒存储指示项i2是作为项i1的主要图像的屏幕指甲图像的信息以及指示项i3是作为项i1的主要图像的缩略图图像的信息。
140.iprp盒存储关于项的特性的信息。
141.iloc盒存储关于存储在mdat盒中的项的存储位置的信息。
142.图像项格式的(heif文件的)mdat盒存储例如图像的帧作为项。在mdat盒中，可以存储一个或多个项。此外，作为项的帧可以被编码并存储在mdat盒中。但是，将帧作为以图像项格式存储在mdat盒中的项的编码仅限于帧内编码。作为用于将帧编码为项的编码方法(编解码器)，例如，可以采用hevc等。
143.图6是图示图5的iprp盒的示例的视图。
144.iprp盒存储与项的属性相关的ipco盒和ipma盒。ipco盒存储存储在mdat盒中的项的属性，例如，关于作为项的图像的编解码器的编解码器信息和关于尺寸的图像尺寸信息。ipma盒存储存储在mdat盒中的项的、到存储在ipco盒中的特性的索引(指针)。
145.图7是图示图像序列格式的heif文件的格式的示例的视图。
146.图像序列格式的heif文件在ftyp盒中存储指示heif文件是图像序列格式的信息，例如msf1等。
147.moov盒存储trak盒。trak盒存储关于存储在mdat盒中的轨道的信息。
148.轨道包括要根据时间线再现的一段独立的媒体数据，诸如图像或音频。例如，轨道包括将成为基本流的一个或多个帧的图像。对于存储在mdat盒中的轨道，可以同时再现多个轨道，例如同时记录的图像和音频的各个轨道。
149.轨道的媒体数据以称为样本的单位形成。样本是在访问heif文件中的媒体数据的情况下的最小单位(访问单位)。因此，不能以比样本更精细的单位访问heif文件中的媒体数据。
150.例如，对于图像媒体数据，一帧等就是一个样本。此外，对于音频媒体数据，例如，音频媒体数据的标准中定义的一个音频帧等是一个样本。
151.在图像序列格式的(heif文件的)mdat盒中，轨道的媒体数据以称为块的单位布置。块是在逻辑上连续的地址布置的一个或多个样本的集合。
152.在作为媒体数据的多个轨道存储在mdat盒中的情况下，多个轨道以块为单位交错并布置。
153.如上所述，在图像序列格式的mdat盒中，存储了包括诸如图像和音频之类的媒体数据的一个或多个轨道。
154.在mdat盒中，可以对构成轨道的图像帧进行编码和存储。对于图像序列格式的mdat盒中存储的构成轨道的帧的编码，可以采用长组图片(gop)作为gop，并且可以采用帧内编码和帧间编码中的任一种。作为对构成轨道的帧进行编码的编解码器，例如，可以采用hevc等。
155.图8是图示trak盒的示例的视图。
156.trak盒可以存储tkhd盒和mdia盒。tkhd盒存储轨道的头部信息，诸如由trak盒管理的管道的创建日期和时间。mdia盒存储minf盒等。minf盒存储stbl盒。stbl盒存储stsd盒、stsc盒、stsz盒和stco盒，它们存储轨道的样本，因此存储用于访问块的信息。stsd盒存储关于轨道的编解码器的编解码器信息。stsc盒存储块尺寸(一个块的样本数)。stsz盒存储样本尺寸。stco盒存储块偏移量，即，mdat盒中存储的轨道的每个块的布置位置的偏移量。
157.在此，图像项格式的heif文件也称为集合文件，并且图像序列格式的heif文件也称为序列文件。而且，图像项格式的关联类型heif文件也称为关联类型集合文件，并且图像序列格式的关联类型heif文件也称为关联类型序列文件。
158.在数码相机10中，有可能生成存储主要图像的heif文件(包括关联类型heif文件)，并且还存储必要的屏幕指甲图像和缩略图图像之一或两者。
159.《集合文件》
160.图9是图示其中存储有主要图像和缩略图图像的正常集合文件的示例的视图。
161.在此，正常集合文件是指其中集合文件中的内部数据不与外部数据的指定信息相关联的集合文件。
162.现在，假设帧(项)由hevc编码并存储在集合文件的mdat盒中。
163.ftyp盒存储指示格式为图像项格式且编解码器为hevc的heic，作为用于识别文件格式的标识信息。
164.iinf盒存储mdat盒中存储的项的数量(项数量)。在图9中，mdat盒总共存储四个项(帧)：由项id#1指定的主要图像(下文中，也称为主要图像item#1)；主要图像item#2；由项id#101指定的缩略图图像(下文中，也称为缩略图图形item#101)；以及缩略图图像item#102。因此，项数为4。注意的是，缩略图图像item#101是主要图像item#1的缩略图图像，而缩略图图像item#102是主要图像item#2的缩略图图像。
165.而且，iinf盒还为mdat盒中存储的每个项存储例如infe盒。在infe盒中，注册了用于指定项的项id和项类型。在图9中，存在主要图像item#1和item#2以及缩略图图像item#101和item#102中的每一个的infe盒。
166.iref盒例如存储thmb盒作为用于关联存储在mdat盒中的项的信息。在thmb盒中，作为用于将主要图像与主要图像的缩略图图像相关联的信息的参考源和参考目的地彼此关联并存储。在thmb盒中，参考源表示主要图像的项id，而参考目的地表示由参考源的项id指定的主要图像的缩略图图像的项id。因此，根据与参考源相关的参考目的地，可以识别由参考源所表示的项id指定的主要图像的缩略图图像的项id。此外，根据与参考目的地相关的参考源，可以识别由参考目的地表示的项id指定的缩略图图像的主要图像的项id。
167.如图6中所述，ipco盒和ipma盒存储在iprp盒中。如图6中所述，ipco盒将帧的特性存储为mdat盒中存储的项，例如，关于编解码器的编解码器信息和关于尺寸的图像尺寸信
息。如图6中所述，ipma盒存储存储在mdat盒中的项的、到存储在ipco盒中的特性的索引。
168.如图6中所述，iloc盒存储关于mdat盒中项的存储位置的信息。在图9中，iloc盒存储了项数为4。而且，在iloc盒中，与项id相关联地存储存储在mdat盒中的主要图像item#1和item#2以及缩略图图项item#101和item#102id的到每个存储位置的偏移量和尺寸。
169.在下文中，将描述在图9的正常集合文件中彼此关联地存储内部数据和外部数据的指定信息的关联型集合文件。
170.图10是图示第一关联类型集合文件的示例的视图。
171.在此，假设作为要与作为heif文件中的内部数据的主要图像相关联的外部数据，例如，采用(存储)主要图像的raw图像(的raw文件)。
172.在第一关联类型集合文件中，通过存储将作为内部数据的主要图像与存储作为外部数据的raw文件(中存储的raw图像)的指定信息相关联的关联信息，彼此关联地存储主要图像和存储raw图像的raw文件的指定信息。而且，在第一关联类型集合文件中，关联信息存储在meta盒中。
173.作为将raw图像存储为外部数据的raw文件的指定信息，除了raw文件的文件名、为raw文件发布的通用唯一标识符(uuid)和统一资源定位符(url)之外，还有可能采用可以指定raw文件(中存储的raw图像)的任何信息。
174.对于第一关联类型集合文件，作为要存储在meta盒中的新盒，在meta盒中定义并存储存储关联信息的关联信息存储盒。第一关联类型集合文件的关联信息存储盒存储关联信息，其中例如将用于指定主要图像的项id与作为指定要与主要图像相关联的(存储raw图像的)raw文件(中存储的raw图像)的指定信息的uuid相关联。而且，关联信息存储盒存储要与raw文件(中存储的raw图像)相关联的主要图像的数量(主要图像数量)。关联信息存储盒中存储的主要图像数量是与raw文件关联的主要图像的数量，因此是等于或小于mdat盒中存储的主要图像的数量的值。
175.在图10中，主要图像item#1的raw文件的uuid(与主要图像item#1相关联的raw图像的uuid)是uuid#1，并且主要图像item#2的raw文件的uuid是uuid#2。现在，假设将其uuid为uuid#i的raw文件描述为raw文件uuid#i，在图10中，关联信息存储盒存储关联信息，其中主要图像item#1的项id#1与raw文件uuid#1的uuid相关，并且主要图像item#2的项id#2与raw文件uuid#2的uuid相关。
176.图11是图示第二关联类型集合文件的示例的视图。
177.在第二关联类型集合文件中，与第一关联集合文件类似，通过存储将作为内部数据的主要图像与作为外部数据的raw文件的指定信息相关联的关联信息，将主要图像和raw文件的指定信息彼此关联地存储。但是，在第二关联类型集合文件中，关联信息存储在mdat盒中。
178.对于第二关联型集合文件，例如，将与第一关联集合文件的关联信息相似的情况的关联信息作为项存储在mdat盒中。在图11中，关联信息作为项id为#201的项存储在mdat盒中。
179.如上所述，在第二关联类型集合文件中，响应于将关联信息存储为mdat盒中的项item#201而存储在meta盒中的信息与图9中的正常集合文件的情况下的不同。在第二关联型集合文件中，作为项item#201的关联信息的元数据存储在meta盒中。
180.具体而言，在第二关联类型集合文件中，iinf盒和iloc盒存储的项数量为5，这是从图9的情况下的4加上项item#201的1获得的。而且，用于项item#201的infe盒被添加到iinf盒，并且项item#201的存储位置的偏移量及尺寸被添加到iloc盒。用于项item#201的infe盒存储项item#201的项id#201和指示项item#201是关联信息的项类型识别数据信息(idif)。idif是新定义的属性值(字段值)，其指示该项是关联信息。
181.图12是图示第三关联类型集合文件的示例的视图。
182.在第三关联类型集合文件中，通过将作为外部数据的raw文件的指定信息存储到mdat盒中作为每条指定信息的项，并将关联作为内部数据的主要图像与作为外部数据的raw文件的指定信息的关联信息存储到meta盒中，将主要图像与raw文件的指定信息彼此关联地存储。但是，在第三关联类型集合文件中，关联信息是其中作为项的主要图像的项id与作为项的(raw文件的)指定信息的项id相关联的信息，并且是存储在cdsc盒中，cdsc盒存储在meta盒中的iref盒中。
183.cdsc盒可以存储参考源和参考目的地作为用于将主要图像与作为主要图像的raw文件中的各条指定信息的项彼此关联的信息。在cdsc盒中，参考源表示主要图像的项id，并且参考目的地表示作为由参考源的项id指定的主要图像的raw文件的项的指定信息的项id。
184.在图12中，作为主要图像item#1的raw文件的指定信息的uuid的uuid#1作为项item#201存储在mdat盒中，并且作为主要图像item#2的raw文件的指定信息的uuid的uuid#2作为项item#202存储在mdat盒中。而且，iref盒存储cdsc盒，cdsc盒存储关联信息，其中主要图像item#1的项id#1和指定信息uuid#1的项id#201分别作为参考源和参考目的地彼此关联，并且iref盒存储cdsc盒，cdsc盒存储关联信息，其中主要图像item#2的项id#2和指定信息uuid#2的项id#202分别作为参考源和参考目的地彼此关联。
185.《序列文件》
186.图13是图示其中存储有主要图像的轨道和主要图像的缩略图图像的轨道的正常序列文件的示例的视图。
187.在此，正常序列是指序列文件中的内部数据不与外部数据的指定信息相关联的序列文件。
188.现在，假设帧由hevc编码并存储在序列文件的mdat盒中。
189.ftyp盒存储指示格式为图像序列格式且编解码器为hevc的hevc作为用于识别文件格式的标识信息。
190.如图7中所述，moov盒存储管理存储在mdat盒中的各轨道的trak盒。在图13中，mdat盒存储由轨道id#1指定的主要图像的轨道(下文中，也称为轨道#1)和由轨道#1指定的主要图像的缩略图图像的轨道#2。因此，在moov盒中，存储管理轨道#1的trak盒和管理轨道#2的trak盒。轨道#2的(从头部开始的)第n个缩略图(的帧)是轨道#1的第n个主要图像的缩略图图像。
191.例如，在由数码相机10执行连拍的情况下，序列文件在将通过连拍获得的多帧的主要图像和缩略图图像记录为一个轨道等的情况下是有用的。
192.管理主要图像的轨道#1的trak盒的tkhd盒存储：指定轨道#1的轨道id#1；构成轨道#1的主要图像的图像尺寸；当捕获主要图像时指示数码相机10的朝向的旋转信息；以及
轨道#1的创建日期和时间。在管理缩略图图像的轨道#2的trak盒的tkhd盒中，存储指定轨道#2的轨道id#2以及轨道#2的创建日期和时间。
193.在trak盒中，除了图7中描述的tkhd盒和mdia盒之外，还可以存储tref盒。tref盒存储用于指定与其中存储tref盒的trak盒管理的轨道相关联的另一个轨道的轨道id、指示轨道的内容的信息等。在图13中，tref盒在管理轨道#2的trak盒中提供。然后，tref盒存储指示与轨道#2相关联的另一个轨道是轨道#1(track_id＝1)并且构成轨道#2的数据是缩略图图像(轨道#2是缩略图图像的轨道)(类型＝thmb)的信息。
194.在trak盒的mdia盒中，除了图8中描述的minf盒外，还可以存储hdlr盒。hdlr盒存储指示构成由其中存储有hdlr盒的trak盒管理的轨道的数据类型的信息。在管理主要图像的轨道#1的trak盒中(存储的mdia盒中)存储的hdlr盒中，存储指示构成轨道#1的数据是图片(帧)的信息(pict)。在管理缩略图图像的轨道#2的trak盒中存储的hdlr盒中，存储指示构成轨道#2的数据是图片的信息。
195.minf盒如图8中所述。
196.在下文中，将描述在图13的正常序列文件中彼此关联地存储内部数据和外部数据的指定信息的关联类型序列文件。
197.图14是图示关联类型序列文件的示例的视图。
198.在关联类型序列文件中，作为外部数据的raw文件的指定信息的uuid的(基本)流(meta es)的轨道#3被添加到mdat盒，并且管理轨道#3的trak盒被添加到moov盒。
199.在此，轨道#1是在时间线上对准的主要图像的一个或多个帧的时间序列，并且轨道#3是在时间线上对准的主要图像的每一帧的raw文件的uuid的时间序列。
200.轨道#3的(从头部开始的)第n个uuid是轨道#1的第n个主要图像的帧的raw文件的指定信息。此外，可以根据一个时间线上的时间信息同步地再现存储在mdat盒中的多个轨道(的数据)。因此，通过将主要图像的轨道#1和构成轨道#1的主要图像的每一帧的raw文件的uuid(的流)的轨道#3存储到mdat盒中，轨道#1的第n个主要图像的帧和主要图像(的帧)的raw文件的uuid彼此关联地存储。在这种情况下，可以说轨道#1的主要图像的帧和主要图像(的帧)的raw文件的uuid通过时间线上的时间信息彼此关联。
201.注意的是，轨道#3的(从头部开始的)第n个uuid是轨道#1的第n帧的raw文件的指定信息，并且也可以理解为构成轨道#1的主要图像(的帧)和构成轨道#3的uuid根据轨道中的布置次序彼此关联。
202.在关联类型序列文件中，响应于将raw文件的uuid的轨道#3添加到mdat盒，管理轨道#3的trak盒添加到moov盒。
203.在管理raw文件的uuid的轨道#3的trak盒中，存储tkhd盒、tref盒、mdia盒等。
204.在管理轨道#3的trak盒的tkhd盒中，存储指定轨道#3的轨道id#3和轨道#3的创建日期和时间。
205.管理轨道#3的trak盒的tref盒存储用于指定与由其中存储tref盒的trak盒管理的轨道#3相关联的另一个轨道的轨道id，以及指示轨道#3的内容的信息等。构成轨道#3的uuid是构成轨道#1的主要图像的raw文件的指定信息。由于轨道#3与轨道#1相关，因此图14中管理轨道#3的trak盒的tref盒存储指示与轨道#3相关联的另一个轨道是轨道#1的信息(track_id＝1)并且轨道#3是元数据(在此，是指定信息)的轨道(type＝cdsc)。
206.在管理轨道#3的trak盒的mdia盒中，存储hdlr盒和minf盒。在管理轨道#3的trak盒中，hdlr盒存储指示构成轨道#3的数据是(主要图像的)元数据的信息，并且minf盒存储用于轨道#3的stsc盒、stsc盒、stsz盒和stco盒。
207.《heif文件的生成和再现》
208.图15是用于解释生成关联类型heif文件的生成处理的示例的概要的流程图。
209.在生成处理中，在步骤s11中，文件控制单元43生成uuid作为主要图像的帧的raw文件(raw图像)的指定信息，并且处理前进到步骤s12。
210.在步骤s12中，文件控制单元43将在步骤s11中生成的uuid指派给主要图像的帧的raw文件(raw图像)，并且处理前进到步骤s13。
211.在步骤s13中，文件控制单元43生成关联类型heif文件，其中主要图像的帧和该帧的raw文件的uuid彼此关联地存储在heif文件中，并且生成处理结束。
212.图16是用于解释再现关联类型heif文件的再现处理的示例的概要的流程图。
213.在再现处理中，在步骤s21中，文件控制单元43生成例如用于识别存储在介质14中的heif文件中所存储的主要图像的各个帧的句柄的句柄列表，并且处理前进到步骤s22。
214.在此，主要图像的帧的句柄包括其中存储该帧的heif文件的文件名。而且，集合文件中存储的主要图像的帧(项)的句柄还包括帧的项id。而且，序列文件中存储的主要图像的帧的句柄还包括该帧的时间信息。根据主要图像的帧的句柄，可以唯一识别(指定)针对该句柄的帧。
215.注意的是，存储在序列文件中的主要图像的帧的句柄可以包括包含该帧的轨道的轨道id和该帧在轨道中的次序(该帧是什么编号)，而不是该帧的时间信息。
216.无论包括主要图像的帧的一个或多个轨道是否存储在序列文件中，每一帧的时间信息都是唯一的。因此，根据帧的时间信息，即使在序列文件中存储了多个轨道，也可以从构成多个轨道中的各轨道的帧中唯一地指定句柄中包括的时间信息的帧。因此，在主要图像的帧的句柄中包括该帧的时间信息的情况下，即使没有该帧所在的轨道的轨道id，也可以唯一指定与该时间信息对应的帧。
217.可以针对存储在介质14中的heif文件中存储的主要图像的所有帧生成句柄列表，或者也可以仅针对特定条件下缩小的帧(诸如特定创建日期和时间的帧)生成句柄列表。
218.在生成句柄列表之后，文件控制单元43在必要时参考句柄列表访问heif文件。
219.在步骤s22中，例如，在等待用户对数码相机10进行操作等以显示缩略图图像之后，ui控制单元47请求文件控制单元43显示缩略图图像。响应于来自ui控制单元47的缩略图图像显示请求，文件控制单元43从heif文件中读取由句柄列表的句柄识别出的主要图像的帧的缩略图图像(的帧)。然后，文件控制单元43例如使液晶面板19(图1)显示从heif文件读取的缩略图图像的列表，并且处理从步骤s22前进到步骤s23。
220.在步骤s23中，例如，在等待用户对缩略图图像列表中的期望缩略图(的帧)进行选择等之后，ui控制单元47请求文件控制单元43传输与用户选择的缩略图图像对应的主要图像。文件控制单元43响应于来自ui控制单元47的对主要图像的请求而从heif文件中读取主要图像。在必要时，文件控制单元43可以使液晶面板19显示从heif文件读取的主要图像。
221.可替代地，ui控制单元47向文件控制单元43请求与用户选择的缩略图图像对应的主要图像的raw文件的uuid。响应于来自ui控制单元47的uuid请求，文件控制单元43从关联
类型heif文件中读取uuid。在必要时，文件控制单元43可以访问由从关联类型heif文件读取的uuid指定的raw文件。
222.图17是用于解释再现集合文件的再现处理的示例的流程图。
223.在步骤s31中，文件控制单元43获取作为要再现的图像(项)的再现目标图像的项id(在下文中，也称为再现目标项id)，并且处理前进到步骤s32。
224.在再现目标项id的获取中，再现目标图像的项id(再现目标项id)是通过将例如句柄列表中的任何句柄识别出的主要图像、主要图像的缩略图图像、用户从缩略图图像的列表中选择的缩略图图像(下文中，也称为选择的缩略图图像)、选择的缩略图图像的主要图像等作为再现目标图像来获取的。
225.在步骤s32中，文件控制单元43根据在步骤s31中获取的再现目标项id读取再现目标图像。
226.在再现目标图像的读取中，从集合文件中读取由再现目标项id指定的再现目标图像。
227.图18是用于解释图17的步骤s32中读取再现目标图像的处理的示例的流程图。
228.在步骤s41中，文件控制单元43在集合文件(图9至12)的iloc盒中搜索再现目标项id，并且处理前进到步骤s42。
229.在步骤s42中，文件控制单元43在iloc盒中读取与在步骤s41中搜索到的再现目标项id相关联的偏移量和尺寸，并且处理前进到步骤s43。
230.在步骤s43中，文件控制单元43根据与再现目标项id关联的偏移量和尺寸读取存储在集合文件的mdat盒中的再现目标图像，并且处理结束。
231.图19是用于解释在图17的步骤s31中获取再现目标项id的处理的第一示例的流程图。
232.即，图19图示了获取作为再现目标图像的缩略图图像的项id的示例，该缩略图图像作为再现目标图像。
233.注意的是，在图19中，假设文件控制单元43已经例如从句柄中识别出作为再现目标图像的缩略图图像的主要图像的项id。
234.在步骤s51中，文件控制单元43在集合文件(图9至12)的iref盒中的thmb盒中搜索其参考源与主要图像的项id匹配的thmb盒，并且处理前进到步骤s52.
235.在步骤s52中，作为作为再现目标图像的缩略图的项id，文件控制单元43读取在步骤s51中搜索到的thmb盒中的参考目的地并且具有与主要图像的项id匹配的参考源，并且处理结束。
236.图20是用于解释在图17的步骤s31中获取再现目标项id的处理的第二示例的流程图。
237.即，图20图示了获取作为再现目标图像的主要图像的项id的示例，其中主要图像作为再现目标图像。
238.注意的是，在图20中，例如，假设用户已经从缩略图图像的列表中选择了缩略图图像(选择的缩略图图像)，并且文件控制单元43已经识别出所选择的缩略图图像的项id。
239.在步骤s61中，文件控制单元43在集合文件(图9至12)的iref盒中的thmb盒中搜索其参考目的地与所选择的缩略图的项id匹配的thmb盒，并且处理前进到步骤s62。
240.在步骤s62中，作为再现目标图像的主要图像的项id，文件控制单元43读取在步骤s61中搜索到的thmb盒中的参考源并具有与选择的缩略图图像的项id匹配的参考目的地，并且处理结束。
241.图21是用于解释从图10中的第一关联类型集合文件获取作为预定主要图像的raw文件的指定信息的uuid的处理的示例的流程图。
242.注意的是，在图21中，例如，假设文件控制单元43已经通过句柄列表等识别出预定主要图像的项id。
243.在步骤s71中，文件控制单元43从第一关联类型集合文件(图10)的关联信息存储盒中的关联信息中搜索预定主要图像的项id，并且处理前进到步骤s72。
244.在步骤s72中，文件控制单元43在关联信息中读取与在步骤s71中搜索到的预定主要图像的项id相关联的uuid，并且处理结束。
245.文件控制单元43可以通过如上所述读取的uuid访问预定主要图像的raw文件。
246.图22是用于解释从图11中的第二关联类型集合文件获取作为预定主要图像的raw文件的指定信息的uuid的处理的示例的流程图。
247.注意的是，在图22中，例如，假设文件控制单元43已经通过句柄列表等识别出预定主要图像的项id。
248.在步骤s81中，文件控制单元43在第二关联类型集合文件(图11)的iinf盒中的infe盒中搜索指示该项是关联信息的项类型idif的infe盒，并且处理前进到步骤s82。
249.在步骤s82中，文件控制单元43从在步骤s81中搜索到的项类型idif的infe盒中读取关联信息的项id作为项，并且处理前进到步骤s83。
250.在步骤s83中，文件控制单元43在第二关联类型集合文件的iloc盒中搜索在步骤s82中读取的关联信息的项id，并且处理前进到步骤s84。
251.在步骤s84中，文件控制单元43在iloc盒中读取与在步骤s83中搜索到的关联信息的项id相关联的偏移量和尺寸，并且处理前进到步骤s85。
252.在步骤s85中，根据与在步骤s84中读取的关联信息的项id相关联的偏移量和尺寸，文件控制单元43读取作为存储在第二关联类型集合文件的mdat盒中的项的关联信息，并且处理前进到步骤s86。
253.在步骤s86中，文件控制单元43从在步骤s85中读取的关联信息中搜索预定主要图像的项id，并且处理前进到步骤s87。
254.在步骤s87中，文件控制单元43在关联信息中读取与在步骤s86中搜索到的预定主要图像的项id相关的uuid，并且处理结束。
255.文件控制单元43可以通过如上所述读取的uuid访问预定主要图像的raw文件。
256.图23是用于解释从图12中的第三关联类型集合文件获取作为预定主要图像的raw文件的指定信息的uuid的处理的示例的流程图。
257.注意的是，在图23中，例如，假设文件控制单元43已经通过句柄列表等识别出预定主要图像的项id。
258.在步骤s91中，文件控制单元43在第三关联类型集合文件(图12)的iref盒中的cdsc盒中搜索其参考源与预定主要图像的项id匹配的cdsc盒，并且处理继续到步骤s92。
259.在步骤s92中，作为作为项的预定主要图像的raw文件的指定信息的项id，文件控
制单元43读取在步骤s91中搜索到的cdsc盒中的参考目的地并且具有与预定主要图像的项id匹配的参考源，并且处理前进到步骤s93。
260.在步骤s93中，文件控制单元43在第三关联类型集合文件的iloc盒中搜索作为在步骤s92中读取的项的指定信息的项id，并且处理前进到步骤s94。
261.在步骤s94中，文件控制单元43在iloc盒中读取与在步骤s93中搜索到的指定信息的项id相关联的偏移量和尺寸，并且处理前进到步骤s95。
262.在步骤s95中，根据与步骤s94中读取的指定信息的项id相关联的偏移量和尺寸，文件控制单元43读取uuid作为存储在第三关联类型集合文件的mdat盒中的预定主要图像的raw文件的指定信息，并且处理结束。
263.文件控制单元43可以通过如上所述读取的uuid访问预定主要图像的raw文件。
264.图24是用于解释从集合文件获取主要图像的项id列表的处理的示例的流程图。
265.例如，在生成句柄列表等的情况下，执行从集合文件中获取主要图像的项id列表的处理。
266.在步骤s101中，文件控制单元43从集合文件的iinf盒中的所有infe盒中读取项id(图9至12)，并注册在主要图像的项id列表中(下文中，也称为作为主要图像列表)，并且处理前进到步骤s102。
267.在步骤s102中，文件控制单元43从集合文件的iref盒中的所有盒读取作为参考目的地的项id，从主要图像列表中排除项id，并且处理结束。
268.在以上处理之后，主要图像列表中注册的项id成为主要图像的项id。
269.图25是用于解释从序列文件再现主要图像(的帧)关于预定时间信息的缩略图图像的处理的示例的流程图。
270.注意的是，在图25中，例如，假设文件控制单元43已经通过句柄列表等识别出预定主要图像的时间信息(或次序)。
271.在步骤s111中，作为相对于预定时间信息管理主要图像的缩略图图像的轨道的trak盒，文件控制单元43在序列文件(图13和14)的moov盒中的trak盒中搜索其中在tref盒中存储指示构成轨道的数据是缩略图图像的信息的trak盒，即，其中tref盒中的类型是thmb的trak盒，并且处理前进到步骤s112。
272.在步骤s112中，文件控制单元43读取在步骤s111中搜索到的trak盒中的tkhd盒中的轨道id作为主要图像的缩略图图像相对于预定时间信息的轨道的轨道id，并且处理前进到步骤s113。
273.在步骤s113中，文件控制单元43再现具有在步骤s112中读取的轨道id的轨道，并从轨道中获取与预定时间信息(或次序)对应的缩略图图像(的帧)作为与预定时间信息对应的主文件的缩略图图像，并且处理结束。
274.注意的是，再现存储在序列文件中的图像的轨道的处理类与再现mp4文件的移动图像的处理相似。
275.图26是用于解释从关联类型序列文件获取作为预定主要图像(的帧)的raw文件的指定信息的uuid的处理的示例的流程图。
276.注意的是，在图26中，例如，假设文件控制单元43已经通过句柄列表等识别出预定主要图像的时间信息(或次序)。
277.在步骤s121中，文件控制单元43在关联类型序列文件(图14)的moov盒中的trak盒中搜索其中在tref盒中存储指示构成轨道的数据是指定信息的信息的trak盒，即，其中tref盒中的类型是cdsc的trak盒，作为管理指定信息的轨道的trak盒，并且处理前进到步骤s122。
278.在步骤s122中，文件控制单元43读取在步骤s121中搜索到的trak盒中的tkhd盒中的轨道id作为指定信息的轨道的轨道id，并且处理前进到步骤s123。
279.在步骤s123中，从具有在步骤s122中读取的轨道id的轨道，文件控制单元43获取uuid作为相对于预定主要图像的时间信息(或次序)的指定信息，作为预定主要图像的raw文件的uuid，并且处理结束。
280.文件控制单元43可以通过如上所述获取的uuid访问预定主要图像的raw文件。
281.如上所述，文件控制单元43生成并再现关联类型heif文件，该关联类型heif文件在符合heif的heif文件中彼此关联地存储heif文件中的主要图像和指定在heif之外的要与主要图像相关联的外部数据的指定信息。因此，存储在heif文件中的主要图像可以与heif文件之外的外部数据相关联。
282.此外，在使用uuid作为指定信息的情况下，即使外部数据的文件名改变，heif文件中的主要图像与文件名改变的外部数据之间的关联也可以通过uuid来维护。
283.《指派给外部数据的指定信息的存储》
284.图27是图示在采用主要图像的raw文件作为(存储)外部数据(的文件)并生成关联类型集合文件的情况下将uuid存储到raw文件中的示例的视图。
285.注意的是，在图27中，采用第一关联类型集合文件作为关联类型集合文件。
286.raw文件具有称为标记注释(makernote)的区域作为用于将exif的附加信息存储为元数据的区域的部分区域。
287.文件控制单元43可以将指派给raw文件(raw图像)的uuid存储到例如raw文件的标记注释中。
288.在图27中，关联类型集合文件中存储主要图像item#1、item#2、item#3和item#4这四个项，并且生成存储主要图像item#1、item#2、item#3和item#4的raw图像的raw文件#1、#2、#3和#4。然后，将uuid#i指派给raw文件#i(raw图像)，并且关联信息存储盒存储其中指定主要图像item#i的项id#i与要与主要图像item#i相关联的raw文件#i的uuid#i相关联的关联信息，作为关联主要图像item#i与主要图像item#i的raw文件#i的uuid#i的关联信息。
289.图28是图示在采用主要图像的raw文件作为外部数据并生成关联类型序列文件的情况下将uuid存储到raw文件中的示例的视图。
290.同样在生成关联类型序列文件的情况下，与图27中描述的生成关联类型集合文件的情况相似，文件控制单元43可以将指派给raw文件的uuid存储到该raw文件的标记注释中。
291.在图28中，包括作为四个帧的主要图像#1、#2、#3和#4的轨道#1存储在关联类型序列文件中，并且生成存储主要图像#1、#2、#3和#4的raw图像的raw文件#1、#2、#3和#4。然后，将uuid#i指派给raw文件#i，并且关联类型序列文件存储轨道#3，该轨道#3被配置为使得raw文件#i的uuid#i被布置为与和raw文件#i(raw图像)对应的主要图像#i具有相同的时间信息。
292.如上所述，当轨道#3被配置为使得raw文件#i的uuid#i被布置为具有与和raw文件#i对应的主要图像#i相同的时间信息时，轨道#1的第i个主要图像#i和轨道#3的第i个uuid#i(即，主要图像#i的raw文件#i的uuid#i)相关联并存储在关联类型序列文件中。
293.在上面的描述中，采用主要图像的raw文件(raw图像)作为外部数据，但是可以采用其它数据作为外部数据。作为外部数据，例如可以采用与主要图像的成像一起被记录的音频(声音)等。作为存储音频的文件，例如可以采用wav格式的wav文件、mp4格式的mp4文件等。在下文中，例如，假设采用wav文件作为存储音频的文件。
294.图29是图示在采用主要图像的wav文件作为(存储)外部数据(的文件)并生成关联类型集合文件的情况下将uuid存储到wav文件中的示例的视图。
295.注意的是，在图29中，采用第一关联类型集合文件作为关联类型集合文件。
296.wav文件具有称为列表块的区域作为其中描述元数据的区域的部分区域。
297.文件控制单元43可以将指派给wav文件(音频)的uuid存储到例如wav文件的列表块中。
298.在图29中，在关联类型集合文件中存储作为四个项的主要图像item#1、item#2、item#3和item#4，并且生成主要图像item#1、item#2、item#3和item#4的wav文件#1、#2、#3和#4。然后，将uuid#i指派给wav文件#i(音频)，并且关联信息存储盒存储其中指定主要图像item#i的项id#i与要与主要图像item#i相关联的wav文件#i的uuid#i相关联的关联信息，作为用于将主要图像item#i与主要图像item#i的wav文件#i的uuid#i相关联的关联信息。
299.图30是图示在采用主要图像的wav文件作为外部数据并生成关联类型序列文件的情况下将uuid存储到wav文件中的示例的视图。
300.同样在生成关联类型序列文件的情况下，与图29中描述的生成关联类型集合文件的情况相似，文件控制单元43可以将指派给wav文件的uuid存储到该wav文件的列表块中。
301.在图30中，包括作为四帧的主要图像#1、#2、#3和#4的轨道#1存储在关联类型序列文件中，并且生成成主要图像#1、#2、#3和#4的wav文件#1、#2、#3和#4。然后，将uuid#i指派给wav文件#i，并且关联类型序列文件存储轨道#3，轨道#3被配置为使得wav文件#i的uuid#i被布置为与和wav文件#i对应的主要图像#i具有相同的时间信息。
302.如上所述，当轨道#3配置有wav文件#i的uuid#i(该uuid#i被布置为与和wav文件#i对应的主要图像#i具有相同的时间信息)时，轨道#1的第i个主要图像#i和轨道#3的第i个uuid#i(即，主要图像#i的wav文件#i的uuid#i)相关联并存储在关联类型序列文件中。
303.注意的是，除了heif文件之外，本技术还可以应用于例如heif文件以外的具有盒结构的iso基本媒体文件、mp4文件、miaf文件等。
304.此外，本技术可以应用于例如存储没有盒结构的图像(主要图像)和其中降低图像的分辨率的另一个图像的文件等。
305.而且，除了外部数据与heif文件中的主要图像相关联的情况之外，本技术还可以应用于外部数据与heif文件中的屏幕指甲图像或缩略图图像相关联的情况。
306.此外，本技术可以应用于例如外部数据与诸如heif文件中的主要图像之类的图像以外的内部数据相关联的情况。
307.《索引显示》
308.图31是用于解释数码相机10上的索引显示的示例的图。
309.数码相机10可以显示存储在诸如heif文件(包括关联类型heif文件)之类的各种文件中的图像列表作为索引显示。为便于解释，假设作为索引显示的目标的文件是heif文件。
310.为了索引显示，数码相机10读取存储在heif文件中的缩略图图像thm#i，并且在液晶面板19上显示其中缩略图图像thm#i以矩阵布置的列表画面。
311.在图31中，生成其中缩略图图像thm#i被布置成3行
×
3列的列表画面。
312.在作为索引显示的目标的heif文件中存储的缩略图图像thm#i的总数超过可以在列表画面上布置的缩略图图像的数量(在此示例中是9个)的情况下，在列表画面的顶部设置必要数量的选项卡。在图31中，黑色选项卡是所选择的选项卡。
313.默认情况下，选择第一个选项卡(从左起)，并显示其中布置存储在作为索引显示的目标的前九个heif文件中的缩略图图像thm#1至thm#9的列表画面。
314.当用户选择第二选项卡时，显示其中布置存储在作为索引显示的目标的接下来的九个heif文件中的缩略图图像thm#10至thm#18的列表画面。
315.类似地，显示其中布置存储在与用户选择的选项卡对应的九个(或更少)heif文件中的缩略图图像的列表画面。在此，列表画面中的缩略图图像不限于3
×
3布置。
316.注意的是，图31中的数码相机10设有共享按钮和raw编辑按钮。
317.当在选择列表画面中的缩略图图像thm#i的状态下操作共享按钮时，与在列表画面中选择的缩略图图像thm#i对应的主要图像被传输到数码相机以外的外部设备10并与外部设备共享。
318.当在选择列表画面中的缩略图图像thm#i的状态下操作raw编辑按钮时，在数码相机10中，例如，从raw文件中读取与在列表画面中选择的缩略图图像thm#i对应的raw图像(与主要图像相关联)，并且在液晶面板19上显示raw图像而不是列表画面。因此，数码相机10进入可以编辑raw图像的状态。
319.在如上所述的索引显示中，当更多数量的heif文件作为索引显示的目标时，需要打开/关闭这样的更多数量的heif文件，因此显示列表画面会花费时间。
320.而且，在用作索引显示的目标的heif文件包括序列文件并且存储在序列文件中的缩略图图像thm#i被长gop编码的情况下，为索引显示执行的处理可能是冗余的。
321.例如，在构成gop的15帧缩略图图像thm#i当中，第1至第9帧的缩略图图像thm#1至thm#9被布置在第一列表画面中并且第10至第15帧的缩略图图像thm#10至thm#15布置在第二列表画面上，当列表画面显示从第二列表画面以外的屏幕切换到第二列表画面时，为了对布置在第二列表画面中的第10至第15帧的缩略图图像thm#10至thm#15进行解码，有必要对未布置在第二列表画面中的第1至第9帧的缩略图图像thm#1至thm#9当中对于解码第10至第15帧的缩略图图像thm#10至thm#15必需的缩略图图像thm#i进行解码。
322.图32是用于解释在数码相机10以外的外部设备上的索引显示的示例的视图。
323.关于存储在由数码相机10获得的heif文件中的图像，可以在数码相机10以外的外部设备上执行索引显示。
324.例如，当在外部设备上执行索引显示的情况下，将作为索引显示的目标的heif文件经由网络传输到外部设备，并且以与数码相机10上的索引显示相似的方式在外部设备上
执行索引显示。
325.heif文件可以经由互联网、lan、usb或任何其它有线或无线网络从数码相机10传输到外部设备。此外，还可以经由云计算机将heif文件从数码相机10传输到外部设备。
326.与在数码相机10上执行索引显示的情况一样，在对由数码相机10获取的存储在heif文件中的图像在外部设备上执行索引显示的情况下，显示列表画面会花费时间并且对索引显示执行的处理可能是冗余的。
327.而且，当在外部设备上执行索引显示时，将生成列表画面所必需的heif文件从数码相机10传输到外部设备花费时间。例如，从用户请求外部设备上的索引显示直到实际显示列表画面的响应性可能降低。
328.图33是图示用于第一关联类型集合文件的索引显示的示例的视图。
329.在此，某个heif文件a和不同于heif文件a的另一个heif文件b可以使用重复的项id。例如，可以将heif文件a中的一个项的项id设置为1，而将heif文件b中的一项的项id设置为1。但是，在本实施例中，为了更易于理解的解释，在heif文件a和heif文件b中适当地使用唯一的项id。
330.在图33中，四个第一关联类型集合文件(heif文件)#1至#4是索引显示的目标。
331.在图33中的第一关联类型集合文件#i中，一帧的主要图像item#i和主要图像item#i的缩略图图像item#(1000 i)存储在mdat盒中。此外，关联信息存储盒存储在meta盒中，关联信息存储盒具有指示主要图像的数量为1并且将主要图像item#i的项id#i与uuid#i相关联作为与主要图像item#i相关联的外部数据的指定信息的关联信息。
332.在如上所述对四个第一关联类型集合文件#1至#4执行索引显示的情况下，例如，分别从四个第一关联类型集合文件#1至#4读取缩略图item#1001至item#1004。然后，生成其中布置有缩略图图像item#1001至item#1004的列表画面。
333.因此，当在数码相机10和外部设备上执行索引显示的情况下，为了分别从第一关联类型集合文件#1至#4读取缩略图图像item#1001至item#1004，需要打开/关闭这四个(换句话说，多个)第一关联类型集合文件#1至#4中的每一个，因此可能降低索引显示的响应性。
334.而且，当在外部设备上执行索引显示的情况下，需要从数码相机10向外部设备传输四个(换句话说，多个)第一关联类型集合文件#1至#4，因此传输文件花费时间并且可能降低索引显示的响应性。
335.图34是图示第一关联类型集合文件的索引显示的另一个示例的视图。
336.在图34中，第一关联类型集合文件(heif文件)#1是索引显示的目标。
337.在图34中的第一关联类型集合文件#1中，四个(换句话说，多个)帧的主要图像item#1至item#4，以及它们对应的主要图像item#1至item#4的缩略图图像item#1001至item#1004存储在mdat盒中。
338.此外，关联信息存储盒存储在meta盒中，关联信息存储盒具有指示主要图像的数量是4并且对于四帧的主要图像item#1至item#4中的每一个将主要图像item#i的项id#i与作为与主要图像相关联的外部数据的指定信息的uuid#i相关联的关联信息。
339.在如上所述对第一关联类型集合文件#1执行索引显示的情况下，例如，从第一关联类型集合文件#1读取缩略图图像item#1001至item#1004。然后，生成其中布置缩略图图
像item#1001至item#1004的列表画面。
340.因此，当在数码相机10和外部设备上执行索引显示的情况下，为了仅从第一关联类型集合文件#1读取缩略图图像item#1001至item#1004，在第一关联类型集合文件#1上进行搜索，因此降低了索引显示的响应性。
341.此外，图34中的第一关联类型集合文件存储四个(换句话说，多个)帧的主要图像item#1至item#4，因此文件尺寸大。
342.因此，当在外部设备上执行索引显示的情况下，需要从数码相机10向外部设备传输文件尺寸大的第一关联类型集合文件#1，因此传输文件花费时间并且可能降低索引显示的响应性。
343.注意的是，能够以与针对关联类型集合文件的索引显示相似的方式执行针对关联类型集合文件以外的集合文件的索引显示。
344.图35是图示针对关联类型序列文件的索引显示的示例的视图。
345.在图35中，一个关联类型序列文件(heif文件)#1是索引显示的目标。
346.在图35中的关联类型序列文件#1中，包括四个(换句话说，多个)帧的主要图像的轨道#1、包括其对应主要图像的四个帧的缩略图图像的轨道#2，以及包括作为与四个帧的主要图像相关联的外部数据的指定信息的uuid#1至uuid#4的轨道#3分别存储在mdat盒中。
347.而且，分别管理轨道#1至#3的trak盒存储在moov盒中。
348.管理轨道#1至#3的trak盒中的每一个包括存储由trak盒管理的轨道的轨道id的tkhd盒。管理轨道#2的trak盒还包括tref盒，tref盒存储(指示)与轨道#2相关的另一个轨道是轨道#1(track_id＝1)并且轨道#2是缩略图图像的轨道(类型＝thmb)(的信息)。管理轨道#3的trak盒还包括tref盒，tref盒存储指示与轨道#3相关的另一个轨道是轨道#1(track_id＝1)并且轨道#3是元数据(指定信息)的轨道(类型＝cdsc)的信息。
349.在如上所述对关联型序列文件#1执行索引显示的情况下，例如，从关联类型序列文件#1读取四帧的缩略图图像(的编码数据)并对其进行解码。然后，生成其中布置四个帧的缩略图图像的列表画面。
350.例如，关联类型序列文件在缩略图图像被长gop编码的状态下存储缩略图图像。
351.因此，为了对帧间编码的缩略图图像进行解码(再现)，有必要对该缩略图图像所参考的另一个缩略图图像进行解码。而且，在另一个缩略图图像参考再另一个缩略图图像的情况下，有必要对这样的缩略图图像进行解码。
352.由于关联类型序列文件可以存储帧间编码图像，因此其文件尺寸可以小于不允许存储帧间编码图像的集合文件的文件尺寸。但是，由于帧间编码，对某个缩略图图像进行解码可能要求对一个或多个帧的其它缩略图图像进行解码。
353.因此，例如，当在数码相机10和外部设备上的选项卡之间滚动或切换列表画面时，在选项卡之间滚动或切换之后对要显示的缩略图图像进行解码花费时间，并且可能降低索引显示的响应性。
354.注意的是，能够以与针对关联类型序列文件的索引显示相似的方式执行针对关联类型序列文件以外的序列文件的索引显示。
355.因此，数码相机10能够生成存储与主要图像相关的相关图像的另一个heif文件(诸如存储在一个或多个heif文件中的主要图像的缩略图图像)作为表示一个或多个heif
文件的代理文件。然后，使数码相机10和外部设备能够使用代理文件执行索引显示。
356.通过使用代理文件执行索引显示，数码相机10和外部设备可以减少显示作为索引显示的列表画面所需的时间，从而实现快速索引显示。
357.此外，使得有可能防止为索引显示执行的处理是冗余的。
358.而且，通过将代理文件从数码相机10向外部设备传输，与传输生成列表画面所必需的heif文件的情况相比，使得有可能减少文件传输所需的时间并抑制外部设备的响应性降低。
359.此外，代理文件促进缩略图图像的管理，因为代理文件收集存储在一个或多个heif文件中的主要图像的缩略图图像。
360.《代理文件》
361.图36是用于解释代理文件的第一示例的视图。
362.文件控制单元43能够生成代理文件，该代理文件将与存储在heif文件(包括关联类型的heif文件)中的主要图像相关的相关图像存储为heif文件中的主要图像。
363.作为代理文件，例如，可以采用heif文件，或者特别是集合文件。此外，可以采用序列文件或heif文件以外的文件作为代理文件。
364.此外，除了存储与存储在heif文件中的主要图像相关的相关图像之外，代理文件还能够存储与存储在例如heif文件以外的jpeg文件或raw文件中的图像相关的相关图像。
365.作为与存储在heif文件中的主要图像相关的关联图像，可以采用在内容上与主要图像相同但在像素数(尺寸)上与主要图像不同的图像(即，例如，像素数(尺寸)小于主要图像的缩略图图像、在内容上与主要图像相同但yuv信号格式与主要图像不同的图像、在内容上与主要图像相同但在每个像素的位分配(灰度)上与主要图像不同的图像，以及与主要图像相关的其它图像)。
366.例如，在heif文件存储主要图像和缩略图图像的情况下，作为与主要图像相关的相关图像，可以使用通过从主要图像减少像素生成的缩略图图像或通过复制存储在heif文件中的缩略图图像获得的缩略图图像。
367.即，在采用主要图像的缩略图图像作为与主要图像相关的图像的情况下，如果heif文件存储主要图像和缩略图图像，那么可以从存储在heif文件中的主要图像新生成缩略图图像并且缩略图图像可以作为相关图像存储在代理文件中，或者可以将存储在heif文件中的缩略图图像(的副本)作为相关图像存储在代理文件中。以下描述假设，例如，采用主要图像的缩略图图像作为主要图像的相关图像。
368.在此，作为代理文件的heif文件中的项也称为代理项，以便将该项与作为非代理文件的heif文件中的项区分开来。
369.在图36中，有四个heif文件#1至#4，它们是集合文件，并且每个heif文件#i中的mdat盒存储一个主要图像item#i和主要图像item#i的缩略图图像item#(1000 i)。
370.此外，在图36中，生成代理文件，其中存储在heif文件#1至#4中的缩略图图像item#1001至item#1004(的副本)被存储为代理项item#1至item#4。
371.作为图像，代理项item#i是heif文件#i中的主要图像item#i的缩略图图像，但是是(作为)代理文件(的heif文件)中的主要图像。
372.在代理文件的第一示例中，作为与作为代理项#i的缩略图图像对应的主要图像，
与作为代理项#i的缩略图图像最匹配的主要图像item#i'或与最匹配作为代理项#i的缩略图图像的缩略图图像item#(1000 i')对应的主要图像item#i'可以通过例如将代理文件中作为代理项#i的缩略图图像与heif文件#1至#4中的主要图像item#1至item#4中的每一个或与缩略图图像item#1001至item#1004中的每一个匹配来检测。
373.图37是用于解释代理文件的第二示例的视图。
374.如图36中所示，在图37中，生成代理文件，其中存储在heif文件#1至#4中的缩略图图像item#1001至item#1004被存储为代理项item#1至item#4。
375.而且，在图37中，作为代理文件生成的文件是关联类型heif文件，其中在将作为代理项item#i(代理文件中的主要图像)的缩略图图像用作代理文件中的内部数据并且与该缩略图图像对应的主要图像item#i用作代理文件外部的外部数据时，内部数据(作为代理项item#i的缩略图图像)和外部数据(主要图像item#i)的指定信息彼此关联地存储。
376.即，在图37中，作为代理文件的heif文件中的meta盒存储关联信息存储盒，关联信息存储盒存储将作为代理项item#i(代理文件中的主要图像)的缩略图图像的项id#i与作为与缩略图图像对应的主要图像item#i的指定信息的散列值#i关联的关联信息。因而，图37中的代理文件是第一关联类型集合文件(图10)。
377.作为作为主要图像item#i的指定信息的散列值#i，例如，可以采用通过使用主要图像item#i作为输入获得的散列值。
378.此外，图37示出，在代理文件中的关联信息存储盒中，主要图像的数量是四，这是主要图像item#1至item#4的缩略图图像(作为代理文件中存储的代理项item#1至item#4)的数量，即，作为指定信息的相关的项id和散列值的组的数量。
379.注意的是，作为代理文件(的文件格式)，可以采用第一关联类型集合文件以外的关联类型heif文件(即，第二关联类型集合文件(图11)、第三关联类型集合文件(图12)或关联类型序列文件(图14))。
380.在代理文件的第二示例中，例如，在通过使用heif文件#1至#4中的各个主要图像item#1至item#4作为输入生成的散列值当中，由作为与作为代理项#i的缩略图图像相关联的指定信息的散列值(与缩略图图像的项id相关联的散列值)指定的主要图像(即，提供与散列值#i匹配的散列值的主要图像item#i')可以被检测为与作为代理项#i的缩略图图像对应的主要图像。
381.图38是用于解释代理文件的第三示例的视图。
382.如图37中所示，在图38中，生成代理文件，其中存储在作为集合文件的heif文件#1至#4中的缩略图图像item#1001至item#1004被存储为代理项item#1至item#4。
383.而且，如图37中所示，在图38中，作为代理文件生成的文件是关联类型heif文件，其中，当作为代理项item#i(代理文件中的主要图像)的缩略图图像被用作代理文件中的内部数据并且与缩略图图像对应的主要图像item#i被用作代理文件外部的外部数据时，内部数据(作为代理项item#i的缩略图图像)和外部数据的指定信息(主要图像item#i)彼此关联地存储。
384.即，如图37中那样，在图38中，作为代理文件的heif文件中的meta盒存储关联信息存储盒，关联信息存储盒存储将作为代理项item#i的缩略图图像的项id#i与和缩略图图像对应的主要图像item#i的指定信息相关联的关联信息。因而，图38中的代理文件是第一关
联类型集合文件。
385.但是，在图38中，采用uuid作为主要图像item#i的指定信息，代替散列值。
386.在采用uuid作为作为外部数据的主要图像item#i的指定信息的情况下，如参考图27至30所述的情况，有必要将uuid#i作为主要图像item#i的指定信息写入(存储)到将主要图像项#i存储为外部数据的heif文件#i中。
387.因此，文件控制单元43将主要图像item#i的uuid#i作为外部数据写入存储主要图像item#i的heif文件#i中。
388.为了将uuid#i写入将主要图像item#i存储为外部数据的heif文件#i，可以将uuid#i写入heif文件#i中的meta盒或mdat盒。为了将uuid#i写入将主要图像item#i存储为外部数据的heif文件#i，uuid#i可以例如根据关联类型heif文件的格式写入，即，以写入uuid#i之后的格式是关联类型heif文件的格式的方式。
389.在图38中，根据第一关联类型集合文件的文件格式，uuid#i被写入将主要图像item#i存储为外部数据的heif文件#i。
390.即，在图38中，其中将主要图像item#i的uuid#i和主要图像item#i的项id#i彼此关联地存储的关联信息存储盒存储在heif文件#i中的meta盒中，因此heif文件#i是第一关联类型集合文件(符合第一关联类型集合文件的格式)。
391.此外，图38示出，在heif文件#i(其已变成第一关联类型集合文件)中的关联信息存储盒中，主要图像的数量是1，其是存储在heif文件#i中的主要图像item#i的数量，即，关联的item id和作为指定信息的uuid的组的数量。
392.在此，存储对于要作为相关图像存储在代理文件中的缩略图图像的目标主要图像的heif文件是用于生成代理文件的目标heif文件，并且这种heif文件在下文中也称为代理目标文件。
393.当heif文件#i是集合文件时可以根据第一至第三关联类型集合文件中的任何一个的格式或者当heif文件#i是序列文件时根据关联类型序列文件的格式将uuid#i写入作为代理目标文件的heif文件#i。
394.注意的是，对于作为已写入uuid#i的代理目标文件的heif文件#i，heif文件#i中的主要图像item#i是heif文件#i的内部数据，并且作为代理文件中的代理项item#i的缩略图图像是heif文件#i的外部数据。
395.此外，对于代理文件，写入作为代理目标文件的heif文件#i的uuid#i是作为代理文件的外部数据的主要图像#item#i的指定信息。但是，uuid#i也可以被视为指定代理项#i的指定信息。
396.在这种情况下，作为已写入uuid#i的代理目标文件的heif文件#i可以被视为其中作为内部数据的主要图像item#i和作为外部数据的代理项item#i(即代理文件中的(主要图像item#i的)缩略图图像的指定信息uuid#i)彼此关联地存储的第一关联类型heif文件。
397.在代理文件的第三示例中，例如，由作为与作为代理项#i的缩略图图像相关联的指定信息的uuid(与缩略图图像的项id相关联的uuid)指定的主要图像(即，在heif文件#1至#4中的主要图像item#1至iem#4当中，与uuid#i关联的项id#i的主要图像item#i)可以被检测为与作为代理项#i的缩略图图像对应的主要图像。
398.图39是用于解释代理文件的第四示例的视图。
399.图39中代理文件的第四示例与图38中代理文件的第三示例的不同之处在于，作为代理目标文件的heif文件是图39中的单个序列文件#1，而作为代理目标文件的heif文件在图38中是四个集合文件。
400.在此，图39中作为代理目标文件的集合文件#1不是关联类型序列文件而是正常的序列文件。
401.在图39中的序列文件#1中，包括四个(换句话说，多个)帧的主要图像的轨道#1和包括它们对应的四个帧的主要图像的四帧缩略图图像的轨道#2存储在mdat盒。
402.而且，分别管理轨道#1和#2的trak盒存储在moov盒中。
403.管理轨道#1至#2的trak盒中的每一个包括存储由trak盒管理的轨道的轨道id的tkhd盒。
404.管理轨道#2的trak盒还包括tref盒，tref盒存储指示与轨道#2相关的另一个轨道是轨道#1(track_id＝1)以及轨道#2是缩略图图像的轨道(类型＝thmb)的信息。
405.例如，存储在图39中的序列文件#1中的四个帧的缩略图图像被解码和帧内编码。
406.然后，生成将四个帧的帧内编码缩略图图像存储为代理项item#1至item#4的代理文件。而且，在代理文件中，作为代理项item#i(代理文件中的主要图像)的缩略图图像被用作代理文件中的内部数据并且与缩略图图像对应的序列文件#1中轨道#1中第i帧(第i个位置的帧)的主要图像item#i被用作代理文件外部的外部数据，内部数据(作为代理项item#i的缩略图图像)与外部数据(第i帧的主要图像)的指定信息彼此关联地存储。
407.即，如图38中那样，在图39中，关联信息存储盒存储在作为代理文件的heif文件中的meta盒中，关联信息存储盒存储将作为代理项item#i的缩略图图像的项id#i与和缩略图图像对应的第i帧的主要图像的指定信息相关联的关联信息。因而，图39中的代理文件是第一关联类型集合文件。
408.如图38中那样，在图39中，采用uuid作为作为外部数据的主要图像的指定信息。作为外部数据的第i帧的主要图像的uuid是uuid#i。
409.如上所述，在图39中，采用uuid作为作为外部数据的主要图像的指定信息，因此，如图38中那样，作为作为外部数据的主要图像的指定信息的uuid被写入(存储)到作为将主要图像存储为外部数据的代理目标文件的序列文件#1。
410.图40是用于解释将作为作为外部数据的主要图像的指定信息的uuid写入作为代理目标文件的序列文件#1中的示例的视图。
411.为了将作为外部数据的主要图像的uuid写入存储主要图像的序列文件#i，可以将uuid写入序列文件#i中的moov盒或mdat盒。为了将主要图像的uuid写入存储主要图像的序列文件#i，可以例如根据关联类型heif文件的格式(即，以写入uuid之后的格式是关联类型heif文件的格式的方式)写入uuid。
412.在图40中，根据关联类型序列文件的文件格式，将uuid写入将主要图像存储为外部数据的序列文件#1。
413.即，在图40中，生成用于包括在轨道#1中的第1至第4帧的主要图像的uuid#1至uuid#4的轨道#3，生成管理轨道#3的trak盒，轨道#3存储在mdat盒中，并且管理轨道#3的trak盒存储在moov盒中，由此序列文件#1是关联类型序列文件(符合关联类型序列文件的格式)。
414.在轨道#3中，分别包括和布置第1至第4帧的主要图像的uuid#1至uuid#4，使得轨道#1中的第i帧的主要图像根据时间线上的时间信息或轨道#3中的布置的次序与主要图像的uuid#i相关联。
415.管理轨道#3的trak盒包括存储由trak盒管理的轨道#3的轨道id的tkhd盒。
416.管理轨道#3的trak盒还包括tref盒，tref盒存储指示与轨道#3相关的另一个轨道是轨道#1(track_id＝1)以及轨道#3是元数据的轨道(指定信息)(类型＝cdsc)的信息。
417.在代理文件的第四示例中，例如，与uuid#i相关联，轨道#1中第i帧的主要图像可以被检测为(关联类型)序列文件#1中轨道#1中包括的四个帧的主要图像当中与作为代理项#i的缩略图图像对应的主要图像。
418.注意的是，对于作为已写入uuid#i的代理目标文件的序列文件#1，序列文件#1中的主要图像是序列文件#1的内部数据，并且作为代理文件中的代理项item#i的缩略图图像是序列文件#1的外部数据。
419.此外，对于代理文件，写入作为代理目标文件的序列文件#1的uuid#i是作为代理文件的外部数据的第i帧主要图像的指定信息。但是，uuid#i也可以被视为指定代理项#i的指定信息。
420.在这种情况下，作为已写入uuid#i的代理目标文件的序列文件#1可以被视为关联类型的序列文件，其中作为内部数据的第i帧主要图像和作为外部数据的代理项item#i(即，第i帧主要图像的缩略图图像的指定信息uuid#i)彼此关联地存储。
421.如上所述的代理文件使得有可能快速执行例如作为存储在heif文件中的主要图像的相关图像的缩略图图像的索引显示。而且，使得有可能容易地将与缩略图图像对应的主要图像检测为索引显示中的相关图像。
422.图41是用于解释以第一关联类型集合文件作为代理目标文件生成代理文件的示例的视图。
423.参考图36至40，已经给出了关于以普通heif文件(除关联类型heif文件以外的heif文件)作为代理目标文件生成的代理文件的描述。但是，除普通heif文件之外，还能够以关联类型heif文件作为代理目标文件来生成代理文件。
424.在图41中，代理目标文件是四个第一关联类型集合文件#1至#4。
425.在图41中的第一关联类型集合文件#i中，一帧的主要图像item#i和主要图像item#i的缩略图图像item#(1000 i)存储在mdat盒中。此外，关联信息存储盒存储在meta盒中，关联信息存储盒具有指示主要图像的数量是1并且将主要图像item#i的项id#i与作为与主要图像item#i相关联的外部数据(未示出)的指定信息的uuid#i相关联的关联信息。
426.如上所述，在第一关联类型集合文件#i中，meta盒存储关联信息存储盒，关联信息存储盒具有将主要图像item#i的项id#i与作为与主要图像item#i相关联的一些外部数据的指定信息的uuid#i相关联的关联信息，并且在uuid#i用作一些外部数据的指定信息的情况下，主要图像item#i已经与外部数据相关联。已经与第一关联类型集合文件#i中的主要图像item#i相关联的一些外部数据也被称为已关联的外部数据。
427.在如上所述通过使用第一关联类型集合文件#i作为代理目标文件来执行用于生成代理文件的代理文件生成处理的情况下，文件控制单元43可以通过以共享方式使用已经被用作已关联的外部数据的指定信息的uuid#i作为作为代理文件的外部数据的主要图像
item#i的指定信息来生成代理文件。
428.即，在代理文件生成处理中，在使用存储在第一关联类型集合文件#1至#4中的缩略图图像item#1001至item#1004作为代理项item#1至item#4、使用缩略图图像(代理文件中的主要图像)作为作为代理文件中的内部数据的代理项item#i并且使用与缩略图图像对应的主要图像item#i作为代理文件外部的外部数据时，文件控制单元43生成关联类型heif文件作为代理文件，其中内部数据(作为代理项item#i的缩略图图像)和外部数据(主要图像item#i)的指定信息彼此关联地存储。
429.例如，文件控制单元43生成第一关联类型集合文件作为代理文件，其中meta盒存储关联信息存储盒，关联信息存储盒存储将作为作为代理项item#i的缩略图图像的项id#i与和缩略图图像对应的主要图像item#i的指定信息关联的关联信息。
430.在如上所述以第一关联类型集合文件#i作为代理目标文件的代理文件生成处理中，作为与第一关联类型集合文件#i中的主要图像item#i相关联的已关联的外部数据的指定信息的uuid#i可以被用作作为代理文件的外部数据的主要图像item#i的指定信息。
431.在这种情况下，关于用作作为代理文件的外部数据的主要图像item#i的指定信息的uuid#i，与参考图38提供的描述不同，没有必要将uuid#i写入第一关联类型集合文件#i。这是因为第一关联类型集合文件#i处于uuid#i已经被写入的状态。
432.在图41的代理文件中，与图38中的代理文件的第三示例一样，例如，在第一heif文件#1至#4中的主要图像item#1至item#4当中，与uuid#i相关联的项id#i的主要图像item#i可以被检测为与作为代理项#i的缩略图图像对应的主要图像。
433.图42是用于解释以第一关联类型集合文件作为代理目标文件生成代理文件的另一个示例的视图。
434.在图42中，代理目标文件是一个第一关联类型集合文件#1。
435.在图42中的第一关联类型集合文件#1中，四个(换句话说，多个)帧的主要图像item#1至item#4，以及它们对应的主要图像item#1至item#4的缩略图图像#1001至item#1004存储在mdat盒中。此外，关联信息存储盒存储在meta盒中，关联信息存储盒具有指示主要图像的数量是4并且对于四个帧的主要图像item#1至item#4中的每一个将主要图像item#i的项id#i与作为与主要图像相关联的已关联的外部数据的指定信息的uuid#i关联的关联信息。
436.在如上所述通过使用第一关联类型集合文件#1作为代理目标文件来执行代理文件生成处理的情况下，与图41中的情况一样，文件控制单元43可以通过以共享方式使用已经被用作已关联的外部数据的指定信息的uuid#i作为作为代理文件的外部数据的主要图像item#i的指定信息来生成代理文件。
437.即，在代理文件生成处理中，在使用存储在第一关联类型集合文件#1中的缩略图图像item#1001至item#1004作为代理项item#1至item#4的同时，使用缩略图图像(代理文件中的主要图像)作为作为代理文件中的内部数据的代理项item#i，并且使用与缩略图图像对应的主要图像item#i作为代理文件外部的外部数据，文件控制单元43生成关联类型heif文件作为代理文件，其中内部数据(作为代理项item#i的缩略图图像)和外部数据(主要图像item#i)的指定信息彼此关联地存储。
438.例如，文件控制单元43生成第一关联类型集合文件作为代理文件，其中meta盒存
储关联信息存储盒，关联信息存储盒存储将作为代理项item#i的缩略图图像的项id#i与和该缩略图图像对应的主要图像item#i的指定信息关联的关联信息。
439.在如上所述以第一关联类型集合文件#i作为代理目标文件的代理文件生成处理中，作为第一关联类型集合文件#i中与主要图像item#i相关联的已关联的外部数据的指定信息的uuid#i可以被用作作为代理文件的外部数据的主要图像item#i的指定信息。
440.在这种情况下，关于用作作为代理文件的外部数据的主要图像item#i的指定信息的uuid#i，与参考图38提供的描述不同，没有必要将uuid#i写入第一关联类型集合文件#i。这是因为第一关联类型集合文件#i处于uuid#i已经被写入的状态。
441.在图42的代理文件中，与图38中的代理文件的第三示例一样，例如，在第一heif文件#1至#4中的主要图像item#1至item#4当中，与uuid#i相关联的项id#i的主要图像item#i可以被检测为与作为代理项#i的缩略图图像对应的主要图像。
442.图43是用于解释以关联类型序列文件作为代理目标文件生成代理文件的示例的视图。
443.在图43中，代理目标文件是一个关联类型序列文件#1。
444.在图43中的关联类型序列文件#1中，包括四个(换句话说，多个)帧的主要图像的轨道#1、包括其对应主要图像的四个帧的缩略图图像的轨道#2，以及包括分别作为与四个帧的主要图像相关联的已关联的外部数据的指定信息的uuid#1至uuid#4的轨道#3存储在mdat盒中。
445.而且，在图43中的关联类型序列文件#1中，分别管理轨道#1至#3的trak盒存储在moov盒中。
446.管理轨道#1至#3的trak盒中的每一个包括存储由trak盒管理的轨道的轨道id的tkhd盒。
447.管理轨道#2的trak盒还包括tref盒，tref盒存储指示与轨道#2相关的另一个轨道是轨道#1(track_id＝1)并且轨道#2是缩略图图像的轨道(类型＝thmb)的信息。
448.管理轨道#3的trak盒还包括tref盒，tref盒存储指示与轨道#3相关的另一个轨道是轨道#1(track_id＝1)并且轨道#3是元数据的轨道(指定信息)(类型＝cdsc)的信息。
449.在如上所述通过使用关联类型序列文件#1作为代理目标文件来执行代理文件生成处理的情况下，文件控制单元43可以与图41中的情况一样通过以共享方式使用已经被用作已关联的外部数据的指定信息的uuid#i作为作为代理文件的外部数据的主要图像item#i的指定信息来生成代理文件。
450.即，在代理文件生成处理中，文件控制单元43使编码控制单元42对存储在关联类型序列文件#1中的四个帧的缩略图图像进行解码，并且进一步对缩略图图像进行帧内编码。
451.然后，文件控制单元43生成第一关联类型集合文件作为代理文件，第一关联类型集合文件存储了四个帧的帧内编码缩略图图像作为代理项item#1至item#4。
452.而且，在代理文件中，在作为代理项item#i(代理文件中的主要图像)的缩略图图像被用作代理文件中的内部数据并且与该缩略图图像对应的序列文件#1中的轨道#1中的第i帧的主要图像item#i被用作代理文件外部的外部数据的同时，内部数据(作为代理项item#i的缩略图图像)和外部数据(第i帧的主要图像)的指定信息彼此关联地存储。
453.即，存储关联信息的关联信息存储盒存储在代理文件的meta盒中，该关联信息将作为代理项item#i的缩略图图像的项id#i与和该缩略图图像对应的第i帧的主要图像的指定信息关联。
454.在如上所述以关联类型序列文件#1作为代理目标文件的代理文件生成处理中，作为与关联类型序列文件#1中第i帧的主要图像相关联的已关联的外部数据的指定信息的uuid#i可以被用作作为代理文件的外部数据的轨道#1中的第i帧的主要图像的指定信息。
455.在这种情况下，关于用作作为代理文件的外部数据的第i帧主要图像的指定信息的uuid#i，与参考图39和40提供的描述不同，不必将uuid#i写入关联类型序列文件#1。这是因为关联类型序列文件#1处于已被写入uuid#i的状态。
456.关于图43中的代理文件，与图39和40中代理文件的第四示例一样，例如，从关联类型序列文件#1中的轨道#1中包括的四个帧的主要图像当中，与uuid#i相关联的轨道#1中第i帧的主要图像可以被检测为与作为代理项#i的缩略图图像对应的主要图像。
457.图44是用于解释由代理目标文件和由用代理目标文件执行的代理文件生成处理生成的代理文件的集合所采用的模式的视图。
458.图44的a示出了由代理目标文件和代理文件的集合所采用的第一模式的示例。
459.在第一模式下，代理文件不具有在代理目标文件中并且与作为代理文件中的代理项的缩略图图像对应的主要图像的指定信息。同样，代理目标文件不具有代理目标文件中的主要图像的指定信息。
460.在第一模式下，可以通过例如匹配作为代理文件中的代理项的缩略图图像与代理目标文件中的主要图像来将与作为代理项的缩略图图像最匹配的主要图像检测为与作为代理项的缩略图图像对应的主要图像。
461.图44的b示出了代理目标文件和代理文件的集合所采用的第二模式的示例。
462.在第二模式下，代理文件具有在代理目标文件中并且与作为代理文件中的代理项的缩略图图像对应的主要图像的指定信息。
463.另一方面，代理目标文件不具有代理目标文件中的主要图像的指定信息。在第二模式下，作为主要图像的指定信息，可以采用可以通过使用主要图像生成的信息(诸如通过使用主要图像作为输入获得的散列值)。
464.在第二模式下，例如，在通过使用代理目标文件中的主要图像作为输入生成的散列值当中，提供与作为与代理文件中的缩略图图像相关联的指定信息的散列值匹配的散列值的主要图像可以被检测为与作为代理项的缩略图图像对应的主要图像。
465.图44的c示出了代理目标文件和代理文件的集合所采用的第三模式的示例。
466.在第三模式下，代理文件具有在代理目标文件中并且与作为代理文件中的代理项的缩略图图像对应的主要图像的指定信息。
467.同样，代理目标文件具有在代理目标文件中的主要图像的指定信息。在第三模式下，作为主要图像的指定信息，例如可以采用可以用于指定主要图像的信息(诸如uuid)。
468.在第三模式下，例如，与代理目标文件中的指定信息(该指定信息与作为代理文件中的代理项的缩略图图像相关联的指定信息相同)相关联的主要图像可以被检测为与作为代理项的缩略图图像对应的主要图像。
469.图45是图示由代理目标文件和代理文件的集合所采用的第二模式的详细示例的
视图。
470.在图45中，生成代理文件，其具有用作代理目标文件的两个heif文件#1和#2。
471.在图45中，作为代理目标文件的heif文件#1分别存储两个主要图像a和b以及主要图像a和b的缩略图图像a和b。作为代理目标文件的heif文件#2分别存储两个主要图像c和d以及主要图像c和d的缩略图图像c和d。
472.此外，代理文件将缩略图图像a至d作为主要图像存储在代理文件中，并且还存储与缩略图图像a至d对应的主要图像a至d的指定信息。作为主要图像a至d的指定信息，分别采用通过使用主要图像a至d作为输入获得的散列值a至d。
473.在第二模式下，当选择存储在代理文件中的缩略图图像时，在通过将作为代理目标文件的heif文件#1和#2中的各个主要图像a至d作为输入生成的散列值当中，提供与作为与代理文件中选择的缩略图图像相关联的指定信息的散列值匹配的散列值的主要图像可以被检测为与在代理文件中选择的缩略图图像对应的主要图像。
474.图46是图示由代理目标文件和代理文件的集合所采用的第三模式的详细示例的视图。
475.在图46中，生成代理文件，其具有用作代理目标文件的两个heif文件#1和#2。
476.在图46中，作为代理目标文件的heif文件#1分别存储两个主要图像a和b以及主要图像a和b的缩略图图像a和b。作为代理目标文件的heif文件#2分别存储两个主要图像c和d以及主要图像c和d的缩略图图像c和d。
477.此外，代理文件将缩略图图像a至d作为主要图像存储在代理文件中，并且还存储与缩略图图像a至d对应的主要图像a至d的指定信息。作为主要图像a至d的指定信息，采用uuid(uuid#a、uuid#b、uuid#c和uuid#d)。
478.作为主要图像a至d的指定信息的uuid#a、uuid#b、uuid#c和uuid#d不仅被存储(写入)到代理文件中，而且被存储(写入)到代理目标文件中。即，作为存储主要图像a和b的代理目标文件的heif文件#1存储主要图像a和b的uuid#a和uuid#b，而作为存储主要图像c和d的代理目标文件的heif文件#2存储主要图像c和d的uuid#c和uuid#d。
479.在第三模式下，当选择存储在代理文件中的缩略图图像时，与代理目标文件中的uuid(该uuid与代理文件中选择的缩略图图像相关联的uuid相同)相关联的主要图像可以被检测为与代理文件中选择的缩略图图像对应的主要图像。
480.《采用代理文件的索引显示》
481.图47是用于解释在数码相机10上采用代理文件的索引显示的示例的视图。
482.为了索引显示，数码相机10读取存储在代理文件中的缩略图图像thm#i，并在液晶面板19上显示其中缩略图图像thm#i以矩阵布置的列表画面。与图31中一样，在图47中，生成其中缩略图图像thm#i被布置成3行
×
3列的列表画面。在作为索引显示的目标的代理文件中存储的缩略图图像thm#i的总数超过可以布置在列表画面上的缩略图图像的数量(在这个示例中是九)的情况下，在列表画面的顶部设置必要数量的选项卡。
483.默认情况下，选择第一个选项卡，并显示其中布置存储在作为索引显示的目标的前九个代理文件中的缩略图图像thm#1至thm#9的列表画面。当用户选择第二个选项卡时，显示其中布置存储在作为索引显示的目标的接下来的九个代理文件中的缩略图图像thm#10至thm#18的列表画面。类似地，显示其中布置存储在与用户选择的选项卡对应的九个(或
更少)代理文件中的缩略图图像的列表画面。
484.在此，与图31中的情况一样，列表画面中的缩略图图像不限于3
×
3布置。此外，共享按钮和raw编辑按钮如参考图31所述。
485.根据如上所述的采用代理文件的索引显示，可以适当地执行索引显示。
486.即，根据采用代理文件的索引显示，只要求打开/关闭代理文件，而不需要打开/关闭存储与代理文件中的缩略图图像thm#i对应的主要图像的heif文件。因此，与打开/关闭存储主要图像的heif文件的情况相比，缩短了显示列表画面的时间段以实现列表画面的快速显示。
487.此外，未进行帧间编码的缩略图图像thm#i被存储在作为索引显示的目标的代理文件中，即，在本实施例中，缩略图图像被帧内编码并存储，从而防止为索引显示执行的处理是冗余的。具体而言，当某个缩略图图像thm#i将要显示在列表画面上时，与参考图31描述的其中通过长gop帧间编码的缩略图图像thm#i被存储在序列文件中的情况不同，不必为了解码缩略图图像thm#i而解码另一个缩略图图像thm#i'。
488.图48是用于解释在数码相机10以外的外部设备上采用代理文件的索引显示的示例的视图。
489.例如，在数码相机10以外的外部设备上执行索引显示的情况下，代替作为索引显示的目标的heif文件，可以经由网络向外部设备传输通过使用heif文件作为代理目标文件而生成的代理文件。
490.外部设备从数码相机10接收代理文件。然后，与通过使用代理文件在数码相机10上执行索引显示的情况一样，通过使用存储在代理文件中的缩略图图像thm#i来生成列表画面并将其显示在外部设备上。
491.因此，与通过使用代理文件在数码相机10上执行索引显示的情况一样，可以在外部设备上适当地执行索引显示。因此，缩短了显示列表画面的时间段，以实现列表画面的快速显示。
492.而且，使得有可能防止为索引显示执行的处理是冗余的。
493.此外，存储缩略图图像的代理文件的数据量小于存储与存储在代理文件中的缩略图图像对应的主要图像的heif文件的总数据量。因此，与参考图32所述的heif文件的传输相比，可以在更短的时间内完成代理文件从数码相机10到外部设备的传输。
494.因此，使得有可能提高从用户请求外部设备上的索引显示直到实际显示列表画面的响应性。
495.注意的是，在外部设备上显示列表画面之后，用户可以选择列表画面中的任何缩略图图像thm#i。当用户选择缩略图图像thm#i时，外部设备可以向数码相机10传输与代理文件中的缩略图图像thm#i对应并且与缩略图图像thm#i相关联的主要图像main#i的指定信息。数码相机10可以从外部设备获取由指定信息指定的heif文件中的主要图像main#i，或者例如与主要图像main#i对应的raw文件中的raw图像作为已关联的外部数据，并将获取的图像传输到外部设备以供显示。
496.图49是用于解释选择用作代理目标文件的heif文件的示例的视图。
497.在代理文件生成处理中，例如，如图41中所示，可以选择其中存储一帧(或多帧)的主要图像和缩略图图像的多个集合文件作为代理目标文件以生成代理文件。
498.此外，例如，如图42中所示，可以选择其中存储有多个帧的主要图像和缩略图图像的(至少)一个集合文件作为代理目标文件以生成代理文件。
499.而且，例如，如图43中所示，可以选择(至少)一个序列文件作为代理目标文件以生成代理文件。
500.此外，如图49中所示，可以选择存储在特定目录下的heif文件作为代理目标文件以生成代理文件。
501.在图49中，dcim目录存在于根目录中，并且100msdcf目录存在于dcim目录中。此外，选择100msdcf目录下的heif文件作为代理目标文件以生成代理文件。
502.在图49中，100msdcf目录存储文件名为“dsc00001.heif”和“dsc00002.heif”的两个集合文件(heif文件)，每个文件都存储一帧的主要图像和缩略图图像。然后，通过使用这两个集合文件作为代理目标文件来生成代理文件。
503.图50是用于解释选择用作代理目标文件的heif文件的另一个示例的视图。
504.例如，如图50中所示，可以通过选择存储在某种介质(例如，附接到数码相机10的介质14)中的heif文件作为代理目标文件来生成代理文件。
505.在图50中，dcim目录存在于介质的根目录中，并且100msdcf目录、101msdcf目录、...和999msdcf目录存在于dcim目录中。此外，选择100msdcf至999msdcf目录下的heif文件作为代理目标文件以生成代理文件。
506.在图50中，100msdcf至999msdcf目录作为整体存储n个集合文件(heif文件)，每个集合文件存储一帧的主要图像和缩略图图像，并且通过使用这n个集合文件作为代理目标文件来生成代理文件。
507.《用于生成第一模式的代理文件的代理文件生成处理和向代理文件添加缩略图图像的附加处理》
508.图51是用于解释用于生成第一模式的代理文件的代理文件生成处理和用于向代理文件添加缩略图图像的附加处理的视图。
509.图51示出了第一模式的代理文件的结构的示例。
510.图51的a示出了已生成的代理文件的结构的示例。在此要注意的是，假设已经生成的代理文件存储被存储在代理目标文件中的一个主要图像的缩略图图像。
511.为了生成代理文件，文件控制单元43生成例如具有包括空区域(拍区)的空闲盒并具有mdat盒的普通集合文件作为代理文件，存储在代理目标文件中的一个主要图像的缩略图图像#1作为代理项存储在所述mdat盒中。
512.空闲盒是能够存储任何数据的盒。空闲盒(的空区域)的容量根据例如(计划)要存储在代理文件中的缩略图图像的数量来确定。
513.在图51中，在meta盒和mdat盒之间的文件层次结构级别中设置空闲盒。但是，也可以在meta盒中设置空闲盒。
514.图51的b示出了已经对其添加了另一个主要图像的缩略图图像的代理文件的结构的示例。
515.可以将缩略图图像添加到已经生成的代理文件。将缩略图图像添加到已经生成的代理文件的处理也称为添加处理。
516.在另一个主要图像的缩略图图像#2要存储在已经生成的代理文件(诸如例如图51
的a中所示的代理文件)中的情况下，文件控制单元图43通过在已经存储在代理文件的mdat盒中的缩略图图像#1之后添加缩略图图像#2将另一个主要图像的缩略图图像#2存储为代理项。
517.而且，文件控制单元43将meta盒重写为添加了作为代理项的缩略图图像#2的元数据的状态，并且将空闲盒的容量(尺寸)减小meta盒的容量被重写增加的增加量。以类似的方式将另一个主要图像的缩略图图像添加到代理文件。
518.在生成代理文件之后添加缩略图图像作为代理项的情况下，有必要将附加缩略图图像的元数据添加到代理文件中的meta盒。在这种情况下，在不采取用于添加元数据的措施的情况下，当元数据添加到代理文件时，已经存储在mdat盒中的数据的偏移量可以移位。
519.当在mdat盒中存储的数据的偏移量移位的情况下，有必要为mdat盒中存储的每条数据计算偏移量移位量，并用反映移位量的偏移量重写iloc盒，这增加了用于将缩略图图像添加到代理文件的添加处理的负担。
520.为此，在本实施例中，在生成代理文件时在代理文件中设置空闲盒。然后，在执行用于将缩略图图像添加到代理文件的添加处理的情况下，通过使用空闲盒添加元数据，从而防止已经存储在mdat盒中的数据的偏移量发生移位。
521.注意的是，在添加处理中，在缩略图图像#1已经存储在代理文件中的mdat盒中之后存储(写入)缩略图图像#2。因此，将缩略图图像#2添加到mdat盒本身既不消耗空闲盒(中的任何空区域)，也不造成已存储在mdat盒中的缩略图图像#1的任何偏移量发生移位。
522.图52是用于解释用于生成第一模式的代理文件的代理文件生成处理的示例的流程图。
523.在步骤s211中，文件控制单元43获取存储在代理目标文件中的主要图像的缩略图图像作为要作为代理项存储在代理文件中的缩略图图像，并且处理前进到步骤s212。
524.例如，在代理目标文件是其中所有缩略图图像都被帧内编码并存储的集合文件或序列文件的情况下，文件控制单元43从作为代理目标文件的集合文件或序列文件中读取缩略图图像，从而获取该缩略图图像作为要存储在代理文件中的代理项。
525.此外，例如，在代理目标文件是其中缩略图图像通过长gop被帧间编码并存储的序列文件的情况下，文件控制单元43从用作代理目标文件的序列文件生成缩略图图像，从而获取缩略图图像。
526.具体而言，例如，文件控制单元43从存储在用作代理目标文件的序列文件中的主要图像(或与主要图像对应的raw图像)生成yuv缩略图图像并对缩略图图像进行帧内编码，从而获取该缩略图图像作为要存储在代理文件中的代理项。可替代地，文件控制单元43对存储在用作代理目标文件的序列文件中的帧间编码的yuv缩略图图像进行解码和帧内编码，从而获取该缩略图图像作为要存储在代理文件中的代理项。
527.在步骤s212中，文件控制单元43计算要在代理文件中设置的空闲盒的尺寸，并且处理前进到步骤s213。
528.例如，文件控制单元43确定要存储在代理文件中的缩略图图像的数量的最大值(下文中也称为缩略图的最大数量)。然后，文件控制单元43根据缩略图的最大数量来计算允许存储至少缩略图的最大数量的元数据的空闲盒的尺寸，以便可以在代理文件中存储缩略图的最大数量的缩略图图像而不移位代理文件中的mdat盒中存储的数据的偏移量。
529.缩略图的最大数量可以根据例如其中记录代理目标文件和代理文件的介质(诸如介质14)的剩余容量来确定。
530.此外，假设与在数码相机10上的单次快门操作中拍摄多张照片的连拍相比，拍摄一张照片(图像)被称为单拍，缩略图的最大数量可以根据例如数码相机10的成像模式来确定，其中成像模式或者是连拍模式或者是单拍模式并且可以针对作为代理目标文件的每个heif文件设置。
531.此外，缩略图的最大数量可以根据例如所确定的可以存储在用作代理目标文件的一个heif文件中的主要图像的最大数量来确定。
532.此外，缩略图的最大数量可以根据例如具有良好评估的主要图像的数量来确定，该评估由文件控制单元43对存储在代理目标文件中的主要图像进行。在对主要图像的评估中，例如，通过获得关于图像质量的信息(诸如主要图像的s/n和清晰度)，并且具有等于或大于阈值的s/n、清晰度等的主要图像可以被确定为具有良好评估的主要图像。
533.此外，缩略图的最大数量可以根据多个因素(诸如上述介质的剩余容量)来确定。
534.此外，在存储在预定目录或预定介质中的heif文件用作代理目标文件的情况下，缩略图的最大数量可以根据例如可以存储在一个heif文件中的主要图像的所确定的最大数量来确定，所述一个heif文件存储在预定目录或预定介质中并且用作代理目标文件。
535.在步骤s213中，文件控制单元43生成普通集合文件作为代理文件，该普通集合文件包括具有在步骤s212中计算出的尺寸的空闲盒并且在该普通集合文件中，存储在代理目标文件中的主要图像的缩略图图像作为代理项被存储在mdat盒中，并且代理文件生成处理结束。
536.图53是用于解释用于将缩略图图像添加到第一模式的代理文件的添加处理的示例的流程图。
537.在代理文件已经存在的情况下，当要向代理文件添加缩略图图像时，对作为添加处理的目标的代理文件执行添加处理。
538.在步骤s221中，文件控制单元43获取存储在代理目标文件中的主要图像的缩略图图像作为要被添加到作为添加处理的目标的代理文件的代理项的缩略图图像(下文中也称为附加缩略图图像)，并且处理前进到步骤s222。能够以与图52中的步骤s211相似的方式在步骤s221中获取附加缩略图图像。
539.在步骤s222中，文件控制单元43将附加缩略图图像作为代理项添加到作为添加处理的目标的代理文件中的mdat盒，并且处理前进到步骤s223。
540.在步骤s223中，文件控制单元43通过从作为添加处理的目标的代理文件中读取meta盒来获取meta盒，并且处理前进到步骤s224。
541.在步骤s224中，文件控制单元43获取作为添加处理的目标的代理文件中空闲盒的剩余容量，并确认剩余容量足以添加附加缩略图图像的元数据，然后处理前进到步骤s225。
542.注意的是，在步骤s224中，在空闲盒的剩余容量不足以添加附加缩略图图像的元数据的情况下，例如，在液晶面板19上显示指示这种不足的信息，并且添加处理结束。而且，在这种情况下，可以执行用于生成存储附加缩略图图像的新代理文件的代理文件生成处理。
543.在步骤s225中，根据将附加缩略图图像作为代理项添加到作为添加处理的目标的
代理文件中的mdat盒，文件控制单元43通过将附加缩略图图像的元数据添加到在步骤s223中获取的meta盒来重新生成新的meta盒。而且，文件控制单元43用新的meta盒重写作为添加处理的目标的代理文件中的meta盒，并且处理从步骤s225前进到步骤s226。
544.在步骤s226中，文件控制单元43生成新的空闲盒，新的空闲盒的尺寸减小新meta盒相对于重写之前的meta盒的尺寸(数据量)的增加量。而且，文件控制单元43用新的空闲盒重写作为添加处理的目标的代理文件中的空闲盒，并且添加处理结束。
545.《用于生成第二或第三模式的代理文件的代理文件生成处理和用于将缩略图图像添加到代理文件的添加处理》
546.图54是用于解释用于生成第二或第三模式的代理文件的代理文件生成处理和用于将缩略图图像添加到代理文件的添加处理的视图。
547.图54示出了第二或第三模式的代理文件的结构的示例。
548.图54的a示出了已生成的代理文件的结构的示例。在此要注意的是，假设已经生成的代理文件存储被存储在代理目标文件中的一个主要图像的缩略图图像。
549.为了生成代理文件，文件控制单元43生成例如具有空闲盒并且具有mdat盒的关联类型集合文件作为代理文件，代理目标文件中所存储的一个主要图像的缩略图图像#1作为代理项被存储在mdat盒中。
550.在作为代理文件的关联类型集合文件中，缩略图图像#1与缩略图图像#1(的指定信息)相关联地存储。即，在作为代理文件的关联类型集合文件中，存储与代理文件中的缩略图图像和对应于缩略图图像的作为外部数据的主要图像的指定信息之间的关联相关的关系信息。
551.作为关系信息，例如，存在存储在图10中的第一关联类型集合文件的关联信息存储盒中的关联信息。
552.而且，作为关系信息，例如，存在作为存储在图11中的第二关联类型集合文件的mdat盒中的项item#201、用于存储在meta盒的iinf盒中的项item#201的infe盒、与meta盒的iprp盒中的iloc盒中存储的项item#201的存储位置的偏移量等。
553.此外，作为关系信息，例如，存在作为存储在图12中的第三关联类型集合文件中的mdat盒中的项的指定信息，以及其中作为项存储在meta盒中的iref盒中的cdsc盒中的主要图像的项id与作为项的指定信息的项id关联的关联信息。
554.而且，作为关系信息，例如，存在存储在图14中的关联类型序列文件的mdat盒中的指定信息的轨道#3，以及存储在moov盒中并管理指定信息的轨道#3的trak盒。
555.在图54中，生成第三关联类型集合文件作为代理文件。
556.此外，在图54的a中，指定信息#1是与缩略图图像#1对应的主要图像的指定信息并且是关系信息的一部分。
557.在作为第三关联类型集合文件的代理文件中，指定信息#1存储在mdat盒中。关于与缩略图图像#1与指定信息#1之间的关联相关的关系信息，除指定信息#1以外的信息(诸如例如关联缩略图图像#1的项id与如参考图12所述存储在meta盒的iref盒的cdsc盒中的指定信息#1的项id的关联信息，和包括指定信息#1的存储位置的偏移量的元数据)存储在作为第三关联类型集合文件的代理文件中的meta盒中。
558.图54的b示出了代理文件的结构的示例，已经对其添加了另一个主要图像的缩略
图图像。
559.在用于将另一个主要图像的缩略图图像#2附加地存储在已经生成的代理文件(诸如例如图54的a中所示的代理文件)中的添加处理中，文件控制单元43通过在已经存储在代理文件的mdat盒中的缩略图图像#1和指定信息#1之后添加缩略图图像#2来存储另一个主要图像的缩略图图像#2作为代理项。
560.而且，文件控制单元43将meta盒重写为对其添加了作为代理项的缩略图图像#2的元数据的状态。
561.另一个主要图像的缩略图图像#2与和缩略图图像#2对应的主要图像的指定信息#2相关联地存储。即，文件控制单元43通过将指定信息#2添加到代理文件中的mdat盒中的缩略图图像#2来存储指定信息#2作为代理项。
562.而且，文件控制单元43将meta盒重写为添加了作为代理项的缩略图图像#2的元数据、并且除指定信息#2以外还添加了与缩略图图像#2和指定信息#2之间的关联相关的关系信息的状态。
563.文件控制单元43将空闲盒的容量减小meta盒的容量被重写meta盒所增加的增加量。以相似的方式将另一个主要图像的缩略图图像添加到代理文件。
564.注意的是，在添加处理中，缩略图图像#2和指定信息#2被写入以便添加在已经存储在mdat盒中的缩略图图像#1和指定信息#1之后。因此，将缩略图图像#2和指定信息#2添加到mdat盒本身既不消耗空闲盒，也不造成已经存储在mdat盒中的缩略图图像#1和指定信息#1的任何偏移量移位。
565.图55是用于解释用于生成第二或第三模式的代理文件的代理文件生成处理的示例的流程图。
566.如图52中的步骤s211，在步骤s241中，文件控制单元43获取存储在代理目标文件中的主要图像的缩略图图像作为要存储在代理文件中的代理项的缩略图图像，并且处理前进到步骤s242。
567.在步骤s242中，文件控制单元43获取与在步骤s241中获取的缩略图图像对应的主要图像的指定信息，并且处理前进到步骤s243。
568.在作为存储主要图像的代理目标文件的heif文件是集合文件的情况下，作为主要图像的指定信息，可以采用例如uuid、通过使用主要图像作为输入计算出的散列值、指派给存储主要图像的代理目标文件的url的集合和主要图像的项id等。
569.在作为存储主要图像的代理目标文件的heif文件是序列文件的情况下，作为主要图像的指定信息，可以采用例如uuid、指派给存储主要图像的代理目标文件的url的集合、主要图像的帧的轨道的轨道id、主要图像从轨道头开始的帧的序号(帧偏移量)、指派给存储主要图像的代理目标文件的url的集合、以及时间线上主要图像的帧的时间信息等。
570.注意的是，在指定信息能够在将指定信息写入代理目标文件时指定代理目标文件中的数据(主要图像)的情况下，例如，在指定信息是uuid的情况下，在步骤s242中，在生成主要图像的指定信息之后，将指定信息写入存储要由指定信息指定的主要图像的代理目标文件中。
571.此外，在代理目标文件是关联类型heif文件并且与关联类型heif文件中存储的主要图像相关联的外部数据的指定信息存储在作为代理目标文件的关联类型heif文件中的
情况下，在步骤s242中，可以获取外部数据的指定信息作为主要图像的指定信息。在这种情况下，因为指定信息已经写入作为代理目标文件的关联类型heif文件，所以不必重新写入主要图像的指定信息。
572.如图52中的步骤s212中那样，在步骤s243中，文件控制单元43计算要在代理文件中设置的空闲盒的尺寸，并且处理前进到步骤s244。
573.注意的是，在第二或第三模式的代理文件作为用于添加处理的目标代理文件经受添加处理的情况下，代理文件中的meta盒不仅存储要添加的缩略图图像的元数据而且存储与要添加的缩略图图像和对应于缩略图图像的主要图像的指定信息之间的关联相关的关系信息(其要存储在meta盒中)。
574.因此，即使第二或第三模式的代理文件中存储的缩略图图像的缩略图的最大数量与第一模式的代理文件中存储的缩略图图像的缩略图的最大数量相同，在图55的步骤s243中计算出的空闲盒的尺寸也大于在图52的步骤s212中计算出的空闲盒的尺寸。
575.在步骤s244中，文件控制单元43生成关联类型集合文件作为代理文件，该关联类型集合文件包括具有在步骤s243中计算出的尺寸的空闲盒，并且在该关联类型集合文件中存储在代理目标文件中存储的主要图像的缩略图图像作为mdat盒中的代理项，并且代理文件生成处理结束。
576.在步骤s244中的代理文件生成中，生成关联类型集合文件作为代理文件，其中将作为代理项的缩略图图像与和缩略图图像对应的主要图像的指定信息(即，在步骤s242中获取的指定信息)相关联地存储。例如，生成有代理文件，该代理文件与作为代理项的缩略图图像一起存储与缩略图图像和对应于缩略图图像的主要图像的指定信息之间的关联相关的关系信息。
577.图56是用于解释用于将缩略图图像添加到第二或第三模式的代理文件的添加处理的示例的流程图。
578.在代理文件已经存在的情况下，当要向代理文件添加缩略图图像时，对作为添加处理的目标的代理文件执行添加处理。在此假设用作添加处理的目标的代理文件是例如第三关联类型集合文件(图12)。
579.在步骤s251中，文件控制单元43获取存储在代理目标文件中的主要图像的缩略图图像作为要添加到作为添加处理的目标的代理文件的代理项的附加缩略图图像，并且处理前进到步骤s252。能够以与图55中的步骤s241相似的方式在步骤s251中获取附加缩略图图像。
580.在步骤s252中，文件控制单元43执行与图55中的步骤s242中的处理相似的处理，诸如获取与在步骤s241中获取的附加缩略图图像对应的主要图像的指定信息，并且处理前进到步骤s253。
581.在步骤s253中，文件控制单元43将附加缩略图图像和与附加缩略图图像对应的主要图像的指定信息作为代理项添加到用作添加处理的目标的代理文件中的mdat盒，并且处理前进到步骤s254。
582.在步骤s254中，文件控制单元43通过从用作添加处理的目标的代理文件中读取meta盒来获取meta盒，并且处理前进到步骤s255。
583.在步骤s255中，文件控制单元43获取用作添加处理的目标的代理文件中空闲盒的
剩余容量，并确认剩余容量足以添加附加缩略图图像的元数据和添加与附加缩略图图像和对应于该附加缩略图图像的主要图像的指定信息(但是，在此排除了已经在步骤s253中添加到mdat盒的指定信息)之间的关联相关的关系信息，并且处理前进到步骤s256。
584.注意的是，如果在步骤s255中确认空闲盒的剩余容量不足以进行所述添加，那么可以执行与参考图53中的步骤s224描述的处理相似的处理。
585.在步骤s256中，文件控制单元43从在步骤s254中获取的meta盒重新生成新meta盒。
586.通过向在步骤s254中获取的meta盒添加作为添加到用作添加处理的目标的代理文件中的mdat盒的代理项的附加缩略图图像的元数据、以及与附加缩略图图像和对应于附加缩略图图像的主要图像的指定信息(但是，在此排除了已经在步骤s253中添加到mdat盒的指定信息)之间的关联相关的关系信息来生成新的meta盒。
587.文件控制单元43用新的meta盒重写用作添加处理的目标的代理文件中的meta盒，并且处理从步骤s256前进到步骤s257。
588.在步骤s257中，文件控制单元43生成新的空闲盒，新的空闲盒的尺寸减小新meta盒的尺寸(数据量)相对于重写之前的meta盒的增加量。而且，文件控制单元43用新的空闲盒重写用作添加处理的目标的代理文件中的空闲盒，并且添加处理结束。
589.《用于检测与存储在第二模式的代理文件中的缩略图图像对应的主要图像的检测处理》
590.图57是用于解释用于检测与存储在第二模式的代理文件中的缩略图图像对应的主要图像的检测处理的示例的视图。
591.图57示出了第二模式的代理文件和代理目标文件的集合的示例。
592.在图57中，生成代理文件，以集合文件#1和#2作为代理目标文件。作为代理文件，例如采用第三关联类型集合文件。
593.在集合文件#i中，主要图像#i和主要图像#i的缩略图图像#i存储在mdat盒中。
594.在代理文件中，缩略图图像#1和#2以及与缩略图图像#1和#2对应的主要图像的指定信息#1和#2以缩略图图像#i和指定信息#i彼此关联的方式存储。
595.用作第二模式的代理目标文件的集合文件#i不包括主要图像#i的指定信息#i。因此，在第二模式下，作为主要图像#i的指定信息#i，采用即使主要图像#i的指定信息#i没有写入集合文件#i也能够指定主要图像#i的信息i(诸如例如通过使用主要图像#i作为输入获得的散列值)。
596.现在，假设例如采用通过使用主要图像#i作为输入获得的散列值作为主要图像#i的指定信息#i。
597.在这种情况下，在通过使用分别用作代理目标文件的集合文件#1和#2中的主要图像#1和#2作为输入生成的散列值当中，提供与作为指定信息#i的散列值匹配的散列值的主要图像#i被检测为与代理文件中的缩略图图像#i对应的主要图像，指定信息#i与作为代理文件中的代理项的缩略图图像#i相关联。
598.图58是用于进一步解释用于检测与存储在第二模式的代理文件中的缩略图图像对应的主要图像的检测处理的示例的视图。
599.图58示出了第二模式的代理文件和代理目标文件的集合的示例。
600.在图58中，生成代理文件，以集合文件#1和#2作为代理目标文件。作为代理文件，例如采用第一关联类型集合文件。作为用作代理目标文件的集合文件#1和#2，采用普通集合文件。
601.在集合文件#1中，主要图像a和b以及主要图像a和b的缩略图图像a和b存储在mdat盒中。在集合文件#2中，主要图像c和d以及主要图像c和d的缩略图图像c和d存储在mdat盒中。
602.在代理文件中，缩略图图像a至d以及作为主要图像a至d的指定信息的散列值#a至#d以缩略图图像a至d分别与作为指定信息的散列值#a至#d相关联的方式存储。即，在代理文件中，关联信息存储盒存储关联信息，该关联信息将缩略图图像a至d的项id分别与作为指定信息的散列值#a至#d关联。作为指定信息的散列值#a至#d分别是通过使用主要图像a至d作为输入获得的散列值。
603.在这种情况下，在通过使用分别用作代理目标文件的集合文件#1和#2中的主要图像a和d作为输入生成的散列值当中，提供与作为指定信息的散列值匹配的散列值的主要图像被检测为与代理文件中的缩略图图像x对应的主要图像，所述指定信息与作为代理文件中的代理项的某个缩略图图像x(其中x是a至d中的任何一个)相关联。
604.图59是用于解释用于检测与存储在第二模式的代理文件中的缩略图图像对应的主要图像的检测处理的示例的流程图。
605.例如，ui控制单元47使文件控制单元43等执行使用存储在代理文件中的缩略图图像生成列表画面并将列表画面显示在液晶面板19上的索引显示。
606.例如，文件控制单元43生成用于识别存储在代理文件中的各个缩略图图像(它们是用于代理文件的主要图像)的句柄的列表。ui控制单元47响应于例如用户的操作等而请求文件控制单元43执行存储在代理文件中的缩略图图像的索引显示。
607.响应于由ui控制单元47做出的执行索引显示的请求，文件控制单元43从代理文件读取由句柄列表中的句柄识别出的缩略图图像(的帧)，并经由编码控制单元42将缩略图图像供应给显示控制单元46。
608.显示控制单元46生成来自文件控制单元43的缩略图图像的列表画面并在液晶面板19上显示列表画面。
609.此后，例如，当用户从列表画面选择期望的缩略图图像时，在步骤s271中，文件控制单元43通过从代理文件中读取指定信息来获取与从列表画面选择的缩略图图像(下文中也称为所选择的缩略图图像)相关联的指定信息，并且处理前进到步骤s272。
610.即，例如，文件控制单元43指定句柄列表中所选择的缩略图图像(所选择的相关图像)的句柄，并通过读取代理文件中的指定信息来获取与由句柄识别出的所选择的缩略图图像相关联的指定信息。
611.在步骤s272中，文件控制单元43选择为了检测主要图像而要搜索的heif文件，并且处理前进到步骤s273。
612.在此，如参考图49、50等所描述的，在代理文件生成处理(和添加处理)中，一个或多个集合文件、一个或多个序列文件、存储在特定目录中的heif文件或特定介质中的heif文件可以被选为代理目标文件。
613.文件控制单元43选择被选为用于代理文件的代理目标文件的heif文件作为搜索
目标。指定代理目标文件所必需的信息(诸如例如在选择存储在特定目录或介质中的heif文件作为代理目标文件的情况下用于指定特定目录或介质的信息)可以存储在例如代理文件中的meta盒或mdat盒中。
614.在步骤s273中，文件控制单元43在搜索目标heif文件中搜索主要图像以检测由与所选择的缩略图图像相关联的指定信息指定的主要图像，并且检测处理结束。
615.例如，在采用通过使用主要图像作为输入通过sha-256等计算出的散列值作为主要图像的指定信息的情况下，文件控制单元43对于每个搜索目标heif文件获得通过使用heif文件中的(单个)主要图像作为输入计算出的散列值。
616.即，例如，在搜索目标heif文件是集合文件的情况下，文件控制单元43对于每个搜索目标集合文件获取集合文件中的主要图像的项id的列表(主要图像列表)。
617.此外，对于主要图像列表中的每个项id，根据搜索目标集合文件中的iloc盒中的信息，文件控制单元43从mdat盒读取主要图像(的数据)作为由项id指定的项。文件控制单元43使用从搜索目标集合文件中的mdat盒读取的主要图像作为输入来计算散列值。
618.然后，文件控制单元43检测提供与作为指定信息的散列值匹配的散列值的主要图像#i作为与选择的缩略图图像对应的主要图像，所述指定信息与所选择的缩略图图像相关联。
619.《用于检测与存储在第三模式的代理文件中的缩略图图像对应的主要图像的检测处理》
620.图60是用于解释用于检测与存储在第三模式的代理文件中的缩略图图像对应的主要图像的检测处理的示例的视图。
621.图60示出了代理目标文件和第三模式的代理文件的集合的示例。
622.在图60中，生成代理文件，以集合文件#1和#2作为代理目标文件。
623.作为代理文件，例如采用第三关联类型集合文件。还采用第三关联类型集合文件作为用作代理目标文件的集合文件#1和#2。
624.与图57中的情况一样，在集合文件#i中，主要图像#i和主要图像#i的缩略图图像#i存储在mdat盒中。
625.而且，在集合文件#i中，主要图像#i和主要图像#i的指定信息#i以主要图像#i和指定信息#i彼此关联的方式存储。
626.在代理文件中，与图57中的情况一样，主要图像的缩略图图像#1和#2以及指定信息#1和#2以缩略图图像#i和指定信息#i彼此关联的方式存储。
627.用作第三模式的代理目标文件的集合文件#i包括主要图像#i的指定信息#i。因此，在第三模式下，可以采用任何信息作为主要图像的指定信息，只要可以将主要图像的指定信息写入用作代理目标文件的集合文件#i中即可。
628.现在，假设例如采用uuid作为主要图像#i的指定信息#i。
629.在这种情况下，主要图像#i(其是分别作为代理目标文件的集合文件#1和#2中的主要图像#1和#2中的任一个，并且与和作为指定信息#i的uuid匹配的uuid相关联，指定信息#i与作为代理文件中的代理项的缩略图图像#i相关联)被检测为与代理文件中的缩略图图像#i对应的主要图像。
630.图61是用于进一步解释用于检测与存储在第三模式的代理文件中的缩略图图像
对应的主要图像的检测处理的示例的视图。
631.图61示出了代理目标文件和第三模式的代理文件的集合的示例。
632.在图61中，生成代理文件，以集合文件#1和#2作为代理目标文件。
633.作为代理文件，例如采用第一关联类型集合文件。作为用作代理目标文件的集合文件#1和#2，也采用第一关联类型集合文件。
634.在集合文件#1中，主要图像a和b以及主要图像a和b的缩略图图像a和b存储在mdat盒中。
635.此外，在集合文件#1中，meta盒中的关联信息存储盒存储将主要图像a和b的项id分别与uuid#a和#b关联的关联信息，作为主要图像a和b的指定信息。
636.在集合文件#2中，主要图像c和d以及主要图像c和d的缩略图图像c和d存储在mdat盒中。
637.此外，在集合文件#2中，meta盒中的关联信息存储盒存储将主要图像c和d的项id分别与uuid#c和#d关联的关联信息，作为主要图像c和d的指定信息。
638.在代理文件中，缩略图图像a至d和作为主要图像a至d的指定信息的散列值#a至#d以缩略图图像a至d分别与作为指定信息的散列值#a至#d相关联的方式存储。
639.即，在代理文件中，关联信息存储盒存储关联信息，该关联信息将缩略图图像a至d的项id与作为指定信息的uuid#a至uuid#d关联。
640.在这种情况下，作为作为代理目标文件的集合文件#1和#2中的主要图像a到d之一并且与作为代理文件中的代理项的某个缩略图图像x相关联的指定信息相关联的主要图像(即，与匹配与代理文件中的相关联信息存储盒中的缩略图图像x的项id关联的uuid的uuid相关联的主要图像)被检测为与代理文件中的缩略图图像x对应的主要图像。
641.图62是用于解释用于检测与存储在第三模式的代理文件中的缩略图图像对应的主要图像的检测处理的第一示例的视图。
642.图62示出了在代理目标文件和第三模式的代理文件的集合中采用第一关联类型集合文件(图10)作为代理目标文件的情况下的代理目标文件的示例。
643.在检测处理的第一示例中，假设采用第一关联类型集合文件作为代理目标文件。
644.在作为代理目标文件的第一关联类型集合文件中，关联信息存储盒存储在meta盒中。在图62中的关联信息存储盒中，存储指示主要图像的数量为1的信息，并且主要图像的项id＝1与作为主要图像的指定信息的uuid#1彼此关联地存储。
645.在采用第一关联类型集合文件作为代理目标文件的情况下，文件控制单元43在检测处理中检测其中关联信息存储盒存储与作为与代理文件中所选择的缩略图图像相关联的指定信息的uuid匹配的uuid的代理目标文件。
646.然后，在代理目标文件中，文件控制单元43检测与匹配作为与所选择的缩略图图像相关联的指定信息的uuid的uuid关联的项id的主要图像，作为与所选择的缩略图图像对应的主要图像。
647.图63是用于解释用于检测与存储在第三模式的代理文件中的缩略图图像对应的主要图像的检测处理的第一示例的流程图。
648.例如，如参考图59所描述的，ui控制单元47使得执行使用代理文件中存储的缩略图图像生成列表画面并将列表画面显示在液晶面板19上的索引显示。
649.此后，例如，当用户从列表画面中选择期望的缩略图图像时，在步骤s281中，如图59中的步骤s271中那样，文件控制单元43通过读取指定信息从代理文件获取与从列表画面中选择的所选择的缩略图图像相关联的指定信息，并且处理前进到步骤s282。
650.在步骤s282中，如图59中的步骤s272中那样，文件控制单元43选择要被搜索以检测主要图像的heif文件，并且处理前进到步骤s283。
651.在步骤s283中，文件控制单元43从搜索目标heif文件中检测其中关联信息存储盒存储匹配与所选择的缩略图图像相关联的指定信息的指定信息(下文中也称为匹配的指定信息)的heif文件，作为用于检测与所选择的缩略图图像对应的主要图像的检测目标文件。
652.而且，文件控制单元43通过从检测目标文件中的关联信息存储盒读取访问信息来获取用于访问检测目标文件中的与匹配指定信息相关联的主要图像(由匹配的指定信息指定的主要图像)的访问信息，并且处理从步骤s283前进到步骤s284。
653.如参考图62所述，在检测处理的第一示例中，采用第一关联类型集合文件作为代理目标文件。因而，在检测处理的第一示例中，检测目标文件是第一关联类型集合文件。
654.在作为检测目标文件的第一关联类型集合文件中，如参考图62所述，关联信息存储盒将主要图像的项id与主要图像的指定信息(uuid等)彼此关联地存储。
655.在作为检测目标文件的第一关联类型集合文件中的关联信息存储盒中，文件控制单元43获取与匹配的指定信息相关联的(主要图像的)项id作为访问信息。
656.在步骤s284中，文件控制单元43使用访问信息以从检测目标文件中检测由与所选择的缩略图图像相关联的指定信息指定的主要图像，并且检测处理结束。
657.即，通过读取作为由与所选择的缩略图图像相关联的指定信息指定的主要图像的主要图像，文件控制单元43从检测目标文件中检测由作为访问信息的项id指定的主要图像。可以按照参考图18描述的方式从检测目标文件中读取由作为访问信息的项id指定的主要图像。
658.图64是用于解释用于检测与存储在第三模式的代理文件中的缩略图图像对应的主要图像的检测处理的第二示例的视图。
659.图64示出了在代理目标文件和第三模式的代理文件的集合中采用第二关联类型集合文件(图11)作为代理目标文件的情况下的代理目标文件的示例。
660.在检测处理的第二示例中，假设采用第二关联类型集合文件作为代理目标文件。
661.在作为代理目标文件的第二关联类型集合文件中，存储在第一关联类型集合文件中的关联信息存储盒中并且包括主要图像的数量和与作为主要图像的指定信息的uuid关联的主要图像的项id的关联信息作为项存储在mdat盒中。
662.在采用第二关联类型集合文件作为代理目标文件的情况下，文件控制单元43在检测处理中检测其中mdat盒存储包括与作为与代理文件中所选择的缩略图图像相关联的指定信息的uuid匹配的uuid的关联信息的代理目标文件。
663.然后，在代理目标文件中，文件控制单元43检测与匹配作为与所选择的缩略图图像相关联的指定信息的uuid的uuid关联的项id的主要图像，作为与所选择的缩略图图像对应的主要图像。
664.在用于检测与存储在第三模式的代理文件中的缩略图图像对应的主要图像的检测处理的第二示例中，执行与图63中的检测处理的第一示例相似的处理。
665.但是，注意的是，在检测处理的第二示例中，在图63的步骤s283中，关于搜索目标heif文件(第二关联类型集合文件(图11))，文件控制单元43获取在infe盒中并且包括iinf盒中的infe盒中的idif的项类型的项id，作为作为项的关联信息的项id。
666.而且，关于搜索目标heif文件，文件控制单元43在iloc盒中搜索作为项的关联信息的项id，并读取与该项id关联的偏移量和尺寸。
667.然后，根据与作为项的关联信息的项id关联的偏移量和尺寸，文件控制单元43读取存储在搜索目标heif文件中的mdat盒中的作为项的关联信息。
668.如上所述，文件控制单元43从从搜索目标heif文件读取的关联信息中检测包括匹配与所选择的缩略图图像相关联的指定信息的指定信息(匹配的指定信息)的关联信息。
669.此后，文件控制单元43将具有包括匹配的指定信息的关联信息作为项的搜索目标heif文件作为检测目标文件进行检测。然后，在检测目标文件中的关联信息中，文件控制单元43获取与匹配的指定信息相关联的(主要图像的)项id作为用于访问主要图像的访问信息。
670.图65是用于解释用于检测与存储在第三模式的代理文件中的缩略图图像对应的主要图像的检测处理的第三示例的视图。
671.图65示出了在代理目标文件和第三模式的代理文件的集合中采用第三关联类型集合文件(图12)作为代理目标文件的情况下的代理目标文件的示例。
672.在检测处理的第三示例中，假设采用第三关联类型集合文件作为代理目标文件。
673.在作为代理目标文件的第三关联类型集合文件中，作为主要图像的指定信息的uuid作为项存储在mdat盒中。
674.而且，将主要图像的项id与主要图像的指定信息的项id关联的关联信息存储在meta盒中的iref盒中的cdsc盒中(图12)。
675.在采用第三关联类型集合文件作为代理目标文件的情况下，文件控制单元43在检测处理中检测其中mdat盒存储匹配作为与代理文件中所选择的缩略图图像相关联的指定信息的uuid的uuid的代理目标文件。
676.然后，在代理目标文件中，文件控制单元43检测与匹配作为与所选择的缩略图图像相关联的指定信息的uuid的uuid关联的项id的主要图像，作为与所选择的缩略图图像对应的主要图像。
677.在用于检测与存储在第三模式的代理文件中的缩略图图像对应的主要图像的检测处理的第三示例中，执行与图63中的检测处理的第一示例相似的处理。
678.但是，注意的是，在检测处理的第三示例中，在图63的步骤s283中，关于搜索目标heif文件(第三关联类型集合文件(图12))，文件控制单元43获取在infe盒中并且包括iinf盒中的infe盒中的idif的项类型的项id，作为作为项的指定信息的项id。
679.而且，关于搜索目标heif文件，文件控制单元43在iloc盒中搜索作为项的指定信息的项id，并读取与该项id关联的偏移量和尺寸。
680.然后，根据与作为项的指定信息的项id关联的偏移量和尺寸，文件控制单元43读取作为项存储在搜索目标heif文件中的mdat盒中的指定信息。
681.如上所述，文件控制单元43从从搜索目标heif文件读取的指定信息中检测匹配与所选择的缩略图图像相关联的指定信息的指定信息(匹配的指定信息)。
682.此后，文件控制单元43将具有匹配的指定信息作为项的搜索目标heif文件检测为检测目标文件。
683.然后，在检测目标文件中的meta盒(图12)中的iref盒中的cdsc盒中的关联信息中，文件控制单元43获取与作为项的匹配的指定信息的项id关联的(主要图像的)项id(master image)，作为用于访问主要图像的访问信息，即，该项id是与参考目的地关联的参考源，它是作为项的匹配的指定信息的项id。
684.图66是用于解释用于检测与存储在第三模式的代理文件中的缩略图图像对应的主要图像的检测处理的第四示例的视图。
685.图66示出了在代理目标文件和第三模式的代理文件的集合中采用关联类型序列文件(图14)作为代理目标文件的情况下的代理目标文件的示例。
686.在检测处理的第四示例中，假设采用关联类型序列文件作为代理目标文件。
687.在作为代理目标文件的关联类型序列文件中，在mdat盒中存储作为主要图像的指定信息的uuid的轨道。在作为代理目标文件的关联类型序列文件中，主要图像的轨道(下文中也称为主要图像轨道)中的主要图像(的帧)与作为主要图像的指定信息的指定信息的轨道(下文中也称为指定信息轨道)中的uuid彼此关联并且根据时间线上的时间信息(或轨道上的布置的序号)进行存储。
688.在采用关联类型序列文件作为代理目标文件的情况下，文件控制单元43在检测处理中检测其中mdat盒存储匹配作为与代理文件中所选择的缩略图图像相关联的指定信息的uuid的uuid的代理目标文件。
689.然后，在代理目标文件中，文件控制单元43检测由作为与所选择的缩略图图像相关联的指定信息的uuid指定的主要图像，作为与所选择的缩略图图像对应的主要图像。
690.在用于检测与存储在第三模式的代理文件中的缩略图图像对应的主要图像的检测处理的第四示例中，执行与图63中的检测处理的第一示例相似的处理。
691.但是，注意的是，在检测处理的第四示例中，在图63的步骤s283中，关于搜索目标heif文件(关联类型序列文件(图14))，文件控制单元43在moov盒中的trak盒中搜索其中tref盒中的类型是cdsc的trak盒，作为管理指定信息轨道的trak盒。
692.而且，文件控制单元43从管理指定信息轨道的trak盒中的tkhd盒中读取指定信息轨道的轨道id，并读取轨道id的轨道中的指定信息，即，指定信息轨道中的指定信息。如上所述，文件控制单元43从从搜索目标heif文件读取的指定信息中检测匹配与所选择的缩略图图像相关联的指定信息的指定信息(匹配的指定信息)。
693.此后，文件控制单元43检测具有包括匹配的指定信息的指定信息轨道的搜索目标heif文件，作为检测目标文件。
694.然后，在检测目标文件中，文件控制单元43获取管理包括匹配的指定信息的指定信息轨道的trak盒(图14)中的tref盒中的轨道id(主要图像轨道的轨道id)，作为用于访问主要图像的访问信息，并且还获取匹配的指定信息在时间线上的时间信息(或在指定信息轨道中布置的匹配的指定信息的序号)。
695.《当在生成代理目标文件时生成要存储在代理文件中的缩略图图像的情况下执行的代理文件生成处理和添加处理》
696.图67是用于解释当在生成代理目标文件时生成要存储在代理文件中的缩略图图
像的情况下执行的代理文件生成处理和添加处理的视图。
697.图67示出了第一模式的代理文件的结构的示例。
698.图67的a示出了通过代理文件生成处理生成的代理文件的结构的示例。
699.当在生成代理目标文件时生成要存储在第一模式的代理文件中的缩略图图像的情况下执行的代理文件生成处理中，文件控制单元43通过使用当生成代理目标文件时用于生成存储在代理目标文件中的缩略图图像(下文中也称为当前缩略图图像)的原始图像来生成要存储在第一模式的代理文件中的缩略图图像(下文中也称为代理缩略图图像)。
700.作为代理缩略图图像，可以采用与当前缩略图图像相同的图像(副本)，或者可以采用在图像质量、数据量等方面与当前缩略图图像不同的图像(图像质量较低或数据量较小的图像)。
701.例如，在当前缩略图图像的yuv信号格式为4:2:2的情况下，可以采用4:2:0作为代理缩略图图像的信号格式。此外，例如，在当前缩略图图像的灰度为10位的情况下，可以采用8位作为代理缩略图图像的信号格式。而且，例如，作为代理缩略图图像，可以采用具有比当前缩略图图像更小尺寸(像素数)的图像。
702.此外，例如，对于代理缩略图图像，可以采用以与用于当前缩略图图像的压缩率不同的压缩率进行的编码，例如，以比用于当前缩略图图像的压缩率更高的压缩率进行的编码。
703.而且，例如，对于代理缩略图图像，可以采用与当前缩略图图像的编解码器不同类型的编解码器。例如，对于当前缩略图图像可以采用hevc，而对于代理缩略图图像可以采用jpeg。
704.文件控制单元43生成例如具有空闲盒和存储作为存储在代理目标文件中的主要图像的缩略图图像的代理缩略图图像作为代理项的mdat盒的普通集合文件，作为第一模式的代理文件。
705.在图67的a中，已经通过代理文件生成处理生成了存储(作为主要图像)两个代理缩略图图像a和b的代理文件。
706.此外，在meta盒中设置空闲盒。代理缩略图图像a和b的元数据存储在通过代理文件生成处理生成的代理文件中的meta盒中。
707.图67的b示出了通过添加处理向其添加了另一个主要图像的代理缩略图图像的代理文件的结构的示例。
708.例如，在当生成代理目标文件时生成要存储在第一模式的代理文件中的代理缩略图图像的情况下执行的添加处理中，在生成代理文件之后生成的heif文件用作新的代理目标文件时，向已经生成的代理文件(下文中也称为现有代理文件)添加存储在新的代理目标文件中的主要图像的代理缩略图图像。
709.即，文件控制单元43使用在生成新代理目标文件时用于生成存储在新代理目标文件中的当前缩略图图像的原始图像来生成要添加到第一模式的代理文件的代理缩略图图像。
710.在图67的b中，在图67的a中现有代理文件中的mdat盒中已经存储的代理缩略图图像a和b之后，已经通过添加处理添加了两个代理缩略图图像c和d(作为主要图像)。
711.当添加代理缩略图图像c和d时，文件控制单元43将meta盒重写为添加了代理缩略
图图像c和d的元数据的状态，并将空闲盒的容量减小meta盒的容量被重写增加的增加量。以相似的方式将存储在仍然新的代理目标文件中的主要图像的代理缩略图图像添加到现有代理文件。
712.图68是用于解释当在生成代理目标文件时生成要存储在第一模式的代理文件中的缩略图图像的情况下执行的代理文件生成处理的示例的流程图。
713.在生成heif文件并且满足使用heif文件作为代理目标文件来执行代理文件生成处理的代理文件生成处理执行条件的情况下，文件控制单元43执行以下代理文件生成处理。
714.作为代理文件生成处理执行条件，例如，可以采用在存储代理目标文件的目录或介质中不存在代理文件的事实。此外，作为代理文件生成处理执行条件，例如，在存储代理目标文件的目录或介质中存在代理文件的情况下，可以采用代理文件中存储的缩略图图像的数量已达到上限的事实。
715.在步骤s311中，文件控制单元43例如使用用于生成存储在代理目标文件中的当前缩略图图像的原始图像来生成要存储在第一模式的代理文件中的代理缩略图图像，并且处理前进到步骤s312。
716.注意的是，在步骤s311中，可以按原样获取(复制)从原始图像生成的当前缩略图图像作为代理缩略图图像，而不是从原始图像生成代理缩略图图像。
717.如图52中的步骤s212一样，在步骤s312中，文件控制单元43计算要在代理文件中设置的空闲盒的尺寸，并且处理前进到步骤s313。
718.在步骤s313中，文件控制单元43生成普通集合文件作为代理文件，该普通集合文件包括具有在步骤s312中计算出的尺寸的空闲盒并且其中在步骤s311中生成的代理缩略图图像(即，例如，存储在代理目标文件中的主要图像的缩略图图像)作为代理项被存储在mdat盒中，并且代理文件生成处理结束。
719.图69是用于解释当在生成代理目标文件时生成要存储在第一模式的代理文件中的缩略图图像的情况下执行的添加处理的示例的流程图。
720.在生成heif文件并且满足使用heif文件作为代理目标文件执行添加处理的添加处理执行条件的情况下，文件控制单元43执行以下添加处理。
721.作为添加处理执行条件，例如，可以采用在存储代理目标文件的目录或介质中存在代理文件并且代理文件中存储的缩略图图像的数量未达到上限的事实。
722.对于作为添加处理的目标的已经存在的代理文件(现有代理文件)执行添加处理。
723.如图68中的步骤s311一样，在步骤s321中，文件控制单元43生成代理缩略图图像作为附加缩略图图像，并且处理前进到步骤s322。
724.在步骤s322至s326中，分别执行与图53的步骤s222至s226相似的处理，并且添加处理结束。
725.图70是用于解释在生成代理目标文件时生成要存储在第三模式的代理文件中的缩略图图像的情况下执行的代理文件生成处理和添加处理的视图。
726.注意的是，当在生成代理目标文件时生成要存储在第二模式的代理文件中的缩略图图像的情况下执行的代理文件生成处理和添加处理的描述被省略，因为，除了不将指定信息写入代理目标文件并且将不需要写入代理目标文件的信息用作指定信息之外，该处理
与针对第三模式的代理文件的处理相似。
727.图70示出了第三模式的代理文件的结构的示例。
728.图70的a示出了通过代理文件生成处理生成的代理文件的结构的示例。
729.在当生成代理目标文件时生成要存储在第三模式的代理文件中的缩略图图像的情况下执行的代理文件生成处理中，与用于生成第一模式的代理文件的代理文件生成处理(图67)一样，文件控制单元43通过使用用于生成存储在代理目标文件中的当前缩略图图像的原始图像来生成要存储在第三模式的代理文件中的代理缩略图图像。
730.文件控制单元43生成例如具有空闲盒和存储作为存储在代理目标文件中的主要图像的缩略图图像的代理缩略图图像作为代理项的mdat盒的关联类型集合文件，作为第三模式的代理文件。
731.在图70的a中，已经通过代理文件生成处理生成了存储(作为主要图像)两个代理缩略图图像a和b的代理文件。此外，在meta盒中设置空闲盒。代理缩略图图像a和b的元数据存储在通过代理文件生成处理生成的代理文件中的meta盒中。
732.而且，在图70中，采用第一关联类型集合文件作为代理文件，并且代理文件在meta盒中具有关联信息存储盒。关联信息存储盒存储将代理缩略图图像a的项id＝1与作为与代理缩略图图像a对应的主要图像的指定信息的uuid#a关联的关联信息以及将代理缩略图图像b的项id＝2与作为与代理缩略图图像b对应的主要图像的指定信息的uuid#b关联的关联信息。
733.图70的b示出了通过添加处理向其添加了另一个主要图像的代理缩略图图像的代理文件的结构的示例。
734.例如，在当生成代理目标文件时生成要存储在第三模式的代理文件中的代理缩略图图像的情况下执行的添加处理中，在生成代理文件之后生成的heif文件用作新的代理目标文件时，将存储在新代理目标文件中的主要图像的代理缩略图图像添加到已经生成的现有代理文件。
735.即，文件控制单元43使用在生成新代理目标文件时用于生成存储在新代理目标文件中的当前缩略图图像的原始图像来生成要添加到第三模式的代理文件的代理缩略图图像。
736.在图70的b中，在图70的a中现有代理文件的mdat盒中已经存储的代理缩略图图像a和b之后，通过添加处理添加了两个代理缩略图图像c和d(作为主要图像)。
737.当添加代理缩略图图像c和d时，文件控制单元43将meta盒重写为添加了代理缩略图图像c和d的元数据的状态。
738.而且，文件控制单元43将meta盒(中的关联信息存储盒)改写为添加了将代理缩略图图像c的项id＝3与作为与代理缩略图图像c对应的主要图像的指定信息的uuid#c关联的关联信息以及将代理缩略图图像d的项id＝4与作为与代理缩略图图像d对应的主要图像的指定信息的uuid#d关联的关联信息的状态。
739.然后，文件控制单元43将空闲盒的容量减小meta盒的容量被重写meta盒增加的增加量。以相似的方式将存储在仍然新的代理目标文件中的主要图像的代理缩略图图像添加到现有代理文件。
740.图71是用于解释当在生成代理目标文件时生成要存储在第三模式的代理文件中
的缩略图图像的情况下执行的代理文件生成处理的示例的流程图。
741.在生成heif文件、将heif文件用作代理目标文件并且满足参考图68所述的代理文件生成处理执行条件的情况下，文件控制单元43执行以下代理文件生成处理。
742.如图68中的步骤s311中一样，在步骤s341中，文件控制单元43生成代理缩略图图像，并且处理前进到步骤s342。
743.在步骤s342中，文件控制单元43通过生成作为与在步骤s341中生成的代理缩略图图像对应的主要图像的指定信息的uuid来获取例如uuid，并且处理前进到步骤s343。
744.如图55中的步骤s243一样，在步骤s343中，文件控制单元43计算要在代理文件中设置的空闲盒的尺寸，并且处理前进到步骤s344。
745.在步骤s344中，文件控制单元43生成例如第一关联类型集合文件作为代理文件，第一关联类型集合文件包括具有在步骤s343中计算出的尺寸的空闲盒并且其中将在步骤s341中生成的代理缩略图图像(即，存储在代理目标文件中的主要图像的缩略图图像)作为代理项存储在mdat盒中，并且代理文件生成处理结束。
746.在步骤s344中的代理文件生成中，生成第一关联类型集合文件，其中代理缩略图图像与和代理缩略图图像对应的主要图像的指定信息(例如，在步骤s342中获取的uuid)相关联地存储。
747.即，生成第一关联类型集合文件作为代理文件，其中代理缩略图图像存储在mdat盒中，并且将代理缩略图图像的项id与和代理缩略图图像对应的主要图像的uuid关联的关联信息存储在关联信息存储盒中。
748.图72是用于解释在生成代理目标文件时生成要存储在第三模式的代理文件中的缩略图图像的情况下执行的添加处理的示例的流程图。
749.在生成heif文件、将heif文件用作代理目标文件并且满足参考图69描述的添加处理执行条件的情况下，文件控制单元43执行以下添加处理。
750.对于作为添加处理的目标的已经存在的代理文件(现有代理文件)执行添加处理。在此假设现有代理文件是第一关联类型集合文件，如图70和71中的情况。
751.如图69中的步骤s321一样，在步骤s351中，文件控制单元43生成代理缩略图图像作为附加缩略图图像，并且处理前进到步骤s352。
752.在步骤s352中，文件控制单元43获取例如作为与在步骤s351中生成的附加缩略图图像对应的主要图像的指定信息的uuid，并且处理前进到步骤s353。
753.在步骤s353中，文件控制单元43将附加缩略图图像作为代理项添加到作为添加处理的目标的代理文件中的mdat盒中，并且处理前进到步骤s354。
754.在步骤s354中，文件控制单元43通过从作为添加处理的目标的代理文件中读取meta盒来获取meta盒，并且处理前进到步骤s355。
755.在步骤s355中，文件控制单元43获取作为添加处理的目标的代理文件中的空闲盒的剩余容量，并确认剩余容量足以添加附加缩略图图像的元数据和添加将附加缩略图图像的项id与作为与附加缩略图图像对应的主要图像的指定信息的uuid关联的关联信息，并且处理前进到步骤s356。
756.注意的是，如果在步骤s355中确认空闲盒的剩余容量不足以用于所述添加，那么可以执行与参考图53中的步骤s224描述的处理相似的处理。
757.在步骤s356中，文件控制单元43从在步骤s354中获取的meta盒重新生成新meta盒。
758.通过将附加缩略图图像的元数据作为添加到作为添加处理的目标的代理文件中的mdat盒的代理项添加到在步骤s354中获取的meta盒、并通过将将附加缩略图图像的项id与作为与附加缩略图图像对应的主要图像的指定信息的uuid关联的关联信息添加到meta盒中的关联信息存储盒来生成新meta盒。
759.文件控制单元43用新的meta盒重写作为添加处理的目标的代理文件中的meta盒，并且处理从步骤s356前进到步骤s357。
760.在步骤s357中，文件控制单元43生成新的空闲盒，其尺寸减小新meta盒的尺寸相对于重写之前的meta盒的增加量。而且，文件控制单元43用新的空闲盒重写作为添加处理的目标的代理文件中的空闲盒，并且添加处理结束。
761.《其中将已经存在的heif文件用作代理目标文件的代理文件生成处理和添加处理》
762.图73是用于解释其中将已经存在的heif文件用作代理目标文件的代理文件生成处理的示例的流程图。
763.例如，在用户或应用请求生成代理文件并且满足参考图68所述的代理文件生成处理执行条件的情况下，文件控制单元43执行以下代理文件生成处理。在此假设，在代理文件生成处理中，例如生成作为第一关联类型集合文件的第二或第三模式的代理文件。
764.在步骤s371中，文件控制单元43选择例如已经存在于预定目录或介质中的(全部或一些)heif文件作为代理目标文件。而且，文件控制单元43获取代理目标文件中的主要图像的缩略图图像作为代理缩略图图像，并且处理从步骤s371前进到步骤s372。
765.例如，文件控制单元43获取存储在代理目标文件中的主要图像的当前缩略图图像的副本作为代理缩略图图像。此外，文件控制单元43例如通过对存储在代理目标文件或当前缩略图图像中的主要图像进行稀疏化、转换主要图像或当前缩略图图像的信号格式、重新编码主要图像或当前缩略图图像等来生成代理缩略图图像。
766.在步骤s372中，文件控制单元43通过生成作为与在步骤s371中生成的代理缩略图图像对应的主要图像的指定信息的uuid来获取例如uuid，并且处理前进到步骤s373。
767.如图55中的步骤s243一样，在步骤s373中，文件控制单元43计算要在代理文件中设置的空闲盒的尺寸，并且处理前进到步骤s374。
768.在步骤s374中，文件控制单元43例如生成第一关联类型集合文件作为代理文件，该第一关联类型集合文件包括具有在步骤s373中计算出的尺寸的空闲盒并且其中将在步骤s371中生成的代理缩略图图像作为代理项存储在mdat盒中，并且代理文件生成处理结束。
769.在步骤s374中的代理文件生成中，生成第一关联类型集合文件，其中代理缩略图图像与在步骤s372中获取的作为与代理缩略图图像对应的主要图像的指定信息的uuid相关联地存储。
770.即，生成第一关联类型集合文件作为代理文件，其中代理缩略图图像存储在mdat盒中，并且将代理缩略图图像的项id与和代理缩略图图像对应的主要图像的uuid关联的关联信息存储在关联信息存储盒中。
771.图74是用于解释将已经存在的heif文件用作代理目标文件的添加处理的示例的流程图。
772.例如，在用户或应用请求生成代理文件并且满足参考图69描述的添加处理执行条件的情况下，文件控制单元43执行以下添加处理。对于作为添加处理的目标的已经存在的代理文件(现有代理文件)执行添加处理。在此假设现有代理文件是第二或第三模式的代理文件，其是第一关联类型集合文件。
773.在步骤s381中，例如，使用已经存在于预定目录或介质中的(全部或一些)heif文件作为代理目标文件，文件控制单元43获取存储在代理目标文件中的主要图像的代理缩略图图像作为附加缩略图图像，并且处理前进到步骤s382。
774.例如，文件控制单元43获取存储在代理目标文件中的主要图像的当前缩略图图像的副本，作为附加缩略图图像。此外，文件控制单元43例如通过对存储在代理目标文件或当前缩略图图像中的主要图像进行稀疏化、转换主要图像或当前缩略图图像的信号格式、重新编码主要图像或当前缩略图图像等来生成附加缩略图图像。
775.在步骤s382中，文件控制单元43获取例如作为与在步骤s381中生成的附加缩略图图像对应的主要图像的指定信息的uuid，并且处理前进到步骤s383。
776.在步骤s383中，文件控制单元43将附加缩略图图像作为代理项添加到作为添加处理的目标的现有代理文件中的mdat盒，并且处理前进到步骤s384。
777.在步骤s384中，文件控制单元43通过从作为添加处理的目标的代理文件中读取meta盒来获取meta盒，并且处理前进到步骤s385。
778.在步骤s385中，文件控制单元43获取作为添加处理的目标的代理文件中空闲盒的剩余容量，并确认剩余容量足以添加附加缩略图图像的元数据和添加将附加缩略图图像的项id与作为与附加缩略图图像对应的主要图像的指定信息的uuid关联的关联信息，并且处理前进到步骤s386。
779.注意的是，如果在步骤s385中确认空闲盒的剩余容量不足以用于所述添加，那么可以执行与参考图53中的步骤s224描述的处理相似的处理。
780.在步骤s386中，文件控制单元43从在步骤s384中获取的meta盒重新生成新的meta盒。通过将附加缩略图图像的元数据作为添加到作为添加处理的目标的现有代理文件中的mdat盒的代理项添加到在步骤s384中获取的meta盒、并通过将将附加缩略图图像的项id与作为与附加缩略图图像对应的主要图像的指定信息的uuid关联的关联信息添加到meta盒中的关联信息存储盒来生成新meta盒。
781.文件控制单元43用新的meta盒重写作为添加处理的目标的代理文件中的meta盒，并且处理从步骤s386前进到步骤s387。
782.在步骤s387中，文件控制单元43生成新的空闲盒，其尺寸减小新meta盒的尺寸相对于重写之前的meta盒的增加量。而且，文件控制单元43用新的空闲盒重写作为添加处理的目标的代理文件中的空闲盒，并且添加处理结束。
783.《应用本技术的计算机的描述》
784.接下来，构成上述文件控制单元43和另一个信号处理单元13(图1)的每个块的一系列处理可以由硬件或软件执行。在一系列处理由软件执行的情况下，形成软件的程序安装在计算机等中。
785.图75是图示要被安装用于执行以上所述的处理序列的程序的计算机的实施例的配置示例的框图。
786.程序可以预先记录在作为内置于计算机中的记录介质的硬盘905或rom 903上。
787.可替代地，程序可以存储(记录)在由驱动器909驱动的可移动记录介质911中。这种可移动记录介质911可以作为所谓的打包软件提供。在此，可移除记录介质911的示例包括例如软盘、压缩盘只读存储器(cd-rom)、磁光(mo)盘、数字多功能盘(dvd)、磁盘、半导体存储器、等等。
788.注意的是，如上所述，程序可以从可移动记录介质911安装在计算机中，或者，还可以经由通信网络或广播网络下载到计算机并安装在内置硬盘905中。即，例如，程序可以从下载站点经由用于数字卫星广播的人造卫星无线传送到计算机，或者可以经由网络(诸如局域网(lan)和互联网)通过线缆传送到计算机lan。
789.计算机结合有中央处理单元(cpu)902，并且输入/输出接口910经由总线901连接到cpu 902。
790.当用户经由输入/输出接口910操作输入单元907等输入命令时，响应于此，cpu 902执行存储在只读存储器(rom)903中的程序。可替代地，cpu 902将存储在硬盘905中的程序加载到随机存取存储器(ram)904中并执行该程序。
791.因此，cpu 902根据上述流程图或由上述框图的配置执行的处理来执行处理。然后，在必要时，cpu 902例如经由输入/输出接口910从输出单元906输出或从通信单元908传输处理结果，并进一步记录在硬盘905等上。
792.注意的是，输入单元907包括键盘、鼠标、麦克风等。此外，输出单元906包括液晶显示器(lcd)、扬声器等。
793.在此，在本说明书中，计算机根据程序执行的处理不一定必需按照流程图中描述的次序按时间顺序执行。即，由计算机根据程序执行的处理包括并行或单独执行的处理(例如，并行处理或通过目标的处理)。
794.此外，程序可以由一个计算机(处理器)处理，或者可以分发并由多个计算机处理。而且，程序可以被传送到远程计算机以供执行。
795.而且，在本说明书中，系统是指多个组件(设备、模块(部分)等)的集合，并且所有组件是否都在同一个壳体中无关紧要。因此，容纳在分离的壳体中并经由网络连接的多个设备以及具有容纳在一个壳体中的多个模块的单个设备都是系统。
796.注意的是，本技术的实施例不限于上述实施例，并且可以在不脱离本技术的范围的情况下进行各种修改。
797.例如，本技术可以具有云计算配置，其中一个功能由多个设备经由网络共享和协作处理。
798.此外，上述流程图中描述的每个步骤可以由一个设备执行，并且还可以由多个设备共享和执行。
799.而且，在一个步骤包括多个处理的情况下，一个步骤中包括的多个处理可以由一个设备执行，并且还可以由多个设备共享和执行。
800.此外，本说明书中描述的效果仅仅是示例而非限制，并且可以存在其它效果。
801.注意的是，本技术可以具有以下配置。
802.《1》
803.一种文件处理设备，包括：
804.文件控制单元，被配置为生成代理文件，所述代理文件存储与高效图像文件格式heif文件中的图像相关的相关图像，所述代理文件是另一个heif文件。
805.《2》
806.根据《1》所述的文件处理设备，其中，
807.文件控制单元生成集合文件作为所述代理文件，所述集合文件是图像项格式的heif文件并且在所述集合文件中所述相关图像作为项被存储。
808.《3》
809.根据《2》所述的文件处理设备，其中，
810.文件控制单元生成所述代理文件，所述代理文件存储关联信息，所述关联信息将相关图像与指定信息相关联，该指定信息指定对应于所述相关图像的图像。
811.《4》
812.根据《3》所述的文件处理设备，其中，
813.文件控制单元生成所述代理文件，所述代理文件存储其中指定所述相关图像的项id与指定信息相关联的关联信息。
814.《5》
815.根据《4》所述的文件处理设备，其中，
816.文件控制单元生成所述代理文件，在所述代理文件中关联信息存储在meta盒或mdat盒中。
817.《6》
818.根据《3》所述的文件处理设备，其中，
819.文件控制单元生成所述代理文件，在所述代理文件中，
820.指定信息作为项存储在所述代理文件中的mdat盒中，以及关联信息存储在meta盒中，关联信息将指定所述相关图像的项id与指定存储在mdat盒中的指定信息的项id关联。
821.《7》
822.根据《1》至《6》中的任一项所述的文件处理设备，其中，
823.所述相关图像在图像质量或数据量方面与所述图像不同。
824.《8》
825.根据《1》至《6》中的任一项所述的文件处理设备，其中，
826.所述相关图像在像素数或尺寸方面与所述图像不同且在内容方面与所述图像相同、在信号格式方面与所述图像不同且在内容方面与所述图像相同、或者在灰度方面与所述图像不同且在内容方面与所述图像相同。
827.《9》
828.根据《1》至《6》中的任一项所述的文件处理设备，其中，
829.heif文件存储图像和该图像的缩略图图像，以及
830.所述相关图像是：存储在heif文件中的缩略图图像、对其采用与用于缩略图图像的压缩率不同的压缩率的编码的图像、或者对其采用与用于缩略图图像的编解码器不同的编解码器的图像。
831.《10》
832.一种文件处理方法，包括：
833.生成代理文件，所述代理文件存储与高效图像文件格式heif文件中的图像相关的相关图像，所述代理文件是另一个heif文件。
834.《11》
835.一种用于使计算机用作以下单元的程序：
836.文件控制单元，被配置为生成代理文件，所述代理文件存储与高效图像文件格式heif文件中的图像相关的相关图像，所述代理文件是另一个heif文件。
837.《12》
838.一种文件处理设备，包括：
839.文件控制单元，被配置为检测高效图像文件格式heif文件中的图像，所述图像对应于从与该图像相关并存储在作为另一个heif文件的代理文件中的相关图像选择的所选择的相关图像。
840.《13》
841.根据《12》所述的文件处理设备，其中，
842.所述代理文件是图像项格式的heif文件，所述heif文件将相关图像作为项存储。
843.《14》
844.根据《13》所述的文件处理设备，其中，
845.所述代理文件存储关联信息，关联信息将相关图像与指定对应于该相关图像的图像的指定信息相关联，以及
846.文件控制单元检测由与所选择的相关图像相关联的指定信息指定的图像作为对应于所选择的相关图像的图像。
847.《15》
848.根据《14》所述的文件处理设备，其中，
849.所述代理文件存储其中指定相关图像的项id与指定信息关联的关联信息，以及
850.文件控制单元检测由与所选择的相关图像的项id关联的指定信息指定的图像作为对应于所选择的相关图像的图像。
851.《16》
852.根据《12》至《15》中的任一项所述的文件处理设备，其中，
853.所述相关图像在图像质量或数据量方面与所述图像不同。
854.《17》
855.根据《12》至《15》中的任一项所述的文件处理设备，其中，
856.所述相关图像在像素数或尺寸方面与所述图像不同且在内容方面与所述图像相同、在信号格式方面与所述图像不同且在内容方面与所述图像相同、或者在灰度方面与所述图像不同且在内容方面与所述图像相同。
857.《18》
858.根据《12》至《15》中的任一项所述的文件处理设备，其中，
859.heif文件存储图像和该图像的缩略图图像，以及
860.所述相关图像是：存储在heif文件中的缩略图图像、对其采用与用于缩略图图像
的压缩率不同的压缩率的编码的图像、或者对其采用与用于缩略图图像的编解码器不同的编解码器的图像。
861.《19》
862.一种文件处理方法，包括：
863.检测高效图像文件格式heif文件中的图像，所述图像对应于从与该图像相关并存储在作为另一个heif文件的所述代理文件中的相关图像选择的所选择的相关图像。
864.《20》
865.一种用于使计算机用作以下单元的程序：
866.文件控制单元，被配置为检测高效图像文件格式heif文件中的图像，所述图像对应于从与该图像相关并存储在作为另一个heif文件的代理文件中的相关图像选择的所选择的相关图像。
867.附图标记列表
868.10 数码相机
869.11 光学系统
870.13 信号处理单元
871.14 介质
872.15，16 接口
873.17 按钮/键
874.18 触摸面板
875.19 液晶面板
876.20 取景器
877.21 接口
878.41 光学系统/图像传感器控制单元
879.42 编码控制单元
880.43 文件控制单元
881.44 介质控制单元
882.45 操作控制单元
883.46 显示控制单元
884.47 ui控制单元
885.901 总线
886.902 cpu
887.903 rom
888.904 ram
889.905 硬盘
890.906 输出单元
891.907 输入单元
892.908 通信单元
893.909 驱动器
894.910 输入/输出接口
895.911 可移动记录介质。