信息处理设备、信息处理方法、成像设备和图像转发系统与流程

1.本技术涉及信息处理设备、信息处理方法、成像设备和图像转发系统，并且特别涉及适合于将由成像设备捕获的图像转发到其他设备的情况的技术。


背景技术：

2.通常将由成像设备捕获的图像(静止图像或运动图像)发送到其他设备，例如计算机设备。
3.下面的专利文献1公开了首先发送相对于图像数据具有较小数据量的相关数据的技术。
4.引用列表
5.专利文献
6.专利文献1：日本专利申请特许公开第2007-150781号


技术实现要素：

7.本发明要解决的问题
8.为了通过电视广播、网络分发等进行新闻报道等的目的，存在要求相机操作员紧接在现场成像之后立即交付(deliver)所成像的静止图像或运动图像的情况。
9.在这种情况下，相机操作员在成像现场将成像设备连接到网络，并且将捕获图像发送到网络以进行交付。在交付目的地设备(例如，广播站的设备等，并且被表示为“客户端终端”)中，分别待命的负责选择的人选择所交付的图像，并且将所选择的图像用于新闻报道。
10.在这样的情况下，由于增加的网络负载，从成像设备向外部设备(例如，中继云服务器或客户端终端)发送大尺寸图像(用于新闻报道的质量/数据量的图像数据)可能需要时间，并且相应地执行图像选择工作可能需要时间。
11.此外，当将全部捕获图像从成像设备发送到外部设备时，需要增加发送目的地设备所需的存储容量，并且系统负载增加。
12.因此，本公开提出了一种能够在没有很大地增加网络通信和系统的负载的情况下发送适当图像的技术。
13.问题的解决方案
14.根据本技术的信息处理设备包括：控制单元，所述控制单元执行：初始信息转发处理，响应于接收到关联信息，基于所述关联信息获得附加信息，并且将所述关联信息和所述附加信息发送到客户端终端，所述关联信息是与由成像设备捕获的图像相关联的信息，并且具有比该图像小的数据量；以及主图像转发处理，根据通过基于所述关联信息或所述附加信息的发送在所述客户端终端中进行的选择处理而生成的请求信息，将从所述成像设备发送的图像发送到所述客户端终端。
15.例如，假设能够与成像设备执行信息转发并且还能够与客户端终端执行信息转发
的信息处理设备。信息处理设备在转发作为捕获图像的图像数据(主图像)之前首先将关联信息和附加信息发送到客户端终端。然后，根据作为基于关联信息和附加信息的选择处理的结果而获得的请求信息，将主图像从成像设备转发到客户端终端。
16.在上述根据本技术的信息处理设备中，可以想到，所述控制单元通过在所述初始信息转发处理中基于所述关联信息执行数据库搜索来获得所述附加信息。
17.通过基于从成像设备提供的关联信息执行数据库搜索，可以从关联信息获取关于图像(被摄体)的更详细信息。这被称为附加信息。
18.在上述根据本技术的信息处理设备中，可以想到，所述关联信息包括表示由所述成像设备捕获的图像并且具有更小数据量的图像，以及所述控制单元通过在所述初始信息转发处理中对所述关联信息中包括的图像进行的图像识别处理来获得所述附加信息。
19.在从成像设备提供的关联信息包括诸如缩略图图像或屏幕图钉(screen nail)图像之类的图像的情况下，可以通过分析图像来获取关于被摄体的信息。这被称为附加信息。
20.在上述根据本技术的信息处理设备中，可以想到，作为所述初始信息转发处理，所述控制单元执行多个发送模式的切换处理，所述多个发送模式包括添加了所述附加信息的发送模式和未添加所述附加信息的发送模式。
21.作为发送模式，例如，可以改变多个发送模式，诸如基于从成像设备提供的关联信息获得附加信息并且将关联信息和附加信息发送到客户端终端的模式、将从成像设备提供的关联信息按照原样转发到客户端终端的模式和关联信息的内容不同的模式。
22.在上述根据本技术的信息处理设备中，可以想到，所述控制单元执行将所述关联信息中包括的音频信息发送到所述客户端终端的处理，作为预定发送模式的发送，所述预定发送模式是所述多个发送模式之一。
23.例如，在从成像设备转发与作为静止图像的图像相关联的音频信息的情况下，将音频信息按照原样发送到客户端终端。
24.在上述根据本技术的信息处理设备中，可以想到，所述控制单元执行将通过将所述关联信息中包括的音频信息转换为文本数据而获得的文本数据发送到所述客户端终端的处理，作为预定发送模式的发送，所述预定发送模式是所述多个发送模式之一。
25.例如，在从成像设备转发与作为静止图像的图像相关联的音频信息的情况下，将音频信息转换为文本数据并且发送到客户端终端。
26.在上述根据本技术的信息处理设备中，可以想到，所述控制单元根据通信状态的确定结果来执行所述切换处理。
27.作为初始信息转发处理，根据通信状态选择性地使用各种发送模式。
28.在上述根据本技术的信息处理设备中，可以想到，所述控制单元基于从所述成像设备被给出通知的成像对象的信息来执行所述切换处理。
29.根据例如作为成像对象的活动类型、竞赛类型等，选择性地使用在初始信息转发处理中获取附加信息的第一处理和不获取附加信息的第二处理。
30.在上述根据本技术的信息处理设备中，可以想到，所述控制单元执行估计所述成像设备的成像对象的处理，并且基于所估计的成像对象的信息来执行所述切换处理。
31.当可以估计成像设备的成像对象时，可以基于估计结果选择性地将获取附加信息的第一处理和不获取附加信息的第二处理用作初始信息转发处理。
32.在上述根据本技术的信息处理设备中，可以想到，所述控制单元执行向所述客户端终端或所述成像设备通知通过所述切换处理设定的所述初始信息转发处理的发送模式的处理。
33.在信息处理设备在第一处理和第二处理之间切换的情况下，向成像设备或客户端终端通知作为结果执行的发送模式。
34.在上述根据本技术的信息处理设备中，可以想到，所述关联信息包括与由所述成像设备捕获的图像相关联的元信息。
35.即，它是与成像设备侧的图像相关联并且被发送到信息处理设备的信息。例如，假设各种类型的信息，诸如成像设备的信息、相机操作员的信息、图像捕获地点和时间的信息、成像设备侧的图像分析信息、关于成像操作和处理的各种参数、在图像捕获时的成像设备中的各种传感器的感测信息、关于图像数据/文件的信息、缩略图图像、屏幕图钉图像、以及相机操作员的与图像相关联的文本信息和音频备忘录信息。
36.在上述根据本技术的信息处理设备中，可以想到，所述关联信息包括表示由所述成像设备捕获的图像、具有更小数据量的图像。
37.具有更小数据量的图像的示例包括缩略图图像、屏幕图钉图像、代理运动图像等。
38.在上述根据本技术的信息处理设备中，可以想到，所述关联信息包括表示分组图像的图像，所述分组图像是由所述成像设备连续捕获的多个图像。
39.当通过连续捕获的一系列图像被设定为分组图像时，将整个分组图像表示为单个图像的图像(例如，第一图像的缩略图图像等)被设定为关联信息。
40.在上述根据本技术的信息处理设备中，可以想到，所述关联信息包括通过由所述成像设备进行的运动图像捕获与运动图像一起记录的音频信息。
41.例如，在初始信息转发处理中，信息处理设备接收在运动图像记录时同时记录的音频信息作为关联信息，并且将该信息发送到客户端终端。
42.在上述根据本技术的信息处理设备中，可以想到，所述关联信息包括在由所述成像设备捕获的运动图像的捕获时的时间序列数据。
43.时间序列数据是表示成像进度的信息，诸如例如在图像捕获时的每个时间的位置信息。
44.在上述根据本技术的信息处理设备中，可以想到，作为所述初始信息转发处理，所述控制单元执行与所述附加信息一起或不与所述附加信息一起地将第一关联信息发送到所述客户端终端的处理，将通过基于包括所述第一关联信息的发送在所述客户端终端中进行的选择处理而生成的请求信息传送到所述成像设备的处理，以及根据所述请求信息将从所述成像设备发送的第二关联信息发送到所述客户端终端的处理。
45.即，作为初始信息转发处理，在主图像被发送到客户端终端3之前，信息发送被执行多次。
46.在上述根据本技术的信息处理设备中，可以想到，所述第一关联信息包括具有比所述第二关联信息小的数据量的信息。
47.例如，可以想到这样的示例，其中第一关联信息是表示成像时间、成像地点等的元信息，并且第二关联信息是缩略图图像等。
48.根据本技术的成像设备包括：控制单元，所述控制单元执行：关联信息发送处理，
向外部的信息处理设备发送关联信息，所述关联信息是与捕获图像相关联的信息，并且具有比该图像小的数据量；以及主图像发送处理，根据从所述信息处理设备接收到的请求信息，将由所述请求信息表示的图像发送到所述信息处理设备。
49.因此，成像设备在发送捕获图像之前发送关联信息。
50.根据本技术的图像转发系统实现成像设备和信息处理设备之间的信息通信，并且实现信息处理设备和客户端终端之间的信息通信。然后，成像设备具有上述配置，并且信息处理设备也具有上述配置。
51.可以直接或经由其他设备或传输路径在成像设备和信息处理设备之间转发信息，并且可以直接或经由其他设备或传输路径在信息处理设备和客户端终端之间转发信息。在这样的设备之间，首先，转发具有比捕获图像小的数据量的关联信息，并且在客户端终端侧执行选择。此后，根据该选择将主图像从成像设备发送到客户端终端。
附图说明
52.图1是本技术的实施例的图像转发系统的配置示例的说明图。
53.图2是本实施例的成像设备的框图。
54.图3是本实施例的信息处理设备的框图。
55.图4是本实施例的第一发送模式的说明图。
56.图5是本实施例的第一发送模式中的ui画面等的说明图。
57.图6是适用于本实施例的第一、第二、第三和第四发送模式的由成像设备进行成像时的处理的流程图。
58.图7是适用于本实施例的第一发送模式的服务器设备的元信息接收时的处理的流程图。
59.图8是适用于本实施例的第一至第七发送模式的服务器设备的图像请求接收时的处理的流程图。
60.图9是适用于本实施例的第一至第六发送模式的成像设备的图像请求接收时的处理的流程图。
61.图10是适用于本实施例的第一和第三至第七发送模式的服务器设备的图像接收时的处理的流程图。
62.图11是本实施例的第二发送模式的说明图。
63.图12是本实施例的第二发送模式中的ui画面等的说明图。
64.图13是适用于本实施例的第二、第三和第四发送模式的服务器设备的元信息接收时的处理的流程图。
65.图14是适用于本实施例的第二发送模式的服务器设备的图像接收时的处理的流程图。
66.图15是本实施例的第三发送模式的说明图。
67.图16是本实施例的第三和第四发送模式中的ui画面等的说明图。
68.图17是适用于本实施例的第四发送模式的由成像设备进行成像时的处理的流程图。
69.图18是本实施例的第五发送模式的说明图。
70.图19是本实施例的第五发送模式中的ui画面等的说明图。
71.图20是适用于本实施例的第五和第六发送模式的由成像设备进行成像时的处理的流程图。
72.图21是适用于本实施例的第五发送模式的服务器设备的元信息接收时的处理的流程图。
73.图22是本实施例的第六发送模式的说明图。
74.图23是本实施例的第六发送模式中的ui画面等的说明图。
75.图24是适用于本实施例的第六发送模式的服务器设备的元信息接收时的处理的流程图。
76.图25是本实施例的第七发送模式的说明图。
77.图26是本实施例的第七发送模式中的ui画面等的说明图。
78.图27是适用于本实施例的第七发送模式的由成像设备进行成像时的处理的流程图。
79.图28是适用于本实施例的第七发送模式的成像设备的图像请求接收时的处理的流程图。
80.图29是本实施例的切换处理示例i的说明图。
81.图30是本实施例的服务器设备的切换处理的流程图。
82.图31是本实施例的切换相关ui显示的说明图。
83.图32是本实施例的请求切换指令的ui显示的说明图。
84.图33是本实施例的情况确定处理的流程图。
85.图34是本实施例的切换处理示例ii的说明图。
86.图35是本实施例的服务器设备的切换处理的流程图。
87.图36是本实施例的切换处理示例iii的说明图。
88.图37是本实施例的服务器设备的项目(project)信息接收时的处理的流程图。
89.图38是本实施例的服务器设备的切换处理的流程图。
90.图39是本实施例的第八发送模式的说明图。
91.图40是本实施例的第八发送模式中的ui画面等的说明图。
92.图41是在由适用于本实施例的第八发送模式的成像设备进行运动图像记录时的处理的流程图。
93.图42是适用于本实施例的第八发送模式的服务器设备的代理运动图像接收时的处理的流程图。
94.图43是适用于本实施例的第八、第九和第十发送模式的成像设备的运动图像剪辑请求接收时的处理的流程图。
95.图44是适用于本实施例的第八、第九和第十发送模式的服务器设备的主运动图像剪辑接收时的处理的流程图。
96.图45是本实施例的第九发送模式的说明图。
97.图46是本实施例的第九发送模式中的ui画面等的说明图。
98.图47是适用于本实施例的第九发送模式的由成像设备进行运动图像记录时的处理的流程图。
99.图48是适用于本实施例的第九发送模式的服务器设备的仅声音文件接收时的处理的流程图。
100.图49是本实施例的第十发送模式的说明图。
101.图50是本实施例的第十发送模式中的ui画面等的说明图。
102.图51是适用于本实施例的第十发送模式的由成像设备进行运动图像记录时的处理的流程图。
103.图52是适用于本实施例的第十发送模式的服务器设备的时间序列文件接收时的处理的流程图。
具体实施方式
104.下面将按以下顺序描述实施例。
105.《1.系统配置》
106.《2.成像设备、服务器设备和客户端终端的配置》
107.《3.第一发送模式》
108.《4.第二发送模式》
109.《5.第三和第四发送模式》
110.《6.第五发送模式》
111.《7.第六发送模式》
112.《8.第七发送模式》
113.《9.切换处理示例i》
114.《10.切换处理示例ii》
115.《11.切换处理示例iii》
116.《12.第八发送模式》
117.《13.第九发送模式》
118.《14.第十发送模式》
119.《15.总结和变型示例》
120.首先，描述各种术语的定义。
[0121]“图像”是表示包括静止图像和运动图像两者在内的各种图像数据的术语。
[0122]“主图像”表示要从图1中所示的成像设备1交付到客户端终端3的目标图像(target image)。主图像包括静止图像和运动图像。特别地，在表示运动图像的情况下，它被描述为“主运动图像”。
[0123]“关联信息”表示与成像设备1侧成像的图像相关联的信息，而与信息内容无关。示例包括所谓的元信息、音频备忘录的信息以及具有比主图像的数据量低的数据量的图像(与静止图像和运动图像有关的缩略图图像、屏幕图钉图像、与运动图像有关的代理运动图像等)，其中，该元信息包括关于图像的成像者信息、日期和时间、地点、成像设备中的各种感测数据等。
[0124]“附加信息”表示由服务器设备2基于关联信息搜索、提取或生成的信息，而与信息内容无关。
[0125]“初始信息转发处理”表示在发送主图像之前转发关联信息和附加信息的处理。它
可以被执行多次。
[0126]“主图像转发处理”表示转发主图像的处理。
[0127]“发送模式”是直到成像设备1、服务器设备2和客户端终端3之间的主图像转发为止的过程和要转发的信息内容的变化的模式。在本实施例中，根据信息内容的类型、主图像是静止图像、连续成像图像还是运动图像等，第一发送模式到第十发送模式被表示为不同的转发信息内容，并且例如，作为初始信息转发处理，假设了各种模式，例如在每个发送模式中是否执行初始信息转发处理的模式、经由服务器设备2执行从成像设备1到客户端终端3的一次信息转发的模式、以及执行多次信息转发的模式。
[0128]
《1.系统配置》
[0129]
图1示出了本实施例的图像转发系统的配置示例。图像转发系统基本上包括可经由网络6进行通信的一个或多个成像设备1、服务器设备2和客户端终端3。
[0130]
作为成像设备1，存在诸如摄像机和静态相机之类的各种成像设备。所示的成像设备1被假设为在体育或活动场所、新闻采集现场等中由相机操作员或记者使用的相机。
[0131]
服务器设备2和客户端终端3都是包括计算机设备的信息处理设备，但是，由于服务器设备2提供图像转发服务，并且客户端终端3是使用服务器设备2的转发服务的客户端的信息处理设备，所以在本公开中，为了区分，将它们称为“服务器设备”和“客户端终端”。
[0132]
假设服务器设备2是用作所谓的云服务器的设备。当然，不限于作为云服务器的方面。
[0133]
虽然在服务器设备2中示出了控制单元2a，但是控制单元2a执行稍后所述的初始信息转发处理和主图像转发处理。
[0134]
此外，服务器设备2可以参考数据库7(下文中，数据库被称为“db”)获得各种信息，并且可以通过使用文本转换引擎8执行音频数据到文本数据的转换来获得文本数据。
[0135]
db 7可以是在可以由服务器设备2本地使用的存储设备中配置的db，或者可以是在能够经由各种网络搜索信息的存储设备上配置的db。也就是说，db 7可以是任何形式的db，只要它是服务器设备2(控制单元2a)可以访问以获取信息的db即可。
[0136]
客户端终端3表示相机操作员向其交付图像的信息处理设备，例如广播站、报社、通信社等。广播站等是示例，并且交付目的地不受限制。
[0137]
作为网络6，假设例如因特网、家庭网络、局域网(lan)、卫星通信网络和各种其他网络。
[0138]
在图1的示例中，成像设备1经由基站4与服务器设备2通信。基站4例如是4g通信(第四代移动通信系统)和5g通信(第五代移动通信体系)的基站。
[0139]
存在移动边缘计算(mec)5被布置在基站4中的情况。存在通过mec 5的处理来执行每个成像设备1的通信的情况，或者还存在服务器设备2的一些功能由mec 5执行的情况。
[0140]
通过构造如图1中所示的图像转发系统，例如，在成像设备1的用户是执行广播站、报社等的工作的相机操作员的情况下，由相机操作员在活动场所捕获的图像可以经由服务器设备2转发到安装在广播站等中的客户端终端3。在客户端终端3侧，负责人选择所发送的图像并且使用该图像进行新闻报道。
[0141]
如上所述，假设在需要在用于新闻报道等的成像之后的立即交付的现场转发大量高清晰度图像，并且这会增加每个单元的处理负载和网络负载。
[0142]
此外，当在客户端终端3侧交付大量主图像时，存储容量负载也增加，并且负责人执行选择工作需要时间，以及存在新闻报道等所需的快速性受损的可能性。
[0143]
因此，在本实施例中，服务器设备2将直到主图像的交付为止的转发划分为初始信息转发处理和主图像转发处理，从而减少网络通信负载、存储容量负载、促进选择工作等。
[0144]
此外，通过根据情况等切换发送模式(过程或信息内容)，执行适合于时间点的图像转发。
[0145]
《2.成像设备、服务器设备和客户端终端的配置》
[0146]
下文中，将描述成像设备1、服务器设备2和客户端终端3的配置示例。
[0147]
首先，将参考图2描述成像设备1的配置示例。
[0148]
成像设备1包括例如镜头系统11、成像元件单元12、相机信号处理单元13、记录控制单元14、显示单元15、通信单元16、操作单元17、相机控制单元18、存储器单元19、驱动器单元22、传感器单元23、音频输入单元25和音频处理单元26。
[0149]
镜头系统11包括诸如变焦透镜、聚焦透镜等透镜和光圈机构。来自被摄体的光(入射光)被镜头系统11引导并且聚光在成像元件单元12上。
[0150]
成像元件单元12包括图像传感器12a(成像元件)，诸如例如互补金属氧化物半导体(cmos)或电荷耦合器件(ccd)。
[0151]
对于通过对由图像传感器12a接收到的光执行光电转换而获得的电信号，成像元件单元12执行例如相关双采样(cds)处理、自动增益控制(agc)处理等，并且进一步执行模拟/数字(a/d)转换处理。然后，将作为数字数据的捕获信号输出到后续阶段中的相机信号处理单元13或相机控制单元18。
[0152]
通过例如数字信号处理器(dsp)等将相机信号处理单元13配置为图像处理的处理器。相机信号处理单元13对来自成像元件单元12的数字信号(捕获图像信号)执行各种信号处理。例如，作为相机处理，相机信号处理单元13执行预处理、同步处理、yc生成处理、分辨率转换处理、文件形成处理等。
[0153]
在预处理中，对来自成像元件单元12的捕获图像信号执行将r、g和b的黑电平钳制(clamp)到预定电平的钳制处理，r、g、和b的颜色通道之间的校正处理等。
[0154]
在同步处理中，执行颜色分离处理，使得每个像素的图像数据具有所有r、g和b颜色分量。例如，在使用拜耳阵列滤色器的成像元件的情况下，执行去马赛克处理作为颜色分离处理。
[0155]
在yc生成处理中，从r、g和b图像数据生成(分离)亮度(y)信号和颜色(c)信号。
[0156]
在分辨率转换处理中，对已经被执行了各种信号处理的图像数据执行分辨率转换处理。
[0157]
在文件形成处理中，例如，经受了上述各种处理的图像数据经受例如用于记录或通信的压缩编码、格式化、元信息的生成或添加等，以生成用于记录或通信的文件。
[0158]
生成诸如例如联合图像专家组(jpeg)、标记图像文件格式(tiff)和图形交换格式(gif)之类的格式的图像文件作为静止图像文件。此外，还可以想到生成作为用于记录符合mpeg-4的运动图像和音频的mp4格式等的图像文件。
[0159]
注意，还可以想到生成作为原始(raw)图像数据的图像文件。
[0160]
相机信号处理单元13生成作为包括以下各项在内的信息的元信息：相机信号处理
单元13中的处理参数信息、从相机控制单元18获取的各种控制参数、表示镜头系统11或成像元件单元12的操作状态的信息、模式设定信息、成像环境信息(日期和时间、地点等)、成像设备本身的识别信息、安装镜头的信息、先前注册的相机操作员的信息(姓名和识别信息)、国际新闻电信委员会(iptc)元数据等。
[0161]
注意，iptc元数据是由媒体公司协会设计的格式的元信息，并且例如可以描述各种类型的信息，诸如“描述/字幕”、“描述作者”、“标题”和“关键字”。
[0162]
记录控制单元14在使用例如非易失性存储器的记录介质上执行记录和再现。例如，记录控制单元14执行在记录介质上记录诸如运动图像数据和静止图像数据之类的图像文件、缩略图、屏幕图钉图像等的处理。
[0163]
可想到记录控制单元14的各种实际形式。例如，记录控制单元14可以被配置为内置在成像设备1中的闪存及其写入/读取电路。此外，记录控制单元14可以是卡记录/再现单元的形式，其对可连接到成像设备1并且可从成像设备1分离的记录介质(例如，存储卡(便携式闪存等))执行记录/再现访问。此外，作为内置在成像设备1中的形式，记录控制单元14可以被实现为硬盘驱动器(hdd)等。
[0164]
显示单元15是针对图像捕获者执行各种显示的显示单元，并且包括例如由布置在成像设备1的壳体中的诸如液晶显示器(lcd)或有机电致发光(el)显示器之类的显示设备构成的显示面板或取景器。
[0165]
显示单元15基于来自相机控制单元18的指令在显示画面上执行各种显示。
[0166]
例如，显示单元15显示从记录控制单元14中的记录介质中读取的图像数据的再现图像。
[0167]
此外，存在如下情况：将已被相机信号处理单元13转换为用于显示的分辨率的捕获图像的图像数据提供给显示单元15，并且显示单元15根据来自相机控制单元18的指令基于捕获图像的图像数据执行显示。因此，显示所谓的直通图像(被摄体监视图像)，其是在构图确认、运动图像记录等期间的捕获图像。
[0168]
此外，显示单元15基于相机控制单元18的指令在画面上执行各种操作菜单、图标、消息等的显示，即作为图形用户界面(gui)的显示。
[0169]
通信单元16通过有线或无线执行与外部设备的数据通信或网络通信。
[0170]
例如，针对外部显示设备、记录设备、再现设备等执行捕获图像数据(静止图像文件或运动图像文件)或元信息的发送和输出。
[0171]
此外，作为网络通信单元的通信单元16可以例如经由诸如因特网、家庭网络和局域网(lan)之类的各种网络6执行通信，并且可以执行去往/来自网络上的服务器、终端等的各种数据发送和接收。例如，在本实施例的情况下，通信单元16执行将捕获图像数据(上述图像文件等)和元信息发送到服务器设备2的通信处理。
[0172]
此外，成像设备1可以被配置为能够经由通信单元16通过诸如例如蓝牙(注册商标)、wi-fi(注册商标)通信或近场通信(nfc)之类的短距离无线通信或红外通信与例如由相机操作员等拥有的智能电话、平板终端等进行相互信息通信。在这种情况下，可以经由智能电话等转发图像。
[0173]
此外，成像设备1和其他设备可以能够通过有线连接通信进行相互通信。
[0174]
操作单元17共同表示供用户执行各种操作输入的输入设备。具体地，操作单元17
表示设置在成像设备1的壳体中的各种操作部(按键、拨盘、触摸面板、触摸板等)。
[0175]
操作单元17感测用户的操作，并且将与输入操作相对应的信号发送到相机控制单元18。
[0176]
相机控制单元18包括包含中央处理单元(cpu)的微型计算机(算术处理设备)。
[0177]
存储器单元19存储用于由相机控制单元18进行的处理的信息等。作为所示的存储器单元19，例如，全面地示出了只读存储器(rom)、随机存取存储器(ram)、闪存等。
[0178]
存储器单元19可以是内置在作为相机控制单元18的微型计算机芯片中的存储器区域，或者可以由单独的存储器芯片构成。
[0179]
相机控制单元18执行存储在存储器单元19的rom、闪存等中的程序，以控制整个成像设备1。
[0180]
例如，相机控制单元18关于成像元件单元12的快门速度的控制、相机信号处理单元13中的各种信号处理指令、与用户操作相应的成像操作或记录操作、所记录的图像文件的再现操作，镜头系统11的操作(例如镜头镜筒中的变焦、聚焦和光圈调整)、用户界面操作等，控制每个需要单元的操作。
[0181]
作为当相机控制单元18的cpu处理各种数据时的工作区域，存储器单元19的ram用于临时存储数据、程序等。
[0182]
除了供cpu控制每个单元的操作系统(os)和诸如图像文件之类的内容文件之外，存储器单元19的rom和闪存(非易失性存储器)还用于存储用于各种操作的应用程序、固件、各种设定信息等。
[0183]
各种设定信息包括通信设定信息、作为关于成像操作的设定信息的曝光设定、快门速度设定、模式设定、作为关于图像处理的设定信息的白平衡设定和颜色设定、关于图像效果的设定、作为关于可操作性的设定信息的自定义键设定和显示设定等等。
[0184]
驱动器单元22设置有例如用于变焦透镜驱动电机的电机驱动器、用于聚焦透镜驱动电机的电机驱动器、用于光圈机构电机的电机驱动器等。
[0185]
这些电机驱动器根据来自相机控制单元18的指令向相应的驱动器施加驱动电流，并且执行聚焦透镜和变焦透镜的移动、光圈机构的光圈叶片的打开和关闭等。
[0186]
传感器单元23全面表示安装在成像设备上的各种传感器。
[0187]
例如，作为传感器单元23，安装惯性测量单元(imu)，以及例如，俯仰、偏航和滚转的三轴的角速度(陀螺仪)传感器可以检测角速度，并且加速度传感器可以检测加速度。
[0188]
此外，作为传感器单元23，例如，可以安装位置信息传感器、照度传感器等。
[0189]
音频输入单元25包括例如麦克风、麦克风放大器等，并且输出通过收集环境音频而获得的音频信号。
[0190]
音频处理单元26执行将由音频输入单元25获得的音频信号转换为数字音频信号的处理、agc处理、音质处理、降噪处理等。经受这些处理的音频数据被输出到相机信号处理单元13和相机控制单元18。
[0191]
例如，在捕获运动图像时，在相机控制单元18中将音频数据处理为伴随运动图像的音频数据。
[0192]
此外，作为在图像捕获等时作为所谓的语音备忘录的音频备忘录数据，音频数据可以在相机信号处理单元13或相机控制单元18中被转换为作为音频文件的文件。
[0193]
音频文件可以在记录控制单元14中与图像文件相关联地记录在记录介质上，或者可以与图像文件一起从通信单元16发送和输出。
[0194]
接下来，在图3中示出作为服务器设备2和客户端终端3的信息处理设备70的配置示例。
[0195]
例如，信息处理设备70的cpu 71根据存储在诸如rom 72或电可擦除可编程只读存储器(eep-rom)之类的非易失性存储器单元74中的程序或从存储单元79加载到ram 73的程序来执行各种处理。cpu 71执行各种处理所需的数据等也适当地存储在ram 73中。
[0196]
cpu 71、rom 72、ram 73和非易失性存储器单元74经由总线83彼此连接。输入/输出接口75也连接到总线83。
[0197]
包括操作部和操作设备的输入单元76连接到输入/输出接口75。
[0198]
例如，作为输入单元76，假设各种操作部和操作设备，例如键盘、鼠标、按键、拨盘、触摸面板、触摸板和遥控器。
[0199]
用户的操作被输入单元76感测，并且与输入操作相对应的信号被cpu 71解释。
[0200]
此外，包括lcd、有机el面板等的显示单元77和包括扬声器等的音频输出单元78整体地或单独地连接到输入/输出接口75。
[0201]
显示单元77是执行各种显示的显示单元，并且包括例如设置在信息处理设备70的壳体中的显示设备、连接到信息处理设备70的单独显示设备等。
[0202]
显示单元77基于来自cpu 71的指令在显示画面上执行用于各种图像处理的图像、待处理的运动图像等的显示。此外，显示单元77基于来自cpu 71的指令来显示各种操作菜单、图标、消息等，也就是说，显示为图形用户界面(gui)。
[0203]
可能存在输入/输出接口75连接到包括硬盘、固态存储器等的存储单元79和包括调制解调器等的通信单元80的情况。
[0204]
通信单元80经由诸如因特网之类的传输路径执行通信处理，或者通过有线/无线通信、总线通信等与各种设备执行通信。
[0205]
驱动器81也根据需要连接到输入/输出接口75，适当地安装可移除记录介质82，例如磁盘、光盘、磁光盘或半导体存储器。
[0206]
通过驱动器81，可以从可移除记录介质82读取诸如图像文件、各种计算机程序等的数据文件。读取的数据文件被存储在存储单元79中，并且数据文件中包括的图像和音频被显示单元77和音频输出单元78输出。此外，从可移除记录介质82读取的计算机程序等根据需要安装在存储单元79中。
[0207]
在信息处理设备70中，例如，用于本实施例的处理的软件可以通过可移除记录介质82或通信单元80经由网络通信来安装。替选地，该软件可以预先存储在rom 72、存储单元79等中。
[0208]
例如，在信息处理设备70是服务器设备2的情况下，安装用于以下将描述的包括初始信息转发处理和主图像转发处理在内的转发处理、转发处理中的发送模式的切换处理等的软件。在这种情况下，cpu 71用作图1中的控制单元2a并且执行需要的处理。此外，经由通信单元80执行以下描述的各种通信。
[0209]
此外，在信息处理设备70是客户端终端3的情况下，在以下描述的转发处理的过程中，在cpu 71的控制下执行使用输入单元76、显示单元77等的接口处理。此外，经由通信单
元80执行各种通信。
[0210]
《3.第一发送模式》
[0211]
将描述作为经由服务器设备2从成像设备1到客户端终端3执行的图像转发处理的各种发送模式。
[0212]
图4示出了作为图像转发的第一发送模式的通信过程和信息内容。
[0213]
注意，如图4中所示，在下面将描述的第一发送模式到第十发送模式的图中，成像设备1、服务器设备2和客户端终端3之间的发送和接收由带有附图标记tp**(“**”是数值)的箭头表示，并且每个设备的处理由附图标记ps**表示。图中的垂直方向(从上到下)对应于时间的进展。
[0214]
在下面描述的过程中执行图4中所示的第一发送模式。
[0215]-通信tp1
[0216]
成像设备1将元信息作为关于捕获图像的关联信息发送到服务器设备2。此时，不发送主图像。
[0217]
成像设备1例如根据相机操作员的操作发送关于一个或多个图像的元信息。
[0218]-处理ps1
[0219]
服务器设备2基于接收到的每个图像的元信息搜索db 7，并且导出附加信息。例如，在获得成像地点和时间作为元信息的情况下，存在可以通过使用成像地点和时间搜索db 7来指定竞赛内容和选手姓名的情况。由此获得的竞赛名称、选手姓名等是附加信息的示例。
[0220]
以此方式，基于从成像设备1发送的某些内容的元信息，服务器设备2将通过db搜索获得的各种信息设定为附加信息。
[0221]
此外，在处理ps1中，假设对于关于从成像设备1发送的多个图像的每个元信息执行db搜索以获得附加信息。
[0222]-通信tp2
[0223]
服务器设备2向客户端终端3发送关于每个图像的元信息和附加信息的对。
[0224]-处理ps2
[0225]
客户端终端3使用接收到的元信息和附加信息执行用户界面(ui)处理。
[0226]
例如，客户端终端3在显示单元77上执行如图5的a中所示的显示。在该示例中，假设元信息中包括相机操作员(成像者)、成像时间和成像地点的信息，并且基于成像时间和成像地点提取竞赛名称和选手姓名作为附加信息。基于这样的元信息和附加信息，显示与每个图像对应的信息内容列表30。图5的a示出了这样的示例，其中，例如，将元信息中包括的成像者的信息以及作为附加信息获得的竞赛名称和选手姓名作为与六个图像对应的信息显示在列表中。
[0227]
此外，对应于每个信息布置复选框31，使得客户端终端3侧的负责人可以执行选择操作。
[0228]
此外，显示缩略图请求按钮32，使得负责人可以操作它。
[0229]
为了客户端终端3的负责人首先仅检查与图像相对应的信息内容并且粗略地选择需要的图像，执行这样的ui画面。
[0230]
图5的a示出了负责人复选了信息内容列表30中的第一、第二和第六信息的复选框
31的状态。
[0231]
此外，当在该状态下操作缩略图请求按钮32时，假设负责人请求与第一、第二和第六信息相对应的图像的缩略图图像。
[0232]
这样的操作是在负责人确认元信息和附加信息并且尝试利用缩略图确认它们实际上是什么类型的图像内容的情况下的操作。
[0233]
在处理ps2中，客户端终端3的cpu 71控制这样的ui画面的显示，并且感测与其对应的负责人的输入。
[0234]
注意，例如，已知缩略图/屏幕图钉以低分辨率表示具有小数据量的图像内容，但是本公开中的术语“缩略图”广泛地指代利用具有低分辨率的静止图像表示主图像(静止图像或运动图像)的图像，例如通常被称为缩略图/屏幕图钉的图像。
[0235]-通信tp3
[0236]
客户端终端3向服务器设备2发送缩略图图像请求列表。即，响应于处理ps2的ui处理中的由负责人对复选框31的复选和对缩略图请求按钮32的操作，客户端终端3生成包括与所复选的信息相对应的图像的列表信息和请求缩略图的信息的缩略图图像请求列表，并且发送缩略图图像请求列表。
[0237]-通信tp4
[0238]
服务器设备2将从客户端终端3接收到的缩略图图像请求列表转发到成像设备1。
[0239]-通信tp5
[0240]
响应于接收到缩略图图像请求列表，成像设备1将缩略图图像请求列表中列出的一个或多个图像的缩略图图像发送到服务器设备2。
[0241]-通信tp6
[0242]
服务器设备2将从成像设备1接收到的缩略图图像转发到客户端终端3。
[0243]-处理ps3
[0244]
客户端终端3使用接收到的缩略图图像执行ui处理。
[0245]
例如，客户端终端3在显示单元77上执行如图5的b中所示的缩略图列表34的显示。即，显示接收到的缩略图图像38的列表。
[0246]
此外，如在图的示例中那样，有利的是，将关于每个缩略图图像38的元信息和附加信息中的全部或一部分作为关联/附加信息39来显示。
[0247]
此外，对应于每个缩略图图像38布置复选框31，使得客户端终端3侧的负责人可以执行选择操作。
[0248]
此外，显示主图像请求按钮33，以便负责人可以操作它。
[0249]
显示这样的ui画面，以便客户端终端3的负责人在通过缩略图图像38确认在上述图5的a的画面上粗略地选择的图像的图像内容的同时最终选择所需的图像。
[0250]
图5的b示出了负责人复选了在中央处的缩略图图像38的复选框31的状态。
[0251]
当在该状态下操作主图像请求按钮33时，假设负责人请求与缩略图图像相对应的主图像。
[0252]
在处理ps3中，客户端终端3的cpu 71控制这样的ui画面的显示，并且感测与其相对应的负责人的输入。
[0253]-通信tp7
[0254]
客户端终端3向服务器设备2发送主图像请求列表。即，响应于处理ps3的ui处理中的由负责人对复选框31的复选和对主图像请求按钮33的操作，客户端终端3生成包括与所复选的缩略图相对应的图像的列表信息和请求主图像的信息的主图像请求列表，并且发送主图像请求列表。
[0255]-通信tp8
[0256]
服务器设备2将从客户端终端3接收到的主图像请求列表转发到成像设备1。
[0257]-通信tp9
[0258]
响应于接收到主图像请求列表，成像设备1将主图像请求列表中列出的一个或多个图像的主图像发送到服务器设备2。
[0259]-通信tp10
[0260]
服务器设备2将从成像设备1接收到的主图像转发到客户端终端3。
[0261]
因此，图5的c中的主图像35被交付到客户端终端3。
[0262]
如上所述，不是从一开始就转发主图像35，而是首先作为第一次往返，执行基于元信息和附加信息的粗略图像选择，随后作为第二次往返，执行使用缩略图图像38的图像选择。服务器设备2执行到此为止的中继处理作为初始信息转发处理。
[0263]
然后，服务器设备2最终通过主图像转发处理，将通过初始信息转发处理中的选择而在主图像请求列表中列出的主图像从成像设备1转发到客户端终端3。
[0264]
以此方式，可以选择并且转发由客户端终端3的负责人所需的主图像，而不是将由成像设备1捕获的所有大量主图像转发到客户端终端3，并且一系列转发是非常高效的。
[0265]
将描述用于实现图4中所示的每个通信tp和处理ps的成像设备1和服务器设备2的处理示例。
[0266]
作为用于通信tp1的处理，在图6中示出了在成像设备1的成像时的处理。成像设备1的处理主要表示相机控制单元18的控制处理。
[0267]
在图6的步骤s101中，成像设备1的相机控制单元18控制捕获处理。即，相机控制单元18控制图2的需要单元，以便根据相机操作员的操作来执行图像捕获/记录。例如，相机控制单元18使成像元件单元12和相机信号处理单元13执行静止图像的图像信号处理、关联元信息生成等。
[0268]
在步骤s102中，相机控制单元18使相机信号处理单元13执行缩略图图像和主图像的编码处理。
[0269]
在步骤s103中，相机控制单元18使记录控制单元14将缩略图图像和主图像(包括元信息)记录在记录介质上。
[0270]
在步骤s104中，相机控制单元18使通信单元16执行发送所成像的图像的元信息的处理。
[0271]
例如根据相机操作员的发送操作来执行步骤s104的处理。例如，响应于相机操作员从被成像并且被记录在记录介质上的图像当中选择用于发送(交付到客户端终端3)的单个图像或图像文件夹并且执行发送操作，相机控制单元18执行处理。相机控制单元18使通信单元16发送被相机操作员选择为要发送的一个或多个图像的相应元信息。
[0272]
通过上述处理，执行图4的通信tp1。
[0273]
图7中示出了用于图4的处理ps1和通信tp2的服务器设备2的处理。注意，作为服务
器设备2的处理，示出了控制单元2a的控制处理。
[0274]
在步骤s201中，控制单元2a核查从成像设备1接收到元信息。
[0275]
然后，当接收到元信息时，控制单元2a执行循环处理lp1。
[0276]
在循环处理lp1中，对于从成像设备1发送的每个图像的元信息执行步骤s202和s203。例如，在接收到对于十个图像的元信息的情况下，对每个图像执行处理。
[0277]
在步骤s202中，控制单元2a基于元信息执行db搜索处理，并且获取附加信息。例如，如上所述，对于一个图像，在将成像位置和成像时间的信息作为元信息发送的情况下，控制单元2a基于成像位置和成像时间的信息执行db搜索，并且获取诸如例如竞赛名称和选手名称之类的附加信息。
[0278]
在步骤s203中，控制单元2a执行将关于图像的元信息和附加信息发送到客户端终端3的处理。
[0279]
控制单元2a在循环处理lp1中对于每个图像执行步骤s202和s203的处理，使得由成像设备1针对每个图像发送的元信息和相应的附加信息被发送到客户端终端3。
[0280]
响应于此，客户端终端3侧如上所述地执行ui处理作为处理ps2，并且作为通信tp3，发送缩略图图像请求列表。
[0281]
图8示出了根据缩略图图像请求列表的用于通信tp4的服务器设备2的处理。
[0282]
在步骤s220中，服务器设备2的控制单元2a核查图像请求列表的接收。这里提到的图像请求列表例如是缩略图图像请求列表或主图像请求列表。在稍后描述的发送模式中，可能存在这样的情况，即，它是诸如分组图像请求信息、对主运动图像的部分剪辑的请求和对代理运动图像的局部剪辑的请求之类的信息。
[0283]
在图4的第一发送模式的情况下，当接收到缩略图图像请求列表或主图像请求列表时，控制单元2a执行步骤s221的处理。
[0284]
在步骤s221中，控制单元2a执行将接收到的图像请求列表转发到成像设备1的处理。因此，作为通信tp4，转发缩略图图像请求列表。
[0285]
图9中示出了用于通信tp5的成像设备1的处理。
[0286]
在步骤s120中，相机控制单元18核查从服务器设备2接收到图像请求列表。
[0287]
然后，当接收到图像请求列表时，相机控制单元18执行循环处理lp20。
[0288]
在循环处理lp20中，相机控制单元18针对与图像请求列表中列出的请求有关的图像数量重复步骤s121到s125的处理。
[0289]
首先，在步骤s121中，相机控制单元18确定图像请求列表是缩略图图像请求列表还是主图像请求列表，并且对处理进行分支。
[0290]
在图像请求列表是缩略图图像请求列表的情况下，在步骤s122中，相机控制单元18使记录控制单元14执行从记录介质中读取包括在请求中的一个图像的缩略图图像。
[0291]
然后，在步骤s123中，相机控制单元18执行经由通信单元16将从记录介质读取的缩略图图像发送到服务器设备2的处理。
[0292]
在图像请求列表是主图像请求列表的情况下，在步骤s124中，相机控制单元18使记录控制单元14执行从记录介质中读取包括在请求中的一个图像的主图像。
[0293]
然后，在步骤s125中，相机控制单元18执行经由通信单元16将从记录介质读取的主图像发送到服务器设备2的处理。
[0294]
针对与图像请求列表中列出的请求有关的每个图像执行上述处理，并且执行与图像请求列表有关的缩略图图像或主图像的发送。
[0295]
关于通信tp5，根据缩略图图像请求列表发送缩略图图像。
[0296]
图10中示出了用于通信tp6的服务器设备2的处理。
[0297]
在步骤s230中，服务器设备2的控制单元2a核查从成像设备1接收到图像。这里所指的图像例如是缩略图图像或主图像。
[0298]
然后，当接收到图像时，控制单元2a执行循环处理lp10。
[0299]
在循环处理lp10中，控制单元2a针对接收到的图像的数量重复步骤s231的处理。
[0300]
在步骤s231中，控制单元2a执行将接收到的图像发送到客户端终端3的处理。
[0301]
因此，作为通信tp6，在从成像设备1接收到一个或多个缩略图图像的情况下，服务器设备2将它们转发到客户端终端3。
[0302]
响应于此，客户端终端3侧如上所述地执行ui处理作为处理ps3，并且作为通信tp7，发送主图像请求列表。
[0303]
根据主图像请求列表的用于通信tp8的服务器设备2的处理如上述图8中所示。
[0304]
此外，通过通信tp8接收到主图像请求列表的成像设备1的处理如图9中所示。即，对与主图像请求列表中列出的请求有关的图像执行图9中的步骤s124和s125，从而执行与主图像请求列表有关的主图像的发送作为通信tp9。
[0305]
此外，图10中示出了用于通信tp10的服务器设备2的处理。在从成像设备1接收到一个或多个主图像的情况下，服务器设备2在步骤s231的处理中将它们转发到客户端终端3。
[0306]
注意，在通信tp5或通信tp7中发送到成像设备1的图像请求列表可以包括发送优先级的信息。例如，当请求多个图像时，负责人可以设定优先级的级别。然后，在图像请求列表中设定顺序，并且成像设备1按照根据优先级的顺序来执行图像发送。因此，可以尽可能快地交付具有高需要性的图像。这也适用于下面描述的每个发送模式的情况。
[0307]
《4.第二发送模式》
[0308]
将描述第二通信模式。注意，在下文中，将针对每个通信模式主要描述与上述通信模式不同的点，并且将省略类似部分的细节。
[0309]
图11示出了第二发送模式。
[0310]
通信tp1类似于图4中的通信tp1，并且将元信息从成像设备1发送到服务器设备2。
[0311]
然而，在第二发送模式中，服务器设备2在通信tp2中将接收到的元信息按照原样发送到客户端终端3，而不进行作为此时的处理ps1的附加信息的导出。
[0312]
客户端终端3执行ui处理作为处理ps2，但是在这种情况下，由于没有接收到附加信息，所以显示内容仅基于如图12的a中所示的元信息。
[0313]
例如，在将成像者以及成像地点和时间作为元信息发送的情况下，将与每个图像相对应的相机操作员(成像者)、成像地点和成像时间的信息显示为信息内容列表30。
[0314]
此外，显示与每个信息对应的复选框31和缩略图请求按钮32，使得负责人可以操作。
[0315]
在通信tp3中，根据对图12的a的画面的操作，从客户端终端3发送缩略图图像请求列表。
[0316]
在通信tp4中，服务器设备2将缩略图图像请求列表转发到成像设备1。
[0317]
在通信tp5中，成像设备1发送在缩略图图像请求列表中请求的缩略图图像。
[0318]
在第二发送模式中，已经通过通信tp5接收到缩略图图像作为捕获的主图像的关联信息的服务器设备2执行获得附加信息的处理，作为此时的处理ps4。在这种情况下，对缩略图图像执行图像分析和物体识别处理，并且根据结果生成附加信息。例如，选手姓名可以通过执行面部识别、个人识别、统一号码的识别等来获得。此外，还可以通过对于被摄体的物体识别来确定竞赛类型，并且生成竞赛名称作为附加信息。根据这些示例，通过使用缩略图图像的识别处理来获取某些信息，并且将所获取的信息设定为附加信息。
[0319]
在通信tp6中，服务器设备2将缩略图图像和根据缩略图图像确定的附加信息发送到客户端终端3。
[0320]
客户端终端3使用接收到的缩略图图像来执行ui处理作为处理ps3。在这种情况下，由于还接收到附加信息，因此客户端终端3还可以基于附加信息与缩略图图像一起执行显示。
[0321]
例如，客户端终端3在显示单元77上执行接收到的缩略图图像38的显示，作为图12的b中所示的缩略图列表34的显示。此外，还显示关联/附加信息39，作为关于每个缩略图图像38的元信息和附加信息的全部或一部分。在该示例中，将作为附加信息获得的竞赛名称和选手姓名与作为元信息获得的成像者的信息一起显示。
[0322]
此外，显示与每个缩略图图像38相对应的复选框31和主图像请求按钮33，使得负责人可以操作。
[0323]
在通信tp7中，根据对图12的b的画面的操作，从客户端终端3发送主图像请求列表。
[0324]
在通信tp8中，服务器设备2将主图像请求列表转发到成像设备1。
[0325]
在通信tp9中，成像设备1发送在主图像请求列表中请求的主图像。
[0326]
在通信tp10中，服务器设备2将如图12的c中所示的主图像转发到客户端终端3。
[0327]
如上所述，图11中的第二发送模式与图4中的第一发送模式的不同之处在于，作为处理ps4，由服务器设备2获得附加信息的处理是基于缩略图图像。
[0328]
用于第二发送模式的成像设备1和服务器设备2的处理如下所述。
[0329]
用于通信tp1的成像设备1的处理如上述图6中所示。
[0330]
图13中示出了用于通信tp2的服务器设备2的处理。
[0331]
在步骤s201中，控制单元2a核查从成像设备1接收到元信息。
[0332]
然后，当接收到元信息时，控制单元2a执行循环处理lp2。
[0333]
在循环处理lp2中，在步骤s205中，控制单元2a执行将从成像设备1发送的元信息发送到客户端终端3的处理。
[0334]
控制单元2a在循环处理lp2中对每个图像执行步骤s205的处理，使得由成像设备1针对每个图像发送的元信息被发送到客户端终端3。
[0335]
响应于此，客户端终端3侧如上所述地执行ui处理作为处理ps2，并且作为通信tp3，发送缩略图图像请求列表。
[0336]
根据缩略图图像请求列表的用于通信tp4的服务器设备2的处理如上述图8中所示。
[0337]
此外，用于通信tp5的成像设备1的处理如上述图9中所示。
[0338]
在通信tp5中接收到缩略图图像38的情况下，用于通信tp6的服务器设备2的处理如图14中所示。
[0339]
在步骤s230中，服务器设备2的控制单元2a核查从成像设备1接收到图像。这里所指的图像例如是缩略图图像或主图像。
[0340]
在步骤s240中，控制单元2a根据接收到的图像是缩略图图像还是主图像对处理进行分支。
[0341]
然后，当接收到缩略图图像时，控制单元2a执行循环处理lp11，并且当接收到主图像时，执行循环处理lp11。
[0342]
在循环处理lp11中，控制单元2a针对接收到的缩略图图像的数量重复步骤s241、s242和s243的处理。
[0343]
在步骤s241中，控制单元2a执行图像识别处理。然后，在步骤s242中，基于图像识别处理的结果生成附加信息。
[0344]
注意，在这种情况下，可以基于图像识别结果执行db搜索以生成附加信息。此外，可以导出基于图像识别结果的附加信息和作为基于元信息的db搜索结果而获得的附加信息两者。
[0345]
在步骤s243中，控制单元2a执行将接收到的图像发送到客户端终端3的处理。
[0346]
因此，作为通信tp6，在从成像设备1接收到一个或多个缩略图图像的情况下，服务器设备2将它们和附加信息转发到客户端终端3。
[0347]
响应于此，客户端终端3侧如上所述地执行ui处理作为处理ps3，并且作为通信tp7，发送主图像请求列表。
[0348]
根据主图像请求列表的用于通信tp8的服务器设备2的处理如上述图8中所示。
[0349]
此外，已经通过通信tp8接收到主图像请求列表的成像设备1的处理如图9中所示。即，对与主图像请求表中列出的请求有关的图像执行图9中的步骤s124和s125，从而执行与图像请求列表有关的主图像的发送作为通信tp9。
[0350]
此外，图14中示出了用于通信tp10的服务器设备2的处理。在服务器设备2从成像设备1接收到一个或多个主图像的情况下，处理从图14的步骤s240进行到循环处理lp12。
[0351]
在循环处理lp12中，控制单元2a针对接收到的主图像的数量重复步骤s244的处理。
[0352]
在步骤s244中，控制单元2a执行将接收到的主图像发送到客户端终端3的处理。
[0353]
因此，作为通信tp10，在从成像设备1接收到一个或多个主图像的情况下，服务器设备2将它们转发到客户端终端3。
[0354]
《5.第三和第四发送模式》
[0355]
将描述作为第三和第四发送模式不执行附加信息的获取/转发的示例。
[0356]
图15示出了第三发送模式。
[0357]
作为通信tp1，将元信息从成像设备1发送到服务器设备2。
[0358]
作为通信tp2，服务器设备2将接收到的元信息按照原样发送到客户端终端3。
[0359]
客户端终端3执行ui处理作为处理ps2，但是在这种情况下，由于没有接收到附加信息，所以显示内容仅基于如图16的a中所示的元信息。例如，内容类似于图12的a中的内
容。
[0360]
在通信tp3中，根据对图16的a的画面的操作，从客户端终端3发送缩略图图像请求列表。
[0361]
在通信tp4中，服务器设备2将缩略图图像请求列表转发到成像设备1。
[0362]
在通信tp5中，成像设备1发送在缩略图图像请求列表中请求的缩略图图像。
[0363]
在通信tp6中，服务器设备2将缩略图图像发送到客户端终端3。
[0364]
客户端终端3使用接收到的缩略图图像执行ui处理作为处理ps3。例如，客户端终端3在显示单元77上执行接收到的缩略图图像38的显示，作为图16的b中所示的缩略图列表34的显示。在这种情况下，由于不发送附加信息，因此仅显示基于元信息的信息(例如，成像地点、成像时间等)作为关联/附加信息39。
[0365]
此外，显示与每个缩略图图像38相对应的复选框31和主图像请求按钮33，使得负责人可以操作。
[0366]
在通信tp7中，根据对图16的b的画面的操作，从客户端终端3发送主图像请求列表。
[0367]
在通信tp8中，服务器设备2将主图像请求列表转发到成像设备1。
[0368]
在通信tp9中，成像设备1发送在主图像请求列表中请求的主图像。
[0369]
在通信tp10中，服务器设备2将如图16的c中所示的主图像转发到客户端终端3。
[0370]
如上所述，图15中的第三发送模式与上述第一和第二发送模式的不同之处在于，服务器设备2不执行获得附加信息的处理。
[0371]
用于第三发送模式的成像设备1和服务器设备2的处理如下所述。
[0372]
成像设备1的在成像时的处理如图6中所示，并且在接收图像请求时的处理如图9中所示。
[0373]
服务器设备2的在接收元信息时的处理如图13中所示，在接收图像请求时的处理如图8中所示，并且在接收图像时的处理如图10中所示。
[0374]
接下来，将描述第四发送模式。
[0375]
整个过程类似于图15中的第三发送模式的过程，但是它是在成像设备1具有个人面部登记功能的情况下的示例。
[0376]
当成像设备1登记例如竞赛的选手的个人面部、隶属团队、姓名等时，可以识别通过图像识别而被确定为被摄体的选手，并且可以将该信息包括在元信息中。
[0377]
因此，成像设备1执行例如图17的处理。
[0378]
作为相机控制单元18的处理，图17中的步骤s101、s102、s103和s104的处理与图6中的处理类似。
[0379]
作为图17中的步骤s180，相机控制单元18执行个人面部识别处理。例如，对在步骤s103中记录的每个图像执行个人面部识别处理，指定作为被摄体的选手，并且将该信息添加到元信息。
[0380]
因此，当在步骤s104中发送元信息时，也将选手信息包括在元信息中。
[0381]
因此，在通过图15的通信tp1和通信tp2向客户端终端3发送元信息的情况下，客户端终端3可以基于元信息显示如图16的d中所示的信息内容列表30。即，可以显示选手的信息。
[0382]
因此，例如，在负责人想要选择特定选手的图像等的情况下，这是非常有用的。
[0383]
《6.第五发送模式》
[0384]
将参考图18描述第五通信模式。
[0385]
在通信tp1中，将包括音频备忘录数据的元信息从成像设备1发送到服务器设备2。
[0386]
音频备忘录数据是这样的数据，其中，当图像被捕获时(例如，紧接在释放操作之后)或图像被记录在记录介质上，然后发出用作备忘录的话语以将音频作为备忘录与图像关联，并且将该音频作为一个元信息保存。该第五通信模式可以应用于成像设备1具有音频备忘录功能的情况。
[0387]
当接收到包括音频备忘录数据的元信息时，作为通信tp2，服务器设备2将其发送到客户端终端3。
[0388]
客户端终端3执行ui处理作为处理ps2，但是在这种情况下，显示内容是仅基于如图19的a中所示的元信息的信息内容列表30。然而，由于接收到包括音频备忘录数据的元信息，所以针对包括音频备忘录数据的信息内容显示音频再现图标40。在附图的示例中，作为对于所有图像存在音频备忘录数据的情况，对应于每个信息内容显示音频再现图标40。
[0389]
例如，在客户端终端3中，音频输出单元78通过操作音频再现图标40来再现音频备忘录。当相机操作员适当地记录音频备忘录时，客户端终端3的负责人可以参考音频备忘录来执行图像选择。
[0390]
由于后续通信tp3至通信tp10和处理ps3类似于第三通信模式，因此省略了冗余描述。
[0391]
能够记录音频备忘录数据的成像设备的在成像时的处理如图20中所示。
[0392]
注意，图20中的步骤s101、s102、s103和s104与图6中的步骤类似。
[0393]
相机操作员可以任意地将音频备忘录添加到捕获图像。
[0394]
在照相机操作员不执行在捕获图像上记录音频备忘录的操作的情况下，处理从步骤s110进行到步骤s104，并且与图6类似。
[0395]
在执行记录音频备忘录的操作的情况下，图20中的处理从步骤s110进行到步骤s111，并且相机控制单元18执行记录处理。即，它是例如根据预定操作将从音频输入单元25输入的音频记录大约10秒到20秒的时间段的处理。
[0396]
在步骤s112中，相机控制单元18使相机信号处理单元13执行所输入的音频备忘录数据的编码处理。
[0397]
在步骤s113中，相机控制单元18使记录控制单元14执行将经编码的音频备忘录数据记录在记录介质上的处理。
[0398]
然后，在步骤s114中，相机控制单元18使通信单元16在音频备忘录数据被添加到图像的元信息的状态下执行到服务器设备2的发送处理。
[0399]
当接收到包括音频备忘录数据的元信息时，用于通信tp2的服务器设备2的处理如图21中所示。
[0400]
在步骤s201中，控制单元2a核查从成像设备1接收到元信息。
[0401]
然后，当接收到元信息时，控制单元2a执行循环处理lp3。
[0402]
作为循环处理lp3，在步骤s206中，控制单元2a确定音频备忘录数据是否被包括在元信息中，并且对处理进行分支。
[0403]
当元信息不包括音频备忘录数据时，在步骤s205中，控制单元2a执行将从成像设备1发送的元信息发送到客户端终端3的处理。
[0404]
当元信息包括音频备忘录数据时，在步骤s207中，控制单元2a执行将包括从成像设备1发送的音频备忘录数据的元信息发送到客户端终端3的处理。
[0405]
控制单元2a在循环处理lp3中对每个图像执行步骤s206和s205或步骤s206、s207的处理，使得由成像设备1针对每个图像发送的元信息被发送到客户端终端3，并且当添加了音频备忘录数据时，音频备忘录数据也被发送。
[0406]
用于第五发送模式的另一处理如下所述。
[0407]
成像设备1的在接收图像请求时的处理如图9中所示。
[0408]
服务器设备2的在接收图像请求时的处理如图8中所示，并且在接收图像时的处理如图10中所示。
[0409]
《7.第六发送模式》
[0410]
将参考图22描述第六通信模式。
[0411]
在通信tp1中，将包括音频备忘录数据的元信息从成像设备1发送到服务器设备2。
[0412]
当接收到包括音频备忘录数据的元信息时，作为处理ps5，服务器设备2执行音频备忘录的转录处理。即，生成将音频备忘录数据转录成文本数据的信息。然后，作为通信tp2，将元信息和基于音频备忘录数据的文本信息发送到客户端终端3。
[0413]
客户端终端3执行ui处理作为处理ps2，并且在这种情况下，作为显示内容，如图23的a中所示，可以将通过将音频备忘录数据转换为文本而获得的音频备忘录文本41与元信息的内容一起作为信息内容列表30来显示。
[0414]
注意，从文本信息是在服务器设备2中生成的意义上来说，文本信息可以被视为本公开中所指的附加信息之一，但是因为文本信息在内容方面与音频备忘录数据相同，所以可以被视作为本公开中所指的关联信息。
[0415]
通过显示音频备忘录文本41，客户端终端3的负责人可以参考音频备忘录的内容来执行图像选择。由于此时不需要再现音频备忘录，因此可以更有效地执行选择操作。
[0416]
后续的通信tp3到通信tp10和处理ps3与第三通信模式类似。
[0417]
能够记录音频备忘录数据的成像设备的在成像时的处理如上述图20中所示。
[0418]
当接收到包括音频备忘录数据的元信息时，用于通信tp2的服务器设备2的处理如图24中所示。
[0419]
在步骤s201中，控制单元2a核查从成像设备1接收到元信息。
[0420]
然后，当接收到元信息时，控制单元2a执行循环处理lp4。
[0421]
作为循环处理lp4，在步骤s206中，控制单元2a确定音频备忘录数据是否被包括在元信息中，并且对处理进行分支。
[0422]
当元信息不包括音频备忘录数据时，在步骤s205中，控制单元2a执行将从成像设备1发送的元信息发送到客户端终端3的处理。
[0423]
当元信息包括音频备忘录数据时，在步骤s208中，控制单元2a对音频备忘录数据执行文本转换处理。然后，在步骤s209中，控制单元2a执行将从成像设备1发送的音频备忘录数据的文本数据和其他元信息发送到客户端终端3的处理。
[0424]
注意，此时，通过不发送音频备忘录数据本身，可以减少发送数据量。
[0425]
然而，可以将原始音频备忘录数据与音频备忘录数据的文本数据一起发送到客户端终端3，从而可以在客户端终端3侧执行音频再现。
[0426]
控制单元2a在循环处理lp4中对每个图像执行步骤s206和s205或步骤s206、s208和s209的处理，从而将由成像设备1针对每个图像发送的元信息发送到客户端终端3，以及当添加了音频备忘录数据时，将音频备忘录数据转换为文本并且发送。
[0427]
用于第六发送模式的另一处理如下所述。
[0428]
成像设备1的在接收图像请求时的处理如图9中所示。
[0429]
服务器设备2的在接收图像请求时的处理如图8中所示，并且在接收图像时的处理如图10中所示。
[0430]
《8.第七发送模式》
[0431]
在图25中，作为第七发送模式，将描述由成像设备执行连续成像并且将一系列图像作为分组图像进行管理的情况的示例。
[0432]-通信tp21
[0433]
成像设备1将包括连续成像的分组图像的第一图像的缩略图图像的元信息作为关于捕获图像的关联信息发送到服务器设备2。
[0434]
在这种情况下，成像设备1针对一个或多个连续成像的分组图像中的每一个发送第一图像的缩略图图像，但是不限于第一个，并且如果选择了包括在连续成像的分组图像中的特定图像并且发送该图像的缩略图图像就足够了。
[0435]-通信tp22
[0436]
服务器设备2向客户端终端3发送包括每个连续成像的分组图像的缩略图图像的元信息。
[0437]-处理ps6
[0438]
客户端终端3使用接收到的每个连续成像的分组图像的缩略图图像来执行ui处理。
[0439]
例如，客户端终端3显示如图26的a中所示的缩略图列表34。在这种情况下，对于连续成像的分组图像，显示连续成像的分组图像的缩略图图像(连续成像的缩略图图像42)。
[0440]
此外，在所发送的内容包括通过不是连续成像的正常单个图像捕获而获得的图像的缩略图图像的情况下，显示缩略图图像38。
[0441]
此外，与连续成像的缩略图图像42或缩略图图像38相对应地，将相机操作员(成像者)的信息、成像时间、成像地点等作为基于元信息的关联/附加信息39来显示。
[0442]
此外，与连续成像的缩略图图像42或缩略图图像38相对应地布置复选框31，使得客户端终端3侧的负责人可以执行选择操作。
[0443]
此外，显示主图像请求按钮33和展开按钮36，使得负责人可以操作。
[0444]
这样的ui画面是为了客户端终端3的负责人根据缩略图图像来选择主图像被请求的图像的画面，并且可以对于连续成像的分组图像选择各个图像。
[0445]
例如，通过使用复选框31选择连续成像的缩略图图像42并且操作展开按钮36，可以如图26的b中所示地查看构成连续成像的各个图像的缩略图图像。
[0446]-通信tp23
[0447]
客户端终端3向服务器设备2发送对于整个分组图像的请求。即，在处理ps2的ui处
理中，负责人核查对于特定连续成像的缩略图图像42的复选框31，操作展开按钮36，以及响应于此，客户端终端3生成连续成像的分组图像的所有复选的图像的列表信息和包括请求缩略图的信息的对于整个分组图像的请求的信息，并且发送所生成的信息。
[0448]-通信tp24
[0449]
服务器设备2将从客户端终端3接收到的对于整个分组图像的请求转发到成像设备1。
[0450]-通信tp25
[0451]
响应于接收到对于整个分组图像的请求，成像设备1将包括在所请求的连续成像的分组图像中的各个图像的缩略图图像发送到服务器设备2。
[0452]-通信tp26
[0453]
服务器设备2将从成像设备1接收到的缩略图图像转发到客户端终端3。
[0454]-处理ps7
[0455]
客户端终端3使用接收到的分组图像的所有缩略图图像来执行ui处理。
[0456]
例如，作为如图26的b中所示的展开列表37，客户端终端3在显示单元77上执行连续成像的分组图像的每个缩略图图像43的显示。
[0457]
此外，还可以与整个连续成像的分组图像相对应地显示关联/附加信息39。
[0458]
此外，与每个缩略图图像43相对应地布置复选框31，使得客户端终端3侧的负责人可以执行选择操作。
[0459]
此外，显示主图像请求按钮33，以便负责人可以操作它。
[0460]
利用这样的ui画面，客户端终端3的负责人还可以选择连续成像图像中的一些图像。
[0461]-通信tp27
[0462]
客户端终端3将主图像请求列表发送到服务器设备2。即，响应于处理ps6或ps7的ui处理中的由负责人对复选框31的复选和对主图像请求按钮33的操作，客户端终端3生成包括与所复选的缩略图相对应的图像的列表信息和请求主图像的信息的主图像请求列表，并且发送主图像请求表。
[0463]-通信tp28
[0464]
服务器设备2将从客户端终端3接收到的主图像请求列表转发到成像设备1。
[0465]-通信tp29
[0466]
响应于接收到主图像请求列表，成像设备1将主图像请求表中列出的一个或多个图像的主图像发送到服务器设备2。
[0467]-通信tp30
[0468]
服务器设备2将从成像设备1接收到的主图像转发到客户端终端3。
[0469]
因此，将图26的c中的主图像35交付到客户端终端3。
[0470]
如上所述，在假设连续成像的分组图像的情况下，发送表示连续成像的分组图像的缩略图图像，使得可以选择连续成像的分组图像。此外，可以选择连续成像的分组图像的各个图像。
[0471]
以此方式，不是将由成像设备1连续捕获的所有大量主图像转发到客户端终端3，而是可以选择并且转发由客户端终端3的负责人所需的连续成像的分组图像的各个图像的
主图像，并且一系列转发是非常高效的。
[0472]
注意，图25示出了假设由成像设备1执行连续成像的情况下的通信tp21到通信tp30，但是，当成像设备1不执行连续成像和捕获时，例如，通过上述第一发送模式到第六发送模式中的任何一个来执行通信tp1到通信tp10。
[0473]
此外，即使在执行连续成像的情况下，也可以想到，例如，在图25的通信tp21之前的时间点执行图4中所示的通信tp1、处理ps1、通信tp2、处理ps2、通信tp3和通信tp4，并且对于由通信tp4的缩略图图像请求列表请求的图像执行图25的通信tp21之后的处理。
[0474]
作为关于第七发送模式的在由成像设备1进行成像时的处理，可以想到图27的示例。
[0475]
在步骤s140中，相机控制单元18根据是否执行连续成像(是否设定了连续成像模式)对处理进行分支。
[0476]
当不是连续成像时，相机控制单元18执行从步骤s101到s104的处理。这类似于图6中的处理。
[0477]
在连续成像时，作为循环处理lp30，相机控制单元18将从步骤s141到s144的处理重复与通过连续成像进行的图像捕获次数相同的次数。
[0478]
在步骤s141中，相机控制单元18控制连续成像中的单个图像捕获处理。例如，相机控制单元18使成像元件单元12和相机信号处理单元13执行静止图像的图像信号处理等。
[0479]
在步骤s142中，相机控制单元18使相机信号处理单元13执行缩略图图像和主图像的编码处理。
[0480]
在步骤s143中，相机控制单元18使记录控制单元14将缩略图图像和主图像记录在记录介质上。
[0481]
在步骤s144中，相机控制单元18更新分组信息管理文件。这是针对为连续成像的分组图像而管理的文件来更新与连续成像的分组图像相关联的元信息的处理。
[0482]
在将上述处理执行了连续成像图像的数量之后，相机控制单元18进行到步骤s145，并且使通信单元16执行发送包括连续成像的分组图像的一个第一图像的缩略图图像的元信息的处理。
[0483]
通过上述处理，执行图4的通信tp1。
[0484]
成像设备1的在接收图像请求时的处理如图28中所示。
[0485]
它是在通信tp25中接收整个分组图像的缩略图图像的请求时、在通信tp28中接收主图像请求列表时以及在图4的通信tp5中接收缩略图图像请求列表时的处理。
[0486]
在步骤s120中，相机控制单元18核查从服务器设备2接收到图像请求列表。
[0487]
然后，当接收到图像请求列表时，相机控制单元18执行循环处理lp21。
[0488]
在循环处理lp21中，相机控制单元18针对与图像请求列表中列出的请求有关的图像的数量重复下面描述的处理。
[0489]
首先，在步骤s131中，相机控制单元18确定图像请求列表是否是缩略图图像请求列表。
[0490]
在图像请求列表是缩略图图像请求列表的情况下，在步骤s122中，相机控制单元18使记录控制单元14执行从记录介质中读取包括在请求中的一个图像的缩略图。
[0491]
然后，在步骤s123中，相机控制单元18执行经由通信单元16将从记录介质读取的
缩略图图像发送到服务器设备2的处理。
[0492]
针对所请求的图像的数量重复此操作。
[0493]
在接收到的请求信息不是缩略图图像请求列表的情况下，在步骤s132中，相机控制单元18确定图像请求列表是否是主图像请求列表。在主图像请求列表的情况下，在步骤s124中，相机控制单元18使记录控制单元14执行从记录介质中读取包括在请求中的一个图像主图像。
[0494]
然后，在步骤s125中，相机控制单元18执行经由通信单元16将从记录介质中读取的主图像发送到服务器设备2的处理。
[0495]
针对所请求的图像的数量重复此操作。
[0496]
在接收到的请求信息既不是缩略图图像请求列表也不是主图像请求列表的情况下，在步骤s133中，相机控制单元18确定它是否是整个分组图像请求。在这种情况下，相机控制单元18执行循环处理lp22。
[0497]
在循环处理lp22中，根据构成相应的连续成像的分组图像的图像数量，重复步骤s126和s127。准确地说，由于第一图像的缩略图图像已经被发送，因此如果对于第二图像和后续图像重复处理就足够了。
[0498]
在步骤s126中，记录控制单元14执行从记录介质中读取连续成像的分组图像当中的未发送图像的缩略图图像。
[0499]
然后，在步骤s127中，相机控制单元18执行经由通信单元16将从记录介质中读取的缩略图图像发送到服务器设备2的处理。
[0500]
当执行上述处理时，执行与图像请求列表有关的缩略图图像或主图像的发送。
[0501]
作为通信tp25、通信tp29(或通信tp9)和通信tp5，执行图像发送。
[0502]
注意，服务器设备2的在接收元信息时的处理如图13中所示，在接收图像请求时的处理如图8中所示，并且在接收图像时的处理如图10中所示。
[0503]
《9.切换处理示例i》
[0504]
虽然上面主要假设静止图像作为图像描述了第一发送模式到第七发送模式，但是服务器设备2可以适当地切换这些发送模式，以根据情况或成像对象实现适当的通信。
[0505]
下面描述的切换的示例包括但不限于切换发送模式本身，例如根据情况在第一发送模式和第四发送模式之间切换、在第五发送模式和第六发送模式之间切换，并且例如在成像设备执行连续成像的情况下，自动地从第一发送模式切换到第七发送模式。
[0506]
例如，在第一发送模式中，将初始信息转发处理执行两次往返，使得在第一次往返中发送元信息和附加信息以在客户端终端3中执行选择，并且在第二次往返中发送缩略图图像以在客户端3中执行选择，但是，存在仅在一次往返之后执行主图像转发处理的示例，以及在不执行初始信息转发处理的情况下从一开始就执行主图像转发处理的示例，并且作为这些示例，还包括减少或增加发送模式的过程的切换。
[0507]
在以下描述中，将主要集中于发送模式的切换进行描述，但是应当理解，其也适用于发送模式内的过程的切换。
[0508]
图29示出了切换处理示例i。
[0509]-处理ps10
[0510]
服务器设备2执行情况确定，并且根据该情况来确定要执行的发送模式。注意，如
上所述，还可以确定以改变特定发送模式中的过程(例如，省略初始信息转发处理，将初始信息转发过程仅执行一次往返等)。
[0511]-通信tp40
[0512]
服务器设备2将所确定的发送模式通知给成像设备1。
[0513]-处理ps11
[0514]
成像设备1根据所通知的发送模式执行用于图像交付的设定处理。
[0515]
例如，相机控制单元18执行以下设定。在第一发送模式到第四发送模式的情况下，仅元信息被设定为在图像转发时被发送。在第五和第六发送模式的情况下，包括音频备忘录数据的元信息被设定为在图像转发时被发送。在第七发送模式的情况下，进行设定以发送连续成像的分组图像的第一图像的缩略图图像。
[0516]
替选地，可以存在这样的情况，其中进行设定以省略特定发送模式中的初始信息转发处理。
[0517]-通信tp41
[0518]
服务器设备2将所确定的发送模式通知给客户端终端3。
[0519]-处理ps12
[0520]
客户端终端3根据所通知的发送模式来执行表示所通知的发送模式的ui处理。
[0521]
注意，上述通信tp40和通信tp41的顺序可以颠倒。此外，还可以想到，不执行通信tp40和通信tp41中的一个或两个以及与其对应的处理ps11和处理ps12。
[0522]
图30示出了用于执行这样的切换处理的服务器设备2的处理示例。
[0523]
在步骤s300中，控制单元2a执行情况确定。例如，确定诸如通信状态(诸如当前转发速率和分组错误率)、连接的成像设备1的数量以及服务器设备2本身的处理负载之类的情况。
[0524]
在步骤s301中，控制单元2a根据作为情况确定的结果是否要执行切换来对处理进行分支。在不执行切换的情况下，控制单元2a结束图30的处理，但是在执行切换的情形下，处理进行到步骤s302。
[0525]
在步骤s302中，控制单元2a根据所确定的情况来确定发送模式。例如，可以想到以下示例，其中，当与成像设备1侧的通信状态良好时，设定第一发送模式，并且在通信状态恶化的情况下，设定第三发送模式，当服务器设备2自身的处理负载较轻时，设定第一发送模式或第二发送模式，以及当处理负载较重时，设定第三发送模式等。
[0526]
在步骤s303中，控制单元2a执行向成像设备1通知发送模式的处理，并且在步骤s304中，执行向客户端终端3通知发送模式的处理。
[0527]
当在这样的处理中执行发送模式的切换时，根据通信状态、处理负载的状态等选择适当的发送模式。
[0528]
将描述与各种情况确定相应的切换的具体示例。
[0529]
首先，存在关于定时的情况确定。
[0530]-对于第一和第二发送模式，服务器设备2需要生成附加信息。此外，在第六发送模式中，需要文本转换处理。因此，当未创建用于生成附加信息的信息时，在不可以进行db访问的情况下，或者在不可以进行文本转换处理的情况下，设定第三、第四和第五发送模式，并且当可以生成附加信息等时，设定第一、第二和第六发送模式。
[0531]
还可以想到关于服务器设备2的处理负载的情况确定。
[0532]
在从大量客户端终端3侧请求图像列表的情况下，期望减少要发送的数据量，以便降低服务器设备2侧的网络负载。例如，期望发送文本数据而不是音频数据。因此，可以想到在服务器设备2的网络负载高的情况下切换到第三发送模式，并且在服务器设备2中的网络负载低的情况下，切换到第五发送模式。
[0533]
此外，在从大量相机侧接收图像的情况下，期望减少要发送的数据量，以便降低服务器设备2侧的网络负载。例如，在连续成像图像的情况下，期望通过发送第一图像来减少数据量。因此，可以想到在服务器设备2侧的网络负载高的情况下切换到第七发送模式，并且在服务器设备2侧的网络负载低的情况下，切换到第三发送模式。
[0534]
此外，在从大量成像设备1侧接收大量元信息的情况下，服务器设备2侧的数据创建处理负载增加。因此，可以想到在服务器设备2侧的接口处理或cpu 71的处理负载高的情况下，将处理切换到第三和第四发送模式，以及在服务器设备2侧的接口处理或cpu 71的处理负载低的情况下，将处理切换到第一、第二和第五发送模式。
[0535]
还可以想到从用例的角度进行情况确定。
[0536]
在网络环境可能较差的户外体育和网络环境丰富的室内/体育场体育之间，图像捕获场所的环境存在差异。例如，可以想到如下示例，其中，在网络环境较差的情况下将处理切换到第三发送模式，并且在网络环境丰富的情况下将处理切换到第五发送模式。
[0537]
此外，在网络环境较差的情况下，执行第一至第六发送模式中描述的发送，例如元信息发送、缩略图图像发送和主图像发送，但是在网络环境丰富的情况下，可以想到通过执行缩略图图像发送和主图像发送(即，将初始信息转发处理执行一次往返)、从一开始就执行主图像发送(不执行初始信息转发过程)等来减少发送阶段。
[0538]
存在诸如田径或游泳之类的体育，其中可以根据竞赛程序来创建时间、地点和运动员的数据库；并且存在诸如马拉松和铁人三项之类的体育，其中无法根据竞赛程序来创建时间、地点、运动员的数据库。可以想到在被摄体活动是可创建db的体育的情况下使用第一发送模式，并且在被摄体活动不是可创建db的体育的情况下切换到第三、第四、第五和第六发送模式。
[0539]
注意，根据要成像的体育的类型切换发送模式的处理将在后面作为切换处理示例ii和iii进行描述。
[0540]
还考虑了从5g环境或4g环境的角度进行的情况确定。
[0541]
期望根据网络环境减少要发送的数据量。因此，可以想到这样的示例，其中，在4g环境的情况下，执行到第三和第四发送模式的切换，并且在5g环境的情况下，执行到第一、第二、第五和第六发送模式的切换。
[0542]
同时，在图29和图30的示例中，服务器设备2将发送模式通知给客户端终端3，以及这使得客户端终端3侧能够显示如例如图31的a和图31的b中所示的模式信息44，并且可以向负责人呈现将以何种发送模式执行图像转发。图31的a是开始处理ps12的转发之前的显示状态的示例，并且图31的b是例如图16的处理ps2等中的显示状态的示例。
[0543]
作为模式信息44，例如，如图31的c中的每个示例中所示，可以想到表示发送到客户端终端3的信息的内容和顺序。
[0544]
此外，在图29和图30的示例中，服务器设备2通过情况确定处理来自动执行切换，
但是可以向客户端终端3的负责人请求是否可以切换。
[0545]
例如，如图32中所示，在客户端终端3上显示确认对话框45，并且当负责人接受切换时切换发送模式。该图是在根据网络环境执行切换的情况下请求负责人给予批准的示例。
[0546]
为此，服务器设备2例如在图30的步骤s301中执行如图33中所示的处理。
[0547]
在步骤s310中，控制单元2a执行网络状态确定处理。
[0548]
例如，当确定转发速率已经降低并且信息转发已经减少时，控制单元2a从步骤s311前进到步骤s313，并且向客户端终端3发送切换推荐通知。响应于此，客户端终端3显示如图32中所示的确认对话框45。然后，在步骤s314中，等待来自客户端终端3侧的响应通知。
[0549]
当负责人执行用于接受切换的操作并且从客户端终端3给出了该意思的通知时，处理从图30中的步骤s314进行到步骤s301和s302，并且切换发送模式。
[0550]
当负责人执行不接受切换的操作并且从客户端终端3给出了该意思的通知时，处理从图30中的步骤s314进行到步骤s301，不切换发送模式，并且图30的处理结束。
[0551]
当在步骤s310的网络状态确定处理中确定例如转发速率增加并且恢复了以高速执行信息转发的状态时，控制单元2a从步骤s312进行到步骤s315，并且向客户端终端3发送切换推荐通知。响应于此，客户端终端3显示提示切换到在通信良好的情况下的发送模式的确认对话框45。然后，在步骤s316中，控制单元2a等待来自客户端终端3侧的响应通知。
[0552]
当负责人执行用于接受切换的操作并且从客户端终端3给出了该意思的通知时，处理从图30中的步骤s316进行到步骤s301和s302，并且切换发送模式。
[0553]
当负责人执行不接受切换的操作并且从客户端终端3给出了该意思的通知时，处理从图30中的步骤s316进行到步骤s301，不切换发送模式，并且图30的处理结束。
[0554]
以此方式，可以基于情况确定的结果和客户端终端3的负责人的意图来执行发送模式切换处理。
[0555]
结果，可以防止根据客户端终端3侧的情况执行不适当的切换。
[0556]
《10.切换处理示例ii》
[0557]
将参考图34描述切换处理示例ii。
[0558]
首先，作为处理ps20，例如，通过相机操作员的操作来输入成像对象的体育信息(竞赛类型的信息)，并且将竞赛类型作为元信息包括在成像设备1中。
[0559]
作为通信tp50，成像设备1在某个定时向服务器设备2发送包括成像对象的体育信息的元信息。例如，发送定时可以紧接在处理ps20之后，或者可以在第一发送模式等中最初发送元信息时。
[0560]
作为处理ps21，服务器设备2基于接收到的元信息中包括的体育信息来确定发送模式。
[0561]
此后，与上述切换处理示例i类似地执行被设定为通信tp40和通信tp41的发送模式的通知。也类似地执行成像设备1中的处理ps11和客户端终端3中的处理ps12。
[0562]
用于这样的切换处理示例ii的服务器设备2的处理如图35中所示。
[0563]
在步骤s320中，控制单元2a核查是否已经从成像设备1通知了成像对象、即接收到体育信息。
[0564]
在已经接收到体育信息的情况下，控制单元2a进行到步骤s321，并且确定成像对
象竞赛是否是可以获取附加信息的竞赛。例如，在确定了日程计划表(时间表)的田径竞赛等中，可以通过db搜索来获得作为图像的被摄体的选手的信息等作为附加信息，但是在马拉松、足球等中，难以通过db搜索根据图像的元信息(例如，时间或地点)来指定出现在图像中的选手。
[0565]
因此，在可以通过db搜索来获取附加信息的竞赛的情况下，控制单元2a进行到步骤s322并且选择第一发送模式。
[0566]
另一方面，在难以通过db搜索来获取附加信息的竞赛的情况下，控制单元2a进行到步骤s323并且选择第三发送模式。
[0567]
然后，控制单元2a从步骤s322或s323进行到步骤s324，向成像设备1通知发送模式，并且在步骤s325中向客户端终端3通知发送模式。
[0568]
《11.切换处理示例iii》
[0569]
将参考图36描述切换处理示例iii。
[0570]
作为通信tp50，从客户端终端3给出项目信息的通知。项目信息例如是其中将用于识别成像设备1的相机id与成像设备1何时对什么竞赛执行成像相关联的信息。替选地，它可以是其中将相机操作员信息与相机操作员何时对什么竞赛执行成像相关联的信息。
[0571]
服务器设备2执行对接收到的项目信息进行登记的处理，作为处理ps30。
[0572]
作为通信tp51，成像设备1在某个定时将包括时间信息、相机id或相机操作员信息的元信息发送到服务器设备2。例如，如果发送定时是例如在第一发送模式等中最初发送元信息时，则这就足够了。
[0573]
作为处理ps31，服务器设备2根据接收到的元信息中包括的时间信息、相机id或相机操作员信息来参考所登记的项目信息，并且估计要由成像设备1成像的竞赛类型。然后，根据竞赛类型是否是可以提供附加信息的竞赛来确定发送模式。
[0574]
此后，与切换处理示例i类似地执行被设定为通信tp40和通信tp41的发送模式的通知。成像设备1中的处理ps11和客户端终端3中的处理ps12也被类似地执行。
[0575]
用于这样的切换处理示例iii的服务器设备2的处理如图37和图38中所示。
[0576]
在图37的步骤s330中，控制单元2a核查从客户端终端3接收项目信息。在存在接收的情况下，处理进行到步骤s331，并且执行项目信息登记处理。即，此后，项目信息被存储在预定的存储单元(例如，存储单元79)中，以便可以参考该项目信息。
[0577]
在图38的步骤s332中，控制单元2a核查是否已经从成像设备1接收到元信息。在这种情况下，确认接收到包括时间信息、相机id或相机操作员信息的元信息。
[0578]
在已经接收到对应的元信息的情况下，控制单元2a进行到步骤s333，并且估计要成像的竞赛类型。即，通过将元信息与项目信息进行比对来估计竞赛类型。
[0579]
在步骤s321中，控制单元2a确定所估计的成像对象竞赛是否是可以获取附加信息的竞赛。然后，在可以通过db搜索来获取附加信息的竞赛的情况下，控制单元2a进行到步骤s322并且选择第一发送模式。另一方面，在难以通过db搜索来获取附加信息的竞赛的情况下，控制单元2a进行到步骤s323并且选择第三发送模式。然后，控制单元2a从步骤s322或s323进行到步骤s324，向成像设备1通知发送模式，并且在步骤s325中向客户端终端3通知发送模式。
[0580]
《12.第八发送模式》
[0581]
尽管上面主要描述了第一至第七发送模式及其切换，但是特别是在转发图像是运动图像的情况下，也存在相应的合适发送模式。此外，在上述切换处理中，还假设切换到适合于运动图像的发送模式。
[0582]
下面，作为第八、第九和第十发送模式，将描述适合于运动图像的发送模式。
[0583]
图39示出了第八发送模式。
[0584]-通信tp71
[0585]
成像设备1向服务器设备2发送代理运动图像。代理运动图像是具有例如比要交付的主运动图像更低的分辨率和更小的数据量的运动图像。
[0586]-通信tp72
[0587]
服务器设备2将接收到的代理运动图像发送到客户端终端3。
[0588]-处理ps40
[0589]
客户端终端3使用接收到的代理运动图像执行ui处理。
[0590]
例如，客户端终端3在显示单元77上执行如图40中所示的显示。即，显示代理运动图像再现图像46和运动图像的时间线47。在时间线47中，显示从代理运动图像中提取的每个时间点的代表图像和语音波形。此外，在时间线47上，负责人可以指定需要的区间dk。
[0591]
此外，显示主运动图像请求按钮48，使得负责人可以操作。
[0592]
这样的ui画面是为了客户端终端3的负责人首先核查代理运动图像的再现图像并且指定作为主运动图像所需的区间而执行的。
[0593]
负责人在指定区间dk之后操作主运动图像请求按钮48。
[0594]
在处理ps40中，客户端终端3的cpu 71控制这样的ui画面的显示，并且感测与其对应的负责人的输入。
[0595]-通信tp73
[0596]
客户端终端3向服务器设备2发送对主运动图像的部分剪辑的请求。即，客户端终端3生成请求由负责人在处理ps40的ui处理中指定的区间dk的运动图像的信息，并且发送该信息。
[0597]-通信tp74
[0598]
服务器设备2将从客户端终端3接收到的对主运动图像的部分剪辑的请求转发到成像设备1。
[0599]-处理ps41
[0600]
响应于接收到对主运动图像的部分剪辑的请求，成像设备1执行创建通过从主运动图像中切出指定区间而获得的剪辑的处理。
[0601]-通信tp75
[0602]
成像设备1将在处理ps41中生成的主运动图像的部分剪辑发送到服务器设备2。
[0603]-通信tp76
[0604]
服务器设备2将从成像设备1接收到的主运动图像的部分剪辑转发到客户端终端3。
[0605]
因此，由负责人需要的场景的主要运动图像被交付到客户端终端3。
[0606]
如上所述，不是从一开始就转发整个主运动图像，而是作为初始信息转发处理，转发代理运动图像，并且在客户端终端3侧指定需要的区间。因此，作为主图像转发处理，转发
需要区间中的主运动图像的部分剪辑。
[0607]
图41示出了在由用于第八发送模式的成像设备1进行运动图像记录时的处理示例。
[0608]
作为图41中的循环处理lp50，成像设备1的相机控制单元18执行运动图像记录处理。也就是说，在步骤s401中感测到记录停止请求之前，对于每个帧执行步骤s402和s403的控制。
[0609]
在步骤s402中，相机控制单元18使相机信号处理单元13执行帧图像数据和音频数据的编码处理。
[0610]
在步骤s403中，相机控制单元18使记录控制单元14将帧图像数据、音频数据和元信息记录在记录介质上。
[0611]
例如，当通过相机操作员等的操作来请求停止记录时，相机控制单元18进行到步骤s405，并且执行读取所记录的运动图像的代理运动图像的控制。例如，记录控制单元14执行运动图像读取，并且相机信号处理单元13执行低分辨率转换等以生成代理运动图像。
[0612]
然后，在步骤s406中，相机控制单元18控制通信单元16以发送代理运动图像。
[0613]
通过上述处理，执行图39的通信tp71。
[0614]
图42中示出了用于图39的通信tp72的服务器设备2的处理。
[0615]
在步骤s501中，服务器设备2的控制单元2a核查从成像设备1接收到代理运动图像。
[0616]
然后，当接收到代理运动图像时，控制单元2a在步骤s502中执行将代理运动图像发送到客户端终端3的处理。
[0617]
响应于此，客户端终端3侧如上所述地执行ui处理作为处理ps40，并且作为通信tp73，发送对主运动图像的部分剪辑的请求。
[0618]
响应于对主运动图像的部分剪辑的请求的用于通信tp74的服务器设备2的处理类似于上述图8中的处理。
[0619]
图43中示出了用于处理ps41和通信tp75的成像设备1的处理示例。
[0620]
在步骤s430中，相机控制单元18核查从服务器设备2接收到运动图像请求。
[0621]
然后，当接收到运动图像请求列表时，相机控制单元18执行循环处理lp60。
[0622]
在循环处理lp60中，相机控制单元18根据运动图像请求的内容将步骤s431到s442的处理重复需要的次数(所请求的运动图像的数量)。
[0623]
首先，在步骤s431中，相机控制单元18确定运动图像请求内容是代理运动图像还是主运动图像(对主运动图像的部分剪辑的请求)，并且对处理进行分支。
[0624]
注意，代理运动图像被请求的情况发生在稍后描述的第九发送模式和第十发送模式中，并且从步骤s432到s434的处理将在稍后描述。
[0625]
在请求主运动图像的部分剪辑的情况下，相机控制单元18执行步骤s440、s441和s442的处理。
[0626]
在步骤s440中，相机控制单元18使记录控制单元14从记录介质中读取主运动图像。
[0627]
在步骤s441中，相机控制单元18例如使相机信号处理单元13执行从自记录介质中读取的主运动图像中切出所请求的区间的处理。
[0628]
然后，在步骤s442中，相机控制单元18执行将在切出处理中生成的主运动图像部分剪辑经由通信单元16发送到服务器设备2的处理。
[0629]
图44中示出了用于通信tp76的服务器设备2的处理。
[0630]
在步骤s530中，服务器设备2的控制单元2a核查从成像设备1接收到主运动图像。
[0631]
然后，当接收到主运动图像时，控制单元2a在步骤s531中执行将接收到的主运动图像发送到客户端终端3的处理。
[0632]
因此，主运动图像的部分剪辑被交付到客户端终端3。
[0633]
《13.第九发送模式》
[0634]
将参考图45描述第九发送模式。
[0635]-通信tp81
[0636]
成像设备1将对于运动图像的只有声音(sound-only)的文件发送到服务器设备2。只有声音的文件是仅具有在运动图像记录时记录的音频数据的文件。
[0637]-通信tp82
[0638]
服务器设备2将接收到的只有声音的文件发送到客户端终端3。
[0639]-处理ps42
[0640]
客户端终端3使用接收到的只有声音的文件执行ui处理。
[0641]
例如，客户端终端3在显示单元77上执行如图46的a中所示的显示。在这种情况下，由于仅接收到只有声音的文件，所以不能再现代理运动图像再现图像46，并且提供空白图像。作为时间线47，仅显示语音波形。
[0642]
此外，显示代理运动图像请求按钮49，使得负责人可以操作。
[0643]
这样的ui画面是为了客户端终端3的负责人首先根据语音波形的时间线47指定大致需要的区间而执行的。例如，可以根据语音波形等确定观众兴奋的区间。
[0644]
负责人在指定区间dka之后操作代理运动图像请求按钮49。
[0645]
在处理ps42中，客户端终端3的cpu 71控制这样的ui画面的显示，并且感测与其对应的负责人的输入。
[0646]-通信tp83
[0647]
客户端终端3向服务器设备2发送对代理运动图像的部分剪辑的请求。即，客户端终端3生成请求由负责人在处理ps42的ui处理中指定的区间dka的代理运动图像的信息，并且发送该信息。
[0648]-通信tp84
[0649]
服务器设备2将从客户端终端3接收到的对代理运动图像的部分剪辑的请求转发到成像设备1。
[0650]-处理ps43
[0651]
响应于接收到对代理运动图像的部分剪辑的请求，成像设备1执行创建通过切出指定区间而获得的代理运动图像的剪辑的处理。
[0652]-通信tp85
[0653]
成像设备1将在处理ps43中生成的代理运动图像部分剪辑发送到服务器设备2。
[0654]
作为通信tp72，服务器设备2将接收到的代理运动图像发送到客户端终端3。
[0655]
通信tp72和后续通信类似于图39中所示的通信tp72和后续通信。
[0656]
在客户端终端3中，作为处理ps40，执行如图46的b中所示的ui显示。这是与图40中的显示内容类似的显示内容。
[0657]
然而，该情况与图39的示例的不同之处在于，代理运动图像不是由成像设备1记录的整个运动图像的代理运动图像，而是在处理ps42中指定的区间的代理运动图像。
[0658]
由于通信tp73和后续通信重复，因此将省略其描述。
[0659]
即，在第九发送模式中，首先，通过使用只有声音的文件粗略地指定区间，根据所指定的区间来发送代理运动图像，以及客户端终端3侧核查代理运动图像并且指定需要的区间。因此，作为主图像转发处理，转发需要部分中的主运动图像的部分剪辑。
[0660]
图47示出了在由用于第九发送模式的成像设备1进行运动图像记录时的处理示例。
[0661]
类似于图41，作为循环处理lp50，成像设备1的相机控制单元18执行运动图像记录处理。
[0662]
此后，例如，当通过相机操作员等的操作来请求记录停止时，相机控制单元18进行到步骤s410，并且执行仅读取用于所记录的运动图像的音频数据的控制。例如，由记录控制单元14从运动图像文件中仅读出音频数据，并且由相机信号处理单元13生成只有声音的文件。
[0663]
然后，在步骤s411中，相机控制单元18控制通信单元16发送只有声音的文件。
[0664]
通过上述处理，执行图45的通信tp81。
[0665]
图48中示出了用于通信tp82的服务器设备2的处理。
[0666]
在步骤s511中，服务器设备2的控制单元2a核查从成像设备1接收到只有声音的文件。
[0667]
然后，当接收到只有声音的文件时，控制单元2a在步骤s512中执行将只有声音的文件发送到客户端终端3的处理。
[0668]
响应于此，客户端终端3侧如上所述地执行ui处理作为处理ps42，并且作为通信tp83，发送对代理运动图像的部分剪辑的请求。
[0669]
响应于对代理运动图像的部分剪辑的请求的用于通信tp84的服务器设备2的处理类似于上述图8中的处理。
[0670]
根据上述图43来执行成像设备1的处理ps43和用于通信tp85的处理。
[0671]
即，在接收到对代理运动图像的部分剪辑的请求的情况下，处理从图43中的步骤s431进行到步骤s432。
[0672]
在步骤s432中，相机控制单元18使记录控制单元14从记录介质中读取代理运动图像。
[0673]
在步骤s433中，相机控制单元18例如使相机信号处理单元13执行从自记录介质中读取的代理运动图像中切出所请求的区间的处理。
[0674]
然后，在步骤s434中，相机控制单元18执行将在切出处理中生成的代理运动图像部分剪辑经由通信单元16发送到服务器设备2的处理。
[0675]
图45中的在通信tp72之后的服务器设备2和成像设备1的处理类似于关于第八发送模式所描述的处理。
[0676]
《14.第十发送模式》
[0677]
将参考图49描述第十发送模式。
[0678]-通信tp91
[0679]
成像设备1将对于运动图像的元时间序列文件发送到服务器设备2。元时间序列文件是可以以时间序列呈现在运动图像记录时生成的元信息(例如，成像位置信息)的数据的文件。
[0680]-通信tp92
[0681]
服务器设备2将接收到的元时间序列文件发送到客户端终端3。
[0682]-处理ps44
[0683]
客户端终端3使用接收到的元时间序列文件执行ui处理。
[0684]
例如，客户端终端3在显示单元77上执行如图50中所示的基于元时间序列文件的显示。例如，在可以将成像位置信息的时间序列变化确定为元时间序列文件的情况下，显示根据成像位置信息的地图图像50和时间序列信息51。在地图图像50中，每个成像位置由标记来表示。时间序列信息51以时间序列将时间和成像位置信息彼此相关联地表示。作为时间线47，仅显示表示区间长度的时间线。在时间线47中，期望显示每个时间点的位置。
[0685]
还显示代理运动图像请求按钮49，使得负责人可以操作。
[0686]
这样的ui画面是为了客户端终端3的负责人根据成像位置粗略地指定需要的被摄体被认为出现的区间而执行的。通过知道某个活动在某个时间在某个地点发生的信息，负责人可以确定可以针对该活动进行成像的运动图像区间。
[0687]
负责人在指定区间dkp之后操作代理运动图像请求按钮49。
[0688]
在处理ps44中，客户端终端3的cpu 71控制这样的ui画面的显示，并且感测与其对应的负责人的输入。
[0689]
作为通信tp83，客户端终端3生成请求由负责人在处理ps44的ui处理中指定的区间dkp的代理运动图像的信息，并且发送该信息。
[0690]
由于通信tp83和后续通信类似于图45中所示的第九发送模式的通信，因此省略其描述。
[0691]
即，在第十发送模式中，首先，通过使用时间序列信息来粗略地指定区间，根据所指定的区间发送代理运动图像，以及客户端终端3侧核查代理运动图像并且指定需要的区间。因此，作为主图像转发处理，转发需要区间中的主运动图像的部分剪辑。
[0692]
图51示出了在由用于第十发送模式的成像设备1进行运动图像记录时的处理示例。
[0693]
类似于图41，作为循环处理lp50，成像设备1的相机控制单元18执行运动图像记录处理。
[0694]
此后，例如，当通过相机操作员等的操作来请求记录停止时，相机控制单元18进行到步骤s420，并且执行读取用于所记录的运动图像的元信息的时间序列数据的控制。例如，运动图像文件的元信息由记录控制单元14读出，并且时间序列文件由相机信号处理单元13生成。
[0695]
然后，在步骤s421中，相机控制单元18控制通信单元16发送时间序列文件。
[0696]
通过上述处理，执行图49的通信tp91。
[0697]
图52中示出了用于通信tp92的服务器设备2的处理。
[0698]
在步骤s521中，服务器设备2的控制单元2a核查从成像设备1接收到时间序列文件。
[0699]
然后，当接收到时间序列文件时，控制单元2a在步骤s522中执行将时间序列文件发送到客户端终端3的处理。
[0700]
响应于此，客户端终端3侧如上所述地执行ui处理作为处理ps44，并且作为通信tp83，发送对代理运动图像的部分剪辑的请求。
[0701]
服务器设备2和成像设备1的后续处理类似于关于第八和第九发送模式所描述的处理。
[0702]
《15.总结和变型示例》
[0703]
根据上述实施例，可以获得以下效果。
[0704]
本实施例的服务器设备2的控制单元2a执行初始信息转发处理：响应于接收到关联信息，基于关联信息获得附加信息，并且将关联信息和附加信息发送到客户端终端3，该关联信息是与由成像设备1捕获的图像相关联的信息，并且具有比该图像小的数据量。此外，控制单元2a执行主图像转发处理：根据通过基于关联信息或附加信息的发送在客户端终端3中进行的选择处理而生成的请求信息，将从成像设备1发送的图像发送到客户端终端3。
[0705]
通过执行这样的处理，服务器设备2可以适当地转发客户端终端3侧所需的高清晰度主图像，同时实现不会增加在需要在例如新闻报道等的成像之后立即交付的现场处的网络负载和系统的存储容量负载并且不会引起转发延迟的图像转发。
[0706]
此外，由于可以在客户端终端3中执行基于关联信息的呈现，因此可以提供负责人可以容易地并且适当地选择所需图像的环境。
[0707]
注意，作为服务器设备2或客户端终端3的信息处理设备的具体示例，例如假设了各种示例，诸如个人计算机设备、平板型信息处理设备、移动电话设备、游戏设备、音频设备、视频设备、通信设备、电视设备和服务器设备。能够执行作为信息处理的计算的设备、例如集成有微型计算机的设备可以被实现为本公开的信息处理设备。
[0708]
此外，尽管在图1中示出了mec 5，但是在本实施例中，mec5可以具有替换服务器设备2的功能。
[0709]
此外，mec 5可以具有成像设备1的功能(发送功能)的一部分。
[0710]
已经描述了本实施例的服务器设备2在初始信息转发处理中通过基于关联信息(例如，元信息)执行db搜索来获得附加信息的示例(参见第一发送模式)。
[0711]
通过经由db搜索从关于主图像的元信息等获得更详细的附加信息，可以向客户端终端3侧的负责人提供更容易理解的适合于图像选择的信息。因此，优化了选择操作，并且还提高了网络通信效率。
[0712]
在本实施例中，描述了如下示例，其中，作为关联信息包括表示由成像设备1捕获的图像并且具有较小数据量的图像(例如缩略图图像)，以及服务器设备2通过在初始信息转发处理中对包括在关联信息中的图像进行图像识别处理来获得附加信息(参见第二发送模式)。
[0713]
此外，当通过图像分析获得被摄体的信息并且将其用作附加信息时，可以向客户端终端3侧的负责人提供更容易理解的适合于图像选择的信息，这也有助于优化选择操作
并且提高网络通信效率。
[0714]
如上所述，作为初始信息转发处理，本实施例的服务器设备2执行多个发送模式的切换处理，这多个发送模式包括添加了附加信息的第一和第二发送模式以及未添加附加信息的发送模式(第二到第十发送模式)。
[0715]
由于存在不适合于转发附加信息的环境、情况、图像(被摄体)内容等，因此服务器设备2并不总是适合于执行获得附加信息的处理。因此，在某些情况下，服务器设备2不执行获得附加信息的处理，从而可以执行适合于情况和环境的处理。这也有助于减少服务器负载、提高网络效率等。
[0716]
在本实施例中，已经描述了如下示例，其中，服务器设备2执行将关联信息中包括的音频信息发送到客户端终端3的处理，作为预定发送模式的发送，该预定发送模式是多个发送模式之一(参见第五发送模式)。
[0717]
在从成像设备发送与静止图像或运动图像相关联的音频备忘录的情况下，服务器设备2在初始信息转发处理时将音频备忘录转发到客户端终端3，使得客户端终端3的负责人可以通过再现音频备忘录来执行图像选择。因此，可以提供其中可以执行更期望的图像选择的环境。
[0718]
在本实施例中，已经描述了如下示例，其中，服务器设备2执行将关联信息中包括的音频信息转换为文本数据并且将文本数据发送到客户端终端3的处理，作为预定发送模式的发送，该预定发送模式是多个发送模式之一(参见第六发送模式)。
[0719]
在从成像设备发送与静止图像或运动图像相关联的音频备忘录的情况下，服务器设备2在初始信息转发处理中将音频备忘录转换为文本数据并且将文本数据转发到客户端终端3。通过转换成文本数据，可以使数据量小于音频信息的数据量。
[0720]
此外，由于通过文本来显示音频备忘录内容，因此客户端终端3的负责人不需要再现音频备忘录，并且可以提供其中可以更容易地执行图像选择的环境。
[0721]
在本实施例中，已经描述了服务器设备2根据通信状态的确定结果来执行切换处理的示例(参见切换处理示例i)。
[0722]
通过根据诸如网络的传输路径的通信速度、分组速率、4g/5g的情况和取决于成像设备的位置的通信环境之类的通信状态的变化来切换发送模式，可以实现与当时的情况相应的图像转发。
[0723]
特别地，在体育图像的转发中，通信环境在室外可能容易地波动。此外，在大型体育活动中，存在许多记者等，并且还考虑了传输路径的拥塞。根据这样的情况选择适当的发送模式适合于保持适当的实时转发状态。
[0724]
网络状态可能被假设为特别是在成像设备1和服务器设备2之间发生变化。这是因为增加了诸如相机操作员的位置和移动、活动(诸如体育)的场所的区域、位置、设施和情况之类的因素。
[0725]
因此，关于附加信息的转发的有无，还可以想到从用于获得附加信息的关联信息的转发的有无的角度来切换发送模式。
[0726]
例如，在通过图像分析获得附加信息的情况下，通过在向成像设备1请求缩略图图像的情况、由于未获得附加信息而不需要发送缩略图图像的情况等之间切换，可以根据通信状态来调整数据量。
[0727]
此外，不限于在包括附加信息的发送模式(例如，第一或第二发送模式)和不包括附加信息(例如，第三至第七发送模式)之间的切换处理，并且例如，可以根据通信状态在第三到第七发送模式之间执行切换。例如，在第三发送模式和第四发送模式之间执行切换，或者在第五发送模式和第三发送模式之间执行切换。
[0728]
类似地，可以在第一发送模式和第二发送模式之间执行切换。
[0729]
此外，可以通过从静止图像转发切换到运动图像转发来执行从第一至第七发送模式之一到第八至第十发送模式之一的切换，并且另外，在运动图像转发时，可以根据通信状态来执行从第八发送模式到第十发送模式的切换。
[0730]
在本实施例中，已经描述了服务器设备2基于从成像设备1被给出通知的成像对象的信息来执行切换处理的示例(参见切换处理示例ii)。
[0731]
根据竞赛的类型，可能无法适当地获得附加信息。例如，在附加信息是选手姓名的情况下，在确定了日程安排表的竞赛中，可以通过根据成像的日期和时间、地点等执行db搜索来获得选手姓名，但是存在无法获得选手姓名的竞赛。关于无法获取附加信息的竞赛的图像，执行获取附加信息的处理可能降低处理效率。因此，优选的是如切换处理示例ii中那样根据竞赛类型的信息来切换发送模式。
[0732]
在本实施例中，已经描述了服务器设备2执行估计成像设备1的成像对象的处理并且基于所估计的成像对象的信息来执行切换处理的示例(参见切换处理示例iii)。
[0733]
存在根据竞赛类型来切换发送模式是适当的情况。例如，在切换处理示例iii中，预先登记项目信息。因此，可以基于作为图像的关联信息的元信息中的时间信息、相机id、相机操作员信息等来估计成像对象的竞赛类型。通过经由该估计处理来切换发送模式，可以执行适合于竞赛类型的转发。
[0734]
在本实施例中，已经描述了服务器设备2执行向客户端终端3或成像设备1通知通过切换处理设定的初始信息转发处理的发送模式的处理的示例(参见切换处理示例i、ii和iii)。
[0735]
例如，成像设备1可以根据发送模式的通知来设定要发送的信息的内容。例如，可以设定在最初发送中是发送元信息还是发送缩略图图像，或者发送什么类型的元信息。
[0736]
注意，切换处理不仅包括在用于获取附加信息的发送模式和不获取附加信息的发送模式之间的切换，而且包括例如关于要使用第一至第十发送模式中的哪个发送模式的切换，以及还包括在第一至第十发送模式中是执行还是不执行初始信息转发处理的模式。例如，可以从一开始就转发主图像，而不根据通信状态等执行初始信息转发处理。因此，向成像设备1通知发送模式对于协作控制是有用的。
[0737]
此外，例如，通过向客户端终端3通知初始信息转发处理的发送模式，可以进行如图31中所示的显示，并且负责人可以容易地理解正在执行什么类型的转发。
[0738]
在本实施例中，已经描述了关联信息是与由成像设备1捕获的图像相关联的元信息的示例。
[0739]
也就是说，它是与成像设备1侧的图像相关联并且发送到服务器设备2的信息。例如，假设了各种类型的信息，诸如成像设备1的信息、相机操作员的信息、图像捕获地点和时间的信息、成像设备1侧的图像分析信息、关于成像操作和处理的各种参数、图像捕获时的成像设备1中的各种传感器的感测信息、关于图像数据/文件的信息、缩略图图像、屏幕图钉
图像、以及与相机操作员的图像相关联的文本信息和音频备忘录信息。
[0740]
这些元信息是用于呈现图像内容和获得关于图像的附加信息的信息。
[0741]
在本实施例中，已经描述了关联信息是表示由成像设备1捕获的图像、具有更小数据量的图像的示例。
[0742]
具有更小数据量的图像的示例包括缩略图图像、屏幕图钉图像、代理运动图像等。
[0743]
例如，作为具有比主图像小的数据量的图像的缩略图图像、代理运动图像等对于客户端终端3的负责人确定主图像的内容是非常有用的信息。此外，作为用于通过图像分析获得附加信息的信息，它也是有用的。
[0744]
在本实施例中，已经描述了关联信息是表示由成像设备1连续捕获的分组图像的图像的示例(参见第七发送模式)。
[0745]
当连续捕获的一系列图像被设定为分组图像时，将整个分组图像表示为单个图像的图像(例如，第一图像的缩略图图像等)被设定为关联信息。
[0746]
连续成像的分组图像包括大量图像和大数据量，但是具有基本相同的被摄体的图像内容。因此，为了提高处理效率并且减少网络负载，期望能够用代表性缩略图图像等表示图像，并且在初始信息转发处理中发送这样的缩略图图像。
[0747]
在本实施例中，已经描述了其中关联信息是通过运动图像捕获与运动图像一起记录的音频信息的示例(参见第九发送模式)。
[0748]
例如，在初始信息转发处理中，服务器设备2接收在运动图像记录时同时记录的只有声音的文件作为关联信息，并且将该信息发送到客户端终端3。
[0749]
运动图像的音频信息是用于客户端终端3的负责人收听以核查运动图像的内容并且指定需要场景的有用信息。
[0750]
在本实施例中，已经描述了关联信息是在捕获运动图像时的时间序列数据的示例(参见第十发送模式)。
[0751]
运动图像的时间序列数据是用于客户端终端3的负责人核查运动图像的内容并且指定需要场景的有用信息。
[0752]
已经描述了如下示例，其中，作为初始信息转发处理，本实施例的服务器设备2执行与附加信息一起或者不与附加信息一起地将第一关联信息发送到客户端终端3的处理，将通过基于包括第一关联信息的发送在客户端终端3中进行的选择处理而生成的请求信息转发到成像设备1的处理，以及根据该请求信息将从成像设备1发送的第二关联信息发送到客户端终端3的处理(参见第一至第七、第九和第十发送模式)。
[0753]
即，作为初始信息转发处理，在将主图像发送到客户端终端3之前将信息发送执行多次。
[0754]
作为初始信息转发处理，例如，服务器设备2第一次向客户端终端3发送元信息以使客户端终端3执行粗略选择，并且第二次发送缩略图图像以使客户端3执行最终选择等，从而可以在不过度增加要转发的数据量的情况下，使客户端终端3侧执行更合适并且负责人容易理解的选择。
[0755]
注意，在本实施例中，已经描述了如下示例，其中，作为初始信息转发处理，主要执行两次往返的转发，但是作为在主图像的发送之前的初始信息转发处理，可以仅执行一次往返的转发，或者可以执行三次或更多次往返。
[0756]
在本实施例中，在多次执行初始信息转发处理的情况下的第一关联信息是具有比第二关联信息小的数据量的信息。
[0757]
例如，可以想到如下示例，其中，第一关联信息是表示成像时间、成像地点等的元信息，并且第二关联信息是缩略图图像等。
[0758]
在初始信息转发处理的第一次往返中，表示成像时间、成像地点等并且具有相对小的数据量的第一关联信息被发送到客户端终端3，并且可以在不增加转发负载的情况下呈现表示许多可转发图像的信息。例如，在第二次往返中，根据客户端终端3的第一次选择，转发缩略图图像等，以便呈现更详细的图像内容。因此，由于仅需要仅对于缩小到一定程度的图像转发缩略图图像，还可以在不增加转发负载的情况下，允许客户端终端3的负责人更清楚地理解图像内容并且执行选择。
[0759]
本实施例的成像设备1包括相机控制单元18，该相机控制单元18执行关联信息发送处理，向外部的服务器设备2发送关联信息，该关联信息是与捕获图像相关联的信息，并且具有比该图像小的数据量；以及主图像发送处理，根据从服务器设备2接收到的请求信息将由请求信息表示的图像发送到服务器设备2。
[0760]
因此，可以实现执行适合于本实施例的图像转发系统的操作的成像设备1。
[0761]
本实施例的程序是使例如cpu、dsp等或包括它们的设备执行上述服务器设备2的处理的程序。
[0762]
即，本实施例的程序是用于使信息处理设备执行以下处理的程序：初始信息转发处理，响应于接收到关联信息，基于关联信息获得附加信息，并且将关联信息和附加信息发送到客户端终端3，该关联信息是与由成像设备1捕获的图像相关联的信息，并且具有比该图像小的数据量；以及主图像转发处理，根据通过基于关联信息和附加信息的发送在客户端终端3中进行的选择处理而生成的请求信息，将从成像设备1发送的图像发送到客户端终端3。
[0763]
利用这样的程序，上述服务器设备2可以由各种计算机设备来实现。
[0764]
此外，本实施例的程序是使例如cpu、dsp等或包括它们的设备执行成像设备1的处理的程序。
[0765]
即，该程序是用于使作为控制单元的处理器等执行以下处理的程序：关联信息发送处理，向外部的服务器设备2发送关联信息，该关联信息是与捕获图像相关联的信息，并且具有比该图像小的数据量；以及主图像发送处理，根据从服务器设备2接收到的请求信息，将由该请求信息表示的图像发送到服务器设备2。
[0766]
利用这样的程序，可以实现上述成像设备1。
[0767]
这样的程序可以预先记录在hdd中、或具有cpu等的微型计算机中的rom中，该hdd是内置于诸如计算机设备之类的设备中的记录介质。
[0768]
此外，替选地，它可以临时或永久地存储(记录)在可移除记录介质中，该可移除记录介质包括软盘、紧凑盘只读存储器(cd-rom)、磁光(mo)盘、数字多功能盘(dvd)、蓝光盘(注册商标)、磁盘、半导体存储器、存储卡等。这种可移除记录介质可以作为所谓的套装软件来提供。
[0769]
此外，这样的程序可以从可移除记录介质安装到个人计算机等中，或者可以经由诸如局域网(lan)或因特网之类的网络从下载站点下载。
[0770]
此外，这样的程序适用于在广泛的范围内提供本实施例的服务器设备2或成像设备1。例如，通过将程序下载到诸如智能电话或平板计算机、移动电话、个人计算机、游戏设备、视频设备、个人数字助理(pda)等便携式终端设备，可以使智能电话等用作本公开的服务器设备2或成像设备1。
[0771]
注意，本说明书中描述的效果仅仅是说明性的，而不是限制性的，并且可以提供其他效果。
[0772]
注意，本技术还可以采用下面描述的配置。
[0773]
(1)一种信息处理设备，包括：
[0774]
控制单元，所述控制单元执行：
[0775]
初始信息转发处理，响应于接收到关联信息，基于所述关联信息获得附加信息，并且将所述关联信息和所述附加信息发送到客户端终端，所述关联信息是与由成像设备捕获的图像相关联的信息，并且具有比该图像小的数据量；以及
[0776]
主图像转发处理，根据通过基于所述关联信息或所述附加信息的发送在所述客户端终端中进行的选择处理而生成的请求信息，将从所述成像设备发送的图像发送到所述客户端终端。
[0777]
(2)根据(1)所述的信息处理设备，
[0778]
其中，所述控制单元通过在所述初始信息转发处理中基于所述关联信息执行数据库搜索来获得所述附加信息。
[0779]
(3)根据(1)或(2)所述的信息处理设备，
[0780]
其中，所述关联信息包括表示由所述成像设备捕获的图像并且具有更小数据量的图像，以及
[0781]
所述控制单元通过在所述初始信息转发处理中对所述关联信息中包括的图像进行的图像识别处理来获得所述附加信息。
[0782]
(4)根据(1)至(3)中任一项所述的信息处理设备，
[0783]
其中，所述控制单元
[0784]
作为所述初始信息转发处理，执行多个发送模式的切换处理，所述多个发送模式包括添加了所述附加信息的发送模式和未添加所述附加信息的发送模式。
[0785]
(5)根据(4)所述的信息处理设备，
[0786]
其中，所述控制单元
[0787]
执行将所述关联信息中包括的音频信息发送到所述客户端终端的处理，作为预定发送模式的发送，所述预定发送模式是所述多个发送模式之一。
[0788]
(6)根据(4)所述的信息处理设备，
[0789]
其中，所述控制单元
[0790]
执行将通过将所述关联信息中包括的音频信息转换为文本数据而获得的文本数据发送到所述客户端终端的处理，作为预定发送模式的发送，所述预定发送模式是所述多个发送模式之一。
[0791]
(7)根据(4)至(6)中任一项所述的信息处理设备，
[0792]
其中，所述控制单元
[0793]
根据通信状态的确定结果来执行所述切换处理。
[0794]
(8)根据(4)至(7)中任一项所述的信息处理设备，
[0795]
其中，所述控制单元
[0796]
基于从所述成像设备被给出通知的成像对象的信息来执行所述切换处理。
[0797]
(9)根据(4)至(8)中任一项所述的信息处理设备，
[0798]
其中，所述控制单元
[0799]
执行估计所述成像设备的成像对象的处理，并且基于所估计的成像对象的信息来执行所述切换处理。
[0800]
(10)根据(4)至(9)中任一项所述的信息处理设备，
[0801]
其中，所述控制单元
[0802]
执行向所述客户端终端或所述成像设备通知通过所述切换处理设定的所述初始信息转发处理的发送模式的处理。
[0803]
(11)根据(1)至(10)中任一项所述的信息处理设备，
[0804]
其中，所述关联信息包括与由所述成像设备捕获的图像相关联的元信息。
[0805]
(12)根据(1)至(11)中任一项所述的信息处理设备，
[0806]
其中，所述关联信息包括表示由所述成像设备捕获的图像、具有更小数据量的图像。
[0807]
(13)根据(1)至(12)中任一项所述的信息处理设备，
[0808]
其中，所述关联信息包括表示分组图像的图像，所述分组图像是由所述成像设备连续捕获的多个图像。
[0809]
(14)根据(1)至(13)中任一项所述的信息处理设备，
[0810]
其中，所述关联信息包括通过由所述成像设备进行的运动图像捕获与运动图像一起记录的音频信息。
[0811]
(15)根据(1)至(14)中任一项所述的信息处理设备，
[0812]
其中，所述关联信息包括在由所述成像设备捕获的运动图像的捕获时的时间序列数据。
[0813]
(16)根据(1)至(15)中任一项所述的信息处理设备，
[0814]
其中，作为所述初始信息转发处理，所述控制单元执行
[0815]
与所述附加信息一起或不与所述附加信息一起地将第一关联信息发送到所述客户端终端的处理，
[0816]
将通过基于包括所述第一关联信息的发送在所述客户端终端中进行的选择处理而生成的请求信息转发到所述成像设备的处理，以及
[0817]
根据所述请求信息将从所述成像设备发送的第二关联信息发送到所述客户端终端的处理。
[0818]
(17)根据(16)所述的信息处理设备，
[0819]
其中，所述第一关联信息包括具有比所述第二关联信息小的数据量的信息。
[0820]
(18)一种信息处理方法，其中，信息处理设备执行：
[0821]
初始信息转发处理，响应于接收到关联信息，基于所述关联信息获得附加信息，并且将所述关联信息和所述附加信息发送到客户端终端，所述关联信息是与由成像设备捕获的图像相关联的信息，并且具有比该图像小的数据量；以及
[0822]
主图像转发处理，根据通过基于所述关联信息或所述附加信息的发送在所述客户端终端中进行的选择处理而生成的请求信息，将从所述成像设备发送的图像发送到所述客户端终端。
[0823]
(19)一种成像设备，包括：
[0824]
控制单元，所述控制单元执行：
[0825]
关联信息发送处理，向外部的信息处理设备发送关联信息，所述关联信息是与捕获图像相关联的信息，并且具有比该图像小的数据量；以及
[0826]
主图像发送处理，根据从所述信息处理设备接收到的请求信息，将由所述请求信息表示的图像发送到所述信息处理设备。
[0827]
(20)一种图像转发系统，所述图像转发系统：
[0828]
实现成像设备和信息处理设备之间的信息通信，以及
[0829]
实现所述信息处理设备和客户端终端之间的信息通信，
[0830]
所述成像设备包括：
[0831]
执行以下处理的控制单元：
[0832]
关联信息发送处理，向所述信息处理设备发送关联信息，所述关联信息是与捕获图像相关联的信息，并且具有比该图像小的数据量，以及
[0833]
主图像发送处理，根据通过在已经经由所述信息处理设备接收到所述关联信息的所述客户端终端中进行的选择处理而生成的并且经由所述信息处理设备接收到的请求信息，向所述信息处理设备发送由所述请求信息表示的图像，
[0834]
所述信息处理设备包括：
[0835]
执行以下处理的控制单元：
[0836]
初始信息转发处理，响应于从所述成像设备接收到所述关联信息，基于所述关联信息获得附加信息，并且将所述关联信息和所述附加信息发送到所述客户端终端，以及
[0837]
主图像转发处理，根据所述请求信息将从所述成像设备发送的图像发送到所述客户端终端。
[0838]
参考标记列表
[0839]
1 成像设备
[0840]
2 服务器设备
[0841]
2a 控制单元
[0842]
3 客户端终端
[0843]
4 基站
[0844]
5mec
[0845]
6网络
[0846]
7db
[0847]
8 文本转换引擎
[0848]
18 相机控制单元
[0849]
70 信息处理设备
[0850]
71cpu