运动图像分发系统、运动图像分发方法以及显示终端与流程

1.本技术涉及视频分发系统、视频分发方法和显示终端，具体涉及能够实现更可靠的视频分发的视频分发系统、视频分发方法和显示终端。


背景技术：

2.作为图像处理装置，已知合成由多个成像单元捕获的多个图像并且输出合成图像(例如，参见专利文献1)。
3.引用列表
4.专利文献
5.专利文献1：日本专利申请特许公开第2017
‑
69926号。


技术实现要素：

6.本发明要解决的技术问题
7.同时，合成由多个成像单元捕获的多个图像以作为视频分发的情况下，如果来自多个成像单元中的一些成像单元的图像的输入丢失，则视频分发有时不能继续。因此，需要用于更可靠的视频分发的技术。
8.在这种情况下，产生本技术以能够实现更可靠的视频分发。
9.问题的解决方案
10.一种根据本技术的一个方面的视频分发系统包括：图像获取单元，其从低分辨率相机获取低分辨率图像，并且从高分辨率相机获取高分辨率图像，该高分辨率图像具有比低分辨率图像窄的视角、具有比低分辨率图像高的分辨率、以及表示在低分辨率图像中包括的真实空间的区域；异常确定单元，其确定在表示低分辨率图像的第一信号和表示高分辨率图像的第二信号中的任一信号中是否存在异常；以及发送控制单元，在确定不存在异常的情况下，发送控制单元将第一合成图像发送至显示终端，第一合成图像在低分辨率图像与高分辨率图像之间具有连续性，并且在确定存在异常的情况下，发送控制单元将第二合成图像发送至显示终端，该第二合成图像通过用与真实空间的区域对应的替代图像来替换从低分辨率相机与高分辨率相机之中被确定为具有异常的相机获取的图像来基本上再现连续性。
11.一种由根据本技术的一个方面的视频分发系统执行的视频分发方法包括：从低分辨率相机获取低分辨率图像，并且从高分辨率相机获取高分辨率图像，该高分辨率图像具有比低分辨率图像窄的视角、具有比低分辨率图像高的分辨率、以及表示在低分辨率图像中包括的真实空间的区域；确定表示低分辨率图像的第一信号和表示高分辨率图像的第二信号中的任一信号中是否存在异常；以及在确定不存在异常的情况下，将第一合成图像发送至显示终端，该第一合成图像在低分辨率图像与高分辨率图像之间具有连续性，并且在确定存在异常的情况下，将第二合成图像发送至显示终端，该第二合成图像通过用与真实空间的区域对应的替代图像来替换从低分辨率相机和高分辨率相机之中被确定为具有异
常的相机获取的图像来基本上再现连续性。
12.在根据本技术的一个方面的视频分发系统和视频分发方法中：从低分辨率相机获取低分辨率图像，并且从高分辨率相机获取高分辨率图像，该高分辨率图像具有比低分辨率图像窄的视角、具有比低分辨率图像高的分辨率、以及表示在低分辨率图像中包括的真实空间的区域；确定表示低分辨率图像的第一信号和表示高分辨率图像的第二信号中的任一信号中是否存在异常；以及在确定不存在异常的情况下，将第一合成图像发送至显示终端，该第一合成图像在低分辨率图像与高分辨率图像之间具有连续性，并且在确定存在异常的情况下，将第二合成图像发送至显示终端，该第二合成图像通过用与真实空间的区域对应的替代图像来替换从低分辨率相机和高分辨率相机之中被确定为具有异常的相机获取的图像来基本上再现连续性。
13.一种根据本技术的一个方面的显示终端包括：图像获取单元，其获取在从低分辨率相机获取的低分辨率图像与从高分辨率相机获取的高分辨率图像之间具有连续性的第一合成图像，该高分辨率图像具有比低分辨率图像窄的视角、具有比低分辨率图像高的分辨率、以及表示在低分辨率图像中包括的真实空间的区域；以及显示控制单元，其在表示低分辨率图像的第一信号和表示高分辨率图像的第二信号中的任一信号中不存在异常的情况下，在显示单元上显示第一合成图像，并且在存在异常的情况下，在显示单元上显示第二合成图像，该第二合成图像通过用与真实空间的区域对应的替代图像来替换从低分辨率相机和高分辨率相机之中的具有异常的相机中获取的图像来基本上再现连续性。
14.在根据本技术的一个方面的显示终端中：获取在从低分辨率相机获取的低分辨率图像与从高分辨率相机获取的高分辨率图像之间具有连续性的第一合成图像，高分辨率图像具有比低分辨率图像窄的视角、具有比低分辨率图像高的分辨率、以及表示在低分辨率图像中包括的真实空间的区域；以及在表示低分辨率图像的第一信号和表示高分辨率图像的第二信号中的任一信号不存在异常的情况下，在显示单元上显示第一合成图像，并且在存在异常的情况下，在显示单元上显示第二合成图像，该第二合成图像通过用与真实空间的区域对应的替代图像来替换从低分辨率相机和高分辨率相机之中的具有异常的相机中获取的图像来基本上再现连续性。
15.应注意，根据本技术的一个方面的显示终端可以是独立装置，或者可以是构成一个装置的内部块。
附图说明
16.图1是示出应用本技术的视频分发系统的配置的第一示例的图。
17.图2是示出工作站的配置的示例的图。
18.图3是示出其中来自一些相机的输入丢失的示例的图。
19.图4是示出将来自相机的丢失输入替换为黑色图像的情况的示例的图。
20.图5是示出应用本技术的视频分发系统中的主要部件的配置的示例的图。
21.图6是用于详细说明拼接处理的图。
22.图7是示出拼接图的示例的图。
23.图8是用于详细说明划分处理的图。
24.图9是示出透视投影变换的示例的图。
25.图10是示出在高分辨率图像的输入丢失时主要部件的配置的示例的图。
26.图11是示出高分辨率图像的示例的图。
27.图12是示出低分辨率图像的示例的图。
28.图13示出在高分辨率图像的输入丢失时的修整和尺寸调整处理以及阿尔法混合处理的示例。
29.图14是示出合成图像的第一示例的图。
30.图15是示出合成图像的第一示例的图。
31.图16是示出合成图像的第一示例的图。
32.图17是示出在低分辨率图像的输入丢失时主要部件的配置的示例的图。
33.图18是示出合成图像的第二示例的图。
34.图19是示出合成图像的第二示例的图。
35.图20是示出合成图像的第二示例的图。
36.图21是示出在高分辨率图像的输入丢失时用静止图像执行补充的情况下的主要部件的配置的示例的图。
37.图22是示出合成图像的第三示例的图。
38.图23是示出合成图像的第三示例的图。
39.图24是示出合成图像的第三示例的图。
40.图25是用于说明分发侧的图像处理流程的流程图。
41.图26是用于说明高分辨率图像处理流程的流程图。
42.图27是用于说明低分辨率图像处理流程的流程图。
43.图28是用于说明划分和编码处理的流程的流程图。
44.图29是示出视频分发服务器的配置的示例的图。
45.图30是用于说明视频分发处理的流程的流程图。
46.图31是示出应用本技术的视频分发系统的配置的第二示例的图。
47.图32是示出显示终端的配置的示例的图。
48.图33是示出高分辨率合成图像和高分辨率阿尔法图像的各个示例的图。
49.图34是示出低分辨率合成图像的示例的图。
50.图35是用于说明显示终端侧的第一再现处理的流程的流程图。
51.图36是示意性示出通过第一再现处理所处理的图像的图。
52.图37是示出高分辨率合成图像和高分辨率阿尔法图像的各个示例的图。
53.图38是示出低分辨率合成图像和低分辨率阿尔法图像的各个示例的图。
54.图39是示出背景静止图像的示例的图。
55.图40是用于说明显示终端侧的第二再现处理的流程的流程图。
56.图41是示意性地示出通过第二再现处理所处理的图像的图。
57.图42是示出应用本技术的视频分发系统的另一配置的示例的图。
58.图43是示出计算机的配置的示例的图。
具体实施方式
59.在下文中，将参照附图描述本技术的实施方式。注意，按如下顺序给出描述。
60.1.第一实施方式
61.2.第二实施方式
62.3.修改示例
63.4.计算机的配置
64.<1.第一实施方式>
65.(系统的配置)
66.图1示出应用本技术的视频分发系统的配置的第一示例。
67.视频分发系统1包括：工作站10、相机11
‑
1至11
‑
n(n：2或大于2的整数)、视频分发服务器12、以及显示终端20
‑
1至20
‑
m(m：1或大于1的整数)。此外，在视频分发系统1中，工作站10、视频分发服务器12和显示终端20
‑
1至20
‑
m中的每一个都连接至因特网30。
68.工作站10是专门用于图像处理的图像处理装置。工作站10对由相机11
‑
1至11
‑
n捕获的多个图像执行图像处理，并且将通过图像处理得到的数据经由因特网30发送至视频分发服务器12。
69.相机11
‑
1例如包括：图像传感器，例如互补金属氧化物半导体(cmos)图像传感器或电荷耦合器件(ccd)图像传感器；以及信号处理单元，例如相机图像信号处理器(isp)。相机11
‑
1将关于捕获图像的数据发送至工作站10。
70.相机11
‑
2至11
‑
n中的每一个包括图像传感器和信号处理单元，并且将关于捕获的图像的数据发送至工作站10。
71.注意，相机11
‑
1至11
‑
n中的每一个可以例如经由例如专用线(电缆)的通信线路或者通过符合预定标准的有线通信或无线通信连接至工作站10。此外，在以下描述中，在无需特别地将相机11
‑
1至11
‑
n彼此区分的情况下，将相机11
‑
1至11
‑
n简单地称为相机11。
72.视频分发服务器12是安装在例如数据中心等中的web服务器。视频分发服务器12接收从工作站10发送的数据。在从显示终端20
‑
1至20
‑
m中的任一个请求视频分发的情况下，视频分发服务器12经由因特网30将包括数据的视频流从工作站10发送至请求显示终端20。
73.显示终端20
‑
1被配置成例如头戴式显示器，该头戴式显示器被安装在用户的头部上以覆盖用户的双眼使得用户观看在用户眼睛前方设置的显示屏幕上显示的视频或静止图像。注意，显示终端20
‑
1不限于头戴式显示器，并且可以是例如具有显示器的电子装置，例如智能电话、平板终端或游戏机。
74.显示终端20
‑
1例如根据用户的操作，经由互联网30向视频分发服务器12发送视频分发请求。显示终端20
‑
1接收并且处理经由互联网30从视频分发服务器12发送的视频流，并且再现视频。视频包括例如从视频分发服务器12实时分发的内容，例如虚拟现实(vr)视频。
75.与显示终端20
‑
1类似，显示终端20
‑
2至20
‑
m中的每一个被配置成例如头戴式显示器等，并且再现作为视频流从视频分发服务器12分发的视频。注意，在无需特别地将显示终端20
‑
1至20
‑
m彼此区分的情况下，将显示终端20
‑
1至20
‑
m简单地称为显示终端20。
76.(工作站的配置)
77.图2示出用于图1的工作站10的配置的示例。
78.在图2中，工作站10包括：控制单元100、输入单元101、输出单元102、存储单元103
和通信单元104。
79.控制单元100例如包括处理器，例如中央处理单元(cpu)、图形卡(视频卡)等。控制单元100是控制每个单元的操作并且执行各种类型的算术处理的主处理装置。
80.输入单元101被配置为例如键盘、鼠标、物理按钮等。输入单元101将对应于用户操作的操作信号提供给控制单元100。
81.输出单元102被配置为例如显示器、扬声器等。输出单元102在控制单元100的控制下输出视频图像、声音等。
82.存储单元103被配置为例如半导体存储器(包括非易失性存储器或易失性存储器)、缓冲存储器等。存储单元103在控制单元100的控制下存储各种类型的数据。
83.通信单元104被配置为例如支持符合预定标准的无线通信或有线通信的通信模块、视频和音频捕获卡等。
84.通信单元104在控制单元100的控制下经由因特网30与视频分发服务器12交换各种数据。此外，通信单元104在控制单元100的控制下从相机11
‑
1至11
‑
n接收数据。
85.此外，控制单元100包括：图像获取单元111、异常确定单元112、图像处理单元113和发送控制单元114。
86.图像获取单元111经由通信单元104获取(捕获)由相机11
‑
1至11
‑
n捕获的多个图像中的每一个图像的图像信号，并且将所获取的图像信号存储在存储单元103中。
87.异常确定单元112基于由图像获取单元111获取的多个图像的监测结果，确定图像信号中是否存在异常。异常确定单元112将异常确定结果提供给图像处理单元113。
88.图像处理单元113读出存储在存储单元103中的图像的图像信号，执行预定的图像处理，并且将作为图像处理的结果而获得的数据提供给发送控制单元114。注意，图像处理包括例如稍后将参照图5等详细描述的拼接处理、修整和尺寸调整处理、划分处理、编码处理等。
89.发送控制单元114控制通信单元104以经由因特网30将数据从图像处理单元113发送至视频分发服务器12。
90.视频分发系统1按如上所述地配置。
91.(来自一些相机的输入丢失的示例)
92.同时，在视频分发系统1中，在来自多个相机11
‑
1至11
‑
n中的一些相机11的图像输入丢失的情况下，有时不能继续视频分发。因此，需要针对丢失的输入的特定解决方案。
93.此处，例如，如图3所示，假定连接至工作站10的4个相机11
‑
1至11
‑
4中，相机11
‑
2发生故障。在这种情况下，从相机11
‑
1至11
‑
4输入的图像信号分别由工作站10(的图像处理单元113)中的同步处理单元131同步。
94.然而，由于没有从已发生故障的相机11
‑
2输入的图像信号，所以工作站10等待直到来自所有相机11的图像信号被输入至工作站10。此时，由于没有从同步处理单元131向其输入在先前阶段中所同步的图像信号，因此拼接处理单元132不能执行拼接处理。
95.如上所述，如果多个相机11中的至少一个相机11发生故障，则不能执行拼接处理，因此不能继续视频分发。注意，稍后将参照图6和图7详细描述拼接处理。
96.(丢失输入被替换为黑色图像的示例)
97.此外，图4示出了将相机的丢失输入替换为黑色图像的情况的示例。
98.例如，假定4个相机11
‑
1至11
‑
4包括高分辨率相机11
‑
1、高分辨率相机11
‑
2、低分辨率相机11
‑
3和低分辨率相机11
‑
4。
99.此处，高分辨率相机11是能够捕获高分辨率图像的相机。该高分辨率图像是以下图像：具有比低分辨率图像窄的视角、具有比低分辨率图像高的分辨率、以及表示在低分辨率图像中包括的真实空间的区域。
100.另一方面，低分辨率相机11是能够捕获低分辨率图像的相机。该低分辨率图像是以下图像：具有比高分辨率图像宽的视角的图像、具有比高分辨率图像低的分辨率、以及包括表示真实空间的区域的高分辨率图像。
101.在图4中，例如，由于高分辨率相机11
‑
2发生故障，因此高分辨率图像i11的部分区域用黑色图像(附图中的“bk”)替换。此时，再现侧的显示终端20接收从视频分发服务器12分发的视频流，并且以分层分割方案显示视频图像，但是绘制在低分辨率图像i12上的黑色图像(附图中的“bk”)使得用户应该看到的区域不可见。
102.此处，在分层分割方案中，为了提高全向图像的部分感兴趣区域的分辨率，将在由多个相机11
‑
1至11
‑
n捕获的图像上执行拼接处理之后在多个区域中切割出的高分辨率图像和全向低分辨率图像作为不同的流进行分发，对图像进行合成并且在再现侧的显示终端20上显示合成的图像。
103.也就是说，在分层分割方案中，在为了将高分辨率图像叠加在低分辨率图像上而将包括图4所示的黑色图像(附图中的“bk”)的高分辨率图像i11分发给再现侧的显示终端20时，在低分辨率图像i12中可见的区域变得不可见。注意，不包括阿尔法值的视频不能被表示为透明的。
104.因此，即使在来自多个相机11
‑
1至11
‑
n中的一些相机11的输入丢失的情况下，本技术也使得视频分发系统1能够继续视频分发，从而更可靠地执行视频分发。在下文中，将参照附图详细描述本技术。
105.(分发侧的主要部件的配置)
106.图5示出了图1的视频分发系统1中的分发侧的主要部件的配置的示例。
107.注意，图5中的输入监测单元121
‑
1至121
‑
4被提供用作异常确定单元112(图2)。另外，提供了以下单元例如以用作图像处理单元113(图2)：同步处理单元131
‑
1、同步处理单元131
‑
2、高分辨率拼接处理单元132
‑
1、低分辨率拼接处理单元132
‑
2、分发单元133、修整和尺寸调整单元134、阿尔法混合单元135以及划分单元136。
108.在图5中，工作站10具有四个相机输入。图像获取单元111(图2)获取由高分辨率相机11
‑
1捕获的高分辨率图像i1
‑
1、由高分辨率相机11
‑
2捕获的高分辨率图像i1
‑
2、由低分辨率相机11
‑
3捕获的低分辨率图像i1
‑
3、由低分辨率相机11
‑
4捕获的低分辨率图像i1
‑
4的相应的图像信号，将获取的图像信号作为输入信号输入。
109.输入监测单元121
‑
1监测从高分辨率相机11
‑
1输入至同步处理单元131
‑
1的高分辨率图像i1
‑
1的输入信号。此外，输入监测单元121
‑
2监测从高分辨率相机11
‑
2输入至同步处理单元131
‑
1的高分辨率图像i1
‑
2的输入信号。
110.输入监测单元121
‑
3监测从低分辨率相机11
‑
3输入至分发单元122的低分辨率图像i1
‑
3的输入信号。此外，输入监测单元121
‑
4监测从低分辨率相机11
‑
4输入至同步处理单元131
‑
2的低分辨率图像i1
‑
4的输入信号。
111.将输入监测单元121
‑
1至121
‑
4的每个监测结果提供给异常确定单元112(图2)，以确定在每个输入信号中是否存在异常(在高分辨率图像信号和低分辨率图像信号中的任一个中是否存在异常)。
112.在图5的配置的示例中，针对确定输入信号中不存在异常的情况来描述图像处理。注意，针对确定输入信号中存在异常的情况，稍后将参照图10、17、21等来描述图像处理。
113.分发单元122分发从输入监测单元121
‑
3输入的低分辨率图像i1
‑
3的输入信号以提供给同步处理单元131
‑
1和同步处理单元131
‑
2中的每一个。
114.同步处理单元131
‑
1对输入至其的高分辨率图像i1
‑
1、高分辨率图像i1
‑
2和低分辨率图像i1
‑
3的相应图像信号进行同步，并且将经同步的图像信号提供给高分辨率拼接处理单元132
‑
1。
115.同步处理单元131
‑
2对输入至其的低分辨率图像i1
‑
3、低分辨率图像i1
‑
4的相应图像信号进行同步，并且将经同步的图像信号提供给低分辨率拼接处理单元132
‑
2。
116.高分辨率拼接处理单元132
‑
1对同步后输入至其的高分辨率图像i1
‑
1、高分辨率图像i1
‑
2和低分辨率图像i1
‑
3的相应图像信号执行拼接处理，并且将作为处理的结果而得到的高分辨率拼接图像i3
‑
1的图像信号提供给阿尔法混合单元135。
117.低分辨率拼接处理单元132
‑
2对同步后输入至其的低分辨率图像i1
‑
3和低分辨率图像i1
‑
4的相应图像信号执行拼接处理，并且将作为处理的结果而得到的低分辨率拼接图像i3
‑
2的图像信号提供给分发单元133。
118.此处，图6详细示出由高分辨率拼接处理单元132
‑
1执行的拼接处理。在拼接处理中，通过针对同步后输入至其的高分辨率图像i1
‑
1、高分辨率图像i1
‑
2和低分辨率图像i1
‑
3中的每一个使用相应的拼接图获得颜色和阿尔法值并且依次执行阿尔法混合，从而生成高分辨率拼接图像i3
‑
1。
119.此外，图7示出拼接图的示例。此处，拼接图是使用拼接软件预先生成的数据，并且是其中针对每个转换目的像素存储转换源像素的坐标和阿尔法值的图。在图7的示例中，分别为作为输入单元的高分辨率图像i1
‑
1、高分辨率图像i1
‑
2和低分辨率图像i1
‑
3准备拼接图sm1至sm3。
120.通过使用这样的拼接图sm1至sm3执行拼接处理，高分辨率拼接处理单元132
‑
1可以将例如高分辨率图像i1
‑
1、高分辨率图像i1
‑
2和低分辨率图像i1
‑
3彼此连接以合成为局部等距圆柱图像。
121.注意，虽然未示出，但低分辨率拼接处理单元132
‑
2也对输入至其的低分辨率图像i1
‑
3和低分辨率图像i1
‑
4中的每一个使用相应的拼接图执行拼接处理。然后，通过拼接处理，低分辨率拼接图像i3
‑
2被生成为通过将低分辨率图像i1
‑
3和低分辨率图像i1
‑
4彼此连接而合成的等距圆柱图像。
122.返回图5的说明，分发单元133将低分辨率拼接图像i3
‑
2的图像信号从低分辨率拼接处理单元132
‑
2提供至修整和尺寸调整单元134以及划分单元136。
123.修整和尺寸调整单元134对低分辨率拼接图像i3
‑
2的图像信号执行修整和尺寸调整处理，并且将作为该处理的结果而获得的经修整和尺寸调整的图像i4的图像信号提供给阿尔法混合单元135。
124.阿尔法混合单元135执行阿尔法混合处理，以将高分辨率拼接图像i3
‑
1阿尔法混
合到经修整和尺寸调整的图像i4上。在该示例中，由于在高分辨率拼接图像i3
‑
1中不存在丢失区域，因此将高分辨率拼接图像i3
‑
1的图像信号提供给划分单元136。
125.来自阿尔法混合单元135的高分辨率拼接图像i3
‑
1和来自分发单元133的低分辨率拼接图像i3
‑
2的相应的图像信号被提供给划分单元136。划分单元136使用高分辨率拼接图像i3
‑
1和低分辨率拼接图像i3
‑
2的图像信号执行划分处理，并且输出作为其结果而获得的合成图像i2的合成图像i2
‑
1至i2
‑
5的图像信号。
126.此处，图8详细示出由划分单元136执行的划分处理。在划分处理中，根据指定的角度和距离对作为输入图像的高分辨率拼接图像i3
‑
1和低分辨率拼接图像i3
‑
2执行透视投影转换，以对全向视频图像进行分层分割。注意，图9示出了透视投影转换的示例，并且在附图的三维空间中表示的“输出图像”对应于例如合成图像i2
‑
1至i2
‑
4中的任何一个图像。
127.例如，通过划分处理，使用作为低分辨率等距圆柱图像的低分辨率拼接图像i3
‑
2对作为部分高分辨率等距圆柱图像的高分辨率拼接图像i3
‑
1的区域的外部进行补充(替换)，使得将在多个区域中切割出的高分辨率合成图像i2
‑
1至i2
‑
4和全向低分辨率合成图像i2
‑
5生成为合成图像i2。
128.返回到图5的说明，由划分单元136生成的合成图像i2
‑
1到i2
‑
5由工作站10中的图像处理单元113(图2)编码，并且编码的数据由发送控制单元114(图2)经由因特网30上传至视频分发服务器12。
129.以上已经描述了用于视频分发系统1中的分发侧的主要部件的配置。
130.(高分辨率图像的输入丢失)
131.图10示出了在由高分辨率相机11
‑
2捕获的高分辨率图像i1
‑
2的输入丢失的情况下视频分发系统1中的分发侧的主要部件的配置。此外，图11和图12示出了由图像获取单元111获取(捕获)的输入图像的示例。
132.也就是说，在图10的示例中，在由高分辨率相机11
‑
1捕获的高分辨率图像i1
‑
1(图11的a)、由高分辨率相机11
‑
2捕获的高分辨率图像i1
‑
2(图11的b)、由低分辨率相机11
‑
3捕获的低分辨率图像i1
‑
3(图12的c)以及由低分辨率相机11
‑
4捕获的低分辨率图像i1
‑
4(图12的d)中，高分辨率图像i1
‑
2的输入丢失。
133.此时，异常确定单元112(图2)基于来自输入监测单元121
‑
2的监测结果，确定高分辨率图像i1
‑
2的图像信号异常，并且将确定结果通知给图像处理单元113。然后，图像处理单元113(图2)执行与高分辨率图像的丢失输入对应的图像处理。
134.具体地，除了高分辨率图像i1
‑
1和低分辨率图像i1
‑
3的图像信号之外，将透明图像i5(阿尔法值为0的图像)的图像信号作为丢失的高分辨率图像i1
‑
2的替代输入至同步处理单元131
‑
1。由此，高分辨率拼接处理单元132
‑
1通过拼接处理生成部分包括透明区域的高分辨率拼接图像i3
‑
1t。
135.此处，注意用透明图像i5替换高分辨率图像i1
‑
2的处理可以由图像处理单元113(图2)执行，或者可以由输入监测单元121
‑
2等在先前阶段中执行。
136.同时，低分辨率图像i1
‑
3和低分辨率图像i1
‑
4的图像信号被输入至同步处理单元131
‑
2。因此，低分辨率拼接处理单元132
‑
2通过拼接处理生成完整(无丢失)的低分辨率拼接图像i3
‑
2。
137.然后，如图13所示，图像处理单元113(图2)执行以下处理中的每一个：使用低分辨
率拼接图像i3
‑
2的修整处理和尺寸调整处理以及使用包括透明区域tr的高分辨率拼接图像i3
‑
1t的阿尔法混合处理。
138.也就是说，修整和尺寸调整单元134对低分辨率拼接图像i3
‑
2执行修整和尺寸调整处理，以切割出与高分辨率拼接图像i3
‑
1t对应的区域并且调整该区域的尺寸(图13中的s11)。因此，获得经修整和尺寸调整的图像i4。
139.随后，阿尔法混合单元135执行阿尔法混合处理以将高分辨率拼接图像i3
‑
it阿尔法混合到经修整和尺寸调整的图像i4上(图13中的s12)。因此，利用经修整和尺寸调整的图像i4来补充高分辨率拼接图像i3
‑
1t的透明区域tr，从而获得高分辨率拼接图像i3
‑
1c。
140.返回图10的说明，将来自阿尔法混合单元135的高分辨率拼接图像i3
‑
1c和来自分发单元133的低分辨率拼接图像i3
‑
2的图像信号中的每个输入至划分单元136。
141.划分单元136使用高分辨率拼接图像i3
‑
1c和低分辨率拼接图像i3
‑
2执行划分处理，以例如通过使用低分辨率拼接图像i3
‑
2(低分辨率等距圆柱图像)来补充高分辨率拼接图像i3
‑
1c(部分高分辨率等距圆柱图像)的区域的外部，从而生成图14至图16所示的合成图像i2
‑
1至i2
‑
5。
142.然后，合成图像i2
‑
1至i2
‑
5通过工作站10中的图像处理单元113(图2)进行编码。此外，通过发送控制单元114(图2)经由因特网30将编码的数据上传至视频分发服务器12。
143.以这种方式，在高分辨率图像的输入丢失的情况下，利用低分辨率图像i1通过以下操作来补充高分辨率图像i1的丢失区域：利用透明图像i5替换丢失的高分辨率图像i1，并且将通过使用高分辨率图像i1(和低分辨率图像i1)拼接得到的高分辨率拼接图像i3
‑
1阿尔法混合到通过使用低分辨率图像i1拼接得到的低分辨率拼接图像i3
‑
2上。换言之，可以说用于补充的低分辨率图像i1是替代图像。
144.(低分辨率图像的输入丢失)
145.接下来，图17示出在由低分辨率相机11
‑
3捕获的低分辨率图像i1
‑
3的输入丢失的情况下，视频分发系统1中的分发侧的主要部件的配置。
146.也就是说，在图17的示例中，如上所述，在图11和图12所示的高分辨率图像i1
‑
1(图11的a)、高分辨率图像i1
‑
2(图11的b)、低分辨率图像i1
‑
3(图12的c)和低分辨率图像i1
‑
4(图12的d)中，低分辨率图像i1
‑
3的输入丢失。
147.在这种情况下，除了高分辨率图像i1
‑
1和高分辨率图像i1
‑
2的图像信号之外，透明图像i5的图像信号作为低分辨率图像i1
‑
3的替代被输入至同步处理单元131
‑
1。由此，高分辨率拼接处理单元132
‑
1通过拼接处理生成部分包括透明区域的高分辨率拼接图像i3
‑
1t。
148.同时，除了低分辨率图像i1
‑
4的图像信号之外，透明图像i5的图像信号作为低分辨率图像i1
‑
3的替代被输入至同步处理单元131
‑
2。因此，低分辨率拼接处理单元132
‑
2通过拼接处理生成部分包括透明区域的低分辨率拼接图像i3
‑
2t。
149.然后，图像处理单元113(图2)执行以下处理中的每一个：使用低分辨率拼接图像i3
‑
2t的修整处理和尺寸调整处理以及使用高分辨率拼接图像i3
‑
1t的阿尔法混合处理。随后，通过使用低分辨率拼接图像i3
‑
2t(低分辨率等距圆柱图像)补充高分辨率拼接图像i3
‑
1c(部分高分辨率等距圆柱图像)的区域的外部，划分单元136生成图18至图20所示的合成图像i2
‑
1至i2
‑
5。
150.此时，在合成图像i2
‑
1至i2
‑
5中，合成图像i2
‑
1(图18的a)、合成图像i2
‑
2(图18的b)、合成图像i2
‑
4(图19的d)以及合成图像i2
‑
5(图20的e)中的每一个是取决于低分辨率图像i1
‑
3的丢失输入而一部分区域(附图中的黑色区域)丢失的图像。
151.此处，在视频分发系统1中低分辨率图像的输入丢失的情况下，使用预先准备的静止图像i10来执行补充。图21示出了用于这样的视频分发系统1的分发侧的主要部件的配置。
152.也就是说，在图21的示例中，与上述图17的示例相似，在高分辨率图像i1
‑
1(图11的a)、高分辨率图像i1
‑
2(图11的b)、低分辨率图像i1
‑
3(图12的c)和低分辨率图像i1
‑
4(图12的d)中，低分辨率图像i1
‑
3的输入丢失。
153.此时，异常确定单元112(图2)基于来自输入监测单元121
‑
3的监测结果，确定低分辨率图像i1
‑
3的图像信号异常，并且将确定结果通知给图像处理单元113。然后，图像处理单元113(图2)执行与低分辨率图像的丢失输入对应的图像处理。
154.此处，存储器123存储由低分辨率相机11
‑
3在其输入丢失之前捕获的低分辨率图像i1
‑
3作为静止图像i10。
155.注意，存储在存储器123中的静止图像110可以是例如提前(先前)捕获的静止图像(例如，背景图像)或者被临时存储的在丢失紧之前捕获的图像(例如，背景图像等的图像帧)，例如提前一帧捕获的图像或者提前若干帧捕获的图像。此外，存储器123例如对应于存储单元103(图2)。
156.除了高分辨率图像i1
‑
1和高分辨率图像i1
‑
2的图像信号之外，在存储器123中存储的静止图像i10的图像信号作为低分辨率图像i1
‑
3的替代被输入至同步处理单元131
‑
1。因此，高分辨率拼接处理单元132
‑
1通过拼接处理生成使用静止图像i10补充的高分辨率拼接图像i3
‑
1c。
157.同时，除了低分辨率图像i1
‑
4的图像信号之外，在存储器123中存储的静止图像i10的图像信号被输入至同步处理单元131
‑
2。因此，低分辨率拼接处理单元132
‑
2通过拼接处理生成使用静止图像i10补充的低分辨率拼接图像i3
‑
2c。
158.然后，图像处理单元113(图2)执行以下处理中的每一个：使用低分辨率拼接图像i3
‑
2c的修整处理和尺寸调整处理以及使用高分辨率拼接图像i3
‑
1c的阿尔法混合处理。随后，通过使用低分辨率拼接图像i3
‑
2c(低分辨率等距圆柱图像)补充高分辨率拼接图像i3
‑
1c(部分高分辨率等距圆柱图像)的区域的外部，划分单元136生成图22至图24所示的合成图像i2
‑
1至i2
‑
5。
159.此时，在将图22至图24所示的合成图像i2
‑
1至i2
‑
5与图18至图20所示的上述合成图像i2
‑
1至i2
‑
5进行比较时，图22的a中的合成图像i2
‑
1利用其中保留图18的a中的合成图像i2
‑
1的丢失区域(附图中的黑色区域)的静止图像i10来补充(特别地，附图中由粗线椭圆e1和e2围绕的区域)。
160.类似地，合成图像i2
‑
2(图22的b和图18的b)、合成图像i2
‑
4(图23的d和图19的d)和合成图像i2
‑
5(图24的e和图20的e)也利用其中保留丢失区域(附图中的黑色区域)的静止图像i10来补充(特别地，附图中由粗线椭圆e3至e6围绕的区域)。
161.以这种方式，在低分辨率图像的输入丢失的情况下，利用静止图像i10通过以下操作来补充低分辨率图像i1的丢失区域：利用存储在存储器123中的静止图像i10替换丢失的
低分辨率图像i1，并且将通过使用高分辨率图像i1(和静止图像i10)拼接得到的高分辨率拼接图像i3
‑
1阿尔法混合到通过使用低分辨率图像i1和静止图像i10拼接得到的低分辨率拼接图像i3
‑
2上。换言之，可以说用于补充的静止图像i10是替代图像。
162.<图像处理的流程>
163.接下来，将参照图25至图28的流程图来描述由工作站10(的控制单元100等)执行的图像处理的流程。
164.在工作站10中，高分辨率图像i1
‑
1和i1
‑
2的高分辨率图像处理(图25中的s101)与低分辨率图像i1
‑
3和i1
‑
4的低分辨率图像处理(图25中的s102)并行执行。
165.此处，将参照图26的流程图详细描述与图25中的步骤s101的处理对应的高分辨率图像处理。
166.在步骤s111中，图像获取单元111捕获由高分辨率相机11
‑
1捕获的高分辨率图像i1
‑
1。
167.在步骤s112中，异常确定单元112确定是否存在捕获的高分辨率图像i1
‑
1的丢失输入。
168.在步骤s112中确定不存在丢失输入的情况下，处理进行至步骤s113，并且将捕获的高分辨率图像i1
‑
1设置为图像a。另一方面，在步骤s112中确定存在丢失的输入的情况下，处理进行至步骤s114，并且将透明图像i5设置为图像a。
169.注意，在步骤s113或步骤s114的处理结束时，然后处理进行到步骤s119。
170.此外，在步骤s115中，图像获取单元111捕获由高分辨率相机11
‑
2捕获到的高分辨率图像i1
‑
2。
171.在步骤s116中，异常确定单元112确定是否存在捕获的高分辨率图像i1
‑
2的丢失输入。
172.在步骤s116中确定不存在丢失输入的情况下，处理进行至步骤s117，并且将捕获的高分辨率图像i1
‑
2设置为图像b。另一方面，在步骤s116中确定存在丢失的输入的情况下，处理进行至步骤s118，并且将透明图像i5设置为图像b。
173.注意，在步骤s117或步骤s118的处理结束时，则处理进行到步骤s119。此外，步骤s111至s114的处理与步骤s115至s118的处理并行执行。
174.在步骤s119，图像处理单元113(的同步处理单元131
‑
1)等待，直到图像a、图像b和图像c准备好。注意，图像c是低分辨率图像i1
‑
3或静止图像i10(图27中的s133或s134)，稍后将参照图27的流程图对其进行详细描述。
175.在图像a、图像b和图像c准备好的情况下(s119)，则处理进行到步骤s120。在步骤120中，图像处理单元113的(高分辨率拼接处理单元132
‑
1)使用同步后的图像a、图像b、图像c执行拼接处理。此处，将通过拼接处理得到的高分辨率拼接图像i3
‑
1设置为图像e。
176.在步骤s121中，图像处理单元113(的阿尔法混合单元135)等待，直到图像e和图像g准备好。注意，图像g是经修整和尺寸调整的图像i4(图27中的s141)，稍后将参照图27的流程图对其进行详细描述。
177.在图像e和图像g准备好的情况下(s121)，则处理进行到步骤s122。在步骤s122中，图像处理单元113(的阿尔法混合单元135)将图像e阿尔法混合到图像g上，以获得图像h。
178.在步骤s112的处理结束时，则处理返回图25的步骤s101，并且处理进行到步骤
s103。
179.接下来，将参照图27的流程图详细描述与图25中的步骤s102的处理对应的低分辨率图像处理。
180.在步骤s131中，图像获取单元111捕获由低分辨率相机11
‑
3捕获的低分辨率图像i1
‑
3。
181.在步骤s132中，异常确定单元112确定是否存在捕获的低分辨率图像i1
‑
3的丢失输入。
182.在步骤s132中确定不存在丢失输入的情况下，处理进行至步骤s133，并且将捕获的低分辨率图像i1
‑
3设置为图像c。另一方面，在步骤s132中确定存在丢失的输入的情况下，处理进行至步骤s134，并且将静止图像i10设置为图像c。
183.注意，在步骤s133或步骤s134的处理结束时，则处理进行到步骤s139。
184.此外，在步骤s135中，图像获取单元111捕获由低分辨率相机11
‑
4捕获的低分辨率图像i1
‑
4。
185.在步骤s136中，异常确定单元112确定是否存在捕获的低分辨率图像i1
‑
4的丢失输入。
186.在步骤s136中确定不存在丢失输入的情况下，处理进行至步骤s137，并且将低分辨率图像i1
‑
4设置为图像d。另一方面，在步骤s136中确定存在丢失的输入的情况下，处理进行至步骤s138，并且将静止图像i10设置为图像d。
187.注意，在步骤s137或步骤s138的处理结束时，则处理进行到步骤s139。此外，步骤s131至s134的处理与步骤s135至s138的处理并行执行。
188.在步骤s139中，在步骤s119中，图像处理单元113(的同步处理单元131
‑
2)等待，直到图像c和图像d准备好。在图像c和图像d准备好的情况下(s139)，则处理进行到步骤s140。
189.在步骤140中，图像处理单元113(的低分辨率拼接处理单元132
‑
2)使用同步后的图像c和图像d执行拼接处理。此处，将通过拼接处理得到的低分辨率拼接图像i3
‑
2设置为图像f。
190.在步骤s141中，图像处理单元113(的修整和尺寸调整单元134)从图像f中修整出与高分辨率区域对应的区域并且将图像f的修整出的区域尺寸调整成与图像e的尺寸相同的尺寸。此处，将通过修整和尺寸调整处理获得的经修整和尺寸调整的图像i4设置为图像g。
191.在步骤s141的处理结束时，则处理返回图25的步骤s102，并且处理进行到步骤s103。
192.也就是说，在工作站10中，在高分辨率图像处理(图25中的s101)和低分辨率图像处理(图25中的s102)结束时，执行划分处理和编码处理(图25中的s103)。
193.此处，将参照图28的流程图详细描述与图25中的步骤s103的处理对应的划分处理和编码处理。
194.在步骤s151，图像处理单元113(的划分单元136)使用图像h和图像f执行划分处理以生成合成图像i2
‑
1至i2
‑
5。
195.在步骤s152中，图像处理单元113(的编码器)对所生成的合成图像i2
‑
1至i2
‑
5进行编码。
196.在步骤s153中，发送控制单元114将与编码结果对应的编码的数据经由因特网30上传至视频分发服务器。
197.当步骤s153的处理结束时，则处理返回图25的步骤s103，并且进行到步骤s104。在步骤s104中，控制单元100基于来自输入单元101的操作信号来确定是否按下了停止按钮。
198.在步骤s104中确定没有按下停止按钮的情况下，处理返回至步骤s101和s102，并且重复上述处理。另一方面，在步骤s104中确定按下了停止按钮的情况下，图25所示的图像处理结束。
199.上面已经描述了测量处理的流程。
200.(视频分发服务器的配置)
201.图29示出了用于图1的视频分发服务器12的配置的示例。
202.在图29中，视频分发服务器12包括控制单元150、存储单元151以及通信单元152。
203.控制单元150被配置为例如诸如cpu的处理器。控制单元150是控制每个单元的操作并且执行各种运算处理的主处理装置。
204.存储单元151被配置为例如半导体存储器(包括非易失性存储器或易失性存储器)、缓冲存储器等。存储单元151在控制单元150的控制下存储各种类型的数据。
205.通信单元152被配置为支持无线通信或有线通信的通信模块。通信单元152在控制单元150的控制下经由因特网30与工作站10或显示终端20交换各种数据。
206.此外，控制单元150包括发送控制单元161。发送控制单元161执行控制以经由因特网30将包括从工作站10接收的编码的数据的视频流(包括例如vr视频的内容)发送(实时分发)至显示终端20。
207.(视频分发处理的流程)
208.接下来，将参照图30的流程图描述在视频分发服务器12与显示终端20之间执行的视频分发处理的流程。
209.视频分发服务器12经由因特网30接收从工作站10上传的编码数据(s171)。此处，例如，上传例如正在实时分发的vr视频的内容的数据。
210.此时，在从显示终端20请求视频分发服务器12分发视频(s181)的情况下，发送控制单元161将包括来自工作站10的编码数据的视频流发送至请求显示终端20(s172)。
211.因此，显示终端20从视频分发服务器12接收实时分发的视频流(s182)，并且通过对包括在视频流等中的编码数据进行解码来再现视频(s183)。例如，显示终端20显示vr视频的视频图像并且输出与该视频图像同步的声音。
212.上面已经描述了视频分发处理的流程。
213.如上所述，在根据第一实施方式的视频分发系统1中，工作站10的图像获取单元111从低分辨率相机(例如，低分辨率相机11
‑
3和11
‑
4)获取低分辨率图像(例如，低分辨率图像i1
‑
3和i1
‑
4)，而从高分辨率相机(例如，高分辨率相机11
‑
1和11
‑
2)获取高分辨率图像(例如，高分辨率图像i1
‑
1和i1
‑
2)，并且工作站10的异常确定单元112确定表示低分辨率图像的第一信号和表示高分辨率图像的第二信号中的任何一个是否存在异常。
214.然后，在确定不存在异常的情况下，视频分发服务器12的发送控制单元161将第一合成图像(例如，图8的合成图像i2
‑
1至i2
‑
5)发送至显示终端(例如，显示终端20)，第一合成图像在低分辨率图像与高分辨率图像之间具有连续性，并且在确定存在异常的情况下，
将第二合成图像(例如，图14至图16或图22至图24的合成图像i2
‑
1至i2
‑
5)发送至显示终端(例如，显示终端20)，该第二合成图像通过用与真实空间的区域对应的替代图像来替换从低分辨率相机与高分辨率相机之中被确定为具有异常的相机获取的图像来基本上再现连续性。
215.因此，即使将由多个相机11捕获的多个图像在合成后输出的工作站10由于例如相机11的故障、线缆断开、电池不足等等而丢失了来自一些相机11的输入，视频分发系统1也可以继续图像处理，从而可以继续实时分发。因此，可以更可靠地执行视频分发。
216.此外，在来自一些相机11的输入丢失的情况下，视频分发系统1可以利用来自其他相机11的输入或者利用存储的静止图像来补充丢失的区域，以分发经补充的图像。例如，高分辨率图像的丢失区域可以用低分辨率图像来补充，或者低分辨率图像的丢失区域可以用存储的静止图像来补充。因此，可以尽可能地补充丢失的输入，并且可以分发经补充的图像。
217.此外，由于在工作站10中对具有宽视角的低分辨率图像的拼接处理与对具有窄视角的高分辨率图像的拼接处理分开地执行，因此与对具有比低分辨率图像窄的视角的高分辨率图像执行拼接处理时相比，对低分辨率图像执行拼接处理时，视频分发系统1可以减少存储器使用量和处理负荷。
218.此处，如上述专利文献1所公开的技术那样，在将由多个相机捕获的多个图像在合成后输出的图像处理装置中，如果多个相机中的一个相机由于故障等而停止运行，则合成处理不能继续，并且因此不输出任何内容。在例如在实时分发等期间不可能重新拍摄的情况下，即使存在例如图像质量劣化的不利影响，也可能期望在可能的情况下输出图像。
219.例如，在实时分发全向图像时，通常使用具有多个相机的图像处理单元。通常，通过拼接处理将由这样的相机捕获的图像合成为等距圆柱图像。然而，在包括专利文献1所公开的技术的常规技术中，存在以下问题：即使在由于相机11的故障、线缆断开、电池不足等而没有从相机11获得仅一个输入的情况下，实时分发中断。
220.具体地，在使用上述分层分割方案的情况下，例如，在捕获包括感兴趣区域的高分辨率图像的高分辨率相机11与捕获全向低分辨率图像的低分辨率相机11分离的情况下，如果在高分辨率相机11发生故障时继续进行实时分发，则会发生以下问题。也就是说，如上述图3和图4所示，尽管由低分辨率相机11捕获了全向图像，但将感兴趣区域的一部分显示为黑色图像，从而产生使用显示终端20观看的用户所期望的区域不可见的问题。
221.对于这样的问题，视频分发系统1具有上述配置以继续图像处理，使得即使由于例如相机11的故障、线缆断开、电池不足等而丢失来自相机11中的一些相机的输入，也可以继续进行实时分发。
222.注意，尽管上面已经单独描述了高分辨率图像的输入丢失的情况以及低分辨率图像的输入丢失的情况，但是在高分辨率图像的输入和低分辨率图像的输入都丢失的情况下，视频分发系统1还可以通过使用低分辨率图像i1和静止图像i10作为替代图像来处理丢失的输入。
223.<2.第二实施方式>
224.同时，在视频分发侧(工作站10)执行第一实施方式中的处理以处理高分辨率图像或低分辨率图像的丢失输入，但可以在视频再现侧(显示终端20)执行处理这样的丢失的处
理。因此，将描述第二实施方式中用于在视频再现侧(显示终端20)上执行的用于处理高分辨率图像或低分辨率图像的丢失输入的处理的配置。
225.(系统的配置)
226.图31示出了应用本技术的视频分发系统的配置的第二示例。
227.在图2中，视频分发系统2包括：工作站10、视频分发服务器12和显示终端20
‑
1到20
‑
m。此外，在视频分发系统2中，工作站10、视频分发服务器12和显示终端20
‑
1到20
‑
m中的每一个连接至因特网30。
228.工作站10对由相机11
‑
1至11
‑
n捕获的多个图像执行图像处理，并且将通过图像处理得到的数据经由因特网30发送至视频分发服务器12。
229.在从显示终端20
‑
1至20
‑
m中的任一个请求视频分发的情况下，视频分发服务器12经由因特网30将包括来自工作站10的数据的视频流发送至请求显示终端20。
230.显示终端20
‑
1至20
‑
m中的每一个被配置为例如头戴式显示器等，并且再现作为视频流从视频分发服务器12分发的视频。
231.(显示终端的配置)
232.图32示出了用于图31的显示终端20的配置的示例。
233.在图32中，显示终端20包括：控制单元200、传感器单元201、存储单元202、显示单元303、声音输出单元204、输入终端205、输出终端206和通信单元207。
234.控制单元200被配置为例如cpu等。控制单元200是控制每个单元的操作并且执行各种运算处理的主处理装置。此处，注意，可以提供例如图形处理单元(gpu)的专用处理器。
235.传感器单元201被配置为例如各种类型的传感器装置等。传感器单元201感测用户、其周围环境等，并且将与其感测结果对应的传感器数据提供给控制单元200。
236.此处，传感器单元201可以包括例如：检测磁场(磁场)的大小和方向的磁传感器、检测加速度的加速度传感器、检测角度(姿势)、角速度或角加速度的陀螺仪传感器、检测接近的对象的接近传感器等。此外，可以提供具有图像传感器的相机作为传感器单元201，以向控制单元200提供通过对对象成像而获得的图像信号。
237.存储单元202被配置为例如包括非易失性存储器或易失性存储器等的半导体存储器。存储单元202在控制单元200的控制下存储各种类型的数据。
238.显示单元203被配置为例如诸如液晶显示器(lcd)或有机发光二极管(oled)的显示装置(显示设备)。显示单元203显示与从控制单元200提供的视频图像数据对应的视频图像(或图像)。
239.声音输出单元204被配置为例如诸如扬声器等声音输出装置。声音输出单元204输出与从控制单元200提供的声音数据对应的声音(音频)。
240.输入终端205包括例如输入接口电路等，并且经由预定电缆连接至电子装置。例如，输入终端205将从例如游戏机(专用控制台)、个人计算机或再现机器等装置输入的图像信号、声音信号、命令等提供给控制单元200。
241.输出终端206包括例如输出接口电路等，并且经由预定电缆连接至电子装置。例如，输出终端206经由线缆将提供给其的声音信号输出至例如耳机或头戴式耳机的装置。
242.通信单元207被配置为例如支持例如无线局域网(lan)、蜂窝通信(例如，lte
‑
advanced、5g等)，或蓝牙(注册商标)的无线通信或有线通信的通信模块。
243.通信单元207在控制单元200的控制下经由因特网30与视频分发服务器12交换各种数据。此外，通信单元207可以与包括例如游戏机(专用控制台)、个人计算机、服务器、再现机、专用控制器、遥控器等的外部设备通信。
244.此外，控制单元200包括：图像获取单元211、图像处理单元212和显示控制单元213。
245.图像获取单元211获取从视频分发服务器12分发的视频流中包括的多个图像中的每一个图像的图像信号，并且将所获取的图像信号存储在存储单元202中。
246.图像处理单元212读出在存储单元202中存储的图像的图像信号、执行预定的图像处理、并且将作为图像处理的结果而获得的数据提供给显示控制单元213。注意，除了解码处理等之外，图像处理还包括处理高分辨率图像或低分辨率图像的丢失输入的处理。
247.显示控制单元213基于来自图像处理单元212的数据在显示单元203上显示视频图像(或图像)。
248.(高分辨率图像的输入丢失)
249.此处，在图31的视频分发系统2中，例如假设在高分辨率图像i1
‑
1(图11的a)、高分辨率图像i1
‑
2(图11的b)、低分辨率图像i1
‑
3(图12的c)和低分辨率图像i1
‑
4(图12的d)中，由高分辨率相机11
‑
2捕获的高分辨率图像i1
‑
2的输入丢失。
250.在这种情况下，在工作站10(的图像处理单元113)中，执行拼接处理、划分处理等以生成合成图像i2
‑
1至i2
‑
5并且对合成图像i2
‑
1至i2
‑
5进行编码，但是高分辨率图像i1
‑
2的丢失输入使得在合成图像i2中包括的高分辨率合成图像i2的部分区域丢失。
251.具体地，在合成图像i2
‑
1至i2
‑
5中，例如高分辨率合成图像i2
‑
1的部分区域(附图中的黑色区域)处于丢失状态(图33的a)。
252.此时，工作站10(的图像处理单元113)生成高分辨率阿尔法图像i2
‑
1α，该高分辨率阿尔法图像i2
‑
1α包括与高分辨率合成图像i2
‑
1(图33的b)的丢失区域对应的阿尔法值。例如，在高分辨率阿尔法图像i2
‑
1α中，透明区域tr被设置为具有为0的阿尔法值。
253.注意，在该示例中，高分辨率图像i1
‑
2的输入丢失，而在合成图像i2中包括的低分辨率合成图像i2的部分区域未丢失。因此，不必为例如低分辨率合成图像i2
‑
5(图34的c)准备低分辨率阿尔法图像。
254.在工作站10中对合成图像i2
‑
1至i2
‑
5进行编码，并且将编码后的数据与高分辨率阿尔法图像i2
‑
1α一起经由因特网30上传至视频分发服务器12。
255.然后，在从显示终端20请求视频分发服务器12以分发视频的情况下，将包括高分辨率阿尔法图像i2
‑
1α与编码的数据的视频流经由因特网30分发至请求显示终端20。另一方面，显示终端20接收从视频分发服务器12分发的视频流并且再现该视频。将参照图35和图36对此进行详细描述。
256.(显示终端侧的处理)
257.图35是用于说明由显示终端20执行的第一再现处理的流程的流程图。注意，为了说明，将适当地参照示意性地示出通过图35所示的第一再现处理而处理的图像的图36。
258.在显示终端20中，通信单元207经由因特网30接收从视频分发服务器12分发的视频流(s201)。此外，图像处理单元212对在接收到的视频流中包括的编码的数据进行解码(s202)。
259.图像处理单元212将包括在视频流中的高分辨率阿尔法图像i2
‑
1α(图36的a)中包括的阿尔法值添加到通过解码获得的高分辨率合成图像i2
‑
1(s203)。因此，可以将高分辨率合成图像i2
‑
1中的丢失区域设置为透明区域tr(阿尔法值为0的区域)(图36中的b)。
260.随后，图像处理单元212将添加了阿尔法值的高分辨率合成图像i2
‑
1(图36的b)阿尔法混合到通过解码获得的低分辨率合成图像i2
‑
5(图36的c)上(s204)。因此，使用阿尔法值在低分辨率合成图像i2
‑
5上合成高分辨率合成图像i2
‑
1，使得利用低分辨率合成图像i2
‑
5补充高分辨率合成图像i2
‑
1中的丢失的区域。
261.然后，在显示终端20中，显示控制单元213在显示单元203上显示视频图像，例如利用低分辨率合成图像i2
‑
5补充的高分辨率合成图像i2
‑
1(s205)。
262.上面已经描述了第一再现处理的流程。
263.以这种方式，在高分辨率图像的输入丢失的情况下，利用低分辨率合成图像i2通过以下操作来补充高分辨率合成图像i2的丢失区域：通过应用包括与高分辨率合成图像i2的丢失区域对应的阿尔法值的高分辨率阿尔法图像i2
‑
α，并且将已经添加阿尔法值的高分辨率合成图像i2阿尔法混合到低分辨率合成图像i2上。换言之，可以说用于补充的低分辨率合成图像i2是替代图像。
264.(低分辨率图像的输入丢失)
265.接下来，在图31的视频分发系统2中，例如假设在高分辨率图像i1
‑
1(图11的a)、高分辨率图像i1
‑
2(图11的b)、低分辨率图像i1
‑
3(图12的c)和低分辨率图像i1
‑
4(图12的d)中，由低分辨率相机11
‑
3捕获的低分辨率图像i1
‑
3的输入丢失。
266.在这种情况下，在工作站10(的图像处理单元113)中，执行拼接处理、划分处理等以生成合成图像i2
‑
1至i2
‑
5并且对合成图像i2
‑
1至i2
‑
5进行编码，但是低分辨率图像i1
‑
3的丢失输入使得在合成图像i2中包括的高分辨率合成图像i2和低分辨率合成图像i2的相应的部分区域丢失。
267.具体地，在合成图像i2
‑
1至i2
‑
5中，例如高分辨率合成图像i2
‑
1的部分区域(附图中的黑色区域)处于丢失状态(图37的a)。
268.此时，图像处理单元113生成高分辨率阿尔法图像i2
‑
1α，该高分辨率阿尔法图像i2
‑
1α包括与高分辨率合成图像i2
‑
1(图37的b)的丢失区域对应的阿尔法值。在高分辨率阿尔法图像i2
‑
1α中，透明区域tr被设置为具有为0的阿尔法值。
269.此外，在合成图像i2
‑
1至i2
‑
5中，例如低分辨率合成图像i2
‑
5的部分区域(附图中的黑色区域)处于丢失状态(图38的c)。
270.此时，图像处理单元113生成低分辨率阿尔法图像i2
‑
5α，该低分辨率阿尔法图像i2
‑
5α包括与低分辨率合成图像i2
‑
5(图38的d)的丢失区域对应的阿尔法值。在低分辨率阿尔法图像i2
‑
5α中，透明区域tr被设置为具有为0的阿尔法值。
271.此外，图像处理单元113获取背景静止图像i20(图39的e)。背景静止图像i20可以是例如预先(先前)捕获并且存储在存储单元103中的图像，或者是被临时存储的在丢失紧之前捕获的图像，例如提前一帧捕获的图像或者提前若干帧捕获的图像，或者可以替选地是例如从外部装置等获取的图像。
272.在工作站10中对合成图像i2
‑
1至i2
‑
5进行编码，并且将编码的数据与高分辨率阿尔法图像i2
‑
1α、低分辨率阿尔法图像i2
‑
5α和背景静止图像i20一起经由因特网30上传至
视频分发服务器12。
273.然后，在从显示终端20请求视频分发服务器12以分发视频的情况下，经由因特网30向请求显示终端20分发包括高分辨率阿尔法图像i2
‑
1α、低分辨率阿尔法图像i2
‑
5α和背景静止图像i20以及编码的数据的视频流。另一方面，显示终端20接收从视频分发服务器12分发的视频流并且再现该视频。将参照图40和图41对此进行详细描述。
274.(显示终端侧的处理)
275.图40是用于说明由显示终端20执行的第二再现处理的流程的流程图。注意，为了说明，将适当地参照示意性地示出通过图40所示的第二再现处理而处理的图像的图41。
276.在显示终端20中，通信单元207经由因特网30接收从视频分发服务器12分发的视频流(s221)。此外，图像处理单元212对在接收到的视频流中包括的编码的数据进行解码(s222)。
277.图像处理单元212将在视频流中包括的高分辨率阿尔法图像i2
‑
1α中包括的阿尔法值添加到通过解码获得的高分辨率合成图像i2
‑
1(s223)。此外，图像处理单元212将在视频流中包括的低分辨率阿尔法图像i2
‑
5α添加到通过解码获得的低分辨率合成图像i2
‑
5(s223)。
278.因此，可以将高分辨率合成图像i2
‑
1中的丢失区域设置为透明区域tr(图41的a)，并且可以将低分辨率合成图像i2
‑
5中的丢失区域设置为透明区域tr(图41的b)。
279.随后，图像处理单元212将已经添加阿尔法值的高分辨率合成图像i2
‑
1阿尔法混合到已经添加阿尔法值的低分辨率合成图像i2
‑
5上(s224)。因此，使用阿尔法值获得在低分辨率合成图像i2
‑
5上合成高分辨率合成图像i2
‑
1的图像作为合成图像。
280.图像处理单元212还将通过步骤s224中的处理获得的合成图像阿尔法混合到视频流中包括的背景静止图像i 20上(s225)。因此，使用阿尔法值将合成图像合成在背景静止图像i20上，使得利用背景静止图像i20来补充高分辨率合成图像i2
‑
1和低分辨率合成图像i2
‑
5中丢失的区域。
281.然后，在显示终端20中，显示控制单元213在显示单元203上显示视频图像，例如利用背景静止图像i20补充的高分辨率合成图像i2
‑
1和低分辨率合成图像i2
‑
5(s226)。
282.上面已经描述了第二再现处理的流程。
283.以这种方式，在低分辨率图像的输入丢失的情况下，应用以下中的每一个：包括与高分辨率合成图像i2的丢失区域对应的阿尔法值的高分辨率阿尔法图像i2
‑
α以及包括与低分辨率合成图像i2的丢失区域对应的阿尔法值的低分辨率阿尔法图像i2
‑
α。将已经添加阿尔法值的高分辨率合成图像i2阿尔法混合到已经添加阿尔法值的低分辨率合成图像i2上，并且将由此获得的图像进一步阿尔法混合到背景静止图像i20上。因此，利用背景静止图像i20来补充高分辨率合成图像i2和低分辨率合成图像i2的丢失区域。换言之，可以说用于补充的静止图像i20是替代图像。
284.如上所述，在第二实施方式中，显示终端20的图像获取单元211获取第一合成图像(例如，合成图像i2
‑
1至i2
‑
5)，该第一合成图像在从低分辨率相机(例如，低分辨率相机11
‑
3和11
‑
4)获取的低分辨率图像(例如，低分辨率图像i1
‑
3和i1
‑
4)与从高分辨率相机(例如高分辨率相机11
‑
1和11
‑
2)获取的高分辨率图像(例如，高分辨率图像i1
‑
1和i1
‑
2)之间具有连续性，并且显示控制单元213在表示低分辨率图像的第一信号和表示高分辨率图像的
第二信号中的任何一个中不存在异常的情况下，在显示单元(例如，显示单元203)上显示第一合成图像。
285.另一方面，在存在异常的情况下，显示控制单元213在显示单元(例如，显示单元203)上显示第二合成图像(例如，图36或图41中的合成图像)，该第二合成图像通过用与真实空间的区域对应的替代图像(例如，低分辨率合成图像i2
‑
5或背景静止图像i20)来替换从低分辨率相机和高分辨率相机中具有异常的一个相机获取的图像来基本上再现连续性。
286.因此，在视频分发系统1中，即使在由于例如视频分发侧(工作站10)的相机11的故障、电缆断开、电池不足等而丢失来自相机11中的一些相机的输入的情况下，在视频再现侧(显示终端20)上执行处理以处理高分辨率图像或低分辨率图像的丢失输入，从而使得能够继续实时分发。结果，可以更可靠地执行视频分发。
287.<3.修改的示例>
288.(系统的配置)
289.图42示出应用本技术的视频分发系统的另一配置的示例。
290.在图42的视频分发系统3中，工作站10和视频分发服务器12例如经由通信线路40(例如专用线路)彼此连接，以在其间交换各种数据。此外，尽管在图42中示出工作站10和视频分发服务器12是不同的装置，但是工作站10和视频分发服务器12可以集成到具有它们的功能的单个装置50中。
291.此外，针对工作站10或视频分发服务器12的每个功能，可以包括一个或更多个装置(服务器)。此外，相机11
‑
1至11
‑
n可以连接至因特网30，以经由因特网30将关于由相机11
‑
1至11
‑
n捕获的图像的数据发送至工作站10。
292.(显示终端的配置)
293.尽管以上已经描述了将显示终端20配置为头戴式显示器，但是本技术不限于范围较窄的头戴式显示器，并且即使在显示终端20安装在例如以下装置上的情况下也可以被应用：眼镜、眼镜型显示器、眼镜型相机、头戴式受话器，头戴式耳机(带有麦克风的耳机)、耳机、耳环、耳环型相机、帽子、带有相机的帽子、发带等。
294.此外，本技术不仅可以应用于例如被配置为独立装置的头戴式显示器的显示终端20，而且可以应用于连接至头戴式显示器的游戏机、个人计算机等的信息处理装置。
295.此外，尽管上面已经描述了通过显示三维视频图像来实现虚拟现实(vr)，使得使用支持vr实时分发(全向图像实时分发)的显示终端20的用户可以体验到好像用户在那里的感觉。本技术不限于虚拟现实(vr)，并且可以应用于分发另一类型的视频图像。此外，要显示的视频图像不限于vr空间中的视频图像，并且可以是例如另一类型的视频图像(例如真实空间中的视频图像)。
296.此外，尽管上面已经描述了在分层分割方案中使用全向图像，并且通常使用具有360度视角的图像，但是可以使用另一类型的图像，只要该图像具有比用户的视角更宽的视角，例如，具有180度视角的图像等。
297.注意，在本公开内容中，系统指的是多个部件(装置、模块(零件)等)的集合，而无论是否所有部件都被容纳在同一壳体中。
298.<4.计算机的配置>
299.上述一系列处理(例如，图25至图28所示的图像处理等)可以由硬件执行，也可以
由软件执行。在由软件执行一系列处理的情况下，构成软件的程序被安装在每个装置的计算机中。图43是示出用于执行上述一系列处理的程序的计算机硬件的配置的示例的框图。
300.在计算机1000中，中央处理单元(cpu)1001、只读存储器(rom)1002和随机存取存储器(ram)1003通过总线1004彼此连接。此外，输入/输出接口1005连接至总线1004。输入单元1006、输出单元1007、记录单元1008、通信单元1009和驱动器1010连接至输入/输出接口1005。
301.输入单元1006被配置为麦克风、键盘、鼠标等。输出单元1007被配置为扬声器、显示器等。记录单元1008被配置为硬盘、非易失性存储器等。通信单元1009被配置为网络接口等。驱动器1010驱动可移动记录介质1011，例如磁盘、光盘、磁光盘或半导体存储器。
302.在如上所述配置的计算机1000中，cpu 1001经由输入和输出接口1005和总线1004将记录在rom 1002或记录单元1008中的程序加载到ram 1003中，并且执行该程序，从而执行上述一系列处理。
303.由计算机(cpu 1001)执行的程序可以通过记录在例如作为封装介质等的可移除记录介质1011中来提供。此外，可以经由例如局域网、因特网或数字卫星广播的有线或无线传输介质来提供程序。
304.在计算机1000中，可以通过将可移除记录介质1011安装在驱动器1010上经由输入/输出接口1005将程序安装在记录单元1008中。替选地，程序可以在被通信单元1009经由有线或无线传输介质接收后安装在记录单元1008中。另外，程序可以被预先安装在rom 1002或记录单元1008中。
305.此处，在本说明书中，计算机根据程序执行的处理不一定必须按照流程图中描述的顺序按时间顺序执行。也就是说，由计算机根据程序执行的处理还包括并行或单独执行的处理(例如，并行处理或者由对象进行的处理)。此外，程序可以通过一个计算机(处理器)处理或者可以由多个计算机以分布式方式处理。
306.注意，本技术的实施方式不限于上述实施方式，并且可以在不脱离本技术的主旨的情况下进行各种修改。
307.此外，上述处理的每个步骤可以由一个装置执行，或者可以由多个装置共享和执行。此外，在一个步骤中包括多个处理的情况下，一个步骤中包括的多个处理可以由一个装置执行，或者可以由多个装置共享和执行。
308.注意，本技术可以具有以下配置。
309.(1)
310.一种视频分发系统，包括：
311.图像获取单元，其从低分辨率相机获取低分辨率图像，
312.并且从高分辨率相机获取高分辨率图像，所述高分辨率图像具有比所述低分辨率图像窄的视角、具有比所述低分辨率图像高的分辨率、并且表示在所述低分辨率图像中包括的真实空间的区域；
313.异常确定单元，其确定在表示所述低分辨率图像的第一信号和表示所述高分辨率图像的第二信号中的任一信号中是否存在异常；以及
314.发送控制单元，其：
315.在确定不存在异常的情况下将第一合成图像发送至显示终端，所述第一合成图像
在所述低分辨率图像与所述高分辨率图像之间具有连续性，以及
316.在确定存在异常的情况下将第二合成图像发送至所述显示终端，所述第二合成图像通过用与所述真实空间的区域对应的替代图像来替换从所述低分辨率相机和所述高分辨率相机之中被确定为具有所述异常的相机获取的图像来基本上再现所述连续性。
317.(2)
318.根据(1)所述的视频分发系统，还包括：
319.图像处理单元，其生成所述第一合成图像或所述第二合成图像。
320.(3)
321.根据(2)所述的视频分发系统，其中，
322.所述图像处理单元通过使用所述低分辨率图像和所述高分辨率图像进行拼接来再现所述低分辨率图像与所述高分辨率图像之间的所述连续性。
323.(4)
324.根据(3)所述的视频分发系统，其中，
325.所述替代图像包括所述低分辨率图像或预先准备的静止图像。
326.(5)
327.根据(4)所述的视频分发系统，其中，
328.在所述第二信号中存在所述异常的情况下，所述图像处理单元用所述低分辨率图像补充所述高分辨率图像丢失的区域。
329.(6)
330.根据(5)所述的视频分发系统，其中，
331.所述图像处理单元
332.用透明图像来替换丢失的所述高分辨率图像，以及
333.将通过使用所述高分辨率图像进行拼接而得到的高分辨率拼接图像阿尔法混合到通过使用所述低分辨率图像进行拼接而得到的低分辨率拼接图像上。
334.(7)
335.根据(6)所述的视频分发系统，其中，
336.所述图像处理单元对所述低分辨率拼接图像中的与所述高分辨率拼接图像对应的区域进行修整，并且将其尺寸调整成与所述高分辨率拼接图像对应的尺寸。
337.(8)
338.根据(4)至(7)中任一项所述的视频分发系统，其中，
339.在所述第一信号中存在所述异常的情况下，所述图像处理单元用与丢失的所述低分辨率图像对应的所述静止图像来补充所述低分辨率图像丢失的区域。
340.(9)
341.根据(8)所述的视频分发系统，其中，
342.所述静止图像包括预先捕获的背景图像或紧接所述低分辨率图像丢失之前的背景图像。
343.(10)
344.根据(1)至(9)中任一项所述的视频分发系统，其中，
345.提供一个或更多个所述低分辨率相机，
346.提供一个或更多个所述高分辨率相机，并且
347.所述图像获取单元获取多个所述低分辨率图像和多个所述高分辨率图像。
348.(11)
349.根据(10)所述的视频分发系统，其中，
350.所述异常确定单元基于与多个所述低分辨率图像对应的多个第一输入信号以及与多个所述高分辨率图像对应的多个第二输入信号，在一个或更多个所述低分辨率相机中存在异常时确定在所述第一输入信号中存在所述异常，以及在一个或更多个所述高分辨率相机中存在异常时，确定在所述第二输入信号中存在所述异常。
351.(12)
352.根据(6)所述的视频分发系统，其中，
353.所述低分辨率拼接图像包括等距圆柱图像，并且
354.所述高分辨率拼接图像包括局部等距圆柱图像。
355.(13)
356.根据(12)所述的视频分发系统，其中，
357.在所述第一合成图像或所述第二合成图像中，用所述等距圆柱图像来替换除了所述局部等距圆柱图像的区域之外的区域。
358.(14)
359.根据(1)至(13)中任一项所述的视频分发系统，其中，
360.所述显示终端包括头戴式显示器。
361.(15)
362.一种由视频分发系统执行的视频分发方法，包括：
363.从低分辨率相机获取低分辨率图像，并且从高分辨率相机获取高分辨率图像，所述高分辨率图像具有比所述低分辨率图像窄的视角、具有比所述低分辨率图像高的分辨率、并且表示在所述低分辨率图像中包括的真实空间的区域；
364.确定在表示所述低分辨率图像的第一信号和表示所述高分辨率图像的第二信号中的任一信号中是否存在异常；以及
365.在确定不存在异常的情况下将第一合成图像发送至显示终端，所述第一合成图像在所述低分辨率图像与所述高分辨率图像之间具有连续性，在确定存在异常的情况下将第二合成图像发送至所述显示终端，所述第二合成图像通过用与所述真实空间的区域对应的替代图像来替换从所述低分辨率相机和所述高分辨率相机之中被确定为具有所述异常的相机获取的图像来基本上再现所述连续性。
366.(16)
367.一种存储程序的计算机可读存储介质，所述程序使计算机用作：
368.图像获取单元，其从低分辨率相机获取低分辨率图像，
369.而从高分辨率相机获取高分辨率图像，所述高分辨率图像具有比所述低分辨率图像窄的视角、具有比所述低分辨率图像高的分辨率、并且表示在所述低分辨率图像中包括的真实空间的区域；
370.异常确定单元，其确定表示所述低分辨率图像的第一信号和表示所述高分辨率图像的第二信号中的任一信号中是否存在异常；以及
371.发送控制单元，其：
372.在确定不存在异常的情况下将第一合成图像发送至显示终端，所述第一合成图像在所述低分辨率图像与所述高分辨率图像之间具有连续性，以及
373.在确定存在异常的情况下，将第二合成图像发送至所述显示终端，所述第二合成图像通过用与所述真实空间的区域对应的替代图像来替换从所述低分辨率相机和所述高分辨率相机之中被确定为具有所述异常的相机获取的图像来基本上再现连续性。
374.(17)
375.一种显示终端，包括：
376.图像获取单元，其获取在从低分辨率相机获取的低分辨率图像与从高分辨率相机获取的高分辨率图像之间具有连续性的第一合成图像，
377.所述高分辨率图像具有比所述低分辨率图像窄的视角、具有比所述低分辨率图像高的分辨率、并且表示在所述低分辨率图像中包括的真实空间的区域；以及
378.显示控制单元，其：
379.在表示所述低分辨率图像的第一信号和表示所述高分辨率图像的第二信号中的任一信号中不存在异常的情况下，在显示单元上显示所述第一合成图像，以及
380.在存在异常的情况下在所述显示单元上显示第二合成图像，所述第二合成图像通过用与所述真实空间的区域对应的替代图像来替换从所述低分辨率相机和所述高分辨率相机之中的具有所述异常的相机获取的图像来基本上再现所述连续性。
381.(18)
382.根据(17)所述的显示终端，还包括图像处理单元，所述图像处理单元通过使用应用了阿尔法图像的图像执行阿尔法混合来生成所述第二合成图像，所述阿尔法图像包括与在所述第二合成图像中包括的图像丢失的区域对应的阿尔法值。
383.(19)
384.根据(18)条所述的显示终端，其中，
385.在所述第二信号中存在所述异常的情况下，所述图像获取单元获取高分辨率用阿尔法图像，所述高分辨率用阿尔法图像包括与在所述第二合成图像中包括的高分辨率合成图像丢失的区域对应的第一阿尔法值，以及
386.在所述第二信号中存在所述异常的情况下，所述图像处理单元
387.将包括在所述高分辨率用阿尔法图像中的所述第一阿尔法值添加到所述高分辨率合成图像丢失的区域，以及
388.将已经添加了所述第一阿尔法值的所述高分辨率合成图像阿尔法混合到在所述第二合成图像中包括的低分辨率合成图像上。
389.(20)
390.根据(18)或(19)所述的显示终端，其中，
391.在所述第一信号中存在所述异常的情况下，所述图像获取单元获取高分辨率用阿尔法图像和低分辨率用阿尔法图像，所述高分辨率用阿尔法图像包括与在所述第二合成图像中包括的高分辨率合成图像丢失的区域对应的第一阿尔法值，所述低分辨率用阿尔法图像包括与在所述第二合成图像中包括的低分辨率合成图像丢失的区域对应的第二阿尔法值，以及
392.在所述第一信号中存在所述异常的情况下，所述图像处理单元
393.将在所述高分辨率用阿尔法图像中包括的所述第一阿尔法值添加至所述高分辨率合成图像丢失的区域，
394.将在所述低分辨率用阿尔法图像中包括的所述第二阿尔法值添加至所述低分辨率合成图像丢失的区域，
395.将已经添加了所述第一阿尔法值的所述高分辨率合成图像阿尔法混合到已经添加了所述第二阿尔法值的所述低分辨率合成图像上，并且
396.将通过所述阿尔法混合获得的图像阿尔法混合到预先准备的背景用静止图像上。
397.(21)
398.根据(17)或(18)所述的显示终端，其中，
399.所述替代图像包括在所述第二合成图像中包括的低分辨率合成图像或预先准备的背景用静止图像。
400.(22)
401.一种由显示终端执行的显示控制方法，包括：
402.获取第一合成图像，所述第一合成图像在从低分辨率相机获取的低分辨率图像与从高分辨率相机获取的高分辨率图像之间具有连续性，所述高分辨率图像具有比所述低分辨率图像窄的视角、具有比所述低分辨率图像更高的分辨率、并且表示在所述低分辨率图像中包括的真实空间的区域；以及
403.在表示所述低分辨率图像的第一信号和表示所述高分辨率图像的第二信号中的任一信号中不存在异常的情况下，在显示单元上显示所述第一合成图像，并且在存在异常的情况下，在所述显示单元上显示第二合成图像，所述第二合成图像通过用与所述真实空间的区域对应的替代图像来替换从所述低分辨率相机和所述高分辨率相机之中具有所述异常的相机获取的图像来基本上再现所述连续性。
404.(23)
405.一种存储程序的计算机可读存储介质，所述程序使计算机用作：
406.图像获取单元，其获取在从低分辨率相机获取的低分辨率图像与从高分辨率相机获取的高分辨率图像之间具有连续性的第一合成图像，
407.所述高分辨率图像具有比所述低分辨率图像窄的视角、具有比所述低分辨率图像高的分辨率、并且表示在所述低分辨率图像中包括的真实空间的区域；以及
408.显示控制单元，其：
409.在表示所述低分辨率图像的第一信号和表示所述高分辨率图像的第二信号中的任一信号中不存在异常的情况下，在显示单元上显示所述第一合成图像，以及
410.在存在异常的情况下在所述显示单元上显示第二合成图像，所述第二合成图像通过用与所述真实空间的区域对应的替代图像来替换从所述低分辨率相机和所述高分辨率相机之中具有所述异常的相机获取的图像来基本上再现所述连续性。
411.参考符号列表
412.1、2、3视频分发系统，10工作站，11、11
‑
1至11
‑
n相机，11
‑
1、11
‑
2高分辨率相机，11
‑
3、11
‑
4低分辨率相机，12视频分发服务器，20、20
‑
1至20
‑
m显示终端，30因特网，100控制单元，101输入单元，102输出单元，103存储单元，104通信单元，111图像获取单元，112异常
确定单元，113图像处理单元，114发送控制单元，121
‑
1至121
‑
4输入监测单元，122分发单元，123存储器，131
‑
1、131
‑
2同步处理单元，132
‑
1高分辨率拼接处理单元，132
‑
2低分辨率拼接处理单元，133分发单元，134修整和尺寸调整单元，135阿尔法混合单元，136划分单元，150控制单元，151存储单元，152通信单元，161发送控制单元，200控制单元，201传感器单元，202存储单元，203显示单元，204声音输出单元，205输入终端，206输出终端，207通信单元，211图像获取单元，212图像处理单元，213显示控制单元，1000计算机，1001cpu。