发送装置和接收装置的制作方法

发送装置和接收装置
1.相关申请的交叉参考
2.本技术要求于2019年12月27日提交的第2019-239564号日本专利申请和第2019-239570号日本专利申请的优先权，所述日本专利申请的全部公开内容通过引用并入本文。
技术领域
3.本发明涉及发送从不同的位置拍摄的多个视频信号的发送装置以及接收该视频信号的接收装置。


背景技术：

4.作为360度视频的发展系统，正在研究能够从用户喜欢的视点观看360度视频的视频系统。例如，在非专利文献1中，列举了作为3dof (degreeoffreedom)随着在用户坐着的状态下移动头部的范围的视点移动、或者作为6dof随着用户自由移动的范围的视点移动、
″
3d图像消息
″
、
″
流式传输
″
等的使用案例。
5.通常，一个相机拍摄来自一个视点的视频。通过使用由多个相机拍摄的多个视频(多视点视频)，能够生成来自拍摄这些视频的位置的中间位置的视频。这是被称为视点内插、中间视点图像生成等的公知技术(例如，参照专利文献1)。
6.另外，在非专利文献2中规定了omaf(omnidirectionalmediaformat)作为存储预先确定的视点的360度视频信号等的文件格式。
7.现有技术文献
8.专利文献
9.专利文献1：日本专利第6306952号公报。
10.非专利文献
11.非专利文献1：3gpptr26.928，
″
3rdgenerationpartnershipproject；technicalspecificationgroupsawg4extendedrealityin5g3；(release16)
″
，ver0.5.0，2019-07
12.非专利文献2：iso/iec23090-2：2019，“informationtechnology-codedrepresentationofimmersivemedia-part2：omnidirectionalmediaformat”

技术实现要素：

13.本发明要解决的课题
14.在视点内插中，使用从不同位置拍摄的多个视频信号来生成来自期望视点的视频。另一方面，为了提供能够从用户自由移动的视点(例如6dof)观看视频的服务，需要以多个地点为中心拍摄多个视频，并且进行视点内插。但是，所拍摄的视频信号是彼此独立的信号，没有将它们相关联的信息。omaf可以存储固定视点的视频信号，但是不支持对在自由地移动视点的情况下的多个视频信号的处理。因此，接收终端无法确定存在什么样的视频信号以及这些视频信号有何关系，另外，在接收到多个视频信号的情况下，无法确定如何对这
些视频信号进行关联。
15.本发明的一个目的是提供能够在用户改变视点位置情况下容易地确定为执行视点内插所需的视频信号的发送装置和接收装置。
16.用于解决问题的手段
17.根据一个实施方式的发送装置是将从不同位置拍摄的多个视频信号发送到接收装置的发送装置，该发送装置包括：控制部，赋予用于识别所述组的id；以及通信接口，将被赋予所述id的视频信号发送至所述接收装置。
18.在一个实施方式中，所述控制部可确定请求id，所述请求id是与所述接收装置的用户的视点位置的变化对应的视频信号的id；以及所述通信接口向所述接收装置发送被赋予所述请求id的视频信号。
19.在一个实施方式中，所述通信接口可在所述请求id与近前刚刚发送的视频信号的id相同的情况下，发送被赋予该请求id的视频信号群中的为生成与用户的视点位置对应的视频所需的多个视频信号，且在所述请求id与近前刚刚发送的视频信号的id不同的情况下，可发送被赋予该请求id的视频信号群中的默认视频信号。
20.在一个实施方式中，所述视频信号可根据拍摄位置被分组为多个组，以及所述控制部可为识别所述组而赋予组id。
21.在一个实施方式中，所述多个组中的第一层级组可以是为了在所述接收装置中生成来自与摄影位置不同的视点的视频而使用的多个视频信号所属的组。
22.在一个实施方式中，所述多个组中的第二层级组可以是在同一场所内拍摄的多个视频信号所属的一个以上的所述第一层级组。
23.在一个实施方式中，所述通信接口发送的属于所述第一层级组的视频信号可通过使用视频信号之间的相关性的预测编码进行压缩。
24.在一个实施方式中，所述通信接口可以将被赋予所述id的全部视频信号同时发送到所述接收装置。
25.在一个实施方式中，所述视频信号可以根据拍摄位置被分组为多个组，以及所述控制部可以为识别所述组而赋予组id。
26.在一个实施方式中，所述多个组中的第一层级组可以是为了在所述接收装置中生成来自与摄影位置不同的视点的视频而使用的多个视频信号所属的组。
27.在一个实施方式中，所述多个组中的第二层级组可以是在同一场所内拍摄的视频信号所属的一个以上的所述第一层级组。
28.在一个实施方式中，所述通信接口发送的属于所述第一层级组的视频信号可以通过使用视频信号之间的相关性的预测编码进行压缩。
29.在一个实施方式中，所述id和所述视频信号可以存储在iso基础媒体文件格式的文件中。
30.根据一个实施方式的接收装置是用于接收由上述发送装置发送的视频信号的接收装置，并且具有：控制部，对所述视频信号进行解码而生成解码视频，并且取得用户的视点位置；以及通信接口，将表示所述用户的视点位置的视点信息发送到所述发送装置。
31.一个实施方式的接收装置是接收由上述发送装置发送的视频信号的接收装置，并且具备控制部，所述控制部对所述视频信号进行解码而生成解码视频，并且取得用户的视
点位置，所述控制部确定拍摄为生成与所述用户的视点位置对应的视频所需的多个视频信号的摄像装置的位置信息，使用与所述位置信息对应的解码视频进行视点内插。
32.本发明的效果
33.根据本发明，当用户变更视点位置时，可以容易地确定为执行视点内插所需的视频信号。
附图说明
34.图1是示出根据第一实施方式的视频传输系统的一个示例的box 图。
35.图2是图示根据第一实施方式的第一组id的图。
36.图3是图示根据第一实施方式的第二组id的图。
37.图4是图示根据第一实施方式的视频信号的分层结构的图。
38.图5a是示出根据第一实施方式的存储视频信号的文件的配置示例的图。
39.图5b是示出根据第一实施方式的存储视频信号的文件的配置示例的图。
40.图6是示出根据第一实施方式的接收装置的显示示例的图。
41.图7是示出根据第一实施方式的视频传输系统的操作示例的顺序图。
42.图8是示出根据第二实施方式的视频传输系统的一个示例的box 图。
43.图9是示出根据第二实施方式的视频传输系统的操作示例的顺序图。
44.图10是示出根据第三实施方式的视频传输系统的示例的box图。
45.图11是示出根据第三实施方式的视频传输系统的操作示例的顺序图。
46.图12是示出计算机的概略结构的box图。
47.用于实施本发明的方式
48.在下文中，参照附图详细描述实施方式。
49.《第一实施方式》
50.(视频传输系统)
51.首先，将描述根据第一实施方式的视频传输系统。图1是示出根据第一实施方式的视频传输系统1的图，并且示出了在多个位置拍摄的多个视频信号的传输的概要。视频传输系统1包括多个摄像装置(相机)10、多个第一发送装置20、第二发送装置30和接收装置40。如本文所用，
″
场所
″
是指为特定目的而提供的预定区域，诸如会场、体育场、设施、公园等。在本实施方式中，以下说明视频传输系统1具备3个第1发送装置20，第1发送装置20a发送在场所a拍摄的视频信号，第1发送装置20b发送在场所b拍摄的视频信号，第1发送装置20c发送在场所c拍摄的视频信号的情况。
52.摄像装置10对在预定位置拍摄的视频信号赋予元数据，并将元数据发送到第一发送装置20。这里，由摄像装置10发送的元数据是指示摄像装置10的拍摄位置的位置信息，并且可以包括指示拍摄方向的信息。此外，元数据可以包括指示从摄像装置10到所拍摄的物体的距离的距离信息。
53.即，设置在场所a的多个摄像装置10a分别对在场所a的预定位置拍摄的视频信号赋予元数据，并将元数据发送到第1发送装置 20a。同样，设置在场所b的多个摄像装置10b分别对在场所b的预定位置拍摄的视频信号赋予元数据，并将元数据发送到第1发送装置 20b。同样，设置在场所c的多个摄像装置10c分别对在场所c的预定位置拍摄的视频信号赋
予元数据并将元数据发送到第1发送装置 20c。
54.第一发送装置20a从多个摄像装置10a接收视频信号和元数据、对所接收的视频信号和元数据赋予id并将其发送到第二发送装置30。类似地，第一发送装置20b从多个摄像装置10b接收视频信号和元数据、对所接收的视频信号和元数据赋予id并将其发送到第二发送装置30。类似地，第一发送装置20c从多个摄像装置10c接收视频信号和元数据、对所接收的视频信号和元数据赋予id并且将其发送到第二发送装置30。
55.sdi(串行数字接口)、ip(因特网协议)等可以用于从摄像装置 10到第一发送装置20的传输以及从第一发送装置20到第二发送装置 30的传输。更具体地说，在使用sdi的情况下，可以通过12g-sdi、 3g-sdi、hd-sdi等进行传输，在使用ip的情况下，可以根据smpte (sechnology of motion pictureand television engineers)st 2110标准，通过rtp(real-time transport protocol)进行传输。例如，在不对视频信号进行编码来进行传输的情况下，考虑使用sdi或ip进行传输，在对视频信号进行编码后进行传输的情况下，考虑使用ip进行传输。在本实施方式中，虽然设定为摄像装置10不对视频信号进行编码将视频信号向第一发送装置20传输，并且第一发送装置20在对视频信号进行编码之后将视频信号向第二发送装置30传输，然而，摄像装置 10可以对视频信号进行编码，或者第一发送装置20可以不对视频信号进行编码。
56.第二发送装置30汇集从多个第一发送装置20发送的视频信号，并且经由传输路径(例如，ip网络)将视频信号发送到接收装置40。另外，视频信号不一定需要汇集在第二发送装置30中，也可以是第1 发送装置20通过广播传输线路、地上imt(international mobiletelecommunication)网络、光纤、wi-fi(注册商标)线路等各种传输线路直接向接收装置40发送视频信号。
57.接收装置40可以是能够接收来自第一发送装置20或第二发送装置30的视频传输的任何装置。接收装置40例如是头戴式显示器、vr (virtual reality)护目镜、平板终端、智能手机、pc(personal computer) 等。
58.(第一发送装置)。
59.接下来，将描述根据第一实施方式的第一发送装置20。
60.如图1所示，第一发送装置20包括视频接收部21、视频编码部 22、第一id赋予部23、存储部24和视频发送部25。视频编码部22 和第一id赋予部23构成控制部(控制器)。控制部可以由asic (application specific integrated circuit)、fpga(field-programmablegate array)等专用硬件构成，也可以由处理器构成，还可以包含专用硬件和处理器两者。视频接收部21和视频发送部25构成通信接口。
61.视频接收部21从多个摄像装置10获取视频信号和元数据，并且将视频信号和元数据输出到视频编码部22。
62.视频编码部22以h.265/hevc(high efficiency video coding)等任意的视频编码方式对从视频接收部21输入的视频信号进行编码，生成编码视频信号。视频编码部22可以通过使用各个视频信号之间的相关性的预测编码来执行压缩，以实现有效传输。然后，视频编码部22 将编码视频信号输出到存储部24。
63.在本发明中，根据拍摄位置将视频信号分组为多个组。由多个摄像装置10拍摄的多个视频信号能够以为了生成来自拍摄位置不同的视点位置的视频(用于视点内插)的视
频信号群为单位进行分组。为了与后述的分组区别，将该分组称为
″
第一层级组
″
。即，第一层级组是为了在接收装置40中生成来自与摄影位置不同的视点的视频而使用的多个视频信号所属的组。
64.第一id赋予部23通过第一发送装置20的操作者的操作，输入用于识别第一层级组的id(第一组id)，将第一组id与视频信号对应地存储到存储部24中。即，第一id赋予部23对视频信号赋予第一组 id。
65.将参考图2描述第一组id。图2表示在棒球场进行摄影的示例，在棒球场的捕手后面，设置有横向5个、纵向3个合计15个摄像装置 10。为了便于说明，将这15个摄像装置10的位置信息p设为1至15。另外，在棒球场的一垒侧设置有横向5个、纵向3个共计15个摄像装置10。为了便于说明，将这15个摄像装置10的位置信息p设为16 至30。另外，在棒球场的三垒侧设置有横向5个、纵向3个共计15 个摄像装置10。为了便于说明，将这15个摄像装置10的位置信息p 设为31至45。另外，在图2所示的示例中，摄像装置10仅从拍摄位置拍摄前方的视频，但也可以从拍摄位置拍摄360度的全周视频。
66.接收装置40接收由位置信息p＝1至15的摄像装置10拍摄的视频信号并进行视点内插，由此能够向用户提示从捕手后面的某种程度范围的视点的视频。例如，接收装置40显示在位置信息p＝8的摄像装置 10所拍摄的视频信号，之后在用户在预定范围(例如径向数米范围) 内移动的情况下，能够向用户提示与用户的视点对应的视频。同样，接收装置40通过接收由位置信息p＝16至30的摄像装置10拍摄的视频信号，能够向用户提示来自一垒侧的某种程度范围的视点的视频。同样，接收装置40通过接收由位置信息p＝31至45的摄像装置10拍摄的视频信号，能够向用户提示来自三垒侧的某种程度范围的视点的视频。
67.例如，如图2所示，在由位置信息p＝1至45的摄像装置10拍摄的情况下，第一id赋予部23对从捕手后面拍摄的15个视频信号赋予
″i″
作为第一组id，对从一垒侧拍摄的15个视频信号赋予
″
ii
″
作为第一组id，对从三垒侧拍摄的15个视频信号赋予
″
iii
″
作为第一组id。第一id赋予部23也可以对全部视频信号赋予第一组id。另外，在视频编码部22进行使用了各个视频信号间的相关性的压缩的情况下，第一id赋予部23也可以仅对成为基准的视频信号(例如，由位置信息p＝8、23、38的摄像装置10拍摄的视频信号)赋予第一组 id。
68.再次参照图1，存储部24存储从视频编码部22输入的编码视频信号和元数据(位置信息)、以及从第一id赋予部23输入的元数据(表示第一组id的信息)。
69.视频发送部25将存储在存储部24中的编码视频信号和元数据(指示位置信息和第一组id的信息)发送到第二发送装置30。
70.摄像装置10和第一发送装置20的一部分或全部可以成一体。例如，在摄像装置10具有视频编码部22的功能的情况下，第一发送装置20的视频接收部21从摄像装置10接收编码视频信号，并将所接收的编码视频信号输出到存储部24。
71.(第二发送装置)。
72.接下来，将描述根据第一实施方式的第二发送装置30。
73.如图1所示，第二发送装置30包括视频接收部31、第二id赋予部32、存储部33、观看要求接收部34、视点信息接收部35、位置判定部36和视频发送部37。第二id赋予部32和位置判定部36构成控制部。控制部可以由asic、fpga等专用硬件构成，也可以由处理器构成，还可以包含专用硬件和处理器两者。视频接收部31、观看要求接收部34、视点信息接收部35和
视频发送部37构成通信接口。
74.视频接收部31接收从多个第一发送装置20发送的编码视频信号和元数据，并将接收到的编码视频信号和元数据输出到存储部33。
75.由多个摄像装置10拍摄的视频信号能够以在同一场所内拍摄的视频信号群为单位进行分组。为了区别于上述第一层级组，将该分组称为
″
第二层级组
″
。即，第二层级组是在同一场所内拍摄的多个视频信号所属的一个以上的第一层级组。
76.第二id赋予部32通过第二发送装置30的操作者的操作，输入用于识别第二层级组的id(第二组id)，将第二组id与视频信号对应起来存储到存储部33中。即，第二id赋予部32对视频信号赋予第二组id。
77.参照图3说明第二组id。在图3所示的示例中，第二发送装置30 从第一发送装置20a接收在场所a拍摄的视频信号。具体地，第二发送装置30接收由位置信息p＝1至15的摄像装置10拍摄的第一组id＝i 的15个视频信号、由位置信息p＝16至30的摄像装置10拍摄的第一组id＝ii的15个视频信号、由位置信息p＝31至45的摄像装置10拍摄的第一组id＝iii的15个视频信号。此外，第二发送装置30从第一发送装置20b接收在场所b拍摄的视频信号。具体地，第二发送装置 30从第一发送装置20b接收由位置信息p＝46至60的摄像装置10拍摄的第一组id＝i的15个视频信号、由位置信息p＝61至75的摄像装置10拍摄的第一组id＝ii的15个视频信号、由位置信息p＝76至90 的摄像装置10拍摄的第一组id＝iii的15个视频信号。另外，第二发送装置30从第一发送装置20c接收在场所c拍摄的视频信号。具体地，第二发送装置30从第一发送装置20c接收由位置信息p＝91至105 的摄像装置10拍摄的第一组id＝i的15个视频信号、由位置信息p＝106 至120的摄像装置10拍摄的第一组id＝ii的15个视频信号、由位置信息p＝121至135的摄像装置10拍摄的第一组id＝iii的15个视频信号。
78.另外，第二id赋予部32对在场所a拍摄的45个视频信号赋予例如
″a″
作为第二组id，对在场所b拍摄的45个视频信号赋予例如
″b″
作为第二组id，对在场所c拍摄的45个视频信号赋予例如
″c″
作为第二组id。
79.图4示出了将视频信号分组为两个层级的层级结构。如图3所示，假设在场所a、场所b和场所c分别拍摄45个视频信号。在这种情况下，在场所a拍摄的45个视频信号被分类为第二组id＝a的组a，并且在a组中被进一步分类为属于第一组id＝i的15个视频信号、属于第一组id＝ii的15个视频信号和属于第一组id＝iii的15个视频信号。另外，在场所b拍摄的45个视频信号被分类为第二组id＝b的组 b，并且在组b中被进一步分类为属于第一组id＝i的15个视频信号、属于第一组id＝ii的15个视频信号、属于第一组id＝iii的15个视频信号。另外，在场所c拍摄的45个视频信号被分类为第二组id＝c的组c，并且在组c中被进一步分类为属于第一组id＝i的15个视频信号、属于第一组id＝ii的15个视频信号、属于第一组id＝iii的15个视频信号。
80.再次参照图1，存储部33存储从视频接收部31输入的编码视频信号和元数据以及从第二id赋予部32输入的元数据。
81.观看要求接收部34在从接收装置40接收到表示观看的内容的观看要求时，将该观看要求输出到视频发送部37。
82.视点信息接收部35在从接收装置40接收到表示接收装置40的用户的视点位置(例
如，接收装置40的位置)的视点信息时，将该视点信息输出到位置判定部36。例如，视点位置信息是全局坐标系中的三维坐标。另外，视点位置信息也可以是以默认的用户位置为基准的局部坐标系中的三维坐标。
83.当从视点信息接收部35输入视点信息时，位置判定部36确定用户的视点位置的改变是否伴随着id(第一组id和第二组id)的改变。更具体地，位置判定部36指定作为与用户的视点位置的变化对应的视频信号的id的请求id，并且确定该请求id是否与近前刚刚发送的视频信号的id相同。
84.当请求id与近前刚刚发送的视频信号的id相同时，位置判定部 36向视频发送部37输出拍摄被赋予该请求id的视频信号群中的生成与用户的视点位置对应的视频所需的多个视频信号的多个摄像装置 10的位置信息。例如，位置判定部36获得与用户的视点位置对应的拍摄位置，并将布置在与拍摄位置相邻的位置或围绕拍摄位置的位置处的摄像装置10的位置信息输出到视频发送部37。
85.此外，在请求id不同于近前刚刚发送的视频信号的id的情况下，位置判定部36向视频发送部37输出拍摄被赋予该请求id的视频信号群中的默认视频信号的摄像装置10的位置信息。
86.视频发送部37将视频信号发送到接收装置40。在本说明书中，在
″
发送视频信号
″
的情况是指还同时发送对该视频信号赋予的(被复用的)元数据。视频发送部37还可以仅发送元数据。由视频发送部 37发送的属于第一层级组的视频信号可以由第一发送装置20的视频编码部22通过使用视频信号之间的相关性的预测编码来压缩。
87.当从观看要求接收部34输入观看要求时，视频发送部37从存储部33取得被要求观看的内容的默认视频信号、与被要求观看的内容有关的全部id信息(表示第一组id和第二组id的信息)、以及代表各第一层级组的摄像装置10的位置信息，并发送给接收装置40。接收装置40基于id信息和摄像装置10的位置信息，向用户提示能够选择怎样的视点位置。
88.另外，在从位置判定部36输入位置信息时，视频发送部37从存储部33取得由具有该位置信息的摄像装置10拍摄的视频信号(与该位置信息对应的视频信号)，并发送到接收装置40。即，视频发送部 37在请求id与紧接着该请求id之前发送的视频信号的id相同的情况下，发送被赋予该请求id的视频信号群中的为生成与用户的视点位置对应的视频所需的多个视频信号，在请求id与紧接着该请求id之前发送的视频信号的id不同的情况下，发送被赋予该请求id的视频信号群中的默认视频信号。
89.图5是示出在将id和视频信号存储在诸如omaf的iso基础媒体文件格式(iso base media file format)的文件中的情况下文件的配置示例的图。该格式由被称为box的基本单位组成。
90.在图5a所示的文件结构中，在将第二组id和第一组id共同的n 个视频信号存储在文件中时，通过在表示第二组id和第一组id的box 之下存储n个视频信号，来表示视频信号所属的组。在图5b所示的文件结构中，在将第二组id和第一组id共同的n个视频信号存储在文件中时，通过与存储各自的视频信号的轨迹(track)一起存储表示第二组id和第一组id的box，来表示视频信号所属的组。
91.另外，在本实施方式中，说明了2层的分组，但为了用户的操作，也可以根据内容进行3层以上的分组。在进行3层以上的分组的情况下，也同样能够进行分层来识别各视频信
号。例如，也可以将在同一地域内拍摄的视频信号所属的一个以上第二层级组作为第三层级组进行分组。
92.(接收装置)
93.接着，对第1实施方式所涉及的接收装置40进行说明。
94.如图1所示，接收装置40具备观看要求发送部41、视频接收部 42、视频解码部43、存储部44、视点位置检测部45、视点信息发送部46、视点内插部47、操作信息附加部48和显示部49。视频解码部 43、视点位置检测部45、视点内插部47和操作信息附加部48构成控制部。控制部可以由asic、fpga等专用硬件构成，也可以由处理器构成，还可以包含专用硬件和处理器两者。观看要求发送部41、视频接收部42和视点信息发送部46构成通信接口。
95.观看要求发送部41将指示由接收装置40的用户选择的内容的观看要求发送到第二发送装置30。
96.视频接收部42从第二发送装置30接收视频信号和元数据(位置信息和id信息)。视频接收部42将接收到的视频信号和元数据对应起来输出到视频解码部43。
97.视频解码部43对视频信号进行解码而生成解码视频，并将解码影响输出到存储部44。
98.存储部44存储由视频解码部43生成的解码视频。
99.视点位置检测部45检测用户的视点位置，并将表示检测到的视点位置的视点信息输出到视点信息发送部46。例如，视点位置检测部45 取得由接收装置40所具备的由摄像装置拍摄的用户的眼睛的图像，并使用任意公知的技术对该图像进行分析，从而检测视点位置。另外，视点位置检测部45也可以是接收装置40所具备的独立于控制部的视线传感器。控制部通过视点位置检测部45取得用户的视点位置。
100.视点信息发送部46将由视点位置检测部45检测到的视点信息发送到第二发送装置30。视点信息发送部46可以以规定间隔向第二发送装置30发送视点信息，也可以仅在视点位置的变化量超过阈值的情况下向第二发送装置30发送视点信息。
101.视点内插部47使用存储在存储部44中的、第一组id和第二组 id共同的多个解码视频(即，对与由位置判定部36求出的位置信息对应的视频信号进行解码而得到的解码视频)进行视点内插，生成与由视点位置检测部45检测出的视点位置对应的视频。在视点内插中，可以使用任意公知的技术(例如，参照专利文献1)。视点内插部47 将视点内插的解码视频输出到操作信息附加部48。
102.操作信息附加部48根据用户的观看要求，从存储部44取得默认的解码视频，对该解码视频附加操作信息，并将附加操作信息的解码视频输出到显示部49。操作信息附加部48在执行由视点内插部47进行的视点内插后，从视点内插部47取得视点内插后的解码视频，对该解码视频附加操作信息，并将附加操作信息的解码视频输出到显示部 49。
103.这里，操作信息是表示对于用户用于改变视点位置的操作方法的信息。例如，操作信息是表示用于进行向同一场所中的不同视点位置的变更、或者向不同场所中的视点位置的变更的操作方法的信息。操作信息可以包括图标。用户可以通过基于操作信息进行操作来请求改变视点位置。例如，在接收装置40是头戴式显示器的情况下，用户可以根据视线的方向进行基于操作信息的操作。此时，视线方向由视点位置检测部45检测。另外，在接收装置40是平板终端的情况下，也可以通过轻击、滑动等窗口操作来进行基于操作信息的操作。
另外，在接收装置40是具有平板显示器的非移动或非便携式装置的情况下，也可以使用遥控器进行基于操作信息的操作。
104.显示部49例如是液晶显示器或有机el(electro-luminescence) 显示器。显示部49显示从操作信息附加部48输入的解码视频和操作信息。
105.图6示出了显示部49中的视频和操作信息的显示示例。在图6 所示的示例中，显示了视频481和操作信息482至486。操作信息482 表示正在显示的视频481是基于场所c的第1组id＝ii的视频群的视频。操作信息483表示通过预定操作，能够变更场所c中的视点位置 (能够将正在显示的视频481变更为基于场所c的第1组id＝i的视频群的视频)。操作信息484表示通过预定操作能够变更场所c中的视点位置(能够将正在显示的视频481变更为基于场所c的第1组 id＝iii的视频群的视频)。操作信息485表示通过预定操作能够将视点位置变更为不同的场所(能够将正在显示的视频481变更为在场所a 拍摄的视频)。操作信息486表示可以通过预定操作将视点位置改变到不同的位置(可以将正在显示的视频481变更为在场所b拍摄的视频)。
106.当用户基于显示在显示部49上的操作信息执行操作时，视点位置检测部45检测与操作对应的视点位置。因此，用户可以向第二发送装置30要求视点位置的变更。
107.(操作顺序)。
108.接下来，将参考图7描述根据本实施方式的视频传输系统1的操作顺序。图7是表示第二发送装置30和接收装置40之间的操作顺序的图。
109.在步骤s101中，接收装置40通过观看要求发送部41向第二发送装置30发送表示用户选择的内容的观看要求。第二发送装置30通过观看要求接收部34接收从接收装置40发送的观看要求。
110.在步骤s102中，第二发送装置30通过视频发送部37向接收装置40发送与向接收装置40要求观看的内容有关的所有id信息和代表代表第一层级组的摄像装置10的位置信息。在接收装置40中，视频接收部42从第二发送装置30接收关于要求观看的内容的信息。例如，在摄像装置10的设置位置如图2所示的情况下，代表各个第一层级组的摄像装置10的位置信息被设置为分别配置于中央的摄像装置10的位置信息p＝8、23和38。另外，视频发送部37也可以对于第一层级的每个分组将多个位置信息发送到接收装置40。
111.在步骤s103中，第二发送装置30通过视频发送部37向接收装置 40发送与从接收装置40要求观看的内容有关的默认视频信号。第二发送装置30预先针对每个内容确定默认视频信号。例如，在与要求观看的内容相关的视频信号如图4所示那样被分组的情况下，将默认的视频设为第二组id＝a、第一组id＝i的视频信号8(在图2中，由配置在捕手后面的中央的位置信息p＝8的摄像装置10摄像的视频信号)。
112.在步骤s104中，在接收装置40通过视频接收部42从第二发送装置30接收要求观看的内容的默认视频信号。然后，接收装置40通过视频解码部43对视频信号进行解码，并通过显示部49显示默认的视频。
113.在步骤s105中，接收装置40通过视点信息发送部46向第二发送装置30发送视点信息。
114.在步骤s106中，第二发送装置30的位置判定部36确定请求id，该请求id是与用户的视点位置的改变对应的视频信号的id。当请求 id与近前刚刚发送的视频信号的id相同
时，第二发送装置30使处理进行到步骤s107，并且当请求id与在该请求id之前发送的视频信号的id不同时，第二发送装置30使处理进行到步骤s109。
115.在步骤s107中，第二发送装置30通过视频发送部37向接收装置 40发送生成与用户的视点位置对应的视频所需的视频信号。
116.在步骤s108中，接收装置40通过视点内插部47使用从第二发送装置30接收的进行视点内插所必需的多个视频信号来执行视点内插处理。接下来，接收装置40将视点内插后的视频显示在显示部49上。接下来，接收装置40使处理返回到步骤s105。
117.在步骤s109中，第二发送装置30通过视频发送部37向接收装置 40发送被赋予请求id的视频信号群中的默认视频信号。
118.在步骤s110中，接收装置40通过视频接收部42从第二发送装置 30接收变更视点位置后的默认视频信号。然后，接收装置40通过视频解码部43对该视频信号进行解码，并通过显示部49显示默认视频。接下来，接收装置40使处理返回到步骤s105。
119.如上所述，发送在不同位置拍摄的多个视频信号的视频传输系统 1对视频信号进行分组，并赋予id。通过将多个视频信号分组为第一层级组，可以容易地确定用于视点内插的多个视频信号。此外，通过将多个视频信号分组为第二层级组，可以向用户呈现可以进行视点位置的何种变更。然后，用户能够通过与显示在显示部49上的操作信息对应的操作，观看在同一场所内变更视点位置的视频以及在不同场所变更视点位置的视频。
120.第二实施方式
121.接下来，将描述根据第二实施方式的视频传输系统。图8是示出根据第二实施方式的视频传输系统2的图。视频传输系统2包括多个摄像装置10、多个第一发送装置20、第二发送装置30a和接收装置 40a。根据本实施方式的摄像装置10和第一发送装置20与根据第一实施方式的摄像装置10和第一发送装置20相同，因此将省略对它们的描述。本实施方式的第二发送装置30a和接收装置40a与第1实施方式的第二发送装置30和接收装置40一部分相同，所以对于相同的结构赋予相同的符号，并适当省略描述。
122.本实施方式的接收装置40a与第一实施方式的接收装置40相比，不同点在于，还具备id信息检测部50以及具备视点信息发送部46a 代替视点信息发送部46。id信息检测部50也构成控制部。
123.id信息检测部50在用户通过进行基于显示在显示部49上的操作信息的操作而要求视点位置的变更的情况下，检测对与用户要求的新视点位置对应的视频信号群赋予的id(请求id)。然后，id信息检测部50将检测出的请求id作为视点信息输出到视点信息发送部46a。例如，在图6中，在用户沿着由操作信息483表示的箭头的图标执行滑动操作的情况下，id信息检测部50检测到第一组id＝i和第二组 id＝c作为请求id。此外，在图6中，当用户沿着由操作信息485表示的箭头的图标执行滑动操作的情况下，id信息检测部50检测到第一组id＝默认值和第二组id＝a作为请求id。另外，在第一组id为默认值的情况下，作为请求id也可以仅包含第二组id。
124.视点信息发送部46a在用户不进行基于显示在显示部49上的操作信息的操作的情况下，将由视点位置检测部45检测到的视点信息发送到第二发送装置30a，在用户进行了基于显示在显示部49上的操作信息的操作的情况下，将由id信息检测部50检测到的视点信息(请求 id)发送到第二发送装置30a。
125.本实施方式的第二发送装置30a与第一实施方式的第二发送装置 30相比，不同点在于，取代视点信息接收部35、位置判定部36以及视频发送部37而具备视点信息接收部35a、位置判定部36a以及视频发送部37a。
126.如果视点信息接收部35a接收到不包含请求id的视点信息，则与第1实施方式同样，将该视点信息输出到位置判定部36a。另外，如果视点信息接收部35a接收到包含请求id的视点信息，则确定被赋予请求id的视频信号群中的与默认视频信号对应的位置信息，并将确定的位置信息发送到视频发送部37a。
127.如果从视点信息接收部35a输入不包含请求id的视点信息，则位置判定部36a将拍摄为生成与用户的视点位置对应的视频所需的视频信号的多个摄像装置10的位置信息输出到视频发送部37a。另外，如果从视点信息接收部35a输入包含请求id的视点信息，则位置判定部 36a将与被赋予请求id的视频信号群中的默认视频信号对应的位置信息输出到视频发送部37a。
128.如果从视点信息接收部35a或位置判定部36a输入位置信息，则视频发送部37a从存储部33取得由具有该位置信息的摄像装置10拍摄的视频信号(与该位置信息对应的视频信号)，并发送给接收装置 40a。
129.(操作顺序)。
130.接下来，将参考图9描述根据本实施方式的视频传输系统2的操作顺序。图9是表示第二发送装置30a和接收装置40a之间的操作顺序的图。步骤s201至步骤s204与参照图7描述的第一实施方式的步骤s101至步骤s104相同，因此省略描述。
131.在步骤s205中，接收装置40a通过视点信息发送部46a将视点信息发送到第二发送装置30a。
132.在步骤s206中，第二发送装置30a通过位置判定部36a确定视点信息中是否包括请求id。第二发送装置30a在视点信息中不包含请求 id的情况下，使处理进行到步骤s207，在视点信息中包含请求id的情况下，使处理进行到步骤s209。
133.步骤s207至步骤s210与参照图7描述的第一实施方式的步骤 s107至步骤s110相同，因此省略描述。
134.如上所述，在本实施方式中，不是由发送装置30a而是由接收装置40a进行请求id的检测，但在该情况下也能够得到与第1实施方式相同的效果。
135.第三实施方式。
136.接下来，将描述根据第三实施方式的视频传输系统。图10是示出根据第三实施方式的视频传输系统3的图。视频传输系统3包括多个摄像装置10、多个第一发送装置20、第二发送装置30b和接收装置 40b。根据本实施方式的摄像装置10和第一发送装置20与根据第一实施方式的摄像装置10和第一发送装置20相同，因此将省略对它们的描述。本实施方式的第二发送装置30b和接收装置40b与第1实施方式的第二发送装置30和接收装置40一部分相同，所以对于相同的结构赋予相同的符号，适当省略描述。
137.在上述的第1实施方式和第2实施方式中，作为第二发送装置30、 30a与接收装置40、40a之间的传输路径，假定了双向传输的传输路径。另一方面，在本实施方式中，作为第二发送装置30b和接收装置 40b之间的传输路径，假设在一个方向上进行传输的传输路径。该传输路径可以是与ip多播对应的传输路径，也可以是与广播波对应的传输路径。另外，通
信线路中的ip多播也可以是广播波中的传输。与isdb (integrated services digital broadcasting：综合服务数字广播)-s3、 atsc(advanced television systems committee：高级电视系统委员会) 3.0等ip包的传输对应的广播系统被认为是与通信线路中的ip多播相同的传输路径。
138.本实施方式的第二发送装置30b与第1实施方式的第二发送装置 30相比，不同点在于，不具备视点信息接收部35和位置判定部36以及具备视频发送部37b来代替视频发送部37。
139.在通过通信线路进行ip多播传输的情况下，如果从观看要求接收部34输入观看要求，则视频发送部37b从存储部33取得与被要求观看的内容有关的全部视频信号。然后，视频发送部37b将全部视频信号同时发送到接收装置40b。与其它实施方式类似，在视频信号中复用元数据(id信息和位置信息)。例如，在如图4所示对被要求观看的内容的视频信号进行分组的情况下，视频发送部37b将145个视频信号同时发送到接收装置40b。
140.另一方面，在进行广播传输的情况下，视频发送部37b在用户不进行观看要求且不根据接收装置40b的观看要求的情况下始终从存储部33取得与全部内容相关的全部视频信号。然后，视频发送部37b 将与全部内容有关的全部视频信号同时发送到接收装置40b。然后，在接收装置40b内进行内容的选择。即，在广播传输线路的情况下，可以不具备观看要求发送部41和观看要求接收部34。
141.本实施方式的接收装置40b与第1实施方式的接收装置40相比，不同点在于：不具备视点信息发送部46、还具备id信息检测部50、位置判定部52以及视点变更部53以及具备视点内插部47b以及操作信息附加部48b来代替视点内插部47以及操作信息附加部48。id信息检测部50、位置判定部52以及视点变更部53也构成控制部。
142.如果从视点位置检测部45输入视点信息，则位置判定部52判定视点位置是否改变。例如，在视点位置的变化量超过阈值的情况下，位置判定部52判定为视点位置有变更。然后，位置判定部52在判定为视点位置有变更的情况下，确定拍摄为生成与用户的视点位置对应的视频所需的多个视频信号的多个摄像装置10的位置信息，并将所确定的位置信息输出到视点内插部47b。
143.如果从位置判定部52输入了位置信息，则视点内插部47b从存储部44取得与该位置信息对应的解码视频。然后，视点内插部47b使用取得的解码视频进行视点内插，将视点内插后的解码视频输出到操作信息附加部48b。
144.id信息检测部50在用户通过进行基于显示在显示部49上的操作信息的操作而请求了视点位置的变更的情况下，检测对与用户请求的新视点位置对应的视频群赋予的id(请求id)。然后，id信息检测部 50将检测到的请求id输出到视点变更部53。
145.如果从id信息检测部50输入请求id，则视点变更部53从存储部44取得被赋予请求id的视频信号群的解码视频中的默认解码视频，并输出到操作信息附加部48b。
146.操作信息附加部48b在内容再现时，首先从存储部44取得默认解码视频，对该解码视频附加操作信息并输出到显示部49。操作信息附加部48b在视点内插部47b进行的视点内插后，从视点内插部47b取得视点内插后的解码视频，对该解码视频附加操作信息并输出到显示部49。操作信息附加部48b在视点变更部53进行请求id的检测后，从视点变更部53取得视点位置变更后的默认解码视频，对该解码视频附加操作信息并输出到显示部49。
147.(操作顺序)。
148.接下来，将参考图11描述根据本实施方式的视频传输系统3的操作顺序。图11是表示对视频信号进行ip多播传输的情况下第二发送装置30b与接收装置40b之间的操作顺序的图。
149.在步骤s301中，接收装置40b通过观看要求发送部41将表示用户选择的内容的观看要求发送到第二发送装置30b。第二发送装置30b 通过观看要求接收部34接收从接收装置40b发送的观看要求。
150.在步骤s302中，第二发送装置30b通过视频发送部37b将与来自接收装置40b的要求观看的内容有关的全部视频信号与元数据(id信息和位置信息)一起发送到接收装置40b。接收装置40b通过视频接收部42从第二发送装置30b接收与要求观看的内容有关的全部视频信号和元数据。
151.在步骤s303中，接收装置40b通过视频解码部43对视频信号进行解码。然后，接收装置40b通过显示部49显示要求观看的内容的默认视频。
152.在步骤s304中，接收装置40b通过位置判定部52判定是否存在不伴随id变更的视点位置的变更(小变更)。接收装置40b在视点位置有小变更的情况下使处理进行到步骤s305，在视点位置没有小变更的情况下使处理进行到步骤s306。
153.在步骤s305中，接收装置40b通过视点内插部47b使用多个解码视频进行视点内插处理，生成与用户的视点位置对应的视频。然后，接收装置40b在显示部49上显示视点内插后的视频。然后，接收装置 40b使处理返回到步骤s304。
154.在步骤s306中，接收装置40b通过id信息检测部50判定是否有伴随id变更的视点位置的变更(大变更)。接收装置40b在视点位置有大变更的情况下检测请求id，使处理进行到步骤s307，在视点位置没有大变更的情况下使处理返回步骤s304。
155.在步骤s307中，接收装置40b通过视点变更部53取得被赋予请求id的视频信号群的解码视频中的默认解码视频。然后，接收装置40b在显示部49上显示默认的视频。
156.另外，在广播传输的情况下，不进行步骤s301的操作，在步骤 s302中，第二发送装置30b通过视频发送部37b将与全部内容相关的全部视频信号与元数据(id信息和位置信息)一起发送到接收装置 40b。然后，在步骤s303中，接收装置40b显示用户所选择的内容的默认视频。步骤s304以后的操作与ip多播传输的情况相同。
157.如上所述，第二发送装置30b将所有视频信号与元数据(表示第一层级的分组和第二层级的分组的id信息和位置信息)一起发送到接收装置40b。因此，在接收装置40b中，在视点位置发生变更的情况下，能够根据视点位置的变更来确定所需的解码视频。这样，本发明也能够适用于广播或ip多播传送视频信号的情况。
158.《程序》
159.为了作为上述的第1发送装置20、第二发送装置30、30a、30b 以及接收装置40、40a、40b发挥功能，也可以使用能够执行各个程序指令的计算机。图12是表示作为第1发送装置20、第二发送装置30、 30a、30b或接收装置40、40a、40b发挥功能的计算机的概略结构的框图。这里，计算机100可以是通用计算机、专用计算机、工作站、 pc、电子记事本等。程序指令可以是用于实现所需任务的程序代码、代码段等。
160.如图12所示，计算机100包括处理器110、rom(只读存储器) 120、ram(随机存取存
储器)130、存储器140、输入部150、输出部160和通信接口(i/f)170。各结构通过总线180可通信地相互连接。处理器110具体地是cpu(中央处理单元，central processing unit)、 mpu(微处理单元，micro processing unit)、gpu(图形处理单元， graphics processing unit)、dsp(数字信号处理器，digital signalprocessor)、soc(芯片上系统，system on a chip)等，也可以由同种或不同种的多个处理器构成。
161.处理器110执行各结构的控制以及各种运算处理。即，处理器110 从rom120或存储器140读取程序，将ram 130作为工作区域来执行程序。处理器110根据存储在rom120或存储器140中的程序，进行上述各结构的控制和各种运算处理。在本实施方式中，根据本公开的程序被存储在rom 120或存储器140中。
162.程序可以被记录在计算机100可读取的记录介质上。如果使用这样的记录介质，则可以将程序安装在计算机100中。这里，记录程序的记录介质可以是非暂时性(non-transitory)记录介质。非暂时性记录介质没有特别限定，例如可以是cd-rom、dvd-rom、usb(通用串行总线，universal serial bus)存储器等。另外，该程序也可以是经由网络从外部装置下载的形式。
163.rom 120存储各种程序和各种数据。ram 130作为工作区暂时存储程序或数据。存储器140由hdd(硬盘驱动器)或ssd(固态驱动器)构成，并且存储包括操作系统的各种程序和各种数据。
164.输入部150包括接收用户的输入操作并基于用户的操作获取信息的一个或多个输入接口。例如，输入部150可以是但不限于定点设备、键盘、鼠标等。
165.输出部160包括输出信息的一个或多个输出接口。例如，输出部 160是以图像输出信息的显示器、或者以声音输出信息的扬声器，但不限于此。另外，输出部160在是触摸面板方式的显示器的情况下，也作为输入部150起作用。
166.通信接口170是用于与外部装置进行通信的接口。
167.虽然对上述实施方式作为代表性的示例进行了说明，但对于本领域技术人员来说显而易见的是，在本发明的主旨和范围内可以进行多种变更和置换。因此，本发明不应被理解为受到上述实施方式的限制，在不脱离权利要求书的范围的情况下，可以进行各种变形和变更。例如，对于实施方式中记载的结构块或处理步骤，可以将多个组合为一个或将一个分割为多个。
168.[符号的说明]
[0169]
1、2、3 视频传输系统
[0170]
10 摄像装置
[0171]
20 第一发送装置
[0172]
21 视频接收部
[0173]
22 视频编码部
[0174]
23 第一id赋予部
[0175]
24 存储部
[0176]
25 视频发送部
[0177]
30、30a、30b 第二发送装置
[0178]
31 视频接收部
[0179]
32 第二id赋予部
[0180]
33 存储部
[0181]
34 观看要求接收部
[0182]
35、35a 视点信息接收部
[0183]
36 位置判定部
[0184]
37 视频发送部
[0185]
40、40a、40b 接收装置
[0186]
41 观看要求发送部
[0187]
42 视频接收部
[0188]
43 视频解码部
[0189]
44 存储部。
[0190]
45 视点位置检测部。
[0191]
46、46a 视点信息发送部
[0192]
47、47b 视点内插部
[0193]
48、48b 操作信息附加部
[0194]
49 显示部
[0195]
50 id信息检测部
[0196]
52 位置判定部
[0197]
53 视点变更部
[0198]
100 计算机
[0199]
110 处理器
[0200]
120 rom
[0201]
130 ram
[0202]
140 存储器
[0203]
150 输入部
[0204]
160 输出部
[0205]
170 通信接口
[0206]
180 总线
[0207]
481 视频
[0208]
482至486 操作信息。