内容生成装置、内容分发服务器、内容生成方法以及内容生成程序与流程

1.本发明涉及内容生成装置、内容分发服务器、内容生成方法以及内容生成程序。


背景技术：

2.以往，提出了一种经由网络分发各种视频内容的技术。另外，伴随着便携通信终端得到普及以及能够进行高速通信等，更多的人能够分发自身拍摄的视频，其结果，储存有大量的过去的视频内容。
3.例如，还能够组合新的视频数据和过去的视频内容的数据来制作新的视频内容。另外，还能够组合实时的视频数据来制作视频内容。例如，在专利文献1中公开了一种实况视频分发系统，使用由多个拍摄装置拍摄的视频图像数据，制作根据多个拍摄装置各自的拍摄位置来排列的状态的视频内容。
4.现有技术文献
5.专利文献1：日本特开2015-220743号公报


技术实现要素：

6.专利文献1公开的技术涉及用于切换在相同时刻拍摄的多个视频来分发实况视频的视频分发系统。另一方面，如果如上所述过去分发了大量的视频内容，并能够善于组合它们，则有可能生成兴趣性高的新的视频内容。
7.例如，在将包括过去的视频内容的多个视频内容的数据进行组合来制作新的视频内容时，内容制作者需要进行用于从庞大的数量的过去的内容中选择适合的内容并生成将多个视频内容的数据进行合成得到的图像数据的编辑作业。
8.然而，所储存的过去的视频内容是庞大的数量，内容制作者选出适合的视频内容是花费时间以及工夫的作业。另外，如果利用对于内容制作者而言既知的过去的内容，则能够节省寻找新的视频内容的时间和工夫，但难以生成如内容制作者完全意想不到那样的有意外性的视频内容。
9.本发明是鉴于上述情形而完成的，其目的在于，提供一种生成兴趣性高的视频内容的内容生成装置、内容分发服务器、内容生成方法以及内容生成程序。
10.本发明的第1方案的内容生成装置具备：取得部，从储存有多个视频数据的储存部取得满足预定的条件的多个视频数据；开始帧确定部，在由所述取得部取得的多个所述视频数据的再现图像各自中确定预定的动作开始的开始帧；以及生成部，生成使所确定的所述开始帧的定时一致来合成多个所述视频数据得到的多视频数据。
11.本发明的第2方案的内容分发服务器具备：第1方案的内容生成装置；分发部，分发由所述内容生成装置生成的多视频数据；以及分发控制部，以针对收看者终端分发所述多视频数据的方式控制所述分发部。
12.在本发明的第3方案的内容生成方法中，向储存有多个视频数据的储存部要求满
足预定的条件的视频数据，取得满足所述条件的多个视频数据，在所取得的多个所述视频数据的再现图像各自中确定预定的动作开始的开始帧，生成使所确定的所述开始帧的定时一致来合成多个所述视频数据得到的多视频数据。
13.本发明的第4方案的内容生成程序使计算机作为如下单元发挥功能：向储存有多个视频数据的储存部要求满足预定的条件的视频数据，取得满足所述条件的多个视频数据的单元；在所取得的多个所述视频数据的再现图像各自中确定预定的动作开始的开始帧的单元；以及生成使所确定的所述开始帧的定时一致来合成多个所述视频数据得到的多视频数据的单元。
14.根据本发明，能够提供生成兴趣性高的视频内容的内容生成装置、内容分发服务器、内容生成方法以及内容生成程序。
附图说明
15.图1是概略地示出一个实施方式的包括内容生成装置以及内容分发服务器的内容分发系统的一个结构例的图。
16.图2是概略地示出图1所示的内容分发服务器的一个结构例的图。
17.图3是概略地示出图1所示的内容存储服务器的一个结构例的图。
18.图4是用于说明一个实施方式的内容分发服务器的动作的一个例子的流程图。
19.图5是概略地示出从一个实施方式的内容分发服务器分发的多视频数据的再现图像的一个例子的图。
20.图6是概略地示出从一个实施方式的内容分发服务器分发的多视频数据的再现图像的一个例子的图。
21.图7是概略地示出从一个实施方式的内容分发服务器分发的多视频数据的再现图像的一个例子的图。
22.图8是概略地示出图1所示的内容分发服务器的其它结构例的图。
23.图9是用于说明一个实施方式的内容分发服务器的动作的一个例子的流程图。
24.图10是概略地示出从一个实施方式的内容分发服务器分发的多视频数据的再现图像的一个例子的图。
25.(符号说明)
26.10：内容分发终端；20：内容分发服务器；21：第1取得部；22：第1生成部；23：分发部；24：分发控制部；25：第2取得部；26：开始帧确定部；27：第2生成部；30：内容存储服务器；31：通信部；32：检索部；33：存储部；40：收看者终端。
具体实施方式
27.以下，根据附图，详细地说明本发明的多个实施方式。此外，在以下的说明中，关于与已说明的结构相同或者类似的结构以及要素，附加同一符号而省略说明。
28.以下，参照附图，说明第1实施方式的包括内容生成装置以及内容分发服务器的内容分发系统的一个例子。
29.图1是概略地示出一个实施方式的包括内容生成装置以及内容分发服务器的内容分发系统的一个结构例的图。
30.本实施方式的内容分发系统具备内容分发终端10、内容分发服务器20以及内容存储服务器(储存部)30。
31.内容分发终端10能够经由网络而与内容分发服务器20可通信地连接。内容分发终端10可以是与例如摄像机等视频源连接的计算机等电子设备、例如电视接收机(包括因特网电视机)、pc(personal computer，个人电脑)、移动终端(例如平板、智能手机、便携式计算机、功能手机、便携式游戏机、数字音乐播放器、电子书阅读器等)、vr(virtual reality，虚拟现实)终端、ar(augmented reality，增强现实)终端等，但不限于这些。内容分发终端10能够将从视频源输出的已编码的影像数据逐次发送给内容分发服务器20。
32.内容分发服务器20能够经由网络而与内容分发终端10、内容存储服务器30以及收看者终端40可通信地连接。内容分发服务器20可以具备执行用于实现后述的各种功能的程序的处理器以及保存程序的存储器。处理器典型地是cpu(central processing unit，中央处理单元)和/或gpu(graphics processing unit，图形处理单元)，但也可以是微电脑、fpga(field programmable gate array，现场可编程门阵列)或者dsp(digital signal processor，数字信号处理器)等。另外，存储器临时地保存为了实现内容分发服务器20的动作而由处理器执行的程序以及由该处理器使用的数据等。本实施方式的内容分发服务器20可以包括内容生成装置。
33.内容存储服务器30能够经由网络而与内容分发终端10可通信地连接。内容存储服务器30例如可以具备能够存储由内容分发服务器20分发的各种内容的数据的存储部(图3所示)、从储存于存储部的多个内容的数据中检索满足条件的数据的检索部(图3所示)、执行实现各种功能的程序的处理器以及保存有程序的存储器。
34.处理器典型地是cpu(central processing unit，中央处理单元)和/或gpu(graphics processing unit，图形处理单元)，但也可以是微电脑、fpga(field programmable gate array，现场可编程门阵列)或者dsp(digital signal processor，数字信号处理器)等。另外，存储器临时地保存为了实现内容存储服务器30的动作而由处理器执行的程序以及由该处理器使用的数据等。另外，内容存储服务器30的存储部中存储的内容的数据不限定于由内容分发服务器20分发的内容的数据，例如也可以存储对所分发的内容的数据进行编辑得到的数据、分发前的内容的数据。
35.此外，内容分发服务器20和内容存储服务器30也可以一体地构成，内容分发服务器20和内容存储服务器30还可以不经由网络而直接连接。
36.收看者终端40能够经由网络而与内容分发服务器20可通信地连接。此外，收看者终端40是计算机等电子设备，例如可以是电视接收机(包括因特网电视机)、pc(personal computer，个人电脑)、移动终端(例如平板、智能手机、便携式计算机、功能手机、便携式游戏机、数字音乐播放器、电子书阅读器等)、vr(virtual reality，虚拟现实)终端、ar(augmented reality，增强现实)终端等，但不限于这些。此外，连接到网络的收看者终端40的数量还可以是零，可随时增减。
37.图2是概略地示出图1所示的内容分发服务器的一个结构例的图。
38.内容分发服务器20具备第1取得部21、第2取得部25、第1生成部22、分发部23、分发控制部24、开始帧确定部26以及第2生成部27。此外，本实施方式的内容生成装置包括第2取得部25、开始帧确定部26以及第2生成部27，既可以与内容分发服务器20一体地构成，也可
以构成为在内容分发服务器20的外部与内容分发服务器20可通信地连接。
39.另外，内容分发服务器20还可以具备能够与网络连接的通信部以及用于储存大容量的数据的数据存储部(未图示)。
40.数据存储部既可以内置于内容分发服务器20，也可以外置于内容分发服务器20。数据存储部例如可以包括hdd(hard disk drive，硬盘驱动器)、ssd(solid state drive，固态驱动器)等非易失性存储介质。此外，数据存储部也可以包括储存过去分发的多个视频内容之中的满足预定的条件的内容的数据的储存部。数据存储部既可以被内容分发服务器20和内容生成装置共用，也可以对内容分发服务器20和内容生成装置分别设置数据存储部。
41.通信部经由网络能够与内容分发终端10、内容存储服务器30以及收看者终端40进行通信，可以包括第1取得部21和第2取得部25。例如，通信部从内容分发终端10接收视频数据，或者发送针对内容存储服务器30的内容数据的要求，或者从内容存储服务器30接收内容数据，或者接收来自收看者终端40的分发要求。通信部将从收看者终端40接收到的分发要求发送给分发控制部24。
42.第1取得部21能够经由网络接收从内容分发终端10逐次发送的内容数据。例如，第1取得部21从内容分发终端10接收实时分发用的视频数据。另外，第1取得部21能够经由网络接收从收看者终端40逐次发送的注释等输入信息。第1取得部21将接收到的视频数据发送给第1生成部22。
43.第2取得部25经由网络向内容存储服务器30要求满足预定的条件的多个视频内容的数据，并且从内容存储服务器30接收视频内容的数据。第2取得部25将接收到的多个视频内容的数据发送给开始帧确定部26和第2生成部27。
44.此外，在内容分发服务器20的数据存储部所存储的视频内容的数据中有满足预定的条件的数据的情况下，第2取得部25也可以取得存储于数据存储部的视频内容的数据，并发送给开始帧确定部26和第2生成部27。
45.例如第2取得部25也可以周期性地向内容存储服务器30要求满足预定的条件的视频内容的数据，还可以根据来自内容分发终端10、收看者终端40的要求而向内容存储服务器30要求满足预定的条件的视频内容的数据。
46.从第2取得部25向内容存储服务器30要求的视频内容要满足的条件既可以是预先设定的条件，也可以是例如通过内容分发服务器的输入单元(未图示)来输入的条件，还可以是从内容分发终端10、收看者终端40要求的条件。另外，第2取得部25能够向内容存储服务器30要求满足预先设定或者输入的多个条件中的至少1个条件的视频内容。
47.由第2取得部25预先设定或者输入的视频内容的条件既可以包括类型、分发者、标签信息、分发期间、注释数、分发时的收看者数等，也可以包括预先设定或者输入的视频内容的数据，还可以将类型、分发者、标签信息、分发期间、注释数、分发时的收看者数等与视频内容的数据关联起来进行设定。
48.第2取得部25能够根据所设定的条件，例如取得演奏相同的音乐的多个视频，或者取得赛马、自行车竞赛的多个转播视频，或者取得马拉松、游泳等竞技体育的多个视频，或者取得与相同的乐曲匹配的多个舞蹈视频，或者取得拍摄相同的比赛的画面而得到的多个视频，或者取得拍摄用游戏机玩游戏的样子而得到的多个视频。
49.分发控制部24控制图像数据的分发。分发控制部24包括例如未图示的时钟，比较从时钟得到的时间信息和对图像数据的分发分配的时间界限，管理图像数据的分发的开始以及结束。另外，分发控制部24从通信部接受收看者终端40的分发要求，以向收看者终端40分发图像数据的方式控制分发部23。
50.第1生成部22能够从第1取得部21接收视频数据和输入信息，例如对视频数据重叠输入信息而生成分发用视频数据。第1生成部22例如也可以使用阿尔法混合、画中画等公知的技术，向视频数据合成输入信息。第1生成部22将生成的分发用视频数据发送给分发部23。
51.第1生成部22例如既可以对视频数据的再现影像的画面的一部分或者全部进行尺寸调整或者对画面的一部分进行修整并与输入信息合成，也可以以使视频数据的再现影像的画面的一部分露出并使剩余部分隐藏的方式与输入信息合成。另外，第1生成部22也可以为了能够根据来自收看者终端40的分发要求来切换并分发多个分发用视频数据，生成要显示的图像不同的多个分发用图像数据并发送给分发部23。第1生成部22例如能够生成未将输入信息重叠到图像数据而生成的分发用视频数据以及将输入信息重叠到图像数据而生成的分发用视频数据，并发送给分发部23。
52.开始帧确定部26从第2取得部25接收多个视频数据。开始帧确定部26关于接收到的多个视频数据，分别确定在再现影像中预定的动作开始的定时的帧(开始帧)。在此，关于预定的动作，例如能够采用预定的音乐的演奏、歌唱、舞蹈等动作、赛马或自行车竞赛等竞赛、马拉松或游泳比赛等体育运动、rpg、动作游戏、战斗游戏等游戏、弹球盘等游戏机的动作等。
53.开始帧确定部26在从第2取得部25接收到的多个视频数据中包括表示预定的动作开始的定时的帧的标志时，能够将标志的位置确定为开始帧。
54.另外，开始帧确定部26能够根据从第2取得部25接收到的多个视频数据满足的条件来确定预定的动作，确定预定的动作的开始帧。
55.另外，开始帧确定部26也可以通过相互比较从第2取得部25接收到的多个视频数据来确定开始帧。例如，开始帧确定部26能够根据在多个视频数据的再现图像中共同的乐曲开始的定时、在动作的开始定时发生的共同的声音等来确定开始帧。另外，例如开始帧确定部26在多个视频数据的再现图像中，能够根据预定的部分的色彩变化的定时、预定的部分的明亮度变化的定时等图像的共同的变化来确定开始帧。
56.开始帧确定部26也可以具备用于确定所输入的视频数据的开始帧的学习完毕模型。学习完毕模型例如是如下的学习完毕的模型：通过卷积神经网络(cnn：convolution neural network)等的深度学习，将满足预定的条件的视频数据作为输入，在视频数据的再现图像中确定与预定的动作开始的定时对应的帧。在设想检索视频数据的多个条件的情况下，开始帧确定部26可以具备与多个条件分别对应的多个学习完毕模型。
57.开始帧确定部26将表示关于多个图像数据分别确定的开始帧的信息发送给第2生成部27。开始帧确定部26也可以在对多个视频数据分别附加表示确定的开始帧的标志之后，将多个视频数据发送给第2生成部27。在该情况下，能够省略从第2取得部25向第2生成部27发送多个视频数据的处理。
58.第2生成部27从第2取得部25接收多个视频数据，从开始帧确定部26接收表示开始
帧的信息。第2生成部27构成为在画面上排列显示接收到的多个图像数据的再现图像，生成以使开始帧的定时一致的方式进行了编辑的多视频数据。
59.此外，第2生成部27以及其它此前提及的各结构也可以构成为关于作为进行嵌入合成的对象的视频数据，例如如果是竞赛的起始的定时成为开始帧的赛马的转播图像，则并非是切出从竞赛的起始至竞赛的终点来进行嵌入合成，而是例如从竞赛的起始前的几十秒就开始传递竞赛前的紧张感、竞赛结果的预想，或者将直至竞赛的终点后的几十秒为止作为嵌入对象，将竞赛的回顾、竞赛后的各马的放松慢跑作为图像来包含在内。不限于赛马，在其它视频领域中也是同样的。多个视频的开始帧的定时一致即可，视频的再现开始帧和再现结束帧不限定于动作的开始定时和结束定时。
60.第2生成部27例如也可以使用阿尔法混合、画中画等公知的技术来合成多个视频数据。第2生成部27将生成的多视频数据发送给分发部23。此外，在多视频数据的再现图像中，多个再现图像的大小无需相同。第2生成部27将生成的多视频数据发送给分发部23。
61.分发部23能够与网络可通信地连接，从第1生成部22接收分发用图像数据，从第2生成部27接收多视频数据，并分发给关于分发用图像数据和多视频数据分别受理了分发要求的收看者终端40。分发部23通过分发控制部24来控制例如分发用视频数据的分发目的地等。
62.此外，分发部23虽然也可以立即废弃已分发的分发用视频数据以及多视频数据，但例如也可以为了能够进行回放或者慢动作再现而缓冲预定期间。
63.另外，分发部23将分发的分发用视频数据以及多视频数据发送给内容存储服务器30。此时，分发部23能够与分发用视频数据以及多视频数据分别对应地从分发控制部24接收针对分发用视频数据以及多视频数据的输入信息(注释数等)、提出了收看要求的收看者终端40的数量、用于识别分发用视频数据以及多视频数据的信息(标签信息、分发者信息、分发期间、类型等)等，并将接收到的信息合起来发送给内容存储服务器30。
64.图3是概略地示出图1所示的内容存储服务器的一个结构例的图。
65.内容存储服务器30具备通信部31、检索部32以及存储部33。
66.通信部31能够经由网络而与内容分发服务器20可通信地连接。通信部31从内容分发服务器20接收分发用视频数据以及多视频数据，并发送给存储部33。通信部31在接收到针对分发用视频数据以及多视频数据的输入信息(注释数等)、提出了收看要求的收看者终端40的数量、用于识别分发用视频数据以及多视频数据的信息(标签信息、分发者信息、分发期间、类型等)等时，能够将与分发用视频数据以及多视频数据分别对应地分发控制接收到的信息发送给存储部33。
67.另外，通信部31从内容分发服务器20接收内容的检索条件并发送给检索部32，将从检索部32接收到的检索结果(多个视频数据)发送给内容分发服务器20。
68.在存储部33中，例如能够将内容数据(包括分发用视频数据以及多视频数据)与针对内容的输入信息(注释数等)、收看内容的终端数以及用于识别其它内容的信息(标签信息、分发者信息、分发期间、类型等)等关联起来存储。
69.检索部32从通信部31接收检索条件，从储存于存储部33的多个内容数据中读出满足检索条件的多个内容数据并发送给通信部31。检索部32也可以具备例如图像解析单元。例如，在作为从通信部31接收到的检索条件而包括视频数据的情况下，检索部32能够将通
过图像解析单元解析接收到的视频数据而得到的结果作为检索条件，从储存于存储部33的多个内容数据中检索类似的多个视频数据。
70.以下，参照附图，说明上述内容分发系统的动作的多个例。
71.图4是用于说明一个实施方式的内容分发服务器的动作的一个例子的流程图。
72.图5是概略地示出从一个实施方式的内容分发服务器分发的多视频数据的再现图像的一个例子的图。
73.在此，参照图4以及图5，说明使用转播赛马的多个视频数据来生成多视频数据时的内容分发服务器20的动作。
74.首先，内容分发服务器20的第2取得部25向内容存储服务器30要求满足预定的条件的多个视频内容的数据，从内容存储服务器30接收多个视频数据(步骤sa1)。
75.此时，第2取得部25例如可以将用于识别赛马转播的内容的标签信息、过去分发过赛马转播的内容的分发者信息、参赛马匹的名字、骑手的名字、赛马场的名称、竞赛的日期、竞赛的名称、过去转播赛马时的视频数据、要求的视频数据的数量等作为检索条件，发送给内容存储服务器30。
76.第2取得部25将从内容存储服务器30接收到的多个赛马转播的视频数据发送给开始帧确定部26以及第2生成部27。
77.开始帧确定部26关于从第2取得部25接收到的多个赛马转播的视频数据的各个，将与参赛马匹起跑的定时对应的帧确定为开始帧。开始帧确定部26例如也可以利用图像来识别起跑闸门(starting gate)打开的定时而确定开始帧，在对视频数据附加有闸门打开时的声音的信息的情况下也可以识别闸门打开的声音来确定开始帧(步骤sa2)。
78.开始帧确定部26关于多个视频数据的各个视频数据，将视频数据的识别信息和开始帧的信息关联起来发送给第2生成部27。
79.第2生成部27从第2取得部25接收多个赛马转播的视频数据，从开始帧确定部26接收与视频数据的识别信息关联起来的开始帧的信息，根据以使开始帧的定时一致的方式合成多个赛马转播的视频数据得到的多视频数据而生成内容(步骤sa3)。第2生成部27将生成的多视频数据发送给分发部23。
80.分发部23将接收到的多视频数据发送给受理了分发要求的收看者终端40(步骤sa4)。
81.在图5中，概略性地示出合成4个赛马转播视频ma1-ma4而成的多视频数据的再现画面的一个例子。根据这个例子，即使例如赛马转播视频ma1-ma4是转播不同的赛马竞赛的视频，通过以使参赛马匹起跑的定时一致的方式生成多视频数据，也能够制作犹如在赛马转播视频ma1-ma4中出场的参赛马匹彼此竞争那样的内容。因此，还能够例如集合过去的转播名马的竞赛的视频ma1-ma4，生成犹如名马彼此竞争那样的内容。另外，还能够集合对特定的参赛马匹出场的不同的竞赛进行转播的多个视频ma1-ma4，生成比较特定的参赛马匹的竞赛的内容。
82.此外，在图5中示出以不重叠的状态排列配置有多个视频ma1-ma4的例子，但多个视频ma1-ma4也可以以至少一部分重叠的方式配置，还可以以使视频ma1-ma4中的至少1个透射而在其它视频上重叠的方式配置。
83.图6是概略地示出从一个实施方式的内容分发服务器分发的多视频数据的再现图
像的一个例子的图。
84.在此，参照图4以及图6，说明使用显示配合相同的乐曲来跳舞的人、化身(avatar)的样子的多个视频数据而生成多视频数据时的内容分发服务器20的动作。
85.首先，内容分发服务器20的第2取得部25向内容存储服务器30要求满足预定的条件的多个视频内容的数据，从内容存储服务器30接收多个视频数据(步骤sa1)。
86.此时，第2取得部25例如可以将用于识别舞蹈视频的内容的标签信息、过去分发过舞蹈视频的内容的分发者信息、曲名、舞蹈的类型、舞者名、舞者的性别、分发的日期、过去的舞蹈视频数据、要求的视频数据的数量等作为检索条件，发送给内容存储服务器30。第2取得部25将从内容存储服务器30接收到的多个舞蹈视频数据发送给开始帧确定部26以及第2生成部27。
87.开始帧确定部26关于从第2取得部25接收到的多个舞蹈视频数据的各个，将与舞蹈开始的定时对应的帧确定为开始帧。开始帧确定部26例如既可以利用图像来识别乐曲或歌开始的定时而确定开始帧，也可以识别舞者的动作开始的定时来确定开始帧(步骤sa2)。
88.开始帧确定部26关于多个视频数据的各个视频数据，将视频数据的识别信息和开始帧的信息关联起来发送给第2生成部27。
89.第2生成部27从第2取得部25接收多个舞蹈视频数据，从开始帧确定部26接收与视频数据的识别信息关联起来的开始帧的信息，根据以使开始帧的定时一致的方式合成多个舞蹈视频数据得到的多视频数据而生成内容(步骤sa3)。第2生成部27将生成的多视频数据发送给分发部23。
90.此外，例如在舞蹈视频mb1和舞蹈视频mb2中乐曲的节奏(节拍的时间)不同的情况下，第2生成部27既可以与一个视频中的乐曲的节奏匹配地调整其它视频的再现速度，也可以以使所有的视频中的乐曲的节奏成为预定的速度的方式调整所有的视频的再现速度。
91.分发部23将接收到的多视频数据分发给受理了分发要求的收看者终端40(步骤sa4)。
92.在图6中，概略性地示出合成2个舞蹈视频mb1-mb2而成的多视频数据的再现画面的一个例子。根据这个例子，例如通过排列配置作为范本的舞蹈视频mb1和练习舞蹈的人员的舞蹈视频mb2，并以使舞蹈开始的定时一致的方式生成多视频数据，从而能够制作将范本和练习者的舞蹈进行比较那样的内容。另外，通过排列显示不同的舞者的视频，还能够制作犹如多个舞者共同表演那样的内容。因此，例如还能够集合著名的舞者的舞蹈视频mb1-mb2，生成犹如舞者彼此共同表演那样的内容。
93.此外，在图6中示出以不重叠的状态排列配置有多个视频mb1-mb2的例子，但多个视频mb1-mb2也可以以至少一部分重叠的方式配置，还可以以使视频mb1-mb2中的至少1个透射而在其它视频上重叠的方式配置。
94.另外，使乐曲开始的开始帧一致的多视频数据不限定于组合多个舞蹈视频得到的视频数据，例如还能够组合与演奏者演奏的音乐一起显示演奏的风采的多个视频。例如，通过再现将对演奏不同的多个乐器的样子进行显示的多个视频组合而成的多视频数据，还能够生成犹如进行乐队演奏、管弦乐队演奏那样的内容。
95.图7是概略地示出从一个实施方式的内容分发服务器分发的多视频数据的再现图像的一个例子的图。
96.在此，参照图4以及图7，说明使用显示用游戏机打游戏的样子的多个视频数据来生成多视频数据时的内容分发服务器20的动作。
97.首先，内容分发服务器20的第2取得部25向内容存储服务器30要求满足预定的条件的多个视频内容的数据，从内容存储服务器30接收多个视频数据(步骤sa1)。
98.此时，第2取得部25例如可以将用于识别游戏机中的游戏视频的内容的标签信息、过去分发过游戏机中的游戏视频的内容的分发者信息、游戏机的种类、游戏玩家名、分发的日期、过去的游戏机中的游戏视频数据、要求的视频数据的数量等作为检索条件，发送给内容存储服务器30。
99.第2取得部25将从内容存储服务器30接收到的多个游戏机中的游戏视频数据发送给开始帧确定部26以及第2生成部27。
100.开始帧确定部26关于从第2取得部25接收到的多个游戏机中的游戏视频数据的各个，将与游戏开始的定时对应的帧确定为开始帧。开始帧确定部26例如既可以识别在游戏开始时从游戏机发出的声音来确定开始帧，也可以利用图像来识别在游戏开始时点亮的游戏机的灯光而确定开始帧，还可以识别游戏玩家的动作来确定开始帧(步骤sa2)。
101.开始帧确定部26关于多个视频数据的各个视频数据，将视频数据的识别信息和开始帧的信息关联起来发送给第2生成部27。
102.第2生成部27从第2取得部25接收多个游戏机中的游戏视频数据，从开始帧确定部26接收与视频数据的识别信息关联起来的开始帧的信息，根据以使开始帧的定时一致的方式合成多个视频数据得到的多视频数据而生成内容(步骤sa3)。第2生成部27将生成的多视频数据发送给分发部23。
103.分发部23将接收到的多视频数据发送给受理了分发要求的收看者终端40(步骤sa4)。
104.在图7中，概略性地示出合成2个游戏视频mc1-mc2而成的多视频数据的再现画面的一个例子。根据这个例子，例如通过排列配置在完全不同的时间由不同的人玩游戏的视频mc1-mc2，并以使游戏开始的定时一致的方式生成多视频数据，从而能够制作犹如多个游戏玩家进行游戏竞赛那样的内容。因此，例如还能够集合著名的游戏玩家的游戏视频mc1-mc2而生成犹如游戏玩家彼此竞赛那样的内容。
105.此外，在图7中示出以不重叠的状态排列配置有多个视频mc1-mc2的例子，但多个视频mc1-mc2也可以以至少一部分重叠的方式配置，还可以以使视频mc1-mc2中的至少1个透射而在其它视频上重叠的方式配置。
106.如上所述，根据本实施方式，内容分发服务器20能够取得满足预定的条件的多个视频数据，根据以使预定的动作开始的定时一致的方式合成多个视频数据得到的多视频数据而自动地生成内容。因此，例如在组合包括过去的视频内容的多个视频内容来制作新的视频内容时，能够节省从庞大的数量的过去的内容中选择适合的内容、或者进行用于向新的视频内容嵌入过去的视频内容的编辑作业这样的工夫。
107.另外，在多视频数据的生成中使用的视频数据由于是从满足预定的条件的视频数据中自动地抽出的，所以有可能抽出如内容制作者或收看者意想不到的有意外性的组合的多个视频数据，可以生成兴趣性高的视频内容。
108.在本实施方式中，在抽出例如与任意的乐曲有关的多个视频数据的情况下，可以
抽出歌唱该乐曲的视频数据、由乐队或管弦乐队演奏该乐曲的视频数据、与该乐曲匹配的舞蹈的视频数据、将该乐曲作为声援曲来演奏的体育大会的视频数据、该乐曲被用作bgm的各种视频数据等。
109.即，根据本实施方式，能够从过去分发的各种多个视频内容中抽出满足预定的条件的视频内容，所以例如不仅能够简单地组合歌唱该乐曲的卡拉ok的多个视频数据，而且能够生成更具意外性的兴趣性高的多视频内容。
110.另外，以往例如在生成如上所述的有意外性的多视频内容时，内容制作者需要从过去涵盖多个范畴而分发的庞大的视频内容中依次研究依据标签、分发者等信息而缩减的多个视频内容，抽出视频数据。这个作业需要庞大的工夫和时间，而且由于基于分发者可知晓的信息来缩减视频内容的候选，所以难以找到有意外性的视频内容的组合。相对于此，根据本实施方式的内容分发服务器，内容制作者无需花费用于从庞大的视频内容中抽出视频数据的工夫和时间，而能够生成如上所述的有意外性且兴趣性高的内容，还能够针对收看者分发所生成的内容。
111.即，根据本实施方式，能够提供生成兴趣性高的视频内容的内容生成装置、内容分发服务器、内容生成方法以及内容生成程序。
112.接下来，参照附图，以下说明第2实施方式的包括内容分发服务器的内容分发系统的一个例子。
113.图8是概略地示出图1所示的内容分发服务器的其它结构例的图。
114.内容分发服务器20具备第1取得部21、第2取得部25、第1生成部22、分发部23、分发控制部24、开始帧确定部26以及第2生成部27。在本实施方式的内容分发服务器20中，第1取得部21、第2取得部25、开始帧确定部26以及第2生成部27的结构与上述第1实施方式不同。以下，主要说明与第1实施方式不同的结构，省略重复的说明。
115.本实施方式的内容生成装置包括第2取得部25、开始帧确定部26以及第2生成部27，既可以与内容分发服务器20一体地构成，也可以构成为在内容分发服务器20的外部与内容分发服务器20可通信地连接。
116.第1取得部21能够经由网络接收从内容分发终端10逐次发送的内容数据。例如，第1取得部21从内容分发终端10接收实时分发用的视频数据。另外，第1取得部21能够经由网络接收从收看者终端40逐次发送的注释等输入信息。第1取得部21将接收到的视频数据发送给第1生成部22以及第2取得部25。
117.此外，第1取得部21既可以将接收到的所有的视频数据发送给第2取得部25，也可以例如仅将包含预先设定的标签信息的视频数据发送给第2取得部25，还可以仅将预先设定的分发者的图像数据发送给第2取得部25，还可以例如仅将正在参加线上举办的预定的赛事的分发者的图像数据发送给第2取得部25。关于分发者是否正在参加赛事，例如既能够包含在附加于视频数据的标签信息，也能够事先登记参加赛事的分发者。
118.第2取得部25能够从第1取得部21接收视频数据，例如将接收到的视频数据、标签信息等作为检索条件而发送给内容存储服务器30。第2取得部25经由网络向内容存储服务器30要求满足预定的条件的至少1个视频内容的数据，并且从内容存储服务器30接收至少1个视频内容的数据。第2取得部25将从第1取得部21接收到的视频数据(第1视频数据)和从内容存储服务器30接收到的至少1个视频内容的数据(第2视频数据)发送给开始帧确定部
26和第2生成部27。此时，第2取得部25可将用于能够识别第1视频数据和第2视频数据的信息(标志等)附加到各视频数据，并发送给开始帧确定部26和第2生成部27。
119.此外，在内容分发服务器20的数据存储部所存储的视频内容的数据中有满足预定的条件的数据的情况下，第2取得部25也可以取得存储于数据存储部的视频内容的数据，并与从第1取得部21接收到的视频数据一起发送给开始帧确定部26和第2生成部27。
120.第2取得部25能够根据从第1取得部21接收到的视频数据，例如取得演奏相同的音乐的多个视频，或者取得赛马、自行车竞赛的多个转播视频，或者取得马拉松、游泳等竞技体育的多个视频，或者取得与相同的乐曲匹配的多个舞蹈视频，或者取得拍摄相同的游戏的画面而得到的多个视频，或者取得拍摄用游戏机玩游戏的样子而得到的多个视频。
121.开始帧确定部26从第2取得部25接收多个视频数据。开始帧确定部26关于接收到的多个视频数据，分别确定在再现影像中预定的动作开始的定时的帧(开始帧)。在此，关于预定的动作，例如能够采用预定的音乐的演奏、歌唱、舞蹈等动作、赛马或自行车竞赛等竞赛、马拉松或游泳比赛等体育运动、rpg、动作游戏、战斗游戏等游戏、弹球盘等游戏机的动作等。
122.开始帧确定部26在从第2取得部25接收到的多个视频数据中包含有表示预定的动作开始的定时的帧的标志时，能够将标志的位置确定为开始帧。
123.另外，开始帧确定部26能够根据从第2取得部25接收到的多个视频数据满足的条件来确定预定的动作，并确定预定的动作的开始帧。
124.另外，开始帧确定部26也可以通过相互比较从第2取得部25接收到的多个视频数据来确定开始帧。例如，开始帧确定部26能够利用在多个视频数据的再现图像中共同的乐曲开始的定时、在动作的开始定时发生的共同的声音等来确定开始帧。另外，例如开始帧确定部26在多个视频数据的再现图像中，能够根据预定的部分的色彩变化的定时、预定的部分的明亮度变化的定时等图像的共同的变化来确定开始帧。
125.开始帧确定部26也可以具备确定所输入的视频数据的开始帧的学习完毕模型。学习完毕模型例如是如下的学习完毕的模型：通过卷积神经网络(cnn：convolution neural network)等的深度学习，将满足预定的条件的视频数据作为输入，在视频数据的再现图像中确定与预定的动作开始的定时对应的帧。在设想检索视频数据的多个条件的情况下，开始帧确定部26可以具备与多个条件分别对应的多个学习完毕模型。
126.开始帧确定部26将表示关于多个图像数据分别确定的开始帧的信息发送给第2生成部27。开始帧确定部26也可以在对多个视频数据分别附加表示所确定的开始帧的标志之后，将多个视频数据发送给第2生成部27。在该情况下，能够省略从第2取得部25向第2生成部27发送多个视频数据的处理。
127.第2生成部27从第2取得部25接收多个视频数据，从开始帧确定部26接收表示开始帧的信息。第2生成部27构成为在画面上排列显示接收到的多个图像数据的再现图像，生成以使开始帧的定时一致的方式进行了编辑的多视频数据。
128.第2生成部27例如也可以使用阿尔法混合、画中画等公知的技术来合成多个视频数据。第2生成部27将生成的多视频数据发送给分发部23。此外，在多视频数据的再现图像中，多个再现图像的大小无需相同。第2生成部27将生成的多视频数据发送给分发部23。
129.分发部23与网络可通信地连接，能够从第1生成部22接收分发用图像数据，从第2
生成部27接收多视频数据，并分发给关于分发用图像数据和多视频数据分别受理了分发要求的收看者终端40。分发部23通过分发控制部24来控制例如分发用视频数据的分发目的地等。
130.此外，分发部23虽然也可以立即废弃已分发的分发用视频数据以及多视频数据，但例如也可以为了能够进行回放或者慢动作再现而缓冲预定期间。
131.另外，分发部23将分发的分发用视频数据以及多视频数据发送给内容存储服务器30。此时，分发部23能够与分发用视频数据以及多视频数据分别对应地从第1生成部22以及第2生成部27接收针对分发用视频数据以及多视频数据的输入信息(注释数等)、提出了收看要求的收看者终端40的数量、用于识别分发用视频数据以及多视频数据的信息(标签信息、分发者信息、分发期间、类型等)等，并将接收到的信息合起来发送给内容存储服务器30。
132.图9是用于说明一个实施方式的内容分发服务器的动作的一个例子的流程图。
133.图10是概略地示出从一个实施方式的内容分发服务器分发的多视频数据的再现图像的一个例子的图。
134.在此，参照图9以及图10，说明使用显示配合相同的乐曲来跳舞的人、化身的样子的多个视频数据而生成多视频数据时的内容分发服务器20的动作。
135.首先，内容分发服务器20的第2取得部25向内容存储服务器30要求与从第1取得部21接收到的视频数据对应的满足预定的条件的至少1个视频内容的数据，从内容存储服务器30接收至少1个视频数据(步骤sb1)。
136.在此，第2取得部25可以从第1取得部21接收舞蹈视频，例如将用于识别接收到的舞蹈视频的内容的标签信息、过去分发过舞蹈视频的内容的分发者信息、曲名、舞蹈的类型、舞者名、舞者的性别、分发的日期、从第1取得部21接收到的舞蹈视频数据、要求的视频数据的数量等作为检索条件，发送给内容存储服务器30。
137.第2取得部25将从第1取得部21接收到的舞蹈视频数据(第1视频数据)和从内容存储服务器30接收到的至少1个舞蹈视频数据(第2视频数据)发送给开始帧确定部26以及第2生成部27。此时，第2取得部25将用于能够识别第1视频数据和第2视频数据的信息(标志等)附加到各视频数据，并发送给开始帧确定部26以及第2生成部27。
138.开始帧确定部26关于从第2取得部25接收到的第1视频数据以及第2视频数据的各个视频数据，将与在再现图像中舞蹈开始的定时对应的帧确定为开始帧。开始帧确定部26例如既可以利用图像来识别乐曲或歌开始的定时而确定开始帧，也可以识别舞者的动作开始的定时来确定开始帧(步骤sb2)。
139.开始帧确定部26关于第1视频数据以及第2视频数据的各个视频数据，将视频数据的识别信息和开始帧的信息关联起来发送给第2生成部27。
140.第2生成部27从第2取得部25接收第1视频数据和第2视频数据，从开始帧确定部26接收与视频数据的识别信息关联起来的开始帧的信息，根据以使开始帧的定时一致的方式合成第1视频数据和第2视频数据得到的多视频数据而生成内容(步骤sb3)。第2生成部27将生成的多视频数据发送给分发部23。
141.此外，例如在舞蹈视频md1和舞蹈视频md2中乐曲的节奏(节拍的时间)不同的情况下，第2生成部27既可以与一个视频中的乐曲的节奏匹配地调整其它视频的再现速度，也可
以以使所有的视频中的乐曲的节奏成为预定的速度的方式调整所有的视频的再现速度。
142.分发部23将接收到的多视频数据发送给受理了分发要求的收看者终端40(步骤sb4)。此外，分发控制部24也可以控制分发部23，以使得对将针对第1视频数据的分发要求发送给内容分发服务器20的收看者终端40，分发多视频数据而代替第1视频数据。另外，也可以对于发送针对第1视频数据的分发要求的收看者终端40，进行选择分发第1视频数据和多视频数据中的哪个数据的要求，分发控制部24以分发由收看者终端40选择的视频数据的方式控制分发部23。
143.在图10中，概略性地示出合成2个舞蹈视频md1-md2而成的多视频数据的再现画面的一个例子。在这个例子中，例如排列配置从内容分发终端10发送的舞蹈视频md1和作为范本的舞蹈视频md2。例如通过以使舞蹈视频md1和舞蹈视频md2的舞蹈开始的定时一致的方式生成多视频数据，从而能够制作如比较内容分发者的舞蹈和范本的舞蹈那样的内容、犹如内容分发者和著名的舞者共同表演那样的内容。
144.此外，在图10中示出以不重叠的状态排列配置有多个视频md1-md2的例子，但多个视频md1-md2也可以以使至少一部分重叠的方式配置，还可以以使视频md1-md2中的至少1个透射而在其它视频上重叠的方式配置。另外，在图6中，在画面上舞蹈视频md1比舞蹈视频md2更大地显示，但多个视频被显示的大小不限于此，而能够根据显示于画面上的视频的数量来适当调整。
145.另外，使用第1视频数据和第2视频数据来生成的多视频数据不限定于组合多个舞蹈视频得到的数据，例如既可以组合游戏实况的多个视频，也可以组合陆上竞技、游泳等体育运动的实况的多个视频，还能够组合与演奏者演奏的音乐一起显示演奏的风采的多个视频。
146.例如，通过再现将对演奏不同的多个乐器的样子进行显示的多个视频组合而成的多视频数据，还能够生成犹如进行乐队演奏、管弦乐队演奏那样的内容。
147.另外，也可以将显示分发者(或者化身)歌唱歌谣曲的样子的视频数据作为第1视频，将显示歌唱该歌谣曲的歌手本人的视频数据作为第2视频数据。在该情况下，能够进行犹如分发者与歌手本人进行二重唱那样的显示。
148.如上所述，根据本实施方式，内容分发服务器20能够取得从内容分发终端10接收到的第1视频数据以及与第1视频数据对应的满足预定的条件的至少1个第2视频数据，根据以使预定的动作开始的定时一致的方式合成第1视频数据和第2视频数据得到的多视频数据而自动地生成内容。因此，例如在组合包括过去的视频内容的多个视频内容来制作新的视频内容时，能够节省从庞大的数量的过去的内容中选择适合的内容、或者进行用于向新的视频内容嵌入过去的视频内容的编辑作业这样的工夫。
149.另外，在多视频数据的生成中使用的第2视频数据由于是从满足预定的条件的视频数据中自动地抽出的，所以与上述第1实施方式同样地，有可能抽出如内容制作者或收看者意想不到的有意外性的组合的第2视频数据，可以生成兴趣性高的视频内容。
150.即，根据本实施方式，能够提供生成兴趣性高的视频内容的内容生成装置、内容分发服务器、内容生成方法以及内容生成程序。
151.此外，本发明不限定于上述实施方式，能够在实施阶段中在不脱离其要旨的范围中进行各种变形。另外，也可以适当组合来实施各实施方式，在该情况下可得到组合的效
果。而且，在上述实施方式中包括各种发明，能够通过从公开的多个构成要件选择的组合来提取各种发明。例如，在从实施方式所示的全部构成要件删除若干个构成要件也能够解决课题并得到效果的情况下，能够提取删除了该构成要件的结构作为发明。