节目制作装置、节目制作方法以及记录介质与流程

1.本技术发明涉及节目制作装置、节目制作方法以及记录介质，尤其涉及生成使用角色(character)的节目数据的节目制作装置等。


背景技术：

2.申请人例如像专利文献1和2等所述那样研究开发了利用制作者输入的信息来制作使用角色的节目的系统。
3.现有技术文献
4.专利文献1：日本专利第4725936号公报
5.专利文献2：日本专利第4725918号公报


技术实现要素：

6.发明所要解决的问题
7.然而，专利文献1和2等所记载的技术没有充分地对将发布(传送)、播送(广播)节目的人们(广播机构等)和/或观众(视听者)的信息反映到节目中进行研究。
8.为此，本技术发明的目的在于，提出适合于将发布/播送节目和观看(视听)节目的人们的信息反映到节目中的节目制作装置等。
9.用于解决问题的技术方案
10.本技术发明的第1观点是一种生成使用角色的节目数据的节目制作装置，具备：表演决定部，其决定使用所述角色的表演；以及节目制作部，其使用所述表演生成所述节目数据，所述表演决定部根据所述节目数据的文件格式，调整所述角色的动作以及/或者调整所述角色的台词、背景音乐(bgm)和效果音中的至少一方来决定所述表演。
11.本技术发明的第2观点根据第1观点的节目制作装置，在制作者指示了不进行与文件格式相应的调整的情况下，所述表演决定部决定对于多个文件格式共通的所述表演，在制作者指示了进行与文件格式相应的调整的情况下，所述表演决定部根据各个文件格式，调整所述角色的动作以及/或者调整所述角色的台词、背景音乐和效果音中的至少一方来决定所述表演。
12.本技术发明的第3观点根据第2观点的节目制作装置，在制作者指示了不进行与文件格式相应的调整的情况下，所述节目制作部，使用所述表演生成与用于实现该节目制作装置的计算机的操作系统相关联的文件格式的第1节目数据，将所述第1节目数据进行转换而生成其他文件格式的节目数据。
13.本技术发明的第4观点根据第3观点的节目制作装置，所述节目制作部在将所述第1节目数据进行转换而生成其他文件格式的节目数据时，根据转换后的文件格式调整所述第1节目数据中的字幕的显示。
14.本技术发明的第5观点根据第1观点的节目制作装置，该节目制作装置还具备制作动态数据的动态数据处理部，所述节目制作部不使用所述动态数据而生成第3节目数据，在
生成了所述第3节目数据后，所述表演决定部使用所述动态数据决定所述表演，所述节目制作部使用所述动态数据制作第4节目数据。
15.本技术发明的第6观点是一种生成使用角色的节目数据的节目制作方法，包括：表演决定步骤，信息处理装置所具备的表演决定部决定使用所述角色的表演；以及节目制作步骤，信息处理装置所具备的节目制作部使用所述表演生成所述节目数据，在所述表演决定步骤中，所述表演决定部根据所述节目数据的文件格式，调整所述角色的动作以及/或者调整所述角色的台词、背景音乐和效果音中的至少一方来决定所述表演。
16.本技术发明的第7观点根据第6观点的节目制作方法，在所述表演决定步骤中，在制作者指示了不进行与文件格式相应的调整的情况下，所述表演决定部决定对于多个文件格式共通的所述表演，在制作者指示了进行与文件格式相应的调整的情况下，所述表演决定部根据各个文件格式，调整所述角色的动作以及/或者调整所述角色的台词、背景音乐和效果音中的至少一方来决定所述表演。
17.本技术发明的第8观点根据第7观点的节目制作方法，在所述表演决定步骤中，在制作者指示了不进行与文件格式相应的调整的情况下，所述节目制作部，使用所述表演生成与用于实现该节目制作装置的计算机的操作系统相关联的文件格式的第1节目数据，将所述第1节目数据进行转换而生成其他文件格式的节目数据。
18.本技术发明的第9观点根据第8观点的节目制作方法，所述节目制作部在将所述第1节目数据进行转换而生成其他文件格式的节目数据时，根据转换后的文件格式调整所述第1节目数据中的字幕的显示。
19.本技术发明的第10观点根据第7观点的节目制作方法，信息处理装置具备制作动态数据的动态数据处理部，所述节目制作方法包括：第1表演决定步骤，所述表演决定部不使用所述动态数据而决定使用所述角色的表演；第1节目制作步骤，所述节目制作部使用所述表演生成所述第3节目数据；第2表演决定步骤，所述表演决定部使用所述动态数据决定使用所述角色的表演；以及第2节目制作步骤，所述节目制作部使用所述表演生成所述第4节目数据。
20.本技术发明的第11观点是一种记录用于使计算机作为第1观点的节目制作装置而发挥功能的程序的计算机可读的记录介质。
21.此外，也可以将本技术发明作为如下节目制作装置以及该节目制作装置中的节目制作方法等来理解，所述节目制作装置是具备生成节目数据的节目制作部的节目制作装置，具备制作动态数据的动态数据处理部，所述节目制作部不使用所述动态数据而生成第3节目数据，在生成了所述第3节目数据后所述表演决定部使用所述动态数据制作第4节目数据。
22.发明效果
23.申请人着眼于发布/播送节目的、观众观看节目的环境表现在节目数据的文件格式上这一点。根据本技术发明的各观点，能够根据节目数据的文件格式，适当地决定使用角色的表演。
24.再者，例如在通过电视播送的情况下，需要是按照预先确定的标准的数据。根据本技术发明，能够根据节目数据的文件格式生成节目数据，例如能够实现生成动态图像而在互联网上发布的同时通过电视进行现场直播等。
附图说明
25.图1的(a)是表示本技术发明的实施方式涉及的节目制作装置1的构成的一例的框图，(b)是表示节目制作装置1的工作的一例的流程图。
26.图2是表示本技术发明的另一实施方式涉及的节目制作系统的构成的一例的框图。
27.图3是表示本技术发明的另一实施方式涉及的节目制作系统的工作的一例的流程图。
具体实施方式
28.以下，参照附图，对本技术发明的实施例进行说明。此外，本技术发明并非限定于该实施例。
29.实施例
30.图1的(a)是表示本技术发明的实施方式涉及的节目制作装置1的构成的一例的框图，(b)是表示节目制作装置1的工作的一例的流程图。
31.节目制作装置1具备输入部3、表演决定部5(本技术权利要求的“表演决定部”的一例)、节目制作部7(本技术权利要求的“节目制作部”的一例)、输出部9、输入数据存储部11、表演数据存储部13、素材数据存储部15以及节目数据存储部17。
32.输入部3由制作者进行输入数据的输入。输入数据存储部11存储输入数据。输入数据包括用于制作节目的节目制作数据、和与输出的节目数据的文件格式有关的输出指定数据。
33.表演数据存储部13存储表演决定部5为了决定表演所使用的表演数据。表演数据例如包含：用于对节目制作数据中的与角色等有关的信息(角色的台词和/或动作的指定、关于与角色同时提示的资料的信息等)进行感情分析的信息、确定用于表达特定感情的角色的动作(表情和/或姿态等)的信息、确定表达特定感情而叙述台词时的口形的信息、用于表达特定感情的说台词时的抑扬顿挫等的信息、用于表达特定感情的背景音乐和/或效果音的效果等的信息等。
34.表演决定部5利用制作者输入的信息，参照表演数据，分析应该表达的感情信息等，决定角色的动作以及台词、背景音乐、效果音等表演(参照专利文献1等)。此外，表演例如也可以包括灯光、相机位置等。
35.素材数据存储部15存储节目制作部7为了制作节目数据所使用的素材数据。素材数据例如包含确定字符(character)的形状的信息、用于说出台词的声音信息、背景音乐和/或效果音等声音信息等。
36.节目制作部7利用素材数据存储部15所存储的素材数据，按照表演决定部5所决定的表演，生成节目数据。节目数据存储部17存储节目制作部7所制作的节目数据(参照专利文献1等)。
37.输出部9将节目数据存储部17所存储的节目数据利用互联网发布到观众利用的信息处理终端(智能手机等)、或通过广播机构在电视上播送，显示给观众。
38.节目数据在本例中为动态图像数据，至少包括影像数据、声音数据和字幕数据。影像数据是确定随着时间经过进行显示的显示图像的数据。声音数据是确定随着时间经过进
行再现的声音的数据。字幕数据是确定与影像数据一起显示的字幕的数据。
39.在本实施例中，节目数据存储部17按文件格式不同，存储n个节目数据(n为2以上的自然数)。将第n文件格式的节目数据(n为1～n的自然数)称为“第n节目数据”。第n节目数据21
n
包括第n影像数据23
n
、第n声音数据25
n
和第n字幕数据27
n
。以下，设n为3。
40.第1节目数据211与实现节目制作装置1的计算机的操作系统(os)相关联。例如在操作系统(os)为windows(注册商标)的情况下，是windows媒体格式等。在以windows作为操作系统的pc上，可期待易实现生成这种文件格式的节目数据的处理。
41.第2节目数据例如像mp4视频文件格式等那样一般在互联网上流通时使用。通常，为了减小文件容量，与第1节目数据相比信息量变得较少。
42.第3节目数据是依照各行业制定的标准的数据。例如是广播行业的mxf(素材交换格式)文件格式的节目数据等。在mxf文件格式中，制定了各种标准。例如为了使声音大小不会由于节目而极端不同，规定了声音大小的范围。另外，为了使字幕在电视等上适当地显示，规定了字幕的显示范围。在第1节目数据和第2节目数据等中没有制定这样的标准。
43.通常，第1节目数据和第2节目数据不受标准的限制。因此，只要生成适合于操作系统的第1节目数据并将其转换为第2节目数据，就能够获得第1节目数据以及第2节目数据。
44.另一方面，关于第3节目数据，例如如果进行电视播送则需要变更声音的大小、变更字幕的显示方法以符合mxf文件格式的标准。通常，单纯进行转换是不够的，要由人工进行变更以使其符合标准。作为结果，事实上，即使制作第1节目数据，也难以将其转换为第3节目数据而在电视上进行现场直播。
45.此外，也可考虑制作第3节目数据而将其转换为第1节目数据以及第2节目数据。然而，在mxf文件格式中，声音、字幕等有独特的限制，导致第1节目数据以及第2节目数据变为受到不必要地限制的状态。
46.发明人着眼于节目数据的文件格式与进行发布/播送的环境和观众观看的环境相关联。例如主持人说话的节奏，电视节目中的与在舞台等观众在眼前的环境里的可能会大不相同。同样，当前的观众即使将适合于在互联网上观看的节目数据直接原样地在电视上再现也很可能会有不适感。在本实施例中，节目制作部7考虑生成的节目数据的文件格式，通过使用表演决定部5所决定的表演制作节目数据，能够减少广播机构等的工作，并且能够制作反映出观众的观看环境的节目数据。
47.但是，例如在同时发布及播送那样的情况下，根据节目，有时也可能希望能够在电视等观看与互联网上的节目数据相同内容的节目。为此，在本实施例中，节目制作装置1的制作者也可以指示制作对于多个文件格式共通的内容的节目数据。在该情况下，节目制作部7在满足由各个文件格式要求的限制的基础上，制作共通的内容的节目数据。
48.参照图1的(b)，对图1的(a)的节目制作装置1的工作的一例进行说明。
49.首先，制作者使用输入部3至少输入节目制作数据和输出指定数据(步骤st1)。以下，为了具体进行说明，假设节目制作数据为角色说出“一直以来，谢谢你。(日语：
いつもありがとう
。)”这一台词和显示其字幕。假设输出指定数据为输出mp4视频文件格式以及mxf文件格式。对制作者指定制作共通的内容的节目数据的情况和不指定制作共通的内容的节目数据的情况进行说明。
50.节目制作部7判定在输出指定数据中是否指定了制作共通的内容的节目数据(步
骤st2)。
51.对在输出指定数据中指定了制作共通的内容的节目数据的情况进行说明。在该情况下，步骤st2的判定为“是”。
52.表演决定部5决定对于多个文件格式共通的表演(步骤st3)。例如，首先分析“一直以来谢谢你。”(英语中为thank you for always being nice to me.)这一台词。从“一直以来”(英语中为always)的部分，提取形成了反复和/或持续的人际关系这一情况。从“谢谢你”(英语中为thank you)的部分提取“感谢”等正面的感情。表演决定部5决定一边做出“基于持续的信赖关系而传达感谢”的动作一边说出“一直以来谢谢你。”这一台词，作为利用角色的表演。而且，决定与此相符的背景音乐和效果音。
53.节目制作部7依据表演决定部5所决定的表演，生成第1节目数据211(步骤st4)。具体而言，作为第1影像数据231，使角色与“基于持续的信赖关系而传达感谢”的动作对应地活动。作为第1声音数据251，播放“一直以来谢谢你。”这一台词的语音，并播放背景音乐和/或效果音，以使得“基于持续的信赖关系而传达感谢”。作为第1字幕数据271，显示“一直以来谢谢你。”这一字幕。
54.节目制作部7将第1节目数据211转换为第2节目数据212以及第3节目数据213(步骤st5)。将第1节目数据211转换为第2节目数据212的处理能够通过进行一般的文件格式的转换的处理来实现。在向第3节目数据213转换的处理中，例如调整第1声音数据251的大小而成为第3声音数据253，并且调整第1字幕数据271的显示的显示位置等而成为第3字幕数据273，以使得符合标准。由此，第1节目数据211、第2节目数据212以及第3节目数据213是使用了共同表演的内容的节目数据。
55.此外，也可以基于相同的表演，分别制作多个文件格式的节目数据。在该情况下，也可以并行地制作多个节目数据。
56.对在输出指定数据中没有指定制作共通的内容的节目数据的情况进行说明。在该情况下，步骤st2的判定为“否”。
57.表演决定部5针对第2节目数据决定表演(步骤st6)。从“一直以来谢谢你。”这一台词提取“持续的信赖关系”以及“感谢这一感情”。第2节目数据被用于在互联网上的发布等。在该情况下，例如如果用智能手机进行观看，观众为了在移动的环境等中观看，有可能没有持续地看着画面。这样，听觉信息变得重要，另外，优选视觉信息是只要看一部分就能传达最想传达的感情的方式。因此，认为使得角色通过动作及台词强烈地持续表达为了传达的“感谢”等正面的感情是有效的。为此，表演决定部5决定表演以使得包括“一直以来”的阶段在内通过角色的动作以及台词、背景音乐、效果音等来表达“感谢”的感情而辅助地表达“信赖关系”。
58.节目制作部7依据表演决定部5所决定的表演，生成第1影像数据231、第1声音数据251以及第1字幕数据271而生成第1节目数据211。节目制作部7将第1节目数据211的第1影像数据231、第1声音数据251以及第1字幕数据271进行转换，分别作为第2节目数据212的第2影像数据232、第2声音数据252以及第2字幕数据272，生成第2节目数据212(步骤st7)。
59.节目制作部7判定是否生成了所有文件格式的节目数据(步骤st8)。如果生成了所有文件格式，则结束处理。如果有未生成的文件格式，则返回至步骤st6。
60.在本例中，由于没有生成第3节目数据213，因此为“否”，返回至步骤st6。
61.表演决定部5针对第3节目数据决定表演(步骤st6)。从“一直以来谢谢你。”这一台词提取“持续的信赖关系”以及“感谢这一感情”。第3节目数据213例如被用于电视播送。在该情况下，观众处于持续观看的环境，很可能将视觉信息作为整体来把握。这样，角色能够确认与观众的“信赖关系”之后传达“感谢”。因此，角色用“一直以来”这一台词形成严肃的认真的气氛并且在“谢谢。”的部分礼貌地细致地表达“感谢”等正面的感情是有效的。为此，表演决定部5使得通过角色的动作以及台词、背景音乐、效果音等，在“一直以来”的阶段表达信赖关系，并在“谢谢”的阶段强烈地表达“感谢”。
62.节目制作部7依据表演决定部5所决定的表演，以符合第3节目数据213的标准的方式生成第1影像数据231、第1声音数据251以及第1字幕数据271而生成第1节目数据211。节目制作部7将第1节目数据211的第1影像数据231、第1声音数据251以及第1字幕数据271进行转换，分别作为第3节目数据213的第3影像数据233、第3声音数据253以及第3字幕数据273，生成第3节目数据213(步骤st7)。
63.节目制作部7判定是否生成了所有文件格式的节目数据(步骤st8)。生成所有文件格式后，结束处理。
64.此外，节目数据存储部17例如也可以将相同的文件格式而压缩度不同的数据等作为不同的节目数据进行存储。另外，在图1的例子中，说明了依次生成第2节目数据212以及第3节目数据213等的情况，但也可以并行地制作多个节目数据。
65.图2和图3分别是表示本技术发明的另一实施方式涉及的节目制作系统的构成的一例的框图和表示该节目制作系统的工作的一例的流程图。
66.参照图2，节目制作系统100具备节目制作装置101以及再现装置141。节目制作装置101与再现装置141例如能够利用互联网等进行通信。
67.节目制作装置101具备输入部103、表演决定部105、节目制作部107、输出部109、输入数据存储部111、表演数据存储部113、素材数据存储部115以及节目数据存储部117。输入部103、表演决定部105、节目制作部107、输出部109、输入数据存储部111、表演数据存储部113、素材数据存储部115以及节目数据存储部117原则上分别与输入部3、表演决定部5、节目制作部7、输出部9、输入数据存储部11、表演数据存储部13、素材数据存储部15以及节目数据存储部17是同样的。以下，对不同的部分进行说明。
68.节目制作装置101还具备动态数据处理部131、索引数据处理部133、基本脚本(scenario)存储部135、动态数据存储部137以及索引数据存储部139。
69.再现装置141具备个别数据处理部143、节目选择部145以及节目再现部147。
70.基本脚本存储部135存储基本脚本。
71.素材数据存储部115存储制作节目时使用的数据。例如是事先录制的声音数据和/或影像数据、表示效果音和/或背景音乐等的声音数据、和在现场直播和/或视频直播等中与节目制作同时采集的声音数据和/或影像数据等。节目制作部107管理素材数据。例如在现场直播和/或视频直播等中，收集由录音设备在与节目制作同时采集的声音数据，并使素材数据存储部115存储。
72.动态数据处理部131在到节目制作部107开始进行制作下个节目的处理之前，收集为了制作下个节目所需的信息，制作动态数据。在此，动态数据的制作例如既可以利用新收集到的信息进行，也可以通过利用新收集到的信息将根据以前收集到的信息所制作的动态
数据进行更新来进行。动态数据存储部137存储动态数据。
73.节目制作部107使用基本脚本、素材数据以及动态数据，进行感情分析等所需的处理而生成节目，并生成确定所生成的节目的节目数据。节目数据存储部117存储节目制作部107所制作的节目数据。
74.索引数据处理部133在节目制作部107制作了多个节目数据的情况下，制作表示各节目数据的特征的索引数据。索引数据存储部139存储索引数据。
75.输出部109向再现装置141发送节目数据。
76.在再现装置141中，个别数据处理部143生成与再现装置141的使用环境相应的个别数据。个别数据例如利用gps等确定再现装置141所在的地区，或从再现装置141的利用者的对话中确定利用者感兴趣的事项，或确定利用者的指示。动态数据处理部131也可以收集个别数据而生成动态数据。
77.节目选择部145在有多个节目数据的情况下，利用索引数据和个别数据选择要再现的节目数据。
78.节目再现部147从输出部109接收节目数据，再现节目数据所确定的节目。例如如果再现装置141是再现声音的装置(例如人工智能(ai)扬声器(智能音箱)等)，则再现由节目数据确定的声音。例如如果再现装置141是再现影像和声音的装置(例如电视等)，则再现由节目数据确定的声音和影像。
79.参照图3的(a)，对节目制作部21的制作节目数据的处理的一例进行说明。节目制作部107在到制作节目之前待机(步骤sta1)。
80.节目制作部107在制作节目的情况下(步骤sta1中“是”的情况下)，不使用动态数据而使用基本脚本的一部分或者全部生成节目，并生成确定所生成的节目的节目数据(步骤sta2)。具体的节目的生成例如依照图1的(b)的处理。在此，并行地，通过步骤stb2，动态数据处理部25生成动态数据。节目数据存储部19存储所生成的节目数据。
81.节目制作部21判断是否使用动态数据(步骤sta3)。
82.如果使用动态数据，则使用基本脚本的一部分或者全部和动态数据生成节目，并生成确定所生成的节目的节目数据(步骤sta4)。具体的节目的生成例如依照图1的(b)的处理。节目数据存储部117存储所生成的节目数据。如果生成的节目数据有多个，则索引数据处理部135生成表示所生成的各节目的特征的索引数据。索引数据存储部139存储索引数据。进入步骤sta6。
83.如果不使用动态数据，则不使用动态数据而使用基本脚本的一部分或者全部生成节目，并生成确定所生成的节目的节目数据(步骤sta4)。节目数据存储部19存储所生成的节目数据。进入步骤sta6。
84.在步骤sta6中，判断是否结束制作节目的处理。如果结束，则回到步骤sta1。如果不结束，则回到步骤sta3。
85.参照图3的(b)，对动态数据处理部131的制作动态数据的处理的一例进行说明。动态数据处理部131在到制作节目的处理开始之前待机(步骤stb1)。动态数据处理部131在制作节目的处理开始的情况下(步骤stb1中“是”的情况下)，生成动态数据(步骤stb2)。动态数据存储部137存储所生成的动态数据。动态数据处理部131判断制作节目的处理是否已结束(步骤stb3)。如果已结束，则回到步骤stb1。如果没有结束，则回到步骤stb2。
86.参照图3的(c)，对再现装置141的工作的一例进行说明。个别数据处理部143持续地管理个别数据。节目再现部35在到开始进行再现节目的处理之前待机(步骤stc1)。节目再现部147在开始进行再现节目的处理的情况下(步骤stc1中“是”的情况下)，判断所生成的节目数据是否有多个(步骤stc2)。如果为一个，则进入步骤stc4。如果为多个，则节目选择部145使用个别数据和索引数据，从生成的多个节目数据中选择进行再现的节目数据(步骤stc3)，并进入步骤stc4。在步骤stc4中，节目再现部147从输出部109接收进行再现的节目数据，再现节目。节目再现部147判断再现节目的处理是否已结束(步骤stc5)。如果已结束，则回到步骤stc1。如果没有结束，则回到步骤stc2。
87.通过图2和图3的系统，例如能够实现发生灾害时的现场直播等。关于灾害信息，一般而言很多观众/听众关心的信息是共通的。例如，在哪儿、发生了怎样的灾害是共通的关心事项。另一方面，特定地区没有发生灾害这一信息通常因观众/听众而异。例如在日本，台风通常从西向东移动。这样，在台风接近了位于西边的九州时，居住在位于东边的关东的普通观众/听众所关心的内容不是台风是否在关东发生灾害，而是台风是否会接近关东。另外，可以根据在九州产生的损害的状况预测台风接近关东的情况下会产生的损害的状况。这些内容对于很多观众/听众是共通的。根据经验，认为共通的部分为70％左右。另一方面，在九州有熟人的人可能会关心熟人居住的地方是否发生了灾害。在本例中，能够通过基本脚本传达共通的内容，并且利用动态数据应对个别的关心事项。
88.标号说明
89.1节目制作装置；3输入部；5表演决定部；7节目制作部；9输出部；11输入数据存储部；13表演数据存储部；15素材数据存储部；17节目数据存储部；21
n
第n节目数据；23
n
第n影像数据；25
n
第n声音数据；27
n
第n字幕数据；100节目制作系统；101节目制作装置；3输入部；5表演决定部；7节目制作部；9输出部；11输入数据存储部；13表演数据存储部；15素材数据存储部；17节目数据存储部；21
n
第n节目数据；23
n
第n影像数据；25
n
第n声音数据；27
n
第n字幕数据。