内容处理装置、内容处理方法和内容处理程序与流程

1.本技术涉及内容处理装置、内容处理方法和内容处理程序。


背景技术：

2.近年来，归因于个人计算机、智能电话机等的性能的提高，以及视频编辑技术的提高，不具备专业知识或技术的用户也可以轻松地编辑视频并生成新的视频内容的现象已经变得普遍。此外，作为能够有效地生成内容的技术，提出了一种基于按照预定时间轴记录的多个信息来创建新内容，并且可以在不操心用于同步显示多个信息的时间的情况下进行编辑等的技术(专利文献1)。
3.引文列表
4.专利文献
5.专利文献1：日本专利申请公开no.2003-87727


技术实现要素：

6.本发明要解决的问题
7.然而，即使视频内容的编辑已变得常见，并且提出了能够以各种方式高效地编辑和创建视频内容的技术，仍然存在编辑视频内容需要劳力的问题。
8.鉴于这一点产生了本技术，本技术的目的是提供一种仅仅通过指定包含在作为素材的内容中的要素，就能够生成包含该要素的新内容的内容处理装置、内容处理方法和内容处理程序。
9.问题的解决方案
10.为了解决上述问题，第一技术是一种内容处理装置，所述内容处理装置包括内容处理器，所述内容处理器基于用户从指示素材内容的一个或多个要素的多个操作对象当中选择的一个或多个操作对象的状态来生成新内容。
11.此外，第二技术是一种内容处理方法，包括基于用户从指示素材内容的一个或多个要素的多个操作对象当中选择的一个或多个操作对象的状态来生成新内容。
12.此外，第三技术是一种能够使计算机执行内容处理方法的内容处理程序，所述内容处理方法包括基于用户从指示素材内容的一个或多个要素的多个操作对象当中选择的一个或多个操作对象的状态来生成新内容。
附图说明
13.图1是图解说明设备100的构成的框图。
14.图2是图解说明内容处理装置200的构成的框图。
15.图3是ui的概况的说明图。
16.图4是ui的概况的说明图。
17.图5是ui中的预览显示的说明图。
18.图6是新内容生成的概况的说明图。
19.图7是ui中的图标的状态和要生成的新内容的说明图。
20.图8是ui中的图标的状态和要生成的新内容的说明图。
21.图9是ui中的图标的状态和要生成的新内容的说明图。
22.图10是图标的尺寸和场景的量的说明图。
23.图11是ui中的图标的状态和要生成的新内容的说明图。
24.图12是ui中的图标的状态和要生成的新内容的说明图。
25.图13是不预先设定内容的长度的情况下的图标的尺寸的说明图。
26.图14是预先设定内容的长度的情况下的图标的尺寸的说明图。
27.图15是预先设定内容的长度的情况下的图标的尺寸的说明图。
28.图16是本技术的应用例中的ui的说明图。
具体实施方式
29.下面，参考附图说明本技术的实施例。注意，将按照以下顺序进行说明。
30.《1.实施例》
31.[1-1.设备100的构成]
[0032]
[1-2.内容处理装置200的构成]
[0033]
[1-3.内容处理装置200中的处理]
[0034]
[1-3-1.ui的构成]
[0035]
[1-3-2.新内容的生成处理]
[0036]
《2.应用例》
[0037]
《3.变形例》
[0038]
《1.第一实施例》
[0039]
[1-1.设备100的构成]
[0040]
首先，参考图1说明设备100的构成。设备100包括控制单元101、接口102、存储单元103、输入单元104、显示单元105、扬声器106和内容处理装置200。
[0041]
控制单元101包括中央处理器(cpu)、随机存取存储器(ram)、只读存储器(rom)等。cpu通过按照存储在rom中的程序执行各种处理并发出命令，控制整个设备100和各个单元。
[0042]
接口102是与其他装置、因特网等的接口。接口102可以包括有线或无线通信接口。此外，更具体地，有线或无线通信接口可以包括诸如3tte之类的蜂窝通信、wi-fi、蓝牙(注册商标)、近场通信(nfc)、以太网(注册商标)、高清多媒体接口(hdmi)(注册商标)、通用串行总线(usb)等。此外，在设备100的至少一部分和内容处理装置200的至少一部分由同一装置实现的情况下，接口102可以包括装置内的总线、程序模块内的数据参考等(这些在下文中也被称为装置内的接口)。此外，在设备100和内容处理装置200以分布式方式在多个装置中实现的情况下，接口102可以包括针对相应装置的不同类型的接口。例如，接口102可以包括通信接口和装置内的接口两者。
[0043]
存储单元103例如是诸如硬盘或闪存之类的大容量存储介质。存储单元103存储由设备100使用的各种应用、数据等。此外，可以存储要由内容处理装置200处理的内容或由内容处理装置200生成的新内容。
[0044]
输入单元104由用户用来向设备100输入各种指令。当用户对输入单元104进行输入时，与该输入相应的输入信息被提供给控制单元101。然后，控制单元101进行与输入信息对应的各种处理。此外，输入信息还被提供给内容处理装置200，并且内容处理装置200进行与输入信息相应的处理。代替物理按钮，输入单元104可以使用与显示单元105一体形成的触摸面板、通过语音识别的语音输入、通过人体识别的手势输入等。
[0045]
显示单元105是显示内容、图像/视频、用于生成新内容的用户界面(ui)、由内容处理装置200生成的新内容等的显示器。ui的细节将在后面说明。
[0046]
扬声器106输出视频内容的声音、声音内容、用户界面用声音等。
[0047]
设备100可以是诸如智能电话机、个人计算机、平板终端、物联网(iot)设备或可穿戴式设备100之类的能够接收来自用户的输入、并向用户显示和呈现内容的任意装置。
[0048]
[1-2.内容处理装置200的构成]
[0049]
接下来，参考图2说明内容处理装置200的构成。内容处理装置200包括ui处理器201和内容处理器202。注意，在本实施例中，将在假设内容是视频内容的情况下进行说明。此外，内容处理装置200根据现有内容生成新内容，现有内容将被称为素材内容，而要生成的新内容将被称为新内容。素材内容的例子是拍摄到的视频。
[0050]
用户经由ui输入的输入信息、素材内容的数据以及素材内容的检测信息从设备100提供给内容处理装置200。检测信息包括通过已知的被摄体检测处理或面部检测处理检测的关于作为素材内容的要素的人物、物体等的被摄体信息。此外，检测信息包括通过已知的笑脸检测处理检测的关于作为素材内容的要素的人物的笑脸、笑脸的程度等的笑脸信息。此外，检测信息包括通过已知的运动检测处理或场景检测处理检测的作为素材内容的要素的被摄体的运动信息、特定场景信息等。此外，检测信息包括通过已知的颜色检测处理检测的关于作为素材内容的要素的被摄体或背景的颜色的信息，颜色信息包括rgb、亮度、色差等。此外，检测信息包括通过已知的声音检测处理检测的关于作为素材内容的要素的声音的类型、声音的大小等的声音信息。
[0051]
检测信息包括包含在各种检测处理中检测到的要素的场景在素材内容中的起点和终点，还包括场景的长度信息。此外，检测信息包括包含在各种检测处理中检测到的要素的所有场景的总量。注意，检测处理可以由设备100进行，可以由除设备100以外的外部装置进行并提供给设备100，或者可以由内容处理装置200进行。在设备100或内容处理装置200进行检测处理的情况下，优选当被供给素材内容时，生成用于自动对素材内容进行检测处理的检测信息。
[0052]
ui处理器201在设备100的显示单元105上显示用于生成运动图像的ui，并且进行按照用户的输入改变ui的处理。
[0053]
内容处理器202基于供给的一个或多个素材内容的数据、素材内容的检测信息以及输入信息来生成并输出新内容。素材内容可以从设备100提供给内容处理器202，或者可以经由网络等，从除设备100以外的外部装置、外部服务器等提供。
[0054]
如上所述构成内容处理装置200。内容处理装置200通过执行程序来实现，程序可以预先安装到设备100中，或者可以通过下载、存储介质等进行分发，并由用户等安装。此外，内容处理装置200可以在与设备100不同的外部装置，例如服务器、云等中操作。此外，内容处理装置200不仅可以用程序来实现，而且可以通过具有该功能的硬件，用专用装置、电
路等的组合来实现。
[0055]
[1-3.内容处理装置200中的处理]
[0056]
[1-3-1.ui的构成]
[0057]
接下来，参考图3和4说明显示在显示单元105上的ui的构成。ui包括图标显示区301和编辑区302。此外，ui包括作为标签切换按钮的人物标签按钮303和内容标签按钮304、顺序设定按钮305、预览播放按钮306和导出按钮307。
[0058]
图标显示区301是显示指示通过检测处理，从素材内容中检测到的要素的图标的列表的区域。图标所指示的素材内容的要素包括被摄体(人物、物体等)、动作、颜色等。在本实施例中，人物的面部的图标指示作为从素材内容中检测到的要素的人物，动作标记的图标指示作为从素材内容中检测到的要素的人物的动作，颜色名称的图标指示作为从素材内容中检测到的要素的颜色。
[0059]
在图标显示区301中，通过对标签选择按钮的输入可以切换显示内容。在本实施例中，如图3中图解所示，当选择人物标签按钮303时，使图标显示区301进入显示指示在内容中检测到的人物的图标列表的状态。此外，如图4中图解所示，当选择内容标签按钮304时，使图标显示区301进入显示指示在素材内容中检测到的动作和颜色的图标列表的状态。图标对应于权利要求书中的操作对象。
[0060]
作为素材内容的要素的动作例子例如包括吃、走、跑、说话、睡觉、驾驶等。注意，这里说明的动作的例子仅仅是示例性的，动作可以是可通过已知的检测处理检测的任何其他动作。
[0061]
内容的颜色是与构成作为视频的素材内容的场景的多个帧图像中的像素的平均颜色最接近的颜色。此外，颜色可以是帧图像中以像素为单位占据最大区域的颜色等。
[0062]
当素材内容和检测到的信息被提供给内容处理装置200时，ui处理器201从构成素材内容的帧中裁剪指示由检测信息指示的素材内容的要素的图像，并将图像的列表作为图标显示在图标显示区301中。
[0063]
如图3b和4b中图解所示，编辑区302是用户布置来自图标显示区301的图标，并且进一步改变图标的状态以确定要由内容处理器202生成的新内容的细节的区域。用户可以通过例如拖放将任意图标从图标显示区301移动到编辑区302并布置该图标。
[0064]
基于输入信息的编辑区302中的图标的状态信息被提供给内容处理器202，内容处理器202基于该状态信息生成新内容。注意，在图标显示区301中可以浅色地或者小尺寸地显示从图标显示区301移动到编辑区302的图标，以便能够与未被移动的其他图标区分开，使得能够识别出该图标已被移动。
[0065]
当图标被布置在编辑区302中时，包括由该图标指示的素材内容的要素的场景被并入新内容中。例如，当将人物的图标移动到编辑区302时，在素材内容中出现该图标所指示的人物的场景被并入新内容中。
[0066]
此外，编辑区302中的图标的尺寸对应于包括该图标所指示的素材内容的要素的场景在新内容中的量。于是，当图标被放大时，在新内容中包括该图标所指示的要素的场景的量增大，而当图标被缩小时，在新内容中包括该图标所指示的要素的场景的量减小。图标的尺寸的细节将在后面说明。
[0067]
此外，当在编辑区302中使多个图标处于重叠状态时，从素材内容中提取包含由所
述多个图标分别指示的要素的场景来生成新内容。例如，在重叠人物a的图标和人物b的图标的情况下，从素材内容中提取出现人物a和人物b两者的场景来生成新内容。图标的重叠的细节将在后面说明。
[0068]
编辑区302中的图标的布置、图标的尺寸和图标的重叠状态对应于权利要求书中的操作对象的状态，内容处理器202基于图标的状态生成新内容。
[0069]
顺序设定按钮305指定排列从素材内容中提取的包含由图标指示的素材内容的要素的场景的顺序，以生成新内容。顺序的例子包括图像拍摄日期和时间顺序、人物数顺序、笑脸顺序和音量顺序。
[0070]
图像拍摄日期和时间顺序是通过按照素材内容的图像拍摄日期和时间的顺序，排列从素材内容中提取的多个场景来生成新内容。可以按照从图像拍摄日期和时间较早的场景开始的顺序来排列场景，或者可以按照从图像拍摄日期和时间较晚的场景开始的顺序来排列场景。
[0071]
人物数顺序是通过按照存在于各个场景中的人物的数量的顺序排列从素材内容中提取的多个场景，来生成新内容。随着新内容的再现的进行，人物数可以顺序增加，或者可以顺序减少。
[0072]
笑脸顺序是通过按照存在于各个场景中的人物的笑脸的程度或数量的顺序排列从素材内容中提取的多个场景，来生成新内容。笑脸的程度是通过利用已知的笑脸检测处理，基于面部的特征点的位置等对笑脸的状态分类而获得的。笑脸的顺序可以是随着新内容的再现的进行笑脸的程度增大(从微笑逐渐变化为大笑)的顺序，或者笑脸的程度减小(从大笑逐渐变化为微笑)的顺序。此外，笑脸的数量的顺序意味着按照随着新内容的再现的进行笑脸的数量增加或减少的顺序排列场景。
[0073]
音量顺序是通过按照每个场景的音量的升序或降序排列从素材内容中提取的多个场景，来生成新内容。场景的音量可以是场景的平均音量，或者可以是场景的音量的最大值或最小值。
[0074]
假设可以在不设定场景的排列顺序的情况下进行新内容的生成，在不设定顺序的情况下，可以按照图像拍摄日期和时间的顺序排列场景。
[0075]
预览播放按钮306是用于指令新内容的预览再现的按钮。当存在对预览播放按钮306的输入时，编辑区302转变为预览再现状态，如图5中图解所示，再现基于此时的编辑区302中的图标的状态生成的新内容的预览。注意，预览可以显示在显示单元105的整个屏幕上。
[0076]
导出按钮307是供用户输入新内容生成指令的按钮。当存在对导出按钮307的输入时，内容处理器202基于此时的编辑区302中的图标的状态来生成新内容。生成的新内容存储在存储单元103等中，可以被再现或者使用接口102发送到外部。
[0077]
图6图解说明基于使用ui输入的输入信息的新内容的生成的概况。在图6的例子中，假设素材内容包括两个素材内容：第一素材内容和第二素材内容。此外，如图3b中图解所示，假设基于人物a的图标和人物b的图标布置在ui的编辑区302中并且排列场景的顺序是图像拍摄日期和时间顺序的输入信息，来生成新内容。从第一素材内容和第二素材内容中提取出现人物a的场景和出现人物b的场景，并按照图像拍摄日期和时间的顺序排列，从而生成新内容。
[0078]
注意，素材内容的数量不限于2个，可以是1个，或者3个或更多。素材内容的数量不受限制。此外，尽管在图6中，第一素材内容只包括包含人物a的要素的场景，第二素材内容只包括包含人物b的要素的场景，不过，显然也可能存在一个素材内容包括人物a的场景和人物b的场景两者的情况。
[0079]
在从素材内容中提取场景的情况下，可以提取包含图标所指示的要素的所有场景，或者可以基于预定条件来提取场景。提取条件包括图像拍摄日期和时间、笑脸检测结果、音量等。
[0080]
图像拍摄日期和时间是优先提取图像拍摄日期和时间较早或较晚的场景的方法，或者指定特定的图像拍摄日期和时间来提取场景的方法。笑脸检测结果是提取包含图标所指示的要素并且其中检测到笑脸的场景的方法。音量是从包含图标所指示的要素的场景当中，提取音量等于或大于预定值，或者等于或小于预定值的场景的方法。提取条件可以是这些条件中的任意一个，或者是多个条件的组合。
[0081]
通过以这种方式使用特定条件提取场景，可以使新内容的细节具有统一感。此外，在不能将包含图标所指示的要素的所有场景并入新内容中的情况下，比如预先设定了新内容的长度的情况，新内容中的场景的量受与其他场景的比率限制的情况等，通过基于条件来提取场景，可以将用户需要的更多场景并入新内容中。
[0082]
ui可以设置有用于设定提取条件的按钮等。注意，由于在视频内容中，许多用户通常都想要看到笑脸的场景，想要收集笑脸的场景，因此除非设定默认值或进行用户指定，否则优选基于笑脸检测的结果来提取场景。
[0083]
[1-3-2.新内容的生成处理]
[0084]
接下来，说明ui中的图标的状态以及基于图标的状态生成的新内容。如上所述，用户从存在于图标显示区301中的图标当中，将指示要并入新内容中的要素的图标移动到编辑区302并布置图标。
[0085]
例如，如图7a中图解所示，当在编辑区302中布置人物a的图标和人物b的图标时，如图7b中图解所示，内容处理器202通过从素材内容中提取人物a的场景和人物b的场景并排列这些场景来生成新内容。此外，在人物a的图标和人物b的图标的尺寸相同的情况下，如图7b中图解所示，人物a的场景和人物b的场景在新内容中具有相同的比率，即相同的量。
[0086]
此外，在编辑区302中，用户可以将图标的尺寸改变为任意尺寸。图标的尺寸对应于出现该图标所指示的要素的场景在新内容中的量。于是，通过在编辑区302中改变图标的尺寸，可以调整出现该图标所指示的要素的场景在新内容中的量。
[0087]
例如，如图8a中图解所示，当在编辑区302中使人物a的图标大于人物b的图标时，如图8b中图解所示，在新内容中，人物a的场景的量变得多于人物b的场景的量。
[0088]
关于图标的尺寸与新内容中的场景的量之间的关系，例如，可以使图标的面积和包含该图标所指示的要素的场景的量彼此对应。例如，当人物a的图标的面积为人物b的图标的面积的2倍时，在新内容中，人物a的场景的量是人物b的场景的量的2倍。此外，图标的直径可以对应于包含该图标所指示的要素的场景的量。例如，当人物a的图标的直径为人物b的图标的直径的2倍时，在新内容中，人物a的场景的长度是人物b的场景的长度的2倍。于是，用户可以通过图标的尺寸直观地调整场景的长度。注意，图标的尺寸和场景的量之间的关系仅仅是示例性的，本技术不限于该值。该图标的尺寸例如可以通过捏小/拉大操作来改
变。
[0089]
图标的最大尺寸是基于检测信息确定的。图标的最大尺寸对应于素材内容中包含该图标所指示的要素的所有场景的总量。因而，当没有设定提取的基准，并且图标被设定为最大尺寸时，包含图标所指示的要素的所有场景都被并入从素材内容中提取的新内容中。
[0090]
此外，在编辑区302中，用户可以通过改变图标的位置来重叠多个图标。图标的重叠状态对应于由重叠的图标分别指示的要素的组合，并且通过重叠图标，可以将其中组合由各个图标指示的要素的场景并入新内容中。
[0091]
例如，如图9a中图解所示，当在编辑区302中重叠人物a的图标和人物b的图标时，如图9b中图解所示，通过并入人物a要素和人物b的要素的组合，即，其中同时出现人物a和人物b的场景，生成新内容。这样，通过重叠图标，可以调整包含在新内容中的场景。图标的这种重叠例如可以通过拖动操作来进行。
[0092]
此外，多个图标的重叠区域的尺寸(面积)对应于其中组合所述多个图标分别指示的要素的场景在新内容中的量。如图10中图解所示，当在重叠图标的状态下增大重叠区域的尺寸时，新内容中包含这些图标所指示的要素的场景的量增大。另一方面，当减小重叠区域的尺寸时，新内容中包含这些图标所指示的要素的场景的量减小。于是，可以调整作为要素的组合的场景在新内容中的量。
[0093]
因而，如图9a中图解所示，在重叠人物a的图标和人物b的图标的区域的面积较小的情况下，如图9b中图解所示，除了同时出现人物a和人物b的场景之外，只有人物a的场景和只有人物b的场景也被并入新内容中。当与图9a中图解所示的状态相比，重叠人物a的图标和人物b的图标的区域增大时，新内容中同时出现人物a和人物b的场景的量增大，而只有人物a或者只有人物b的场景的量减小。
[0094]
注意，重叠图标和非重叠图标可以共存于编辑区302中。例如，如图11a中图解所示，在重叠人物a的图标和人物b的图标，而不重叠人物c的图标的情况下，如图11b中图解所示，通过除了并入同时出现人物a和人物b的场景、只有人物a的场景和只有人物b的场景之外，还并入只出现人物c的场景，来生成新内容。
[0095]
注意，图标的重叠不限于2个图标，可以成一行地重叠3个或更多的图标，并且重叠方法不受限制。
[0096]
尽管以指示人物的图标的情况为例进行了上述说明，不过，使用指示动作的图标或指示颜色的图标也可以类似地生成新内容。布置在编辑区302中的图标不限于同一类型，可以混合地布置指示人物的图标、指示动作的图标和指示颜色的图标。
[0097]
例如，如图12a中图解所示，当在编辑区302中重叠指示人物a的图标、指示进餐(吃)的图标和指示红色的图标时，通过并入人物a正在进餐的红色场景来生成新内容。此外，如图12b中所示，当指示人物b的图标、指示对话(说话)的图标和指示绿色的图标被移动到编辑区302并重叠时，通过并入人物b正在进行对话的绿色场景来生成新内容。
[0098]
注意，当以这种方式在编辑区302中重叠多个图标时，可能存在其中组合图标所指示的要素的场景并不存在于素材内容中的情况。例如，重叠人物a的图标和人物b的图标，但是在素材内容中不存在同时出现人物a和人物b的场景就是这种情况。在预先检测处理中，在素材内容中还检测图标所指示的要素的组合的模式，并且当在素材内容中不存在由重叠的图标指示的要素的组合时，强制解除图标的重叠状态。于是，用户可以理解不存在其中组
合由重叠的图标指示的要素的场景。
[0099]
接下来，说明新内容的长度。可以在两种情况下生成新内容：不预先设定长度的情况，和预先设定长度的情况。新内容可以默认设定为任意一种情况，或者可以在每次生成新内容时由用户进行选择。
[0100]
在不设定长度的情况下，新内容的长度由从素材内容中提取并且并入新内容中的多个场景的长度和量来决定。另一方面，在预先设定新内容的长度的情况下，从素材内容中提取在该长度内的场景，并生成新内容。由于通过改变图标的尺寸来调整新内容中的场景的长度的方法不同，因此将对这一点进行说明。
[0101]
首先，说明不预先设定新内容的长度的情况。在这种情况下，编辑区302中的图标的尺寸指示包含该图标所指示的要素的场景在新内容中的绝对量。因而，图标的尺寸和场景的长度彼此关联。图标的尺寸和场景的长度之间的这种关联的基准可以预先设定为例如对于直径3cm/30秒。然后，根据通过检测处理获得的包含由布置在编辑区302中的图标所指示的要素的场景的长度及其基准，可以确定编辑区302中的图标的尺寸。此外，即使在图标的尺寸被改变的情况下，也基于所述基准，按照尺寸来确定在新内容中包含图标所指示的要素的场景的量。
[0102]
图13～15图解说明从ui中提取的编辑区302。如图13a中图解所示，在图标布置在编辑区302中的初始状态下，默认地以最大尺寸显示各个图标。这是因为在不预先设定新内容的长度的情况下，无论包含图标所指示的要素的场景有多长，该场景都可以被并入新内容中。此外，通过默认地指示图标的最大尺寸，可以通过与其他图标的比较来掌握包含该图标的要素的场景有多少。
[0103]
由于图标是以最大尺寸显示的，因此如图13b中图解所示，当将图标改变为最大尺寸或更多时，如图13c中图解所示，图标的尺寸被强制调整为最大尺寸。在这种情况下，存在于编辑区302中的其他图标不受该尺寸调整的影响。如图13d中图解所示，用户可以将图标的尺寸改变为任意尺寸，所述任意尺寸是最大尺寸或更小的尺寸，以调整包含该图标所指示的要素的场景在新内容中的长度。
[0104]
接下来，说明预先设定新内容的长度的情况。在这种情况下，编辑区302中的图标的尺寸表示新内容中包含该图标的要素的场景的比例。如图14a中图解所示，当将图标从图标显示区301移动到编辑区302时，在初始状态下，所有图标的尺寸相同。当图标的尺寸相同时，分别包含各个图标的要素的相应场景在新内容中的量相同。
[0105]
通过在编辑区302中改变图标的尺寸，可以改变包含各个图标的要素的场景在新内容中的比例。例如，如图14b中图解所示，设想其中通过使人物b的图标变小，使人物a的图标大于人物b的图标的情况。由于图标的尺寸对应于场景的比例，因此在这种情况下，即使人物a的图标的尺寸没有改变，在新内容中人物a的场景的量也增大，而人物b的场景的量减小。反之亦然。
[0106]
这里，假设在素材内容中人物a的场景的量小于人物b的场景的量。如图14a中图解所示，默认以相同的尺寸显示两个图标。在这种情况下，如上所述，人物a的场景和人物b的场景在新内容中具有相同的量。
[0107]
然后，如图14b中图解所示，假设用户使人物b的图标变小，以便在新内容中使人物b的场景的量小于人物a的场景的量。在这种情况下，由于人物a的场景的量小于人物b的场
景的量，因此不能使人物a的图标大于人物b的图标。在这种情况下，如图14c中图解所示，人物a的图标的尺寸被强制调整为与人物b的图标相同的尺寸，从而获得图14d中图解所示的状态。在图14d的状态下，由于两个图标的尺寸相同，因此人物a的场景和人物b的场景在新内容中具有相同的比率，即，相同的量。
[0108]
在不能以这种方式从包含在素材内容中的元素生成在编辑区302中指示的新内容的情况下，图标的尺寸被强制设定为相同的尺寸，并且在新内容中包含各个图标的要素的场景的长度变得相同。
[0109]
即使在存在3个或更多图标的情况下，类似于包括两个图标的上述情况，通过在编辑区302中改变图标的尺寸，也可以调整分别包含各个图标的要素的场景在新内容中的比率。
[0110]
这里，在编辑区302中布置人物a的图标、人物b的图标和人物c的图标，并且在素材内容中，人物a的场景的量小于人物b的场景的量，而人物c的场景的量大于人物a和人物b的场景的量。
[0111]
在这种情况下，假设用户使人物b的图标变小，以便在新内容中使人物b的场景的量小于人物a的场景的量。在这种情况下，由于人物a的场景的量小于人物b的场景的量，因此不能使人物a的图标大于人物b的图标。在这种情况下，如图15中图解所示，人物a的图标的尺寸被强制调整为与人物b的图标相同的尺寸。然而，由于在素材内容中人物c的场景的量大于人物a的场景的量和人物b的场景的量，因此不会强制调整人物c的图标的尺寸，从而尺寸得到保持。
[0112]
ui可以设置有用于设定新内容的长度的按钮。注意，在预先设定新内容的长度并且从素材内容中提取的场景的总量小于设定的长度的情况下，优选使ui通知该事件，从而使用户可以改变编辑区302中的图标的状态，或者改变新内容的长度。
[0113]
本技术如上所述进行处理。通过本技术，仅仅通过在图标的状态下指定包含在素材内容中的要素，用户就可以生成包含该要素的新内容。因而，可以在不进行诸如素材内容的细节的确认、提取或修剪之类的作业的情况下，容易地生成新内容。
[0114]
《2.应用例》
[0115]
接下来，说明本技术的应用例。本技术不仅可以应用于如上所述的拍摄到的视频内容，而且可以应用于实况转播视频。作为对实况转播的应用的例子，可以举出体育运动转播的例子。在这种情况下，提供给内容处理装置200的素材内容是实况转播视频，由内容处理装置200生成的新内容是呈现给用户的体育运动转播的视频。
[0116]
如图16中图解所示，在体育运动转播的实况视频的情况下，在ui中，在图标显示区301中显示指示进行体育运动的运动员的面部的图标，作为素材内容的要素。在体育运动的情况下，由于预先提供出场运动员的信息，因此可以基于该信息来显示指示运动员的图标。此外，和实施例中一样，显示为图标的运动员可以是通过被摄体检测处理检测到的运动员。然而，在被摄体检测处理的情况下，由于在开始实况转播之前没有视频，因此在开始实况转播之后才显示图标。
[0117]
此外，在图标显示区301中显示指示该体育运动的特征动作的图标。例如，在体育运动是足球的情况下，所述动作包括进球、射门、运球、角球、犯规等。如果预先知道素材内容是哪种体育运动实况转播视频，则可以预先掌握运动员是谁，以及做出哪种特征动作和
典型动作。因而，内容处理器202基于按照体育运动的类型预先确定的运动员的信息和动作的信息，提取包含实况转播视频中的要素的场景。
[0118]
在体育运动是团队比赛的情况下，可以使用作为标签切换按钮的第一团队按钮303和第二团队按钮304来切换在图标显示区301中显示其图标的团队。
[0119]
在ui中，用户将用户想要观看的运动员的图标移动到编辑区302。然后，当体育比赛的实况转播开始时，内容处理装置200通过被摄体检测处理，从实况视频中检测由图标指示的运动员，提取出现该运动员的场景，并按照图像拍摄时间的顺序排列所述场景，从而生成新内容。通过在设备100上显示该新内容，用户在体育运动转播中也可以观看其中只收集喜欢的运动员和用户想要观看的场景的视频。
[0120]
注意，在编辑区302中可以只布置指示动作的图标，或者可以布置运动员的图标和动作的图标两者。
[0121]
此外，和实施例中一样，通过改变运动员的图标或动作的图标的尺寸，可以调整在新内容中出现图标所指示的运动员或动作的场景的量。
[0122]
此外，和实施例中一样，通过重叠多个运动员的图标，可以将同时出现所述多个运动员的场景并入新内容中。此外，和实施例中一样，通过重叠运动员的图标和动作的图标，可以将该运动员正在进行该动作的场景并入新内容中。
[0123]
于是，用户在体育运动转播中也可以观看或保存其中只收集喜欢的运动员或者用户想要观看的场景的视频。
[0124]
在实况转播的情况下，尽管ui的基本构成与图3中图解所示的实施例中的ui的基本构成相似，不过，代替导出按钮307，设置了实况按钮308。基于用于输入到实况按钮308的编辑区302中的图标的状态，生成新内容。
[0125]
在以这种方式将本技术应用于实况视频的情况下，显示ui并接受用户的输入的设备100，和显示新内容并向用户呈现新内容的设备100可以是不同的设备100。例如，ui可以显示在智能电话机上，以接受用户的输入，而内容处理器202进行的处理和新内容的显示可以在电视机上进行。在这种情况下，由智能电话机接受的输入信息需要通过网络、设备100之间的直接通信等提供给电视机。
[0126]
注意，在可以通过除面部以外的项目，比如队服或队服号码来识别运动员的情况下，运动员的队服或队服号码也可以显示为图标。
[0127]
注意，本技术不仅可以应用于体育运动转播，而且可以应用于音乐实况转播、新闻发布会转播、新闻节目转播、实况电视节目等。
[0128]
《3.变形例》
[0129]
尽管上面具体说明了本技术的实施例，不过，本技术不限于上述实施例，可以进行基于本技术的技术思想的各种修改。
[0130]
本技术中的内容可以是任何内容，只要代替视频内容，通过提取并排列声音内容、图像内容等的各个部分可以构成一个内容即可。
[0131]
根据诸如新内容的生成日期、素材内容的图像拍摄日期、或者检测到的人物的名字之类的信息，可以自动生成标题、摘要评论等，并添加到新内容中。
[0132]
作为排列从素材内容中提取的场景的顺序，代替在实施例中说明的图像拍摄日期和时间顺序、笑脸顺序、人物数顺序或音量顺序，图标所指示的要素可以被排列成交替出
现。
[0133]
由作为操作对象的图标指示的素材内容的要素可以是除实施例中说明的人物、动作和颜色以外的要素。例如，素材内容的要素可以是与拍摄该素材内容的相机有关的信息。与相机有关的信息的例子包括相机的设备标识信息、镜头类型、镜头性能(f值、焦距等)、相机性能(像素数等)、以及图像拍摄时相机的各种设定值。例如，在以图标显示相机的设备标记信息作为素材内容的要素的情况下，通过将图标移动到编辑区302，可以从用多个相机拍摄的多个素材内容中，生成只包含用特定相机拍摄到的视频的新内容。类似地，也可以生成包含用特定镜头拍摄到的视频或者用特定相机设定拍摄到的视频的新内容。
[0134]
本技术也可以具有以下构成。
[0135]
(1)一种内容处理装置，包括内容处理器，所述内容处理器基于用户从指示素材内容的一个或多个要素的多个操作对象当中选择的一个或多个操作对象的状态来生成新内容。
[0136]
(2)按照(1)所述的内容处理装置，其中通过从所述素材内容中提取并排列包含由所述操作对象指示的所述素材内容的要素的多个场景来生成所述新内容。
[0137]
(3)按照(1)或(2)所述的内容处理装置，其中所述状态是所述操作对象的尺寸，指示在所述新内容中包含由所述操作对象指示的所述素材内容的要素的场景的量。
[0138]
(4)按照(1)～(3)任意之一所述的内容处理装置，其中所述状态是所述多个操作对象的重叠状态，指示由多个所述操作对象分别指示的所述素材内容的要素的组合。
[0139]
(5)按照(1)～(4)任意之一所述的内容处理装置，其中所述状态是多个操作对象彼此叠加的区域的尺寸，并且指示在所述新内容中包含由多个所述操作对象分别指示的所述素材内容的要素的组合的场景的量。
[0140]
(6)按照(1)～(5)任意之一所述的内容处理装置，其中所述操作对象指示从所述素材内容中检测到的被摄体。
[0141]
(7)按照(1)～(6)任意之一所述的内容处理装置，其中所述操作对象指示从所述素材内容中检测到的动作。
[0142]
(8)按照(1)～(7)任意之一所述的内容处理装置，其中所述操作对象指示从所述素材内容中检测到的颜色。
[0143]
(9)按照(1)～(8)任意之一所述的内容处理装置，其中所述操作对象指示与拍摄所述素材内容的相机有关的信息。
[0144]
(10)按照(2)～(9)任意之一所述的内容处理装置，其中通过按照图像拍摄日期和时间、被摄体的数量、作为被摄体的人物的笑脸的数量或笑脸的程度、以及音量中的任何一个的顺序排列多个场景，生成所述新内容。
[0145]
(11)按照(2)～(9)任意之一所述的内容处理装置，其中基于图像拍摄日期和时间、笑脸检测的结果、以及音量中的任意一个或者它们的组合，从所述素材内容中提取包含由所述操作对象指示的要素的场景。
[0146]
(12)按照(2)～(9)任意之一所述的内容处理装置，其中在不预先设定长度的情况下生成所述新内容。
[0147]
(13)按照(12)所述的内容处理装置，其中所述操作对象的尺寸指示在所述新内容中包含由所述操作对象指示的所述素材内容的要素的场景的绝对量。
[0148]
(14)按照(2)～(13)任意之一所述的内容处理装置，其中按照所述新内容的预先设定的长度来生成所述新内容。
[0149]
(15)按照(14)所述的内容处理装置，其中所述操作对象的尺寸指示在所述新内容中包含由所述操作对象指示的所述素材内容的要素的场景的比例。
[0150]
(16)按照(1)～(15)任意之一所述的内容处理装置，其中所述素材内容是拍摄到的视频。
[0151]
(17)按照(16)所述的内容处理装置，其中通过检测处理从所述素材内容中提取由所述操作对象指示的要素。
[0152]
(18)按照(1)～(17)任意之一所述的内容处理装置，其中所述素材内容是实况转播视频。
[0153]
(19)按照(16)所述的内容处理装置，其中基于预定信息从所述素材内容中提取由所述操作对象指示的要素。
[0154]
(20)一种内容处理方法，包括
[0155]
基于用户从指示素材内容的一个或多个要素的多个操作对象当中选择的一个或多个操作对象的状态来生成新内容。
[0156]
(21)一种能够使计算机执行内容处理方法的内容处理程序，所述内容处理方法包括
[0157]
基于用户从指示素材内容的一个或多个要素的多个操作对象当中选择的一个或多个操作对象的状态来生成新内容。
[0158]
附图标记列表
[0159]
200 内容处理装置
[0160]
202 内容处理器