使用节拍匹配检测的自动视频编辑的制作方法

对相关申请的交叉引用

本申请要求于2018年11月2日提交的标题为《使用节拍匹配检测的自动视频编辑》的美国申请号62/755,172的权益，该申请通过引用整体并入。

背景技术：

1.技术领域

本主题技术一般性地涉及视频编辑的领域，具体地说，涉及用于自动混合图像(比如数字照片和视频)和音乐内容的技术。

2.介绍

制作感人且有力的影片通常要求高技能的编辑者，并且可能会极其耗时和成本高昂。所有有助于编辑专业质量——即使用于私人目的——的视频的条件对一般消费者而言一直遥不可及。

附图说明

本主题技术的某些特征在所附权利要求书中阐明。不过，为了提供进一步理解而纳入的附图示出了所公开的方面，并与本说明书一起用于解释本主题技术的原理。在附图中：

图1a概念性地示出根据所公开的技术的某些方面的剪辑矢量和效果(“fx”)矢量的生成。

图1b概念性地示出根据所公开的技术的某些方面的剪辑矢量和fx矢量。

图2是根据所公开的技术的某些方面的示例编辑系统的简化框图。

图3提供根据所公开的技术的某些方面的用于使用剪辑和fx矢量来制作节拍匹配的多媒体输出的示例方法的步骤。

图4示出可用于实施所公开的技术的不同方面的电子系统(比如智能手机或平板计算设备)的一个示例。

详细说明

以下阐述的详细说明旨在作为对本主题技术的不同配置的说明，并不旨在代表其中可实施本主题技术的仅有配置。附图合并在本文中，并构成本详细说明的一部分。出于提供对本主题技术更加彻底的理解的目的，本详细说明包括具体细节。然而，应该清楚且显而易见，本主题技术不限于在本文中阐述的具体细节，而是可以没有这些细节地实施。在一些情况下，结构和组件以框图形式示出，以免模糊本主题技术的概念。

自发明视频以来，就由人编辑者人工地进行音乐和视频的混合。节拍匹配，即将视频剪辑和视觉效果与音乐节拍进行匹配的方法，主导了进行视频编辑的方式。常规地，使用视频和音频输入人工地进行节拍匹配。然而，匹配图像和音乐过渡的过程耗时，并且通常要求有经验的编辑者的工作以制作高质量的混合媒体输出。鉴于时间和经验的限制，制作高质量的混合音频/视频多媒体不是一般消费者力所能及的。

本公开技术的方面通过提供用于自动进行节拍检测和音乐与视频/图像输入之间的匹配(例如为了制作专业质量的混合媒体输出)的方案来解决常规视频编辑技术的限制。在一些方面，本公开技术提供用于利用经改善的节拍匹配算法来对组合的音频和视频(图像)输入自动匹配音乐和图像/场景过渡或动画(效果或“fx”)以制作高质量的混合媒体输出的系统和方法。

本公开技术的编辑系统配置为接收剪辑和效果(fx)矢量，所述剪辑和效果(fx)矢量提供过渡(剪辑)和视觉效果要添加到所接收的图像内容项当中的时间索引。在一些方面中，剪辑和fx矢量可以是包括一维标量数组的数据结构；然而，可以不超出本公开技术范围地使用其它数据格式。然后，可使用所述剪辑和fx矢量自动地编辑包括数字图像和/或视频内容的图像内容，以制作在起始和终止处通过剪辑(过渡)分界的(经过编辑的)多媒体序列。然后，可将所组合的经过编辑的多媒体序列的集合设置到一个或更多个音乐选择，以使图像过渡和视觉效果对应于对应音乐中的不同音频事件(audioartifacts)(例如鼓点或其它音符)。

关于使用用来获得如在本文中所述的剪辑和fx矢量的节拍匹配算法的额外细节由标题为《便于自动视频编辑的节拍分解》的美国申请号16/503,379提供，该申请要求标题为《便于自动视频编辑的节拍分解》的美国临时申请号62/693,799的优先权，这两者都在本文中通过引用整体并入。

在一些方面，本公开技术还包括允许使用者选择和插入他们自己的过渡和/或fx的特征。例如，可以给使用者提供包括可选选项(比如“节拍网格(beatgrid)”)的用户界面(ui)，该用户界面(ui)提供直观图形引导以便利使用者选择在经过编辑的多媒体内容中的插入和视觉效果。通过节拍网格内的可被选择以允许使用者在音频文件中的具体时间位置插入fx的可编辑框，使用者编辑变得可行。

如在下文中更详细地说明的，本技术的方面可使用api和软件开发工具包sdk来实施，这些方面配置为：(1)自动摄取、分段和处理输入(音频)文件以确定可用于制作剪辑和fx矢量的命中/不命中(hit/no-hit)节段；和(2)自动实施生成高质量的经过编辑的节拍匹配视频流所必需的匹配和渲染功能。

图1a概念性地示出根据本公开技术的某些方面的使用编辑系统102生成剪辑矢量和效果(“fx”)矢量。编辑系统102可以不超出本公开技术范围地使用各种软件、硬件和/或固件模块来实施。例如，在一些方面，编辑系统102可包括比如移动应用程序的软件和常驻于比如智能手机或平板电脑的移动计算设备上的硬件。

在实践中，编辑系统102可配置为例如使用应用程序编程接口(api)来接收音频文件104。音频文件104可以是包括数字音频信息的任何文件类型或格式。示例性地，音频文件104可以包括mp3、mp4或wav编码内容。在接收到之后，可将音频文件104分成部分或音频“片段(excerpts)”以允许快速处理和回放编辑系统102产生的多媒体内容。在图1a的示例中，音频文件104被分成片段106、108和110，即分别是片段1、片段2和片段3。

通过将音频文件104分成多个片段(段)，可由编辑系统104以平行的方式与对使用者回放同时地实施节拍匹配处理。由此，通过允许在处理完整个输入文件之前回放所产生的经过编辑的输出文件，改善了用户体验。

在一些方面，音频输入文件可以被分解成比如30秒的预定长度的片段。由此，可快到在完成处理第一片段时就开始回放所产生的经过编辑的输出文件。在这样的方式中，对之后的音频片段的处理在完成回放初始/之前的段之前就已经开始。在图1a的示例中，片段1106与片段2108之间的重合由时长112示出，而片段2108与片段310110之间的重合由时长114示出。重合的时长可以由系统设置设定，或由使用者选择的性能设定等来确定。

这样的重合允许之后的段的处理的开始与由编辑系统102提供经过编辑的输出平行地实施。示例性地，如果时长112、114是7.5秒，则对之后的片段的处理可在回放之前编辑的片段已经完成对使用者回放前7.5秒开始。由此，平行地实施回放和节拍匹配处理。而且，在片段可能有不同的时长的一些情况下，则可以可选地组合两个片段以处理和回放等。要理解的是，取决于系统资源和所期望的限制，可不超出本公开技术的范围地使用其它片段长度或重合时长。

然后将经过处理的片段提供给节拍跟踪算法，以确定其中包含的具体音频事件(例如底鼓和小鼓敲击)。如上所述，标题为《便于自动视频编辑的节拍分解》的美国专利申请号16/503,379提供了节拍检测方法的方面，包括用于辨识音频作品中的命中/小鼓的时间位置的算法，该申请要求标题为《便于自动视频编辑的节拍分解》的美国临时申请号62/693,799的优先权，这两者都在本文中通过引用整体并入。

一旦完成节拍检测处理，编辑系统102产生可进一步用来实施在本文中描述的编辑操作的一个或更多个剪辑矢量116和一个或更多个效果(“fx”)矢量118。剪辑矢量116包含剪辑时间，这些剪辑时间指示音频文件104中对应于应该布置图像过渡的音频特征的时间位置。另外，fx矢量118包含时间数值，这些时间数值指示在多媒体输出中应该布置视觉效果(fx)的时间位置。

图1b概念性地示出包含在根据本公开技术的某些方面的剪辑矢量116和fx矢量118中的数据的示例。如所示出的，剪辑矢量116包含处于不同索引位置的一系列标量时间数值117。这些数值指示在由编辑系统102渲染的图像/视频传送中要布置剪辑的时间位置。类似地，fx矢量118包含指示要由编辑系统102渲染各种动画特性或fx的时间位置的一系列标量时间数值119。在该示例中，fx被施加在不同剪辑时间之间，即在索引1，fx矢量118指示要在1.6秒处施加效果，这发生于如由剪辑矢量116的索引1和2所指示的1.2秒和1.7秒的剪辑时间之间。

图2是根据本公开技术的某些方面的示例编辑系统200的简化框图。在该示例中，剪辑矢量216被提供给媒体排序器220，fx矢量218被提供给像素转换器222。媒体排序器220配置为接收剪辑矢量以及要为之混合音乐选择(例如音频文件104)的图像内容项目。如上所述，图像内容项目221可包括构成图像或视频内容的数字图像帧。在一些方面中，图像内容项目是使用者选择的图像/视频。例如，图像内容项目221可以通过由使用者指示文件路径而被提供给图像排序器220。图像内容项目221由媒体排序器220排布为使得帧发生于剪辑矢量216中的剪辑时间所指示的剪辑之间。即将一个或更多个图像内容项目(例如项目1至项目n)排布为使得：项目1的显示发生于剪辑矢量216所指示的剪辑时间之后，并且项目n的显示发生于矢量216所指示的之后的剪辑时间之前。

像素转换器222配置为将一个或更多个所选择的视觉/动画效果223施加给在与fx矢量218所指示的时间数值对应的时间索引处显示的像素。在像素转换器222的示例中，视觉动画效果223包括特征以调节像素比例、二值化、亮度、颜色值(例如rgb值)和平移。要理解的是，可不超出本公开技术的范围地，在像素转换器222可用的动画效果223组中包括几乎任何其它动画特性或效果。

如上所述，在一些方面中，编辑系统200可以配置为允许使用者编辑剪辑和fx点。在这样的实施方式中，编辑系统200可配置为提供用户界面(ui)，该用户界面(ui)给使用者提供用于选择和布置剪辑和/或动画效果的可选选项。示例性地，ui可包含允许使用者直接修改或增强由媒体排序器220和/或像素转换器222实施的处理的剪辑/fx网格。

来自媒体排序器220和像素转换器222的输出都被提供给渲染引擎224，在该渲染引擎处它们可被组合以产生经过编辑的多媒体序列。该多媒体序列可包含图像内容项目的剪辑、效果和图像信息。由此，一个或更多个经过编辑的多媒体序列可由编辑系统200输出作为完全编辑好且节拍匹配的配上使用者所做的音乐和图形选择的视频序列。

一旦渲染之后，所产生的多媒体输出可被提供给显示装置226以被使用者观看，使得它准确地匹配所播放的歌曲的节拍。示例性地，显示装置226可以是比如智能手机或平板电脑的移动电子设备的触敏显示装置。然而，显示装置226可包括任何数量的显示装置，这包括不常驻于用来实现编辑系统200的处理设备上的远程显示装置。

图3提供根据本公开技术的某些方面的用于使用剪辑和fx矢量来制作节拍匹配的多媒体输出的示例方法300的步骤。方法300起始于步骤301，在该步骤中，编辑系统接收音频(音乐)文件。取决于所期望的实施方式，编辑系统可包括例如在移动设备(比如智能手机或平板计算设备)上执行的应用。在其它实施方式中，编辑系统可以由分布式软件和/或硬件系统(比如在云计算平台上实体化的一个或更多个网络容器中)实施。音乐文件可以是使用者所选择的，即使用者想要对其进行节拍跟踪的。在一些实施方式中，使用者选择可包括使用者给编辑系统提供指示音乐文件位置的文件路径，由此编辑系统可获取该音乐文件用于如下文更详细说明的节拍跟踪和进一步处理。

在步骤302中，例如由本公开技术的编辑系统接收一个或更多个(图像)内容项目。取决于所期望的实施方式，编辑系统可包括例如在移动设备(比如智能手机或平板计算设备)上执行的应用。在其它实施方式中，编辑系统可以由分布式软件和/或硬件系统(比如在云计算平台上实体化的一个或更多个网络容器中)实施。可使用api或其它中间软件层来实现对图像内容项目的接收。在一些方面中，图像内容项目可包括使用者选择的图像、视频或其它图形内容，例如格式为“gif”文件的图形图像等。

在步骤304中，由编辑系统接收剪辑矢量。剪辑矢量可包括一个或更多个剪辑时间，即指示在多媒体作品中要布置过渡(图像变化)的时间位置的数值。如上所述，剪辑矢量可产生自节拍分解，该节拍分解由节拍跟踪算法对例如使用者提供/选择的一个或更多个音频文件进行。由此，剪辑矢量包含关于图像内容要如何与具体音频文件选择进行混合的信息，例如基于该音频文件的节拍特性。

在步骤306中，编辑系统接收包括一个或更多个时间数值的fx矢量，该时间数值指示在所产生的多媒体作品中要提供像素动画或视觉效果的时间位置。

接下来，在步骤308中，基于剪辑矢量和fx矢量来混合内容项目，以产生经过编辑的多媒体序列。如上所述，所产生的经过编辑的多媒体序列可包括一个或更多个来自内容项目的帧，并且由剪辑矢量所指示的剪辑点分界。例如，所产生的经过编辑的多媒体序列可包括在剪辑矢量所指示的第一剪辑时间的起始和在剪辑矢量所指示的第二剪辑时间的终止。在起始时间与终止时间之间，可以对对应的内容项目的帧的像素施加一个或更多个图形效果。例如，可在fx矢量的时间数值所指示的一个或更多个时间处施加动画/效果。在一些情况下，效果/动画可与剪辑矢量所提供的起始/终止时间对应。然而，要理解的是，效果可在剪辑矢量所指示的任何剪辑点之间的时间处提供给图像帧。比图1b中提供的示例进一步地，第一剪辑和第二剪辑时间可分别布置在1.2秒和1.7秒处，而效果/动画通过在视觉上改变在1.6秒开始显示的帧的像素来插入。

具体地说，图4示出系统架构400，其中，系统的组件使用总线405彼此电气联通。系统架构400可包括各自耦合到系统总线405的处理单元(cpu或处理器)410以及缓存412。总线405将包括系统存储器415(例如只读存储器(rom)420和随机存取存储器(ram)435)的各个系统组件耦合到处理器410。系统架构400可包括与处理器410直接连接、紧邻或集成作为处理器410的一部分的高速存储器缓存。系统架构400可从存储器415和/或存储设备430将数据拷贝到缓存412，以由处理器410快速访问。由此，缓存可提供避免处理器410在等待数据时延迟的性能增强。这些和其它模块可控制或配置为控制处理器410以执行不同行动。其它系统存储器415也可用于使用。存储器415可包括多个具有不同性能特征的不同类型的存储器。处理器410可包括任何通用处理器和硬件模块或软件模块，比如存储在存储设备430中的模块1(432)、模块2(434)和模块3(436)，被配置为控制处理器410以及其中软件指令合并在实际处理器设计中的专用处理器。处理器610可实质上是完全自足的计算系统，其包含多个内核或处理器、总线、存储器控制器、缓存等。多核处理器可以是对称或不对称的。

为了允许使用者与计算系统架构400互动，输入设备445可代表任何数量的输入机制，比如用于语音的麦克风、用于手势或图形输入的触敏屏幕、键盘、鼠标、动作输入等。输出设备442也可以是众多输出机制中的一个或更多个。在一些情况下，多模式系统可允许使用者提供多种类型的输入以与计算系统架构400交流。通讯接口440可一般控制和管理使用者输入和系统输出。因为对于任何具体硬件布置上的操作并无限制，所以基本功能在此可容易地随着硬件或固件布置的开发而替换为经改进的硬件或固件布置。

存储设备430是非易失性存储器，可以是硬盘或其它类型的能够存储计算机可访问的数据的计算机可读介质，比如磁带、闪存卡、固态存储设备、数字通用盘、卡带、随机存取存储器(ram)435、只读存储器(rom)420及其混合。

存储设备430可包括用于控制处理器410的软件模块432、434、436。可考虑其它硬件或软件模块。存储设备430可连接到系统总线405。在一个方面中，执行具体功能的硬件模块可包括存储在与必需的硬件组件(比如处理器410、总线405、输出设备442等)相关的计算机可读介质中的软件组件，以执行本公开技术的不同功能。

本公开范围内的实施例也可包括有形和/或非暂时性计算机可读存储介质或设备，以用于携带或具有存储于其上的计算机可执行指令或数据结构。这样的有形计算机可读存储设备可以是可由通用或专用计算机访问的任何可用设备，包括如上所述的任何专用处理器的功能性设计。示例性地且非限制性地，这样的有形计算机可读设备可以包括ram、rom、eeprom、cd-rom，或者其它光盘存储、磁盘存储或其它磁存储设备，或者任何其它可用来以计算机可执行指令、数据结构或处理器芯片设计的形式携带或存储所期望的程序代码的设备。当信息或指令经由网络或其它通信连接(硬连线、无线或其组合)提供给计算机时，计算机恰当地将该连接视为计算机可读介质。由此，任何这样的连接都被恰当地称为计算机可读介质。以上的组合也应包含在计算机可读存储设备的范围内。

计算机可执行指令包括例如引起通用计算机、专用计算机或专用处理设备执行某个功能或功能组的指令和数据。计算机可执行指令还包括由独立运行或网络环境中的计算机执行的程序模块。程序模块一般包括例程、程序、组件、数据结构、对象以及专用处理器的设计中固有的执行具体任务或实施具体抽象数据类型的功能等。计算机可执行指令、相关数据结构和程序模块代表用于执行在本文中公开的方法的步骤的程序代码装置的示例。这样的可执行指令或相关数据结构的具体序列代表用于实施这些步骤中描述的功能的对应行为。

本公开的其它实施例可以在具有多种类型的计算机系统配置的网络计算环境中实施，包括个人计算机、手持设备、多处理器系统、基于微处理器的或可编程的消费电子产品、网络pc、微型计算机、大型计算机等。实施例还可以在分布式计算环境中实施，在分布式计算环境中任务由通过通信网络链接(通过硬连线链接、无线链接或通过其组合)的本地和远程处理设备执行。在分布式计算环境中，程序模块可以位于本地和远程的存储器存储设备中。

上述各个实施例仅示意性地提供，不应被解释为限制本公开的范围。例如，在本文中的原理同样适用于优化以及一般性改进。可不遵循在本文中示出和描述的示例实施例和应用并且不脱离本公开的精神和范围地对在本文中描述的原理进行各种修改和改变。提及集合中的“至少一个”的权利要求语言指该集合的一个成员或该集合的多个成员满足该权利要求。

要理解的是，所公开的方法中的步骤的任何特定顺序或等级是对示例性方式的说明。要理解的是，基于设计偏好，方法中的步骤的特定顺序或等级可重新排列，或者仅执行所示步骤的一部分。一些步骤可以同时进行。例如，在某些情况下，多任务和并行处理可能是有利的。而且，上述实施例中各个系统组件的分离不应理解为在所有实施例中都要求这样的分离，并且应当理解，所描述的程序组件和系统一般可以在单个软件产品中集成在一起或打包成多个软件产品。

以上说明是为了允许任何本领域技术人员实施在本文中描述的各个方面而提供的。对这些方面的各种修改对于本领域技术人员来说将是显而易见的，并且在本文中定义的通用原理可以应用于其它方面。因此，权利要求书不旨在限制于在本文中示出的这些方面，而是应赋予其与权利要求书语言一致的全部范围，在权利要求书中，除非具体有所声明，否则以单数形式提及某个元素并不旨在表示“一个且仅一个”，而是表示“一个或更多个”。

诸如“方面”之类的用语并不暗示该方面对于本主题技术是必不可少的或者该方面适用于本主题技术的所有配置。与一个方面相关的公开内容可能适用于所有配置，或者一个或更多个配置。诸如“方面”之类的用语可以指一个或更多个方面，反之亦然。诸如“配置”之类的用语并不暗示这样的配置对于本主题技术是必不可少的或者这样的配置适用于本主题技术的所有配置。与一个配置相关的公开内容可能适用于所有配置，或者一个或更多个配置。诸如“配置”之类的用语可以指一个或更多个配置，反之亦然。

“示例性”这个词在本文中用来指“用作示例或说明”。任何在本文中描述为“示例性”的方面或设计不一定要被解释为相对于其它方面或设计是优选或有利的。

声明书

声明1：一种用于混合多媒体内容的由计算机实施的方法，包括：由编辑系统接收一个或更多个图像内容项目；由所述编辑系统接收至少包括第一剪辑时间和第二剪辑时间的剪辑矢量，其中，所述剪辑矢量由所述编辑系统接收的音乐文件得出；以及，由所述编辑系统自动混合所述一个或更多个图像内容项目，以产生经过编辑的多媒体序列，其中，所述经过编辑的多媒体序列的起始时间对应于所述第一剪辑时间，所述经过编辑的多媒体序列的终止时间对应于所述第二剪辑时间。

声明2：声明1的由计算机实施的方法，其中，自动混合所述一个或更多个图像内容项目还包括：接收包括多个时间数值的效果矢量，其中，所述时间数值中的每个与动画特性关联；基于所述效果矢量指示的第一动画特性，在所述起始时间处对所述经过编辑的多媒体序列的一个或更多个内容项目中的至少一个施加第一动画效果；以及，基于所述效果矢量指示的第二动画特性，在所述终止时间处对所述经过编辑的多媒体序列的一个或更多个内容项目中的至少一个施加第二动画效果。

声明3：声明1至2中任一项的由计算机实施的方法，其中，自动混合所述一个或更多个图像内容项目还包括：将所述经过编辑的多媒体序列与数字音乐文件组合，以产生经过混合的多媒体输出文件。

声明4：声明1至3中任一项的由计算机实施的方法，其中，所述第一剪辑时间的数值和所述第二剪辑时间的数值对应于数字音乐文件中的音频事件。

声明5：声明1至4中任一项的由计算机实施的方法，其中，所述第一剪辑时间和所述第二剪辑时间对应于音频作品中的音频事件。

声明6：声明1至5中任一项的由计算机实施的方法，其中，所述一个或更多个图像内容项目包括数字图像。

声明7：声明1至6中任一项的由计算机实施的方法，其中，所述一个或更多个图像内容项目包括数字视频。

声明8：一种用于自动混合多媒体内容的系统，所述系统包括：一个或更多个处理器；以及，包括存储于其中的指令的计算机可读介质，所述指令在被所述处理器执行时引起所述处理器执行操作，所述操作包括：由编辑系统接收一个或更多个图像内容项目；由所述编辑系统接收至少包括第一剪辑时间和第二剪辑时间的剪辑矢量，其中，所述剪辑矢量由所述编辑系统接收的音乐文件得出；以及，由所述编辑系统自动混合所述一个或更多个图像内容项目，以产生经过编辑的多媒体序列，其中，所述经过编辑的多媒体序列的起始时间对应于所述第一剪辑时间，所述经过编辑的多媒体序列的终止时间对应于所述第二剪辑时间。

声明9：声明8的系统，其中，自动混合所述一个或更多个图像内容项目还包括：接收包括多个时间数值的效果矢量，其中，所述时间数值中的每个与动画特性关联；基于所述效果矢量指示的第一动画特性，在所述起始时间处对所述经过编辑的多媒体序列的一个或更多个内容项目中的至少一个施加第一动画效果；以及，基于所述效果矢量指示的第二动画特性，在所述终止时间处对所述经过编辑的多媒体序列的一个或更多个内容项目中的至少一个施加第二动画效果。

声明10：声明8至9中任一项的系统，其中，自动混合所述一个或更多个图像内容项目还包括：将所述经过编辑的多媒体序列与数字音乐文件组合，以产生经过混合的多媒体输出文件。

声明11：声明8至10中任一项的系统，其中，所述第一剪辑时间的数值和所述第二剪辑时间的数值对应于数字音乐文件中的音频事件。

声明12：声明8至11中任一项的系统，其中，所述第一剪辑时间和所述第二剪辑时间对应于音频作品中的音频事件。

声明13：声明8至12中任一项的系统，其中，所述一个或更多个图像内容项目包括数字图像。

声明14：声明8至13中任一项的系统，其中，所述一个或更多个图像内容项目包括数字视频。

声明15：一种包括存储于其中的指令的非暂时性计算机可读存储介质，所述指令在被一个或更多个处理器执行时引起所述处理器执行操作，所述操作包括：由编辑系统接收一个或更多个图像内容项目；由所述编辑系统接收至少包括第一剪辑时间和第二剪辑时间的剪辑矢量，其中，所述剪辑矢量由所述编辑系统接收的音乐文件得出；以及，由所述编辑系统自动混合所述一个或更多个图像内容项目，以产生经过编辑的多媒体序列，其中，所述经过编辑的多媒体序列的起始时间对应于所述第一剪辑时间，所述经过编辑的多媒体序列的终止时间对应于所述第二剪辑时间。

声明16：声明15的非暂时性计算机可读存储介质，其中，自动混合所述一个或更多个图像内容项目还包括：接收包括多个时间数值的效果矢量，其中，所述时间数值中的每个与动画特性关联；基于所述效果矢量指示的第一动画特性，在所述起始时间处对所述经过编辑的多媒体序列的一个或更多个内容项目中的至少一个施加第一动画效果；以及，基于所述效果矢量指示的第二动画特性，在所述终止时间处对所述经过编辑的多媒体序列的一个或更多个内容项目中的至少一个施加第二动画效果。

声明17：声明15至16中任一项的非暂时性计算机可读存储介质，其中，自动混合所述一个或更多个图像内容项目还包括：将所述经过编辑的多媒体序列与数字音乐文件组合，以产生经过混合的多媒体输出文件。

声明18：声明15至17中任一项的非暂时性计算机可读存储介质，权利要求15的暂时性计算机可读存储介质，其中，所述第一剪辑时间的数值和所述第二剪辑时间的数值对应于数字音乐文件中的音频事件。

声明19：声明15至18中任一项的非暂时性计算机可读存储介质，其中，所述第一剪辑时间和所述第二剪辑时间对应于音频作品中的音频事件。

声明20：声明15至19中任一项的非暂时性计算机可读存储介质，其中，所述一个或更多个图像内容项目包括数字图像。