视频编辑系统、方法和用户界面与流程

1.本发明总体上涉及视频编辑软件应用程序。本发明特别地但非排他性地涉及对已经由多个摄像机从不同角度录制的单个场景的视频文件进行管理的视频编辑系统、方法和用户界面。


背景技术：

2.通常通过从组成元素的集合组装项目而在视频编辑系统上创建电影和/或视频作品。视频编辑系统允许这些组成元素——其包括视频片段、视听片段、音频片段和相关联元数据——在合并到最终作品之前被单独地导入和编辑。在一些情况下，单独的视频片段源于使用多个不同的摄像机从不同角度录制同一场景。
3.当前的视频编辑系统提供了对这种多摄像机源素材进行管理的功能。例如，本技术人的davinci 软件允许用户手动地选择包括多摄像机场景的各种片段并从这些片段创建“多摄像机”文件。davinci 在编辑操作期间利用每个片段的音轨使多摄像机文件内的单独片段同步。
4.提供一种用于对多摄像机源素材进行管理的替代方式将是有利的。
5.说明书中对任何现有技术的引用并不是承认或暗示该现有技术构成任何司法管辖区的公知常识的一部分或者可以合理地预期该现有技术被本领域技术人员理解为、被视为与其他现有技术相关和/或与其他现有技术组合。


技术实现要素：

6.根据本发明的第一方面，提供了一种视频编辑系统，该视频编辑系统包括：
7.导入管理器，该导入管理器用于将媒体文件导入到视频编辑系统中；用户界面；以及
8.同步引擎，该同步引擎用于检测具有一个或更多个公共属性的导入的媒体文件，并且用于在用户界面中显示用于每个检测到的媒体文件的标记。
9.本发明至少在优选实施方式中提供了同步引擎，该同步引擎与视频编辑系统集成，并且自动地检测具有公共属性的文件(比如多摄像机源素材的各个文件)，并且方便地将其细节显示在视频编辑系统的用户界面中。
10.公共属性可能来自导入文件本身或来自文件的元数据。例如，公共属性可以是两个文件公共的时间码。替代性地，公共属性可以包括媒体文件的时间和日期(单独地或与公共时间码组合)、或文件的音轨(时间码和时间/日期中的任一者是公共的)。同步引擎可以配置成检测额外的公共属性。例如，可以检测地理位置并将其与其他检测到的公共属性比如时间码和/或日期和时间相结合。
11.同步引擎还可以检测两个文件的非公共属性并将其与检测到的文件的一个或更多个公共属性结合。例如，包含由不同摄像机录制的视频(这些信息源自这些文件各自的元数据)但具有重叠时间码和/或日期和时间的两个文件可能包含多摄像机源素材。
12.优选地，用户界面包括时间线和空间分离的媒体库显示区域，标记显示在媒体库显示区域中。最佳地，标记以指示这些标记共享公共属性的方式显示在媒体库显示区域中。根据一个实施方式，标记竖向地分布在媒体库显示区域中，以指示检测到的媒体文件包括多摄像机媒体片段。
13.优选地，同步引擎能够检测一个检测到的媒体文件在用户界面的编辑控件中的加载，并且自动地致使在用户界面中显示具有公共属性的其他检测到的媒体文件的标记。在这方面，编辑控件可以是时间线。
14.优选地，同步引擎能够将检测到的媒体文件相对于已经存在于时间线中并且具有公共属性的另一个检测到的媒体文件定位在时间线中的正确位置处。
15.根据优选实施方式，同步引擎在视频编辑系统的后台连续执行。
16.根据本发明的第二方面，提供了一种用于对视频编辑系统中的媒体文件进行管理的方法，该方法包括以下步骤：
17.将媒体文件导入到视频编辑系统中；
18.检测具有一个或更多个公共属性的导入的媒体文件；以及
19.在视频编辑系统的用户界面中显示检测到的媒体文件的标记。
20.根据本发明的另一方面，提供了一种软件产品，该软件产品包括存储指令的计算机可读介质，所述指令在由处理器执行时提供根据本发明的第一方面的视频编辑系统或者执行根据本发明的第二方面的方法。
21.根据本发明的另一方面，提供了一种用于视频编辑系统的用户界面，该用户界面包括：
22.编辑控件；
23.面板，该面板用于显示导入到视频编辑系统中的多个媒体文件的标记；以及
24.同步引擎，该同步引擎配置成检测媒体文件中的一个媒体文件在编辑控件中的加载，并且自动地在面板中显示与该媒体文件共享公共属性的其他媒体文件的标记。
25.如本文中所使用的，除非上下文另有要求，否则术语“包括”和该术语的变体比如“包括有”、“包含有”和“包含”并不意在排除进一步的添加、组件、整数或步骤。
附图说明
26.本发明的其他方面和先前段落中描述的方面的其他实施方式将根据参考附图以示例方式给出的以下描述而变得明显，在附图中：
27.图1是适于实施本发明的实施方式的软件模块的集成集合的示意图；
28.图2是由图1所示的同步引擎执行的示例性算法的流程图；
29.图3至图11是由根据本发明的实施方式的视频编辑系统生成的示例性图形用户界面显示；以及
30.图12是适于实施根据本发明的实施方式的视频编辑系统的硬件环境的示意图。
具体实施方式
31.图1图示了适于实施本发明的实施方式的视频编辑系统100。视频编辑系统100是安装在计算机系统(下文描述)上的软件应用程序，操作系统190也安装在该计算机系统上。
视频编辑系统100包括非线性编辑器120，提供允许对源材料(比如，视频和音频片段)进行非破坏性编辑和从其创建完成项目的功能。当需要时，非线性编辑器120利用计算机的硬件资源(包括视频和图形资源)以提供编辑和项目创建功能。硬件资源通常通过合适的操作系统190api来访问。
32.视频编辑系统100包括图形用户界面140，该图形用户界面140显示用于诸如视频编辑、色彩校正和项目创建之类的工作流的用户界面控件。
33.通过导入管理器160将源材料导入到视频编辑系统100中。在这方面，导入管理器160访问合适的操作系统190api以扫描本地和远程文件系统以用于将合适的源材料导入到视频编辑系统100中。导入管理器160还在源材料可以导入到视频编辑系统100中之前对源材料所需的任何预处理(比如转码)进行管理。一旦导入，源材料的相关细节(比如文件名、目录位置、长度、硬件细节、地理位置、时间和日期以及编解码器)就存储在数据库165中。数据库165还被视频编辑系统100用来存储和访问从导入的源材料所创建的项目的细节。
34.视频编辑系统100还包括同步引擎180。如下所述，同步引擎180实现“实时”同步视图，该“实时”同步视图自动地识别与选定导入片段共享公共属性的导入媒体片段，并在用户界面中显示这些片段。根据一个实施方式，视频编辑系统自动地为共享公共属性的多个媒体片段创建文件夹(或“媒体库”)并在该文件夹中显示媒体片段。
35.例如，选定媒体片段可能处于正在被查看或编辑的过程中，在这种情况下，同步引擎180显示与选定媒体片段共享公共属性的所有其他媒体片段。这种相关(即，共享公共属性)媒体片段的“实时”视图可以方便地显示在特定时间点哪些片段可用、以及这些相关片段可用多长时间。实时视图还允许快速访问和编辑相关的媒体片段。
36.现在将参照图2来描述由同步引擎180执行以提供实时同步视图的示例性算法。在优选实施方式中，该算法在视频编辑系统100的背景中连续执行。还优选的是，该算法在“源级别”影响同步，或者换言之，该算法利用从摄像机传递的本机文件格式，而无需或基本上无需操作。这可能会提供更准确和更有效的同步，以及确保导入的媒体在首次导入时同步，并且因此在需要编辑时可供用户使用。源级别同步还允许在使用相同源媒体的后续项目中使用广泛的检测到的同步信息。
37.该过程开始于步骤200。在步骤210中，媒体文件被导入到视频编辑系统100中。导入管理器160为导入提供合适的用户界面控件。例如，导入管理器160提供允许将文件从它们在计算机的文件系统中的位置拖放到由视频编辑系统100提供的项目范例中的控件。例如，视频编辑系统100可以允许用户在目录层次结构(或“媒体池”)中创建文件夹(或“库”)，可以将选定媒体文件拖放到该文件夹(或“库”)中并因此导入到视频编辑系统中。
38.在步骤220中，同步引擎180解析导入的媒体文件及其元数据。
39.在步骤230中，同步引擎180尝试将导入的媒体文件的时间码信息与先前导入到视频编辑系统100中的其他媒体文件的时间码进行匹配。如本领域技术人员已知的，时间码由视频摄像机与视频捕捉同时生成并且用于识别捕获的视频中的精确位置。根据smpte标准，时间码生成为32位数字，每个数字代表小时、分钟、秒和帧。
40.识别两个不同文件中的一系列公共时间码值，每个文件包含由不同摄像机(根据文件的元数据中存在的摄像机标识符字段这是明显的)录制的视频表明文件的基础视频是由不同摄像机可能从不同角度拍摄的同一场景。
41.在新导入的文件和先前导入的文件之间没有公共时间码值的情况下，该方法进行至步骤270(参见下文)。
42.在两个媒体文件的时间码匹配的情况下(如果存在重叠的时间码值则可能发生这种情况)，该方法进行至步骤240，在该步骤240中，同步引擎180尝试将存在于导入文件的元数据与先前导入文件的相应元数据中的日期和时间信息进行匹配。日期和时间信息通常包括在使用摄像机自己的内部时钟的视频文件中。日期和时间信息不一定像时间码数据那样精确，并且因此被用作辅助匹配标准。
43.在时间和日期元数据能够匹配的情况下，因为在大约相同的时间和日期录制的视频中存在重叠的时间码，这两个文件很可能包含多摄像机源。在这种情况下，创建相关片段组(如果需要)并将新导入的媒体文件分配给该组(步骤250)。相关片段组包含已经被检测为共享公共属性(比如公共时间码值和/或日期和时间)的所有文件。如下所述，相关片段组用于触发用户界面功能，该用户界面功能响应于用户与片段中的一个片段的交互而自动地显示该组中的所有片段。
44.在时间和日期元数据不能匹配的情况下，该方法进行至步骤260，在该步骤260中，同步引擎对存在于新导入文件中的任何音轨和先前导入文件中的音轨执行音频比较例程。在比较例程指示两个音频文件之间的共性的情况下(这反映了文件的基础视频是由不同摄像机拍摄的同一场景的事实)，则该方法返回至步骤250，在该步骤250中，新导入的媒体文件被分配给适当的相关片段组。
45.本发明可以使用其他匹配算法。例如，可以仅使用时间码或仅使用日期/时间信息来匹配文件。其他算法利用匹配标准的各种组合，比如时间码和音频、或日期/时间和音频。也可以使用其他匹配标准，比如地理坐标或其他位置信息。
46.本技术人的davinci是适于实施本发明的实施方式的视频编辑系统的示例。图3图示了由davinci resolve生成的示例性用户界面140。界面140包括具有媒体库显示区域300的面板，媒体库显示区域300用于接收和显示导入的视频片段。由于没有片段已经被导入到图3中示出的项目中，因而媒体库显示区域300是空的。界面140还包括用于查看选定视频片段的源查看器310和时间线320，可以将片段从源查看器310拖放至时间线320以用于编辑和项目创建。
47.图4示出了在已经通过放置在媒体库显示区域300中而导入了一系列片段之后的用户界面140的状态。在所示实施方式中，同步引擎180已经使用上述匹配算法对导入的所述一系列片段执行实时同步。用户界面140还包括同步按钮325，该按钮325一旦被激活就启动同步引擎180以执行同步。激活同步按钮325显示允许用户选择与同步有关的各种选项的同步控制窗口。例如，通过同步窗口，用户可以选择是否基于时间码、时间和日期、音频或其任意组合来进行同步。
48.在图4所示的实施方式中，匹配算法已经确定导入的片段是关于已经由四个不同摄像机录制的公共场景的。用户界面140显示允许用户选择单独摄像机的摄像机选择窗口330。
49.图5示出了用户从图4所示的摄像机选择窗口中选择“摄像机1”之后的用户界面140的状态。在所示实施方式中，只有一个导入的视频片段是使用“摄像机1”录制的。这反映在媒体库显示区域300中所示的单个视频片段中。可以选择媒体片段以在源查看器310中查
看并且将媒体片段拖放到时间线320中以用于编辑。
50.图6图示了由本发明提供的实时同步视图。通过激活图6中标记为“sync bin”的同步视图按钮610来选择同步视图。选择同步视图按钮610致使nle 120创建新的媒体库(称为“同步库”)并使得其处理渲染渲染在同步库显示区域620中。在所示实施方式中，存在于新媒体库中的每个片段的标记(呈缩略图的形式)显示在同步库显示区域中。
51.片段标记以指示它们是同步的并且因此共享一个或更多个公共属性的方式显示在同步库显示区域620中。在所示实施方式中，由四个不同摄像机录制的片段的标记(由匹配算法确定)以竖向分布的方式显示在同步库显示区域620中。
52.在图6所示的实时同步视图的实施方式中，源查看器310包括用于四个摄像机中的每一个摄像机的单独的查看区域。
53.同步库显示区域620不仅显示当前片段630(即，存在于时间线320和源查看器310中的片段)，还自动地显示当前片段630的相关片段组中的任何其他片段。如上所述，在所示实施方式中，相关片段组包括由不同摄像机对同一场景的录制。这些相关片段在图6中示出为片段640和650。片段630、640和650竖向地分布在同步库显示区域620中以说明它们相互同步的关系。如上所述，在同步引擎检测到片段具有公共属性时，同步引擎180将各个片段分配给相关片段组。在专用媒体库中显示相关片段是完全自动的并且对用户而言是透明的。
54.根据用于检测公共属性的元数据，相关片段630、640、650被显示在同步库显示区域中。例如，如果片段被检测为具有公共的时间码值，则这些公共的时间码值用于以说明共性的方式显示片段。在图6所示的实施方式中，片段630首先开始，这表明存在时间间隔，在该时间间隔期间，摄像机1是对场景进行录制的唯一摄像机。这反映在图6所示的源查看器310中，源查看器310仅显示片段630，而其他查看区域是空的。
55.在稍后的时间点，片段630和640重叠(例如，通过具有公共时间码或公共音轨)，表明摄像机1和2同时且独立地对同一场景进行录制。在更晚的时间点，所有三个片段630、640和650都重叠，表明摄像机1、摄像机2和摄像机3中的每一者均对同一场景进行录制。通过使片段640和650的开始点相对于片段630偏移来显示该时间信息。
56.用户可以将片段(在图6中，片段630)拖放到时间线320中以用于编辑和项目创建。nle 120利用检测到的属性信息(例如，时间码信息、时间和日期、或音轨)将片段在时间线中定位在正确时间位置中。当多个片段被拖放到时间线320中时，属性信息还用于保持多个片段的同步。
57.图7图示了在时间线320中的播放头710已经进展至比图6所示的时间更晚的时间之后的用户界面140的状态。在同步库显示区域620中提供第二播放头715，用户也可以操纵第二播放头715在所显示的片段中滚动。
58.在图7所示的时间，播放头710和715已经前进至正在播放多个相关片段的位置。特别地，在图7所示的时间位置，所有四个摄像机(即，摄像机1、摄像机2、摄像机3和摄像机4)各自且同时地录制同一场景。这由片段630、640、650和660在同步库显示区域620中的竖向分布显示来指示。本发明检测这种情况并且自动地将所有相关片段加载到源查看器310的相关查看区域中。
59.如图8所示，可以方便地选择任何一个单独视图以用于在源查看器310中查看。音
频波形查看器690设置在源查看器310的正下方。音频波形查看器690用作编辑控件并允许用户例如利用入点和出点来标记片段(在该实例中为片段660)。入点和出点定义了整个片段的可以被加载到时间线320中以用于编辑和项目创建的一部分。如上所述，nle 120利用检测到的属性信息(例如时间码信息)将片段部分定位在时间线320中的正确时间位置中。
60.如上所述，一旦片段被显示被显示在同步库显示区域620中，这些片段就可以被适当地拖放至时间线320并以通常的方式进行编辑。这在图9中图示出，图9示出了两个相关片段910和920已经被从源查看器310或同步库显示区域拖放到时间线320中。源查看器310示出为显示存在于同步库显示区域620中的所有四个片段，但是四个片段中的仅两个片段已经被拖放到时间线320中。
61.重要的是，当片段被拖放到时间线320中时，片段910和920之间的同步时间关系(如由匹配算法所检测的)被保留。这允许无缝地执行摄像机切换。换言之，当项目从片段910剪切至片段920并返回至片段910时(如图9所示)，整个项目的连续性得以保留。
62.本发明的同步引擎180与由视频编辑系统100提供的其他编辑特征无缝地操作。这在图10中图示出，图10示出了不相关片段950，该不相关片段950已经被拖放到由片段920占用的时间线320的同一轨道中。尽管片段950与片段920不在同一相关片段组中，但允许这样的编辑特征。同时，片段910和920之间的时间关系被保留在时间线320中。
63.图11图示了在播放头1000已经进展超过播放片段920并且已经开始播放片段950之后的图10的用户界面的状态。如上所述，由于同步引擎180没有检测到由片段共享的任何公共属性，因而片段950不在同一相关片段组920中。然而，片段950确实与其他片段共享公共属性，这些属性先前已经被同步引擎180检测到。在这种情形下，同步引擎180自动地创建新的同步库和同步库显示区域620，并将与片段920相关的片段加载到新创建的库中。当播放头1000开始播放片段950时，显示新创建的同步库显示区域。然后可以将这些加载的片段适当地拖放到时间线上以用于编辑。
64.图12提供了图示计算机系统1200的一个示例的框图，可以在该计算机系统1200上实施本发明的实施方式。计算机系统1200包括用于传递信息的总线1202或其他通信机制、以及与总线1002联接以用于处理信息的硬件处理器1204。硬件处理器1204可以例如是通用微处理器、图形处理单元、其他类型的处理单元，或其组合。
65.计算机系统1200还包括耦合至总线1202以用于存储信息以及待由处理器1004执行的指令的主存储器1206，比如随机存取存储器(ram)或其他动态存储装置。主存储器1206也可以用于存储在待由处理器1204执行的指令的执行期间的临时变量或其他中间信息。当被存储在处理器1204可访问的非暂时性存储介质中时，这些指令使得计算机系统1200变成被定制成执行指令中指定的操作的专用机器。
66.计算机系统1002还包括耦合至总线1202以用于存储处理器1204的指令和静态信息的只读存储器(rom)1208或其他静态存储装置。提供存储装置1210(比如磁盘或光盘)，并且存储装置1210耦合至总线1002以用于存储包括上述视频编辑软件应用程序的信息和指令。
67.计算机系统1000可以经由总线1002耦合至显示器1212(比如lcd、led、触摸屏显示器或其他显示器)以用于向计算机用户显示信息，比如上面描述和图示的图形用户界面。包括字母数字和其他键的输入装置1214可以耦合至总线1202，以将信息和命令选择传送至处
理器1204。另一种类型的用户输入装置是用于将方向信息和命令选择传送至处理器1204并且用于控制显示器1212上的光标移动的光标控件，比如鼠标、轨迹球或光标方向键。
68.根据一个实施方式，本文中的技术由计算机系统1200响应于处理器1204执行包含在主存储器1206中的一个或更多个指令的一个或更多个序列而执行。这些指令可以从另一存储介质比如远程数据库读入主存储器1206中。包含在主存储器1206中的指令序列的执行致使处理器1204执行本文中描述的处理步骤。在替代性实施方式中，硬连线电路可以代替软件指令或与软件指令结合使用。
69.本文中使用的术语“多个存储介质”或“存储介质”是指存储使机器以特定方式操作的数据和/或指令的任何非暂时性介质。这些存储介质可以包括非易失性介质和/或易失性介质。非易失性介质包括例如光盘或磁盘，比如存储装置1210。易失性介质包括动态存储器，比如主存储器1206。常见形式的存储介质包括例如软盘、柔性盘、硬盘、固态驱动器、磁带或任何其他磁性数据存储介质、cd-rom、任何其他光学数据存储介质、具有孔图案的任何物理介质、ram、prom和eprom、flash-eprom、nvram、任何其他内存芯片或盒式磁带。
70.计算机系统1200还包括耦合至总线1202的通信接口1216。通信接口1216提供与连接至通信网络1220的网络链路1218的双向数据通信耦合。例如，通信接口1016可以是综合业务数字网络(isdn)卡、电缆调制解调器、卫星调制解调器等。作为另一示例，通信接口1016可以是局域网(lan)卡以提供与兼容lan的数据通信连接。还可以实现无线链路。在任何这样的实现形式中，通信接口1218发送和接收携带代表各种类型信息的数字数据流的电信号、电磁信号或光信号。
71.将理解的是，在本说明书中公开和定义的本发明扩展至从文本或附图中提及或清楚的各个特征中的两个或更多个特征的所有替代性组合。所有这些不同的组合构成了本发明的各种替代性方面。