一种音视频的在线审片方法和相关设备与流程

1.本发明涉及多媒体处理技术领域，特别涉及一种音视频的在线审片方法和相关设备。


背景技术：

2.随着视频拍摄和处理的门槛降低，越来越多的用户能够轻松拍摄制作视频。在视频编辑处理过程中，常常需要团队合作，以提升视频后期的质量。由于目前视频后期处理的常常是以帧为单位，但是一段视频包含了大量的视频帧，因此在提出问题后修改过程中需要频繁地寻找对应的视频帧，工作效率低下。若采用线下直接沟通的方式，需要团队成员同时在场，因此无法频繁高效地讨论修改。


技术实现要素：

3.本发明要解决的技术问题在于音视频的批注修改效率，针对现有技术的不足，提供一种音视频的在线审片方法和相关设备。
4.为了解决上述技术问题，本发明所采用的技术方案如下：
5.一种音视频的在线审片方法，所述方法包括：
6.获取待处理的音视频文件；
7.对所述音视频文件进行解析，得到所述音视频文件对应的时间轴；
8.当检测到针对所述时间轴的定位指令时，根据所述定位指令，显示所述音视频文件中的目标信息并显示；
9.当检测到针对所述目标信息的批注指令时，根据所述批注指令，生成所述目标信息对应的批注信息。
10.所述音视频的在线审片方法，其中，所述时间轴包括图像轴或/和音频轴，所述定位指令包括针对所述图像轴的图像指令，和针对所述音频轴的音频指令；所述根据所述定位指令，显示所述音视频文件中对应的目标信息并显示包括：
11.当检测到所述图像指令时，根据所述图像指令，显示所述音视频文件对应的图像信息并显示；
12.当检测到所述音频指令时，根据所述音频指令，显示所述音视频文件对应的视频信息并显示。
13.所述音视频的在线审片方法，其中，所述图像指令包括单帧指令和多帧指令；所述根据所述定位指令，显示所述音视频文件中的目标信息并显示包括：
14.当所述定位指令为单帧指令时，根据所述单帧指令对应的时间戳，将所述音视频文件中对应的帧图像作为目标信息并显示；
15.当所述定位指令为多帧指令时，根据所述多帧指令对应的起始时刻和终止时刻，将所述音视频文件中对应的图像集合作为目标信息并显示。
16.所述音视频的在线审片方法，其中，所述根据所述多帧指令对应的起始时刻和终
止时刻，将所述音视频文件中对应的图像集合作为目标信息并显示包括：
17.根据所述起始时刻对应的起始帧和所述终止时刻对应的终止帧，确定所述音视频文件中的起始图像和终止图像；
18.将所述起始图像和所述终止图像之间的视频图像作为图像集合；
19.根据预设的预览规则，显示所述图像集合。
20.所述音视频的在线审片方法，其中，所述批注指令包括启动指令和批注文本；所述根据所述批注指令，生成批注信息包括：
21.当检测到针对所述音视频信息对应的启动指令时，激活预设的批注区域；
22.当检测到针对所述批注区域的批注文本时，根据所述定位指令和所述批注文本，生成批注信息。
23.所述音视频的在线审片方法，其中，所述根据所述定位指令和所述批注文本，生成批注信息包括：
24.根据所述定位指令，生成时间信息；
25.根据所述定位指令对应的时间轴，确定批注对象；
26.根据所述时刻信息、所述批注对象和所述批注文本，生成批注信息。
27.所述音视频的在线审片方法，其中，所述方法还包括：
28.当检测到针对所述音视频文件的修改指令时，根据所述修改指令对应的时间戳，确定所述修改指令是否与所述批注信息对应；
29.若是，则根据所述修改指令，生成修改备注。
30.所述音视频的在线审片方法，其中，所述获取待处理的音视频文件包括：
31.获取待处理文件；
32.对所述待处理文件进行镜头识别，得到不同镜头对应的边界帧；
33.根据所述边界帧，对所述待处理文件进行拆分，得到若干个音视频文件。
34.一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的音视频的在线审片方法中的步骤。
35.一种终端设备，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
36.所述通信总线实现处理器和存储器之间的连接通信；
37.所述处理器执行所述计算机可读程序时实现如上任一所述的音视频的在线审片方法中的步骤。
38.有益效果：本发明提供一种音视频的在线审片方法和相关设备，先获取待处理的音视频文件，然后对其解析，得到对应的时间轴。用户需要对某一个时刻或一段时间的音视频进行批注时，先发送定位指令，根据定位指令，显示目标信息，以便用户确定是否为需要批注的内容。用户确定后，输入批注指令，从而生成该时刻或时间对应的批注信息。
附图说明
39.图1为本发明提供的音视频的在线审片方法的流程图。
40.图2为本发明提供的音视频的在线审片方法中确定分界帧的示意图。
41.图3为本发明提供的音视频的在线审片方法中第一种目标信息显示的示意图。
42.图4为本发明提供的音视频的在线审片方法中第二种目标信息显示的示意图。
43.图5为本发明提供的终端设备的结构原理图。
具体实施方式
44.本发明提供一种音视频的在线审片方法，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
45.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
46.本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
47.如图1所示，本实施提供了一种音视频的在线审片方法，为方便说明，以常见的服务器作为执行主体进行描述，此处的服务器可替换为平板、电脑等具有数据处理功能的设备，音视频的在线审片方法包括以下步骤：
48.s10、获取待处理的音视频文件。
49.具体地，首先获取待处理地音视频文件，音视频文件包括音频和视频。例如音视频文件1为视频文件，音视频文件2为音频文件。
50.一般视频文件都较大，在视频文件上批注需要计算机具有较高的运算能力。为了提高运行的效率，本实施例，可将待处理文件进行拆分，得到若干个音视频文件，每一个音视频文件都是待处理文件的一个片段，因此能够提高处理效率。进一步地，视频一般由多个镜头片段组成，若随机切割，后续观看批注时容易产生分裂感。因此在本实施例中，为得到音视频文件，在获取音视频文件之前，还包括：
51.a10、获取待处理文件。
52.具体地，首先获取待处理文件，该待处理文件为一视频文件。
53.a20、对所述待处理文件进行镜头识别，得到不同镜头对应的边界帧。
54.具体地，视频文件中包含有多个镜头，如图2所示，可根据该视频文件拍摄的镜头来源，确定从一个镜头切换到另一个镜头的帧图像，即边界帧。
55.例如采用光流分析算法对待处理文件进行分析，确定边界时刻，光流是空间运动物体在观测成像平面上的像素运动的“瞬时速度”，因此同一个镜头拍摄的帧图像之间存在可计算的瞬时速度，但是不同镜头拍摄的帧图像之间由于难以找到匹配的像素，因此计算
的瞬时速度异常，因此可预先设定一个光流值的正常范围，即光流阈值。
56.计算视频文件中每一个帧图像与前一张帧图像之间的光流值，当光流值不在光流阈值的范围内时，将该帧图像作为边界帧。
57.除光流分析之外，还可采用前后两张帧图像之间的相似度等方式确定边界帧。
58.确定边界帧后，可将边界帧和前后若干张帧图像展示在显示屏上，若用户检查认为边界帧确定错误，可人工重新选择合适的边界帧。
59.a30、根据所述边界帧，对所述待处理文件进行拆分，得到若干个音视频文件。
60.具体地，得到边界帧后，以边界帧为分水岭，将待处理文件进行拆分，第一个边界帧之前的帧图像作为一组，将第一个边界帧、第一个边界帧之后到第二个边界帧之前的帧图像作为第二组
……
直至将待处理文件中的所有帧图像分为若干图像组。同时根据边界帧对应的时刻，将待处理文件的音频进行拆分，得到若干个音频。根据在待处理文件中对应的时间段，将音频与对应图像组进行合并，得到后续可批注的音视频文件。
61.若不存在边界帧，即边界帧的数量为零，则直接将该待处理文件作为音视频文件。
62.进一步地，团队工作需要多人协作，例如一个用户管理一个镜头，故可预先为设定每一个镜头对应的管理账号，每一个管理账号对应一个镜头。拆分为音视频文件后，根据该音视频文件对应的镜头，确定对应的管理账号。
63.例如预先设定第一个镜头对应管理账号a，则将对应待处理文件中最前方的音视频文件发送至管理账号a。
64.s20、对所述音视频文件进行解析，得到所述音视频文件对应的时间轴。
65.具体地，无论是音频文件还是视频文件，播放处理时都是按照音频的时间轴和视频的时间轴进行的，故为了方便用户确认需要修改的时刻，对获取的音视频文件进行解析，得到音视频文件对应的时间轴。
66.为将音频文件对应的时间轴和视频文件对应的时间轴区分，将音频文件对应的时间轴称为音频轴，将视频文件对应的时间轴称为图像轴。
67.s30、当检测到针对所述时间轴的定位指令时，根据所述定位指令，显示所述音视频文件中的目标信息并显示。
68.具体地，用户可通过外接设备向电脑发送定位指令，例如将鼠标点击时间轴，时间轴的每一段都对应音视频文件的某一个时刻，因此当检测到定位指令时，针对定位指令对应的坐标，可确定其对应的时刻，将该时刻在音视频文件中对应的信息作为目标信息并显示。
69.上述例子是针对需要向单个时刻对应的目标信息批注，定位指令还可对应一个时间段，例如一边点击鼠标一边移动一段路径，将该路径的起点在时间轴上对应的时刻作为起始时刻，将该路径的终点在时间轴上对应的时刻作为终点时刻。根据起点时刻和终点时刻即可确定一个时间段。根据该时间段，可确定音视频文件中对应的目标信息并显示。
70.若该音视频文件为视频文件，则将针对图像轴的定位指令称为图像指令。当检测到图像指令时，根据图像指令，显示该图像指令对应的若干张图像。针对视频文件，根据定位指令对应的是单个时刻还是一段时间，定位指令还可分为单帧指令和多帧指令。由于音频的单帧并非与时刻对应，因此在本实施例中，针对音频文件，定位指令只能对应多个时段。
71.当定位指令为单帧指令时，根据单帧指令对应的时间戳，将所述音视频文件中对应的帧图像作为目标信息并显示。例如图3所示，在时间轴的上方设置目标信息的显示区域，显示该帧图像。
72.当定位指令为多帧指令时，根据所述多帧指令对应的起始时刻和终止时刻，将所述音视频文件中对应的图像集合作为目标信息并显示。先根据定位指令的起始时刻对应的起始帧，和所述终止时刻对应的终止帧，确定音视频文件中的起始图像和终止图像，然后将起始图像和终止图像之间的视频图像作为图像集合。该图像集合中可包括起始图像和终止图像本身，也可不包括。然后根据预设的预览规则，显示该图像集合。
73.此时由于多帧指令对应多张帧图像，为展示该帧图像，如图3所示，在一种预览规则中预先设定多个显示框，当需要显示多张帧图像时，按照帧图像的先后顺序，依次将帧图像导入显示框中，以显示所述图像集合。如图4所示，在另一种预览规则中，基于图像集合，生成略缩条，在略所条中包含图像集合中的每一个图像帧对应的略缩图。当检测到针对略所条中的某一个略缩图时，显示该略缩图对应的帧图像。前者能够方便用户一次性看到目标信息中的大量图像，后者能够方便用户逐帧仔细查看，因此两种预览模式可相互切换显示。
74.s40、当检测到针对所述目标信息的批注指令时，根据所述批注指令，生成所述目标信息对应的批注信息。
75.具体地，确定目标信息后，用户可针对该目标信息输入批注指令，批注指令中包含了所需要批注的内容，当检测到批注指令时，根据批注指令中的内容，生成与该目标信息对应的批注信息。
76.如图3所示，当生成批注信息后，批注信息可设置于显示界面的左侧，批注信息可包括针对的时刻或时间段、批注的内容、批注的时间等信息。
77.进一步地，批注指令可包括启动指令和批注文本，启动指令用于启动批注，批注文本为用户需要批注的内容。为方便用户输入和确定批注文本的内容，当检测启动指令时，激活预设的批注区域，用户可输入需要批注的内容，即批注文本。当检测到批注文本时，根据定位指令和批注文本，即可生成批注信息。例如根据定位指令对应时间轴上的时间，生成时间信息。同时根据定位指令对应的时间轴，确定批注对象，批注对象可包括图像、音频或者两者同时，即视频。例如可针对对象为音频批注文本为“调整人物对话时的音量”，针对对象为图像的批注文本为“增加曝光度”，针对对象为视频的批注文本为“视频与音乐节奏不协调”。对应第一个批注文本，对应的批注信息可为“[0:0:1-0:0:20]音频-调整人物对话时的音量”，其中，“[0:0:1-0:0:20]”为时间信息，“音频”为批注对象，“调整人物对话时的音量”为批注文本。
[0078]
此外，为了方便用户观看批注指令对应的位置，在生成批注信息的同时，可在所述时间轴上与所述批注信息对应的区域显示预设的提示标签，例如，将时间轴上这段时间对应的区域的背景色改为其他颜色，将绿色的背景作为提示标签。例如图4中，时间轴上有一个区域为浅灰色，即表明该时间段存在对应的批注信息。
[0079]
进一步地，当用户修改音视频文件时，向服务器发送针对音视频文件的修改指令，根据修改指令对应的时间戳，确定修改指令是否与批注信息对应。例如用户针对对应时间为[0:0:1-0:0:15]的音频进行修改，位于批注信息中的时间信息“[0:0:1-0:0:20]”内，故
可确定用户正在针对这个批注信息进行修改，因此根据修改指令，生成修改备注，表明用户已针对该处的内容进行修改。
[0080]
基于本发明，用户可通过定位指令，实现对某一个时刻或某一个时间段的内容的批注，方便后续快速地定位自己需要地修改的区域，提高工作效率。
[0081]
基于上述音视频的在线审片方法，本发明还提供了一种终端设备，如图5所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(communications interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑命令，以执行上述实施例中的方法。
[0082]
此外，上述的存储器22中的逻辑命令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取计算机可读存储介质中。
[0083]
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序命令或模块。处理器20通过运行存储在存储器22中的软件程序、命令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
[0084]
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态计算机可读存储介质。
[0085]
此外，上述计算机可读存储介质以及终端设备中的多条命令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
[0086]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。