一种视频剪辑方法、电子设备、无人飞行器及存储介质与流程

1.本技术涉及视频剪辑领域，尤其涉及一种视频剪辑方法、电子设备、无人飞行器及存储介质。


背景技术：

2.目前，无人飞行器在飞行的过程中，常通过所搭载的拍摄装置拍摄录制空中画面。而后，可以对所拍摄的视频数据进行剪辑以得到由精彩画面组成的视频。
3.在相关技术中，通过视频自动剪辑技术对视频数据进行自动剪辑，主要通过图像识别技术提取出精彩画面进行剪辑，但存在图像识别不准确，导致容易漏掉一些精彩画面。


技术实现要素：

4.本技术提供了一种视频剪辑方法、电子设备、无人飞行器及存储介质，可自动剪辑无人飞行器所拍摄的视频数据，保留用户希望留下的精彩画面。
5.为了达到上述技术效果，本技术实施例公开了如下技术方案：
6.第一方面，提供了一种视频剪辑方法，应用于电子设备上，所述电子设备与无人飞行器通信连接，所述无人飞行器搭载有拍摄装置且用于拍摄视频数据，所述电子设备用于处理所述视频数据；所述方法包括：
7.获取所述拍摄装置所拍摄的视频数据、所述无人飞行器的飞行姿态数据以及时间戳数据；其中，所述时间戳数据用于同步所述视频数据与所述飞行姿态数据；
8.基于所述飞行姿态数据和所述时间戳数据对所述视频数据进行剪辑。
9.第二方面，提供了一种视频剪辑方法，应用于无人飞行器，所述无人飞行器搭载有拍摄装置，所述方法包括：
10.获取所述拍摄装置所拍摄的视频数据，以及记录无人飞行器的飞行姿态数据，并对应生成时间戳数据；其中，所述时间戳数据用于同步所述视频数据与所述飞行姿态数据；
11.基于所述飞行姿态数据和所述时间戳数据对所述视频数据进行剪辑。
12.第三方面，提供了一种电子设备，与无人飞行器通信连接，用于控制所述无人飞行器运动，所述无人飞行器搭载有拍摄装置，包括：
13.处理器；
14.用于存储处理器可执行指令的存储器；
15.其中，所述处理器被配置为：
16.获取所述拍摄装置所拍摄的视频数据、所述无人飞行器的飞行姿态数据以及时间戳数据；其中，所述时间戳数据用于同步所述视频数据与所述飞行姿态数据；
17.基于所述飞行姿态数据和所述时间戳数据对所述视频数据进行剪辑。
18.第四方面，提供了一种无人飞行器，搭载有拍摄装置，包括：
19.处理器；
20.用于存储处理器可执行指令的存储器；
21.其中，所述处理器被配置为：
22.获取所述拍摄装置所拍摄的视频数据，以及在存储器中记录无人飞行器的飞行姿态数据，并对应生成时间戳数据；其中，所述时间戳数据用于同步所述视频数据与所述飞行姿态数据；
23.基于所述飞行姿态数据和所述时间戳数据对所述视频数据进行剪辑。
24.第五方面，提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被执行时实现上述任一的方法。
25.本技术的实施例提供的技术方案可以包括以下有益效果：
26.本技术提供的视频剪辑方法，利用了时间戳数据将视频数据与飞行器的飞行姿态数据进行同步，并基于飞行姿态数据和时间戳数据对所录制视频进行自动剪辑，可以将飞行器在以特定姿态飞行时所拍摄的视频数据自动剪辑出来，保留了用户希望留下的精彩画面。
附图说明
27.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
28.图1是本技术所提供的视频剪辑方法的应用场景。
29.图2是本技术根据一实施例示出的一种视频剪辑方法。
30.图3是本技术根据一示例性实施例示出的电子设备。
31.图4是本技术根据另一实施例示出的一种视频剪辑方法。
32.图5是本技术根据另一实施例示出的一种视频剪辑方法。
33.图6是本技术提供的电子设备的结构示意图。
34.图7是本技术提供的无人飞行器的结构示意图。
具体实施方式
35.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述。
36.参见图1，为本技术所提供的视频剪辑方法的应用场景。无人飞行器上配备有拍摄装置，使得无人飞行器在飞行、悬停时能拍摄空中画面。遥控器与无人飞行器之间通信连接，使得用户可以通过遥控器控制无人飞行器的飞行，具体的，可以通过遥控器上的摇杆、滑轮等控件控制无人飞行器的飞行速度、高度、返航等。其中，无人飞行器可以是无人航拍机、穿越机等，拍摄装置可以是相机、摄像头等具备图像采集功能的装置。
37.参见图2，为本技术根据一实施例示出的一种视频剪辑方法。该方法可以由与无人飞行器通信的电子设备执行。该电子设备与搭载有拍摄装置的无人飞行器通讯，可以用于处理视频数据。如图3的(a)所示，电子设备可以是配备有显示屏的遥控器，所述遥控器中有处理器或处理芯片。用户可在显示屏查看飞行器返回的视频数据，遥控器中的处理器或处理芯片可处理视频数据。电子设备还可以是可运行具有遥控功能的虚拟界面的移动终端，如手机、平板、ipad等(图3中未示出)。移动终端可以通过虚拟界面中的虚拟控件(如虚拟摇
杆、虚拟滑轮等)控制无人飞行器的飞行，以及查看、处理飞行器返回的视频数据。此外，如图3的(b)所示，如果电子设备是移动终端，还可以将此移动终端和遥控器通过电连接(如图所示)或无线连接(图未示)进行组合，用户一方面可通过遥控器控制无人飞行器的飞行，另一方面可在移动终端查看、处理飞行器返回的视频数据。本技术的电子设备包括但不仅限于上述种类，在此不做限制。在一种可选的实施例中，图2所示的步骤还可以由无人飞行器执行，具体的，可以是通过无人飞行器中所设的处理芯片上的图像处理模块对拍摄装置所拍摄的视频执行。
38.如图2所示，该方法包括以下步骤：
39.步骤110：获取拍摄装置所拍摄的视频数据、无人飞行器的飞行姿态数据以及时间戳数据。
40.步骤120：基于所述飞行姿态数据和所述时间戳数据对所述视频数据进行剪辑。
41.在一个实施例中，在由电子设备执行以上步骤时，在电子设备与无人飞行器连接通讯后，可以由电子设备获取无人飞行器的拍摄装置所拍摄的视频数据、无人飞行器的飞行姿态数据、以及时间戳数据，其中，时间戳数据用于同步飞行姿态数据和视频数据。
42.此外，电子设备可以是在无人飞行器飞行过程中实时从无人飞行器获取上述三种数据并进行剪辑，当然，也可以由无人飞行器在飞行的过程中实时保存拍摄装置所拍摄的视频数据，同时记录并保存无人飞行器的飞行姿态数据以及生成时间戳数据，在无人飞行器拍摄完成后，再从无人飞行器的存储器中读取上述三种数据进行剪辑操作。对于剪辑所得的视频数据，可以用于进行回放或者分享。
43.在一个实施例中，在由无人飞行器执行以上步骤时，可以由无人飞行器在飞行的过程中实时基于无人飞行器的飞行姿态数据并生成时间戳数据，由此基于飞行姿态数据和时间戳数据对拍摄装置所拍摄的视频数据进行实时剪辑，并将剪辑所得视频发送到通信连接的电子设备上以供回放或分享。当然，也可以是无人飞行器在飞行的过程中实时保存拍摄装置所拍摄的视频数据，同时记录并保存无人飞行器的飞行姿态数据以及生成时间戳数据，并在拍摄完成后对视频数据进行剪辑，再将剪辑所得视频发送到通信连接的电子设备上以供回放或分享。
44.需要说明的是，在剪辑的过程中，由于无人飞行器在不同时刻的飞行姿态数据与在该时刻下所拍摄的视频数据可通过时间戳数据同步，当要剪辑出无人飞行器在以特定飞行姿态下飞行时所拍摄的视频数据，电子设备可通过查找出与特定飞行姿态数据对应的时间戳数据，并根据该对应的时间戳数据剪辑出视频数据。
45.上述实施例所提供的视频剪辑方法，利用了时间戳数据将视频数据与飞行器的飞行姿态数据进行同步，并基于飞行姿态数据和时间戳数据对所录制视频进行自动剪辑，可以将无人飞行器在以特定姿态飞行时所拍摄的视频数据自动剪辑出来，保留了用户希望留下的精彩画面。
46.下面以与无人飞行器通信的电子设备执行视频剪辑方法进行说明，可以理解，该方法在由无人飞行器执行时与由电子设备执行的原理相同，差异仅在于需要由无人飞行剪辑完成后向电子设备发送，因此，以下所介绍内容在由无人飞行器执行的情况下也同样适用。
47.在一种可选的实施例中，电子设备执行步骤110，从无人飞行器中获取拍摄装置所
拍摄的视频数据、无人飞行器的飞行姿态数据、以及时间戳数据。其中，视频数据即无人飞行器在飞行、悬停时利用拍摄装置所录制的视频帧数据。飞行姿态数据可以描述无人飞行器在各个时间点的飞行姿态，这些数据可以是无人飞行器的飞行档位、飞行速度、旋转角度、飞行高度、障碍物距离以及所搭载的云台姿态等数据中的一种或多种数据。具体来讲，无人飞行器的旋转角度可以是俯仰角度(pitch角度)、偏航角度(yaw角度)以及翻滚角度(roll角度)等等。时间戳数据用于标识出其他数据的生成时间，在本技术中，时间戳数据可标识出视频数据以及飞行姿态数据的生成时间，用于同步视频数据与飞行姿态数据。
48.电子设备与无人飞行器通讯，可从无人飞行器中获取视频数据、飞行姿态数据以及时间戳数据。其中，电子设备可在无人飞行器飞行时，实时获取视频数据、飞行姿态数据以及时间戳数据；也可以在拍摄装置完成拍摄，无人飞行器返航后，获取飞行器中存储的视频数据、飞行姿态数据以及时间戳数据。
49.可选地，电子设备在获取飞行姿态数据后，可以对获取到的飞行姿态数据进行去噪处理。去噪处理的方式可以根据所属领域技术人员的需求进行不同选择，例如，可对飞行姿态数据执行低通滤波等，以便去除飞行姿态数据中发生突变的数据，如飞行速度的瞬间跳变时产生的数据，从而使得剪辑结果更加平滑流畅。另外，飞行姿态数据的去噪处理还可以由无人飞行器的处理器执行。无人飞行器可在去噪处理后，将处理后的飞行姿态数据发送到电子设备。
50.作为示例，电子设备执行步骤120，基于所述飞行姿态数据和所述时间戳数据对所述视频数据进行剪辑的过程可参见图4，其包括以下步骤：
51.步骤121：判断飞行姿态数据是否满足预设剪辑条件；
52.步骤122：对满足预设剪辑条件的飞行姿态数据所处时刻对应的视频数据进行拼接，得到剪辑后的视频。
53.步骤121中，剪辑条件可以由所属领域技术人员根据实际需求设置，在此列举几种可能的剪辑条件，其具体可以是以下任何一个或多个条件的组合：
54.(1)无人飞行器的飞行档位为预设档位：无人飞行器有多种飞行档位，如普通档位、动力档位、运动档位、手动档位、翻滚档位等，对于不同的飞行档位，用户的操作指令、飞行器能执行的飞行动作(偏航、俯仰、翻滚动作)、最大飞行速度、最大飞行高度都会有所不同，用户可以根据自己的需要选择飞行档位。预设档位可以是允许无人飞行器执行高自由度动作的档位，也可以是允许无人飞行器以较高速度飞行的档位，如运动档位、手动档位、或翻滚档位，在此不做限制。
55.(2)无人飞行器的旋转角度大于预设角度阈值：如前文所述，无人飞行器的旋转角度可以包括pitch角度、yaw角度以及roll角度等，因此相应地，预设角度阈值可以包括pitch角度阈值、yaw角度阈值以及roll角度阈值等。用户可以自行设定，当指定的某一种角度旋转角度大于对应的角度阈值，则认为无人飞行器的旋转角度大于预设角度阈值，举个例子，用户可以设定，只有当无人飞行器的roll角度大于30
°
时，才认为无人飞行器的旋转角度大于预设角度阈值，而不关注其他两种旋转角度；也可以设定一种以上旋转角度大于对应的角度阈值，则认为无人飞行器的旋转角度大于预设角度阈值，在此不做限制。
56.(3)无人飞行器的飞行速度大于预设速度阈值。
57.(4)无人飞行器的飞行高度大于预设高度阈值。
58.(5)无人飞行器与障碍物的距离小于预设距离阈值。
59.(6)无人飞行器上的云台姿态变化大于预设姿态变化阈值：无人飞行器在飞行时由于空气阻力等，机身会不可避免地抖动，为了防止机身的抖动影响拍摄装置的拍摄平稳程度，云台会以机身抖动频率、幅度一致，但与抖动方向相反的方式抖动，以平稳拍摄装置。而为了区分云台姿态变化是由平稳摄像头所导致的，还是无人机发生了较大的飞行姿态变化导致的，可以将云台的抖动频率小于预设频率阈值以及云台的转动幅度大于预设转动幅度阈值作为剪辑条件。其中，对于云台姿态的变化也可以是根据云台在pitch角度、yaw角度以及roll角度上角度的变化来确定，预设姿态变化阈值也可以根据以上三个角度来进行设置。
60.(7)电子设备上用于操作无人机飞行的控件的变化幅度大于预设变化幅度阈值。所述控件可以是物理控件如摇杆、拨轮；也可以是虚拟控件如虚拟摇杆、虚拟拨轮。作为例子，此条件可以设置为遥控器上的杆量变化大于30％。
61.上述预设档位、速度阈值、高度阈值、距离阈值、频率阈值与转动幅度阈值等可由用户设定修改，也可以是程序默认设定，在此不做限制。
62.以上列举了多种可选择的剪辑条件，用户可自行选择一种以上剪辑条件作为预设剪辑条件。例如，用户可以仅选择“无人飞行器的飞行速度大于预设速度阈值”作为预设剪辑条件，也可以选择“无人飞行器的飞行速度大于预设速度阈值”，和/或“无人飞行器的旋转角度大于预设角度阈值”，和/或“无人飞行器与障碍物的距离小于预设距离阈值”作为预设剪辑条件。
63.剪辑视频数据可以是对视频数据进行标记，提取视频数据中被标记的视频数据进行拼接。具体的，由于飞行姿态数据记录了无人飞行器在各个时间点的飞行姿态。对于满足预设剪辑条件的飞行姿态数据，可在时间戳数据中标记出该飞行姿态所对应的时间戳数据。如无人飞行器飞行时，从第2分钟到2分20秒的飞行姿态数据，以及从第3分钟到3分30秒的飞行姿态数据，满足预设剪辑条件，则标记出时间戳数据中第2分钟到2分20秒，以及第3分钟到3分30秒的数据。
64.根据所标记的时间戳数据，查找对应的视频数据，并提取该视频数据用于进行拼接。如根据所标记的时间戳数据，可查找出所标记的第2分钟到2分20秒，以及第3分钟到3分30秒的视频数据。提取出上述两段视频数据，并将这两段视频数据拼接起来，得到自动剪辑后的视频。
65.在一种可选的实施例中，上述基于飞行姿态数据的自动剪辑方法，还可以结合现有的基于视频内容的自动剪辑方法，即自动剪辑方法同时参考飞行姿态与视频内容。
66.具体地，基于视频内容的自动剪辑方法可以是利用如生物识别、景物识别技术，识别出视频数据是否包含人物景象，并剪辑出包含人物景象的视频数据；还可以是利用图像识别技术，识别相邻帧之间的相似度，标记视频数据中相邻帧之间相似度大于预设相似度阈值的时刻，并提取包含所述时刻的指定时间段内的视频数据用于进行拼接。所属领域技术人员可利用常规的基于视频内容进行自动剪辑的技术实现，本技术在此不作限制。
67.两种剪辑方法的结合，可以是先参考飞行姿态剪辑出对应的视频数据，再参考视频内容对一次剪辑后的视频数据进行二次剪辑。先参考飞行姿态还是视频内容进行剪辑，在此不做限定。两种剪辑方法的结合，可以剪辑出飞行姿态满足预设剪辑条件所对应的视
频数据，以及基于视频内容所识别出的视频数据，由此可以弥补由于单一的剪辑方式所导致的可能遗漏精彩画面的问题，大大丰富剪辑视频的内容。
68.在一个例子中，如果执行剪辑操作的设备是无人飞行器，在无人飞行器将剪辑后的视频数据发送到电子设备后，电子设备还可以对该视频数据进行二次剪辑。例如，为了节省存储资源，无人飞行器只保存飞行高度大于50米时所拍摄的视频数据，执行上述的视频剪辑方法，对拍摄装置所录制的视频数据剪辑出飞行高度大于50米的视频数据。其后，无人飞行器可以将飞行姿态数据、时间戳数据、以及一次剪辑后的视频数据发送到电子设备上。用户可根据需要，进一步在电子设备上执行上述视频剪辑方法，二次剪辑出飞行速度大于20km/h，或与障碍物距离小于2m时所拍摄的视频数据。
69.另外，在电子设备上回放视频时，所回放的视频可以是剪辑出的视频数据，也可以是基于飞行姿态数据以及时间戳数据标记但并未剪辑的视频数据，在回放时可以仅对标记时间段的视频进行播放，如利用上述方法标记出飞行时第2分钟到2分20秒的视频数据，回放时可直接跳到1分57秒时刻并由此时刻开始播放至2分23秒后，再跳到下一标记时刻进行播放。
70.结合以上实施例可以看出，本技术所提供的视频剪辑方法，基于飞行姿态数据和时间戳数据对所录制视频进行自动剪辑，可以将飞行器在进行高速飞行、翻滚、旋转等高难度动作时所拍摄的视频数据自动剪辑出来，保留了用户希望留下的精彩画面。尤其对于穿越机而言，与航拍机不同的是，穿越机能进行高速、大机动场景飞行等高难度飞行动作，由此带来拍摄画面常出现较大幅度的变化，导致了一些瞬间的画面难以由图像画面识别准确识别出来，尤其是对于穿越机在高速飞行、翻转时所拍摄的画面，而这些画面又往往是用户希望提取保留的精彩画面，利用本技术所提供的视频剪辑方法，基于穿越机的飞行姿态自动剪辑，可以实现避免由于画面识别的不准确，导致容易错失的精彩时刻的问题。
71.参见图5，为本技术一应用实例，包括以下步骤：
72.步骤210：获取视频数据、时间戳数据、飞行姿态数据。
73.视频数据即无人飞行器在飞行、悬停时利用其拍摄装置所录制的视频帧数据。飞行姿态数据可以描述无人飞行器在各个时间点的飞行姿态，这些数据可以是无人飞行器的飞行档位、飞行速度、旋转角度、飞行高度、障碍物距离以及所搭载的云台姿态等数据中一种或多种数据。时间戳数据可标识出视频数据与飞行姿态数据的生成时间，用于同步视频数据与飞行姿态数据。
74.电子设备可以实时获取上述三种数据；也可以在拍摄装置完成拍摄，无人飞行器返航后，获取上述三种数据。
75.步骤220：读取某一时刻飞行姿态数据。
76.飞行姿态数据包括了无人飞行器的飞行档位、飞行速度、旋转角度、飞行高度、障碍物距离以及所搭载的云台姿态等数据。本实施例以飞行档位、飞行速度、旋转角度作为剪辑条件示例，实际上用户可以选取其他数据或其组合作为剪辑条件，本技术对此不作限定。
77.步骤230：执行低通滤波。
78.为了使剪辑结果更平滑，可以对飞行姿态数据进行去噪处理，常用的处理方法为低通滤波，可去除数据中发生突变的数据，如飞行速度瞬间跳变时产生的数据等。
79.步骤240：判断飞行数据是否满足预设剪辑条件，包括：
80.步骤240a：判断飞行档位是否为预设档位；
81.步骤240b：判断飞行速度是否大于速度阈值；
82.步骤240c：判断旋转角度是否大于角度阈值；
83.上述预设档位、速度阈值、角度阈值可由用户设定修改，也可以是程序默认设定，在此不做限制。
84.步骤250：判断是否满足一个以上剪辑条件。
85.步骤250还可以是：判断是否满足2个以上剪辑条件。若是则执行步骤260；否则执行步骤220，读取下一时刻的飞行姿态数据。
86.步骤260：标记对应的时间戳数据。
87.若某一时刻的飞行姿态数据满足上述判断条件，则从时间戳数据中标记出对应的时刻。
88.步骤270：提取与所标记的时间戳数据对应的视频数据片段。
89.步骤280：拼接提取的视频数据片段。
90.将所有提取出的视频数据片段拼接一起，即得到自动剪辑后的视频。
91.本技术以上实施例所提供的视频剪辑方法，实现了基于飞行姿态数据和时间戳数据对所录制视频进行自动剪辑，可以将穿越机在进行高速飞行、翻滚、旋转等高难度动作时所拍摄的视频数据自动剪辑出来，保留了用户希望留下的精彩画面。
92.基于图2所示的视频剪辑方法，本技术还提供了如图6所示的电子设备的结构示意图。如图6，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图2所述的视频剪辑方法。
93.基于图2所示的视频剪辑方法，本技术还提供了如图7所示的无人飞行器的结构示意图。如图7，在硬件层面，该无人飞行器包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图2所述的视频剪辑方法。
94.本技术还提供了一种计算机存储介质，存储介质存储有计算机程序，计算机程序被处理器执行时可用于执行上述图2提供的视频剪辑方法
95.对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
96.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
97.以上对本技术实施例所提供的方法和装置进行了详细介绍，本文中应用了具体个
例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的一般技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。