波形图绘制方法、装置、电子设备及存储介质与流程

1.本公开涉及计算机技术领域，尤其涉及波形图绘制方法、装置、电子设备及存储介质。


背景技术：

2.用户可以通过在终端上安装的音视频编辑应用，将音乐叠加到视频中，为视频配音乐，例如将该音乐作为视频中的某一段视频或整个视频的背景音乐。
3.相关技术中，在音视频编辑应用界面上，显示以音乐音量为纵坐标和以视频长度为横坐标的波形图，以供用户通过控制波形图上的点，对音视频进行卡点或剪辑等编辑操作。然而，在用户对音视频重新编辑，即重新将音乐叠加到视频时，对音乐波形图更新时间很长，导致用户的终端设备会出现长时间的卡顿现象和电池耗电量增加的情况。


技术实现要素：

4.本公开提供一种波形图绘制方法、装置、电子设备及存储介质，以至少解决相关技术中波形图更新长的问题。本公开的技术方案如下：
5.根据本公开实施例的第一方面，提供一种波形图绘制方法，包括；当视频的编辑界面中显示音频的第一波形图时，接收用于调整音频的插入时间的指令，音频包括至少一个音频段，第一波形图包括与每个音频段对应的波形图段；响应于指令，根据调整后的插入时间，确定每个波形图段对应的时间区间，时间区间是指根据调整后的插入时间将音频叠加到视频上后，视频时间轴上的与波形图段对应的时间区间；将与视频的至少一个变速播放区间产生重叠的时间区间，确定为目标时间区间，变速播放区间是指播放速度相对于预设播放速度发生的视频片段对应的时间区间；在确定出至少一个目标时间区间的情况下，根据目标时间区间对应的视频播放速度，重新绘制目标时间区间对应的波形图段，得到第二波形图，第二波形图用于更新第一波形图。
6.在一种可能的实施方式中，根据目标时间区间对应的视频播放速度，重新绘制目标时间区间对应的波形图段，得到第二波形图，包括：根据预设采样周期，确定目标时间区间包括的多个采样时间点；根据采样时间点对应的视频播放速度，确定各个预设采样周期对应的视频长度；根据每个采样时间周期对应的视频长度和音频音量，绘制每个目标时间区间对应的波形图段，得到第二波形图。
7.另一种可能的实施方式中，将与视频的至少一个变速播放区间产生重叠的时间区间，确定为目标时间区间，包括：获取最新变速播放区间序列和最新时间区间序列，最新变速播放区间序列是指根据上一次比较结果更新后的变速播放区间序列或者初始变速播放区间序列，最新变速播放区间序列包括按照时间顺序排列的至少一个变速播放区间，最新时间区间序列是指根据上一次比较结果更新后的时间区间序列或者初始时间区间序列，最新时间区间序列包括按照时间顺序排列的至少一个时间区间；将最新变速播放区间序列中的第一个变速播放区间与最新时间区间序列中的第一个时间区间进行比较，得到比较结
果；根据比较结果确定最新时间区间序列中的第一个时间区间，是否为目标时间区间，以及，根据比较结果对最新变速播放区间序列或最新时间区间序列进行更新。
8.另一种可能的实施方式中，获取最新变速播放区间序列和最新时间区间序列之前，方法还包括：按照时间顺序对所有变速播放区间进行排列，得到初始变速播放区间序列，以及，按照时间顺序对所有时间区间进行排列，得到初始时间区间序列。
9.另一种可能的实施方式中，根据比较结果确定最新时间区间序列中的第一个时间区间，是否为目标时间区间，包括：如果第一个变速播放区间的起始时间大于等于第一个时间区间的起始时间，且小于等于第一个时间区间的终止时间，和/或，如果第一个变速播放区间的终止时间大于等于第一个时间区间的起始时间，且小于等于第一个时间区间的终止时间，将第一个时间区间确定为目标时间区间。
10.另一种可能的实施方式中，根据比较结果对最新变速播放区间序列或最新时间区间序列进行更新，包括：如果第一个变速播放区间的起始时间大于等于第一个时间区间的起始时间，且小于等于第一个时间区间的终止时间，和/或，如果第一个变速播放区间的终止时间大于等于第一个时间区间的起始时间，且小于等于第一个时间区间的终止时间，则将第一个时间区间从最新时间区间序列中删除，以更新最新时间区间序列；如果第一个变速播放区间的终止时间小于第一个时间区间的起始时间，则将第一个变速播放区间从最新变速播放区间序列中删除，以更新最新变速播放区间序列；如果第一个变速播放区间的起始时间大于第一个时间区间的终止时间，则将第一个时间区间从最新时间区间中删除，以更新最新时间区间序列。
11.另一种可能的实施方式中，将与视频的至少一个变速播放区间产生重叠的时间区间，确定为目标时间区间，方法还包括：将每个变速播放区间，依次与每个时间区间比较，将与任意一个变速播放区间产生重叠的时间区间作为目标时间区间。
12.另一种可能的实施方式中，在响应于指令，根据调整后的插入时间，确定每个波形图段对应的时间区间之前，方法还包括：根据第一波形图中音频要叠加到视频的开始时间和终止时间，按照时间顺序将第一波形图切分为至少一个波形图段。
13.根据本公开实施例的第二方面，提供一种波形图绘制装置，装置包括：接收单元，被配置为执行当视频的编辑界面中显示音频的第一波形图时，接收用于调整音频的插入时间的指令，音频包括至少一个音频段，第一波形图包括与每个音频段对应的波形图段；第一确定单元，被配置为执行响应于指令，根据调整后的插入时间，确定每个波形图段对应的时间区间，时间区间是指根据调整后的插入时间将音频叠加到视频上后，视频时间轴上的与波形图段对应的时间区间；第二确定单元，被配置为执行将与视频的至少一个变速播放区间产生重叠的时间区间，确定为目标时间区间，变速播放区间是指播放速度相对于预设播放速度发生的视频片段对应的时间区间；绘制单元，被配置为执行在确定出至少一个目标时间区间的情况下，根据目标时间区间对应的视频播放速度，重新绘制目标时间区间对应的波形图段，得到第二波形图，第二波形图用于更新第一波形图。
14.在一种可能的实施方式中，绘制单元被配置为具体执行：根据预设采样周期，确定目标时间区间包括的多个采样时间点；根据采样时间点对应的视频播放速度，确定各个预设采样周期对应的视频长度；根据每个采样时间周期对应的视频长度和音频音量，绘制每个目标时间区间对应的波形图段，得到第二波形图。
15.另一种可能的实施方式中，第二确定单元，被配置为具体执行：获取最新变速播放区间序列和最新时间区间序列，最新变速播放区间序列是指根据上一次比较结果更新后的变速播放区间序列或者初始变速播放区间序列，最新变速播放区间序列包括按照时间顺序排列的至少一个变速播放区间，最新时间区间序列是指根据上一次比较结果更新后的时间区间序列或者初始时间区间序列，最新时间区间序列包括按照时间顺序排列的至少一个时间区间；将最新变速播放区间序列中的第一个变速播放区间与最新时间区间序列中的第一个时间区间进行比较，得到比较结果；根据比较结果确定最新时间区间序列中的第一个时间区间，是否为目标时间区间，以及，根据比较结果对最新变速播放区间序列或最新时间区间序列进行更新。
16.另一种可能的实施方式中，获取最新变速播放区间序列和最新时间区间序列之前，第二确定单元被配置为具体还执行：按照时间顺序对所有变速播放区间进行排列，得到初始变速播放区间序列，以及，按照时间顺序对所有时间区间进行排列，得到初始时间区间序列。
17.另一种可能的实施方式中，第二确定单元被配置为具体执行：如果第一个变速播放区间的起始时间大于等于第一个时间区间的起始时间，且小于等于第一个时间区间的终止时间，和/或，如果第一个变速播放区间的终止时间大于等于第一个时间区间的起始时间，且小于等于第一个时间区间的终止时间，将第一个时间区间确定为目标时间区间。
18.另一种可能的实施方式中，如果第一个变速播放区间的起始时间大于等于第一个时间区间的起始时间，且小于等于第一个时间区间的终止时间，和/或，如果第一个变速播放区间的终止时间大于等于第一个时间区间的起始时间，且小于等于第一个时间区间的终止时间，则将第一个时间区间从最新时间区间序列中删除，以更新最新时间区间序列；如果第一个变速播放区间的终止时间小于第一个时间区间的起始时间，则将第一个变速播放区间从最新变速播放区间序列中删除，以更新最新变速播放区间序列；如果第一个变速播放区间的起始时间大于第一个时间区间的终止时间，则将第一个时间区间从最新时间区间中删除，以更新最新时间区间序列。
19.另一种可能的实施方式中，第二确定单元被配置为具体执行：将每个变速播放区间，依次与每个时间区间比较，将与任意一个变速播放区间产生重叠的时间区间作为目标时间区间。
20.另一种可能的实施方式中，装置还包括：切分单元，被配置为执行根据第一波形图中音频要叠加到视频的开始时间和终止时间，按照时间顺序将第一波形图切分为至少一个波形图段。
21.根据本公开实施例的第三方面，提供一种电子设备，包括：处理器和用于存储处理器可执行指令的存储器；其中，处理器被配置为执行可执行指令，以实现如第一方面及其任一种可能的实施方式的波形图绘制方法。
22.根据本公开实施例的第四方面，提供一种计算机可读存储介质，当计算机可读存储介质中的指令由图像处理装置或电子设备的处理器执行时，使得图像处理装置或电子设备能够执行如第一方面及其任一种可能的实施方式的波形图绘制方法。
23.根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序或指令，计算机程序或指令被处理器执行如第一方面及其任一种可能的实施方式的波形图绘制
方法。
24.本公开的实施例提供的技术方案至少带来以下有益效果：根据调整后的插入时间，确定了音频重新叠加到视频中各个波形图段的时间区间。进而根据各个波形图段的时间区间和视频的变速播放区间发生重叠，检测识别到了波形图中发生波形局部变化的波形段，以使在对音视频资源重新编辑时，只用对发生变化局部波形对应的波形段进行重新绘制，以对整个波形图进行更新。相比于相关技术中，需要对整个波形图重新绘制，大大缩短了波形图绘制时间，从而大大降价地在终端设备中波形图的更新时间，进而大大减少了终端设备的耗电量。
25.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
26.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
27.图1是根据一示例性实施例示出的一种电子设备的示意图；
28.图2是根据一示例性实施例示出的一种波形图绘制方法的流程图；
29.图3是根据一示例性实施例示出的一种调整前波形图的示意图；
30.图4是根据一示例性实施例示出的一种调整后波形图的示意图；
31.图5是根据一示例性实施例示出的一种波形图绘制装置的框图。
具体实施方式
32.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
33.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
34.在对本公开实施例提供的波形图绘制方法进行详细介绍之前，先对本公开实施例涉及的实施环境和应用场景进行简单介绍。
35.首先，对本公开涉及的应用场景进行简单介绍。
36.相关技术中，通过将音乐对应的音量大小和音乐叠加到视频中各个时间对应的视频长度绘制的波形图，显示在音视频编辑应用界面上，以供用户通过控制波形图上的点，对音视频进行卡点或剪辑等编辑操作。然而，在用户对音视频重新编辑，即重新将音乐叠加到视频时，对音乐波形图更新时间很长，导致用户的终端设备会出现长时间的卡顿现象和电池耗电量增加的情况。
37.针对上述问题，本公开提供了一种波形图绘制方法，在音频叠加到视频上的插入时间发生变化时，重新确定出第一波形图包括的各个波形图段对应的时间区间。同时，将与
相对预设播放速度发生变化的变速播放的视频片段对应的时间区间确定为视频的变速播放区间。将上述重新确定出的各个波形图段的时间区间中，与视频的变速播放区间中有重叠的波形图段的时间区间，确定为目标时间区间，以检测出第一波形图中波形发生变化的局部波形图，为目标时间区间对应的波形图段。从而通过对目标时间区间对应的波形图段进行重新绘制，得到所需的第二波形图。
38.本公开实施例提供的波形图绘制方法，根据调整后的插入时间，确定了音频重新叠加到视频中各个波形图段的时间区间。进而根据各个波形图段的时间区间和视频的变速播放区间发生重叠，检测识别到了波形图中发生波形局部变化的波形段，以使在对音视频资源重新编辑时，只用对发生变化局部波形对应的波形段进行重新绘制，以对整个波形图进行更新。相比于相关技术中，需要对整个波形图重新绘制，大大缩短了波形图绘制时间，从而大大降价地在终端设备中波形图的更新时间，进而大大减少了终端设备的耗电量。。
39.其次，下面对本公开涉及的实施环境(实施架构)进行简单介绍。
40.本公开实施例提供的波形图绘制方法可以应用于电子设备。电子设备可以是终端设备或服务器。其中，终端设备可以是智能手机、平板电脑、掌上电脑、车载终端、台式电脑以及笔记本电脑等。服务器可以是任意一个服务器或服务器集群，本公开对此不做限定。
41.此外，需要说明的是，本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)，均为经用户账户授权或者经过各方充分授权的信息。
42.图1是本公开提供的一种电子设备的示意图。如图1，该电子设备10可以包括至少一个处理器101以及用于存储处理器可执行指令的存储器103。其中，处理器101被配置为执行存储器103中的指令，以实现以下实施例中的波形图绘制方法。
43.另外，电子设备10还可以包括通信总线102、至少一个通信接口104，输出设备105和输入设备106。
44.处理器101可以是一个处理器(central processing units，cpu)，微处理单元，asic，或一个或多个用于控制本公开方案程序执行的集成电路。
45.通信总线102可包括一通路，在上述组件之间传送信息。
46.通信接口104，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如以太网，无线接入网(radio access network，ran)，无线局域网(wireless local area networks，wlan)等。
47.存储器103可以是只读存储器(read-only memory，rom)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，ram)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，eeprom)、只读光盘(compact disc read-only memory，cd-rom)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理单元相连接。存储器也可以和处理单元集成在一起。
48.其中，存储器103用于存储执行本公开方案的指令，并由处理器101来控制执行。处理器101用于执行存储器103中存储的指令，从而实现本公开方法中的功能。
49.在具体实现中，作为一种实施例，处理器101可以包括一个或多个cpu，例如图1中的cpu0和cpu1。
50.在具体实现中，作为一种实施例，电子设备10可以包括多个处理器，例如图1中的处理器101和处理器107。这些处理器中的每一个可以是一个单核(single-cpu)处理器，也可以是一个多核(multi-cpu)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
51.为了便于理解，以下结合附图对本公开提供的波形图绘制方法进行具体介绍。
52.图2是根据一示例性实施例示出的一种波形图绘制方法的流程图，如图2所示，波形图绘制方法用于电子设备中，包括以下步骤。
53.步骤s21：当视频的编辑界面中显示音频的第一波形图时，接收用于调整音频的插入时间的指令。
54.其中，音频包括至少一个音频段，第一波形图包括与每个音频段对应的波形图段。
55.在一种实施方式中，在接收用于调整音频的插入时间的指令时，即，对音频叠加到视频上的叠加时间发生了改变时，对第一波形图包括的波形图段进行获取。
56.作为一种可能的实现方式，在实施步骤s21之前或者在实施步骤s21之后，通过以下步骤s211实现对第一波形图的波形图段的获取，即改变之前视频编辑界面上显示的音频的原始波形图的波形图段的获取。
57.步骤s211：根据第一波形图中音频要叠加到视频的开始时间和终止时间，按照时间顺序将第一波形图切分为至少一个波形图段。
58.在该实施方式中，根据音频叠加到视频的开始时间和终止时间，将第一波形图切分n个波形图段，以使第一波形图的每个波形图段与叠加到视频的时间轴上的时间一一对应。通过上述方式，实现了以音频叠加到视频的开始时间和终止时间为基准，对第一波形图包括的波形图段获取，保证了获取的波形图段的时间区间对应的时间和视频的变速播放区间对应的时间是同一变量，即视频时间轴上的时间，从而保证了波形图绘制的准确性和可靠性。
59.步骤s22：响应于指令，根据调整后的插入时间，确定每个波形图段对应的时间区间。
60.其中，上述每个波形段的时间区间是指根据调整后的插入时间将音频叠加到视频上后，视频时间轴上的与波形图段对应的时间区间。
61.作为一种实施方式，通过调整后的插入时间和视频的编辑界面中显示音频的第一波形图的原始插入时间之间的时间差，来确定每个波形图段对应的时间区间。例如，第一波形图的原始插入时间1秒，包括5个波形时间段，则5个波形时间段对应的原始时间区间为[1s，2s]、[2s，3s]、[3s，4s]、[4s，5s]和[5s，6s]。如果调整后的插入时间2秒，则二者插入时间的时间差为(-1)秒，则将原始波形图段对应的时间区间减去时间差后得到调整后的波形图段对应的时间区间。即，调整后的波形图段对应的时间区间为[2s，3s]、[3s，4s]、[4s，5s]、[5s，6s]和[6s，7s]。
[0062]
作为另一种实施方式，通过调整后的插入时间和整个第一波形图在视频轴上占用的整个时间的时长。例如，第一波形图的整个时长5秒，如果调整后的插入时间2秒，将第一波形图包括的波形图段的数量确定为5个，则调整后的波形图段对应的时间区间为[2s，
3s]、[3s，4s]、[4s，5s]、[5s，6s]和[6s，7s]。
[0063]
步骤s23：将与视频的至少一个变速播放区间产生重叠的时间区间，确定为目标时间区间。
[0064]
需要说明的是，上述变速播放区间是指播放速度相对于预设播放速度发生的视频片段对应的时间区间。也可以理解为，指视频时间轴上的播放速度相对于预设播放速度发生变化的变速播放的视频片段对应的时间区间。
[0065]
其中，将与视频的至少一个变速播放区间产生重叠的时间区间，可以理解为，将所有波形图段对应的时间区间中，与任意一个变速播放区间有重叠的各个波形图段的时间区间均确定为目标时间区间。
[0066]
在一些实施例中，变速播放区间可以是预先存储的变速播放区间，也可以检测到插入时间发生变化时，通过对视频播放速度检测得到的。时间区间与变速播放区间产生重叠可以被称为时间区间与变速播放区间有交集。
[0067]
作为一种可能的实施方式，上述步骤s23可以通过以下步骤s231至s233具体实施。
[0068]
步骤s231：获取最新变速播放区间序列和最新时间区间序列。
[0069]
其中，最新变速播放区间序列是指根据上一次比较结果更新后的变速播放区间序列或者初始变速播放区间序列，最新变速播放区间序列包括按照时间顺序排列的至少一个变速播放区间，最新时间区间序列是指根据上一次比较结果更新后的时间区间序列或者初始时间区间序列，最新时间区间序列包括按照时间顺序排列的至少一个时间区间。
[0070]
上一次比较结果是相对于更新后的第一个时间区间和更新后的第一个变速播放区间比较的前一次比较结果。
[0071]
在一种实施方式中，在实施上述步骤s231之前，还可以执行以下步骤s2311。
[0072]
步骤s2311：按照时间顺序对所有变速播放区间进行排列，得到初始变速播放区间序列，以及，按照时间顺序对所有时间区间进行排列，得到初始时间区间序列。
[0073]
在该实施方式中，将所有时间区间按照时间先后顺序进行排序形成初始时间区间序列，将所有待变速播放区间按照时间先后顺利进行排列形成初始变速播放区间序列。此时将最新变速播放区间序列为初始变速播放区间序列，最新时间区间序列为初始变速播放区间序列。通过上述方式，对最新变速播放区间序列和最新时间区间序列进行初始化赋值，以保证通过上述循环比较和更新确定目标区间过程可行性。
[0074]
步骤s232：将最新变速播放区间序列中的第一个变速播放区间与最新时间区间序列中的第一个时间区间进行比较，得到比较结果。
[0075]
步骤s233：根据比较结果确定最新时间区间序列中的第一个时间区间，是否为目标时间区间，以及，根据比较结果对最新变速播放区间序列或最新时间区间序列进行更新。
[0076]
在一种实施方式中，在实施上述步骤s233可以通过执行以下步骤s2331至步骤s2334具体实施。其中，步骤s2331实现了对最新时间区间序列中的第一个时间区间是否为目标时间区间的确定。步骤s2332至步骤s2334实现了对最新变速播放区间序列或最新时间区间序列的更新。本技术对步骤s2331至步骤s2334相互之间的执行顺序不进行具体限定。
[0077]
步骤s2331：如果第一个变速播放区间的起始时间大于等于第一个时间区间的起始时间，且小于等于第一个时间区间的终止时间，和/或，如果第一个变速播放区间的终止时间大于等于第一个时间区间的起始时间，且小于等于第一个时间区间的终止时间，将第
一个时间区间确定为目标时间区间。
[0078]
在该实施方式中，通过比较更新后的第一个时间区间和更新后的第一个变速播放区间两个区间对应的起始时间和终止时间，以实现对目标时间区间的确定，其实现过程逻辑简单易操作，简化了对波形图中波形发生变化的波形图段的检测和确定过程，从而加快了波形图的绘制过程。
[0079]
步骤s2332：如果第一个变速播放区间的起始时间大于等于第一个时间区间的起始时间，且小于等于第一个时间区间的终止时间，和/或，如果第一个变速播放区间的终止时间大于等于第一个时间区间的起始时间，且小于等于第一个时间区间的终止时间，则将第一个时间区间从最新时间区间序列中删除，以更新最新时间区间序列；
[0080]
步骤s2333：如果第一个变速播放区间的终止时间小于第一个时间区间的起始时间，则将第一个变速播放区间从最新变速播放区间序列中删除，以更新最新变速播放区间序列；
[0081]
步骤s2334：如果第一个变速播放区间的起始时间大于第一个时间区间的终止时间，则将第一个时间区间从最新时间区间中删除，以更新最新时间区间序列。
[0082]
在该实施方式中，通过比较更新后的第一个时间区间和更新后的第一个变速播放区间两个区间对应的起始时间和终止时间，以实现对变速播放区间序列和时间区间序列的更新，其实现过程逻辑简单易操作，简化了对波形图中波形发生变化的波形图段的检测和确定过程。简化了对波形图中波形发生变化的波形图段的检测和确定过程，从而加快了波形图的绘制过程。
[0083]
在一种具体实施方式中，首先，将所有时间区间按照时间先后顺序进行排序形成时间区间序列，将所有待变速播放区间按照时间先后顺利进行排列形成变速播放区间序列。其次，分别抽取上述时间区间序列和变速播放区间序列中的第一个时间区间和第一个变速播放区间进行比较，得到比较结果。再次，根据比较结果对第一个时间区间是否为目标区间进行确定，并将对时间区间序列或变速播放区间序列进行更新。再次，将更新后的时间区间序列和变速播放区间序列中第一个时间区间和第一个变速播放区间进行比较，得到比较结果。再次，根据比较结果更新后的第一个时间区间是否对目标区间进行确定，并将对更新后的时间区间序列或更新的变速播放区间序列进行再次更新，依次循环上是比较和更新过程，直至更新的时间区间序列不包含时间区间或变速播放区间序列中不包含变速播放区间为止。
[0084]
在一些实施例中，上述确定目标区间的过程可以采用优先队列算法获得。
[0085]
在上述实施方式中，将最新变速播放区间序列的第一个变速播放区间和最新时间区间序列中第一个时间区间进行比较。根据比较结果，确定目标时间区间、更新变速播放区间序列或更新时间区间序列，并将更新后的变速播放区间序列和更新后的时间区间序列分别作为最新变速播放区间序列和最新时间区间序列。通过依次循环以上比较更新后的第一个时间区间和更新后的第一个变速播放区间的比较步骤以及对变速播放区间序列和时间区间序列更新的更新步骤，能快速准确地确定出目标时间区间，从而提高了确定波形图中波形发生变化的波形图段的速度和精准性，进而提高了绘制波形图速度。
[0086]
作为另一种可能的实施方式，上述步骤s23还可以通过以下步骤s234具体实施。
[0087]
步骤s234：将每个变速播放区间，依次与每个时间区间比较，将与任意一个变速播
放区间产生重叠的时间区间作为目标时间区间。
[0088]
在该实施方式中，每个波形图段从头到尾寻找一次所有的变速播放区间。通过上述方式，在变速播放区间或波形段落的时间区间很少的情况下，直接依次逐个将变速播放区间或波形段落的时间区间进行比较，以实现对波形图中波形发生变化的波形图段的检测和确定。
[0089]
步骤s24：在确定出至少一个目标时间区间的情况下，根据目标时间区间对应的视频播放速度，重新绘制目标时间区间对应的波形图段，得到第二波形图，第二波形图用于更新第一波形图。
[0090]
作为一种实现方式，将第一波形图中目标时间对应的原始波形图段去除，直接根据目标时间区间对应的视频播放速度，在去除后的第一波形图上对目标时间区间对应的波形图段重新绘制，绘制后直接得到第二波形图。
[0091]
作为另一种实现方式，根据目标时间区间对应的视频播放速度，对目标时间区间对应的波形图段重新绘制，将重新绘制的波形图段替换掉目标时间区间的原始波形图段，得到第二波形图。
[0092]
进一步地，作为一种可能实施方式，上述步骤s24可以通过以下步骤s241至s243具体实施。
[0093]
步骤s241：根据预设采样周期，确定目标时间区间包括的多个采样时间点；
[0094]
步骤s242：根据采样时间点对应的视频播放速度，确定各个预设采样周期对应的视频长度；
[0095]
步骤s243：根据每个采样时间周期对应的视频长度和音频音量，绘制每个目标时间区间对应的波形图段，得到第二波形图。
[0096]
作为一种可能的实施方式，将目标区间按照预设采周期切分为n等份，将以上步骤s241至s243可以以下步骤一至步骤四方式具体实施。
[0097]
步骤一，确定每个目标区间的波形图段的起始时间；
[0098]
步骤二，确定采样时间宽度即预设采样周期；
[0099]
步骤三，获取各个采样周期内对应的视频长度和对应的各个采样周期内的音频音量；
[0100]
步骤四，以视频长度为横坐标和以音频音量为纵坐标，重新绘制目标区间对应的波形图段。
[0101]
其中，其目标区间的波形图段的绘制与图3和图4中的显示的波形图绘制过程等同。视频长度单位为帧和以音频音量单位为分贝。其重新绘制的目标时间区间对应的波形图段如图4中[11s，15s]对应的波形图段。
[0102]
在该实施方式中，按照预设采样周期，通过采样的方式获取各个采样时间点的视频播放速度和音频音量，实现了对波形图中的波形发生变化的局部波形图的绘制。
[0103]
在上述实施方式中，在音频叠加到视频上的插入时间发生变化时，重新确定出第一波形图包括的各个波形图段对应的时间区间。同时，将与相对预设播放速度发生变化的变速播放的视频片段对应的时间区间确定为视频的变速播放区间。将上述重新确定出的各个波形图段的时间区间中，与视频的变速播放区间中有重叠的波形图段的时间区间，确定为目标时间区间，以检测出第一波形图中波形发生变化的局部波形图，为目标时间区间对
应的波形图段。从而通过对目标时间区间对应的波形图段进行重新绘制，得到所需的第二波形图。
[0104]
本公开实施例提供的波形图绘制方法，根据调整后的插入时间，确定了音频重新叠加到视频中各个波形图段的时间区间。进而根据各个波形图段的时间区间和视频的变速播放区间发生重叠，检测识别到了波形图中发生波形局部变化的波形段，以使在对音视频资源重新编辑时，只用对发生变化局部波形对应的波形段进行重新绘制，以对整个波形图进行更新。相比于相关技术中，需要对整个波形图重新绘制，大大缩短了波形图绘制时间，从而大大降价地在终端设备中波形图的更新时间，进而大大减少了终端设备的耗电量。
[0105]
示例性的，如图3所示，调整前的视频的编辑界面中显示如图3所示的音频的第一波形图，预设采样周期t为1s，调整前的插入时间为1s，调整前的第一波形图包括三个波形图段，第一个波形图段至第三个波形图段，分别对应的时间区间为[1s，5s]、[5s，9s]和[9s，13s]。结合图3，如图4所示，在音频插入时间改变为3s时，调整后的第一波形图包括三个波形图段，第一个波形图段至第三个波形图段，调整后的三个波形图段分别对应的时间区间为：[3s，7s]、[7s，11s]和[11s，15s]。同时，获取到变速播放区间分别为：[0s，1s]、[13s，14s]、[14s，15s]和[17s，18s]，4个变速播放区间分别对应的速度为预设播放速度2倍、预设播放速度的2倍、预设播放速度的4倍和相对于预设播放速度非均匀变化如速度为时间的三次方等。其中，时间区间中，与变速播放区间有重叠的时间区间为[11s，15s]，则目标时间区间为[11s，15s]，对目标时间区间[11s，15s]重新绘制后，得到如图4所示的第二波形图。
[0106]
其中，对上述目标时间区间为[11s，15s]确定过程可以采用上述步骤s231至s233方法实施，也可以采用上述步骤s234实施。
[0107]
例如，采用步骤s231至s233实施时，初始时，时间区间序列为[3s，7s]、[7s，11s]和[11s，15s]，变速播放区间序列为[0s，1s]、[13s，14s]、[14s，15s]和[17s，18s]。初始时间区间序列的第一个时间区间为[3s，7s]，初始变速播放区间序列的第一个变速播放区间为[0s，1s]，第一个时间区间为[3s，7s]和第一个变速播放区间[0s，1s]没有重叠，且第一个变速播放区间的终止时间1s小于第一个时间区间的起始时间3s，则将第一个变速播放区间[0s，1s]从变速播放区间序列中删除，以更新变速播放区间序列，而时间区间序列依然更新为原来的时间区间序列。更新后的变速播放区间序列的第一个播放区间为[13s，14s]与更新后的时间区间序列的第一个时间区间依然为[3s，7s]，更新后的第一个时间区间终止时间7s小于更新后的第一个变速播放区间的起始时间13s，则将第一个时间区间依然为[3s，7s]从更新后的时间区间序列中删除，以更新时间区间序列。
[0108]
本公开实施例还提供一种如图5所示的波形图绘制装置500，该装置包括：接收单元501，第一确定单元502，第二确定单元503，绘制单元504和切分单元505。
[0109]
接收单元501，被配置为执行当视频的编辑界面中显示音频的第一波形图时，接收用于调整音频的插入时间的指令，音频包括至少一个音频段，第一波形图包括与每个音频段对应的波形图段。例如，接收单元501用于执行图2中的步骤s21。第一确定单元502，被配置为执行响应于指令，根据调整后的插入时间，确定每个波形图段对应的时间区间，时间区间是指根据调整后的插入时间将音频叠加到视频上后，视频时间轴上的与波形图段对应的时间区间；例如，第一确定单元502用于执行图2中的步骤s22。第二确定单元503，被配置为执行将与视频的至少一个变速播放区间产生重叠的时间区间，确定为目标时间区间，变速
播放区间是指视频时间轴上的相对于预设播放速度发生变化的变速播放的视频片段对应的时间区间；例如，第二确定单元503用于执行图2中的步骤s22。绘制单元504，被配置为执行在确定出至少一个目标时间区间的情况下，根据目标时间区间对应的视频播放速度，重新绘制目标时间区间对应的波形图段，得到第二波形图，第二波形图用于更新第一波形图。例如，绘制单元504用于执行图2中的步骤s23。
[0110]
在一种可能的实施方式中，绘制单元504被配置为具体执行：根据预设采样周期，确定目标时间区间包括的多个采样时间点；根据采样时间点对应的视频播放速度，确定各个预设采样周期对应的视频长度；根据每个采样时间周期对应的视频长度和音频音量，绘制每个目标时间区间对应的波形图段，得到第二波形图。
[0111]
另一种可能的实施方式中，第二确定单元503，被配置为具体执行：获取最新变速播放区间序列和最新时间区间序列，最新变速播放区间序列是指根据上一次比较结果更新后的变速播放区间序列或者初始变速播放区间序列，最新变速播放区间序列包括按照时间顺序排列的至少一个变速播放区间，最新时间区间序列是指根据上一次比较结果更新后的时间区间序列或者初始时间区间序列，最新时间区间序列包括按照时间顺序排列的至少一个时间区间；将最新变速播放区间序列中的第一个变速播放区间与最新时间区间序列中的第一个时间区间进行比较，得到比较结果；根据比较结果确定最新时间区间序列中的第一个时间区间，是否为目标时间区间，以及，根据比较结果对最新变速播放区间序列或最新时间区间序列进行更新。
[0112]
另一种可能的实施方式中，获取最新变速播放区间序列和最新时间区间序列之前，第二确定单元503被配置为具体还执行：按照时间顺序对所有变速播放区间进行排列，得到初始变速播放区间序列，以及，按照时间顺序对所有时间区间进行排列，得到初始时间区间序列。
[0113]
另一种可能的实施方式中，第二确定单元503被配置为具体执行：如果第一个变速播放区间的起始时间大于等于第一个时间区间的起始时间，且小于等于第一个时间区间的终止时间，和/或，如果第一个变速播放区间的终止时间大于等于第一个时间区间的起始时间，且小于等于第一个时间区间的终止时间，将第一个时间区间确定为目标时间区间。
[0114]
另一种可能的实施方式中，如果第一个变速播放区间的起始时间大于等于第一个时间区间的起始时间，且小于等于第一个时间区间的终止时间，和/或，如果第一个变速播放区间的终止时间大于等于第一个时间区间的起始时间，且小于等于第一个时间区间的终止时间，则将第一个时间区间从最新时间区间序列中删除，以更新最新时间区间序列；如果第一个变速播放区间的终止时间小于第一个时间区间的起始时间，则将第一个变速播放区间从最新变速播放区间序列中删除，以更新最新变速播放区间序列；如果第一个变速播放区间的起始时间大于第一个时间区间的终止时间，则将第一个时间区间从最新时间区间中删除，以更新最新时间区间序列。
[0115]
另一种可能的实施方式中，第二确定单元503被配置为具体执行：将每个变速播放区间，依次与每个时间区间比较，将与任意一个变速播放区间产生重叠的时间区间作为目标时间区间。
[0116]
另一种可能的实施方式中，装置还包括：切分单元505，被配置为执行根据第一波形图中音频要叠加到视频的开始时间和终止时间，按照时间顺序将第一波形图切分为至少
一个波形图段。
[0117]
本公开实施例还提供一种电子设备。该电子设备如图1所示包括：处理器101和用于存储处理器101可执行指令的存储器103；其中，处理器101被配置为执行可执行指令，以实现如上述任一种可能的实施方式的波形图绘制方法。且能达到相同的技术效果，为避免重复，这里不再赘述。
[0118]
本公开实施例还提供一种计算机可读存储介质，当计算机可读存储介质中的指令由图像处理装置或电子设备的处理器执行时，使得图像处理装置或电子设备能够执行如上述任一种可能的实施方式的波形图绘制方法。且能达到相同的技术效果，为避免重复，这里不再赘述。
[0119]
本公开实施例还提供一种计算机程序产品，包括计算机程序或指令，计算机程序或指令被处理器执行如上述任一种可能的实施方式的波形图绘制方法。且能达到相同的技术效果，为避免重复，这里不再赘述。
[0120]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
[0121]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。