音视频合拍处理方法、装置、终端设备及存储介质与流程

技术特征：
1.一种音视频合拍处理方法，其特征在于，应用于终端设备，所述方法包括：响应于接收到开始指令，控制所述终端设备开始录制音频和视频，且同时控制电子设备开始外放指定音频数据；其中，录制音频包括对电子设备外放所述指定音频数据时的声音进行录制，录制视频包括对所述电子设备外放所述指定音频数据时的指定目标进行录像；响应于接收到结束指令，控制所述终端设备终止录制音频和视频，得到第一音频数据和第一视频数据；对所述第一音频数据和所述指定音频数据进行匹配处理，以确定所述第一音频数据与所述指定音频数据之间的时间差；基于所述时间差对所述指定音频数据进行偏移处理，得到目标音频数据；以及将所述目标音频数据与所述第一视频数据进行合成，得到音频与视频合拍的音视频文件。2.根据权利要求1所述的方法，其特征在于，所述对所述第一音频数据和所述指定音频数据进行匹配处理，以确定所述第一音频数据与所述指定音频数据之间的时间差，包括：提取所述第一音频数据中指定时间段的数据片段；提取所述指定音频数据中指定时间段的数据片段；对所述第一音频数据的数据片段和所述指定音频数据的数据片段进行匹配处理，以确定所述第一音频数据与所述指定音频数据之间的时间差。3.根据权利要求1所述的方法，其特征在于，其中，所述第一音频数据和所述指定音频数据的时长均大于第一时长阈值，所述对所述第一音频数据和所述指定音频数据进行匹配处理，以确定所述第一音频数据与所述指定音频数据之间的时间差，包括：获取所述第一音频数据中的头部数据片段a1、中部数据片段b1和尾部数据片段c1；获取所述指定音频数据中的头部数据片段a2、中部数据片段b2和尾部数据片段c2；分别对头部数据片段a1、中部数据片段b1和尾部数据片段c1与头部数据片段a2、中部数据片段b2和尾部数据片段c2进行匹配处理，获得头部数据时间差、中部数据时间差和尾部数据时间差；以及将所述头部数据时间差、中部数据时间差和尾部数据时间差三者的平均值作为所述第一音频数据和所述指定音频数据之间的时间差。4.根据权利要求3所述的方法，其特征在于，其中，所述第一时长阈值为15s。5.根据权利要求1所述的方法，其特征在于，其中，所述第一音频数据和所述指定音频数据的时长均落入第一时长范围，所述对所述第一音频数据和所述指定音频数据进行匹配处理，以确定所述第一音频数据与所述指定音频数据之间的时间差，包括：获取所述第一音频数据中的头部数据片段d1和尾部数据片段e1；获取所述指定音频数据中的头部数据片段d2和尾部数据片段e2；分别对头部数据片段d1和尾部数据片段e1与头部数据片段d2、尾部数据片段e2进行匹配处理，获得头部数据时间差和尾部数据时间差；将所述头部数据时间差和尾部数据时间差的平均值作为所述第一音频数据和所述指
定音频数据之间的时间差。6.根据权利要求5所述的方法，其特征在于，其中，所述第一时长范围是10s-15s。7.根据权利要求1所述的方法，其特征在于，其中，所述第一音频数据和所述指定音频数据的时长均落入第二时长范围，所述对所述第一音频数据和所述指定音频数据进行匹配处理，以确定所述第一音频数据与所述指定音频数据之间的时间差，包括：获取所述第一音频数据中的头部数据片段f1；获取所述指定音频数据中的头部数据片段f2；分别对头部数据片段f1与头部数据片段f2进行匹配处理，获得头部数据时间差；将所述头部数据时间差作为所述第一音频数据和所述指定音频数据之间的时间差。8.根据权利要求7所述的方法，其特征在于，其中，所述第二时长范围是5s-10s。9.根据权利要求1所述的方法，其特征在于，所述基于所述时间差对所述指定音频数据进行偏移处理，包括：在所述指定音频数据的头部加入静音帧，所述静音帧的时长根据所述时间差确定。10.根据权利要求1所述的方法，其特征在于，其中，所述指定音频数据包括歌曲的音频数据；所述指定目标包括用户；所述电子设备与所述终端设备是同一个设备，或者，所述电子设备与所述终端设备不是同一个设备。11.根据权利要求1所述的方法，其特征在于，所述对所述第一音频数据和所述指定音频数据进行匹配处理，以确定所述第一音频数据与所述指定音频数据之间的时间差，包括：利用短时傅里叶变换将所述第一音频数据和所述指定音频数据分别变换为第一频域数据和第二频域数据；利用滑动时间窗对所述第一频域数据与所述第二频域数据进行特征对比，当所述第一频域数据和所述第二频域数据差异最小时，获取所述第一频域数据相对于所述第二频域数据的偏移量；基于所述偏移量确定所述第一音频数据和所述指定音频数据之间的时间差。12.根据权利要求11所述的方法，其特征在于，所述基于所述偏移量确定所述第一音频数据和所述指定音频数据之间的时间差，包括：利用下式计算所述时间差：delay＝window_offset
×
window_length/sample_rate；其中，delay为所述第一音频数据和所述指定音频数据之间的时间差；window_offset为所述第一频域数据相对于所述第二频域数据的偏移量；sample_rate为滑动时间窗内的音频采样率，window_length为滑动时间窗内的采样点数目。13.根据权利要求1所述的方法，其特征在于，其中，在所述控制终端设备开始录制音频和视频，且同时控制电子设备开始外放指定音频数据之前，所述方法还包括：间隔预定时长。14.根据权利要求1所述的方法，其特征在于，在所述对所述第一音频数据和所述指定音频数据进行匹配处理，以确定所述第一音频数据与所述指定音频数据之间的时间差之
前，还包括：如果所述第一音频数据和所述指定音频数据的音频参数不一致，则对所述指定音频收据进行音频重采样，以统一所述第一音频数据和所述指定音频数据的音频参数；其中音频参数包括采样频率、声道数和量化位数。15.一种音视频合拍处理装置，其特征在于，包括：第一控制模块，用于响应于接收到开始指令，控制终端设备开始采集音频，且同时控制电子设备开始外放指定音频数据；其中，录制音频包括对电子设备外放所述指定音频数据时的声音进行录制，录制视频包括对所述电子设备外放所述指定音频数据时的指定目标进行录像；第二控制模块，用于响应于接收到结束指令，控制所述终端设备终止录制音频和视频，得到第一音频数据和第一视频数据；匹配处理模块，用于对所述第一音频数据和所述指定音频数据进行匹配处理，以确定所述第一音频数据与所述指定音频数据之间的时间差；偏移处理模块，用于基于所述时间差对所述指定音频数据进行偏移处理，得到目标音频数据；以及合成处理模块，用于将所述目标音频数据与所述第一视频数据进行合成，得到音频与视频合拍的音视频文件。16.一种终端设备，其特征在于，包括：处理器以及存储有计算机程序指令的存储器；所述处理器执行所述计算机程序指令时实现如权利要求1-14中任一项所述的方法。17.一种计算机可读存储介质，其特征在于，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-14中任一项所述的方法。18.一种计算机程序产品，其特征在于，其包括计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-14中任一项所述的方法。

技术总结
本申请公开了一种音视频合拍处理方法、装置、终端设备、服务端及存储介质。该方法包括：响应于接收到开始指令，控制终端设备开始录制音频和视频，且同时控制电子设备开始外放指定音频数据；响应于接收到结束指令，控制终端设备终止录制音频和视频，得到第一音频数据和第一视频数据；对第一音频数据和指定音频数据进行匹配处理，以确定第一音频数据与指定音频数据之间的时间差；基于时间差对指定音频数据进行偏移处理，得到目标音频数据；以及将目标音频数据与第一视频数据进行合成，得到音频与视频合拍的音视频文件。利用本申请公开的实施例能够获得音频与视频画面合拍的文件，提高用户的使用满意度。的使用满意度。的使用满意度。


技术研发人员：查航 张远
受保护的技术使用者：北京小糖科技有限责任公司
技术研发日：2022.07.04
技术公布日：2022/10/25