一种音乐转场时间点检测方法、设备及介质与流程

技术特征：
1.一种音乐转场时间点检测方法，其特征在于，包括：获取待处理音乐的原始音频、节拍信息及对所述待处理音乐的时间进行片段划分得到的时间片段集，其中，所述时间片段集包括和弦时间片段集和/或歌词时间片段集；从所述时间片段集中识别出目标时间片段，并将每个所述目标时间片段的结束时刻作为转场时间点，得到所述待处理音乐对应的第一转场时间点，其中，一个所述目标时间片段为一个时间片段或连续多个所述时间片段的组合，且每个所述目标时间片段的时长不小于第一时长阈值且不大于第二时长阈值；将所述原始音频位于时间间隔大于所述第二时长阈值的相邻两个第一转场时间点之间的片段作为目标音频片段；利用所述节拍信息和所述目标音频片段确定所述目标音频片段对应的转场时间点，得到第二转场时间点；将所述第一转场时间点和所述第二转场时间点作为所述待处理音乐对应的转场时间点。2.根据权利要求1所述的音乐转场时间点检测方法，其特征在于，所述获取对所述待处理音乐的时间进行片段划分得到的时间片段集，包括：获取所述待处理音乐对应的每句歌词的起始时间；根据每句所述歌词的起始时间对所述待处理音乐的时间进行片段划分，得到歌词时间片段集，其中，一个歌词时间片段为一句歌词的时间片段；和/或，获取所述待处理音乐对应的每个和弦的起始时间；根据每个所述和弦的起始时间对所述待处理音乐的时间进行片段划分，得到和弦时间片段集，其中，一个和弦时间片段为一个和弦的时间片段。3.根据权利要求1所述的音乐转场时间点检测方法，其特征在于，所述从所述时间片段集中识别出目标时间片段，并将每个所述目标时间片段的结束时刻作为转场时间点，得到所述待处理音乐对应的第一转场时间点，包括：当所述时间片段集包括歌词时间片段集时，判断各个歌词时间片段的时长是否不小于第一时长阈值且不大于第二时长阈值；如果当前歌词时间片段的时长不小于第一时长阈值且不大于第二时长阈值，则将当前歌词时间片段作为一个目标歌词时间片段；如果当前歌词时间片段的时长小于所述第一时长阈值，则将当前歌词时间片段的时长与相邻后续歌词时间片段的时长相加，直到相加后时长不小于所述第一时长阈值，且不大于所述第二时长阈值，则将所述相加后时长对应的相邻各个歌词时间片段作为一个目标歌词时间片段，直到遍历完所述歌词时间片段集中的每个所述歌词时间片段；将每个所述目标歌词时间片段的结束时刻作为转场时间点，得到所述待处理音乐对应的第一转场时间点。4.根据权利要求1所述的音乐转场时间点检测方法，其特征在于，所述从所述时间片段集中识别出目标时间片段，并将每个所述目标时间片段的结束时刻作为转场时间点，得到所述待处理音乐对应的第一转场时间点，包括：当所述时间片段集包括和弦时间片段集和歌词时间片段集时，从所述歌词时间片段集中识别出目标歌词时间片段；
将每个所述目标歌词时间片段的结束时刻作为转场时间点，得到第三转场时间点；将所述和弦时间片段集中位于时间间隔大于所述第二时长阈值的相邻两个第三转场时间点之间的，且时长不小于第一时长阈值且不大于第二时长阈值的和弦时间片段作为目标和弦时间片段；将每个所述目标和弦时间片段的结束时刻作为转场时间点，得到第四转场时间点；将所述第三转场时间点和所述第四转场时间点作为所述第一转场时间点。5.根据权利要求1至4任一项所述的音乐转场时间点检测方法，其特征在于，所述利用所述节拍信息和所述目标音频片段确定所述目标音频片段对应的转场时间点，得到第二转场时间点，包括：确定所述目标音频片段对应的onset序列；利用所述节拍信息和所述onset序列构造节拍onset曲线，其中，所述节拍onset曲线为所述onset序列中与所述节拍信息中的各个节点的起始时间对应的点连接成的曲线；将所述节拍onset曲线中峰值对应的时间点作为预选转场时间点；判断相邻两个所述预选转场时间点之间的时间间隔是否不小于第三时长阈值，其中，所述第三时长阈值为基于所述待处理音乐对应的目标节拍时间确定的，所述目标节拍时间为基于所述节拍信息确定的；如果是，则将所述预选转场时间点作为所述目标音频片段对应的第二转场时间点。6.根据权利要求5所述的音乐转场时间点检测方法，其特征在于，所述确定所述目标音频片段对应的onset序列，包括：对所述目标音频片段进行重采样，得到重采样后目标音频片段；确定所述重采样后目标音频片段中各个音频帧的音频特征值；将任意一个音频帧的音频特征值和与该音频帧相邻的前一个音频帧的音频特征值之间的差值作为该音频帧对应的onset强度值，直到确定出各个所述音频帧的onset强度值，得到所述目标音频片段对应的onset序列。7.根据权利要求6所述的音乐转场时间点检测方法，其特征在于，所述对所述目标音频片段进行重采样，得到重采样后目标音频片段之前，还包括：如果所述目标音频片段包括左声道音频和右声道音频，则将所述左声道音频和所述右声道音频的均值作为处理后目标音频片段；相应地，所述对所述目标音频片段进行重采样，得到重采样后目标音频片段，包括：对所述处理后目标音频片段进行重采样，得到重采样后目标音频片段。8.根据权利要求6所述的音乐转场时间点检测方法，其特征在于，所述确定所述重采样后目标音频片段中各个音频帧的音频特征值，包括：确定所述重采样后目标音频片段中各个音频帧的功率值；或，确定所述重采样后目标音频片段中各个音频帧的梅尔频谱值；或，确定所述重采样后目标音频片段中各个音频帧的bark谱值；或，确定所述重采样后目标音频片段中各个音频帧的chroma特征值。9.根据权利要求6所述的音乐转场时间点检测方法，其特征在于，所述将任意一个音频帧的音频特征值和与该音频帧相邻的前一个音频帧的音频特征值之间的差值作为该音频帧对应的onset强度值，直到确定出各个所述音频帧的onset强度值，得到所述目标音频片
段对应的onset序列之后，还包括：基于所述目标节拍时间确定窗函数；利用所述窗函数对所述onset序列做平滑处理，得到平滑后onset序列。10.根据权利要求6所述的音乐转场时间点检测方法，其特征在于，所述利用所述节拍信息和所述onset序列构造节拍onset曲线，包括：根据所述目标音频片段对应的帧移对所述节拍信息中的每个节拍的起始时间进行校准，得到每个节拍的处理后起始时间；将所述onset序列中位于每个所述节拍的处理后起始时间上的onset强度值作为目标值，并对所述目标值进行依次连接，得到所述节拍onset曲线。11.根据权利要求5所述的音乐转场时间点检测方法，其特征在于，所述确定所述目标音频片段对应的onset序列之前，还包括：判断所述节拍信息中是否包括bpm值；如果是，则利用所述bpm值确定所述目标节拍时间；如果否，则利用每个所述节拍的起始时间确定每个所述节拍的时长，并利用每个所述节拍的时长和预设运算公式确定所述目标节拍时间，其中，所述预设运算公式如下：t
b
＝mo
b
＝mu
b
‑
3(mu
b
‑
md
b
)其中，t
b
表示所述目标节拍时间，mo
b
表示每个所述节拍估算的众数，mu
b
＝mean(db
t
(m))表示每个所述节拍的时长的均值，md
b
＝median(db
t
(m))表示每个所述节拍的时长的中值，db
t
(m)表示第m个节拍的时长。12.一种电子设备，其特征在于，包括：存储器和处理器；其中，所述存储器，用于存储计算机程序；所述处理器，用于执行所述计算机程序，以实现权利要求1至11任一项所述的音乐转场时间点检测方法。13.一种计算机可读存储介质，其特征在于，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至11任一项所述的音乐转场时间点检测方法。

技术总结
本申请公开了一种音乐转场时间点检测方法、设备及介质，该方法包括：获取待处理音乐的原始音频、节拍信息及对待处理音乐的时间进行片段划分得到的时间片段集，时间片段集包括和弦时间片段集和/或歌词时间片段集；从时间片段集中识别出目标时间片段，将每个目标时间片段的结束时刻作为转场时间点，得到待处理音乐对应的第一转场时间点；将原始音频位于时间间隔大于第二时长阈值的相邻两个第一转场时间点之间的片段作为目标音频片段；利用节拍信息和目标音频片段确定对应的转场时间点，得到第二转场时间点；将第一转场时间点和第二转场时间点作为待处理音乐对应的转场时间点。这样能够抓住用户的视觉动态，且不容易造成图片闪烁及造成视觉疲劳。及造成视觉疲劳。及造成视觉疲劳。


技术研发人员：张超鹏 李革委 李重晨 江益靓 姜涛 胡鹏
受保护的技术使用者：腾讯音乐娱乐科技（深圳）有限公司
技术研发日：2021.06.22
技术公布日：2021/9/24