一种显示设备及音频节奏感检测方法与流程

本技术涉及显示设备，尤其涉及一种显示设备及音频节奏感检测方法。

背景技术：

1、显示设备是指能够输出具体显示画面的终端设备，可以是智能电视、通信终端、智能广告屏、投影仪等终端设备。以智能电视为例，智能电视是基于internet应用技术，具备开放式操作系统与芯片，拥有开放式应用平台，可实现双向人机交互功能，集影音、娱乐、数据等多种功能于一体的电视产品，用于满足用户多样化和个性化需求。

2、显示设备播放音频流时，可以实时检测音频流的节奏存在度，并基于节奏存在度同步驱动显示器生成律动光效、镜头缩放、动态粒子等视觉动画，以实现视听同步的体验。

3、现有技术中，通常采用节拍跟踪算法实现节奏强度的检测，该类算法通过估计音频流的每分钟节拍数（beats per minute，bpm），以输出一个置信度，并将该置信度作为节奏存在度的量化依据，用于控制可视化动画的效果幅度。然而，节拍跟踪算法为输出稳定的bpm结果，需要在较长的时间窗口内对音频流进行统计分析，其置信度的输出存在固有的收敛延迟，从而导致音频节奏与可视化动画不同步的问题。

技术实现思路

1、本技术提供一种显示设备及音频节奏感检测方法，以解决节奏存在度检测的响应延迟，导致音频节奏与可视化动画不同步的问题。

2、第一方面，本技术提供一种显示设备，包括：

3、音频输出装置，被配置为播放音频流；

4、显示器，被配置为显示用户界面；

5、控制器，被配置为：

6、检测所述音频流对应的起音事件流；所述起音事件流包括多个具有时间戳的起音事件；

7、基于滑动时间窗口对所述起音事件流进行截取，得到位于所述滑动时间窗口内的起音事件集合；

8、计算所述起音事件集合的起音事件数量与所述滑动时间窗口的窗口长度之间的比值，得到事件速率；

9、基于目标速率对所述事件速率进行归一化，得到密度因子；

10、计算所述起音事件集合中相邻两个所述起音事件的时间间隔，得到起音间隔序列；

11、基于单调递减映射函数，将所述起音间隔序列的相对离散度映射为规律性因子；

12、将所述密度因子与所述规律性因子相乘，生成节奏存在度；

13、基于所述节奏存在度生成视觉动画；

14、控制所述音频输出装置播放所述音频流，以及控制所述显示器显示所述视觉动画。

15、上述技术方案具有以下有益效果或优点：

16、通过检测音频流中的起音事件，利用滑动时间窗口截取起音事件集合，分别计算密度因子和规律性因子，并将两者相乘生成节奏存在度，从而在不依赖节拍跟踪器收敛的前提下，以亚秒级延迟从实时音频流中提取出能够准确反映节奏强弱的连续信号，并通过该信号驱动视觉动画与音频播放同步，实现音频节奏与可视化动画的同步，提高用户体验。

17、在本技术的一些实施例中，所述控制器检测所述音频流对应的起音事件流，具体被配置为：

18、对所述音频流进行滤波，提取所述音频流的低频分量；

19、对所述低频分量进行起音检测，得到所述起音事件流。

20、上述技术方案具有以下有益效果或优点：

21、通过对音频流进行滤波以提取低频分量，能够有效保留承载节拍的底鼓和贝斯能量，同时剔除人声、镲片等高频泛音的干扰，使后续的起音检测聚焦于与节奏感知最相关的频段。从而提高起音事件检测的准确性，避免旋律性声音或高频瞬态对节奏存在度计算的干扰。

22、在本技术的一些实施例中，所述控制器基于目标速率对所述事件速率进行归一化，得到密度因子，具体被配置为：

23、计算所述事件速率与所述目标速率的比值，并对所述比值进行上下限幅处理，得到所述密度因子；所述密度因子为预设范围内的数值。

24、上述技术方案具有以下有益效果或优点：

25、通过将事件速率与目标速率做比值并进行限幅处理，可以将密度因子控制在预设范围内，使得节奏存在度具有统一的度量标准。这种归一化处理使得该密度因子与音频的绝对音量解耦，无论音频流的响度大小，只要起音事件的密集程度达到目标速率，密度因子即可趋近于1，从而实现与音量无关的节奏密度评估，避免传统能量阈值法需要针对不同歌曲逐曲调参的缺陷。

26、在本技术的一些实施例中，所述控制器基于单调递减映射函数，将所述起音间隔序列的相对离散度映射为规律性因子，具体被配置为：

27、计算所述起音间隔序列的变异系数；所述变异系数用于表征所述起音间隔序列的相对离散度，所述变异系数为所述起音间隔序列的标准差与均值的比值；

28、基于单调递减映射函数将所述变异系数映射为预设范围内的数值，得到所述规律性因子。

29、上述技术方案具有以下有益效果或优点：

30、通过计算起音间隔序列的变异系数并利用单调递减映射函数将其映射为规律性因子，能够衡量起音事件的时间规整程度。当起音间隔均匀时，变异系数为0，规律性因子趋近于1，当起音间隔不均匀时，变异系数增大，规律性因子趋近于0。这种设计使得规律性因子能够准确区分规整的节拍性节奏与无序的随机事件，有效抑制无规律抖动和单次瞬态尖刺对节奏存在度计算的干扰，确保只有在事件间隔具有足够规律性时才给出较高的节奏存在度。

31、在本技术的一些实施例中，所述控制器基于单调递减映射函数，将所述起音间隔序列的相对离散度映射为规律性因子，还被配置为：

32、在所述起音事件集合的起音事件数量小于预设数量的情况下，将所述规律性因子设置为预设数值；

33、在所述起音事件集合的起音事件数量大于或等于预设数量的情况下，基于单调递减映射函数，将所述起音间隔序列的相对离散度映射为规律性因子。

34、上述技术方案具有以下有益效果或优点：

35、通过在起音事件数量不足时直接将规律性因子设置为预设数值（如1），可避免在事件稀少时因样本量过小导致的统计失真。当事件数量较少时，计算出的变异系数缺乏统计学意义，此时由密度因子单独主导节奏存在度的评估，只有当事件数量达到预设阈值以上时，才启用规律性因子进行精细化调节。这种设计既保证低事件密度场景下节奏存在度的合理评估，又避免小样本统计带来的偶然误差。

36、在本技术的一些实施例中，所述控制器基于滑动时间窗口对所述起音事件流进行截取，得到位于所述滑动时间窗口内的起音事件集合，还被配置为：

37、获取目标时间戳；所述目标时间戳为上一个所述起音事件的时间戳；

38、计算当前起音事件的时间戳与所述目标时间戳的时间差；

39、若所述时间差大于预设的冷却时长，将所述当前起音事件添加至所述起音事件集合，并更新所述目标时间戳；

40、若所述时间差小于或等于预设的冷却时长，丢弃所述当前起音事件。

41、上述技术方案具有以下有益效果或优点：

42、通过引入幽灵事件冷却门机制，通过设置冷却时长的门控机制对起音事件进行筛选，能够有效抑制起音事件的重复检测问题。避免此类重复事件虚增窗口内的事件计数，从数据输入层面抑制检测误差对最终节奏存在度的干扰，提升节奏存在度输出的稳定性与准确度。

43、在本技术的一些实施例中，所述起音事件集合为环形缓冲区，所述控制器还被配置为：

44、响应于周期性触发的时钟信号，基于所述滑动时间窗口从所述环形缓冲区中移除所有早于截止时刻的起音事件；所述截止时刻基于最新起音事件的时间戳与所述窗口长度确定。

45、上述技术方案具有以下有益效果或优点：

46、采用环形缓冲区存储起音事件集合，并通过周期性时钟信号触发窗口淘汰操作，一方面环形缓冲区的存储结构能够实现滑动事件窗口的高效维护，事件的增删操作计算复杂度低，算力开销小。另一方面引入独立的时钟信号机制，可在音频进入安静段、无新起音事件到来时，推动滑动时间窗口持续淘汰过期事件，使得即使没有新的起音事件到达，时钟信号也会定期触发窗口淘汰和重算，使节奏存在度随窗口内事件逐渐过期而平滑回落，避免数值停滞卡顿，保障可视化动画的过渡效果自然流畅。

47、在本技术的一些实施例中，所述控制器基于所述节奏存在度生成视觉动画，还被配置为：

48、获取由节拍跟踪器对所述音频流进行分析后输出的节拍置信度；

49、比较所述节奏存在度与所述节拍置信度，以确定节奏增益信号；所述节奏增益信号为所述节奏存在度与所述节拍置信度中的最大值；

50、基于所述节奏增益信号生成所述视觉动画。

51、上述技术方案具有以下有益效果或优点：

52、通过将本技术的节奏存在度与传统节拍跟踪器的节拍置信度进行融合取最大值作为最终节奏增益信号，可以实现两种信号的优劣互补。在节拍跟踪器收敛前的初始阶段，由低延迟的节奏存在度主导输出，快速拉起可视化效果，消除启动盲区，在节拍跟踪器完成收敛后，可利用其输出稳定的特性，在起音事件稀疏的段落对节奏增益进行兜底，避免存在度大幅跌落，兼顾节奏检测的低延迟响应与长期运行的稳定性。

53、在本技术的一些实施例中，所述控制器将所述密度因子与所述规律性因子相乘，生成节奏存在度之后，还被配置为：

54、计算当前生成的所述节奏存在度与上一次生成的所述节奏存在度之间的绝对差值；

55、若所述绝对差值大于或等于预设的去抖阈值，或者，当前生成的所述节奏存在度为预设边界值且当前生成的所述节奏存在度与上一次生成的所述节奏存在度不同，则基于所述节奏存在度生成视觉动画。

56、上述技术方案具有以下有益效果或优点：

57、引入去抖输出机制，通过差值阈值与边界值判断的去抖机制控制视觉动画的更新触发，能够过滤节奏存在度的微小高频波动，减少不必要的动画渲染更新，降低显示设备的图形算力开销。同时边界值的吸附触发规则，可保证节奏存在度达到极值状态时能够被准确响应，避免数值在临界区间反复跳动导致的画面抖动，提升可视化动画的流畅度与视觉舒适度。

58、第二方面，本技术提供一种音频节奏感检测方法，包括：

59、检测音频流对应的起音事件流；所述起音事件流包括多个具有时间戳的起音事件；

60、基于滑动时间窗口对所述起音事件流进行截取，得到位于所述滑动时间窗口内的起音事件集合；

61、计算所述起音事件集合的起音事件数量与所述滑动时间窗口的窗口长度之间的比值，得到事件速率；

62、基于目标速率对所述事件速率进行归一化，得到密度因子；

63、计算所述起音事件集合中相邻两个所述起音事件的时间间隔，得到起音间隔序列；

64、基于单调递减映射函数，将所述起音间隔序列的相对离散度映射为规律性因子；

65、将所述密度因子与所述规律性因子相乘，生成节奏存在度；

66、基于所述节奏存在度生成视觉动画；

67、控制音频输出装置播放所述音频流，以及控制显示器显示所述视觉动画。

68、上述技术方案具有以下有益效果或优点：

69、通过检测音频流中的起音事件，利用滑动时间窗口截取起音事件集合，分别计算密度因子和规律性因子，并将两者相乘生成节奏存在度，从而在不依赖节拍跟踪器收敛的前提下，以亚秒级延迟从实时音频流中提取出能够准确反映节奏强弱的连续信号，并通过该信号驱动视觉动画与音频播放同步，实现音频节奏与可视化动画的同步，提高用户体验。