一种音频可视化处理方法及电子设备与流程

1.本技术涉及终端技术领域，尤其涉及一种音频可视化处理方法及电子设备。


背景技术：

2.随着电子设备(如手机，电脑等)和可视化技术的发展，音频的可视化在电子设备上越来越受欢迎。但目前的音频可视化技术大多仅注重可视化形态上的变化，往往忽略了颜色的作用，对于音频可视化的颜色处理，通常只是随意涂抹作为背景，或者根本没有。然而，实际上，音频所表达的情感色彩和颜色存在通感，在可视化效果中缺少或是误用颜色，不仅会使得可视化效果变差，而且还可能起到误导用户的反作用。


技术实现要素：

3.本技术实施例提供了一种音频可视化处理方法及电子设备，能够使得电子设备可以以视觉可见的颜色呈现音频所表达的情感色彩，使得用户可以身临其境，提升了可视化体验。
4.第一方面，本技术实施例提供了一种音频可视化处理方法，该方法可以包括：确定待播放音频数据中预设时长的数据的乐理特征，预设时长小于或等于待播放音频数据的总时长；以及基于乐理特征，确定预设时长的数据对应的色彩的基础色相；确定待播放音频数据中当前时刻所需播放的至少一帧数据的数据特征；以及基于基础色相和数据特征，确定至少一帧数据对应的色彩的明亮度和饱和度；基于基础色相，明亮度和饱和度，确定第一红绿蓝rgb 颜色，第一rgb颜色用于表征至少一帧数据对应的色彩；在至少一帧数据被播放时，输出第一rgb颜色。
5.由此，基于音频数据的乐理特征和数据特征分别确定出音频数据所表达的色彩的基础色相，明亮度，饱和度，并将确定出的基础色相，明亮度和饱和度转换为视觉可见的rgb颜色，以及在播放音频数据时输出rgb颜色，从而实现了以视觉可见的颜色呈现音频数据所表达的情感色彩，使得用户可以身临其境，并进行沉浸式体验，提升了可视化体验。示例性的，数据特征可以包括频域特征和/或时域特征。
6.在一种可能的实现方式中，输出第一rgb颜色，具体可以包括：向第一设备发送第一rgb 颜色，第一设备用于播放至少一帧数据和显示第一rgb颜色。由此实现在一个设备上播放音频数据和显示rgb颜色，从而在播放音频数据的设备上以视觉可见的颜色呈现音频数据所表达的色彩。示例性的，第一设备可以为：手机，平板电脑，可穿戴设备，智能电视，华为智慧屏，智能音箱，或，车机。
7.在一种可能的实现方式中，输出第一rgb颜色，具体可以包括：向第二设备发送第一rgb 颜色，第二设备用于在第三设备播放至少一帧数据时显示第一rgb颜色。由此实现在一个一个设备上播放音频数据，在另一个设备上显示rgb颜色，从而在播放音频数据之外的设备上以视觉可见的颜色呈现音频数据所表达的色彩。示例性的，第二设备可以为具有颜色显示功能的设备，如智能灯等；第三设备可以为具有声音播放功能的设备，如智能音箱
等。
8.在一种可能的实现方式中，用于显示第一rbg颜色的设备具有显示屏，在显示屏上的第一位置显示第一rgb颜色，且在显示屏上的第二位置显示至少一帧数据的上一帧数据对应的第二rgb颜色，且在显示屏上的第一位置和第二位置之间显示由第二rgb颜色过渡到第一rgb 颜色的过渡颜色。由此，以在显示屏上显示出不同帧数据对应的颜色的变化情况，提升可视化体验。
9.在一种可能的实现方式中，第一位置基于至少一帧数据的节奏确定，第二位置基于至少一帧数据的上一帧数据的节奏确定，过渡颜色基于第一rbg颜色和第二rgb颜色之间的色彩渐变度确定。
10.在一种可能的实现方式中，预设时长的数据为：启动播放待播放音频数据的第一时刻与第二时刻之间的音频数据，第二时刻位于第一时刻之后，第一时刻与第二时刻之间相距预设时长。由此在播放音频数据时一直使用一种基础色相。
11.在一种可能的实现方式中，预设时长的数据为：当前时刻与第三时刻之间的音频数据，第三时刻位于当前时刻之后，当前时刻与第三时刻之间相距预设时长。由此，实时确定基础色相，并用实时确定出的基础色相，替代上一时刻确定出的基础色相，以使得向用户呈现的色彩可以与当前时刻播放的音频数据相匹配。
12.在一种可能的实现方式中，数据特征包括频域特征和时域特征；基于基础色相和数据特征，确定至少一帧数据对应的色彩的明亮度和饱和度，具体可以包括：基于基础色相和第一目标特征，确定至少一帧数据对应的色彩的明亮，以及基于基础色相和第二目标特征，确定至少一帧数据对应的色彩的饱和度；其中，第一目标特征为频域特征，第二目标特征为时域特征，或者，第一目标特征为时域特征，第二目标特征为频域特征。由此，基于基础色相、频域特征和时域特征确定明亮度和饱和度。
13.在一种可能的实现方式中，基于基础色相和第一目标特征，确定至少一帧数据对应的色彩的明亮度，具体包括：基于基础色相，确定至少一帧数据对应的色彩的明亮度范围；基于第一目标特征，确定至少一帧数据对应的第一目标特征值；基于第一目标特征值和明亮度范围，确定明亮度。由此，先由基础色相确定出明亮度范围，再由第一目标特征和明亮度范围确定明亮度，使得确定出的明亮度与基础色相关联，提升了明亮度的准确度，进而提升了可视化的效果。
14.示例性的，第一目标特征为频域特征，第一目标特征值为至少一帧数据的能量值，其中，至少一帧数据的能量值可以包括音色能量值和/或频谱能量值。或者，第一目标特征为时域特征，第一目标特征值为至少一帧数据的响度值，其中，该响度值可以包括至少一帧数据在时域上的包络能量值。
15.在一种可能的实现方式中，基于基础色相和第二目标特征，确定至少一帧数据对应的色彩的饱和度，具体包括：基于基础色相，确定至少一帧数据对应的色彩的饱和度范围；基于第二目标特征，确定至少一帧数据对应的第二目标特征值；基于第二目标特征值和饱和度范围，确定饱和度。由此，先由基础色相确定出饱和度范围，再由第二目标特征和饱和度范围确定饱和度，使得确定出的饱和度与基础色相关联，提升了饱和度的准确度，进而提升了可视化的效果。
16.示例性的，第二目标特征为频域特征，第二目标特征值为至少一帧数据的能量值，
其中，至少一帧数据的能量值可以包括音色能量值和/或频谱能量值。或者，第二目标特征为时域特征，第二目标特征值为至少一帧数据的响度值，其中，该响度值可以包括至少一帧数据在时域上的包络能量值。
17.在一种可能的实现方式中，乐理特征包括以下一项或多项：调性，情感，或，和弦。
18.第二方面，本技术实施例提供了一种电子设备，该电子设备设备可以包括：一个或多个处理器；存储器；其中，存储器中存储有一个或多个计算机程序，一个或多个计算机程序包括指令，当指令被一个或多个处理器执行时，使得电子设备执行如第一方面以及第一方面任意一种实现方式的方法。
19.在一种可能的实现方式中，该电子设备设备包括：手机，平板电脑，可穿戴设备，智能电视，华为智慧屏，智能音箱，服务器，或，车机。示例性的，服务器可以为云服务器。
20.第三方面，提供一种计算机可读存储介质，该计算机可读存储介质包括计算机程序，当计算机程序在电子设备上运行时，使得电子设备执行如第一方面以及第一方面任意一种实现方式的方法。
21.第四方面，提供一种计算机程序产品，当其在电子设备上运行时，使得电子设备执行如第一方面以及第一方面任意一种实现方式的方法。
22.第五方面，本技术实施例提供了一种芯片，该芯片包括至少一个处理器和接口。其中，接口可以用于为至少一个处理器提供程序指令或者数据。至少一个处理器可以用于执行程序行指令，以实现如第一方面以及第一方面任意一种实现方式的方法。
附图说明
23.图1是本技术实施例提供的一种应用场景示意图；
24.图2是本技术实施例提供的一种电子设备的硬件结构示意图；
25.图3是本技术实施例提供的一种电子设备的软件结构示意图；
26.图4是本技术实施例提供的一种对音频数据进行分帧的示意图；
27.图5是本技术实施例提供的一种利用滑动窗口确定用于计算基础色相所需的音频数据的示意图；
28.图6是本技术实施例提供的一种基础色相，明亮度范围和饱和度范围之间的映射示意图：
29.图7是本技术实施例提供的一种对音频数据进行短时傅里叶变换后得到的频谱图的示意图；
30.图8是本技术实施例提供的一种对音频数据进行短时傅里叶变换后得到的频谱图的示意图；
31.图9a是本技术实施例提供的一种音频数据的时域波形示意图；
32.图9b是图9a中所示的域波形图的包络示意图；
33.图10是本技术实施例提供的一种rgb颜色显示示意图；
34.图11是本技术实施例提供的一种音频可视化方法的流程示意图；
35.图12是本技术实施例提供的一种芯片的结构示意图。
具体实施方式
36.为了使本技术实施例的目的、技术方案和优点更加清楚，下面将结合附图，对本技术实施例中的技术方案进行描述。
37.在本技术实施例的描述中，“示例性的”、“例如”或者“举例来说”等词用于表示作例子、例证或说明。本技术实施例中被描述为“示例性的”、“例如”或者“举例来说”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”、“例如”或者“举例来说”等词旨在以具体方式呈现相关概念。
38.在本技术实施例的描述中，术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，单独存在b，同时存在a和b 这三种情况。另外，除非另有说明，术语“多个”的含义是指两个或两个以上。例如，多个系统是指两个或两个以上的系统，多个电子设备是指两个或两个以上的电子设备。
39.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
40.首先，介绍本方案中提供的一种应用场景。
41.图1是本技术实施例提供的一种应用场景示意图。如图1所示，用户使用电子设备11中的音乐软件播放音乐a，此时在电子设备11上可以显示音乐a的音乐卡片12。在该音乐卡片 12上，用户可以观看到音乐a的名称，歌词或播放进度等。此外，用户也可以在音乐卡片12 上进行操作，例如：暂停音乐，播放下一曲，播放上一曲，等等。本方案中，在播放音乐过程中，可以将音乐所表达的情感色彩，以视觉可见的颜色呈现，从而使得用户能够身临其境，并进行沉浸式体验。
42.可以理解的是，本方案中，电子设备11可以为手机，平板电脑，可穿戴设备，智能电视，华为智慧屏，智能音箱，车机等。电子设备11的示例性实施例包括但不限于搭载ios、android、 windows、鸿蒙系统(harmony os)或者其他操作系统的电子设备。本技术实施例对电子设备的类型不做具体限定。
43.下面介绍本方案中提供的一种电子设备的硬件结构示意图。该电子设备可以为图1中所示的电子设备11。
44.图2是本技术实施例提供的一种电子设备的硬件结构示意图。如图2所示，该电子设备 200可以包括处理器201，存储器202和收发单元203。
45.其中，处理器201可以是通用处理器或者专用处理器。例如，处理器201可以包括中央处理器(central processing unit，cpu)和/或基带处理器。其中，基带处理器可以用于处理通信数据，cpu可以用于实现相应的控制和处理功能，执行软件程序，处理软件程序的数据。示例性的，处理器201可以确定音频数据的基础色相，明亮度，饱和度和色彩渐变度等。处理器201也可以将基础色相，明亮度和饱和度转换为红绿蓝(red green blue，rgb)颜色。此外，处理器201也可以控制电子设备200显示处理器201确定出rgb颜色，以及基于确定出的色彩渐变度控制rgb颜色变化等。
46.存储器202上可以存有程序(也可以是指令或者代码)，程序可被处理器201运行，使得处理器201执行本方案中描述的方法。可选地，存储器202中还可以存储有数据。可选
地，处理器201还可以读取存储器202中存储的数据(例如，音频数据等)，该数据可以与程序存储在相同的存储地址，该数据也可以与程序存储在不同的存储地址。本方案中，处理器201 和存储器202可以单独设置，也可以集成在一起，例如，集成在单板或者系统级芯片(systemon chip，soc)上。
47.收发单元203可以实现信号的输入(接收)和输出(发送)。例如，收发单元203可以包括收发器或射频芯片。收发单元203还可以包括通信接口。示例性的，电子设备200可以通过收发单元203将其确定出的rgb颜色和色彩渐变度发送至其他设备(如音箱，车辆等)，以在其他设备以视觉可见的颜色呈现音乐所表达的情感色彩。此外，电子设备200也可以通过收发单元203从服务器接收音频数据等。
48.可选地，电子设备200中可以包括显示屏204。该显示屏204可以显示电子设备200所播放音乐的音乐卡片。示例性的，电子设备200上显示的音乐卡片可以为图1中所示的音乐卡片12。在一个例子中，显示屏204还可以用于显示应用程序的界面，显示应用程序的显示窗口等。在一个例子中，显示屏204也可以显示电子设备200确定出的rgb颜色。
49.可选地，电子设备200中可以包括音频模块205。该音频模块205可以将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块205还可以对音频信号编码和解码。在一些示例中，音频模块205可以设置于处理器201中，或将音频模块205的部分功能模块设置于处理器201中。
50.可选地，电子设备200中可以包括氛围灯206。该氛围灯206可以呈现不同的颜色，从而可以通过该氛围灯206呈现出电子设备200播放的音乐的情感色彩。
51.可选地，电子设备200可以通过网络与外部设备进行通信。其中，本方案中所描述的网络可以为有线网络(wired network)或无线网络(wireless network)。例如，该网络可以为局域网(local area networks，lan)，也可以为广域网(wide area networks，wan)(例如互联网)。该网络可使用任何已知的网络通信协议来实现，上述网络通信协议可以是各种有线或无线通信协议，诸如以太网、通用串行总线(universal serial bus，usb)、火线(firewire)、全球移动通讯系统(global system for mobile communications，gsm)、通用分组无线服务 (general packet radio service，gprs)、码分多址接入(code divisionmultiple access， cdma)、宽带码分多址(wideband code division multiple access，wcdma)，时分码分多址 (time－division code division multiple access，td－scdma)、长期演进(long term evolution， lte)、新空口(new radio，nr)、蓝牙(bluetooth)、无线保真(wireless fidelity，wi－fi) 等通信协议。应理解，本方案的网络还可以是未来通信网络例如6g的网络等等。
52.可以理解的是，本技术实施例示意的结构并不构成对电子设备200的具体限定。在本技术另一些实施例中，电子设备200可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
53.关于电子设备200在上述各种可能的设计中执行的操作的详细描述可以参照下文本方案提供的方法的实施例中的描述，在此就不再一一赘述。
54.上述电子设备200的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构等。本技术实施例以分层架构的android系统为例，示例性说明电子设备
200 的软件结构。
55.图3是本技术实施例提供的一种电子设备200的软件结构示意图。
56.分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将android系统分为四层，从上至下分别为应用程序层、应用程序框架层、安卓运行时(android runtime)和系统库，以及内核层。
57.其中，应用程序层可以包括一系列应用程序包。如图3所示，应用程序层内可以安装相机、图库、日历、通话、地图、导航、蓝牙、音乐、视频、短信息等应用程序。
58.应用程序框架层为应用程序层的应用程序提供应用编程接口(application programminginterface，api)和编程框架。应用程序框架层包括一些预先定义的函数。如图3所示，应用程序框架层可以包括显示策略服务和显示管理服务。示例性的，显示管理服务可以将rgb色彩变化显示在电子设备200的显示屏上的特定区域，并且刷新rgb颜色。例如，继续参阅图1，显示管理服务可以将rgb颜色显示在电子设备11上的音乐卡片12上。显示策略服务可以在播放音频数据前，若尚未确定出音频数据对应的基础色相，显示策略服务则可以添加该音频数据对应的音乐封面颜色作为基础色相。例如，继续参阅图1，在尚未确定出音乐a对应的基础色相时，显示策略服务可以添加音乐a的音乐封面的颜色作为基础色相。当然，应用程序框架层中还可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等，本技术实施例对此不作任何限制。
59.窗口管理器可以用来管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。在本技术的一些实施例中，窗口管理器可具体为窗口管理服务 (window manager service，wms)，该wms存放有当前屏幕中显示的各个应用窗口的信息，例如，当前屏幕中显示的应用窗口的数量等信息。
60.内容提供器可以用来获取数据，并使这些数据可以被应用程序访问。这些数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。
61.视图系统可以包括可视控件，例如，显示/输入文字的控件，显示图片的控件，显示视频的控件等。视图系统可以用来构建应用程序。显示界面可以由一个或多个视图组成。例如，包括音乐播放的显示界面，可以包括显示音乐中歌词的视图以及显示如图1中所示的音乐卡片12的视图。
62.电话管理器用于提供电子设备200的通信功能。例如通话状态的管理(包括接通，挂断等)。
63.资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。
64.通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。
65.安卓运行时android runtime包括核心库和虚拟机。android runtime负责安卓系统的调度和管理。
66.核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的
核心库。
67.应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。
68.系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库 (medialibraries)，三维图形处理库(例如：opengl es)，2d图形引擎(例如：sgl)，状态监测服务等。
69.表面管理器可以用来对显示子系统进行管理，并且为多个应用程序提供了2d和3d图层的融合。
70.媒体库可以支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如：mpeg4，h.264，mp3，aac，amr，jpg，png等。
71.三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。
72.2d图形引擎是2d绘图的绘图引擎。
73.状态监测服务可以用来监测rgb颜色的变化时间，以及音频数据的播放时间，以便将两者进行同步。
74.内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。
75.接下来，基于图1所示的应用场景，图2所示的电子设备的硬件结构和图3所示的电子设备的软件结构，对本方案的音频可视化处理方案进行详细说明。
76.(1)获取音频数据
77.用户在选择播放音乐后，若用户所选择的音乐预先存储于电子设备中，则电子设备可以从其存储器中调用用户所选择的音乐对应的音频数据。若用户所选择的音乐未预先存储于电子设备中，则电子设备可以通过网络从服务器中实时获取到用户所选择的音乐对应的音频数据。可以理解的是，本方案中的音频数据除了可以是音乐数据外，也可以是其他可以播放的音频数据，例如闹铃响铃时的音频数据等。
78.示例性的，继续参阅图1，用户可以在电子设备11上的音乐软件中选择播放音乐a。若用户已预先将音乐a下载到电子设备11中，此时电子设备11可以直接调用其存储的音乐a 对应的音频数据。若用户a未预先将音乐a下载到电子设备11中，此时电子设备11可以与音乐a所属的服务器建立连接，并从该服务器中获取到音乐a的音频数据。
79.在一个例子中，电子设备在实时获取音频数据时，电子设备可以先缓存一部分音频数据，以满足确定基础色相所需的预设时长的音频数据。例如，缓存5s或10s的音频数据，然后再播放音频数据。
80.(2)对获取到的音频数据进行预处理
81.电子设备11获取到音频数据后，可以对音频数据进行预处理。本方案中，预处理可以包括分帧，重采样等。
82.可以理解的是，虽然音频数据大多数是由随机非平稳信号组成，但是在短时间内可以将其看成是由平稳信号组成。因此，可以先将获得的音频数据按照预先设置的分帧规则进行分帧处理，其中，分帧规则也包括帧时长和帧间重叠百分比。示例性的，当按照帧时长为25毫秒，帧间重叠百分比为50％的分帧规则对音频数据进行划分时，得到的各个音频
数据帧可以满足：每个音频数据帧的帧时长为25毫秒，且各个相邻的音频数据帧的帧间重叠百分比为 50％。其中，帧时长可以理解为该帧音频数据的时长。举例来说，如图4所示，第k帧音频数据，第k 1帧音频数据和第k 2帧音频数据的时长均为25毫秒，第k帧音频数据和第k 1帧音频数据的重叠百分比为50％，第k 1帧音频数据和第k 2帧音频数据的重叠百分比为50％。可以理解的是，相邻音频数据帧之间具有重叠的部分可以保证信号的连续性。当相邻音频数据帧之间没有重叠部分时，在播放音频数据帧时，在相邻音频数据帧之间容易出现断点现象 (即不连续现象)，影响用户体验。
83.此外，本方案中，可以将音频数据进行重采样，以获取到目标采样频率的数据，例如16000 赫兹等，以减少音频数据的数据量，提升处理效率。示例性的，目标采样频率为每秒钟收集 n个采样点的数据，那么将音频数据进行重采样可以理解为当音频数据中包括的采样点的数量大于n个时从音频数据中等间隔选取n个采样点的数据，作为当前所需的数据，或者理解为当音频数据中包括的采样点的数量小于n个时对音频数据补充一定数量的采样点的数据，作为当前所需的数据，由此完成对音频数据的重采样。例如，目标采样频率为每秒钟收集500 个采样点的数据，若原数据为1000个采样点的数据，则可以等间隔从原数据中选取500个采样点的数据。此外，本方案中，目标采样频率可以为预先标定的频率，该频率可以为计算色相，饱和度，明亮度，节奏等所需的频率。
84.(3)确定获取到的音频数据对应的色彩的基础色相
85.本方案中，确定获取到的音频数据对应的色彩的基础色相可以理解为确定该音频数据中预设时长的数据对应的色彩的基础色相，或者确定整个的音频数据对应的色彩的基础色相。其中，当理解为确定该音频数据中预设时长的数据对应的色彩的基础色相时，用于确定基础色相的数据为该音频数据中预设时长的数据；当理解为确定整个的音频数据对应的色彩的基础色相时，用于确定基础色相的数据为该音频数据中全部的数据。在确定音频数据的基础色相时，可以基于音频数据的乐理特征进行确定。其中，乐理特征可以包括节拍，调式，和弦，音高，音色，旋律，情感等等。示例性的，预设时长可以小于或等于待播放音频数据的总时长。
86.在一个例子中，在确定出音频数据后，可以将预处理后的音频数据(即经过预处理的预设时长的音频数据)输入至预先训练出的乐理特征确定模型，得到音频数据的乐理特征。示例性的，乐理特征确定模型可以使用高斯过程模型、神经网络模型、支持向量机等，对用于训练的音频数据进行训练得到。
87.在一个例子中，在确定出音频数据后，可以基于krumhansl－schmuckler调性分析算法确定出预处理后的音频数据(即经过预处理的预设时长的音频数据)所包含的调式。此外，也可以基于thayer情感模型确定出预处理后的音频数据所包含的情感。
88.本方案中，确定出预处理后的音频数据的乐理特征后，可以将乐理特征中所包含的各个特征进行加权求和。然后，再基于加权求和得到的和值，确定出基础色相。示例性的，假设乐理特征包括调式，和弦和音色，预先标定的调式所占权重为0.2，和弦所占权重为0.5，音色所占权重为0.3，确定出的调式的值为1，用于和弦的值为1.5，用于音色的值为2，则加权求和的结果为：1x0.2 1.5x0.5 0.3x2＝8.3。在一个例子中，可以基于和值所属的区间，确定基础色相。例如，若加权求和得到的和值为8.3，该值所属的区间为(8，15)，而区间(8，15) 对应的基础色相为红色，此时即可以确定出音频数据的基础色相为红色。
89.可以理解的是，本方案中，基础色相可以作为整个播放过程中的色相，也即是说，在播放音频数据时，一直使用该基础色相，而不使用其他的色相。示例性的，可以将启动播放待播放音频数据的第一时刻与第二时刻之间的音频数据，作为确定基础色相所需的数据；其中，第二时刻位于第一时刻之后，第一时刻与第二时刻之间相距预设时长。
90.此外，为了使得向用户呈现的色彩可以与当前时刻播放的音频数据相匹配，也可以实时确定基础色相，并用实时确定出的基础色相，替代上一时刻确定出的基础色相。在一个例子中，如图5所示，可以利用滑动窗口按照预设步长滑动，实时确定计算基础色相所需的音频数据，并根据确定出的音频数据实时计算基础色相；其中，滑动窗口的长度可以理解为用于计算基础色相的音频数据的长度。示例性的，滑动窗口的长度可以为2秒时长，滑动窗口的步长可以为200毫秒等。示例性的，可以将当前时刻与第三时刻之间的音频数据，作为确定基础色相所需的数据；其中，第三时刻位于当前时刻之后，当前时刻与第三时刻之间相距预设时长。
91.在一个例子中，在确定基础色相时，所需的音频数据可以为待播放音频数据中的部分音频数据，例如待播放音频数据中时长为2秒的音频数据。举例来说，待播放音频数据的总时长为10秒，此时可以先缓存2秒的音频数据，计算基础色相。
92.本方案中，色相可以理解为各类色彩的相貌称谓，如大红、普蓝、柠檬黄等。该色相可以是色彩的首要特征，是区别各种不同色彩的最准确的标准。
93.(4)确定获取到的音频数据对应的色彩的明亮度范围和色彩的饱和度范围
94.在确定出基础色相后，可以基于预先设定的基础色相与明亮度的对应关系，确定出当前获取到的音频数据对应的色彩的明亮度范围。以及，可以基于预先设定的基础色相与饱和度的对应关系，确定出当前获取到的音频数据对应的色彩的饱和度范围。举例来说，若预先设定的基础色相与明亮度的对应关系为：基础色相为红色时，明亮度范围为(80，100)，基础色相为蓝色时，明亮度范围为(90，100)；此时，若确定出的基础色相为红色，则可以确定出该音频数据对应的色彩的明亮度范围为(80，100)。同理，若预先设定的基础色相与饱和的对应关系为：基础色相为红色时，饱和度范围为(10，50)，基础色相为蓝色时，饱和度范围为 (10，100)；此时，若确定出的基础色相为红色，则可以确定出该音频数据对应的色彩的饱和度范围为(10，50)。
95.示例性的，以调式这一乐理特征确定基础色相为例。如图6所示，不同的调式可以对应不同的色相，如c大调对应的色相是其所对应的色相环m中360度处的颜色，d大调对应的色相是其所对应的色相环m中30度处的颜色，e大调对应的色相是其所对应的色相环m中51 度处的颜色，f大调对应的色相是其所对应的色相环m中155度处的颜色，g大调对应的色相是其所对应的色相环m中184度处的颜色，a大调对应的色相是其所对应的色相环m中210 度处的颜色，b大调对应的色相是其所对应的色相环m中270度处的颜色；如c小调对应的色相是其所对应的色相环n中177度处的颜色，d小调对应的色相是其所对应的色相环n中161 度处的颜色，e小调对应的色相是其所对应的色相环n中229度处的颜色，f小调对应的色相是其所对应的色相环n中360度处的颜色，g小调对应的色相是其所对应的色相环n中210 度处的颜色，a小调对应的色相是其所对应的色相环n中208度处的颜色，b小调对应的色相是其所对应的色相环n中30度处的颜色。
96.此外，在确定出调式对应的基础色相后，即可以基于基础色相与饱和度范围，以及
与明亮度范围的对应关系，确定出相应的饱和度范围和明亮度范围。继续参阅图4，在c大调对应的色相下饱和度范围为(10，70)，明亮度范围为(90，100)，在d大调对应的色相下饱和度范围为(10，100)，明亮度范围为(90，100)，在e大调对应的色相下饱和度范围为(30，100)，明亮度范围为(90，100)，在f大调对应的色相下饱和度范围为(10，100)，明亮度范围为 (90，100)，在g大调对应的色相下饱和度范围为(20，100)，明亮度范围为(90，100)，在a 大调对应的色相下饱和度范围为(15，100)，明亮度范围为(90，100)，在b大调对应的色相下饱和度范围为(10，70)，明亮度范围为(90，100)；在c小调对应的色相下饱和度范围为 (40，100)，明亮度范围为(55，85)，在d小调对应的色相下饱和度范围为(30，100)，明亮度范围为(55，85)，在e小调对应的色相下饱和度范围为(30，70)，明亮度范围为(55，85)，在f小调对应的色相下饱和度范围为(30，70)，明亮度范围为(55，85)，在g小调对应的色相下饱和度范围为(85，100)，明亮度范围为(55，85)，在a小调对应的色相下饱和度范围为 (40，90)，明亮度范围为(55，85)，在b小调对应的色相下饱和度范围为(40，80)，明亮度范围为(55，85)。
97.(5)确定获取到的音频数据中至少一帧音频数据对应的色彩的明亮度
98.本方案中，在确定获取到的音频数据中至少一帧音频数据对应的色彩的明亮度时，可以基于至少一帧音频数据中每帧音频数据的频域特征，确定每帧音频数据对应的色彩的明亮度。其中，每帧音频数据的频域特征可以包括音色能量，频谱能量等。在一个例子中，音色能量可以理解为该帧音频数据的谐波能量。
99.在一个例子中，可以将一帧的音频数据进行短时傅里叶变换后得到频谱图，并通过基音检测算法(pitch detection algorithm)计算当前基频，从而获取到基频和基频对应的不同泛音的频谱能量。进一步地，对基频和基频对应的不同泛音的频谱能量进行求和或均值计算即可以得到该帧音频数据的谐波能量(即音色能量)。其中，基频对应的泛音的频率f＝n＊f， f为基频的频率，n为大于或等于2的正整数。举例来说，如图7所示，该图为对音频数据进行短时傅里叶变换后得到的频谱图，横轴为频率，纵轴为频谱能量值；通过基音检测算法计算得到的基频的频率为500hz，该基频对应的泛音的频率分别为：1000hz，1500hz，2000hz， 2500hz，3000hz，35000hz；对基频和基频对应的不同泛音的频谱能量进行均值计算得到的谐波能量为(55 75 75 65 60 65 40)/7＝62。
100.在一个例子中，可以对一帧的音频数据进行傅里叶变换，将该帧音频数据从时域转换至频域，得到该帧音频数据对应的频谱图。然后，由该帧音频数据对应的频谱图，即可以得到该帧音频数据对应的频谱能量。示例性的，可以将该帧音频数据划分成n个频段，每个频段中的各个频率均对应存在一个频谱能量，将每个频段中各个频率对应的频谱能量进行求和或均值计算即可以得到该频段对应的频谱能量；接着将各个频段对应的频谱能量进行加权求和或均值计算，并将得到的结果作为该帧音频数据的频谱能量。举例来说，如图8所示，该图为对一帧的音频数据进行短时傅里叶变换后得到的频谱图，横轴为频率，纵轴为频谱能量值；将该帧音频数据划分成了3个频段，每个频段中的各个频率均对应有一个频谱能量，将这些频谱能量进行求和或均值计算就可以得到相应的频段(如频段1)对应的频谱能量；之后，将这3个频段对应的频谱能量进行加权求和或均值计算，就得到的了该帧音频数据的频谱能量。例如，若频段1所占的权重为n1，频段2所占的权重为n2，频段3所占的权重为n3，频段1对应的频谱能量为w1，频段2对应的频谱能量为w2，频段3对应的频谱能量为w3，则该帧音频数据的频谱能量w＝n1＊w1 n2＊w2 n3＊w3。其中，各个频段所占的权重可根据
情况而定，在此不做限定。
101.在确定出一帧的音频数据的频域特征后，可以将频域特征中包含的各个特征加权求和得到频域能量和值。示例性的，假设频域特征包括音色能量和频谱能量，预先标定的音色能量所占权重为0.4，频谱能量所占权重为0.6，确定出的音色能量的值为10，频谱能量的值为 20，则加权求和的结果为：10x0.4 20x0.6＝16。
102.然后，再基于加权求和得到的频域能量和值和由基础色相确定出的明亮度范围，确定出该帧音频数据对应的明亮度。在一个例子中，可以预先设定有频域能量和值与基础色相对应的明亮度范围中各个明亮度的对应关系，当确定出频域能量和值后，再将该频域能量和值与上述基于基础色相确定出的明亮度范围进行对应，即可以确定出当前的音频数据对应的明亮度。举例来说，预先设定的频域能量和值与基础色相对应的明亮度范围中各个明亮度的对应关系为：频域能量和值为a时，明亮度为b；则当确定出频域能量和值为a时，即可以确定出此时的明亮度为b。应理解的是，本方案中，在确定明亮度时需要先由基础色相确定出明亮度的范围，然后再由频域能量和值和确定出的明亮度的范围，确定明亮度的具体值。
103.可以理解的是，本方案中，可以实时确定至少一帧音频数据对应的色彩的明亮度，以便于向用户呈现出明亮度不同的颜色。
104.(6)确定获取到的音频数据中至少一帧音频数据对应的色彩的饱和度
105.本方案中，在确定获取到的音频数据中至少一帧音频数据对应的色彩的饱和度时，可以 基于至少一帧音频数据中每帧音频数据的时域特征，确定每帧音频数据对应的色彩的饱和度。 其中，每帧音频数据的时域特征可以包括该帧音频数据在时域上的平均包络能量等。在一个 例子中，在获取到一帧音频数据后，可以基于该帧音频数据的时域波形图，构建该帧音频数 据对应的包络；然后通过积分计算该包络所围成的图形的面积，得到该帧音频数据在时域上 的平均包络能量。示例性的，可以将时域波形图上各个时间对应的振幅做比较，当后一时刻 的振幅大于前一时刻的振幅时，基于两个振幅之间的差值和预先设定的控制因子控制两个时 刻间的振幅的峰值的连线上升；当后一时刻的振幅小于前一时刻的振幅时，基于两个振幅之 间的差值和预先设定的控制因子控制两个时刻间的振幅的峰值的连线下降；最后构成的曲线 即为该帧音频数据对应的包络。在一个例子中，包络可以理解为时域波形图上该帧音频数据 的振幅随时间的变化曲线。示例性的，如图9a所示，该图为一帧音频数据的时域波形图，此 时，图9a中的一帧音频数据对应的包络的曲线可以为图9b所示，其中，图9b中包络的曲线 与横轴之间的面积即为该帧音频数据对应的平均包络能量。
106.在确定出一帧音频数据的时域特征后，可以将时域特征中包含的各个特征加权求和得到时域能量和值。示例性的，假设时域特征包括一帧音频数据在时域上的平均包络能量，预先标定的该帧音频数据在时域上的平均包络能量所占权重为1，确定出的平均包络能量的值为 10则加权求和的结果为：10x1＝10。
107.然后，再基于加权求和得到的时域能量和值和由基础色相确定出的饱和度范围，确定出该帧音频数据对应的饱和度。在一个例子中，预先设定有时域能量和值与基础色相对应的饱和度范围中各个饱和度的对应关系，当确定出时域能量和值后，再将该时域能量和值与上述基于基础色相确定出的饱和度范围进行对应，即可以确定出该帧音频数据对应
的饱和度。举例来说，预先设定有时域能量和值与基础色相对应的饱和度范围中各个饱和度的对应关系为：时域能量和值为a时，饱和度为b；则当确定出时域能量和值为a时，即可以确定出此时的饱和度为b。应理解的是，本方案中，在确定饱和度时需要先由基础色相确定出饱和度的范围，然后再由时域能量和值和确定出的饱和度的范围，确定饱和度的具体值。
108.可以理解的是，本方案中，可以实时确定至少一帧音频数据对应的色彩的饱和度，以便于向用户呈现出饱和度不同的颜色。
109.需要说明的是，本方案中，在确定获取到的音频数据中至少一帧音频数据对应的色彩的饱和度时，也可以基于至少一帧音频数据中每帧音频数据的频域特征，确定每帧音频数据对应的色彩的饱和度。其中，基于频域特征确定饱和度的过程与基于时域特征确定饱和度的过程类似，其是先将频域特征中包含的各个特征加权求和得到频域能量和值，再基于加权求和得到的频域能量和值和由基础色相确定出的饱和度范围，确定出该帧音频数据对应的饱和度。
110.另外，本方案中，在确定获取到的音频数据中至少一帧音频数据对应的色彩的明亮度时，也可以基于至少一帧音频数据中每帧音频数据的时域特征，确定每帧音频数据对应的色彩的明亮度。其中，基于时域特征确定明亮度的过程与基于频域特征确定明亮度的过程类似，其是先将时域特征中包含的各个特征加权求和得到时域能量和值，再基于加权求和得到的时域能量和值和由基础色相确定出的明亮度范围，确定出该帧音频数据对应的明亮度。
111.此外，在确定饱和度时也可以将频域特征和时域特征结合起来进行确定，例如可以以时域特征为主，频域特征为辅确定饱和度，或者以频域特征为主，时域特征为辅确定饱和度。在确定明亮度时也可以将频域特征和时域特征结合起来进行确定，例如可以以时域特征为主，频域特征为辅确定明亮度，或者以频域特征为主，时域特征为辅确定明亮度。
112.示例性的，频域特征和时域特征均可以称之为音频数据的数据特征。换言之，在确定明亮度和饱和度时，可以基于数据特征和基础色相进行确定。示例性的，频域特征所包含的各个特征的值可以称之为频域特征值，时域特征所包含的各个特征的值可以称之为时域特征值。在一些实施例中，频域特征可以称之为第一目标特征，频域特征值可以称为第一目标特征值；时域特征可以称之为第二目标特征，时域特征值可以称为第二目标特征值。在一些实施例中，时域特征可以称之为第一目标特征，时域特征值可以称为第一目标特征值；频域特征可以称之为第二目标特征，频域特征值可以称为第二目标特征值。在一些实施例中，时域特征中的一部分特征和频域特征中的一部分特征可以称之为第一目标特征，时域特征中的一部分特征的值和频域特征中的一部分特征的值可以称为第一目标特征值；时域特征中的另一部分特征和频域特征中的另一部分特征可以称之为第二目标特征，时域特征中的另一部分特征的值和频域特征中的另一部分特征的值可以称为第二目标特征值。
113.(7)确定获取到的音频数据中至少一帧音频数据对应的红绿蓝(red green blue，rgb) 颜色
114.本方案中，确定出获取到的音频数据的基础色相，以及获取到的音频数据中至少一帧音频数据的饱和度和明亮度后，可以基于基础色相，饱和度，和明亮度三者与rgb颜色之间的转换公式进行转换，得到获取到的音频数据中至少一帧音频数据对应的rgb颜色。
115.在一个例子中，基础色相，饱和度，和明亮度三者与rgb颜色之间的转换公式可以
为：
116.c＝v*s
[0117][0118]
m＝v-c
[0119][0120]
(r,g,b)＝((r
′
m)*255,(g
′
m)*255,(b
′
m)*255)
[0121]
其中，v为明亮度，s为饱和度，v和s均变化于0到1之间；h为基础色相。当使用该公式时可以将计算出的饱和度和明亮度，基于预先设定的映射关系均转化为0到1之间的值。
[0122]
(8)以视觉可见的颜色呈现音乐所表达的情感色彩
[0123]
确定出获取到的音频数据中至少一帧音频数据对应的rgb颜色后，可以在播放音频数据过程中，将当前所播放的一帧音频数据对应的rgb颜色通过电子设备的显示屏或氛围灯等呈现给用户。例如，当前所播放的一帧音频数据对应的rgb颜色为红色，则可以控制氛围灯显示红色的灯光。
[0124]
在一个例子中，在确定出音频数据对应的rgb颜色后，可以将rgb颜色发送至播放音频数据的设备进行显示，以在播放音频数据的设备上以视觉可见的颜色呈现音乐所表达的情感色彩。示例性的，播放音频数据的设备可以为手机，智能音箱等。示例性的，播放音频数据的设备可以称之为第一设备，输入到第一设备的rgb颜色可以称之为第一rgb颜色。
[0125]
在确定出音频数据对应的rgb颜色后，也可以将rgb颜色发送至其他设备进行显示，以在播放音频数据的设备播放音频数据过程中，由其他设备以视觉可见的颜色呈现音乐所表达的情感色彩。示例性的，其他设备可以为音箱，车辆等。示例性的，其他设备可以称之为第二设备，播放音频数据的设备可以称之为第三设备，输入到第二设备的rgb颜色可以称之为第一rgb颜色。
[0126]
由此，本方案中，基于音频数据的乐理特征，频域特征和时域特征分别确定出音频数据所表达的色彩的基础色相，明亮度，饱和度，并将确定出的基础色相，明亮度和饱和度转换为视觉可见的rgb颜色，实现了以视觉可见的颜色呈现音频数据所表达的情感色彩，使得用户可以身临其境，并进行沉浸式体验，提升了可视化体验。
[0127]
在一个例子中，继续图1，当电子设备11上显示有音乐卡片12时，可以在音乐卡片12 的不同区域同时显示不同帧音乐数据对应的rgb颜色，例如，在音乐卡片12的左侧显示当前帧音乐数据对应的rgb颜色，在音乐卡片12的右侧显示下一帧音乐数据对应的rgb颜色等。此时，为了进一步提升可视化体验，还可以基于每帧音频数据对应的节奏，确定音乐卡片12 上每帧音乐数据对应的rgb颜色的显示位置，然后再确定相邻两帧音频数据对应的rgb颜色的显示位置之间的各个位置点所需显示的颜色，最后，相邻两帧音频数据对应的
rgb颜色和两者位置之间的颜色同时进行显示。其中，每帧音频数据对应的节奏可以理解为每帧音频数据所属的预设时长的音乐数据的节奏，其单位为beat per minute(bpm)。示例性的，可以将每帧音频数据所属的预设时长的音乐数据输入至预先训练得到的机器学习模型得到该预设时长的音频数据的节奏；其中，机器学习模型可以基于深度学习神经网络训练得到。
[0128]
由于一帧音乐数据的时长往往较短，难以算出其节奏，因此本方案中可以选用多帧音乐数据计算出该多帧音乐数据共同对应的节奏，并将该节奏作为该多帧音乐数据中每帧音乐数据对应的节奏。可以理解的是，图1中电子设备11上的音乐卡片12也可以替换为其他可显示颜色的部件，例如显示屏等，在此不做限定。
[0129]
本方案中，对于确定每帧音乐数据对应的rgb颜色的显示位置，可以预先标定每帧音频数据对应的节奏与每帧音频数据对应的rgb颜色的显示位置之间的映射关系，当确定出一帧音频数据对应的节奏后，通过预先标定的映射关系即可以确定出该帧音频数据对应的rgb颜色的显示位置。示例性的，预先标定的映射关系可以为：l＝α＊(m－n＊t)；其中，l为每帧音频数据对应的rgb颜色显示的位置距离电子设备上颜色显示区域一侧的距离，继续参阅图1，若音乐卡片12为电子设备11上的颜色显示区域，则l可以为距离音乐卡片12左侧之间的距离；α、m和n均为预设参数，t为节奏值。示例性的，当前所需播放的至少一帧数据对应的第一rgb颜色所需显示的位置可以称之为第一位置，当所需播放的至少一帧数据的上一帧数据对应的第二rgb颜色所需显示的位置可以称之为第二位置。其中，第一位置可以基于当前所需播放的至少一帧数据对应的节奏，与预先标定每帧音频数据对应的节奏与每帧音频数据对应的rgb颜色的显示位置之间的映射关系确定；第二位置可以基于当前所需播放的至少一帧数据的上一帧数据对应的节奏，与预先标定每帧音频数据对应的节奏与每帧音频数据对应的rgb颜色的显示位置之间的映射关系确定。
[0130]
对于确定相邻两帧音频数据对应的rgb颜色的显示位置之间的各个位置点所需显示的颜色，可以基于相邻两帧音频数据对应的rgb颜色之间的渐变度和预先设定的每个距离单位所需体现的色彩渐变度的份数进行确定。示例性的，若每个距离单位所需体现的色彩渐变度的份数为r份，第一帧音频数据对应的rgb颜色为(r1，g1，b1)，第二帧音频数据对应的rgb颜色为(r2，g2，b2)，第一帧音频数据对应的rgb颜色显示的位置为l1，第二帧音频数据对应的 rgb颜色显示的位置为l2，则这两帧音频数据对应的rgb颜色的色彩渐变度 (sr，sg，sb)＝(r1－r2，g1－g2，b1－b2)/(r＊(l2－l1))。确定出色彩渐变度(sr，sg，sb)后，则可以确定l1和l2之间的各个位置点所需显示的颜色。进一步地，与l1相距n的位置点所需显示的颜色为(r1n，g1n，b1n)＝(r1，g1，b1) (sr，sg，sb)＊n＊r，其中，n≤l2－l1。例如，如图10所示，颜色(100，150，60)显示的位置是位置1，颜色(150，100，0)显示的位置是位置2，若每个距离单位所需体现的色彩渐变度的份数为10份，位置2与位置1相距1，则确定出的两个颜色之间的色彩渐变度为(sr，sg，sb)＝(100－150，150－100，60－0)/(10＊1)＝(5，－5，－6)，此时则在于位置点1相距0.5的位置点3处显示的颜色则为(100，150，60) (5，－5，－6)＊0.5＊10＝ (125，125，30)。示例性的，当前所需播放的至少一帧数据对应的第一rgb颜色所需显示的位置可以称之为第一位置，当所需播放的至少一帧数据的上一帧数据对应的第二rgb颜色所需显示的位置可以称之为第二位置。其中，继续参阅图10，位置1可以称之为第二位置，位置 2可以称之为第一位置，位置2处所显示的rgb颜色可以称之为
第一rgb颜色，位置1处所显示的rgb颜色可以称之为第二rgb颜色，位置2与位置1之间的所显示的颜色可以称之为由第二rgb颜色向第一rgb颜色的过渡颜色。其中，第二rgb颜色向第一rgb颜色的过渡颜色可以由第二rgb颜色与第一rgb颜色之间的色彩渐变度确定。
[0131]
接下来，基于上文所描述的音频可视化处理方案，对本技术实施例提供的一种音频可视化处理方法进行介绍。可以理解的是，该方法是上文所描述的音频可视化处理方案的另一种表达方式，两者是相结合的。该方法是基于上文所描述的音频可视化处理方案提出，该方法中的部分或全部内容可以参见上文对音频可视化处理方案的描述。
[0132]
示例性的，图11示出了一种音频可视化方法的流程示意图。如图11所示，音频可视化方法可以包括以下步骤：
[0133]
步骤101、获取音频数据。
[0134]
电子设备可以从其存储器中存储的音频数据中获取到用户所需播放的音频数据。此外电子设备也可以通过网络从服务器中实时获取到用户所需播放的音频数据。
[0135]
步骤102、对音频数据进行预处理。
[0136]
获取到音频数据后，可以对音频数据进行预处理，例如分帧，重采样等。以便后续基于预处理后的数据确定基础色相，明亮度和饱和度。
[0137]
步骤103、确定基础色相，明亮度和饱和度。
[0138]
对音频数据进行预处理后，可以基于预设时长内数据的音调、和弦和/或情感等乐理特征，确定当前所需的基础色相。确定出基础色相后，可以基于预设设定的基础色相与明亮度及饱和度之间的对应关系，确定出当前获取到的音频数据对应的色彩的明亮度范围和饱和度范围。
[0139]
之后，可以检测当前所需播放的至少一帧数据的数据特征，如频域特征和/或时域特征等。最后，在基于数据特征和确定出的明亮度范围，确定出明亮度；以及基于数据特征和确定出的饱和度范围，确定出饱和度。
[0140]
示例性的，可以基于频域特征和确定出的明亮度范围，确定明亮度；也可以基于时域特征和确定出的明亮度范围，确定明亮度；亦可以基于频域特征、时域特征和确定出的明亮度范围，确定明亮度。此外，可以基于频域特征和确定出的饱和度范围，确定饱和度；也可以基于时域特征和确定出的饱和度范围，确定饱和度；亦可以基于频域特征、时域特征和确定出的饱和度范围，确定饱和度。
[0141]
其中，在确定明亮度时，可以先将频域特征和/或时域特征中包含的各个特征加权求和得到频域能量和值和/或时域能量和值，再基于加权求和得到的频域能量和值和/或时域能量和值，并结合由基础色相确定出的明亮度范围，确定出该帧音频数据对应的明亮度。在确定饱和度时，可以先将频域特征和/或时域特征中包含的各个特征加权求和得到频域能量和值和/ 或时域能量和值，再基于加权求和得到的频域能量和值和/或时域能量和值，并结合由基础色相确定出的饱和度范围，确定出该帧音频数据对应的饱和度。详见上文描述，此处不再赘述。
[0142]
示例性的，频域特征所包含的各个特征的值可以称之为频域特征值，时域特征所包含的各个特征的值可以称之为时域特征值。在一些实施例中，频域特征可以称之为第一目标特征，频域特征值可以称为第一目标特征值；时域特征可以称之为第二目标特征，时域特征值可以称为第二目标特征值。在一些实施例中，时域特征可以称之为第一目标特征，时
域特征值可以称为第一目标特征值；频域特征可以称之为第二目标特征，频域特征值可以称为第二目标特征值。在一些实施例中，时域特征中的一部分特征和频域特征中的一部分特征可以称之为第一目标特征，时域特征中的一部分特征的值和频域特征中的一部分特征的值可以称为第一目标特征值；时域特征中的另一部分特征和频域特征中的另一部分特征可以称之为第二目标特征，时域特征中的另一部分特征的值和频域特征中的另一部分特征的值可以称为第二目标特征值。
[0143]
步骤104、由基础色相，明亮度和饱和度，得到当前所需播放的至少一帧数据的rgb颜色。
[0144]
确定出基础色相，明亮度和饱和度后，可以基于基础色相，饱和度，和明亮度三者与rgb 颜色之间的转换公式进行转换，得到当前所需播放的至少一帧数据对应的rgb颜色。
[0145]
步骤105、输出rgb颜色。
[0146]
确定出rgb颜色后，可以在播放该rgb颜色对应的至少一帧数据时，输出该rgb颜色。例如，电子设备确定出rgb颜色后，可以将该rgb颜色输送至其上的色彩显示系统，以便电子设备在播放该rgb颜色对应的至少一帧数据时，可以通过该色彩显示系统显示该rgb颜色；或者，电子设备可以将该rgb颜色发送至其他的电子设备，以便电子设备在播放该rgb颜色对应的至少一帧数据时，可以通过该其他的电子设备显示该rgb颜色。
[0147]
示例性的，确定出rgb颜色后，可以将确定出的rgb颜色(如第一rgb颜色)发送至第一设备，以由第一设备在播放至少一帧数据时显示该rgb颜色，其中，第一设备可以是用于播放至少一帧数据的设备。
[0148]
此外，确定出rgb颜色后，也可以将确定出的rgb颜色(如第一rgb颜色)发送至第二设备，以由第二设备在第三设备播放至少一帧数据时显示该rgb颜色。
[0149]
步骤106、色彩实时呈现。
[0150]
电子设备在播放该rgb颜色对应的至少一帧数据时，可以通过该色彩显示系统显示该rgb 颜色。此外，电子设备在播放该rgb颜色对应的至少一帧数据时，可以通过该其他的电子设备显示该rgb颜色。由此，实现了以视觉可见的颜色呈现音频数据所表达的情感色彩，使得用户可以身临其境，并进行沉浸式体验，提升了可视化体验。
[0151]
示例性的，用于进行色彩实时呈现的设备可以具有显示屏，即用于显示rgb颜色(如第一rgb颜色)的设备可以具有显示屏。其中，可以在显示屏的第一位置显示第一rgb颜色，且在显示屏上的第二位置显示至少一帧逐渐的上一帧数据对应的第二rgb颜色，并在显示屏上的第一位置和第二位置之间显示由第二rgb颜色过渡到第一rgb颜色的过渡颜色。其中，第一位置基于至少一帧数据的节奏确定，第二位置基于至少一帧数据的上一帧数据的节奏确定，过渡颜色基于第一rbg颜色和第二rgb颜色之间的色彩渐变度确定示例性的，第一位置可以图10中所示的位置2，第二位置可以为图10中所示的位置1。
[0152]
可以理解的是，上述步骤101至106可以适应性选择执行，此处不做限定。
[0153]
基于上述实施例中的方法，本技术实施例还提供了一种芯片。请参阅图12，图12为本技术实施例提供的一种芯片的结构示意图。如图12所示，芯片1200包括一个或多个处理器 1201以及接口电路1202。可选的，芯片1200还可以包含总线1203。其中：
[0154]
处理器1201可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1201中的硬件的集成逻辑电路或者软件形式的指令完成。上
述的处理器1201可以是通用处理器、数字通信器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。示例性的，处理器1201可以为图2中所示的处理器201。
[0155]
接口电路1202可以用于数据、指令或者信息的发送或者接收，处理器1201可以利用接口电路1202接收的数据、指令或者其它信息，进行加工，可以将加工完成信息通过接口电路 1202发送出去。
[0156]
可选的，芯片1200还包括存储器，存储器可以包括只读存储器和随机存取存储器，并向处理器提供操作指令和数据。存储器的一部分还可以包括非易失性随机存取存储器(nvram)。
[0157]
可选的，存储器存储了可执行软件模块或者数据结构，处理器可以通过调用存储器存储的操作指令(该操作指令可存储在操作系统中)，执行相应的操作。
[0158]
可选的，接口电路1202可用于输出处理器1201的执行结果。
[0159]
需要说明的，处理器1201、接口电路1202各自对应的功能既可以通过硬件设计实现，也可以通过软件设计来实现，还可以通过软硬件结合的方式来实现，这里不作限制。
[0160]
应理解，上述方法实施例的各步骤可以通过处理器中的硬件形式的逻辑电路或者软件形式的指令完成。其中，该芯片可以应用于图2所示的电子设备中。
[0161]
可以理解的是，本技术的实施例中的处理器可以是中央处理单元(central processingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(fieldprogrammable gate array，fpga)或者其他可编程逻辑器件、晶体管逻辑器件，硬件部件或者其任意组合。通用处理器可以是微处理器，也可以是任何常规的处理器。
[0162]
本技术的实施例中的方法步骤可以通过硬件的方式来实现，也可以由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器(random access memory，ram)、闪存、只读存储器(read－only memory，rom)、可编程只读存储器(programmable rom，prom)、可擦除可编程只读存储器(erasable prom，eprom)、电可擦除可编程只读存储器(electrically eprom，eeprom)、寄存器、硬盘、移动硬盘、cd－rom 或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于asic中。
[0163]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红
外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘(solid state disk，ssd))等。
[0164]
可以理解的是，在本技术的实施例中涉及的各种数字编号仅为描述方便进行的区分，并不用来限制本技术的实施例的范围。