音乐演奏方法、电子设备及计算机可读存储介质与流程

本发明涉及电子乐器领域，更具体地说，涉及一种音乐演奏方法、电子设备及计算机可读存储介质。

背景技术：

音强、音高、音色为乐音的三大要素，其中：音强是指声音信号中主音调的强弱程度，是判别乐音的基础，其由机械波振幅的大小决定(两者成正比关系，振幅越大则音越"强"，反之则越"弱")；音高是指音调，其由机械波的频率决定的(严格说是基波频率)；音色是指不同声音表现在波形方面与众不同的特性，音色是声音除基波外的其他波段(如泛音)所决定，这些波段不影响音高，通常，不同的发声体由于其材料、结构不同，发出声音的音色也不同(例如钢琴、小提琴和人发出的声音不一样)。

乐器作为一种能够陶冶情操的发声器物，是人类重要的精神财产。传统乐器的种类繁多并且结构和音色也有很大差异，其发音体基本上是弦、膜、簧、板或金属体等，如提琴类、胡琴类和弹弦类乐器，均由弦振动而发出声音；锣和拔类乐器则由金属体振动发出声音。虽然电吉它、电贝司也需要通电使用，但它们的发音体仍然是弦，故归类为电声乐器而非电子乐器。

在当下社会，随着生活节奏的加快以及生活水平的提升，越来越多的人更倾向于感官的接触和更为直接的视觉体验，因此，传统的乐器受发声结构的限制已不能满足相应的需求。

电子乐器是乐手通过特定手段触发电子信号，使其利用电子合成技术或是采样技术来通过电声设备发出声音的乐器，如电子琴、电钢琴、电子合成器、电子鼓等。不同于传统乐器，电子乐器的发音体是由若干电子元件组成振荡器，通过电压放大，不同的频率变化产生出不同的音频信号，再进行功率放大，由扬声器传送出特定的声音。并且相较于传统乐器，电子乐器一般不受自然气候条件的影响，它只是受电压、电流或电子元件质量等因素的影响(正规的电子乐器产品出现这种现象的可能性极小)。

然而，无论是传统乐器还是电子乐器，其对演奏者本身要求较高，演奏者往往需要经过系统培训和长时间的练习才能进行演奏。例如钢琴一般有88个琴键，每个琴键对应一个音符，加上脚踏，演奏者在按乐谱演奏乐曲时，需将10个手指和脚熟练配合才能完成；使用小提琴进行演奏时，演奏者一般是右手拉弓，左手五个手指用于触碰弦上不同位置来发出不同的乐音，虽然小提琴只有三根弦，但是不同的音符需要手指触碰弦上不同位置，触碰位置稍有差异，音就会不准。

此外，目前的乐器，演奏者一般通过肢体动作控制音强(响度)，把情感注入音乐中，肢体动作(包括力度)的细微差异都会影响演奏效果，这也是乐器演奏难度大的原因。并且，无论演奏者如何练习，无论演奏技巧多熟练，肢体动作也不能完全反映人的情感，因此无法把情感完全注入音乐中。

技术实现要素：

本发明要解决的技术问题在于，针对上述乐器需要培训和练习才能进行个性化演奏的问题，提供一种音乐演奏方法、电子设备及计算机可读存储介质。

本发明解决上述技术问题的技术方案是，提供一种音乐演奏方法，包括：

通过传感器实时获取人体特征参数，所述人体特征参数包括人体动作和/或情感体征对应的电信号；

根据所述人体特征参数生成音强时值数据和音符切换点数据；

根据所述音强时值数据、音符切换点数据以及预存的音符序列和音色数据生成音乐数据，并播放所述音乐数据，所述音符序列由多个音符的音高数据构成。

作为本发明的进一步改进，所述传感器包括触摸屏、压力传感器、力度键盘、加速度传感器、振动传感器和陀螺仪传感器中的一个或多个，且所述人体特征参数包括人体动作数据；

所述根据所述人体特征参数生成音强时值数据和音符切换点数据，包括：

将人体动作转换为幅值参数和时间参数；

根据所述幅值参数生成音强时值数据，以及根据时间参数生成音符切换点数据。

作为本发明的进一步改进，所述传感器包括生物电波传感器、图像传感器和拾音器中的一个或多个；

所述根据所述人体特征参数生成音强时值数据和音符切换点数据，包括：

将所述传感器采集的信号转换为幅值参数和时间参数；

根据所述幅值参数生成音强时值数据，以及根据时间参数生成音符切换点数据。

作为本发明的进一步改进，所述传感器包括温度传感器、呼吸传感器、血压传感器和脉搏传感器中的一个或多个；

所述根据所述人体特征参数生成音强时值数据和音符切换点数据，包括：

将所述传感器采集的信号转换为幅值系数和时间系数；

根据所述幅值参数和幅值系数生成音强时值数据，以及根据时间参数和时间系数生成音符切换点数据。

作为本发明的进一步改进，所述根据所述音强时值数据、音符切换点数据以及预存的音符序列和音色数据生成音乐数据，并播放所述音乐数据，包括以下步骤：

(a)读取预存的音色数据以及音符序列，并根据所述音符序列生成音符播放序列；

(b)从所述音符播放序列中取出最前端的音符，并将所述音符转换为音高数据；

(c)根据所述音色数据、音高数据以及当前时刻的音强时值数据生成当前时刻的音乐数据并播放；

(d)在收到音符切换点信号时，从音符播放序列中删去当前音符，并判断所述音符播放序列是否为空，若所述音符播放序列非空，则执行步骤(b)，否则结束演奏。

本发明还提供一种电子设备，包括主控单元、播放单元、存储单元、以及传感器单元；其中：

所述存储单元，用于存储音符序列和音色数据，所述音符序列由多个音符的音高数据构成；

所述传感器单元，用于实时获取人体特征参数，并根据所述人体特征参数生成音强时值数据和音符切换点数据，所述人体特征参数包括人体动作和/或情感体征对应的电信号；

所述主控单元，用于根据所述音强时值数据、音符切换点数据以及预存的音符序列和音色数据生成音乐数据；

所述播放单元，用于播放由所述主控单元生成的音乐数据。

作为本发明的进一步改进，所述传感器单元包括以下一个或多个：触摸屏、加速度传感器、力度键盘、振动传感器、陀螺仪传感器、生物电波传感器、温度传感器、呼吸传感器、血压传感器、脉搏传感器、图像传感器和拾音器。

作为本发明的进一步改进，所述电子设备包括输入单元，所述主控单元根据所述输入单元的输入信号生成所述音符序列和音色数据并存储到所述存储单元。

本发明还提供一种电子设备，包括存储器和处理器，所述存储器中存储有可在所述处理器中执行的计算机程序，且所述处理器执行所述计算机程序时实现如上所述的音乐演奏方法的步骤。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如上所述的音乐演奏方法的步骤。

本发明的音乐演奏方法、电子设备及计算机可读存储介质，通过传感器采集人体特征参数生成音强时值数据和音符切换点数据，并结合预存的音符序列和音色数据合成音乐数据，只需简单练习即可让每一个人演奏出个性化的音乐。

附图说明

图1是本发明实施例提供的音乐演奏方法的流程示意图；

图2是待演奏的音乐的节选简谱；

图3是本发明实施例提供的音乐演奏方法中的生成音强时值数据和音符切换点数据的示意图；

图4是本发明实施例提供的音乐演奏方法生成音乐数据的示意图；

图5是本发明实施例提供的音乐演奏方法中生成音强时值数据以及音符切换点数据的流程示意图；

图6是本发明实施例提供的音乐演奏方法中另一生成音强时值数据以及音符切换点数据的流程示意图；

图7是本发明实施例提供的音乐演奏方法中生成并播放音乐数据的流程示意图；

图8是本发明实施例提供的电子设备的框图；

图9是本发明另一实施例提供的电子设备的框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，是本发明实施例提供的音乐演奏方法的流程示意图，该音乐演奏方法可应用于智能移动终端(例如手机)、智能手环、智能手表、耳机或专用的电子设备，并实现个性化的音乐演奏。具体地，本实施例的音乐演奏方法可结合安装到智能移动终端、智能手环、智能手表、耳机或专用的电子设备的应用程序实现，该方法包括：

步骤s11：通过传感器实时获取人体特征参数，上述人体特征参数包括人体动作(例如手、手指、脚、头、脸、腰等部位的动作)和/或情感体征(例如脑电波等生物电波、温度、脉搏、血压和表情等)对应的电信号。

在实际应用中，上述传感器包括触摸屏、加速度传感器、力度键盘、陀螺仪、生物电波传感器、温度传感器、脉搏传感器、血压传感器、震动传感器、图像传感器和拾音器中的一种或多种。通过各类传感器获取人体特征参数属于本领域常规技术，在此不再赘述。

步骤s12：根据人体特征参数实时生成音强时值数据和音符切换点数据。结合图3所示，上述音强时值数据是指音强及每一音强的持续时间，其可表示为图3中的曲线31，并对应于声音振动随时间变化的幅值；音符切换点数据是指进行切换(音符)演奏的时间点，其可表示为图3中垂直于时间轴的直线32，在接收到音符切换点数据时需进行切换操作。

例如当传感器佩戴到人体手腕时，该步骤生成的音强时值数据可传感器测得的手腕的动作幅度正相关，例如图3所示曲线31，在对应于序号为7和14的部分的手腕动作幅度大于其他部分的手腕动作幅度，相应的音强时值数据也较大；并且，该步骤生成的音符切换点数据与传感器测得的手腕动作速度也正相关，例如图3所示曲线31，在对应于序号为7和14的部分的手腕动作速度慢于其他部分的手腕动作速度，此时的音符切换点数据的间隔也较大。

步骤s13：根据音强时值数据、音符切换点数据以及预存的音符序列和音色数据生成音乐数据，并播放音乐数据，上述音符序列由多个音符的音高数据构成。

在本实施例中，音符序列包括多个按顺序排列的音符，其可提前输入并存储到存储单元。例如，对应于图2所示的节选乐谱，预存的音符序列可以为：11556654433221，每一音符对应于一个音高(音调)。音色数据则用于表示声音特性，例如钢琴、小提琴、古筝、二胡、架子鼓等。

结合图4所示，在该步骤中，可提前从预存数据中选择音符序列和音色数据，然后将选中的音符序列和音色数据与步骤s12中实时生成的音强时值数据和音符切换点数据依次生成对应的音乐数据51并播放。

上述音乐演奏方法通过传感器采集人体特征参数生成音强时值数据和音符切换点数据，并结合预存的音符序列和音色数据合成音乐数据，只需简单练习即可让每一个人演奏出个性化的音乐，并且可实现所有乐器的演奏。特别适用于对音乐进行个性化的改编和演奏。

如图5所示，是本发明实施例提供的音乐演奏方法中生成音强时值数据以及音符切换点数据(即步骤s12)的流程示意图。具体地，当传感器包括触摸屏、压力传感器、力度键盘、加速度传感器、振动传感器和陀螺仪传感器中的一个或多个时，上述步骤s12包括；

步骤s121：将人体动作转换为幅值参数和时间参数。

例如当传感器为触摸屏时，触摸屏接收到的滑动动作的幅度和速度与幅值参数正相关，滑动动作的速度则与时间参数正相关；当传感器为加速度传感器、振动传感器和陀螺仪传感器之一时，其检测到的移动幅度速度、加速度与幅值参数正相关，滑动动作的持续时间或时长则与时间参数正相关；当传感器为压力传感器时，其检测到的按压力度及变化与幅值参数正相关，检测到的按压持续时间或时长则与时间参数正相关。

特别地，当传感器为力度键盘时，其可根据被按下的力度等方式确认人体动作，例如，力度键盘包括琴键以及位于琴键下方不同高度位置的若干导电橡胶触点，在琴键被按下过程中，琴键与不同导电橡胶触点的电接触存在时间差，由于上述时间差和琴键的运动速度成反比，而琴键的运动速度则与按键的力度成正比，可根据上述时间差获得琴键的按压力度，进而获得人体动作，并以此生成幅值参数和时间参数，例如，幅值参数与按压力度正相关，琴键被按下的时间点则可作为时间参数。此外，力度键盘也可通过电磁感应实现，即力度键盘包括琴键、安装在琴键上的磁铁、以及安装在印制电路板上的感应线圈，按琴键的动作带动磁铁运动，磁场的变化在感应线圈中产生电流，该电流信号强度与按键力度对应，进而获得人体动作，并以此生成幅值参数和时间参数。

步骤s122：根据幅值参数生成音强时值数据，以及根据时间参数生成音符切换点数据。具体地，幅值参数越大，音强时值参数越大；时间参数越大，音符切换点数据的间隔越长。

通过上述方式，演奏者可通过在触摸屏(例如智能移动终端的触摸屏)上滑动，或者按压、挤压带有压力传感器的电子设备，或者佩戴智能手环、智能手表挥舞手臂，或者手持专用电子设备等挥舞手臂、或者佩戴耳机做摇头或点头动作，实现不同乐器的音乐演奏，而无需具备乐器演奏技能。

此外，当传感器包括生物电波传感器、图像传感器和拾音器中的一个或多个时，可通过生物电波传感器检测生物电波(例如脑电波)变化、通过图像传感器拍摄图像(例如舞蹈动作)、通过拾音器拾取声音(例如哼唱歌曲)，相应地，可通过以下方式生成音强时值数据和音符切换点数据：将图像传感器采集的信号和拾音器采集的信号转换为幅值参数和时间参数，例如当图像传感器采集的信号中舞蹈动作越剧烈时，幅值参数越大，音符切换点数据的间隔时间越短；根据幅值参数生成音强时值数据，以及根据时间参数生成音符切换点数据，具体地，幅值参数越大，音强时值参数越大；时间参数越大，音符切换点数据的间隔越长。通过上述方式，演奏者可借助舞蹈动作或哼唱歌曲，实现不同乐器的演奏。

结合图6所示，在本发明的一个实施例中，还可通过以下方式生成音强时值数据以及音符切换点数据(即步骤s12)的流程示意图。具体地，当传感器包括触摸屏、压力传感器、加速度传感器、振动传感器、陀螺仪传感器、生物电波传感器、图像传感器和拾音器中的一个或多个，以及温度传感器、呼吸传感器、血压传感器和脉搏传感器中的一个或多个时，上述步骤s12包括；

步骤s121’：将触摸屏、压力传感器、加速度传感器、振动传感器、陀螺仪传感器、生物电波传感器、图像传感器和拾音器中的一个或多个所采集的人体动作转换为幅值参数和时间参数。

例如当传感器为触摸屏时，触摸屏接收到的滑动动作的幅度与幅值参数正相关，滑动动作的速度则与时间参数正相关；当传感器为加速度传感器、振动传感器和陀螺仪传感器之一时，其移动幅度与幅值参数正相关，滑动动作的速度则与时间参数负相关。

步骤s122’：将生物电波传感器、温度传感器、呼吸传感器、血压传感器和脉搏传感器中的一个或多个采集的信号转换为幅值系数和时间系数。

例如，当温度传感器、呼吸传感器、脉搏传感器所产生的信号的幅值越大时，幅值系数越大，当生物电波传感器、呼吸传感器、脉搏传感器所产生的信号频率越高时，时间系数越大；当温度传感器产生温度信号越大时，幅值系数和时间系数越大；当血压传感器产生血压信号越大时，幅值系数和时间系数越大。

步骤s123’：根据幅值参数和幅值系数生成音强时值数据，以及根据时间参数和时间系数生成音符切换点数据。

在该步骤中，可将幅值参数和幅值系数的乘积作为新的幅值参数，将时间参数和时间系数作为新的时间参数，并以新的幅值参数和新的时间参数生成音强时值数据和音符切换点数据。

通过上述方式，可将不同人在不同环境、不同时间的感情融入到演奏的音乐中，从而最大程度的表达和演绎音乐，实现各位个性化的音乐演奏。

如图7所示，是本发明实施例提供的音乐演奏方法中生成并播放音乐数据(即步骤s13)的流程示意图。该步骤s13包括：

步骤s131：读取预存的音色数据以及音符序列，并根据音符序列生成音符播放序列。

具体地，读取预存的音色数据以及音符序列是指将存储单元的音色数据以及音符序列写入到缓存，而生成音符播放序列可以为在缓存中创建一个包括音符序列的队列。

步骤s132：从音符播放序列中取出最前端的音符，并将音符转换为音高数据。

步骤s133：根据音色数据、音高数据以及当前时刻的音强时值数据(在步骤s12中生成)生成当前时刻的音乐数据并播放，直至完成一个音符的演奏。

步骤s134：在接收到音符切换点信号(在步骤s12中生成)时，将当前音符从音符播放序列删除(例如当音符播放序列为包括音符序列的队列时，将队列的起始位置的指针左移一个音符)，并判断音符播放序列是否为空。当音符播放序列非空时，返回步骤s132，进行下一音符演奏，直到音符播放序列为空。

如图8所示，是本发明实施例提供的电子设备框图，该电子设备可以为智能移动终端(例如手机)，佩戴到人体的智能手环、智能手表、耳机等，或者利于手持的专用电子装置，并进行音乐演奏。本实施例的电子设备包括主控单元81、播放单元82、存储单元83以及传感器单元84。

特别地，上述电子设备可包括主壳体以及安装在主壳体内印刷线路板，主控单元81、存储单元83和传感器单元84集成到上述印刷线路板，播放单元82则可电性连接到印刷电路板。在实际应用中，主控单元81、存储单元83以及传感器单元84也可集成到多个电性连接的印刷线路板。

上述存储单元83用于存储音符序列和音色数据，其中音符序列由多个音符的音高数据构成。

传感器单元84用于实时获取人体特征参数，并根据人体特征参数生成音强时值数据和音符切换点数据，上述人体特征参数包括人体动作(包括手、手指、脚、头、脸、腰等部位的动作)和/或情感体征(包括生物电波(含脑电波)、温度、脉搏、血压和表情)对应的电信号。具体地，传感器单元84可包括触摸屏、压力传感器、力度键盘、加速度传感器、陀螺仪传感器、生物电波传感器、温度传感器、脉搏传感器、血压传感器、震动传感器、图像传感器和拾音器中的一个或多个。并且，该传感器单元84还可将采集的人体特征参数转换为模拟信号或数字信号，传输到主控单元81。

主控单元81分别与存储单元83和传感器单元84电性连接，并根据传感器单元84实时获取的人体特征参数(例如肢体动作、生物电(含脑电波)、脉搏、血压、体温、表情等)生成音强时值数据和音符切换点数据，其中音强时值数据表示声音的强度及对应强度的持续时间(即一个音符的音强随时间变化的曲线)，音符切换点数据则表示切换音符的时间点。在获得音强时值数据和音符切换点数据后，主控单元81将音强时值数据、音符切换点数据与从存储单元83读取的音符序列、音色数据结合生成音乐数据(例如midi数据)。

该主控单元81可包括一个或多个微控制单元(microcontrollerunit，mcu)，例如包括与现有的电子音响合成器(synthesizer)中的控制单元类似的芯片，其可将传感器单元84采集的人体特征参数，转换为音强时值数据及音符切换点数据。主控单元81可将上述音强时值数据、音符切换点数据与存储单元83中的音符序列和音色数据，制造出上百种音色、几十种节奏型和音响效果电信号。此外，主控单元81还可将生成的音乐数据存储到存储单元83，以便演奏者后续播放、重听。

播放单元82与主控单元81电性连接，并播放主控单元81生成的音乐数据，从而演奏者或听众可听到音乐。具体地，当可穿戴电子设备集成到智能手环、智能手表时，播放单元82可采用电动扬声器；当可穿戴电子设备集成到耳机时，播放单元82可采用电动扬声器或骨传导扬声器等。

上述电子设备，通过传感器单元采集人体特征参数生成音强时值数据和音符切换点数据，并结合存储单元中存储的音符序列和音色数据合成音乐数据，不仅携带方便，而且只需简单练习即可让每一个人演奏出个性化的音乐。

在本发明的另一实施例中，结合图9所示，电子设备除了包括主控单元81、播放单元82、存储单元83以及传感器单元84外，还包括输入单元85，且该输入单元85与主控单元81电性连接。输入单元85具体可采用键盘或触摸屏，主控单元81通过从输入单元85采集的输入信号生成音符序列，并将音符序列存储到存储单元83，以便后续演奏使用。

除了音符序列外，输入单元85还可输入音符序列对应的音色数据，并由主控单元81存储到存储单元83。

在本发明的另一实施例中，可穿戴电子设备除了包括主控单元81、播放单元、存储单元18以及传感器单元84外，还包括无线传输单元86，或同时包括输入单元85和无线传输单元86。该无线传输单元86具体可采用蓝牙模块、wifi模块等，在此不做限制。

该无线传输单元86与主控单元81电性连接，且主控单元81通过解析无线传输单元86的通讯信号获取音符序列，并将音符序列存储到存储单元83。即电子设备可通过无线传输单元86与其他终端设备或服务器通信，并以通讯方式获得音符序列。

此外，上述无线传输单元86还可将主控单元81生成的音乐数据传输到其他播放设备进行播放，例如与蓝牙接收器连接的音箱等。

本发明实施例还提供一种电子设备，该电子设备可以为智能移动终端、智能手表、智能手环、耳机、专用电子设备等，并进行音乐演奏。本实施例的电子设备包括存储器和处理器，其中存储器中存储有可在处理器中执行的计算机程序，且处理器执行所述计算机程序时实现如图1-7实施例所述的音乐演奏方法的步骤。

本实施例中的电机控制器与上述图1-7对应实施例中的音乐演奏方法属于同一构思，其具体实现过程详细见对应的方法实施例，且方法实施例中的技术特征在本设备实施例中均对应适用，这里不再赘述。

本发明的一个实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如上所述的音乐演奏方法。

本实施例中的计算机可读存储介质与上述图1-7对应实施例中的音乐演奏方法属于同一构思，其具体实现过程详细见对应的方法实施例，且方法实施例中的技术特征在本设备实施例中均对应适用，这里不再赘述。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的音乐演奏方法、及电子设备，可以通过其它的方式实现。

本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或界面切换设备、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。

上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。此外，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。