一种歌唱状态剖析的方法及系统与流程

1.本技术涉及歌唱训练及数据处理领域，具体而言，涉及一种歌唱状态剖析的方法及系统。


背景技术：

2.当下的声乐学习存在着认知片面、形式单一、教学手法抽象不具体等问题。在学科认知方面，对声乐这门学科认识不够全面，学习过程中忽视了发声最基本的原理学习。作为一门关于发声的学科，首先应该对人体发声器官进行原理学习和掌握，再开展后续的学习步骤；形式、教学手法方面，几乎都是采取口口相传形式，教学实施者讲述个人观点、进行发声示范，教学对象进行模仿，这种形式存在教学对象缺乏自主思考的问题。作为教学实施者，身上肩负着传道解惑、授学生以“渔”的职责和使命。另外，歌唱学科是一门较为特殊的课程，其特殊性要求我们必须承认“个性化的存在和差异”，因为每个人的身体发声构造、器官大小、音量强弱是极具个性的，完全不一样，并且，每个人对声音的了解和感知是存在很大变差的，所以，单一的形式永远是远远不能满足这门学科。众多问题和弊端的存在，导致了整体水平较差的结果，大批学习声乐专业的学生，在学习多年的专业基础上却不知道发声器官—声带的基本工作原理，就连横膈膜(歌唱中使用的重要支撑器官)的所在位置都存在概念模糊的现状。那么，究竟在学习什么？探索什么？


技术实现要素：

3.本技术的目的在于提供一种歌唱状态剖析的方法，其能够将歌唱发声划分了具体的步骤，按照每一步有序进行即可。
4.本技术的另一目的在于提供一种歌唱状态剖析的系统，其能够运行一种歌唱状态剖析的方法。
5.本技术的实施例是这样实现的：
6.第一方面，本技术实施例提供一种歌唱状态剖析的方法，其包括获取身体歌唱器官编号信息，编号按照从上至下的顺序进行编号，然后采集通过身体歌唱器官发出的音频数据及影像数据；采用分类器对音频数据及影像数据进行处理并输出处理结果，处理结果用于指示用户的歌唱状态；通过对处理结果进行精细剖析，确定用户参与歌唱过程的各歌唱器官的运动状态。
7.在本技术的一些实施例中，上述获取身体歌唱器官编号信息，编号按照从上至下的顺序进行编号，然后采集通过身体歌唱器官发出的音频数据及影像数据包括：从上至下的身体歌唱器官包括嘴巴、舌面、喉头、声带、肺叶、横膈膜及吸气轨道。
8.在本技术的一些实施例中，上述还包括：在采集到音频数据及影像数据后，将后续采集到的每个音频数据及影像数据片段与在音频数据及影像数据片段之前获取到的音频数据及影像数据片段合成，得到一个目标视频文件。
9.在本技术的一些实施例中，上述采用分类器对音频数据及影像数据进行处理并输
出处理结果，处理结果用于指示用户的歌唱状态包括：提取每个音频数据及影像数据中的特征样本，得到多个特征样本，对多个特征样本和多个特征样本的属性信息进行训练得到分类器。
10.在本技术的一些实施例中，上述还包括：音频数据及影像数据利用高清摄像机完成采集，对处于歌唱状态的用户过程中的头身体歌唱器官的立体全面采集。
11.在本技术的一些实施例中，上述通过对处理结果进行精细剖析，确定用户参与歌唱过程的各歌唱器官的运动状态包括：精细剖析各歌唱器官的稳定发声部分的动态信息，得到相应的音频动态信息。
12.在本技术的一些实施例中，上述还包括：完成吸气后，声带前端运行振动，发出声音，声带前端运行震动后，产生的压力带动了横膈膜的运动，横膈膜呈上前下压/后上浮状态，形成循环转动，此时，各器官运动状态为声带前端转动，肺叶内收，横膈膜前部分压、后部分上浮。
13.第二方面，本技术实施例提供一种歌唱状态剖析的系统，其包括编号采集模块，用于获取身体歌唱器官编号信息，编号按照从上至下的顺序进行编号，然后采集通过身体歌唱器官发出的音频数据及影像数据；
14.分类器模块，用于采用分类器对音频数据及影像数据进行处理并输出处理结果，处理结果用于指示用户的歌唱状态；
15.精细剖析模块，用于通过对处理结果进行精细剖析，确定用户参与歌唱过程的各歌唱器官的运动状态。
16.在本技术的一些实施例中，上述包括：用于存储计算机指令的至少一个存储器；与上述存储器通讯的至少一个处理器，其中当上述至少一个处理器执行上述计算机指令时，上述至少一个处理器使上述系统执行：编号采集模块、分类器模块及精细剖析模块。
17.第三方面，本技术实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如一种歌唱状态剖析的方法中任一项的方法。
18.相对于现有技术，本技术的实施例至少具有如下优点或有益效果：
19.用清晰明了、可见的方法将看不见的发声器官展现出来，使广大学习者从学科的基本原理出发进行探索和发掘。将歌唱发声划分了具体的步骤，按照每一步有序进行即可。通过对用户唱歌过程中身体歌唱器官肌肉群的状态进行观察及音视频的采集分析，然后对歌唱中各个部分的肌肉参与与未参与程度进行分析，对未参与的肌肉集中对活动度进行训练，使其形成一种歌唱的肌肉记忆，提升歌唱者自身的歌唱技巧。
附图说明
20.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
21.图1为本技术实施例提供的一种歌唱状态剖析的方法步骤示意图；
22.图2为本技术实施例提供的一种歌唱状态剖析的方法详细步骤示意图；
23.图3为本技术实施例提供的一种歌唱状态剖析的系统模块示意图；
24.图4为本技术实施例提供的一种电子设备；
25.图5为本技术实施例提供的身体歌唱器官发声示意图a；
26.图6为本技术实施例提供的身体歌唱器官发声示意图b；
27.图7为本技术实施例提供的身体歌唱器官发声示意图c；
28.图8为本技术实施例提供的身体歌唱器官发声示意图d。
29.图标：10-编号采集模块；20-分类器模块；30-精细剖析模块；101-存储器；102-处理器；103-通信接口。
具体实施方式
30.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。
31.因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
32.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
33.需要说明的是，术语“包括”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
34.下面结合附图，对本技术的一些实施方式作详细说明。在不冲突的情况下，下述的各个实施例及实施例中的各个特征可以相互组合。
35.实施例1
36.请参阅图1，图1为本技术实施例提供的一种歌唱状态剖析的方法步骤示意图，其如下所示：
37.步骤s100，获取身体歌唱器官编号信息，编号按照从上至下的顺序进行编号，然后采集通过身体歌唱器官发出的音频数据及影像数据；
38.在一些实施方式中，请参照图5，身体歌唱器官编号，按照从上到下的顺序进行，便于区分，从上至下的身体歌唱器官包括嘴巴、舌面、喉头、声带、肺叶、横膈膜及吸气轨道。
39.请参照图6，吸气原理：气体沿吸气管道(编号7)运行：嘴巴(编号1)微张开，用[ha]字往里吸气(简称ha式吸气法)，气流贴着舌面(编号2)，穿过喉头(编号3)，进入肺叶(编号5)。同时，喉头与声带(编号4)与气流方向一致下沉；气息进入肺叶后，肺叶向两侧扩张，横膈膜(编号6)下沉。
[0040]
在一些实施方式中，采集用户歌唱过程中身体歌唱器官影像数据，影像数据是利用高清摄像机完成采集，比如5台，完成用户歌唱过程中身体歌唱器官影像的立体全面采
集，采集的时长可以为10min，采集过程面部应全部露出，便于摄像机对面部肌肉信息的完全采集；同时也对用户的音频数据进行采集。
[0041]
步骤s110，采用分类器对音频数据及影像数据进行处理并输出处理结果，处理结果用于指示用户的歌唱状态；
[0042]
在一些实施方式中，服务器中可以预先存储有分类器。在提取到用户的音频数据及影像数据的综合特征后，服务器可以将该综合特征输入到该分类器中。之后可以根据该分类器输出的处理结果来确定用户是否处于唱歌状态，该处理结果用于指示用户的唱歌状态。
[0043]
步骤s120，通过对处理结果进行精细剖析，确定用户参与歌唱过程的各歌唱器官的运动状态。
[0044]
在一些实施方式中，请参照图7，完成吸气后，声带开始运行；请参照图8，运行方式：前端运行振动，发出声音。声带前端运行震动后，产生的压力带动了横膈膜的运动，横膈膜呈上前下压/后上浮状态，形成循环转动；此时，各器官运动状态：声带前端转动；肺叶内收；横膈膜前部分压、后部分上浮。
[0045]
实施例2
[0046]
请参阅图2，图2为本技术实施例提供的一种歌唱状态剖析的方法详细步骤示意图，其如下所示：
[0047]
步骤s200，从上至下的身体歌唱器官包括嘴巴、舌面、喉头、声带、肺叶、横膈膜及吸气轨道。
[0048]
步骤s210，在采集到音频数据及影像数据后，将后续采集到的每个音频数据及影像数据片段与在音频数据及影像数据片段之前获取到的音频数据及影像数据片段合成，得到一个目标视频文件。
[0049]
步骤s220，提取每个音频数据及影像数据中的特征样本，得到多个特征样本，对多个特征样本和多个特征样本的属性信息进行训练得到分类器。
[0050]
步骤s230，音频数据及影像数据利用高清摄像机完成采集，对处于歌唱状态的用户过程中的头身体歌唱器官的立体全面采集。
[0051]
步骤s240，精细剖析各歌唱器官的稳定发声部分的动态信息，得到相应的音频动态信息。
[0052]
步骤s250，完成吸气后，声带前端运行振动，发出声音，声带前端运行震动后，产生的压力带动了横膈膜的运动，横膈膜呈上前下压/后上浮状态，形成循环转动，此时，各器官运动状态为声带前端转动，肺叶内收，横膈膜前部分压、后部分上浮。
[0053]
在一些实施方式中，对采集到的影像数据进行精细观察分析，确定用户参与歌唱过程的头部肌肉群，对影像数据的精细观察具体为对口周肌群、眼周肌群和鼻窦空腔的精细观察，对参与歌唱过程和未参与歌唱过程的肌肉状态进行分析。
[0054]
在一些实施方式中，输入的音频数据为连续发声段，该连续发声段可以包含乐句和空白，对输入的连续发声段使用vad算法，理想的输出为不包含大片空白片段的连续发声段。vad算法通过阈值设定来设定分段的精细度。为了防止发声句被切断，阈值设置为中，切除大块空白，保留较长的发声片段。即，若连续发声段中的空白片段的长度大于或等于预设空白长度阈值，将空白片段从连续发声段中切除，得到至少一个发声片段。
[0055]
接下来，使用呼吸检测算法对每个发声片段进行进一步切分。检测发声片段中的呼吸点，认为发声片段中检测出的呼吸点是换气点，则以此为分割点，将发声片段进一步切分。切分后的结果认为是连续的发声句。如可以采用神经网络进行呼吸声检测，对输入的发声片段提取音频帧级别特征，如梅尔频率倒谱系数(mfcc)；对音频帧级别特征进行标准化，使用分类器逐帧进行预测；再使用平滑等后处理方法，定位到音频片段中的呼吸声。
[0056]
实施例3
[0057]
请参阅图3，图3为本技术实施例提供的一种歌唱状态剖析的系统模块示意图，其如下所示：
[0058]
编号采集模块10，用于获取身体歌唱器官编号信息，编号按照从上至下的顺序进行编号，然后采集通过身体歌唱器官发出的音频数据及影像数据；
[0059]
分类器模块20，用于采用分类器对音频数据及影像数据进行处理并输出处理结果，处理结果用于指示用户的歌唱状态；
[0060]
精细剖析模块30，用于通过对处理结果进行精细剖析，确定用户参与歌唱过程的各歌唱器官的运动状态。
[0061]
如图4所示，本技术实施例提供一种电子设备，其包括存储器101，用于存储一个或多个程序；处理器102。当一个或多个程序被处理器102执行时，实现如上述第一方面中任一项的方法。
[0062]
还包括通信接口103，该存储器101、处理器102和通信接口103相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器101可用于存储软件程序及模块，处理器102通过执行存储在存储器101内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口103可用于与其他节点设备进行信令或数据的通信。
[0063]
其中，存储器101可以是但不限于，随机存取存储器101(random access memory，ram)，只读存储器101(read only memory，rom)，可编程只读存储器101(programmable read-only memory，prom)，可擦除只读存储器101(erasable programmable read-only memory，eprom)，电可擦除只读存储器101(electric erasable programmable read-only memory，eeprom)等。
[0064]
处理器102可以是一种集成电路芯片，具有信号处理能力。该处理器102可以是通用处理器102，包括中央处理器102(central processing unit，cpu)、网络处理器102(network processor，np)等；还可以是数字信号处理器102(digital signal processing，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field－programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0065]
在本技术所提供的实施例中，应该理解到，所揭露的方法及系统，也可以通过其它的方式实现。以上所描述的方法及系统实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本技术的多个实施例的方法及系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以
以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0066]
另外，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
[0067]
另一方面，本技术实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器102执行时实现如上述第一方面中任一项的方法。所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器101(rom，read-only memory)、随机存取存储器101(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0068]
综上所述，本技术实施例提供的一种歌唱状态剖析的方法及系统，用清晰明了、可见的方法将看不见的发声器官展现出来，使广大学习者从学科的基本原理出发进行探索和发掘。将歌唱发声划分了具体的步骤，按照每一步有序进行即可。通过对用户唱歌过程中身体歌唱器官肌肉群的状态进行观察及音视频的采集分析，然后对歌唱中各个部分的肌肉参与与未参与程度进行分析，对未参与的肌肉集中对活动度进行训练，使其形成一种歌唱的肌肉记忆，提升歌唱者自身的歌唱技巧。
[0069]
以上仅为本技术的优选实施例而已，并不用于限制本技术，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。
[0070]
对于本领域技术人员而言，显然本技术不限于上述示范性实施例的细节，而且在不背离本技术的精神或基本特征的情况下，能够以其它的具体形式实现本技术。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本技术的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本技术内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。