一种基于智能穿戴设备的声乐训练辅助系统的制作方法

1.本发明涉及可穿戴技术领域，更具体地，涉及一种基于智能穿戴设备的声乐训练辅助系统。


背景技术：

2.声带闭合状态很大程度影响着声乐发声的声音效果和声带健康，对于声乐发声，在美声的教学里发声技巧都建立在声带正常闭合的基础上；对于声带健康，长时间声带闭合过紧或是闭合不严地发出音调高或音量大的声音则会导致声带受损。
3.在现有技术中，关于声带闭合状态的监测主要包括以下技术方案：1)基于电声门图描记器的声带闭合状态检测，其原理是捕捉靠近声带的皮肤表面的生物电信号，这种方法需要专业的医疗检测设备，并普适性差且没有移动性。2)基于振动信号的声带闭合状态检测，此方法可以有效抵抗外界的噪声干扰，但由于加速度计需要紧贴住靠近声带的皮肤，会引起皮肤不适，并且由于加速度计的低分辨率，且受身体运动干扰，导致识别的准确率低。3)基于音频信号分析的声带闭合检测，这种方法是一种非侵入式的检测方法，但是易受外界环境噪声的干扰。
4.此外，目前的声带闭合状态监测方法受限于信号特征提取的精确度，仅能识别过度闭合，正常闭合和闭合不严三种状态，用户根据识别结果无法明确地做出调整，并且监测结果的准确度受用户变化，声音音调变化，外界环境噪声干扰的影响而大幅下降，从而不能达到实时检测的效果。


技术实现要素：

5.本发明的目的是克服上述现有技术的缺陷，提供一种基于智能穿戴设备的声乐训练辅助系统。
6.根据本发明的第一方面，提供一种基于智能穿戴设备的声乐训练辅助系统。该系统包括可穿戴声带振动感受器和智能设备，其中：
7.可穿戴声带振动感受器包括音频信号采集器、振动信号采集器、音频处理模块、控制单元和通信单元，其中音频信号采集器用于采集用户发声产生的声音信号，振动信号采集器用于采集声带位置处振动所引起的皮肤振动信号，音频处理模块用于对采集的声音信号和皮肤振动信号进行处理，并在控制单元的控制下经由通信单元传递给智能设备；
8.智能设备将接收到的声音信号和皮肤振动信号分别处理为时频图，输入到预训练的机器学习分类器，获得声带闭合状态分类结果。
9.根据本发明的第二方面，提供一种基于智能穿戴设备的声乐训练辅助方法。该方法包括以下步骤：
10.利用音频信号采集器采集用户发声产生的声音信号；
11.利用振动信号采集器采集用户声带位置处振动所引起的皮肤振动信号并进行放大滤波处理；
12.将声音信号和皮肤振动信号处理为时频图，输入到预训练的机器学习分类器，输出声带闭合状态分类结果。
13.与现有技术相比，本发明的优点在于，所提供的基于智能穿戴设备的声乐训练辅助系统硬件成本低，携带和使用方便，能够在用户进行声乐练习时实时地识别声带闭合状态，并且识别准确率高，有利于用户能及时调整发声方式，或进行针对性的声带发声训练。
14.通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
15.被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。
16.图1是根据本发明一个实施例的基于智能穿戴设备的声乐训练辅助系统的结构图；
17.图2是根据本发明一个实施例的基于智能穿戴设备的声乐训练辅助方法的整体过程示意图；
18.图3是根据本发明一个实施例的检测声带闭合状态的流程图；
19.图4是根据本发明一个实施例的对声音信号和皮肤振动信号进行处理的流程图。
具体实施方式
20.现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
21.以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
22.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
23.在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
24.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
25.本发明提供一种基于智能穿戴设备的声乐训练辅助系统，基于皮肤振动信号及声音传感信号，实时检测用户发声时的声带闭合状态，以指导用户的声乐学习。
26.所提供的系统整体上包括：可穿戴声带振动感受器和智能终端，其中可穿戴声带振动感受器用于收集声带附近的皮肤振动信号以及耳道声音信号。例如，可穿戴声带振动感受器包括音频信号采集器、振动信号采集器、音频处理模块、控制单元和通信单元，其中音频信号采集器用于采集用户发声产生的声音信号；振动信号采集器用于采集声带位置处皮肤振动所引起的皮肤振动信号；音频处理模块用于对采集的声音信号和皮肤振动信号进行处理，并经由通信单元传递给智能设备；控制单元用于协调其他模块或单元之间的信息交互过程，如控制声音信号和皮肤振动信号采集的开始和结束，控制可穿戴声带振动感受
器和智能终端之间的数据传输等。智能设备将接收到的声音信号和皮肤振动信号处理为时频图，输入预训练的机器学习分类器，获得声带闭合状态分类结果。
27.在一个实施例中，音频信号采集器是入耳式麦克风，用于收集耳道内的声音信号，所述振动信号采集器是压电陶瓷片。利用入耳式麦克风采集声音信号可以一定程度上屏蔽环境中的噪音，获得更准确的声音信号。压电陶瓷片可以更敏感的捕获声带的微弱振动，从而精确采集到用户发声所引起的皮肤振动信号。
28.在一个实施例中，将可穿戴声带振动感受器设置在硬件壳体内，该硬件壳体能够被安装在颈带上，且压电陶瓷片贴附于用户声带附近。这种方式有利于保护声带振动感受器，并且携带方便。
29.在一个实施例中，智能设备是智能终端或可穿戴设备等多种类型的电子设备，例如，智能手机、平板电子设备、台式电脑或车载设备。
30.参见图1所示的智能声带振动感受器的穿戴示例，其中可穿戴声带振动感受器包括用于收集耳道声音的入耳式麦克风1，用于收集声带附近皮肤振动的压电陶瓷片2，可调节颈带3，为清楚起见，未标记出音频处理模块、控制单元和通信单元等。但应理解的是，这些模块或单元可设置在硬件壳体内。该硬件壳体可以固定在颈带上，并使压电陶瓷片贴附于用户声带位置。硬件壳体的侧面可进一步设置用于给可穿戴声带振动感受器充电的type-c充电口4以及开机键。
31.下面以终端采用安卓操作系统(os)的智能手机为例说明声带闭合状态的检测过程，参见图3并结合图1和图2所示，包括以下步骤：
32.s1、启动智能声带振动感受器，耳道麦克风采集用户耳道的声音，压电陶瓷片声带附近皮肤的原始振动信号。
33.例如，可穿戴声带振动感受器和手机之间采用wifi通信，用户在开启智能声带振动感受器后，需要确保手机和硬件设备处于同一wifi环境下，并打开手机app。
34.s2、通过智能声带振动感受器的带通滤波放大电路对原始振动信号进行滤波和放大。
35.例如，优选压电陶瓷片作为采集皮肤振动信号的传感器。这是因为，压电陶瓷片是对震动信号十分敏感的特殊材料，能够根据震动幅度产生不同幅度的电压变化，由于声带的震动相对微弱，引起的电压变化幅度也相对较小，同时因为压电陶瓷片有一层金属材料，具有天线效应，容易引入各种噪声，因此，针对压电陶瓷片设计了一个带通滤波放大电路，有利于有效的进行滤波(包括市电50hz杂波以及各种噪声谐波分量)并对有效信号进行适度放大，使得采集到的声带皮肤振动信号较为纯净，微控制器stm32作为控制单元通过12bit adc(模数转换器)，以10khz的采样率采集原始振动数据，用户采集时，需将传感器佩戴至声带一侧，以确保压电陶瓷片紧贴声带处。
36.s3、将采集到的耳道声音信号和放大滤波后的振动信号通过通信单元实时传输到移动终端。
37.s4、移动终端对接收到的声音数据和振动信号数据运行处理，得到声带闭合状态的判断结果和声乐练习建议，并在app中显示。
38.在该步骤s4中，智能终端分析，处理接收到的数据，实时地识别声带闭合状态，例如，识别结果分为五个等级，包括：正常闭合，过度闭合，轻微闭合不严，中度闭合不严，严重
闭合不严，最终以可视化形式将识别结果反馈给用户。
39.参见图4所示，步骤s4具体包括以下步骤：
40.s41、将原始耳道声音数据和皮肤振动信号数据分帧，分割为多个窗口进行处理。
41.首先对放大滤波后的皮肤振动信号和麦克风收集的耳道声音信号进行接收，并将信号分割为一个个窗口，以对每个窗口的数据进行处理。
42.s42、使用语音时间检测算法(vad)检测声音数据，提取用户发声时对应的数据帧。
43.例如，按时间顺序读入窗口数据，并用语音事件检测算法检测数据流上用户发声的开始时间点以及结束时间点。当检测到开始时间点时，则将此时间点后的数据流传到下一步，直到检测到结束时间点停止数据的传输，然后继续检测开始时间点，并重复此过程。
44.s43、将数据帧通过短时傅里叶变换(sfft)转换成时频图像。
45.具体地，缓存传入的数据流，积累到一定时长后取出缓存的数据，并通过短时傅里叶变换算法将声音数据与皮肤振动信号数据都转换为时频图。
46.s44、通过机器学习，深度学习模型分析时频图像以进行对声带闭合状态的识别。
47.利用机器学习或深度学习等数据分析方法，建立检测声带闭合状态的分类器，由于不同的声带闭合程度导致声音以及皮肤振动的不一致，进而可在提取的耳道声以及声带附近皮肤振动信号中体现出来对不同声带闭合状态的识别，即声带过度闭合，声带正常闭合，声带轻微闭合不严，声带中等闭合不严，声带严重闭合不严。
48.在一个实施例中，采用有监督的深度学习方法训练分类器，即基于标注的数据集进行训练。具体地，数据集包含样本和标签，例如采集声乐表演专业学生在不同声带闭合状态下的耳道声音信号和皮肤振动信号，所涉及的发声情景包括但不限于气泡音，长元音，短元音，渐强音，渐弱音，跳音，并覆盖男女各个音区的声音，其中每个单音的数据作为数据集的一个样本。而对于标签的标注，在采集声音的同时采用电子声门仪分析当前发声时的声带闭合接触状态，并综合专业声乐老师的意见，得到真实的声带闭合状态信息，即声带过度闭合，声带正常闭合，声带轻微闭合不严，声带中等闭合不严，声带严重闭合不严等，作为当前发声样本的标签。
49.进一步地，为便于学习皮肤振动信号、耳道内声音信号和声带闭合状态之间的对应关系，对数据集进行预处理，包括：对于样本的声音信号和皮肤振动信号，使用滑动窗口切分成定长的信号片段；对定长的分段进行短时傅里叶变换处理，得到时频图，定长的时频图可以直接用于分类器的训练。利用时频图作为分类器的输入可以提取皮肤振动信号和声音信号中的深度时域特征和频域特征，并提升了分类器的处理效率，且有利于应用到计算能力和存储能力相对受限的移动终端。
50.在一个实施例中，深度学习分类器可采用朴素贝叶斯分类器、svc(支持向量机分类器)或其他的神经网络模型等。本发明对此不进行限制。
51.应理解的是，分类器的预训练过程也可以离线方式在服务器或云端进行，而将训练好的分类器嵌入到移动终端即可实现实时的声带闭合状态检测。
52.s45、将结果反馈给用户，生成相关报告。
53.例如，将获得的声带闭合状态结果在移动终端app界面实时显示并保存至用户本次练习结束，练习过程中用户可及时根据反馈调整声乐练习的发声方式，练习结束后该系统会总结本次练习整体的声带闭合状态，并进一步指导用户进行相应的声乐发声练习。
54.需说明的是，在不违背本发明精神和范围的前提下，本领域技术人员可对上述实施例进行适当的改变或变型，例如，采用贴耳式耳机中的麦克风采集声音信号等。又如，控制单元可采用现有的微控制器或设计专用微控制器实现。
55.综上所述，本发明提出了一种基于耳道声音信号与皮肤振动信号相结合的声带闭合状态检测系统。耳道声音信号和皮肤振动信号能够很大程度地抵抗外界的噪声，保证信号主要来源于声带振动。本发明首次将分类出的声带闭合情况精细化，可分为正常闭合，过度闭合，轻微闭合不严，中等闭合不严，严重闭合不严五个等级或更多等级，因此用户可以清晰地了解自己目前的声带闭合状态，从而确定调整声带松紧的方向和程度。用户使用该系统进行声乐练习时，能通过声音信号和振动信号的特征判断出用户实时的声带闭合情况，进而及时纠正用户错误的发声方式，并且在练习结束后，该系统能够分析本次练习整体的声带闭合状态，并指导用户进行相应的声乐发声练习。此外，本发明扩展了耳机和智能终端的功能，相对于完全重新设计专用的智能声带振动感受器降低了硬件成本。
56.本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
57.计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
58.这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
59.用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如smalltalk、c 、python等，以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读
程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
60.这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
61.这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
62.也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
63.附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
64.以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。