刷牙行为监控方法、装置、设备、介质及芯片系统与流程

本发明涉及人工智能技术领域，尤其涉及一种刷牙行为监控方法、装置、设备、介质及芯片系统。

背景技术：

刷牙是保护牙齿健康的一种重要的方法，同时刷牙质量对牙齿健康有着重要的影响。正确的刷牙可以帮助人们去除牙菌斑、软垢和食物残渣。然而随着社会的发展，人们生活节奏的加快，对牙齿的健康管理有着不同程度的忽视，这将导致口腔问题频繁出现，降低了人们的生活质量并提高了牙齿护理费用。

可见，养成良好的刷牙习惯在一定程度上可以帮助人们保持口腔清洁，这便对刷牙质量提出了一定的要求。虽然，部分高端电动牙刷可以通过内置传感器和软件对用户的刷牙质量进行评估，但由于其价格高昂，不便于大规模普及。

技术实现要素：

本发明的目的在于提供一种刷牙行为监控方法、装置、设备、介质及芯片系统，用于准确识别用户的刷牙行为，提高用户刷牙的质量。

为实现上述目的，第一方面，本发明公开的刷牙行为监控方法，应用于可穿戴设备，包括：

可穿戴设备采集用户刷牙时的音频信号和传感器数据，可穿戴设备识别该音频信号和传感器数据，得到识别结果，根据该识别结果，可穿戴设备确定用户的刷牙行为状态，当该刷牙状态不符合预设的行为规范时，发出提醒信息。

本发明的有益效果在于：根据音频信号和传感器数据得到识别结果，并根据该识别结果确定当前的刷牙行为状态是否符合预设的行为规范，通过将音频信号和传感器数据结合的方式提高了刷牙行为不规范的识别率，有效的提高了用户刷牙的质量。

在一种可能的实现中，该方法还包括：接收用户的开启操作，响应与该开启操作，控制所述可穿戴设备开启刷牙检测模式；其中，所述刷牙检测模式下，音频采集器和传感器处于工作状态。

在一种可能的实现中，包括：响应于所述开启操作，开启计时器，所述计时器用于记录用户刷牙的时长。其有益效果在于：从而便于用户知道刷牙的时长，控制刷牙行为的时间。

在一种可能的实现中，该方法还包括：可穿戴设备接收用户的关闭操作；响应于所述关闭操作，控制所述可穿戴设备关闭所述刷牙检测模式；其中，在非所述刷牙检测模式下，所述音频采集器处于休眠状态。其有益效果在于：在非刷牙检测模式下，音频采集器处于休眠状态，减少了功率的消耗。

在一种可能的实现中，所述识别所述音频信号和所述传感器数据，得到识别结果包括，对音频信号进行特征提取，得到特征提取结果，将特征提取结果输入至深度置信网络模型，得到刷牙音频的分类结果，对传感器数据进行低通滤波处理，将处理好的传感器数据进行快速傅里叶变换，得到频域信号，根据频域信号，计算出用户手臂的摆动频率。根据识别结果，确定用户的刷牙行为状态，包括：根据刷牙音频的分类结果和摆动频率，确定用户的刷牙行为状态。其有益效果在于：根据刷牙音频的分类结果和摆动频率，提高了对用户刷牙行为的识别率。

在一种可能的实现中，当该刷牙行为状态不符合预设的行为规范时，发出提醒信息包括：当该刷牙音频的分类结果不符合设定的规范的音频分类范围，和/或该摆动频率不符合设定的摆动频率范围，发出提醒信号。

在一种可能的实现中，该特征提取结果是利用梅尔频率倒谱系数特征提取方法对该音频信号进行特征提取，得到低频音频特征。其有益效果在于：利用梅尔频率倒谱系数特征提取方法将人耳的听觉感知特性和语音的产生机制二者相结合，得到低频音频特征，更好的提取音频信号。

在一种可能的实现中，还包括：获取用户刷牙时的音频信号样本；预先利用梅尔频率倒谱系数特征提取方法对所述音频信号样本进行特征提取；将该音频信号样本的特征提取结果作为训练集输入至待训练的深度置信网络模型进行训练，得到该深度置信网络模型。

第二方面，本发明实施例提供一种刷牙行为监控的装置，包括采集模块，用于采集用户刷牙时的音频信号和传感器数据。处理模块，用于识别该音频信号和该传感器数据，得到识别结果，并根据所述识别结果，确定所述用户当前的刷牙行为状态，当所述刷牙行为状态不符合预设的行为规范时，发出提醒指令。

本发明的有益效果在于：结合音频信号和传感器数据得到识别结果，并根据该识别结果确定当前的刷牙行为状态是否符合预设的行为规范，通过将音频信号和传感器数据结合的方式大大提高了刷牙行为不规范的识别率。

在一种可能的实现中，还包括接收模块，该接收模块用于接收用户的开启操作。处理模块，用于响应于该开启操作，控制装置开启刷牙检测模式，其中，在刷牙检测模式下，音频采集器和传感器处于工作状态。

在一种可能的实现中，该处理模块，还用于响应于开启操作，开启计时器，该计时器用于记录用户刷牙的时长。其有益效果在于：便于监控用户刷牙的时长，控制刷牙行为的时间。

在一种可能的实现中，接收模块，还用于接收用户的关闭操作，处理模块，还用于响应于关闭操作，控制装置关闭刷牙检测模式。其中，在非刷牙检测模式下，音频采集器处于休眠状态。其有益效果在于：关闭操作下，音频采集器处于休眠状态，减少了装置功耗。

在一种可能的实现中，处理模块在识别该音频信号和该传感器数据，得到识别结果时，具体用于：对该音频信号进行特征提取，得到特征提取结果，将该特征提取结果输入至深度置信网络模型，得到刷牙音频的分类结果，对该传感器数据进行低通滤波处理，将处理好的传感器数据进行快速傅里叶变换，得到频域信号，根据频域信号，计算出用户手臂的摆动频率。根据该刷牙音频的分类结果和该摆动频率，确定用户当前的刷牙行为状态。

第三方面，本发明实施例提供一种可穿戴设备，包括存储器、处理器及存储在该存储器上并可在处理器上运行的计算机程序，该处理器执行该计算机程序时实现上述监控方法的步骤。

第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述监控方法的步骤。

第五方面，本发明实施例提供一种芯片系统，该芯片系统与存储器耦合，用于读取并执行该存储器中存储的程序指令，以实现如上述监控方法的步骤。

附图说明

图1为本发明的刷牙行为监控装置在检测模式下的流程图；

图2为深度置信网络模型的结构示意图；

图3为本发明的刷牙行为监控方法的流程示意图；

图4为本发明的刷牙行为监控方法的原理框图；

图5为本发明的刷牙行为监控装置的结构框图；

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。除非另外定义，此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本文中使用的“包括”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。

刷牙监控的目的，就是为了提醒人们在日常刷牙的过程中注意刷牙动作的规范，矫正刷牙时不规范动作。但是目前刷牙检测设备的缺点是检测误判较高，起到的刷牙监控的作用有限。

针对现有技术存在的问题，本发明的实施例提供了一种刷牙监控方法，应用于可穿戴设备，如图1所示，一方面，可穿戴设备中的音频采集器采集音频数据，并对音频数据进行识别，识别为刷牙声音；另一方面，可穿戴设备中的传感器采集传感器数据，并对传感器数据进行识别，识别为刷牙动作；最终可穿戴设备综合音频识别结果和传感器识别结果判断为刷牙状态，作出刷牙规范提醒。

本发明实施例中，对音频数据进行识别的方法主要依赖梅尔频率倒谱系数(mel-frequencycepstralcoefficients，mfcc)特征提取方法和深度置信网络模型，下文先对深度置信网络模型的训练方法进行说明。具体的，可穿戴设备预先采集用户刷牙时的音频信号样本，并采用梅尔频率倒谱系数(mel-frequencycepstralcoefficients，mfcc)特征提取方法对音频信号样本进行特征提取，然后将该音频信号样本的特征结果作为训练集输入至待训练的深度置信网络(deepbeliefnetworks，dbn)模型进行训练，尽可能的将特征结果中的特征信息保存，得到该dbn模型。

具体来说，采用mfcc特征提取方法对音频信号样本进行特征提取方法步骤具体包括：先使用音频采集器先获取一个连续的音频信号样本，为了更符合人耳的听觉特性，将音频信号样本中高频的音频信号过滤掉，只保留低频的音频信号。当然，也可以通过预加重提升音频信号的高频部分，使音频信号样本中的频谱变得平坦，保持在低频到高频的整个频带中，能用同样的信噪比求频谱。接着，为了方便对音频信号样本的分析，进行分帧处理，由于语音在长范围内是不停变动的，没有固定的特性无法处理，所以将每帧带入窗函数，窗外的值设定为0，其目的是消除各个帧两端可能会造成的信号不连续性。常用的窗函数有方窗、汉明窗和汉宁窗等，根据窗函数的频域特性，本实施例将分帧处理后的每一帧乘以汉明窗。

本发明实施例中，由于音频信号在时域上的变换通常很难看出信号的特性，所以通常将它转换为频域上的能量分布来观察，不同的能量分布，就能代表不同语音的特性。所以在乘上汉明窗后，每帧还必须再经过快速傅里叶变换以得到音频信号样本中在频谱上的能量分布。对分帧加窗后的各帧的信号进行快速傅里叶变换得到各帧的频谱。并对音频信号样本的频谱取模平方得到语音信号的功率谱。接着将功率谱通过滤波器，可对频谱进行平滑化，并消除谐波。然后计算从滤波器组输出的对数能量，并将对数能量带入离散余弦变换计算得出mfcc系数，即完成对音频信号样本的特征提取。接着将音频信号样本的特征提取结果作为训练集输入至待训练的深度置信网络模型进行训练。

值得说明的是，参考图2所示，图2为深度置信网络结构示意图，深度置信网络是由若干层受限玻尔兹曼机201(restrictedboltzmannmachine，rbm)和一层反向神经网络202(backpropagation，bp)组成。深度置信网络模型的过程中主要分为两步，第一步：预训练，dbn分别单独无监督地训练每一层rbm201层,具体过程为：首先对训练集引入特征提取，假设获得第一层rbm201的输入层v0，再根据输入层特征向量采用对比散度(contrastivedivergence，cd)算法计算rbm201的输出层h0。而在训练了第一层rbm201后，则将h0作为第二层rbm201的输入层，并按照训练第一层rbm201的方法对第二层rbm201进行训练，以此类推顺次展开全部的rbm201训练确保将训练集中的特征向量映射到不同特征空间，尽可能多的保留特征提取中的信息。

第二步：微调，在dbn的最后一层设置bp202网络，接收rbm201的输出特征向量作为它的输入特征向量,有监督地训练实体关系分类器。而且每一层rbm201网络只能确保自身层内的权值对该层特征向量映射达到最优，并不是对整个dbn的特征向量映射达到最优,所以反向传播网络还将错误信息自上向下传播至每一层rbm201，微调整个dbn网络。

通过上述的方式，即完成了将提取的音频信号样本进行刷牙行为规范和不规范的音频分类范围的划分，即形成对刷牙行为进行分类的深度置信网络模型。

如图3所示，图3为本发明实施例提供的一种刷牙行为监控的方法流程图，该方法包括：

s301：可穿戴设备采集用户刷牙时的音频信号和传感器数据。

本实施例中，传感器数据可以为在用户刷牙时可穿戴设备的传感器所检测到的加速度信息、重力信息等。用户刷牙时的音频信号可以指的是可穿戴设备的音频采集器所采集的声音。

s302：可穿戴设备识别音频信号和传感器数据，得到识别结果。

其中，一方面，可穿戴设备对该音频信号采用上述提到mfcc特征提取的方式进行声音的特征提取处理，从而得到特征提取结果，然后将特征提取结果输入至深度置信网络模型，得到刷牙音频的分类结果。另一方面，可穿戴设备对传感器数据进行低通滤波处理，将处理好的传感器数据进行快速傅里叶变换，得到频域信号；根据频域信号，计算出用户手臂的摆动频率。

s303：可穿戴设备根据识别结果，确定用户的刷牙行为状态。

具体来说，可穿戴设备可以根据刷牙音频的分类结果和摆动频率，确定用户的刷牙行为状态。示例性地，当刷牙音频的分类结果显示声音的频率为设定声音频率，且摆动频率满足设定摆动频率范围，示例性，设定摆动频率范围为0.5hz-10hz，则说明用户的刷牙行为状态为非常规范的行为，否则，若摆动频率过低则说明用户处于刷牙行动缓慢的行为状态。

s304：当刷牙行为状态不符合预设的行为规范时，可穿戴设备发出提醒信息。

在该步骤中，一种可能的实现方式是，当刷牙音频的分类结果不符合设定的规范的音频分类范围，发出提醒信号；当摆动频率不符合设定的摆动频率范围，发出提醒信号；当刷牙音频的分类结果不符合设定的规范的音频分类范围，和摆动频率不符合设定的摆动频率范围，发出提醒信号。示例性地，当刷牙行为状态不符合预设的行为规范时，可穿戴设备可以通过扬声器发出语音提醒，或者通过接近光传感器进行灯光闪烁，又或者可穿戴设备可以控制马达进行振动提醒，从而提醒用户纠正刷牙行为。

在一种可能的实施例中，可穿戴设备可以预设刷牙开关模式，当接收到来自用户的开启操作时，响应于该开启操作，可穿戴设备开启刷牙检测模式。可以理解的是，在刷牙检测模式下，用于采集音频信号的音频采集器和用于收集传感器数据的传感器处于工作状态。可选的，可穿戴设备还可以在启动刷牙检测模式时，同时开启计时器，开启计时器可以用于记录用户刷牙的时长，最终用于提醒用户刷牙时长是否达到规范时长。

在另一种可能的实施例中，可穿戴设备接收用户的关闭操作，响应于该关闭操作，可穿戴设备关闭刷牙检测模式。因可穿戴设备关闭了刷牙检测模式，所以可避免穿戴设备始终打开音频采集器(如麦克风)采集声音而引起的功耗增加。在非刷牙检测模式下，音频采集器处于休眠状态，从而可以节省可穿戴设备电量，提高了可穿戴设备的使用时长。

本申请进一步结合图4所示的刷牙行为监控方法的原理框图，对刷牙行为监控方法的过程进行阐述,参考图4所示，监控方法包括以下步骤：

s400：可穿戴设备接收用户的开启操作，可穿戴设备开启刷牙检测模式。

可以理解的是，可穿戴设备在接收到用户开启操作时，才开启刷牙检测模式，此时音频采集器和传感器处于工作状态。需要说明的是，在非刷牙检测模式下，音频采集器为休眠状态，从而节省了可穿戴设备的功耗。

s401：可穿戴设备采集用户刷牙时的音频信号。

此时进行刷牙时音频信号的采集，同时传感器进行传感器数据的采集，在本实施例中，传感器采集的是刷牙时的加速度。

s402：可穿戴设备对音频信号进行特征提取，得到特征提取结果。

在本实施例中，采用mfcc特征提取方法对音频信号进行特征提取，得到特征提取结果。

s403：可穿戴设备将特征提取结果输入至深度置信网络模型，得到分类结果。通过mfcc特征提取的方法将特征提取结果再输入至深度置信网络模型中，进行预训练、微调直至得到分类结果，其中，分类结果按照音频信号划分出规范刷牙行为和不规范刷牙行为。

s404：可穿戴设备采集用户刷牙时的传感器数据。

需要说明的是，在本实施例中传感器数据为加速度。具体的，可包括重力加速度或摆动时的加速度。

s405：可穿戴设备对传感器数据进行低通滤波处理，将处理好的传感器数据进行快速傅里叶变换，得到频域信号，根据频域信号，计算出用户手臂的摆动频率。

此时，即完成了音频信号与传感器数据的采集和处理的过程。

s406：可穿戴设备刷牙行为识别，得到识别结果。

可穿戴设备根据分类结果和摆动频率，确定用户的刷牙行为状态，并根据刷牙行为状态得到识别的结果。

s407：可穿戴设备根据识别结果，判断用户当前刷牙的行为状态当刷牙行为状态不符合预设的行为规范时，发出提醒信息。

其中，识别结果包括：当刷牙时收集的音频信号的分类结果不符合设定的规范的音频分类范围，或摆动频率不符合设定的摆动频率范围，或音频信号的分类结果不符合设定的规范的音频分类范围和摆动频率不符合设定的摆动频率范围时，发出提醒信号，其中预先设定的摆动幅度范围在0.5hz-10hz。

s408：可穿戴设备启动计时器，计时器用于记录用户刷牙的时长。从进行刷牙检测模式开始，计时器即开始进行计时，用于监控用户的刷牙时间。

在本发明公开的另一个实施例中，一种刷牙行为监控的装置，参考图5所示，需要说明的是，在本实施例中，该装置为可穿戴设备。该装置包括：采集模块502用于采集用户刷牙时的音频信号和传感器数据。处理模块503，用于识别音频信号和传感器数据，并得到识别结果，然后处理模块503根据识别结果确定用户当前的刷牙行为状态，当刷牙行为状态不符合预设的行为规范时，发出提醒指令。

在另一种可能的实施例中，该装置还包括接收模块501，接收模块501用于接收用户的开启操作。处理模块503响应于开启操作，控制装置开启刷牙检测模式，其中，在刷牙检测模式下，音频采集器和传感器处于工作状态，用于获取音频信号和传感器数据。并且，处理模块503响应于开启操作，开启计时器，通过计时器记录用户的刷牙时长，便于监控用户的刷牙时长。

当接收模块501接收到用户的关闭操作时，处理模块503响应于关闭操作，控制装置关闭刷牙检测模式，在非刷牙检测模式下，音频采集器处于休眠状态。

其中，处理模块503识别音频信号和传感器数据，得到识别结果时，具体用于对音频信号进行特征提取，并得到特征提取结果，然后将特征提取结果输入至深度置信网络模型，先进行预训练，然后微调得到刷牙音频的分类结果。于此同时的，处理模块503对传感器数据进行低通滤波处理，将处理好的传感器数据进行快速傅里叶变换，得到频域信号，根据频域信号，处理模块503计算出用户手臂的摆动频率，最后根据刷牙音频的分类结果和摆动频率，确定出用户当前的刷牙行为状态。当判断出刷牙行为状态不符合预设的行为规范时，发出提醒指令告诉用户，用于提醒用户刷牙动作的纠正。

虽然在上文中详细说明了本发明的实施方式，但是对于本领域的技术人员来说显而易见的是，能够对这些实施方式进行各种修改和变化。但是，应理解，这种修改和变化都属于权利要求书中所述的本发明的范围和精神之内。而且，在此说明的本发明可有其它的实施方式，并且可通过多种方式实施或实现。