睡眠声音信号疲劳评估方法、系统、电子设备及存储介质与流程

本申请属于疲劳评估检测技术领域，具体涉及一种基于睡眠声音信号的疲劳评估方法、系统、电子设备及存储介质。

背景技术：

疲劳是指机体在一定环境条件下，由于长时间过渡紧张的体力或脑力劳动引起的劳动效率趋向下降的状态。在医学上，按疲劳性质划分，疲劳可分为生理疲劳和心理疲劳。生理疲劳主要表现为肌肉酸痛、四肢乏力等；心理疲劳主要表现为注意力下降。相对于生理疲劳来说，心理疲劳更容易被忽视，但是长期心理疲劳的危害反而更大，会使人心境压抑，百无聊赖，心烦意乱，精疲力竭，甚至出现神经衰弱症状，如头痛头昏、记忆力减退、失眠、怕光等，还可能发生其他心理疾病。

对疲劳状态的评价有主观评测和客观评测。主观评测的方法主要通过填写自我记录表、睡眠习惯调查表和斯坦福睡眠尺度表等表格进行评估。客观评测的方法主要通过医用仪器、设备等辅助工具测试人体生理方面的指标变化情况进行评估。主观评价方法操作简单、直接、费用低廉，但是每个人的理解有明显的差异，其结果的准确度往往不够；客观的评级方法需要借助各种医用仪器和设备，通过脑电图、心电图、眼电图等进行评估，虽然准确度很高，但是不适用于个人日常疲劳状态的评估与监测，可行度不高。

技术实现要素：

本申请提供了一种基于睡眠声音信号的疲劳评估方法及系统，此方法能够客观准确的给出身体日常疲劳状态的评估，机器学习算法充分提取睡眠声音信号中的特征，构建的评估模型准确性较高。

具体的，根据本发明的第一个方面，提供了一种基于睡眠声音信号的疲劳评估方法，包括：

获取睡眠时的音频信号；

计算所述音频信号的梅尔频谱特征，结合高斯混合模型，分离所述音频信号为鼾声段和非鼾声段，计算打鼾时长占比；

将所述音频信号的梅尔频谱特征输入人工智能语音模型中，所述人工智能语音模型计算并输出声音特征向量；

获取睡眠总时长，将打鼾时长占比、声音特征向量和睡眠总时长输入到机器学习分类器中，输出疲劳等级。

进一步地，所述计算音频信号的梅尔频谱特征，包括：

去除所述音频信号的环境噪声，保留呼吸声和打鼾声；

对音频信号依次进行预加重、加汉宁窗、快速傅里叶变换、取功率谱、加梅尔滤波器组和均值归一化处理，得到梅尔频谱特征。

进一步地，所述预加重的计算公式为：

y(n)＝x(n)-αx(n-1)

其中，0≤n≤n-1是采样点序号，n为样本点个数，x(n)是原始音频序列，y(n)是预加重后的音频序列，滤波器系数α的取值为0.95或0.97。

进一步地，所述加汉宁窗的计算公式为：

其中，0≤n≤n-1是采样点序号，n是窗口的长度，w[n]是汉宁窗函数。

进一步地，所述快速傅里叶变换的计算公式为：

其中，0≤n≤n-1是采样点序号，n为样本点个数，1≤k≤k是频率索引，j是虚数单位,k表示fft的频率点个数，w[n]是汉宁窗函数，x[n]是原始音频序列，x[k]是经过快速傅里叶变换之后的序列。

进一步地，所述取功率谱的计算公式为：

其中，xi是第i帧，n为样本点个数，p是对应的功率，fft(xi)是对第i帧序列进行快速傅里叶变换后的序列。

进一步地，所述加梅尔滤波器组的计算公式为：

其中，f(·)是梅尔滤波函数，1≤k≤n-1是音频序列索引，1≤m≤m是梅尔滤波器个数索引，m是梅尔滤波器个数，n是样本点个数。

进一步地，所述高斯混合模型为：

其中，d为数据维度，μ为数据均值，σ为协方差矩阵，θ是高斯混合模型的参数，x是样本，p(x|θ)是在给定参数θ的条件下的样本x的分布函数，|σ|是协方差矩阵σ的行列式，σ^-1是协方差矩阵σ的逆，(x-μ)^t是矩阵(x-μ)的转置。

进一步地，所述人工智能语音模型为训练好的深度网络或卷积神经网络。

根据本发明的第二个方面，还提供了一种基于睡眠声音信号的疲劳评估系统，包括：

采集模块，用于获取睡眠时的音频信号；

分离模块，用于计算所述音频信号的梅尔频谱特征，结合高斯混合模型，分离所述音频信号为鼾声段和非鼾声段，计算打鼾时长占比；

特征向量计算模块，用于将所述音频信号的梅尔频谱特征输入人工智能语音模型中，所述人工智能语音模型计算并输出声音特征向量；

疲劳等级计算模块，用于获取睡眠总时长，将打鼾时长占比、声音特征向量和睡眠总时长输入到机器学习分类器中，输出疲劳等级。

本申请实施例中提供的技术方案，至少具有如下技术效果或优点：

本申请通过获取睡眠时的音频信号，计算所述音频信号的梅尔频谱特征，结合高斯混合模型，分离所述音频信号为鼾声段和非鼾声段，计算打鼾时长占比，将所述音频信号的梅尔频谱特征输入人工智能语音模型中，所述人工智能语音模型计算并输出声音特征向量，获取睡眠总时长，将打鼾时长占比、声音特征向量和睡眠总时长输入到机器学习分类器中，输出疲劳等级，这种方法突破了传统疲劳评估方法的局限性，在不借助于多种医疗器械的基础上，能够客观准确的给出身体日常疲劳状态的评估，仅仅通过睡觉时音频的采集就可以实时监控身体疲劳状态，以便于用户及时的调整生活作息，保持身体健康，机器学习算法充分提取睡眠声音信号中的特征，构建的评估模型准确性较高，且有很强的泛化性。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变的明显，或通过本申请的实践了解到。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本申请实施例所提供的睡眠声音信号疲劳评估系统示意图；

图2示出了本申请实施例所提供的睡眠声音信号疲劳评估方法示意图；

图3示出了本申请实施例所提供的判断疲劳等级的工作原理示意图；

图4示出了本申请实施例所提供的一种电子设备的结构示意图；

图5示出了本申请实施例所提供的一种存储介质的示意图。

具体实施方式

下面将参照附图更详细地描述本申请的示例性实施方式。虽然附图中显示了本申请的示例性实施方式，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。

需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。

下面结合附图来描述根据本申请实施例提出的一种基于睡眠声音信号的疲劳评估方法及系统。

本申请实施例提供了一种基于睡眠声音信号的疲劳评估方法及系统，这种方法突破了传统疲劳评估方法的局限性，在不借助于多种医疗器械的基础上，能够客观准确的给出身体日常疲劳状态的评估，机器学习算法充分提取睡眠声音信号中的特征，构建的评估模型准确性较高。

参见图1，该方法具体包括以下模块；

采集模块101、分离模块102、特征向量计算模块103和疲劳等级计算模块104；

采集模块101，用于获取睡眠时的音频信号；

分离模块102，用于计算音频信号的梅尔频谱特征，结合高斯混合模型，分离音频信号为鼾声段和非鼾声段，计算打鼾时长占比；

特征向量计算模块103，用于将音频信号的梅尔频谱特征输入人工智能语音模型中，人工智能语音模型计算并输出声音特征向量；

疲劳等级计算模块104，用于获取睡眠总时长，将打鼾时长占比、声音特征向量和睡眠总时长输入到机器学习分类器中，输出疲劳等级。

参见图2和图3，该方法具体包括以下步骤；

步骤201：获取睡眠时的音频信号；

步骤202：计算音频信号的梅尔频谱特征，结合高斯混合模型，分离音频信号为鼾声段和非鼾声段，计算打鼾时长占比f1；

步骤203：将音频信号的梅尔频谱特征输入人工智能语音模型中，人工智能语音模型计算并输出声音特征向量f2；

步骤204：获取睡眠总时长f3，将打鼾时长占比f1、声音特征向量f2和睡眠总时长f3输入到机器学习分类器中，输出疲劳等级。

其中，人工智能(ai)语音模型为训练好的深度网络或卷积神经网络，将音频信号的梅尔频谱特征输入到人工智能(ai)语音模型中，人工智能(ai)语音模型涉及到人工智能(ai)算法预学习/训练、深度网络、卷积神经网络等，通过该模型，经过至少三次卷积层和池化激活处理，变为全连接层，获取用于判断疲劳程度的声音特征向量f2。

计算音频信号的梅尔频谱特征，具体包括以下步骤；

①去除音频信号的环境噪声，保留呼吸声和打鼾声；

②对音频信号依次进行预加重、加汉宁窗、快速傅里叶变换、取功率谱、加梅尔滤波器组和均值归一化处理，得到梅尔频谱特征。

计算音频信号的梅尔频谱特征，具体包括以下公式；

①预加重的计算公式为：

y(n)＝x(n)-αx(n-1)

其中，0≤n≤n-1是采样点序号，n为样本点个数，x(n)是原始音频序列，y(n)是预加重后的音频序列，滤波器系数α的取值为0.95或0.97。

②加汉宁窗的计算公式为：

其中，0≤n≤n-1是采样点序号，n是窗口的长度，w[n]是汉宁窗函数。

③快速傅里叶变换的计算公式为：

其中，0≤n≤n-1是采样点序号，n为样本点个数，1≤k≤k是频率索引，j是虚数单位,k表示fft的频率点个数，w[n]是汉宁窗函数，x[n]是原始音频序列，x[k]是经过快速傅里叶变换之后的序列。

④取功率谱的计算公式为：

其中，xi是第i帧，n为样本点个数，p是对应的功率，fft(xi)是对第i帧序列进行快速傅里叶变换后的序列。

⑤加梅尔滤波器组的计算公式为：

其中，f(·)是梅尔滤波函数，1≤k≤n-1是音频序列索引，1≤m≤m是梅尔滤波器个数索引，m是梅尔滤波器个数，n是样本点个数。

计算打鼾时长占比f1，具体包括以下公式；

①高斯混合模型为：

其中，d为数据维度，μ为数据均值，σ为协方差矩阵，θ是高斯混合模型的参数，x是样本，p(x|θ)是在给定参数θ的条件下的样本x的分布函数，|σ|是协方差矩阵σ的行列式，σ^-1是协方差矩阵σ的逆，(x-μ)^t是矩阵(x-μ)的转置。

结合高斯混合模型，对每个样本点返回一个0或1的标签，标签1为鼾声段，标签0为非鼾声段；

②打鼾时长占比f1公式：

tsnore为打鼾时长，f3为睡眠总时长。

本申请实施例的疲劳程度分为不疲劳、轻度疲劳、中度疲劳、重度疲劳和极度疲劳；疲劳等级分为1、2、3、4和5；其中：

不疲劳对应的疲劳等级为1；

轻度疲劳对应的疲劳等级为2；

中度疲劳对应的疲劳等级为3；

重度疲劳对应的疲劳等级为4；

极度疲劳对应的疲劳等级为5。

本申请实施例还提供一种与前述实施方式所提供的基于睡眠声音信号的疲劳评估方法对应的电子设备，以执行基于睡眠声音信号的疲劳评估方法。本申请实施例不做限定。

参见图4，其示出了本申请实施例所提供的电子设备的示意图。电子设备包括：处理器301，存储器302，总线303和通信接口304，处理器301、通信接口304和存储器302通过总线303连接；存储器302中存储可在处理器301上运行的计算机程序，处理器301运行计算机程序时执行本申请前述实施例所提供的基于睡眠声音信号的疲劳评估方法。

其中，存储器302可能包含高速随机存取存储器(ram：randomaccessmemory)，也可能还包括非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。通过至少一个通信接口304(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。

总线303可以是isa总线、pci总线或eisa总线等。总线可以分为地址总线、数据总线、控制总线等。其中，存储器302用于存储程序，处理器301在接收到执行指令后，执行程序，前述本申请实施例揭示的基于睡眠声音信号的疲劳评估方法可以应用于处理器301中，或者由处理器301实现。

处理器301可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器301中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器301可以是通用处理器，包括中央处理器(centralprocessingunit，简称cpu)、网络处理器(networkprocessor，简称np)等；还可以是数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器302，处理器301读取存储器302中的信息，结合其硬件完成上述方法的步骤。

本申请实施例提供的电子设备与本申请实施例提供的基于睡眠声音信号的疲劳评估方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。

参见图5，本申请实施例还提供一种与前述实施例所提供的基于睡眠声音信号的疲劳评估方法对应的计算机可读存储介质，其示出的计算机可读存储介质为光盘，其上存储有计算机程序(即程序产品)，计算机程序在被处理器运行时，会执行前述实施例所提供的基于睡眠声音信号的疲劳评估方法。

需要说明的是，计算机可读存储介质的例子还可以包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。

本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的基于睡眠声音信号的疲劳评估方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。

本申请实施例通过获取睡眠时的音频信号，计算音频信号的梅尔频谱特征，结合高斯混合模型，分离音频信号为鼾声段和非鼾声段，计算打鼾时长占比，将音频信号的梅尔频谱特征输入人工智能语音模型中，人工智能语音模型计算并输出声音特征向量，获取睡眠总时长，将打鼾时长占比、声音特征向量和睡眠总时长输入到机器学习分类器中，输出疲劳等级，这种方法突破了传统疲劳评估方法的局限性，在不借助于多种医疗器械的基础上，能够客观准确的给出身体日常疲劳状态的评估，仅仅通过睡觉时音频的采集就可以实时监控身体疲劳状态，以便于用户及时的调整生活作息，保持身体健康，机器学习算法充分提取睡眠声音信号中的特征，构建的评估模型准确性较高，且有很强的泛化性。

需要说明的是：

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下示意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如上面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在上面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。