一种基于声音生物标志物的早期筛查与诊断方法及装置

技术特征：
1.一种基于声音生物标志物的早期筛查与诊断方法，其特征在于，包括：获取新冠阳性患者以及新冠阴性人群传达出的音频数据，包括语音数据、咳嗽数据以及呼吸数据；采用梅尔谱图表示法对所述音频数据进行处理，将所述音频数据转化为二维的梅尔谱图；对于每种类型的梅尔谱图，根据类型将其分别送入预先通过残差深度学习网络训练和学习构建的咳嗽网、语音网和呼吸网中，进行病理特征选择和covid风险预测；将所述语音网、咳嗽网以及呼吸网的预测结果进行融合，获取最终决策结果。2.根据权利要求1所述的基于声音生物标志物的早期筛查与诊断方法，其特征在于，按照设定比率采集新冠肺炎受试者和健康受试者的音频样本，作为音频数据。3.根据权利要求1所述的基于声音生物标志物的早期筛查与诊断方法，其特征在于，采用数据增强方法对所述音频数据进行数据增强，具体包括：对每个音频数据对应的音频样本进行处理，按照设定的时移滚动基准，模拟音频流中不同的信号窗口位置；保持持续时间不变，降低或提高音频信号的音高，完成数据增强操作。4.根据权利要求1所述的基于声音生物标志物的早期筛查与诊断方法，其特征在于，对所述音频数据进行噪声或异常值处理，获取减少泛化误差的音频数据，包括：在保持标签不变的情况下，对所述音频数据对应的音频信号中注入高斯噪声或异常值，获取减少泛化误差的音频数据。5.根据权利要求1所述的基于声音生物标志物的早期筛查与诊断方法，其特征在于，采用梅尔谱图表示法对所述音频数据进行处理，将所述音频数据转化为二维梅尔谱图，包括：将所述音频数据划分为多个片段，对每个片段执行快速傅立叶变换，获取可在时域和频域上呈现的音频数据；在每个分段上采用窗口函数将所述可在时域和频域上呈现的音频数据分割成一系列小窗口；将所述小窗口中的音频数据通过梅尔谱图表示法转换为二维梅尔谱图。6.根据权利要求1所述的基于声音生物标志物的早期筛查与诊断方法，其特征在于，所述咳嗽网、语音网和呼吸网均包含一个输入块和残差块，每个残差块有2个卷积层，每次卷积后进行批处理归一化，残差块之间采用快捷连接和下采样。7.根据权利要求1所述的基于声音生物标志物的早期筛查与诊断方法，其特征在于，将所述残差深度学习网络训练学习到的权值应用到每个最终卷积通道的每个元素，然后沿着通道平均，生成一个激活图；将激活图与原始梅尔谱图叠加起来进行可视化和分析，以确定梅尔谱图的哪个时频区域对最终covid预测贡献最大。8.一种基于声音生物标志物的早期筛查与诊断装置，其特征在于，包括：数据获取模块，用于获取新冠阳性患者以及新冠阴性人群传达出的音频数据，包括语音数据、咳嗽数据以及呼吸数据；处理模块，用于采用梅尔谱图表示法对所述音频数据进行处理，将所述音频数据转化为二维的梅尔谱图；
预测模块，用于对于每种类型的梅尔谱图，根据类型将其分别送入预先通过残差深度学习网络训练和学习构建的咳嗽网、语音网和呼吸网中，进行病理特征选择和covid风险预测；融合模块，用于将所述语音网、咳嗽网以及呼吸网的预测结果进行融合，获取最终决策结果。9.一种基于声音生物标志物的早期筛查与诊断装置，其特征在于：包括处理器及存储介质；所述存储介质用于存储指令；所述处理器用于根据所述指令进行操作以执行根据权利要求1～7任一项所述方法的步骤。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现权利要求1～7任一项所述方法的步骤。

技术总结
本发明公开了一种基于声音生物标志物的早期筛查与诊断方法及装置，所述方法包括获取新冠阳性患者以及新冠阴性人群传达出的音频数据，包括语音数据、咳嗽数据以及呼吸数据；采用梅尔谱图表示法对所述音频数据进行处理，将所述音频数据转化为二维的梅尔谱图；对于每种类型的梅尔谱图，根据类型将其分别送入咳嗽网、语音网和呼吸网中，进行病理特征选择和COVID风险预测；将所述语音网、咳嗽网以及呼吸网的预测结果进行融合，获取最终决策结果，本发明探索了一个准确的和可解释的新冠肺炎的数字声学生物标记方法，利用医疗大数据算法，机器学习的能力，设计基于人类语音、咳嗽和呼吸数据的新冠肺炎诊断方法。吸数据的新冠肺炎诊断方法。吸数据的新冠肺炎诊断方法。


技术研发人员：黄名畯 李勤
受保护的技术使用者：昆山杜克大学
技术研发日：2022.10.31
技术公布日：2023/2/3