一种基于听觉大语言模型的肺音异常识别方法、装置、设备及介质与流程
本技术涉及人工智能与医学信号处理的,尤其是涉及一种基于听觉大语言模型的肺音异常识别方法、装置、设备及介质。
背景技术:
1、肺音听诊是呼吸系统疾病无创初筛的核心手段,但其临床判读高度依赖医师经验,存在主观性强、一致性差、培训周期长等问题。近年来,基于音频信号处理的计算机辅助肺音分析技术快速发展,主要分为三类主流路径:1.基于手工声学特征与传统分类器的方法:通过带通滤波、分帧、端点检测等预处理后提取特征,再输入支持向量机进行分类。该类方法特征工程固化,难以表征跨呼吸周期的动态听觉模式(如吸气末细湿啰音的时序规律性),且对心音、咳嗽、衣物摩擦等干扰成分鲁棒性差,易导致误判。2.基于时频图像与深度神经网络的方法:将肺音转换为梅尔声谱图等二维图像,输入cnn、resnet或transformer模型完成异常音或疾病分类。虽提升了局部纹理识别能力,但图像表示割裂了听诊的时间、空间以及生理相位三维结构,声谱图无法显式编码听诊位置,导致模型输出缺乏临床可追溯性。3.基于规则系统或多模态大模型的辅助分析方法:引入呼吸周期信息或专家规则库进行后处理推断,然而,通用模型缺乏医学听觉先验,易将声谱图纹理误判为病理特征,且其输出与底层音频证据间缺乏可验证的一致性约束,存在报告错误的问题。所以,如何准确地进行肺音异常识别成为了不容小觑的技术问题。
技术实现思路
1、有鉴于此,本技术的目的在于提供一种基于听觉大语言模型的肺音异常识别方法、装置、设备及介质,实现了肺音异常的精准定位、疾病风险的多源证据联合判别以及知识一致性强约束下的自然语言报告生成,显著提升了肺音异常识别的准确性。
2、本技术实施例提供了一种基于听觉大语言模型的肺音异常识别方法,所述肺音异常识别方法包括:
3、获取预先采集并存储的、多个预设听诊位置对应的肺音时域信号,并对所述肺音时域信号执行周期切分,得到标注有听诊位置标签和呼吸相标签的肺音片段;
4、对各所述肺音片段进行特征对齐处理,确定出医学听觉标记序列;
5、将所述医学听觉标记序列、目标对象的结构化临床信息、医学指令模板和医学知识片段输入听觉大语言模型进行深层语义推理得到隐状态表征序列;
6、基于所述隐状态表征序列生成异常肺音类别、异常时间段、候选疾病类别和风险等级,并生成知识一致性约束的自然语言分析报告。
7、在一种可能的实施方式之中,所述对各所述肺音片段进行特征对齐处理,确定出医学听觉标记序列,包括:
8、将所述肺音片段输入至听觉编码器得到声学嵌入向量,基于所述肺音片段中的异常因素构建片段质量权重;
9、将所述声学嵌入向量、听诊位置标签、呼吸相标签以及所述片段质量权重输入至肺音适配模块,生成具有统一维度尺度的医学听觉标记;其中,所述肺音适配模块为包含交叉注意力机制的可学习神经网络模块;
10、将各所述医学听觉标记依据采集时间的先后顺序和听诊位置的预设排列顺序组合,生成所述医学听觉标记序列。
11、在一种可能的实施方式之中,通过以下方式确定出所述异常肺音类别以及所述异常时间段:
12、定义包括正常呼吸音和多个异常肺音标签在内的预设肺音标签空间;
13、计算各肺音片段属于所述预设肺音标签空间中各标签的概率分布,并将最大概率对应的标签确定为所述肺音片段的肺音标签;
14、当所述肺音标签为正常呼吸音以外的异常肺音标签且所述最大概率超过预设定位阈值时,将同一听诊位置、具有相同异常肺音标签的连续片段整合为异常时间段。
15、在一种可能的实施方式之中,通过以下步骤确定出所述候选疾病类别:
16、定义包含慢性阻塞性肺疾病、哮喘、肺炎、支气管炎、肺纤维化及正常状态在内的疾病标签;
17、对所述隐状态表征序列进行全局池化或聚合操作,得到全局表征向量,并通过疾病基础分类头生成疾病基础概率分布;
18、获取预构建的医学关联强度矩阵;其中,所述医学关联强度矩阵用于表征各异常肺音标签与各疾病标签之间的医学关联强度;
19、利用各肺音片段的概率分布、片段质量权重以及所述医学关联强度对所述疾病基础概率分布进行知识重评分,将重评分值最高的疾病标签确定为所述候选疾病类别。
20、在一种可能的实施方式之中,通过以下公式进行知识重评分:
21、
22、其中,为疾病标签的重评分值,为疾病标签的疾病基础概率值,为常数,为异常肺音知识关联项的权重,为疾病知识一致性项的权重,为片段质量权重,为第个肺音片段属于异常肺音标签的概率分布,为异常肺音标签与疾病标签的医学关联强度,表示疾病标签与结构化临床信息及医学知识片段的一致性评分,为听诊位置数量,为第个位置的肺音片段数量,为异常肺音标签数量。
23、在一种可能的实施方式之中,通过以下步骤确定出所述风险等级:
24、定义包含低风险、中风险、高风险和需人工复核的风险等级空间;
25、通过预设的可学习的风险分类头根据候选疾病类别对应的重评分分值、异常时间段所覆盖的范围及严重程度、以及所述结构化临床信息中的关键词,映射输出目标对象的风险等级。
26、在一种可能的实施方式之中,所述肺音异常识别方法还包括:
27、使用多任务训练目标训练所述听觉大语言模型的参数,或者在冻结听觉大语言模型主体参数的条件下训练轻量适配参数。
28、本技术实施例还提供了一种基于听觉大语言模型的肺音异常识别装置,所述肺音异常识别装置包括:
29、预处理模块,用于获取预先采集并存储的、多个预设听诊位置对应的肺音时域信号,并对所述肺音时域信号执行周期切分,得到标注有听诊位置标签和呼吸相标签的肺音片段;
30、多模态特征对齐模块,用于对各所述肺音片段进行特征对齐处理,确定出医学听觉标记序列;
31、医学语义推理模块,用于将所述医学听觉标记序列、目标对象的结构化临床信息、医学指令模板和医学知识片段输入听觉大语言模型进行深层语义推理得到隐状态表征序列;
32、多任务联合输出模块,用于基于所述隐状态表征序列生成异常肺音类别、异常时间段、候选疾病类别和风险等级,并生成知识一致性约束的自然语言分析报告。
33、本技术实施例还提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如上述的基于听觉大语言模型的肺音异常识别方法的步骤。
34、本技术实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如上述的基于听觉大语言模型的肺音异常识别方法的步骤。
35、本技术实施例提供的一种基于听觉大语言模型的肺音异常识别方法、装置、设备及介质,所述肺音异常识别方法包括:获取预先采集并存储的、多个预设听诊位置对应的肺音时域信号,并对所述肺音时域信号执行周期切分,得到标注有听诊位置标签和呼吸相标签的肺音片段;对各所述肺音片段进行特征对齐处理,确定出医学听觉标记序列;将所述医学听觉标记序列、目标对象的结构化临床信息、医学指令模板和医学知识片段输入听觉大语言模型进行深层语义推理得到隐状态表征序列;基于所述隐状态表征序列生成异常肺音类别、异常时间段、候选疾病类别和风险等级,并生成知识一致性约束的自然语言分析报告。实现了肺音异常的精准定位、疾病风险的多源证据联合判别以及知识一致性强约束下的自然语言报告生成,显著提升了肺音异常识别的准确性。
36、为使本技术的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com