一种基于跨模态注意力机制的四诊信息自适应融合辨证系统的制作方法
本发明涉及人工智能与中医诊断交叉,尤其是涉及一种基于跨模态注意力机制的四诊信息自适应融合辨证系统。
背景技术:
1、中医"望闻问切"四诊合参是中医辨证论治的核心方法与根本特征。所谓"四诊合参",是指医者综合运用望诊(观察舌象、面色、形态、神态)、闻诊(听辨语声、气息)、问诊(询问症状、病史、饮食起居)、切诊(触按脉象)四种诊法所获取的临床信息,通过相互印证、相互补充、综合分析,最终得出病机与证候结论。然而,传统四诊合参高度依赖医师个人的临床经验,存在主观性强、标准化程度低、可重复性差、难以规模化推广等突出问题。随着深度老龄化加速,专业中医人才在社区、基层、养老、银发等场景严重短缺,无法实现标准化、规模化、高质量的辨证服务,迫切需要通过人工智能技术将中医四诊合参过程数字化、客观化、智能化。
2、针对上述问题,现有技术提出了若干基于人工智能的中医四诊智能诊断方案。
3、现有技术一,申请公布号为cn107242857a的中国发明专利申请,公开了一种基于深度学习的智能中医综合诊疗系统,其包括望诊采集子系统、闻诊采集子系统、问诊采集子系统、脉诊采集子系统以及辨证分析子系统。该方案实现了望、闻、问、切四诊信息的数字化采集,并通过深度学习对各子系统采集的信息分别进行处理。然而,该方案中各子系统相对独立,四诊信息之间缺乏有效的深度融合机制,仅能对各模态信息进行孤立分析,未能真正实现四诊信息在特征层面的协同交互与交叉印证,无法还原中医"四诊合参、司外揣内"的辨证逻辑,辨证精度与鲁棒性受限。
4、现有技术二,申请公布号为cn117334324a的中国发明专利申请,公开了一种四诊信息融合先验知识的中医辨证分析方法及装置,其通过获取四诊数据集和辨证数据集,并对所述四诊数据集和辨证数据集进行融合,借助先验知识进行中医辨证分析。该方案虽然引入了四诊信息的融合思想,但其融合方式主要依赖先验知识的拼接、映射与浅层融合,未能充分挖掘四诊信息之间深层的、细粒度的跨模态语义关联,且未考虑不同模态数据在语义空间中的对齐关系,导致融合过程缺乏自适应能力,难以应对模态缺失与模态质量差异等真实采集场景中的常见问题。
5、现有技术三,申请公布号为cn119169656a的中国发明专利申请,公开了一种基于脉象和舌象多模态特征的中医体质辨识方法及装置,其通过获取不同中医体质个体的原始脉象信号和舌象图像,进行预处理并提取特征后进行融合,实现中医体质辨识。该方案将脉象与舌象两种模态进行融合,相较于单模态方案有所进步,但其仅利用脉象与舌象两种模态,忽略了面诊、闻诊、问诊等其余四诊信息,信息利用不充分;同时,该方案未引入跨模态注意力交互机制,且缺乏面向模态缺失、模态噪声与模态冲突的自适应融合能力,当某一模态缺失或采集质量较差时,辨识结果的准确性与稳定性显著退化。
6、现有技术四,申请公布号为cn116543891a的中国发明专利申请,公开了一种基于融合舌象特征及简化量表的中医体质分析系统、方法、终端及介质,其通过融合舌象图像特征与简化版中医体质量表信息实现体质分析。该方案同样局限于舌象与量表两种信息源,模态覆盖不完整,且融合方式为传统的特征拼接或浅层融合,缺乏跨模态的深度交互与自适应加权机制。
7、现有技术五,申请公布号为cn115512110a的中国发明专利申请,公开了一种涉及跨模态注意力机制的医学图像肿瘤分割方法,其通过将跨模态注意力机制用于正电子发射型计算机断层显像pet图像与电子计算机断层扫描ct图像的交互,实现肿瘤的精准分割。该方案虽然将跨模态注意力机制成功应用于西医医学影像的跨模态交互,但其应用场景局限于pet与ct两种同属图像模态的医学影像分割,并未涉及中医四诊信息这一同时包含图像(舌象、面象)、时序信号(脉象)、语音(闻诊)与文本(问诊)的异构多模态场景;同时,该方案不具备面向模态缺失、模态质量差异与模态冲突的自适应融合能力,也未建立跨模态交互与中医病机之间的可解释映射关系。
8、综上,现有技术在中医四诊信息智能化融合辨证方面主要存在以下技术缺陷:其一,四诊信息融合方式多为简单的特征拼接、先验知识映射或浅层融合,缺乏基于跨模态注意力机制的细粒度交互对齐能力,难以充分挖掘舌象、面象、脉象、闻诊、问诊等异构模态之间的深层次、互补性语义关联,无法有效还原中医"四诊合参、司外揣内"的辨证内在逻辑;其二,现有融合方案普遍缺乏自适应能力,无法根据各模态的采集质量、置信度与完整度动态调整融合权重,在模态缺失、模态质量差异、模态信息冲突等真实采集场景中鲁棒性不足;其三,现有方案的可解释性较差,无法将跨模态融合过程中的注意力权重与中医病机、证候形成直观对应,难以满足临床审慎性与辅助决策的信任要求;其四,跨模态注意力机制虽在西医医学影像融合中有所应用,但尚未被有效迁移至中医四诊这一异构多模态辨证场景。
9、因此,如何将跨模态注意力机制与自适应融合技术有效引入中医四诊信息的智能化融合辨证过程,在充分挖掘四诊异构模态深层关联的同时,实现面向模态缺失与质量差异的自适应鲁棒融合,并提供可解释的辨证结果,成为本领域亟待解决的技术问题。
技术实现思路
1、针对现有技术存在的不足,本发明的目的是提供一种基于跨模态注意力机制的四诊信息自适应融合辨证系统,本发明旨在解决现有技术中中医四诊信息智能化融合辨证所存在的如下技术问题:四诊异构模态信息之间缺乏基于跨模态注意力机制的细粒度交互对齐,融合方式浅层化,无法充分还原中医"四诊合参、司外揣内"的辨证逻辑;融合过程缺乏自适应能力,难以应对模态缺失、模态质量差异与模态信息冲突等真实采集场景;辨证结果的可解释性不足,无法将融合过程与中医病机形成直观对应。
2、本发明的上述发明目的是通过以下技术方案得以实现的:
3、一种基于跨模态注意力机制的四诊信息自适应融合辨证系统,所述系统包括四诊信息采集模块、单模态特征编码模块、跨模态注意力融合模块、自适应门控融合模块以及辨证输出模块。
4、所述四诊信息采集模块,用于采集被测对象的四诊信息,所述四诊信息至少包括望诊信息、闻诊信息、问诊信息与切诊信息四类模态数据;其中,所述望诊信息包括舌象图像与面象图像,所述闻诊信息包括语音信号,所述问诊信息包括结构化问答文本,所述切诊信息包括脉象时序信号。
5、所述单模态特征编码模块,用于对所述四诊信息中的每一类模态数据分别进行特征编码,得到各模态对应的单模态特征向量;所述单模态特征编码模块包括舌象特征编码器、面象特征编码器、脉象特征编码器、问诊特征编码器与闻诊特征编码器。
6、所述跨模态注意力融合模块,用于将各模态的单模态特征向量投影至统一特征空间,并以可学习的辨证中心向量作为查询向量,以各模态的单模态特征向量作为键向量与值向量,进行多头跨模态注意力运算,得到各模态对应的跨模态增强特征向量。
7、所述自适应门控融合模块,用于根据各模态的采集质量信息与特征置信度计算各模态的自适应门控权重,并依据所述自适应门控权重对各模态的跨模态增强特征向量进行加权融合,得到全局辨证特征向量;其中,当任一模态数据缺失时,以可学习的占位向量替代该缺失模态的特征,并将该缺失模态对应的自适应门控权重约束趋近于零。
8、所述辨证输出模块,用于根据所述全局辨证特征向量进行辨证分类,输出被测对象的体质类型与证候类型,并输出用于表征各模态对辨证结果贡献程度的可解释性权重。
9、进一步地,所述跨模态注意力融合模块中,所述多头跨模态注意力运算包括:以所述辨证中心向量经查询投影得到的查询矩阵,与各模态的单模态特征向量经键投影得到的键矩阵进行点积并缩放后经归一化,得到跨模态注意力权重矩阵;以所述跨模态注意力权重矩阵与各模态的单模态特征向量经值投影得到的值矩阵进行加权求和,得到各模态对应的跨模态增强特征向量;所述跨模态注意力融合模块还将不同模态之间的跨模态增强特征向量进行模态间交互注意力运算,以捕获模态间的互补信息。
10、进一步地,所述自适应门控融合模块中,各模态的自适应门控权重通过如下方式计算:将各模态的跨模态增强特征向量与对应的模态置信度向量进行拼接,经门控网络与激活函数映射后,再经归一化处理得到各模态的自适应门控权重;所述模态置信度向量根据该模态数据的采集质量指标、特征完整度指标与单模态分类置信度指标确定。
11、进一步地,当任一模态数据缺失时,所述自适应门控融合模块将该缺失模态对应的跨模态增强特征向量替换为可学习的占位向量,并在训练过程中对所述缺失模态对应的自适应门控权重施加稀疏性正则化约束,使所述权重趋近于零,从而抑制缺失模态对全局辨证特征向量的干扰。
12、进一步地,所述辨证输出模块还用于:根据所述跨模态注意力融合模块输出的跨模态注意力权重矩阵,生成各模态到各证候类型的注意力贡献热力映射,并将所述注意力贡献热力映射与预先构建的中医病机知识图谱进行关联,输出用于解释辨证结果的病机可解释性描述。
13、进一步地,所述舌象特征编码器用于对舌象图像依次进行舌体分割与舌苔分离处理,并提取包括舌色、苔色、舌形、舌质、剥苔、腐腻苔、紫舌、裂纹、胖大、齿痕在内的多维舌象特征;所述脉象特征编码器用于对脉象时序信号进行寸、关、尺三段分位处理,分别提取轻取、中取、重取三种取脉压力下的脉象特征,并据此输出单脉象与相兼脉象特征。
14、进一步地,所述面象特征编码器用于提取包括面色、形态、眼色、唇色在内的面象特征,并在ciexyy色域空间中对面部肤色进行色阶分布分析;所述问诊特征编码器用于对结构化问答文本进行语义编码,提取症状与病史相关的语义特征。
15、进一步地,所述辨证输出模块输出被测对象的九种体质类型,所述九种体质类型包括平和质、气虚质、阳虚质、阴虚质、痰湿质、湿热质、血瘀质、气郁质与特禀质;所述证候类型包括基于脏腑辨证的脏腑证候结论。
16、进一步地,所述系统还包括模型训练模块,所述模型训练模块用于以样本四诊信息及其对应的体质类型标签与证候类型标签构建训练集,并以辨证分类损失、模态一致性损失与注意力稀疏性正则项构成联合损失函数,对所述单模态特征编码模块、跨模态注意力融合模块、自适应门控融合模块与辨证输出模块进行端到端联合训练。
17、本发明相对于现有技术的核心区别技术特征及其技术贡献在于:其一,与现有技术一(cn107242857a)中各四诊子系统相互独立、缺乏深度融合相比,本发明通过跨模态注意力融合模块实现了四诊异构模态信息在统一特征空间中的细粒度交互对齐,使舌象、面象、脉象、闻诊、问诊五类模态特征能够围绕辨证中心向量进行交叉印证,真正还原了中医"四诊合参"的辨证逻辑;其二,与现有技术二(cn117334324a)依赖先验知识进行浅层拼接融合、现有技术四(cn116543891a)采用传统特征拼接融合相比,本发明以可学习的辨证中心向量作为查询、以各模态特征作为键与值的多头跨模态注意力机制,能够自动学习各模态内部特征维度对辨证结果的重要性分布,而非依赖人工设定的先验映射规则,融合方式更深层、更细粒度;其三,与现有技术三(cn119169656a)仅利用脉象与舌象两种模态且缺乏自适应能力相比,本发明覆盖望、闻、问、切四类共五种模态信息,并通过自适应门控融合模块根据各模态的采集质量、特征置信度动态调整融合权重,能够有效应对模态缺失、模态质量差异与模态信息冲突等真实采集场景,鲁棒性显著提升;其四,与现有技术五(cn115512110a)将跨模态注意力仅用于pet与ct两种同质图像模态的肿瘤分割、未涉及中医四诊异构多模态场景且不具备可解释性映射相比,本发明将跨模态注意力机制首次应用于中医四诊这一同时包含图像、时序信号、语音与文本的异构多模态辨证场景,并通过病机可解释映射子模块建立了跨模态注意力权重与中医病机知识图谱之间的关联,使辨证结果具备可解释性。上述区别技术特征并非本领域技术人员在现有技术基础上的简单组合或常规改进,而是需要针对中医四诊异构多模态的语义空间对齐、模态缺失鲁棒处理与病机可解释映射等技术难题进行创造性劳动才能得到。
18、综上所述,与现有技术相比,本发明包括以下至少一种有益技术效果:
19、其一,本发明通过引入以可学习的辨证中心向量作为查询向量、以四诊异构模态特征作为键向量与值向量的多头跨模态注意力机制,实现了四诊信息在统一特征空间中的细粒度交互对齐,能够充分挖掘舌象、面象、脉象、闻诊、问诊等异构模态之间的深层次、互补性语义关联,有效还原了中医"四诊合参、司外揣内"的辨证内在逻辑,显著提升了辨证的准确性。
20、其二,本发明通过自适应门控融合模块,根据各模态的采集质量信息与特征置信度动态计算融合权重,实现了面向模态缺失、模态质量差异与模态信息冲突的自适应鲁棒融合;当某一模态缺失时,通过可学习占位向量与稀疏性正则化约束抑制其干扰,保证了系统在真实采集场景下的稳定性与可靠性。
21、其三,本发明通过将跨模态注意力权重与中医病机知识图谱进行关联,输出了辨证结果的可解释性描述,使得融合过程能够与中医病机形成直观对应,满足了中医临床辅助决策对审慎性与可信任性的要求。
22、其四,本发明实现了从四诊信息采集、单模态编码、跨模态注意力融合、自适应门控融合到辨证输出的全流程一体化,可部署于舌面仪、脉诊仪、智能终端等硬件平台,为社区、基层、养老、银发等场景提供标准化、可规模化的中医智能辨证服务。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com