一种基于多轮问诊对话与舌象面象图像多模态融合的中医体质智能辨识方法及系统与流程

本发明涉及数字医疗与人工智能，具体涉及一种基于多轮问诊对话与舌象面象图像多模态融合的中医体质智能辨识方法及系统。

背景技术：

1、中医体质辨识是中医“治未病”理论体系的基础环节，其通过综合用户的症状表现、舌象、面象等信息，判定用户所属的体质类型，进而指导个性化的养生调理。传统的体质辨识主要依赖医师当面问诊与目视观察，存在以下问题：其一，辨识结果高度依赖医师个人经验，主观性强、一致性差；其二，问诊、望诊信息由医师人工记录与综合，效率低、难以规模化；其三，用户必须到线下就诊，时间与地域成本高。

2、随着人工智能技术的发展，出现了一些基于单一数据源的自动化辨识方案，例如仅基于问诊问卷的体质判定，或仅基于舌象图像的分类。然而，单一模态的信息量有限：仅依赖问卷文本时，用户的自我描述存在主观偏差与表述不完整的问题；仅依赖舌象或面象图像时，又缺少对整体功能状态的综合把握。此外，现有方案普遍将体质辨识与后续调理方案生成割裂，辨识结果无法直接驱动个性化方案的自动生成与执行跟踪，难以形成完整的闭环服务。

3、因此，亟需一种能够融合多轮问诊对话、舌象图像与面象图像多种模态信息、且能够自动生成并跟踪执行个性化调理方案的中医体质智能辨识技术。

技术实现思路

1、针对现有技术的上述不足，本发明的目的在于提供一种基于多轮问诊对话与舌象面象图像多模态融合的中医体质智能辨识方法及系统，通过问答状态机驱动的多轮问诊、舌象与面象图像特征提取、跨模态注意力融合与体质辨识模型的结合，提升体质辨识的准确性与一致性，并实现辨识结果到个性化调理方案的自动生成与执行闭环。

2、为实现上述目的，本发明第一方面提供一种基于多轮问诊对话与舌象面象图像多模态融合的中医体质智能辨识方法，包括：通过人机多轮问诊交互采集问诊对话文本，问答状态机在信息量不足时保持收集状态并动态生成追问问题，信息量充足时转换为就绪状态；采集舌象图像与面象图像，经光照归一化与感兴趣区域分割后提取舌象特征与面象特征；将问诊文本、舌象特征、面象特征分别编码为向量后输入多模态融合模块，通过跨模态注意力机制计算融合权重得到融合特征向量；将融合特征向量输入体质辨识模型，输出多种中医体质类型的概率分布并确定辨识结果；根据辨识结果检索调理方案知识库，生成个性化调理方案。

3、进一步地，问诊状态机维护已收集症状条目列表与问诊轮次计数，针对寒热、汗出、饮食、睡眠、二便、情志等缺失信息维度生成追问问题，保证问诊信息的结构化与完整性。

4、进一步地，舌象图像处理包括颜色空间转换、阈值分割、形态学处理与舌体四分区（舌尖、舌中、舌根、舌边）颜色统计特征提取，模拟中医舌诊的分区望诊逻辑。

5、进一步地，跨模态注意力机制以问诊文本向量作为查询向量，动态平衡文本模态与图像模态的贡献；当问诊轮次较少、文本信息量不足时，自动提升图像模态权重，保证辨识稳定性。

6、进一步地，调理方案知识库基于向量数据库构建，检索时以融合特征向量与体质辨识结果构造检索请求，生成包含饮食调理、起居调摄、运动导引与情志调适条目的方案；方案进一步拆解为携带执行时段与提醒策略的每日任务清单，通过打卡完成度数据反馈实现方案的动态调整，形成辨识—方案—执行—反馈的完整闭环。

7、本发明第二方面提供一种基于多轮问诊对话与舌象面象图像多模态融合的中医体质智能辨识系统，包括问诊交互模块、图像采集与预处理模块、多模态特征提取模块、多模态融合模块、体质辨识模块与方案生成模块，还可包括流式传输模块与打卡调度模块。

8、本发明第三方面提供一种计算机可读存储介质，其上存储的计算机程序被处理器执行时实现上述方法。

9、与现有技术相比，本发明的有益效果包括：（1）通过问诊文本、舌象、面象三种模态的融合辨识，克服单一模态信息量有限与主观偏差的问题，提升体质辨识的准确率与一致性；（2）问答状态机驱动的动态追问机制保证问诊信息覆盖关键症状维度，且问诊轮次自适应，避免冗余问答；（3）跨模态注意力机制能够根据各模态实际信息量动态调整融合权重，在图像质量欠佳或问诊信息不足时仍能保持稳定输出；（4）辨识结果直接驱动调理方案的自动生成、任务拆解与打卡跟踪，形成完整闭环，提升方案的可执行性与用户依从性。

1.一种基于多轮问诊对话与舌象面象图像多模态融合的中医体质智能辨识方法，其特征在于，包括以下步骤：步骤s1，通过人机多轮问诊交互采集用户的问诊对话文本，所述问诊对话文本由问答状态机驱动生成，所述问答状态机在问诊信息量未达到预设阈值时保持收集状态并动态生成追问问题，在问诊信息量达到预设阈值时转换为就绪状态；步骤s2，采集用户的舌象图像与面象图像，对所述舌象图像与面象图像分别进行光照归一化与感兴趣区域分割，提取舌象特征与面象特征，所述舌象特征包括舌质颜色特征、舌苔厚度与覆盖度特征、舌体形态与裂纹特征，所述面象特征包括面色分区颜色特征、光泽度特征与面部纹理特征；步骤s3，对所述问诊对话文本进行编码得到问诊文本向量，对所述舌象特征与面象特征分别进行编码得到舌象向量与面象向量；步骤s4，将所述问诊文本向量、舌象向量与面象向量输入多模态融合模块，通过跨模态注意力机制计算各模态的融合权重，得到融合特征向量；步骤s5，将所述融合特征向量输入体质辨识模型，输出用户在预设的多种中医体质类型上的概率分布，并根据所述概率分布确定用户的中医体质辨识结果；步骤s6，根据所述中医体质辨识结果检索调理方案知识库，生成与用户体质相匹配的个性化调理方案。

2.根据权利要求1所述的方法，其特征在于，所述步骤s1中，所述问答状态机维护已收集症状条目列表与问诊轮次计数，当已收集症状条目数量达到预设下限且问诊轮次达到预设轮数时，将状态由收集状态转换为就绪状态；在收集状态下，根据已收集症状条目生成针对缺失信息维度的追问问题，所述缺失信息维度包括寒热、汗出、饮食、睡眠、二便与情志维度中的至少一种。

3.根据权利要求1所述的方法，其特征在于，所述步骤s2中，对舌象图像进行舌体轮廓分割具体包括：对舌象图像进行颜色空间转换，在预设颜色空间中根据舌体与背景的颜色分布差异进行阈值分割，得到舌体掩膜；对所述舌体掩膜进行形态学闭运算与边缘平滑处理，提取舌体区域；将舌体区域划分为舌尖、舌中、舌根与舌边四个分区，分别提取各分区的颜色统计特征作为舌质颜色特征。

4.根据权利要求1所述的方法，其特征在于，所述步骤s4中，所述跨模态注意力机制的计算过程为：以问诊文本向量作为查询向量，分别以舌象向量与面象向量作为键值对计算注意力得分；根据注意力得分确定问诊文本模态、舌象模态与面象模态三者的融合权重；当问诊轮次较少导致问诊文本向量信息量低于预设阈值时，自动提升舌象模态与面象模态的融合权重。

5.根据权利要求1所述的方法，其特征在于，所述步骤s5中，所述体质辨识模型为以标注体质样本训练得到的分类模型，所述体质类型包括平和质、气虚质、阳虚质、阴虚质、痰湿质、湿热质、血瘀质、气郁质与特禀质九种体质类型；所述确定用户的中医体质辨识结果包括：将概率最高的体质类型判定为主体质，将概率超过预设阈值的其余体质类型判定为兼夹体质。

6.根据权利要求1所述的方法，其特征在于，所述步骤s6中，所述调理方案知识库以向量数据库实现，其中存储有以体质类型、症状条目与调理条目构建的向量化知识条目；生成个性化调理方案时，以所述融合特征向量与体质辨识结果构造检索请求，在所述向量数据库中检索相似知识条目，并根据检索结果生成包含饮食调理、起居调摄、运动导引与情志调适条目的调理方案。

7.根据权利要求6所述的方法，其特征在于，还包括方案执行闭环步骤：将所述个性化调理方案按周期拆解为每日任务清单，所述每日任务清单携带任务类型、执行时段与提醒策略；监测用户对每日任务的打卡完成情况，生成完成度数据；将所述完成度数据反馈至体质辨识模型与调理方案生成过程，用于动态调整后续调理方案。

8.一种基于多轮问诊对话与舌象面象图像多模态融合的中医体质智能辨识系统，其特征在于，包括：问诊交互模块，用于通过人机多轮问诊交互采集用户的问诊对话文本，并基于问答状态机控制问诊流程的收集状态与就绪状态之间的转换；图像采集与预处理模块，用于采集用户的舌象图像与面象图像，并进行光照归一化与感兴趣区域分割；多模态特征提取模块，用于提取问诊文本向量、舌象向量与面象向量；多模态融合模块，用于通过跨模态注意力机制计算各模态融合权重并得到融合特征向量；体质辨识模块，用于将所述融合特征向量输入体质辨识模型，输出多种中医体质类型上的概率分布并确定辨识结果；方案生成模块，用于根据辨识结果检索调理方案知识库并生成个性化调理方案。

9.根据权利要求8所述的系统，其特征在于，还包括流式传输模块，用于在问诊交互过程中以服务器推送事件方式逐增量地传输问答内容，并对超文本传输协议流、分块传输编码流与原生网络请求流进行运行时自适应选择。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。