基于推理链蒸馏的中医辨证多模态数据处理方法及系统

本发明涉及中医人工智能，具体涉及一种基于推理链蒸馏的中医辨证多模态数据处理方法及系统。

背景技术：

1、中医辨证论治是中医学的核心理论体系，名老中医的辨证思维是中医学传承的关键。在传统中医诊疗过程中，医生通过望、闻、问、切四诊合参获取患者信息，再经过病机分析、证型判定、治法确立和方药组织等多个推理阶段形成完整的辨证方案。这一过程高度依赖医生的临床经验和辨证思维能力，具有显著的个人化和隐性知识特征。

2、随着人工智能技术的发展，现有技术已就中医辨证的智能化作出了多方面探索。例如，专利cn118800406a公开了一种多模态中医临床辨识与诊疗数据的共享服务系统及方法，其获取包括病历文本、舌象图像、面部图像、脉象与音频记录在内的多模态中医临床数据，经数据清洗、标准化与特征提取后，采用特征级融合将不同模态的特征向量合并为一个统一的特征向量，再由多模态融合模型输出病理识别结果，并据此生成包含中药方剂在内的诊疗决策信息。专利cn109102882a公开了一种中医辩证论治系统，其将每个症状名称编码为包含病因、病位、病性、病势信息的量化码，经叠加得到主症量化码后进行辨证分型获得证型，再依据证型从数据库中查得治法与对应的中药处方，实现症至证至治至方至药的顺序推理。专利cn111611377a公开了一种基于知识蒸馏的多层神经网络语言模型训练方法与装置，其在教师模型与学生模型之间不仅对齐最终输出层的概率分布，还对齐嵌入层与各中间隐藏层的表示，并通过可学习的线性变换矩阵解决教师与学生隐藏维度不一致的问题，各层损失按权重系数加权求和作为蒸馏目标。

3、然而，上述现有技术存在以下技术瓶颈。第一，多模态融合权重与辨证结论相互脱节。以cn118800406a为代表的方案，各模态特征在融合环节即被赋予固定权重，融合层无法获知下游辨证结论，导致低质量或弱相关模态的误导性证据被持续放大。第二，多阶段辨证链一旦前段出错，后段只能将错就错。以cn109102882a为代表的方案，阶段间为确定性单向级联，不存在返回上游重新解析的通道，前段误提取沿链条一路传导，且回退在数学上无意义。第三，知识蒸馏无法迁移推理路径决策。以cn111611377a为代表的方案，可迁移的知识仅包含中间层表示与最终输出概率，而确定性推理链不存在动作空间，教师的路径决策无载体可供蒸馏，学生模型只能学到结论而学不到路径。此外，大型复杂模型参数量大、推理延迟高，无法满足基层医疗机构的实时部署需求；传统知识蒸馏仅关注最终输出对齐，导致学生模型无法复现辨证路径，且多阶段一次性蒸馏还容易导致灾难性遗忘。

技术实现思路

1、本发明提出了一种基于推理链蒸馏的中医辨证多模态数据处理方法及系统，解决了现有技术中多模态融合、多阶段推理与知识蒸馏三者相互割裂，下游辨证结论无法反作用于上游模态融合与阶段推理的问题。

2、为解决上述技术问题，本发明提供了一种基于推理链蒸馏的中医辨证多模态数据处理方法，包括以下步骤：

3、步骤s1：将预先采集并存储的四诊模态数据分别编码为四个模态投影向量，根据模态权重向量对四个模态投影向量进行加权求和，得到共享辨证特征向量；

4、步骤s2：将共享辨证特征向量分别输入教师模型与学生模型，所述教师模型与学生模型均包括多个推理阶段，各推理阶段的解码器根据上一阶段的隐藏状态与共享辨证特征向量生成本阶段的隐藏状态，各推理阶段的解码器以本阶段的隐藏状态为查询、以所述四个模态投影向量为键值进行交叉注意力，得到本阶段对所述四个模态投影向量的交叉注意力权重，根据本阶段的隐藏状态与所述交叉注意力权重，计算本阶段在前进、回退、终止三个动作上的转移概率分布；

5、步骤s3：当终止动作概率最大时，停止推理并输出已完成推理阶段的结构化辨证参考信息；当回退动作概率大于前进动作概率且回退次数未达上限时，根据本阶段的交叉注意力权重更新模态权重向量，重新计算共享辨证特征向量并自上一阶段重新执行推理；否则转移至下一阶段；

6、步骤s4：对齐教师模型与学生模型的转移概率分布，完成推理链蒸馏，由学生模型输出结构化辨证参考信息。

7、优选地，步骤s1中所述将四诊模态数据分别编码为模态投影向量，包括以下步骤：所述四诊模态数据包括望诊图像数据、闻诊语音数据、问诊文本数据和切诊脉象数据；所述编码为：通过模态编码器分别提取所述望诊图像数据、所述闻诊语音数据、所述问诊文本数据和所述切诊脉象数据的模态特征向量，将各所述模态特征向量映射至共享辨证特征空间并经跨模态语义对齐，得到四个所述模态投影向量；所述模态权重向量的各分量均为非负且和为1，所述模态权重向量在一次推理开始时的初始值为各模态等权，当所述四诊模态数据中存在缺失的模态数据时，将所缺失的模态数据所对应的分量置零后对其余分量重新归一化。

8、优选地，步骤s2中所述转移概率分布由门控函数输出，所述门控函数以本阶段的隐藏状态和本阶段的注意力累计量向量为输入，输出门控权重，所述注意力累计量向量的第

m个分量为本阶段的解码器的各注意力头、各解码器层对第

m个所述模态投影向量的交叉注意力权重求和所得的注意力累计量，所述门控权重经归一化后得到本阶段在前进、回退、终止三个动作上的所述转移概率分布；所述多个推理阶段为依次连接的四诊解析阶段、病机识别阶段、证型判定阶段、治法确立阶段和方药组织阶段；所述四诊解析阶段以所述共享辨证特征向量为输入，提取舌色特征、脉象特征、寒热特征、虚实特征和表里特征，得到辨证要素集合；所述病机识别阶段基于所述辨证要素集合计算病因、病位、病性和病势，输出病机概率分布向量；所述证型判定阶段基于所述病机识别阶段的隐藏状态，通过softmax分类器在预定义的证型集合中计算各证型的概率分布，将概率最高的证型作为证型判定结果；所述治法确立阶段基于所述证型判定结果和所述病机概率分布向量生成治法策略向量；所述方药组织阶段基于所述治法策略向量从方剂数据库中检索候选方剂信息，并根据个体差异参数对所述候选方剂信息进行加减调整，输出包括药味与剂量配比的方剂参考信息，所述方剂参考信息为待临床医师审核的候选信息。

9、优选地，步骤s2中所述门控函数还以本阶段输出分布的归一化熵作为输入；所述结构化辨证参考信息包括待补充模态数据的提示信息，所述待补充模态数据为本阶段的注意力累计量最低的模态所对应的模态数据，所述注意力累计量为本阶段的解码器的各注意力头、各解码器层对相应模态投影向量的交叉注意力权重求和所得的量；所述多个推理阶段中的第一个推理阶段的回退动作的概率置零后，对其余动作的概率重新归一化。

10、优选地，步骤s3中根据所述交叉注意力权重更新所述模态权重向量，包括以下步骤：将本阶段的解码器的各注意力头、各解码器层对第

m个所述模态投影向量的所述交叉注意力权重求和，得到第

m个模态的注意力累计量，将各模态的所述注意力累计量经带温度系数的softmax归一化后作为更新后的模态权重向量，所述温度系数为0.2至1.0；所述上限为1至3次；当本阶段在重新执行推理后所输出的阶段结论概率分布的最大概率相对重新执行前的增量小于置信度增益阈值时，转移至下一阶段，所述阶段结论概率分布为本阶段解码器的输出经归一化后所得的分布，所述置信度增益阈值为0.01至0.05。

11、优选地，所述模态编码器包括：用于提取所述望诊图像数据的所述模态特征向量的视觉transformer编码器；用于提取所述闻诊语音数据的所述模态特征向量的语音transformer编码器；用于提取所述问诊文本数据的所述模态特征向量的文本transformer编码器；以及用于提取所述切诊脉象数据的所述模态特征向量的一维残差卷积网络编码器，所述一维残差卷积网络编码器经多层一维卷积与残差连接输出的向量，与由所述切诊脉象数据计算得到的心率变异性特征拼接，得到所述切诊脉象数据的所述模态特征向量；所述跨模态语义对齐采用对比学习损失函数，以同一患者的不同模态数据构成正样本对、以不同患者的模态数据构成负样本，使同一患者的各所述模态投影向量在所述共享辨证特征空间中相互聚集。

12、优选地，步骤s4中所述推理链蒸馏的总损失为状态蒸馏损失、转移蒸馏损失和决策蒸馏损失按权重系数的加权求和；

13、所述状态蒸馏损失为：通过线性投影层将所述教师模型在各推理阶段的隐藏状态投影至与所述学生模型的隐藏状态相同的维度空间，以同一训练批量内投影后的教师模型隐藏状态集合与学生模型隐藏状态集合作为两个样本集合，采用高斯核度量两个所述样本集合在各推理阶段的最大均值差异并对各推理阶段求和；

14、所述转移蒸馏损失为所述教师模型与所述学生模型在各推理阶段的所述转移概率分布之间的kl散度在各推理阶段上的求和；

15、所述决策蒸馏损失为：以蒸馏温度对所述教师模型与所述学生模型输出的证型对数几率作尺度变换后计算的交叉熵损失，与约束所述教师模型和所述学生模型在各推理阶段用于生成所述转移概率分布的门控权重相对齐的均方误差损失之和。

16、优选地，所述推理链蒸馏按渐进式训练策略依次执行四个训练阶段：

17、第一训练阶段蒸馏第一个推理阶段至第二个推理阶段的推理链知识；

18、第二训练阶段在冻结所述第一训练阶段已训练参数的基础上加入第三个推理阶段的蒸馏；

19、第三训练阶段在冻结所述第一训练阶段和所述第二训练阶段已训练参数的基础上加入第四个推理阶段的蒸馏；

20、第四训练阶段在冻结所述第一训练阶段、所述第二训练阶段和所述第三训练阶段已训练参数的基础上加入第五个推理阶段的蒸馏；

21、各所述训练阶段的总损失为已激活的推理阶段所对应的所述状态蒸馏损失、所述转移蒸馏损失和所述决策蒸馏损失的加权和。

22、优选地，步骤s4中所述结构化辨证参考信息包括：证型判定结果及所述证型判定结果所对应的置信度概率分布；各推理阶段的所述转移概率分布；以及推理链的实际转移路径，所述实际转移路径包括发生所述回退动作的推理阶段的序号、执行所述回退动作前后的所述模态权重向量的取值和执行所述回退动作前后的置信度概率分布。

23、本发明还提供了一种基于推理链蒸馏的中医辨证多模态数据处理系统，所述系统包括：

24、多模态数据获取模块：用于获取预先采集并存储的四诊模态数据，所述四诊模态数据包括望诊图像数据、闻诊语音数据、问诊文本数据和切诊脉象数据；

25、模态编码与对齐模块：用于将所述四诊模态数据编码为模态投影向量，并按模态权重向量对所述模态投影向量加权求和得到共享辨证特征向量；

26、链式推理模块：包括均具有多个推理阶段的教师模型与学生模型，各阶段的解码器由上一阶段的隐藏状态与所述共享辨证特征向量生成本阶段的隐藏状态，并根据本阶段的隐藏状态与本阶段的解码器对所述模态投影向量的交叉注意力权重，通过门控函数计算本阶段在前进动作、回退动作与终止动作上的转移概率分布；当所述终止动作的概率最大时，所述链式推理模块停止推理并输出已完成推理阶段的结构化辨证参考信息及待补充模态数据的提示信息；当所述回退动作的概率大于所述前进动作的概率且回退次数未达上限时，所述链式推理模块将本阶段的所述交叉注意力权重送至所述模态编码与对齐模块，由所述模态编码与对齐模块更新所述模态权重向量并重新计算所述共享辨证特征向量，所述链式推理模块以重新计算的所述共享辨证特征向量自上一阶段重新执行推理，否则转移至下一阶段；

27、推理链蒸馏模块：用于以kl散度对齐所述教师模型与所述学生模型的所述转移概率分布以完成推理链蒸馏，并由所述学生模型输出结构化辨证参考信息。

28、本发明的有益之处至少包括：

29、1、将中医辨证过程建模为多阶段链式推理模型，各阶段通过门控函数在前进、回退、终止三个动作上生成转移概率分布，使辨证过程具备结构化和可解释性，模型不仅输出结构化辨证参考信息，还能完整展示推理路径、发生回退的阶段以及回退前后的模态权重变化与置信度变化；

30、2、通过模态编码器和线性投影函数将四种异构模态数据映射至共享辨证特征空间，采用对比学习损失函数实现跨模态语义对齐，使不同模态中指向同一证候的特征在共享空间中自动聚集，解决了四诊数据的语义鸿沟问题；

31、3、低质量或弱相关模态的误导性证据在被下游阶段察觉之后即被降低权重，重新计算后的共享辨证特征向量使上游阶段的辨证要素提取结果发生改变，从而误导性证据不再沿链条被持续放大；

32、4、推理链在每个阶段具有前进、回退、终止三个动作构成的转移概率分布，教师模型在辨证过程中的路径决策成为一个可被度量与对齐的分布，从而可通过kl散度作为转移蒸馏损失迁移至学生模型；学生模型不仅学到教师的最终结论与中间表示，还学到教师在何种证据状态下应当重新解析的判断，使轻量模型在基层低质量采集条件下仍保持辨证路径的稳健性。