基于层次数据结构与思维束的肝病语料模型训练方法、系统及装置

本发明涉及人工智能与智慧医疗，尤其涉及一种结合层次化数据结构与可解释性思维束训练策略的肝病语料模型的训练方法、系统与装置。

背景技术：

1、现有的机器学习模型在肝病语料数据处理分析及推理预测方面面临显著挑战：其一，其性能严重依赖于繁琐、专业的人工特征工程，难以自动、全面地理解和处理自由文本中蕴含的复杂医学概念与语义关系；其二，这些模型多为“黑箱”模型，决策过程不透明，缺乏符合临床医生思维的推理路径，导致其结论难以被理解和信任，限制了实际应用。

2、近年来，以大型语言模型为代表的人工智能技术为医疗领域带来了新的可能。然而，直接将通用大语言模型应用于肝病语料数据的分析仍存在明显缺陷：首先，通用模型缺乏专业的肝病医学知识，难以准确理解复杂的医学术语、病理生理机制及判断标准；其次，常规的端到端微调方法通常只优化最终的输出，模型内部推理过程不可见，无法模拟层级化鉴别思维，导致其逻辑性和可解释性不足；最后，缺乏针对高质量、大规模医疗领域预训练语料的构建方案，以及专门适配长序列、多模态病历的高效训练策略。

3、因此，现有技术存在以下亟需解决的问题：（1）医疗数据异构且高质量标注稀缺，模型训练缺乏充分、结构化的领域知识；（2）现有基于大语言模型的推理方法缺乏透明、可追溯的中间推理过程，可解释性差；（3）模型难以适应复杂的层级化判断逻辑，在从宽泛疾病类别逐步推理至具体亚型时准确性和逻辑一致性不足。

技术实现思路

1、本发明的目的在于提供一种基于层次数据结构与思维束的肝病语料模型训练方法、系统及装置，以解决现有技术中存在的若干关键问题，例如：传统机器学习模型依赖人工特征工程，难以有效处理非结构化的临床文本与复杂的医学概念体系；现有技术多采用端到端预测，缺乏透明、可追溯的推理过程，导致模型可解释性差；通用大语言模型在缺乏高质量领域知识注入的情况下，难以适应专业的临床语境和复杂的层级化逻辑，推理预测准确性受限。具体而言，本发明提供了以下方案：

2、第一方面，本发明提供了基于层次数据结构与思维束的肝病语料模型训练方法，包括：

3、s1、构建层次化肝病数据集。从医院信息系统中获取脱敏后的肝病电子健康记录，所述电子健康记录包括入院记录、病程记录、实验室检验记录和医学影像检查报告等；基于国际疾病分类（icd-10分类体系），为每条电子健康记录标注层次化标签，所述层次化标签构成一个从核心疾病大类到具体病理亚型的多级编码树状结构。将标注后的电子健康记录数据分别制作预训练数据集、微调数据集、验证集；

4、s2、构建融合结构化知识与临床数据的预训练语料库。从大规模通用语言模型中提取并精炼围绕icd-10框架组织的肝病领域结构化知识。将提取的结构化知识与真实的肝病临床叙事文本进行深度融合，构建统一的预训练语料库；

5、s3、模型初始化与领域自适应预训练。筛选基础模型，在gpu集群上采用完全分片数据并行方式，使用步骤s2构建的预训练语料库对基础模型进行继续预训练。关键超参数包括全局批处理大小和峰值学习率，采用线性预热和余弦衰减调度器，以调整模型的token语义和话语结构，使其与临床叙事文本使用习惯对齐，巩固其通用医学能力；

6、s4、并行执行专项监督微调与思维束训练。使用步骤s1构建的微调数据集，对经过预训练的基础模型进行全参数监督微调。在微调过程中，实施思维束训练策略，构建一个多维临床信息关联结构，将电子健康记录中的病因、病理、病变部位和临床症状信息与样本信息进行显式关联和编码。通过优化损失函数引导模型学习所述多维临床信息之间的相关性和可比性，得到微调模型，强化模型从宽泛疾病类别逐步推理至特定icd-10诊断代码的层级化决策能力；

7、s5、性能评估与验证。在内部验证集上对微调模型进行性能评估，所述微调模型在验证集上进行评估：准确率达到92.09%，精确率达到90.45%，召回率达到91.82%，f1分数达到91.13%；

8、s6、对微调模型进行可解释性分析，量化每个特征对预测结果的贡献度，识别关键风险因素。并对微调模型进行轻量化处理及封装，以备临床部署应用。

9、优选地，所述s1中进一步包括：

10、s101、通过医院信息系统（his）的标准化接口（如hl7 fhir）或数据库视图，按结构化和非结构化两类抽取入院记录、病程记录、实验室检验记录（lis）及医学影像检查报告（pacs）。对所有个人身份信息（pii）与受保护健康信息（phi）进行确定性脱敏（如哈希处理id）和泛化处理（如年龄分组），确保数据不可逆追溯，符合《个人信息保护法》和hipaa等法规要求。

11、s102、依据icd-10编码规则，为每份电子健康记录（ehr）构建“诊断路径树”。

12、s103、采用分层抽样策略，按主要诊断大类（如病毒性肝炎、肝硬化、肝癌）的比例划分数据，确保训练集、微调集、验证集间的疾病分布一致。

13、优选地，所述s2中，预训练语料库构建具体包括：

14、s201、设计多层prompt，诱导模型输出结构化的肝病知识文本，例如：“请以icd-10编码k74（肝纤维化和肝硬化）为框架，详细阐述其下所有亚型（如k74.0, k74.1, ...）的：1. 病理定义；2. 主要病因；3. 关键诊断标准（包括影像学、实验室、病理学）；4. 鉴别诊断要点。请以json格式输出。”。

15、s202、批量执行上述prompt，生成初始知识库。

16、s203、开发自动化校验脚本，将生成内容与umls（统一医学语言系统）中的概念、snomed ct中的关系以及uptodate等权威文献进行术语和关系映射比对。对于冲突或模糊信息，触发人工审核流程，由医学专家在知识图谱可视化工具上进行修正和确认。

17、s204、在构建训练样本时，将一段结构化知识文本（如“肝硬化的child-pugh分级标准包括：总胆红素、白蛋白、凝血酶原时间...”）插入到一段相关临床叙事（如“患者因腹胀、黄疸入院，实验室检查示总胆红素52μmol/l，白蛋白28g/l...”）之前或之后，中间用“[相关知识]”等特殊标记分隔。

18、s205、在临床叙事文本中，使用命名实体识别（ner）模型自动识别医学术语（如“腹水”、“alt升高”），并在其后方以括号形式插入简短的结构化知识解释。

19、s206、将所有融合后的文本统一转换为标准文本文件（如jsonl格式），每行包含一个独立的训练样本。

20、优选地，所述s3中，模型初始化与领域自适应预训练具体包括：

21、s301、选用例如qwen2.5-7b等作为基础模型，根据临床文本特点，将模型的最大上下文长度扩展至128k，并相应调整rope位置编码的基频参数。

22、s302、使用pytorch的fsdp，配置为full_shard模式，将每个transformer层的参数、梯度和优化器状态（adamw）均匀切分到所有gpu上。设置limit_all_gathers=true和forward_prefetch=true以优化通信和计算重叠。采用bf16/fp16混合精度，在保持数值稳定性的同时加速计算并减少显存占用。优选地，总训练步数为100,000。学习率调度器采用线性预热（linear warmup）与余弦衰减（cosine annealing）相结合的策略。在线性预热阶段，在前个训练步内，学习率由0线性增加至峰值学习率，当前学习率lr 按照下式计算：，lr 表示当前训练步对应的学习率；表示峰值学习率；表示当前训练步数；表示学习率线性预热阶段对应的训练步数。完成预热后进入余弦衰减阶段，学习率按照余弦函数逐渐衰减至最小学习率，其计算公式为：，表示训练总步数；表示训练结束时对应的最小学习率；表示当前训练步数；表示线性预热阶段的训练步数；表示峰值学习率；lr表示当前训练步对应的学习率。

23、优选地，所述s4中进一步包括：

24、s401、构建指令-输出对。指令模板为例如：“基于以下患者电子健康记录，请给出层级化诊断。” 输出为固定的结构化文本，包含：

25、“思维束分析：[病因：xxx；病理：xxx；部位：xxx；症状：xxx] ->推理路径：一级推理：xxx (icd-10: xxx) ->二级推理：xxx (icd-10: xxx) ->最终推理：xxx (icd-10:xxx)”。

26、s402、思维束关联结构的具体编码：（1）病因：从预设词表中抽取。（2）病理：从病理状态词表中抽取。（3）部位：从解剖学词表中抽取。（4）症状/体征：从症状体征词表中抽取。

27、在训练时，要求模型必须按此结构生成文本，即执行结构约束生成。

28、s403、损失函数的设计与计算：（1）主损失（lmain）：计算“最终推理”部分的token序列与真实标签之间的交叉熵损失。（2）辅助损失（laux）：计算“思维束分析”部分中，四个维度（病因、病理、部位、症状）的预测token与真实维度标签之间的交叉熵损失之和。每个维度的损失可视为一个多标签分类任务。（3）总损失：ltotal= lmain+ λ(laux_cause+ laux_pathology+laux_location+ laux_symptom)，其中λ为超参数，经网格搜索设定为0.5，以平衡诊断准确性与推理可解释性。

29、s404、训练技巧：采用全参数微调，但使用较小的学习率（5.0e-6），防止过拟合。

30、优选地，所述s5中具体包括：

31、在独立预留的内部验证集上对微调后模型进行多层次、多指标的性能评估，评估结果如下：准确率达到92.09%，精确率达到90.45%，召回率达到91.82%，f1分数达到91.13%，全面衡量模型的综合性能；评估过程涵盖从高层级疾病大类到最细粒度icd-10诊断代码的多层次性能分析，以系统性验证模型层级化推理机制的有效性与逻辑一致性。

32、优选地，本方法还包括模型性能对比分析，具体包括：

33、将本发明方法训练所得模型与现有先进医疗大模型进行横向对比分析；对比对象及关键指标包括：baichuan-m2模型（参数量32b，准确率75.61%）、huatuopt-01模型（参数量72b，准确率76.71%）及deepseek-r1模型（参数量671b，准确率69.56%）；对比结果表明：本发明模型在参数规模仅为7b的情况下，诊断准确率显著优于对比模型，体现了本方法在模型效率与诊断准确性方面的综合优势。

34、优选地，所述s6中，可解释性分析、轻量化与封装具体包括：

35、对验证通过的微调后的模型，采用基于梯度的特征归因方法进行可解释性分析，量化输入中每个临床特征（如关键症状词、异常检验值）对最终诊断预测的贡献度，进而识别出影响诊断决策的关键风险因素，提升模型的临床可信度。随后，对模型进行轻量化处理，包括将模型参数从fp32精度量化至fp16或int8，以显著降低存储需求与推理延迟。最后，将轻量化模型连同必要的预处理与后处理模块，封装为docker容器或标准化api服务，实现与医院现有信息系统的安全、高效集成，支持临床实时部署与应用。

36、第二方面，本发明还提供了基于层次数据结构与思维束的肝病语料模型训练系统，所述系统用以执行如第一方面所述的方法，该系统包括：

37、数据接收模块，用于接收来自公开数据集、本地医院信息系统（his）的私有肝病电子健康记录（ehr）数据集，以及实时请求数据；

38、数据处理模块，包括数据预处理单元、特征工程单元、大语言模型微调单元、训练优化单元、模型验证单元、可解释性分析单元及系统部署单元；

39、所述数据预处理单元，用于对原始的电子健康记录数据集进行预处理，得到预处理后数据;

40、所述特征工程单元，用于对预处理后数据，提取并构建包含病因、病理、病变部位、临床症状及检验检查结果在内的多维临床特征集，并将其编码为模型可处理的思维束关联结构；

41、所述大语言模型微调单元，用于集成经领域自适应预训练与监督微调与思维束训练过程得到的、已完成的最优微调后模型，作为系统的核心推理模型;

42、所述训练优化单元，用于在模型训练阶段，利用所述特征工程单元构建的特征，对模型进行全参数监督微调，并通过损失函数优化（包括主损失lmain与思维束辅助损失laux）及训练策略（如标签平滑、早停法）提升模型泛化与层级化推理能力；

43、所述模型验证单元，用于在模型评估阶段，在独立的验证集上，对微调后模型进行多层次性能评估，以确定最优模型参数；

44、所述可解释性分析单元，用于对所述最优预测模型的输出进行事后分析，量化输入特征对预测结果的贡献度，识别并输出关键临床风险因素；

45、所述系统部署单元，用于对验证通过的微调后模型进行轻量化处理、容器化封装，并部署为可响应用户实时请求的api服务；

46、所述结果生成模块，连接所述数据处理模块，用于接收并格式化所述大语言模型生成的预测结果与所述可解释性分析单元生成的风险分析结果，将其外发至临床决策支持系统或医生工作站。

47、第三方面，本发明还提供了基于层次数据结构与思维束的肝病语料模型训练装置，包括处理器、存储器及总线，所述存储器存储有可由所述处理器执行的指令与数据，所述处理器用于调用所述存储器中的指令及数据，以执行如上所述的基于层次数据结构与思维束的肝病语料模型训练方法；所述总线用于在处理器、存储器及各功能部件之间传输信息。

48、采用上述技术方案，本发明具有如下有益效果：

49、本方案通过融合真实临床叙事文本与围绕icd-10体系的结构化医学知识，构建层次化诊断数据集与高质量预训练语料库，有效解决医疗领域标注数据稀缺与知识体系复杂的问题；结合"思维束"训练策略与多维临床信息关联结构，显式建模病因、病理、部位与症状间的推理路径，全面捕捉层次化逻辑与临床关联，显著提升模型的逻辑推理能力；采用领域自适应预训练与全参数监督微调相结合的策略，实现大语言模型在肝病专科的深度适配，在提升推理预测准确性的同时保持模型的专业语义理解；通过基于验证集的多层次性能评估（准确率92.09%，精确率90.45%，召回率91.82%，f1分数91.13%）与横向对比分析（相较于baichuan-m2、huatuopt-01、deepseek-r1等模型，本发明模型在7b参数规模下实现显著更高的诊断准确率），验证了模型在诊断准确性和效率方面的综合优势；通过可解释性分析确保模型在不同疾病类别与层级上的可靠性与透明度；采用模型轻量化与容器化封装技术实现系统的高效集成与低延迟服务，支持与医院信息系统的标准化对接；系统化的全流程设计覆盖数据、训练、评估与部署环节，支持模型持续迭代优化，可扩展至其他专科疾病的场景，为临床提供精准、可靠、可解释的辅助决策支持。