字段约束视觉语言模型的医学影像报告生成方法及系统

本发明涉及医学图像处理与人工智能，具体为字段约束视觉语言模型的医学影像报告生成方法及系统。

背景技术：

1、在医疗临床诊断中，医学影像报告的撰写是放射科医师的核心工作环节。随着深度学习技术的应用，基于人工智能的计算机辅助诊断系统被引入该业务场景。

2、现有的影像报告生成系统通常采用编码器-解码器架构，利用视觉模型提取医学影像的图像特征，随后交由语言模型将图像特征转化为自然语言序列。大参数规模的视觉语言模型通过端到端的文本生成能力自动输出涵盖病灶位置、形态特征及初步诊断意见的影像学报告文本，辅助医师减轻工作负担并提升阅片效率。

3、例如，中国专利申请cn120412875a公开了一种基于大语言模型的医学影像报告生成方法及系统，通过获取患者原始影像数据和临床背景文本，分别提取影像嵌入向量和背景嵌入向量，基于嵌入向量检索相关历史案例报告，并利用大语言模型整合结构化视觉证据、临床背景文本及历史案例报告生成医学影像报告。

4、又如，中国专利申请cn121687361a公开了一种基于多模态视觉-语言模型的医学报告自动解析与结构化生成方法，通过跨模态语义关联获得病灶-描述簇，按照预定义临床报告逻辑模板进行内容组装与生成，并在解码过程中通过限制模型可访问的上下文信息及可选择词汇范围实施逻辑约束，同时对生成的结构化字段进行置信度评估。

5、然而，上述方案主要从多模态信息融合、模板化组装、历史病例检索或报告逻辑约束等方面提高医学影像报告的生成质量，尚未针对结构化报告中的每一独立字段，依据该字段对应的合法值域或候选值集合直接限制视觉-语言模型的概率采样空间；同时，对于生成后的诊断结论，仍缺少从结构化报告中提取关键诊断特征、在医学文献向量数据库中检索外部学术文献，并将对应引用标号回嵌至相关字段以形成可追溯循证证据链的协同机制。因此，如何在报告生成阶段降低超出临床规则边界的事实偏移，并在报告输出阶段建立字段级可回溯的循证支撑，仍是有待解决的技术问题。

技术实现思路

1、针对现有技术的不足，本发明提供了字段约束视觉语言模型的医学影像报告生成方法及系统，解决了现有视觉语言模型在生成医学影像报告时，因依赖全词表无约束解码机制而容易脱离影像事实，进而产生病理描述失实及自相矛盾等事实偏移的问题。

2、为实现以上目的，本发明通过以下技术方案予以实现：本发明第一方面提供字段约束视觉语言模型的医学影像报告生成方法，包括以下步骤：

3、获取待筛查对象的非增强计算机断层扫描影像数据及对应的电子健康记录数据，对非增强计算机断层扫描影像数据进行预处理，转换为标准化三维体素矩阵，并将电子健康记录数据整理为临床时间线文本序列；

4、分别提取标准化三维体素矩阵的多尺度视觉特征向量以及临床时间线文本序列的临床语义文本特征向量，并将多尺度视觉特征向量与临床语义文本特征向量进行对齐与融合，生成联合多模态特征；

5、将联合多模态特征输入视觉-语言模型解码器，视觉-语言模型解码器按预先调用的结构化报告模板的字段顺序执行自回归解码，其中，结构化报告模板包含预设字段集合，且针对每一独立字段配置有合法值域或候选值集合；在针对每一独立字段进行解码操作时，视觉-语言模型解码器仅在对应的合法值域或候选值集合范围内进行概率采样，生成结构化报告；

6、从结构化报告中提取关键诊断特征拼接组合为查询语句，将查询语句编码为查询向量并在医学文献向量数据库中执行相似度检索，将检索返回的相关学术文献转换为引用标号自动嵌入结构化报告中的对应字段之后，输出带有循证证据链的完整报告。

7、优选的，将多尺度视觉特征向量与临床语义文本特征向量进行对齐与融合，生成联合多模态特征，具体包括：

8、引入交叉注意力机制计算影像区域与临床文本描述之间的语义对应关系，获取注意力权重矩阵，利用注意力权重矩阵定位诊断描述字段对应的影像空间区域以完成语义对齐；

9、将完成语义对齐的多尺度视觉特征向量与临床语义文本特征向量输入门控融合单元，门控融合单元通过可学习的门控权重动态调节两类模态信息的占比，输出跨模态对齐及自适应融合后的联合多模态特征。

10、优选的，在针对每一独立字段进行解码操作时，视觉-语言模型解码器仅在对应的合法值域或候选值集合范围内进行概率采样，生成结构化报告，具体包括：

11、针对离散型字段，将视觉-语言模型解码器的输出层维度动态调整为当前生成字段的合法候选值集合的大小，输出的数值经激活函数处理后输出各合法候选值的概率分布，选取最大概率对应的候选值作为当前生成字段的生成结果；

12、针对数值型字段，视觉-语言模型解码器输出经映射函数处理至预设数值区间的连续值；

13、对于取值超出预设范围的输出执行自动拦截操作以消除非预定义值的生成；并在生成目标字段取值时同步计算目标字段输出的置信度分数，在最终输出的结构化报告中对置信度分数低于预设阈值的目标字段添加颜色标记属性予以高亮呈现。

14、优选的，医学文献向量数据库仅收录影响因子大于预设影响因子阈值的学术期刊文献，并在医学文献向量数据库中采用倒排文件索引与乘积量化结构建立向量索引；

15、在医学文献向量数据库中执行相似度检索，具体包括：在医学文献向量数据库中采用内积相似度作为度量标准，计算查询向量与各文献向量的内积相似度得分；依据内积相似度得分降序排列，拦截滤除内积相似度得分低于预设相似度阈值的文献，提取满足阈值条件的相关学术文献。

16、优选的，方法还包括执行视觉-语言交叉验证与冲突预警：

17、将临床时间线文本序列输入已训练完成的电子健康记录大语言模型，输出文本推理结论；

18、获取视觉-语言模型解码器输出的影像学诊断结论，对影像学诊断结论与文本推理结论执行基于医学本体的语义相似度计算；

19、在影像学诊断结论与文本推理结论指向不同疾病实体，或者影像学诊断结论与文本推理结论的方向相反时，判定结论存在冲突，并在人机协同交互终端的报告界面顶部生成包含冲突双方具体内容的冲突预警信号。

20、优选的，已训练完成的电子健康记录大语言模型通过自进化算法的离线训练过程得到，自进化算法的离线训练过程包括：

21、基于包含患者纵向临床时间线文本及对应标签的训练数据集构建具备三项核心判定能力的大语言模型评判器，三项核心判定能力包括：校验模型预测答案与真实标签匹配一致性的答案正确性判定、分析推理过程的逻辑链条以确认其是否支撑模型预测答案的推理-答案一致性判定、以及核查推理过程引用的临床证据是否完全忠实于输入数据的推理真实性判定；

22、调用通用大语言模型对训练样本进行推理生成对应推理过程与预测答案，作为初始推理样本，初始推理样本经大语言模型评判器完成三项判定筛选后，将全部校验通过的高质量样本纳入种子数据集；

23、依托种子数据集对基础大语言模型开展监督微调获得初始推理模型，以上一轮迭代训练得到的模型对训练样本生成全新推理结果并经大语言模型评判器校验，利用当前轮次校验通过的高质量样本汇总构建当前轮次数据集，微调迭代模型，直至模型在验证集上的曲线下面积指标不再提升或迭代轮次达到预设最大值，输出最终的电子健康记录大语言模型。

24、优选的，方法还包括基于已训练完成的电子健康记录大语言模型执行可解释性归因分析：

25、从原始临床时间线文本中提取结构化临床特征向量，以结构化临床特征向量为模型输入，以原始大语言模型输出的风险边际为回归训练目标，构建并训练回归替代模型；

26、通过调节回归替代模型的树深度、叶子节点数及学习率超参数，保证回归替代模型在验证集上的拟合精度大于预设阈值；

27、采用归因算法量化各结构化特征对预测结果的局部贡献值，对属于同一临床指标及同一诊断概念的派生特征的局部贡献值进行累加融合，输出各类临床概念对患者疾病风险判断的正向贡献值与负向贡献值。

28、优选的，在获取待筛查对象的非增强计算机断层扫描影像数据及对应的电子健康记录数据之前，方法还包括：

29、利用常规临床指标执行基于规则的风险预筛以识别高危人群，常规临床指标包含13项血液生物标志物、4类诊断记录及1项复合生活方式因素；

30、13项血液生物标志物包括糖化血红蛋白、总胆红素、总胆汁酸、天冬氨酸氨基转移酶、丙氨酸氨基转移酶、γ-谷氨酰转移酶、碱性磷酸酶、淀粉酶、凝血酶原时间、d-二聚体、肌酐、空腹血糖及血钠；4类诊断记录包括糖尿病、肝硬化、胰腺炎及黄疸；复合生活方式因素设定为吸烟与饮酒史并存；在存在任一指标异常时判定受检者为高危人群，并针对高危人群执行获取待筛查对象的非增强计算机断层扫描影像数据及对应的电子健康记录数据的步骤。

31、优选的，结构化报告模板覆盖基本信息区、临床信息区、影像所见区、tnm分期区及诊断意见区；

32、针对tnm分期区，获取视觉-语言模型输出的包含最大径、数目、血管侵犯征象、淋巴结及远处转移情况的病灶测量信息，参照既定癌症分期标准判定各分量，并组合生成最终临床分期结论填充至对应的分期字段。

33、本发明第二方面提供字段约束视觉语言模型的医学影像报告生成系统，包含：

34、数据获取与预处理单元，用于获取待筛查对象的非增强计算机断层扫描影像数据及对应的电子健康记录数据，对非增强计算机断层扫描影像数据进行预处理转换为标准化三维体素矩阵，并将电子健康记录数据整理为临床时间线文本序列；

35、电子健康记录推理单元，用于接收临床时间线文本序列，预测待筛查对象在未来预设时间段内罹患肝胆胰癌症的风险概率并输出诊断推理过程；

36、影像分析单元，用于接收电子健康记录推理单元输出的高风险预测结果对应的非增强计算机断层扫描影像数据及电子健康记录数据，分别提取标准化三维体素矩阵的多尺度视觉特征向量以及临床时间线文本序列的临床语义文本特征向量，并将多尺度视觉特征向量与临床语义文本特征向量进行对齐与融合生成联合多模态特征；影像分析单元内部包含视觉-语言模型解码器，用于将联合多模态特征作为输入，按预先调用的结构化报告模板的字段顺序执行自回归解码，在针对每一独立字段进行解码操作时，仅在对应的合法值域或候选值集合范围内进行概率采样，生成结构化报告；

37、循证证据检索单元，用于从结构化报告中提取关键诊断特征拼接组合为查询语句，将查询语句编码为查询向量并在医学文献向量数据库中执行相似度检索，将检索返回的相关学术文献转换为引用标号自动嵌入结构化报告中的对应字段之后，输出带有循证证据链的完整报告；

38、交叉验证与冲突预警单元，用于获取影像分析单元输出的影像学诊断结论与电子健康记录推理单元输出的文本推理结论，对影像学诊断结论与文本推理结论进行语义一致性比对，在产生逻辑矛盾时生成冲突预警信号；

39、人机协同交互终端，用于汇总并呈现结构化报告、循证文献引用及冲突预警信号至操作界面。

40、本发明提供了字段约束视觉语言模型的医学影像报告生成方法及系统。具备以下有益效果：

41、1、本发明通过在视觉语言模型解码环节调用结构化报告模板并针对独立字段配置合法值域或候选值集合，使得解码操作仅在受限的预设范围内进行概率采样并自动拦截超出边界的输出，从生成源头对模型的输出空间进行临床规则层面的限制，克服了常规网络由于全词表无序搜索导致的病灶特征描述失实的技术缺陷，实现了提升医学影像报告内容的一致性与真实性并保障最终诊断结论可靠的效果。

42、2、本发明通过从结构化报告中提取关键诊断特征拼接为查询语句并在医学文献向量数据库中执行特征相似度检索，将返回的学术文献转换为引用标号自动嵌入报告内的对应字段之后，改变了常规医学辅助诊断模型仅输出孤立结论的单一模式，为系统生成的临床判读结论补充了来源可靠的外部循证医学数据支撑，实现了构建可直接回溯的诊断证据关联链条并提升辅助诊断模型可解释性的效果。

43、3、本发明通过分别提取非增强计算机断层扫描影像的多尺度视觉特征以及电子健康记录文本的临床语义特征，结合交叉注意力机制与门控融合单元对两类模态进行语义对齐与自适应融合，以检验记录等临床时间线信息补偿了非增强影像由于缺乏造影状态导致的病理细节缺失，丰富了模型编码环节的辅助诊断依据，实现了在无创筛查场景下提升系统对复杂病灶特征提取完整度及结构化报告可靠性的效果。