一种基于多模态大模型与本地智能体的医学影像CT报告辅助生成方法及系统与流程

本发明涉及医学影像处理，具体涉及一种基于多模态大模型与本地智能体的医学影像ct报告辅助生成方法及系统。本发明技术方案涉及新一代信息技术中的人工智能与大数据处理技术，以及生物医药产业中的数字医疗与医学影像分析技术。

背景技术：

1、随着深度学习与多模态大模型（lmm）技术的发展，自然语言生成技术在医疗影像信息管理领域的应用需求日益增长。ct诊断报告的自动生成是自然语言处理与医疗影像信息管理交叉领域的典型应用，其核心目标是将多模态输入（ct影像序列+检索示例）转化为结构化的自然语言诊断报告，实现医疗影像信息的语义理解、自然语言查询与智能问答。然而，远程调用大模型api的token消耗成本已成为制约其规模化应用的核心瓶颈，如何在医疗影像信息管理场景中最大限度节省远程token消耗并保障自然语言生成质量成为关键技术问题。

2、然而，现有技术存在以下痛点：

3、痛点一：远程大模型token消耗过大，缺乏本地agent接管机制导致可标准化的自然语言后处理环节不必要地消耗远程token。 肺部ct影像序列长、切片多（通常200~500张），直接输入远程多模态大模型的token数量极易超出上下文窗口限制（如8k~32ktoken），造成推理成本高昂、效率低下，甚至因截断丢失关键诊断信息。更为严重的是，现有的报告生成方法将征象校验、结构化格式化、术语规范化、一致性校验等自然语言后处理环节也交由远程大模型通过多轮对话完成，每一次多轮交互都产生额外的token消耗，而上述环节本质上是规则驱动的标准化自然语言处理，完全可由本地agent基于token标准化规则接过来完成，无需消耗远程token。

4、痛点二：通用检索方法难以适配私域数据特征，影响医疗影像信息管理的检索质量。 现有的检索方法通常基于通用的视觉相似度（如clip特征余弦相似度）进行检索，但通用视觉编码器无法捕捉肺部ct影像中细粒度的病理特征差异（如磨玻璃结节与实性结节、微小毛刺与纤维条索影），导致检索到的示例与查询ct在病理层面不相关，无法为多模态大模型提供有效的上下文演示，降低了自然语言生成报告的语义准确性和临床一致性。同时，现有方法缺乏私域数据适配机制，无法将本地医院的影像-报告数据转化为可检索的示例库，难以满足医疗影像信息管理中对私域数据高效利用的需求。

5、痛点三：自然语言生成的报告缺乏征象完整性保障和规范化处理，医疗影像信息管理质量不稳定。 现有的报告生成方法多为"一次性生成"，缺乏对肺部特有征象（如分叶征、毛刺征、胸膜牵拉征等）的完整性校验与补充机制，容易遗漏关键征象描述；同时缺乏术语规范化、一致性校验和置信度标注等自然语言后处理环节，生成的报告质量不稳定，难以直接满足医疗影像信息管理中临床审核与智能决策的需求。

6、痛点四：现有方法未实现自然语言生成与医疗影像信息管理的端到端闭环，缺乏token标准化接管机制。 现有的肺部ct影像处理方法（如基于目标检测或语义分割的方法）仅关注视觉层面的检测与分割，输出结果是病灶的位置和分割掩膜，无法直接生成医生可读的自然语言诊断报告，未涉及自然语言生成（nlg）；同时，这些方法未涉及私域数据适配、token优化/上下文窗口管理以及医疗影像信息管理审核闭环，难以满足临床实际部署中"ai生成→置信度标注→医师审核"的智能决策需求。此外，现有方法缺乏token标准化接管机制——本地agent与远程大模型之间缺乏统一的prompt格式规范与输出格式协议（即token标准化），导致本地agent无法"接过来"原需远程大模型处理的自然语言后处理环节（如征象校验、结构化、术语规范化、一致性校验），无法实现"本地agent能解决问题就不远程ai"的token节省闭环，制约了自然语言生成技术在医疗影像信息管理中的规模化应用。

技术实现思路

1、本发明旨在解决现有技术中远程多模态大模型token消耗过大、缺乏本地agent接管机制导致自然语言后处理环节不必要地消耗远程token、以及缺乏token标准化接管机制导致本地agent无法有效接管的问题，提出一种基于本地agent接管与token标准化机制的ct报告自动生成方法，通过本地agent在视觉层面、检索层面、语言层面的接管以及置信度分级调度决策，实现token的全链路节省。

2、为实现上述目的，本发明采用如下技术方案：

3、一种基于多模态大模型与本地智能体的医学影像ct报告辅助生成方法，包括以下步骤：

4、步骤s1：构建私域肺部影像库与索引，收集脱敏肺部ct影像数据及对应的历史诊断报告，提取影像-报告对的联合嵌入特征并建立向量索引；

5、步骤s2：本地agent在视觉层面接管，对输入的待诊断肺部ct序列进行多粒度视觉冗余抑制，包括层间冗余抑制和层内冗余抑制，对ct序列进行token压缩；

6、步骤s3：本地agent在检索层面接管，基于私域肺部影像库进行影响力导向检索，通过代理影响力模型预测候选示例对查询图像的贡献度，选取影响力分数最高的k个示例作为上下文演示；仅当检测到特殊影像特征时，才调用远程ai接口；

7、步骤s4：将处理后的查询ct图像token与检索到的top-k示例token按token标准化格式拼接构建prompt，所述token标准化格式包括输入序列的结构化模板、输出格式要求、校验规则及后处理规则，输入远程多模态大模型进行一次推理生成初步报告文本，随后本地agent基于token标准化规则接管自然语言后处理环节；本地agent基于置信度分级调度决策是否需要调用远程ai或人工审核，最终输出ct诊断报告。

8、进一步地，步骤s2层间冗余抑制包括：（1）对输入的ct序列按切片顺序编号，使用3d视觉编码器（如3d-resnet-50）提取每张切片的视觉特征向量；（2）计算相邻切片间的特征余弦相似度，构建层间相似度序列；（3）采用自适应阈值计算：对层间相似度序列进行核密度估计（kde），以相似度分布的谷底作为冗余判定阈值τ_inter，当相邻切片相似度超过τ_inter时，标记冗余切片；（4）强制保留机制：对包含肺门、纵隔区域的关键解剖层面（基于解剖先验模型预定义的层面编号范围）强制保留，即使相似度超过阈值也不抑制；（5）对冗余切片组，采用等间隔采样策略保留代表性切片，去除其余冗余切片。

9、进一步地，步骤s2层内冗余抑制包括：（1）使用nnunet对保留的切片进行肺实质分割，生成肺实质掩码；（2）将原始ct切片与肺实质掩码逐像素相乘，去除非肺实质区域（如胸壁、纵隔、脊柱等），仅保留肺实质区域；（3）对肺实质区域进行非零像素统计，将非零像素占比低于5%的切片判定为"无诊断价值"并去除；（4）对剩余切片的肺实质区域进行下采样（如从512×512下采样至256×256），进一步减少token数量。

10、进一步地，步骤s3影响力导向检索包括：（1）查询向量构建：将步骤s2处理后的查询ct影像通过3d视觉编码器提取特征向量，作为查询向量q；（2）粗筛：使用faiss对私域库中的候选示例进行近邻检索，选取余弦相似度最高的m个候选示例，m≥k；（3）精筛（代理影响力模型pim）：对m个候选示例，使用代理影响力模型预测每个候选示例对查询图像的贡献度，代理影响力模型为轻量级网络，以查询向量q和候选示例向量为输入，输出影响力分数，影响力分数越高表示该候选示例对查询图像的自然语言报告生成越有价值；（4）特殊影像处理：仅当本地agent检测到特殊影像特征时，才调用远程ai接口进行辅助分析；（5）按影响力分数降序排列，选取top-k个示例作为上下文演示；（6）分数融合与top-k选择：将pim影响力分数与ai辅助分析结果（如有）进行加权融合，得到最终示例分数，按降序排列选取top-k个示例。

11、进一步地，步骤s4包括以下子步骤：

12、s4.1 token标准化prompt构建：按token标准化模板组装多模态输入序列，结构为[系统指令]+[示例1影像token|示例1报告token]+[示例2影像token|示例2报告token]+[示例3影像token|示例3报告token]+[查询ct影像token]+[生成指令]，系统指令包含角色定义、输出格式要求及肺部特有征象关注清单；token标准化格式确保本地agent与远程大模型之间token的规范对接，使本地agent能接过来远程大模型的自然语言后处理环节；

13、s4.2 多模态推理与自然语言生成：将token标准化prompt输入远程多模态大模型（如gpt-4v、qwen-vl等）进行一次推理，生成初步报告文本；此步骤是整个流程中主要调用远程大模型的环节，仅一次推理，后续自然语言后处理环节默认由本地agent接管；

14、s4.3 征象校验：本地agent基于token标准化校验规则，校验初步报告中是否涵盖关键肺部特有征象（包括分叶征、毛刺征、胸膜牵拉征、血管集束征、空洞征、钙化征、纤维条索影、磨玻璃密度），若缺失关键征象则触发补充生成指令；此环节由本地agent完成；

15、s4.4 征象补充：本地agent基于token标准化规则，针对缺失征象追加补充生成指令，对初步报告进行补充修改，最多循环2次以防止无限迭代；默认模式下，本地agent基于征象模板库（预定义的肺部特有征象标准化描述模板集合，包含分叶征、毛刺征、胸膜牵拉征、血管集束征、空洞征、钙化征、纤维条索影、磨玻璃密度等各征象的标准化文本描述，部署在本地，由本地agent直接调用）直接插入标准化描述；降级模式下，仅当缺失征象超出征象模板库覆盖范围，才触发远程大模型调用进行补充生成；

16、s4.5 结构化与格式标准化：本地agent按token标准化格式规范将报告文本按标准诊断报告格式结构化，包括检查名称、影像所见、诊断意见、建议四个部分；此环节由本地agent完成；

17、s4.6 术语规范化：本地agent基于本地医学影像术语词典（radlex/snomed ct）进行术语对齐，将非标准术语替换为标准术语，确保自然语言生成的诊断报告符合医疗影像信息管理的术语规范；此环节由本地agent完成；

18、s4.7 一致性校验与修正：本地agent校验报告内部逻辑一致性，包括影像所见与诊断意见的对应关系、术语使用的前后一致性、数值描述的合理性，发现不一致则自动修正；此环节由本地agent完成；

19、s4.8 本地agent置信度分级调度决策——置信度评估与标注：对报告中每条诊断意见标注置信度，基于pim检索示例与查询ct的相似度分布计算；

20、s4.9 输出与推送：输出结构化诊断报告，自动推送至医师工作站。

21、进一步地，步骤s3代理影响力模型评测方法包括：（1）构建评测数据集：从私域库中抽取n个查询-报告对作为评测样本；（2）对每个查询，分别使用pim影响力检索和随机检索选取top-k示例，生成报告；（3）计算报告质量指标：包括bleu、rouge-l、临床一致性评分（由资深放射科医师标注）；（4）验证pim检索相比随机检索在报告质量指标上的提升幅度，若bleu提升≥5%、rouge-l提升≥3%、临床一致性评分提升≥10%则判定pim有效，否则触发代理影响力模型重训练或参数调优。

22、本发明具有以下有益效果：

23、（1）大幅节省远程token消耗，本地agent接管后token节省占比约60%~65%（本发明的核心成果）：通过本地agent在视觉层面（mrs，将token从约8~10万压缩至约3~4万）、检索层面（icr，精选高价值示例避免token浪费）、语言层面（征象校验/结构化/术语规范化/一致性校验，基于token标准化规则接管原需远程多轮交互的自然语言后处理环节）、置信度分级调度决策（本地agent决策是否调用远程ai或人工审核，避免不必要的远程token消耗）实现token的全链路节省，其中本地agent接管后节省的token占比约60%~65%，有效降低远程大模型的推理成本和延迟，解决了远程多模态大模型token消耗过大的核心瓶颈，为自然语言生成技术在医疗影像信息管理中的规模化应用提供了经济可行的技术方案；

24、（2）私域数据适配，提高检索与自然语言生成报告的准确性：通过构建私域肺部影像库，利用影像-报告对的联合嵌入特征建立向量索引，使检索过程能够捕捉本地医院的病理分布特征，提高检索的病理相关性，相比通用检索方法（如clip特征余弦相似度检索），检索准确率显著提升，为医疗影像信息管理提供高质量的私域数据支撑；

25、（3）提高检索精度，从"表面相似"提升为"影响力导向"：利用代理影响力模型（pim）替代简单的视觉相似度检索，pim直接预测候选示例对查询图像自然语言报告生成的贡献度（影响力），而非仅衡量视觉相似度，从而检索出在病理层面具有指导价值的示例，提高自然语言生成报告的准确性和临床一致性；

26、（4）token标准化接管机制，本地agent接管自然语言后处理环节节省远程token：通过token标准化格式规范，本地agent能"接过来"原需远程大模型多轮对话才能完成的征象校验、结构化格式化、术语规范化、一致性校验等自然语言后处理环节，这些环节由本地agent基于规则完成，避免了原方案中每轮多轮交互产生的额外远程token消耗；同时征象校验闭环机制（最多循环2次）确保自然语言生成的报告涵盖关键肺部特有征象，避免遗漏关键诊断信息；

27、（5）置信度分级调度决策，实现自然语言生成与医疗影像信息管理的端到端闭环：通过置信度评估与标注机制，对报告中每条诊断意见标注高/中/低三级置信度，高置信度直接输出（本地agent判断无需远程ai）、中置信度标注"建议复核"（由本地agent直接输出）、低置信度标注"需医师人工确认"或触发远程ai二次调用（本地agent判断自身无法解决，需远程ai介入），自动推送至医师工作站，实现"本地agent调度决策→置信度标注→医师审核"的自然语言生成与医疗影像信息管理的端到端闭环，体现"本地agent能解决问题就不远程ai"的原则，最大限度节省远程token，满足医疗影像信息管理的安全性与可审核性要求；

28、（6）代理影响力模型评测机制，确保检索质量可验证且可迭代优化：通过构建评测数据集，对比pim影响力检索与随机检索在报告质量指标（bleu、rouge-l、临床一致性评分）上的提升幅度，设定量化有效判定阈值（bleu提升≥5%、rouge-l提升≥3%、临床一致性评分提升≥10%），确保pim检索的有效性可量化、可验证，当评测结果未达阈值时触发模型重训练或参数调优，实现检索质量的持续迭代优化，提高系统的可信度与鲁棒性；

29、（7）实现端到端token节省的自然语言生成与医疗影像信息管理闭环，满足实际需求：不同于现有仅关注token数量压缩的方法，本发明实现了"本地agent视觉层面接管（mrs）→本地agent检索层面接管（icr）→远程大模型按需调用（仅一次自然语言生成推理）→本地agent语言层面接管（token标准化接管自然语言后处理）→本地agent置信度分级调度决策（避免不必要的远程token消耗）"的端到端token节省闭环，在ct诊断报告自动生成场景中验证了自然语言生成技术与医疗影像信息管理交叉应用的有效性，可直接生成包含检查名称、影像所见、诊断意见、建议的完整结构化ct诊断报告，报告格式符合his/pacs对接标准，满足医疗影像信息管理的实际部署需求。