一种肌骨X线报告多智能体协同生成方法与系统、存储介质
本发明涉及医学影像人工智能与智能决策系统,尤其涉及一种肌骨x线报告多智能体协同生成方法与系统、存储介质。
背景技术:
1、肌骨系统x线成像是临床用于骨折、退行性疾病、感染性病变及肿瘤性病变筛查与诊断的核心医学影像技术。通过x射线穿透肌骨组织并成像,该技术可清晰呈现骨骼形态、关节结构及病变特征,为临床诊疗决策提供关键影像学依据,其报告生成的规范性、准确性与时效性直接决定诊疗方案的合理性与预后评估的可靠性。
2、当前临床肌骨x线影像报告的生成主要依赖放射科医师基于阅片经验完成人工书写,该传统模式存在显著局限性。首先,人工书写属于重复性高强度劳动,医师日均需处理大量影像阅片与报告撰写工作,耗时耗力且效率低下,基层医疗机构易出现人员短缺引发的报告积压,难以满足临床快速诊断的需求;其次,人工操作高度依赖医师的专业水平与阅片经验,不同医师对病变描述、诊断结论及报告格式的判断标准存在差异,导致报告内容一致性差、标准化水平低;此外,长时间阅片易引发医师视觉疲劳与注意力衰减,隐匿性骨折、微小退行性改变等细微病变易出现漏诊,部分报告还存在影像描述与诊断结论逻辑冲突的问题,直接增加临床误诊、漏诊风险;同时,人工报告缺乏系统化质量管控机制,质量完全依赖医师主观把控,且多以非结构化文本形式存储,数据可追溯性与复用性较差,不利于医疗数据的规范化管理与科研转化。
3、为缓解人工书写带来的上述问题,现有技术中已逐步推出人工智能辅助影像报告生成方案,主要分为两类技术路线:一类是基于卷积神经网络的传统深度学习辅助方案,该类方案通过病灶检测与分割模型识别肌骨x线影像中的骨折、关节异常等病变,仅能输出病灶提示信息或结构化病灶列表,仅实现初步的影像分析辅助;另一类是基于视觉模型与大语言模型融合的多模态ai报告生成方案,该类方案通过视觉transformer提取影像特征,经多模态特征对齐后输入大语言模型直接生成报告文本,试图实现端到端的报告自动生成。
4、例如,现有技术cn120747041a公开了一种基于多智能体协同的尘肺ai小阴影检测方法,其通过多个智能体分别执行图像分割、特征提取和分类任务,并引入反馈机制优化检测结果。然而,该方案聚焦于图像层面的病灶检测,未涉及医学报告文本的结构化生成与语义一致性校验。以及现有技术cn1682236a公开了一种x射线骨结构分析方法,利用图像处理技术对骨骼进行测量和分析,但同样局限于影像分析层面,未延伸至报告文本的自动撰写与质量控制。
5、此外,现有学术研究中,maira-2、chexagent、radialog、harrison.rad1.5等多模态放射学模型已经能够实现医学影像报告生成,部分方案进一步引入了影像定位、结构化病理信息、事实性评价、实体级评价或交互式报告修正机制。上述研究表明,医学影像自动报告技术已由单纯文本生成逐步向结构化理解和质量评价方向发展。
6、尽管如此,上述功能在当前方案中仍以独立模块或人工交互的形式存在,尚未形成面向肌骨x线报告的自动闭环体系。然而,现有技术中的报告生成、实体分析、质量评价与报告修改功能通常分别作为模型能力、事后评价指标或人工交互辅助功能存在,尚缺少一种面向肌骨x线报告生成场景,将findings与impression中的结构化医学实体及肯定/否定状态用于自动一致性校验,并进一步将校验得到的具体错误类型、错误实体、错误原因及修正提示转换为机器可解析的结构化错误对象,由确定性流程调度模块自动驱动报告定向修正、再次校验及人工复核终止的闭环处理机制。
7、出于医学数据安全与患者隐私保护的要求,肌骨影像及对应文本信息通常必须在医院内网受控环境中进行处理。受医院内网算力、显存资源、实时性及数据安全要求限制,本地部署的多模态模型需要在模型规模、计算资源和报告质量之间进行平衡。因此,仅依赖模型一次生成仍难以保证复杂肌骨病例中的报告结构完整性和医学一致性,需要进一步通过结构化校验及闭环修正机制提高输出的稳定性与可控性。
8、综上,现有技术中尚缺乏一种既能够以多智能体协同方式实现医学知识与生成模型的有机结合,又能够通过确定性、结构化的错误反馈驱动连续修正的肌骨x线影像报告自动生成方法。
技术实现思路
1、本发明的主要目的是提供一种肌骨x线报告多智能体协同生成方法与系统、存储介质。本发明旨在解决现有技术中肌骨x线影像报告自动生成方法存在的以下问题:(1)端到端生成模型缺乏医学知识约束,易产生医学幻觉及报告内部前后矛盾;(2)现有质控手段仅为粗粒度的整体评分,无法定位具体错误位置与类型,更无法驱动后续定向修正;(3)现有方法未对医学实体的肯定/否定状态进行结构化建模,无法自动识别报告内部的极性冲突;(4)本地轻量级模型的生成能力有限,亟需一种闭环纠偏机制,在不依赖外部大模型的前提下持续提升报告质量。
2、为实现上述目的,本发明提供一种肌骨x线报告多智能体协同生成方法,所述方法包括以下步骤:
3、步骤s1,获取并组织病例信息,所述病例信息包括肌骨x线影像及对应的病例文本信息;
4、步骤s2,基于所述病例信息通过多模态报告生成模型生成初始报告,所述初始报告包括影像描述区段和诊断意见区段;
5、步骤s3,对所述初始报告中的影像描述区段和诊断意见区段分别进行医学实体抽取,获得结构化医学实体集合,所述结构化医学实体包含实体文本、实体类型、所属报告区段以及肯定/否定状态;
6、步骤s4,基于所述结构化医学实体集合执行一致性校验,当校验发现预设类型的错误时,生成结构化错误对象,所述结构化错误对象包含错误类型、错误实体、错误原因和修正提示;
7、步骤s5,将所述结构化错误对象、所述病例信息及所述初始报告共同组成修正上下文,基于所述修正上下文重新通过多模态报告生成模型进行定向修正,生成修正版报告;
8、步骤s6,对所述修正版报告再次执行医学实体抽取和一致性校验,直至校验通过或达到预设的最大修正次数,达到最大修正次数仍未通过时标记为人工复核。
9、可选地,在步骤s4中,所述一致性校验包括以下一项或多项:
10、(1)解剖一致性校验:判断影像描述区段与诊断意见区段中涉及的解剖部位和侧别是否相互冲突;
11、(2)病变一致性校验:判断影像描述区段中描述的主要病变与诊断意见区段中的诊断结论是否具有对应关系;
12、(3)否定状态一致性校验:判断同一归一化实体在影像描述区段中被否定而在诊断意见区段中被肯定是否存在合理依据;
13、(4)结构完整性校验:判断影像描述区段和诊断意见区段是否均存在。
14、可选地,在步骤s3中,所述医学实体类型包括用于表示解剖结构的anatomy类型、用于表示疾病概念的disease类型、用于表示异常表现的abnormality类型、用于表示被否定的疾病概念的non-disease类型、以及用于表示被否定的异常表现的non-abnormality类型。
15、可选地,在步骤s3中,在完成医学实体抽取后,还执行实体规范化处理,所述实体规范化处理包括去除首尾空格、统一大小写和常见标点,以及采用医学同义词词典、标准术语映射或医学语义向量相似度中的一种或多种方式进行归一化匹配。
16、可选地,所述方法还包括:
17、利用客观质量控制模型计算生成报告与参考报告之间的多维客观评价向量,所述多维客观评价向量包括医学语义相似度指标、医学实体语义评分指标、上下文语义匹配指标以及文本覆盖指标中的两项或多项。
18、可选地,所述方法还包括:
19、利用临床质量评价模型按照科学术语、连贯性、具体诊断、鉴别诊断、处理建议、正确性、全面性、无害性和无偏性九个维度对生成报告进行1~5级结构化评价,输出各维度的评分及评分理由;其中,对于参考报告中未包含的鉴别诊断或处理建议,不将其作为生成报告的额外扣分依据。
20、此外,为了实现上述目的,本发明还提供一种肌骨x线报告多智能体协同生成系统,所述系统包括:
21、病例输入与预处理模块,用于获取并组织病例信息,所述病例信息至少包括肌骨x线影像及对应的病例文本信息;
22、多模态报告生成智能体,用于基于所述病例信息生成初始报告,所述初始报告至少包括影像描述区段和诊断意见区段;
23、医学实体与一致性约束智能体,用于对所述初始报告中的影像描述区段和诊断意见区段分别进行医学实体抽取,获得结构化医学实体集合,所述结构化医学实体至少包含实体文本、实体类型、所属报告区段以及肯定/否定状态;并基于所述结构化医学实体集合执行一致性校验,当校验发现预设类型的错误时,生成结构化错误对象,所述结构化错误对象至少包含错误类型、错误实体、错误原因和修正提示;
24、流程调度与反馈模块,用于将所述结构化错误对象、所述病例信息及所述初始报告共同组成修正上下文,重新调用所述多模态报告生成智能体进行定向修正,生成修正版报告;并对所述修正版报告再次触发校验,直至校验通过或达到预设的最大修正次数,达到最大修正次数仍未通过时标记为人工复核。
25、可选地,所述流程调度与反馈模块采用确定性状态机进行状态控制,所述确定性状态机包括input病例组织状态、generated初始报告生成状态、checked校验完成状态、revise定向修正状态和pass校验通过状态;其中,revise状态在达到最大修正次数后转入人工复核状态。
26、可选地,所述系统还包括:
27、客观质量控制智能体,用于计算生成报告与参考报告之间的多维客观评价向量,所述多维客观评价向量至少包括医学语义相似度指标、医学实体语义评分指标、上下文语义匹配指标以及文本覆盖指标中的两项或多项;
28、和/或,临床质量评价智能体,用于按照科学术语、连贯性、具体诊断、鉴别诊断、处理建议、正确性、全面性、无害性和无偏性九个维度对生成报告进行1~5级结构化评价,输出各维度的评分及评分理由;其中,对于参考报告中未包含的鉴别诊断或处理建议,不将其作为生成报告的额外扣分依据。
29、此外,为了实现上述目的,本发明还提供一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如所述的肌骨x线报告多智能体协同生成方法的步骤。
30、有益效果:
31、(1)本发明通过在生成报告后增加医学实体层中间表征,对影像描述区段和诊断意见区段分别进行实体抽取和一致性校验,能够自动检测并纠正报告内部的解剖侧别冲突、病变肯否定矛盾、诊断意见缺失等强约束错误,并通过定向修正机制予以纠正。与传统的单次生成方法相比,本发明的“生成-校验-修正”闭环机制能够识别并减少报告内部的解剖侧别冲突、病变肯否定矛盾等自相矛盾问题,使生成报告在医学逻辑层面具备更高的可靠性。
32、(2)本发明在修正过程中,仅将结构化错误对象与原始输入共同组成修正上下文,并明确要求模型仅针对错误项进行更正、维持未被判定为错误的有效内容不变。这种定向修正策略避免了全局重写可能引入的新错误,保证了修正过程的精准性和可控性,同时保留了原始生成中合理的内容。
33、(3)本发明设计了“在线无金标准一致性校验+离线有金标准多维评价”的双模式质量控制框架。在临床实时生成场景中,仅依赖报告内部结构完整性和医学实体一致性进行校验,不依赖不存在的参考报告;在模型训练、验证和评测场景中,进一步引入clinicalbert语义相似度、ratescore医学实体语义评分、bertscore上下文语义匹配和rouge-l文本覆盖等客观评价指标,以及九维临床质量评价。同一质量控制框架既能服务真实报告生成,又能服务模型迭代验证,避免了将仅适用于实验评测的参考答案指标错误地用于临床实时生成。
34、(4)本发明采用确定性状态机驱动的流程调度,每一病例依次经历input→generated→checked→revise→pass的状态转移,确保整个生成与修正流程可收敛、可追溯、可终止,达到最大修正次数后转入人工复核,兼顾自动化效率与安全性。
35、(5)本发明的多模态报告生成模型部署于医院内网gpu服务器,所有影像和文本数据均在院内受控环境中处理,不传输至院外服务,有效保障了患者隐私和医疗数据安全,符合医疗机构的数据合规要求。此外,本发明的“生成-校验-修正”的多智能体协同框架不仅适用于肌骨x线报告的自动生成,还可推广至其他医学影像报告生成任务(如胸部x线、ct、mri等),具有良好的可扩展性和通用性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com