基于人工智能的医学影像报告信息提取方法及系统与流程
本发明涉及智能,具体为基于人工智能的医学影像报告信息提取方法及系统。
背景技术:
1、人工智能的医学影像报告信息提取方法在当今社会中发挥着不可替代的关键作用,其核心价值在于将海量非结构化的自由文本报告自动转化为可计算、可挖掘的结构化医疗数据资产,从根本上解决了影像科医生因超负荷阅片导致的报告质量参差不齐、关键信息遗漏风险增加等结构性矛盾,使医学影像数据从“沉睡的档案”真正成为支撑临床决策与科学研究的活性资源。
2、现有方法中,医学影像报告的处理长期依赖于人工经验,且报告文本的生成与影像数据的解读在流程上相互割裂,本质上是一种“各自为政”的单模态处理方式,导致报告中的主观描述与实际影像量化特征之间存在缺乏客观校验的严重缺陷;当医生因疲劳、疏忽或经验差异导致报告中病灶尺寸、位置等关键信息与影像本身不符时,下游的医疗决策仍基于这份未经核验的报告,从而将误差传递至诊疗全流程,且这些非结构化的报告数据因缺乏与影像特征的结构化对齐,难以被计算机系统自动化解译和深度利用,严重制约了临床辅助诊断的智能化水平与数据复用价值。
技术实现思路
1、为实现以上目的,本发明通过以下技术方案予以实现:基于人工智能的医学影像报告信息提取方法,所述方法包括:
2、步骤s1、获取同一病例的医学影像报告数据和医学影像数据;对医学影像报告数据和医学影像数据进行脱敏处理,得到标准化医学影像报告数据和标准化医学影像数据;
3、步骤s2、根据标准化医学影像报告数据,使用文本分段技术和医学关键词匹配技术,获取结构化医学影像报告数据;
4、步骤s3、根据结构化医学影像报告数据,使用biobert模型和信息抽取网络,获得结构化医学影像报告信息;
5、步骤s4、根据标准化医学影像数据,使用基于深度学习的医学影像特征提取方法,获取医学影像视觉特征数据;
6、步骤s5、根据结构化医学影像报告信息和医学影像视觉特征向量,使用多模态特征融合方法,获取融合医学特征数据;
7、步骤s6、根据融合医学特征数据,使用基于影像视觉特征匹配的一致性验证方法,获取一致性验证结果;
8、步骤s7、根据结构化医学影像报告信息、融合医学特征数据以及一致性验证结果,使用基于字段拼接的报告生成方法,生成增强型结构化医学影像报告。
9、进一步的,所述获取同一病例的医学影像报告数据和医学影像数据,包括:
10、通过与合作医疗机构现有的pacs/ris/his系统进行数据交互,获取患者完成医学影像检查后形成的医学影像数据和医学影像报告数据;
11、通过pacs系统获取患者进行医学影像检查过程中产生的dicom格式的医学影像数据;通过ris系统获取基于所述医学影像数据生成的医学影像报告数据。
12、进一步的,所述对医学影像报告数据和医学影像数据进行脱敏处理,得到标准化医学影像报告数据和标准化医学影像数据,包括:
13、对医学影像报告数据中的敏感信息进行识别和替换,对dicom格式医学影像数据中的敏感标签字段进行清除或置空,形成标准化医学影像报告数据和标准化医学影像数据。
14、进一步的,所述根据标准化医学影像报告数据,使用文本分段技术和医学关键词匹配技术,获取结构化医学影像报告数据,包括:
15、对标准化医学影像报告数据进行分段处理,将标准化医学影像报告数据划分为检查信息区域、影像描述区域以及诊断结论区域;
16、针对不同区域,使用预先建立的医学影像关键词库进行信息提取,提取出检查部位、影像表现、疾病描述以及诊断意见信息;
17、使用医学术语标准化技术,对提取出的检查部位、影像表现、疾病描述以及诊断意见信息进行规范化处理,转换为统一医学术语;
18、并按照预设数据字段进行存储,形成包括检查部位、影像表现、疾病描述以及诊断意见的结构化医学影像报告数据。
19、进一步的,所述根据结构化医学影像报告数据,使用biobert模型和信息抽取网络,获得结构化医学影像报告信息,包括:
20、将检查部位信息、影像表现信息、疾病描述信息以及诊断意见信息进行拼接,生成统一输入文本;
21、将统一输入文本输入biobert模型中,通过模型中的文本编码层对统一输入文本进行分词处理,得到分词;并通过模型的语义编码层中的注意力机制将每个分词转换为对应的医学文本特征向量;
22、将每个分词对应的医学文本特征向量输入至信息抽取网络中,通过信息抽取网络对医学文本特征向量进行医学信息类别标签;
23、基于医学文本特征向量与各医学信息类别之间的匹配关系进行计算,得到每个分词属于不同医学信息类别的概率值,将最大的概率值作为该分词对应的医学信息类别;
24、将各分词与对应的医学信息类别以及各分词在同一输入文本中的位置,对属于同一医学信息类别且连续出现的分词进行归并处理,得到每个医学信息类别的完整医学实体信息;
25、通过每个医学信息类别的完整医学实体信息,得到结构化医学影像报告信息。
26、进一步的,所述根据标准化医学影像数据,使用基于深度学习的医学影像特征提取方法,获取医学影像视觉特征数据,包括:
27、对所述标准化医学影像数据进行预处理,生成标准化影像张量数据;
28、将标准化影像张量数据输入至预训练的医学影像特征提取网络中,得到多尺度影像特征图;
29、所述预训练的医学影像特征提取网络采用基于注意力机制,对提取得到的多尺度影像特征图进行加权增强;将加权增强后的多尺度影像特征图通过全局平均池化层和全连接层进行特征降维,生成固定维度的医学影像视觉特征向量。
30、进一步的,所述根据结构化医学影像报告信息和医学影像视觉特征向量,使用多模态特征融合方法,获取融合医学特征数据,包括:
31、将结构化医学影像报告信息中的关键医学信息,通过预训练的医学文本嵌入模型转换为文本特征向量序列;
32、将医学影像视觉特征向量通过线性映射层进行维度变换,使其与所述文本特征向量序列具有相同的特征维度;
33、采用跨模态注意力融合机制,将所述文本特征向量序列作为查询向量,将所述医学影像视觉特征向量作为键向量和值向量,计算文本特征与视觉特征之间的跨模态注意力权重,得到文本引导的影像增强特征;
34、同时,将所述医学影像视觉特征向量作为查询向量,将所述文本特征向量序列作为键向量和值向量,计算视觉特征与文本特征之间的跨模态注意力权重,得到影像引导的文本增强特征;
35、将所述文本引导的影像增强特征与所述影像引导的文本增强特征进行拼接融合,并通过全连接层进行特征整合,生成融合医学特征数据。
36、进一步的,所述根据融合医学特征数据,使用基于影像视觉特征匹配的一致性验证方法,获取一致性验证结果,包括:
37、从所述融合医学特征数据中提取影像视觉量化特征数据;
38、将所述影像视觉量化特征数据与结构化医学影像报告信息中的影像表现信息和诊断意见信息进行比对验证,计算所述影像视觉量化特征数据与所述影像表现信息中对应的病灶描述参数之间的特征匹配度;
39、根据所述特征匹配度与预设阈值之间的关系,生成一致性验证结果。
40、进一步的,所述根据结构化医学影像报告信息、融合医学特征数据以及一致性验证结果,使用基于字段拼接的报告生成方法,生成增强型结构化医学影像报告,包括:
41、以结构化医学影像报告信息中的检查部位信息、影像表现信息、疾病描述信息以及诊断意见信息作为基础报告内容;
42、将融合医学特征数据中的影像视觉特征关键信息转换为客观描述语句,补充至所述基础报告内容的影像表现信息之后;
43、根据一致性验证结果,对所述基础报告内容进行标注;将上述所有信息按照检查部位、影像表现、疾病描述、诊断意见、补充描述、验证标注的顺序进行拼接,生成增强型结构化医学影像报告。
44、基于人工智能的医学影像报告信息提取系统,所述系统包括:
45、数据预处理模块:获取同一病例的医学影像报告数据和医学影像数据;对医学影像报告数据和医学影像数据进行脱敏处理,得到标准化医学影像报告数据和标准化医学影像数据;
46、报告结构化处理模块:根据标准化医学影像报告数据,使用文本分段技术和医学关键词匹配技术,获取结构化医学影像报告数据;
47、关键信息抽取模块:根据结构化医学影像报告数据,使用biobert模型和信息抽取网络,获得结构化医学影像报告信息;
48、影像特征提取模块:根据标准化医学影像数据,使用基于深度学习的医学影像特征提取方法,获取医学影像视觉特征数据;
49、跨模态融合模块:根据结构化医学影像报告信息和医学影像视觉特征向量,使用多模态特征融合方法,获取融合医学特征数据;
50、一致性校验模块:根据融合医学特征数据,使用基于影像视觉特征匹配的一致性验证方法,获取一致性验证结果;
51、报告生成模块:根据结构化医学影像报告信息、融合医学特征数据以及一致性验证结果,使用基于字段拼接的报告生成方法,生成增强型结构化医学影像报告。
52、本发明提供了基于人工智能的医学影像报告信息提取方法及系统。具备以下有益效果:
53、通过端到端的智能处理机制,将依赖人工完成的海量报告阅读、信息转录、质量核查等任务交由模型自动完成,显著缩短了报告处理时间,有效缓解了影像科医生因超负荷阅片导致的效率瓶颈;在准确性层面,通过引入深度学习模型实现文本实体的精细化抽取,并通过多模态特征融合与双向交叉验证机制,使影像视觉特征与报告文本描述形成相互校验,能够自动发现病灶尺寸、位置等关键信息在影像与报告之间的潜在偏差,为临床提供客观准确的辅助参考;在数据价值层面,通过将非结构化的自由文本报告转化为包含标准化字段的结构化数据,使海量历史影像报告从“沉睡的档案”转变为可计算、可挖掘的结构化医疗数据资产,为多中心临床研究、疾病早期筛查和智能辅助诊断系统的模型训练提供了高质量的数据基础,同时标准化的数据格式也使不同医疗机构之间的影像报告数据得以互联互通,为分级诊疗的落地和优质医疗资源的均衡配置提供了切实可行的技术支撑。综上,本方法不仅是提升影像科工作效率的智能化工具,更是推动医学影像从经验驱动向数据驱动转型、从单体孤立向协同共享演进的核心技术引擎。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com