基于解剖约束注意力的可解释性MRI影像分析方法及系统
本发明涉及医学影像智能分析与计算机辅助诊断领域,具体涉及基于解剖约束注意力的可解释性mri影像分析方法及系统。
背景技术:
1、当前基于深度学习的mri影像分析系统在各类疾病诊断中均已得到初步应用,特别由于resnet网络的特性,使用该框架进行的分类识别应用十分广泛。然而目前相关的现有技术仍在通道冗余、注意力失效、随机漏诊等问题上面临诸多技术瓶颈和局限性。并且,在针对niid与脑积水的mri图像自动鉴别这一具体临床场景中,尚未有相关技术突破。因此在模型架构的适配性、注意力机制的有效性、决策策略的精细度以及训练方法的针对性等方面均迫切需要一种能够系统解决上述技术瓶颈的创新解决方案,以实现对niid与脑积水等神经系统疾病的高精度、高可靠性的自动鉴别诊断。
2、公开号cn114897866a的专利申请提出一种基于resnet模型的肝癌核磁图像分类方法,该方法公开了将resnet101模型与cbam注意力机制相结合的技术方案,用于肝细胞癌和肝内胆管细胞癌的鉴别诊断。该技术通过引入通道注意力和空间注意力机制,增强了模型对病灶区域的关注能力,并在残差结构中加入归一化层和激活函数以提升网络稳定性。然而,该方案存在以下明显不足:首先,其注意力机制的引入位置相对固定,仅置于第一层卷积层之前,未能充分挖掘深层特征中的鉴别信息;其次,该方案缺乏对诊断决策过程的可视化解释,医师无法直观理解模型的判断依据;最后,该技术针对的是二维静态图像分析,未能充分考虑医学影像中常见的多切片、多时序特性。
3、公开号cn115272218a的专利申请提出一种基于cbam机制的残差网络的医学影像辅助检测方法,该方法将cbam注意力机制嵌入res2net残差网络的技术方案,用于胸部x光片检测,并采用grad-cam++算法生成热力图进行病灶区域可视化。该技术在可解释性方面取得了一定进展,但其注意力模块的集成方式较为传统,仅简单插入每个残差块的最后一层,未能实现注意力机制与网络架构的深度自适应融合。此外,该方案的热力图生成方法仍基于传统的梯度加权机制,对复杂脑部疾病中细微病灶的定位精度有限。
4、公开号cn117788954a的专利申请提出一种基于注意力机制双通道卷积神经网络的肺部ct结节分类方法,该方法采用的"随机抽取数层+均值概率"的患者级决策方式,这种方法极易丢失关键切片中的诊断信息,且权重分配与模型训练过程完全脱节,对于niid与脑积水这类在mri多切片中可能仅在某些关键层面表现出特征性改变的疾病,这种粗放的决策策略可能导致临床漏诊率居高不下。
5、现有技术缺乏针对医学影像数据特性的专用训练策略。多数方法未能充分考虑患者级别的数据划分、关键切片自动筛选机制等医学影像特有属性,导致模型在实际临床场景中的泛化能力受到限制。同时,现有可解释性方法生成的热力图往往定位模糊,与实际医师的临床诊断焦点存在显著偏差,降低了辅助诊断系统的临床接受度。
6、另外,现有标准cbam、se、eca等通道注意力机制通常依赖全局池化及参数映射生成通道权重,缺少病变候选区域与解剖先验的联合约束,难以量化通道激活空间分布与疾病相关候选区域之间的匹配关系,容易受到背景区域响应的干扰。因此,需要一种引入病变候选区域和解剖先验约束的通道权重修正方案,以改善疾病相关特征通道的选择及模型注意力的空间一致性。
技术实现思路
1、为此,本发明提供基于解剖约束注意力的可解释性mri影像分析方法及系统,旨在解决目前在mri影像智能分析领域中的双重困境,尤其可应用于niid与脑积水的图像辨别领域。
2、为了实现上述目的,本发明提供如下技术方案:基于解剖约束注意力的可解释性mri影像分析方法,包括以下步骤:
3、患者切片输入后读取并解析输入的多图片格式原始mri影像转换成适配预训练模型输入要求的标准三通道rgb格式;将标准三通道rgb作为u²-net深度网络的输入,用于预测全脑掩膜,标记全脑组织区域的概率图;
4、概率图经序列自适应阈值动态调整颅骨分割阈值,获得精细二值掩膜,三通道扩展后与原始mri影像做与运算,得到仅保留颅内区域的单通道灰度图像,记作剥离后的切片;
5、在单通道灰度图上完成对颅骨剥离后的图像数据增强并进行患者隔离采样,得到预处理后的mri切片图像;
6、将预处理后的mri切片图像输入深度学习模型,所述深度学习模型采用resnet50作为骨干网络,将首层卷积核改为单通道并使用原三通道预训练权重的平均值初始化;构建基于cbam改造的解剖约束注意力模块,通过模板配准、dicom切片位置信息映射或二维解剖定位器生成与当前二维切片对应的解剖区域掩码,并将该掩码缩放至与输入切片、特征图或热力图一致的空间尺度;在resnet50的bottleneck第三个卷积层之后,将空间注意力图与解剖区域掩码融合,引导空间响应集中于疾病相关解剖区域;
7、通道注意力采用两级权重结构:cbam全局池化-mlp分支生成基础通道权重,空间匹配度修正分支生成通道修正权重。所述修正分支获取与mri序列相适配的候选区域掩码,将各通道激活特征图缩放至候选区域掩码的空间尺寸,计算二者的空间匹配度,并根据空间匹配度生成经裁剪或归一化的通道修正权重,再与基础通道权重融合,得到最终通道权重。
8、对于flair序列,利用灰度直方图或分位数阈值提取高信号候选区域掩码,并与配准后的解剖区域掩码融合得到目标候选区域;对于dwi、t1和t2序列,可采用相应的序列特异候选区域规则,未配置相应规则时将修正权重设为中性值并关闭该修正分支。训练阶段另设解剖区域对齐损失,对解剖区域掩码外的注意力响应施加约束;该训练期全局约束与特征提取阶段的局部通道权重修正相互独立。
9、通过分层解冻训练,在第一阶段冻结layer1至layer3的所有参数,仅训练layer4与全连接层,以保障注意力机制的基础特征质量;在第二阶段解冻全部网络参数结合低学习率,实现注意力机制主导特征优化;
10、基于患者id列表做5折划分,确保同一患者切片仅归属训练集/验证集; 每折独立训练模型副本,以验证集auc为核心指标,筛选出最优模型保存,作为后续患者级研判、测试评估的核心推理引擎;
11、利用最优模型对单个患者的全部mri切片进行自动推理,并通过关键切片筛选与概率融合策略,并引入动态加权与投票混合机制,生成该患者的结构化患者级诊断结果字典,以实现患者级别研判决策;
12、通过结构化患者级诊断结果字典中患者关键切片判别特征生成可视化的热力图,最终生成结构化诊断报告,作为热力图解释。
13、优选的,序列自适应阈值动态调整的过程如下:
14、根据原始mri影像预先生成各mri序列类型的灰度统计特征库,包括像素强度分位数、分布偏度及峰度指标;其中,像素强度分位数采用中位数表征信号中心趋势,以抵抗异常像素干扰;分布偏度用于刻画灰度分布的不对称性,不同序列因组织对比度差异呈现distinct 偏态特征;峰度则反映信号分布的集中或离散程度,辅助区分均匀背景与结构化组织区域;对输入的患者同序列切片提取当前灰度统计特征,通过马氏距离度量算法匹配最相似的序列类型;基于匹配结果动态分配颅骨分割阈值,其中dwi序列阈值范围设为0.20-0.30,t1序列阈值范围设为0.45-0.55,flair及t2序列阈值范围设为0.35-0.45。
15、优选的,采用轻量级efficientnetv3-small作为分类骨干,剥离后的切片通过迁移学习微调输出层以适配三分类任务,以实现伪影识别子,三分类任务包括正常切片、轻微可接受伪影以及严重干扰伪影,训练时严重干扰伪影类别采用加权损失;
16、优选的,自动推理阶段将颅骨剥离后的切片输入网络,若严重干扰伪影类别预测概率大于0.7,则将该切片存入隔离目录并在文件名标记伪影类型,同时生成包含患者id、序列类型、切片路径及置信度的结构化质量控制日志,轻微伪影切片保留但标记降权,最终输出患者-序列-切片三级目录结构以供调用。
17、优选的,读取剥离后的切片目录,建立批数据文件清单,使得同一患者、同一序列下的重复文件名仅保留一份;通过pil库预打开所有图像进行完整性验证:无法打开、文件大小为0或存在单像素异常的图像自动剔除,并记录日志,确保后续训练过程不会因损坏图像中断。
18、优选的,采用patientawaresampler采样器对患者隔离采样:建立患者-切片二级索引映射,随机重排患者列表及每名患者的切片索引;构造训练批次时按患者间轮询方式从不同患者的索引列表中依次抽取切片,达到预设批次大小后进入下一批次;当剩余患者数量不足时再循环抽取,从而减少单个训练批次内同一患者切片集中出现的情况。
19、优选的,在resnet50的bottleneck的第三个卷积层之后,将疾病特异性先验知识嵌入注意力机制,公式为:
20、;
21、其中是融合后的最终通道权重,包括基础通道权重和通道修正权重;是空间注意力图;是解剖区域掩码;是最终输出的注意力加权特征图;是bottleneck第三个卷积层输出特征图;表示hadamard乘积;对于flair序列,候选区域掩码为高信号候选区域掩码与解剖区域掩码的融合结果;当候选区域面积低于预设下限、掩码全0或全1、通道激活方差为0或空间匹配度不可计算时,将修正权重设为中性值或跳过修正;对于dwi、t1或t2序列,可根据序列特性配置候选区域生成规则;未配置相应规则时,将通道修正权重设为中性值并关闭空间匹配度修正支路。;
22、其中,融合后的最终通道权重的获取过程具体为:
23、表示bottleneck第三个卷积层输出特征图,表示cbam基础通道权重,表示序列候选区域掩码,表示解剖区域掩码,表示目标候选区域掩码,表示第个通道激活图,表示空间匹配度,表示第通道修正权重,表示融合后的最终通道权重;
24、cbam基础通道权重为:
25、;
26、对于flair序列,目标候选区域掩码为:
27、;
28、其中,为高信号候选区域掩码,为缩放到同一空间尺度的解剖区域掩码;
29、对第个通道激活图进行尺寸统一并展平:
30、;
31、空间匹配度采用pearson相关系数:
32、;
33、其中,为防止分母为0的常数;
34、通道修正权重采用如下可执行规则生成:
35、;
36、其中,为空间匹配度阈值,为增强系数,空间匹配度阈值和增强系数通过验证集或交叉验证确定;和分别为修正权重下限和上限;
37、最终通道权重为:
38、。
39、优选的,在损失函数中新增解剖区域对齐损失项,通过l2正则约束深度学习模型注意力权重集中在目标解剖区域,总损失公式为:
40、;
41、其中,是niid/脑积水二分类交叉熵分类损失,是解剖区域对齐损失,是正则化系数;所述解剖区域对齐损失用于训练阶段的全局约束,区别于特征提取阶段的空间匹配度通道修正;
42、;
43、其中,表示第张切片的niid 阳性预测概率;表示批次样本总数;表示第个患者真实标签;
44、解剖区域对齐损失采用与空间注意力图同尺度的解剖区域掩码计算:
45、;
46、其中,表示掩码外区域。
47、优选的,患者的结构化患者级诊断结果字典生成过程如下:
48、切片级推理,加载最优模型,遍历指定患者的所有预处理后的mri切片图像并输入最优模型,获取每张切片属于niid的原始概率值,取值范围[0,1];
49、关键切片自动筛选,调用自定义关键切片识别方法,从单个患者的全部mri切片中,自动筛选出对最终诊断最具决定性的关键切片,自定义关键切片识别方法具体如下:
50、prob_niid列表用于按切片顺序存储该患者全部张切片的niid预测概率值,即原始概率值;建立与prob_niid列表相互独立的索引列表,用于存储筛选出的top_k张关键切片在prob_niid列表中的下标;
51、采用决策置信度对切片进行排序,0.5 是二分类临界阈值;当筛选目标为niid阳性关键切片时,按照niid预测概率降序排序;当时,,否则,其中表示向下取整;
52、融合解剖维度与患者级临床维度信息:解剖维度上,计算候选区域或热力图高响应区域与目标解剖区域掩码之间的dice系数,得到解剖匹配度,得到的解剖匹配度与切片决策置信度共同确定动态权重,和为权重调节系数;为解剖影响因子,取值范围[0,1];β为决策置信度调节系数,取值范围[0,2];项引入解剖先验进行增益修正;
53、临床维度上,将患者年龄、高血压病史作为患者级融合校正项,不直接作为单张切片的空间权重;根据病变分布类型调整筛选数量,单病灶患者将切片总数向下取整后与1比较并取较大值作为关键切片数量,多病灶患者将切片总数向下取整后与3比较并取较大值作为关键切片数量;当切片总数小于关键切片数量时取全部切片;
54、患者级融合决策,调用自定义决策融合方法,生成预测判别结果,采用混合融合模式:关键切片分配权重,非关键切片权重;计算加权平均概率:
55、设为关键切片数量,为非关键切片数量,则加权平均概率,若最终,则患者级预测标签为niid,否则为脑积水;
56、对于晚期病变或多病灶病例,当关键切片预测结果中niid标签所占比例≥80%时输出niid标签,否则采用加权平均概率进行判定;最终输出包含预测标签、加权平均概率和关键切片索引的结构化患者级诊断结果字典。
57、优选的,热力图解释处理如下:
58、指定网络中的一个或多个目标层构建多尺度grad-cam,对同一张关键切片分别以niid类别和脑积水类别为目标生成类别相关热力图;各目标层热力图的原始空间尺寸以模型运行时实际输出为准,经双线性插值统一至输入图像尺寸后进行融合,得到归一化类别热力图。
59、引入二维解剖结构先验进行空间约束:根据dicom切片位置信息映射或二维解剖定位器生成当前切片的解剖区域概率图,将其缩放至与类别热力图相同的空间尺度并进行逐像素融合,以引导热力图响应主要集中于临床相关解剖位置;融合后将热力图归一化至[0,1]范围。
60、计算热力图高响应区域与目标解剖结构之间的空间重叠率、高响应像素面积占比及平均归一化类别热力图响应值,形成解剖位置、面积占比和类别响应强度等定量参数;所述类别热力图响应值用于表示模型对相应类别的空间响应强度,不作为逐像素诊断概率。
61、根据niid类别和脑积水类别的归一化热力图响应对高响应区域进行颜色编码,并与原始灰度影像叠加;将二维解剖先验图中的结构轮廓线叠加于彩色热力图,在高响应区域标注对应解剖结构名称,生成可视化结果图及图例。颜色编码表示相应类别的热力图响应,不表示逐像素诊断概率。
62、优选的,结构化诊断报告生成过程如下:
63、报告数据收集与整合,将原始影像信息、和经患者级别研判决策输出的分类诊断信息和热力图可解释输出的热力图及文件存储路径列表信息归集打包到一个结构化的报告数据对象中,然后,进行报告模板填充,使用预定义的html报告模板引擎,将患者基本信息、影像学检查概述、ai诊断结论、叠加原始影像的热力图可解释图像、报告其他备注信息等数据对象动态填充至html模板的对应位置,最后,再将填充好的html报告渲染为pdf文档,按照患者id加日期的命名方式自动保存至一个目录中,根据归档需求提供相应的数据上传接口。
64、本发明还公开了基于解剖约束注意力的可解释性mri影像分析系统,基于上述的方法,系统包括:
65、数据预处理模块,将自动识别输入mri切片图像的多模态文件预处理后,作为模型的输入数据;
66、模型训练与优化模块,接受数据预处理模块的输入数据,输出性能最优的模型权重文件,为患者级别研判决策模块提供推理引擎;
67、患者级别研判决策模块,利用训练好的模型,对单个患者的全部mri切片进行自动推理,并通过关键切片筛选与概率融合策略,生成该患者的结构化患者级诊断结果字典;
68、热力图解释模块,针对单个患者关键切片判别特征生成可视化的热力图,直观展示模型决策所关注的图像区域;
69、报告自动生成模块,最终输出接口自动化合成包含患者信息、ai诊断结论、量化指标、可视化热力图证据的结构化诊断报告,并支持pdf格式导出和标准化病历归档。
70、本发明针对医学影像分析中可能存在的通道冗余、细微异常区域关注不足、多切片信息利用不充分及决策过程不透明等问题,提供如下技术效果:
71、首先,采用单通道适配的cbam-resnet50模型,并利用候选区域空间匹配度和解剖先验修正注意力权重,可减少无关通道和背景区域对特征提取的干扰;
72、其次,通过关键切片筛选与患者级加权融合策略,提高多切片诊断信息的利用效率,减少简单平均造成的关键信息稀释;
73、最后,通过类别热力图与解剖先验的融合展示模型关注区域,提高分析结果的解剖一致性和可解释性,为niid与脑积水的辅助鉴别提供参考。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com