一种肛周脓肿及肛瘘的医学影像智能辅助决策方法和系统
本发明涉及医学影像,更具体地,涉及一种肛周脓肿及肛瘘的医学影像智能辅助决策方法和系统。
背景技术:
1、肛周脓肿及肛瘘是肛肠外科常见疾病,具有病灶解剖结构复杂、术后复发率高和易损伤肛门功能等特点,严重影响患者身心健康。磁共振成像mri作为肛周脓肿及肛瘘的一线检查方法,在术前诊断和评估及治疗决策制定中均发挥着重要作用。但目前临床上对肛周疾病的mri判读主要依赖医生主观视觉评估,存在诊断效率低、同质化不高、复杂病灶识别稳定性差等问题,且现有技术也缺少影像智能辅助决策的产品。
2、鉴于肛周脓肿、肛瘘及内口等关键结构在mri影像中往往占比较小,且可能伴随多分支瘘管、深部脓肿及复杂空间走形关系,单纯依赖传统人工阅片或单一影像任务模型,难以同时满足病灶自动检测、肛瘘分型、内口识别及肛周脓肿分型等临床需求。此外,肛周疾病的辅助判断不仅依赖影像形态特征,还与患者临床资料、实验室检查结果等信息密切相关,现有技术对多参数mri影像信息与临床数据的协同利用仍不充分,限制了辅助分析结果的准确性和稳定性。
3、现有技术1(公开号:cn120565112a,申请号:2025106853557,申请日:2025.05.26)公开了一种基于多模态多尺度融合的分类模型、分类方法以及装置,并具体公开了:获取待检测医学图像以及待检测健康数据;分别对所述待检测医学图像以及待检测健康数据进行特征提取,得到视觉特征以及健康特征;对所述视觉特征以及健康特征进行多尺度操作,得到多尺度特征对,对每个尺度的特征对进行特征融合,并对特征融合后的各尺度特征对进行双向多尺度融合,以得到多尺度融合特征;基于多尺度融合特征,得到分类结果。但是该现有技术1存在以下技术问题:其仅通过一维向量交叉注意力实现影像与临床数据的简单融合,整体架构适配通用肺部肿瘤单一分类诊断场景;仅能实现单一肿瘤二分类诊断,无法兼顾病灶定位、分割、分型及病原菌溯源,且针对软组织精细度要求极高的肛周疾病识别精度差。
4、现有技术2(公开号:cn120257205a,申请号:2025103953093,申请日:2025.03.21)公开了一种用于克罗恩肛瘘预测的多模态数据动态融合辅助预测方法及系统,并具体公开了:获取mri影像和临床特征数据,进行基于mri影像的不确定性估计和基于临床特征的不确定性估计,从而实现mri和临床特征两种模态各自的不确定性量化,然后选择对应的阈值策略来衡量可信度;采用多模态动态融合策略,先基于相应的阈值策略计算对应模态的可信度,然后根据可信度自适应加权不同模态的贡献,进行多模态动态融合,以提高分类模型在肛瘘预测中的可靠性与准确性。采用resnet50或mobilenetv2作为特征提取网络对mri影像进行特征提取,采用随机森林对临床特征(患者年龄、bmi、血红蛋白、plpr)进行分类,并结合不确定性估计实现影像模态和临床特征模态的动态融合决策。现有技术2存在以下问题:仅为单一肛瘘分类任务,无定位、无分割、无病灶量化能力,仅能输出笼统分类结果;采用resnet、mobilenet等传统cnn网络,对肛周细小瘘管、微小脓肿、浅表层炎症的长距离依赖特征捕捉能力差,可能存在大量细微病灶漏检的问题;仅能实现肛瘘来源二分类,无法兼顾病灶定位、分割、分型及病原菌溯源。
5、因此,亟需提供一种能够提高肛周疾病影像评估的准确性、提高辅助分析结果的准确性、兼顾病灶定位、分割、分型及病原菌溯源的技术方案。
技术实现思路
1、有鉴于此,本发明提供了一种肛周脓肿及肛瘘的医学影像智能辅助决策方法和系统,用以提高肛周疾病影像评估的准确性、提高辅助分析结果的准确性,用以实现病灶自动检测、肛瘘分型及内口识别、肛周脓肿分型及病原菌分类多项任务的协同输出。
2、通过图像预处理、临床数据预处理、金字塔多尺度特征提取和影像与临床联合特征融合,实现病灶自动检测、肛瘘分型及内口识别、肛周脓肿分型和肛周脓肿病原菌分类等任务的一体化输出,为肛周疾病的标准化影像评估提供技术支撑。
3、第一方面,本发明提供了一种肛周脓肿及肛瘘的医学影像智能辅助决策方法,包括:
4、采集mri序列原始图像,所述mri序列包括t1加权成像、t2加权成像和t2w1压脂像,对所述mri序列原始图像进行预处理,得到预处理后的t1加权成像、预处理后的t2加权成像和预处理后的t2w1压脂像;
5、获取临床数据,所述临床数据至少包括:人口学特征、病史资料、相关化验检查、肛门镜检查、病原菌培养和检测结果、病理结果、mri诊断结果,对所述临床数据进行预处理,得到标准化临床数据;
6、构建多任务深度学习模型,包括:特征提取网络层、区域生成网络、输出网络层、daft临床信息融合模块,利用所述多任务深度学习模型进行病灶自动检测、内口定位、肛周脓肿/肛瘘分型以及病原菌分类,其中,
7、所述特征提取网络层包括深度神经网络swin transformer-tiny和特征金字塔网络fpn,具有多标签多通道输入,通过深度神经网络swin transformer-tiny和特征金字塔网络fpn,对所述预处理后的t1加权成像、预处理后的t2加权成像和预处理后的t2w1压脂像三个模态得到特征图;
8、所述区域生成网络对特征图生成候选感兴趣区域,得到候选区域;
9、所述输出网络层包含病灶分割分支、内口定位分支以及肛周脓肿/肛瘘分型分支,在所述区域生成网络与所述输出网络层之间设置roi align模块,用于从候选区域中提取固定尺寸的区域特征图;
10、病灶分割分支基于roi align模块输出特征,采用cbam注意力模块增强空间与通道信息表达,并输出病灶分割掩膜;
11、内口定位分支采用coord attention模块,对候选区域中可能的内口位置进行坐标注意力增强,并输出内口热力图或定位坐标;
12、分型分支采用squeeze-and-excitation模块,对候选区域或融合特征进行通道加权,输出肛瘘分型和肛周脓肿分型结果;
13、所述病原菌分类任务,结合临床信息融合后的特征进行三分类输出,得到利用所述多任务深度学习模型进行病灶自动检测、内口定位、肛周脓肿/肛瘘分型以及病原菌分类;
14、所述daft临床信息融合模块,用于对所述标准化临床数据和输入图像进行动态调整特征融合结果,包括:
15、对roi align模块输出的区域特征图进行全局平均池化,得到长度为的通道级全局特征向量;然后将该向量与临床信息向量拼接,形成联合特征表示;所述联合特征经第一全连接层压缩至维,经relu激活后,再经第二全连接层映射为长度为的向量,其中前维为,后维为,其中,仅对施加激活函数,不对施加激活,最终利用和对原始区域特征图进行逐通道调制,从而得到融合临床信息后的新特征图。
16、可选地,对所述mri序列原始图像进行预处理包括依次进行的格式转换、去噪、偏置场校正、配准、重采样、强度标准化及感兴趣区域裁剪。
17、可选地,通过深度神经网络swin transformer-tiny和特征金字塔网络fpn,对所述预处理后的t1加权成像、预处理后的t2加权成像和预处理后的t2w1压脂像三个模态得到特征图,包括:
18、将所述预处理后的t1加权成像、预处理后的t2加权成像和预处理后的t2w1压脂像三个模态分别输入到所述特征提取网络层,输入集合为:
19、;
20、其中,为预处理后的t1加权成像,为预处理后的t2加权成像,为预处理后的t2w1压脂像;
21、经过四个阶段的swin transformer-tiny特征提取,得到三个模态在四个阶段的多尺度特征图,并输出,设第个模态图像在第个阶段输出的特征图为:
22、;
23、其中,,分别对应预处理后的t1加权成像、预处理后的t2加权成像和预处理后的t2w1压脂像;,对应第1至第4个阶段;表示第个模态在第个阶段的swin transformer-tiny特征提取操作;
24、在每个阶段中,不同模态之间设置特征融合模块,对同层级的多模态特征跨模态融合,设第个阶段三个模态的输出分别为、、,则特征融合后的特征图表示为:
25、;
26、其中,表示通道维度上的特征拼接操作,表示第个阶段融合后的多模态特征图;
27、在得到各阶段特征融合后,采用fnp构建自定向下的特征金字塔,高层特征图经上采样后,与相邻低层特征图进行横向连接并相加,形成兼顾高层语义信息和低层空间细节的多尺度特征表达,包括设第个阶段fpn路径中经上采样和横向连接后得到的特征为,则第个阶段的最终输出特征表示为:
28、;
29、其中,表示逐元素相加,表示第个阶段经fpn融合后输出的特征图,作为后续任务分支的多尺度输入。
30、可选地,所述区域生成网络对特征图生成候选感兴趣区域,得到候选区域,包括:
31、在经fpn融合后输出的特征图上滑动窗口,对每个位置预设若干锚点框,并分别预测每个锚点是否包含目标的分类得分以及该锚点到真实目标框的回归偏移量,其分类与回归表示为:
32、;
33、;
34、其中,表示候选框为目标区域的概率,表示候选框坐标的回归结果。
35、可选地,从候选区域中提取固定尺寸的区域特征图,表达式为:
36、;
37、其中,表示由候选区域提取的固定尺寸特征图,表示候选区域坐标信息。
38、可选地,采用不确定性加权策略对多任务损失进行联合优化,设病灶分割损失为,内口定位损失为,分型损失为,则总损失可表示为:
39、;
40、其中,为任务的可学习不确定性参数。
41、可选地,所述daft临床信息融合模块,用于对所述标准化临床数据和输入图像进行动态调整特征融合结果,包括:
42、假设对于数据集中的第i个分割实例,其临床信息向量表示为:
43、;
44、其roi级别的图像特征图表示为:
45、;
46、其中,表示通道索引,daft特征向量融合模块通过辅助网络根据图像特征和临床信息共同生成缩放系数和偏移量,并对原始特征图进行逐通道仿射变换:
47、;
48、;
49、;
50、其中,和为由辅助神经网络建模的映射函数。
51、第二方面,本发明提供了一种肛周脓肿及肛瘘的医学影像智能辅助决策系统,应用于上述辅助决策方法,包括:图像预处理模块、临床数据预处理模块、多模态影像的金字塔特征融合模型、daft临床信息融合模块、区域生成网络和roi align模块,其中,
52、所述图像预处理模块,用于对采集的mri序列原始图像进行预处理,得到预处理后的t1加权成像、预处理后的t2加权成像和预处理后的t2w1压脂像;
53、所述临床数据预处理模块,用于对所述临床数据进行预处理,得到标准化临床数据;
54、所述多模态影像的金字塔特征融合模型,用于提取多尺度影像特征;
55、所述daft临床信息融合模块,用于将临床信息和多种mri序列的影像特征进行融合;
56、将临床信息和多种mri序列的影像特征进行融合后,经过所述区域生成网络和roialign模块处理,分别输出病灶自动检测分支、内口定位分支、肛周脓肿/肛瘘分型分支以及病原菌分类分支。
57、第三方面,本发明还提供了了一种mri装置,包括上述辅助决策系统,执行上述辅助决策方法。
58、本发明中的多任务深度学习模型以swin transformer-tiny为主干,结合特征金字塔网络(feature pyramid network,fpn),实现对不同尺度病变结构的统一建模。该结构兼顾长程依赖建模能力与多尺度特征融合能力,可同时识别大脓肿范围结构与微小内口等关键目标。在多任务协同方面,模型在共享主干特征基础上实现多项关键任务,包括病灶分割、疾病分型、内口定位及病原菌分类。针对不同任务关注信息差异,构建任务定向注意力机制,并采用不确定性加权策略动态平衡多任务损失,提升训练稳定性与整体性能。模型输出聚焦于影像端关键结构与诊断要素,结合分割精度、分类准确率及定位误差等指标进行综合评估,并引入可解释性分析确保结果具备临床可信度。
59、与现有技术相比,本发明提供的肛周脓肿及肛瘘的医学影像智能辅助决策方法和系统,至少实现了如下的有益效果:
60、本发明构建了面向肛周脓肿及肛瘘的多任务深度学习模型,能够对多参数mri图像特征和临床资料进行提取和融合,实现病灶自动检测、肛瘘分型及内口识别、肛周脓肿分型及病原菌分类多项任务的协同输出。与现有主要依赖人工阅片或单一任务分析的方法相比,本发明能够提高肛周疾病影像评估的效率、准确性和同质化程度,增强复杂病灶及小目标结构的识别能力。
61、与现有技术相比,本发明不是采用基于主方向二维切片的双模块粗分割和精分割技术路线,也不是采用以u-net、2.5d模型或3d cnn为主的肛疾诊断模型,而是基于t1wi、t2wi和t2wi_fs三种mri序列,构建swin transformer-tiny结合特征金字塔网络的多模态特征提取框架,并通过区域生成网络和roi align提取候选区域特征,结合daft临床信息融合模块实现临床信息与影像特征的动态仿射融合,最终在统一框架下实现病灶自动检测、内口定位、肛瘘分型、肛周脓肿分型及病原菌分类等多任务联合输出。由此,可提高肛周疾病术前影像评估的准确性、一致性和临床适用性。
62、当然,实施本发明的任一产品必不特定需要同时达到以上所述的所有技术效果。
63、通过以下参照附图对本发明的示例性实施例的详细描述,本发明的其它特征及其优点将会变得清楚。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com