基于注意力熵主动感知的肝损伤风险预测系统
本申请涉及数字病理学(digital pathology)与人工智能辅助医学影像分析的交叉,特别是涉及基于注意力熵主动感知的肝损伤风险预测系统。
背景技术:
1、在计算病理学中,全切片图像(whole-slide image, wsi)具有超高空间分辨率(可达数万像素级别),无法直接输入神经网络进行分析。目前主流方案将其建模为多示例学习(multiple instance learning, mil)问题:将 wsi 分割为大量图像块(patch),每个wsi 视为一个“包”(bag),图像块视为“示例”(instance),通过注意力机制聚合示例级特征,得到全切片级别的样本表征,用于下游分类任务。然而,现有 mil 方法存在以下瓶颈:
2、1. 稀疏信号稀释问题:全切片图像中的毒理学病变通常仅占组织总面积的极小部分,标准多示例学习在聚合时容易将大量正常实质组织(parenchyma)与稀疏病变信号等同处理,导致病变特征被稀释,病理嵌入在传递至融合模块时产生不稳定。
3、2. 注意力过度集中与过拟合:传统单分支注意力机制倾向于将权重过度集中于少数几个图像块,造成注意力分布极度不均衡,模型对训练集中的特定区域产生过度依赖,泛化能力差,且无法捕捉异质性形态学模式(如嗜酸性变与脂肪变性等不同病变模式)。
4、3. 计算冗余与标注缺失困境:wsi可生成数十万图像块,现有方法多采用“一次性使用全部图像块”的被动策略,未能在训练过程中动态识别并扩充高信息量区域,也未在注意力层面引入显式的多样性约束。全部参与训练带来巨大计算开销;同时,病理图像缺乏像素级或块级标注,无法通过监督学习筛选有效区域。
5、虽然已有研究尝试通过聚类约束(clam)、双分支结构(dsmil)或伪包机制(dtfd)缓解上述问题,但这些方法仍采用“一次性使用全部图像块”的被动策略,未能在训练过程中动态识别并扩充高信息量区域,也未在注意力层面引入显式的多样性约束。因此,亟需一种能够在无块级标注条件下,主动筛选高信息量图像块、增强注意力分布多样性、抑制正常组织噪声的 wsi 分析技术。
技术实现思路
1、为了解决现有技术的不足,本申请提供了基于注意力熵主动感知的肝损伤风险预测系统,以解决现有技术中存在的以下问题:病变信号稀疏导致的全切片表征不稳定;注意力过度集中导致的过拟合;全量图像块训练带来的计算冗余;缺乏块级标注条件下的有效区域选择困难。
2、基于注意力熵主动感知的肝损伤风险预测系统,包括:
3、特征提取模块,其被配置为:获取待分析的肝脏全切片图像,对获取的图像进行组织区域分割,在分割后的组织区域内按照预设尺寸和步长裁剪得到若干个图像块;利用预训练的视觉编码器对每个图像块进行特征提取,得到对应图像块的特征向量真实值;将全切片图像对应的所有特征向量真实值存储到初始示例包中;
4、初始采样模块,其被配置为:从所述初始示例包中随机采样第一预设比例的图像块,将所有被采样的图像块作为初始训练子集,将未被采样的图像块存储到候选池中;
5、迭代主动感知训练模块,其被配置为:迭代执行步骤(3-1)~步骤(3-3)直至达到预设迭代次数或满足收敛条件:
6、步骤(3-1):基于当前训练子集对多分支注意力编码网络进行训练;
7、步骤(3-2):从所述候选池中随机采样第二预设比例的图像块作为候选集,将候选集输入训练后的多分支注意力编码网络,得到各候选图像块的注意力分数向量;对注意力分数向量进行归一化,计算每个候选图像块的注意力熵;
8、步骤(3-3):将注意力熵排名前第三预设比例的候选图像块从候选池转移至训练子集,更新后的训练子集用于下一轮迭代训练;
9、输出与预测模块,其被配置为:选择验证性能最优的迭代轮次对应的多分支注意力编码网络作为最终模型,将待分析的肝脏全切片图像输入最终模型,得到输出特征向量,基于输出特征向量进行肝脏损伤风险预测。
10、与现有技术相比,本申请具有以下有益效果:
11、1. 通过注意力熵驱动的迭代式图像块主动选择机制,在无块级标注条件下自动识别并聚焦高信息量病变区域,将有效训练图像块数量降低至原始总量的30%~52%,显著减少计算开销;同时使采样区域优先覆盖病变相关形态(如脂肪变性、嗜酸性变),在opentg-gates数据库的dhld数据集上达到acc 0.9009±0.0567、auc 0.9604±0.0345、f10.9001±0.0582,在drcd数据集上auc达0.9326±0.0940,消融实验表明移除主动感知模块后drcd上各指标均下降且标准差增大,证明该机制有效提升了表征稳定性。
12、2. 通过m个并行注意力分支共享门控投影结构与独立分支注意力向量的设计,各分支可分别关注不同形态学模式(如嗜酸性变、脂肪变性、肿胀等),形成多样性注意力-高熵识别-信息扩充-更优表征的正反馈循环;
13、3. 结合随机top-k实例掩码模块,在训练阶段强制分散注意力至更多判别性区域,有效抑制了注意力过度集中导致的过拟合,推理阶段移除掩码模块,不增加任何计算开销。
14、4. 通过将超高维图像块集合蒸馏为128维紧凑样本级表征,并支持与转录组学特征进行门控跨模态融合,多模态融合后在dhld数据集上acc达0.9339±0.0331、f1达0.9344±0.0326,在drcd数据集上acc达0.9062±0.1059、f1达0.9044±0.1102,均显著优于所有单模态基线,验证了紧凑病理表征在跨模态融合场景中的有效性。
1.基于注意力熵主动感知的肝损伤风险预测系统,其特征在于,包括:
2.如权利要求1所述的基于注意力熵主动感知的肝损伤风险预测系统,其特征在于,所述多分支注意力编码网络,包括:
3.如权利要求2所述的基于注意力熵主动感知的肝损伤风险预测系统,其特征在于,所述门控投影结构,具体包括:
4.如权利要求2所述的基于注意力熵主动感知的肝损伤风险预测系统,其特征在于,每个分支结构输出对应的分支包嵌入,将所有分支包嵌入进行融合得到最终包嵌入,具体包括:
5.如权利要求1所述的基于注意力熵主动感知的肝损伤风险预测系统,其特征在于,所述多分支注意力编码网络,每个分支结构还包括:
6.如权利要求1所述的基于注意力熵主动感知的肝损伤风险预测系统,其特征在于,对注意力分数向量进行归一化,计算每个候选图像块的注意力熵,具体包括:将第个候选图像块的维注意力分数向量在分支维度上进行softmax归一化,得到概率分布;
7.如权利要求1所述的基于注意力熵主动感知的肝损伤风险预测系统,其特征在于,将注意力熵排名前第三预设比例的候选图像块从候选池转移至训练子集,更新后的训练子集用于下一轮迭代训练,具体包括:
8.如权利要求1所述的基于注意力熵主动感知的肝损伤风险预测系统,其特征在于,选择验证性能最优的迭代轮次对应的多分支注意力编码网络作为最终模型,具体包括:每轮迭代中,保留验证集上auc与f1分数之和最高的模型状态;t轮迭代结束后,选取验证集性能最高的轮次对应的模型作为最终模型。
9.如权利要求1所述的基于注意力熵主动感知的肝损伤风险预测系统,其特征在于,所述对获取的图像进行组织区域分割,具体包括:
10.如权利要求1所述的基于注意力熵主动感知的肝损伤风险预测系统,其特征在于,所述在分割后的组织区域内按照预设尺寸和步长裁剪得到若干个图像块:在组织掩膜区域内,以256×256像素为尺寸、128像素为步长,在20倍放大倍率下裁剪图像块。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com