一种病理全切片渐进式域泛化方法
本发明涉及智能医疗影像分析,更具体的说是涉及一种病理全切片渐进式域泛化方法。
背景技术:
1、目前,病理全切片图像分析模型在跨医院、跨扫描仪、跨染色方案或跨制片流程应用时,普遍面临域偏移问题。具体而言,不同医疗中心在染色试剂、染色流程、扫描设备、成像参数、组织制备方式等方面存在差异,使得同一病理任务下的图像特征分布可能发生明显变化。当模型仅基于有限源域数据训练后直接应用于其他未知中心的病理全切片图像时,容易因源域与目标域之间的分布差异而出现性能下降。
2、针对上述问题,现有技术中主要采用域泛化方法来解决域偏移问题。域泛化方法通常不要求在训练阶段访问目标域数据,而是利用一个或多个源域数据学习更稳定的特征表示,使模型能够推广到未知目标域。现有与本专利最接近的域泛化方法大致可以分为以下三类:基于域对齐的域泛化方法、基于数据增强的域泛化方法以及基于特征解耦的域泛化方法。
3、除上述三类方法外,近年来也有部分域泛化方法借助视觉语言基础模型的语义对齐能力提高泛化性能。例如,通过文本模板构造类别语义特征,或利用语言端概念增强视觉端与任务相关的图像块特征,使模型学习更接近语义层面的类别表征。该类方法能够在一定程度上提升泛化能力,但通常依赖额外文本先验、大规模视觉语言模型以及人工设计的提示模板,大多采用一次性学习、一次性增强、一次性对齐或一次性风格转换的处理方式,缺少根据当前样本域偏移程度进行动态判断和渐进式修正的机制。
4、因此,如何在不访问目标域数据的前提下提升模型对未知域数据的泛化能力,是本领域技术人员亟需解决的问题。
技术实现思路
1、鉴于上述问题,本发明提出了一种克服上述问题或者至少部分地解决上述问题的一种病理全切片渐进式域泛化方法。
2、为了实现上述目的,本发明采用如下技术方案:
3、本发明实施例提供一种病理全切片渐进式域泛化方法,包括以下步骤:
4、s1、获取病理全切片的图像块特征矩阵,构建由多个可学习风格基向量组成的风格基集合,并基于所述风格基集合对所述图像块特征矩阵进行正交分解,根据分解结果中风格分量的变异系数为当前病理全切片自适应选择目标风格基向量,获得与所述目标风格基向量对应的风格特征和类别特征;
5、s2、利用共享分类器分别处理所述风格特征和所述类别特征,通过约束所述风格特征的分类结果趋近于均匀分布并约束所述类别特征的分类结果趋近于真实类别标签,对所述风格基集合和所述共享分类器进行参数更新,以建立源域解耦基准;
6、s3、冻结经所述第一处理阶段更新后的所述风格基集合和所述共享分类器,并利用强化学习代理对所述目标风格基向量进行渐进式迭代调整;其中,在每次迭代中,所述强化学习代理根据当前解耦状态输出停止动作或调整动作,若输出所述调整动作,则结合历史调整轨迹生成新的目标风格基向量,并基于所述新的目标风格基向量重新执行正交分解以更新所述解耦状态;
7、s4、当所述强化学习代理输出所述停止动作或迭代次数达到预设最大值时,停止迭代,并根据最后一次迭代得到的类别特征输出所述病理全切片的分类结果。
8、进一步地,步骤s1中,所述基于所述风格基集合对所述图像块特征矩阵进行正交分解的过程包括:分别计算所述图像块特征矩阵中各图像块特征在每个风格基向量上的投影系数,将所述投影系数与对应风格基向量的乘积作为候选风格特征,并将所述图像块特征减去所述候选风格特征后得到的残差作为候选类别特征。
9、进一步地,所述根据分解结果中风格分量的变异系数为当前病理全切片自适应选择目标风格基向量,包括:分别计算各风格基向量下所有图像块特征的投影系数绝对值的变异系数,并选取变异系数最小的风格基向量作为所述目标风格基向量。
10、进一步地,步骤s2中,所述源域解耦训练过程具体包括:
11、将所述最终选中的风格特征和所述最终选中的类别特征分别输入所述共享分类器,对应得到风格逻辑向量和类别逻辑向量;
12、根据所述风格逻辑向量与均匀分布向量之间的第一差异构建第一损失函数,所述第一损失函数用于约束所述风格特征的分类结果趋近于均匀分布;
13、根据所述类别逻辑向量与真实类别标签之间的第二差异构建第二损失函数,所述第二损失函数用于约束所述类别特征的分类结果趋近于真实类别标签;
14、根据所述风格基集合中各风格基向量之间的正交性偏离程度构建第三损失函数,所述第三损失函数用于约束任意两个风格基向量彼此正交;
15、根据所述第一损失函数、所述第二损失函数和所述第三损失函数的加权和,更新所述共享分类器的参数和所述风格基集合中各风格基向量。
16、进一步地,步骤s3还包括模拟域外样本的构造,具体包括:
17、在所述风格基集合张成空间的正交补空间中采样单位扰动方向,根据所述风格特征的幅值对所述单位扰动方向进行缩放得到增强风格特征,并将所述增强风格特征与所述类别特征叠加,得到模拟域外样本的图像块特征。
18、进一步地,所述强化学习代理包括两个子模块:
19、决策子模块,用于根据当前风格特征和当前类别特征分别经所述共享分类器处理后得到的风格逻辑向量和类别逻辑向量,输出所述停止动作或所述调整动作;
20、调整子模块,用于在输出所述调整动作时,将当前图像块特征矩阵与所述历史调整轨迹输入至vision-transformer网络中,生成下一个目标风格基向量。
21、进一步地,所述历史调整轨迹包括:
22、从初始选中的目标风格基向量至当前目标风格基向量的序列;所述调整子模块将所述当前图像块特征矩阵与所述序列共同输入至所述vision-transformer网络,并取所述vision-transformer网络输出的风格基变化量与当前目标风格基向量的残差和作为所述新的目标风格基向量。
23、进一步地,步骤s3中,所述强化学习代理基于grpo算法进行训练;在训练过程中,对于每个样本采样多条调整轨迹,并根据各轨迹的总奖励计算组内标准化优势函数,以更新所述强化学习代理的参数。
24、进一步地,所述总奖励包括过程奖励和最终奖励;
25、所述过程奖励根据每次调整后风格特征的均匀度指标的改善情况和类别特征的分类损失指标的改善情况确定;
26、所述最终奖励根据最后一次迭代与初次分解得到的所述类别特征的分类置信度的改善情况以及最后一次迭代后所述类别特征的分类正确性确定。
27、进一步地,步骤s4中,所述迭代的过程包括:
28、基于当前目标风格基向量对所述图像块特征矩阵进行正交分解,得到当前风格特征和当前类别特征;
29、将所述当前风格特征和当前类别特征输入所述共享分类器,得到当前风格逻辑向量和当前类别逻辑向量;
30、所述强化学习代理根据所述当前风格逻辑向量和所述当前类别逻辑向量判断是否继续调整。
31、经由上述的技术方案可知,与现有技术相比,本发明公开提供了一种病理全切片渐进式域泛化方法,具备以下有益效果:
32、1、本发明通过引入“先分解、再判断、再调整、再分解”的渐进式处理机制,使模型不再依赖一次性域泛化操作,而是根据每一张wsi当前的解耦状态动态决定是否继续调整。对于与源域较接近的样本,agent可以在初始分解后直接停止,避免不必要的调整破坏原本稳定的类别特征;对于与源域差异较大的样本,agent可以进行多步风格基调整,并在每次调整后重新分解和重新判断,使域外样本逐步进入源域模型能够可靠处理的特征空间。因此,本发明能够根据不同wsi的域偏移程度采取不同的处理路径,提高模型对复杂未知域数据的适应能力和稳定性。
33、2、本发明能够提高域泛化过程的可反馈性和可控性。本发明在每一步调整后,通过风格特征的类别无关性和类别特征的分类判别性来评价当前解耦结果,使模型能够根据当前结果继续调整或停止。也就是说,本发明将域泛化过程从静态的一次性变换过程转化为动态的序列决策过程,使每一次调整都有明确的状态输入、动作输出和反馈依据,从而提升域泛化过程的可解释性和可控性。
34、3、本发明能够降低对多源域数据、目标域数据和外部先验信息的依赖。本发明主要利用源域wsi的patch级特征、可学习风格基、特征空间增强以及强化学习agent进行训练,不要求在训练阶段访问目标域数据,也不要求必须具备明确的域标签或额外人工先验。因此,本发明更适合真实医疗场景中目标域数据难以获取、跨中心数据受隐私限制、域标签不完整或多中心样本不足的应用条件。
35、4、本发明具有较好的计算效率和实际部署价值。病理全切片图像具有极高分辨率,直接在图像层面对整张wsi进行复杂增强、重建或生成会带来较大的计算和存储开销。本发明主要在patch特征空间中进行正交分解、风格增强和风格基调整,不需要反复处理原始亿级像素图像,因此能够降低计算成本。并且,推理阶段只需要训练好的风格基、共享的wsi分类器和agent,即可对每张wsi执行动态分解与判断,具有较好的工程实现可行性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com