一种基于双向跨模态虚拟染色与双锚定自适应校准的胃癌Claudin18.2表达多维度定量评估方法及系统与流程
本发明涉及数字病理图像处理与人工智能辅助分析,具体涉及一种基于双向跨模态虚拟染色与双锚定自适应校准的胃癌claudin18.2表达多维度定量评估方法及系统,属于病理组学与人工智能交叉领域。
背景技术:
1、claudin18.2(claudin18 isoform 2,cldn18.2)是紧密连接蛋白家族的重要成员,在正常组织中主要局限表达于胃黏膜上皮细胞,而在胃癌及胃食管结合部腺癌发生过程中,其异常暴露并持续表达。近年来,随着针对cldn18.2的单克隆抗体(如zolbetuximab)、抗体偶联药物(adc)以及嵌合抗原受体t细胞(car-t)等靶向治疗策略的快速发展,cldn18.2已成为胃癌精准治疗的重要生物标志物,其表达水平直接关系到患者的治疗决策及临床获益。
2、目前,临床上评估cldn18.2表达状态的金标准仍为免疫组织化学(immunohistochemistry,ihc)染色。病理医生通常依据肿瘤细胞膜染色的阳性比例(0~100%)、染色强度(0、1+、2+、3+)以及膜染色模式(侧边膜、基底侧膜或环状完整膜)等指标进行综合判读,并形成相应的表达评分结果。然而,ihc检测存在诸多局限性:
3、第一,ihc检测需要额外制备组织切片、使用特异性抗体试剂并依赖自动化染色设备及人工阅片流程,不仅增加了检测成本,也延长了病理诊断周期,在部分基层医疗机构中难以常规开展。此外,对于晚期胃癌患者的穿刺或内镜活检标本,由于组织量有限,大批量进行多项诊断与治疗相关免疫组化检测容易造成组织耗竭,影响后续分子检测及治疗决策。
4、第二,cldn18.2免疫组化结果的判读具有较强的主观性。尤其是在弱阳性(1+)与中度阳性(2+)的界定、不完全膜染色模式的识别以及肿瘤空间异质性较高区域的评估过程中,不同病理医生之间的一致性存在明显差异,容易导致评分结果波动,影响临床决策的稳定性和可重复性。
5、随着数字病理与人工智能技术的发展,基于h&e染色图像预测免疫组化结果的方法逐渐受到关注。目前,相关技术主要包括基于卷积神经网络(cnn)或多示例学习(mil)的弱监督分类方法,以及基于pix2pix、cyclegan等模型的图像翻译式虚拟染色方法。然而,现有技术仍存在以下不足:
6、第一,由于h&e图像中细胞膜边界及膜结构特征并不明显,模型缺乏明确的膜结构信息引导,导致其往往只能实现粗粒度的阴阳性判别,难以输出临床所需的染色比例、染色强度及膜定位等细粒度量化指标,可解释性较差。
7、第二,基于图像翻译的虚拟染色方法虽然能够实现h&e图像向ihc图像的转换,但大多数方法采用全局映射策略,容易在间质区、炎症浸润区及非肿瘤区域产生伪影或假阳性着色现象。此外,现有方法通常未对组织学特征和染色特征进行有效解耦,难以准确分离与cldn18.2表达相关的关键特征,尤其在黏液腺癌、炎症细胞浸润或空间异质性较高区域容易发生误判,尚难满足临床诊断级应用需求。
8、第三,在临床实际免疫组化染色过程中,为保证染色结果的准确性,病理医生通常会在组织切片旁同步放置标准阴阳性对照组织(如羊膜卷),用于校准不同批次、不同仪器及不同染色条件下的染色强度差异。然而,现有基于h&e图像预测ihc结果的人工智能模型缺乏类似的标准参照机制,在面对不同医疗机构、不同扫描设备及不同h&e染色条件所产生的图像色彩差异时,模型预测结果容易发生定量漂移,难以实现跨中心标准化。
9、第四,现有模型缺少对背景噪声及非特异性区域的动态校正能力,无法像专业的病理医生依据对照组织对染色深浅进行实时校准,因此在高异质性区域容易产生假阳性或假阴性预测结果。
10、综上所述,亟需一种能够基于常规h&e染色切片,实现胃癌claudin18.2表达状态多维度、精准、稳定评估的方法,以克服上述现有技术的缺陷。
技术实现思路
1、本发明设计了一种基于双向跨模态虚拟染色与双锚定自适应校准的胃癌claudin18.2表达多维度定量评估方法及系统,其解决的技术问题是现有基于he图像的claudin18.2自动化评估方法因he切片缺乏显性细胞膜颜色对比,模型无法精确量化“染色比例、染色强度、膜染色位置”三维临床指标;同时现有ai模型缺乏绝对显色参照物,跨批次预测稳定性差,易受胃癌异质性微环境干扰,导致假阳性/假阴性率高,难以满足临床诊断需求。
2、为了解决上述存在的技术问题,本发明采用了以下方案:
3、一种基于双向跨模态虚拟染色与双锚定自适应校准的胃癌claudin18.2表达多维度定量评估方法,包括以下步骤:
4、步骤1:获取胃癌患者h&e染色全扫描切片图像,进行色彩归一化处理,采用轻量级语义分割网络提取图像中的肿瘤实质上皮区域与患者自身正常胃黏膜腺体区域,剔除无细胞区域;引入细胞中心空间感知重采样机制,利用细胞核检测算法锁定各细胞核的质心作为物理锚点,自适应向外扩张提取包含完整细胞质与细胞膜边界的局部图像块;
5、步骤2:构建双向跨模态虚拟染色对抗网络bi-vcan作为特征提取器,其包含将he模态转化为虚拟claudin18.2 ihc模态特征的生成器gh→i,以及将虚拟ihc模态逆向还原为he模态的生成器gi→h;引入结构一致性损失,利用边缘检测算子提取he图像中的细胞边界结构信息,约束虚拟ihc特征图中的高响应区域与he图像中的细胞膜边界保持空间一致性;步骤3:构建基于ihc阴阳控与内源正常胃黏膜双锚定比对机制的表达强度校准空间;在训练阶段,同步截取ihc切片上的羊膜卷对照区域作为外源最高强度锚点,以及患者自身正常胃黏膜区域作为内源正常表达强度锚点;将羊膜卷ihc特征映射为全局强阳性基准特征向量vmax,将正常胃黏膜ihc特征构建为正常黏膜生理基准向量群vn;以患者正常胃黏膜的配对he-ihc图像块作为跨模态桥接样本,建立跨模态映射关系,使模型学习并固化由羊膜卷与正常胃黏膜共同定义的绝对显色标准;
6、步骤4:将步骤2提取的高阶跨模态转换特征输入解耦多任务头部,分别映射至染色强度子空间si、膜染色位置子空间sl及染色比例子空间sr,实现claudin18.2表达强度、膜定位模式及阳性细胞比例的联合预测;引入正交约束损失以降低三个任务之间的信息耦合;
7、步骤5:采用几何自适应联合损失监督机制对bi-vcan、双锚定校准模块及多任务头部进行端到端联合训练;
8、步骤6:在实际临床推理中,将不含外源羊膜卷的待测患者胃癌he全扫描切片输入训练完毕的模型,模型自动定位切片中内源性正常胃黏膜腺体区域并提取其he特征,基于步骤3建立的跨模态映射关系动态恢复当前切片对应的个体化强度参考尺度,实现跨批次、跨设备的在线自适应校准;采用滑动窗口策略密集推理整张wsi肿瘤实质区域,通过自校准空间拓扑积分器对所有图像块的预测结果进行整片级聚合,输出整张wsi的claudin18.2最终染色强度等级、阳性细胞比例及主要膜表达模式,并生成标准化定量评分报告。
9、优选地,步骤1中所述细胞中心空间感知重采样机制具体为:采用hover-net细胞核检测算法识别组织区域中的所有细胞核并提取其质心坐标;以细胞核质心作为物理锚点,自适应向外扩张形成局部采样区域,图像块尺寸根据局部细胞密度动态调整,细胞密集区域采用256×256像素图像块,细胞稀疏区域采用512×512像素图像块;
10、步骤1中所述色彩归一化处理具体为:将原始rgb图像转换至光学密度空间,通过奇异值分解提取主成分染色矩阵,将原始图像的染色特征映射至预设的标准参考胃癌图像。
11、优选地,步骤2中所述结构一致性损失包括边缘一致性损失lsc和骨架一致性损失lsk:
12、;
13、;
14、;
15、其中,n为一个训练批次中的图像块样本数量,表示第i个he图像块提取的边缘图,表示第i个虚拟ihc图像块提取的边缘图,表示第i个he图像块提取的骨架图,表示第i个虚拟ihc图像块提取的骨架图。‖·‖1是l1范数,即各元素绝对值之和;‖·‖2²是l2范数的平方,即各元素平方和。
16、优选地, 步骤3中所述双锚定比对机制具体为:将羊膜卷图像块xa经共享编码器提取深度特征: ,通过锚定损失将其映射至全局强阳性原型向量vmax;将正常胃黏膜图像块xn提取深度特征,通过锚定损失 ;
17、将其映射至正常黏膜生理参考向量群vn;双锚定联合损失为:。其中,
f
a是羊膜卷图像块的深度特征表示;
e
shared是he和ihc模态共享的编码器网络;
proj是参照物对齐投影层;vmax是全局强阳性原型向量;fn(i)是第i个正常胃黏膜图像块的深度特征;‖·‖2²是l2范数的平方,即欧氏距离的平方。
18、优选地,步骤3中所述跨模态映射关系通过基于边距排序的锚定约束损失实现:;
19、其中,m为排序边距参数,d(·,·)为欧氏距离度量函数,vt为待预测胃癌区域特征向量,vn为正常胃黏膜生理参考原型向量,vmax为全局强阳性原型向量,σt是对当前训练批次中的所有胃癌样本求和,max(0, ·)是截断函数,取0与括号内数值的较大值。
20、优选地,步骤4中所述解耦多任务头部通过三个任务专属投影网络将共享特征fshared映射至三个子空间:
21、fi= pi(fshared) ∈si;
22、fl= pl(fshared) ∈sl;
23、fr= pr(fshared) ∈sr;
24、其中,pi、pl、pr分别表示映射至染色强度子空间si、膜表达位置子空间sl及阳性比例子空间sr的投影网络;fi、fl、fr为映射至各子空间的任务专属特征向量;
25、所述正交约束损失为:
26、其中,上标t表示向量转置,||·||f2表示frobenius范数的平方,即矩阵中各元素平方和。
27、优选地,步骤4中所述染色强度预测采用softmax分类器:pi=softmax(wi⋅fi+bi);
28、强度分类损失为交叉熵损失:;
29、所述膜表达模式预测采用多类别分类器:pl = softmax(wl · fl + bl);
30、膜模式分类损失为:;
31、所述阳性细胞比例预测采用smooth l1损失函数:
32、lr = smoothl1(rpred - rgt);
33、smoothl1(x) = { 0.5·x², if |x| < 1; |x| - 0.5, otherwise };
34、多任务联合损失为:;wi是强度分类器的权重矩阵;bi是强度分类器的偏置向量;pi是输出的强度类别概率向量;wl是膜模式分类器的权重矩阵;bl是膜模式分类器的偏置向量;pl是输出的膜模式类别概率向量;rpred是模型预测的阳性比例;rgt是真实的阳性比例;smoothl1是平滑l1损失函数;λi、λl、λr、λo是各子任务损失的权重系数。
35、优选地,步骤5中所述几何自适应联合损失监督机制的总体损失函数为:;
36、其中,lgan为跨模态生成对抗损失,lcycle为循环一致性损失,ldacic为双锚定表达强度校准损失,ltask为多任务联合损失,lheter为异质性自适应损失;
37、所述异质性自适应损失依据图像块的细胞密度、组织复杂度及模型预测不确定性动态调整训练权重:
38、;
39、;
40、;
41、其中,hi为第i个图像块的综合异质性评分,di为细胞密度指标,ci为组织结构复杂度指标,ui为模型预测不确定性,α、β、γ为权重系数且满足α+β+γ=1,wi为第i个图像块的训练权重;
l
i是表示第i个图像块的基础任务损失。
42、优选地,步骤6中所述自校准空间拓扑积分器对图像块预测结果进行整片级聚合的具体方式为:根据图像块之间的空间邻接关系构建拓扑图结构,对相邻图像块预测结果进行空间平滑与拓扑融合:;
43、整张wsi的阳性细胞比例为:;
44、最终染色强度等级通过置信度加权拓扑映射网络确定:;
45、其中,pi为第i个图像块的原始预测向量,n(i)为与第i个图像块相邻的图像块集合,wij为基于空间距离的邻接权重,η为平滑系数,confi为第i个图像块的模型预测置信度,areai为第i个图像块面积占肿瘤区域总面积的比例;nipositive是第i个图像块中具有阳性膜表达的肿瘤细胞数量;nitotal是第i个图像块中肿瘤细胞总数;
r
wsi是整张wsi层面的阳性细胞比例。
46、一种基于双向跨模态虚拟染色与双锚定自适应校准的胃癌claudin18.2表达多维度定量评估系统,包括:
47、图像预处理模块,用于对获取的胃癌患者h&e染色全扫描切片图像进行色彩归一化,提取肿瘤实质上皮区域与患者自身正常胃黏膜腺体区域,并通过细胞中心空间感知重采样机制提取包含完整细胞质与细胞膜边界的局部图像块;
48、双向跨模态虚拟染色特征提取模块,用于构建bi-vcan网络,将he模态转化为虚拟claudin18.2 ihc模态高阶特征,并通过结构一致性损失约束虚拟显色信号沿细胞膜真实物理边界展开;
49、双锚定表达强度校准模块,用于在训练阶段引入羊膜卷对照区域作为外源最高强度锚点及患者自身正常胃黏膜作为内源正常表达强度锚点,建立跨模态映射关系,并在推理阶段动态恢复当前切片的个体化强度参考尺度;
50、多维度解耦多任务判定模块,用于将跨模态转换特征分别映射至染色强度子空间、膜染色位置子空间及染色比例子空间,实现claudin18.2表达强度、膜定位模式及阳性细胞比例的联合预测;
51、几何自适应联合损失监督训练模块,用于对整个网络进行端到端联合训练;
52、自校准空间拓扑积分模块,用于在实际临床推理中对整张wsi进行滑动窗口密集推理,对所有图像块预测结果进行整片级拓扑聚合与置信度加权融合,输出标准化定量评分报告。
53、该基于双向跨模态虚拟染色与双锚定自适应校准的胃癌claudin18.2表达多维度定量评估方法及系统具有以下有益效果:
54、(1)本发明针对h&e染色切片缺乏显性细胞膜颜色对比的技术难题,通过细胞中心空间感知重采样机制以细胞核质心为锚点自适应提取完整细胞膜结构,配合结构一致性损失强行约束虚拟ihc显色信号沿细胞膜真实物理边界展开,有效解决了现有模型因缺乏膜结构信息引导而仅能实现粗粒度阴阳性判别的问题,首次实现了对claudin18.2膜表达位置的精准量化定位,为临床提供了细胞级精细评估能力。
55、(2)本发明通过构建基于ihc阴阳控(羊膜卷)与内源正常胃黏膜的双锚定比对机制,在训练阶段将羊膜卷ihc特征固化至网络参数中,在推理阶段利用患者自身正常胃黏膜动态恢复个体化强度参考尺度,创造性模拟了病理医生依据对照组织校准染色深浅的判读逻辑,使模型在不同医疗机构、不同扫描设备及不同染色条件下预测结果不再发生定量漂移,首次实现了基于h&e图像的跨中心标准化评估。
56、(3)本发明通过多维度解耦多任务头部,将跨模态转换特征通过正交约束机制分离至染色强度子空间、膜染色位置子空间及染色比例子空间,实现了claudin18.2染色强度等级、膜定位模式及阳性细胞比例三维临床指标的联合精准预测,各子空间互不干扰、各自聚焦于与自身任务相关的特征模式,显著提高了模型的可解释性。
57、(4)本发明通过几何自适应联合损失监督机制,依据图像块的细胞密度、组织结构复杂度及模型预测不确定性动态调整训练权重,使模型重点关注细胞密集、结构复杂的肿瘤实质区域,自动降低粘液湖、炎症浸润及间质区域的干扰,显著提高了模型在胃癌高异质性微环境下的鲁棒性和泛化能力。
58、(5)本发明在整个处理流程中从h&e图像输入到标准化报告输出均为全自动端到端处理,推理阶段仅需常规h&e切片、无需额外制备ihc切片、无需使用特异性抗体试剂,检测成本大幅降低、检测周期由传统3~5天缩短至数小时内,尤其适用于组织样本有限的晚期胃癌患者穿刺或内镜活检标本,避免了因多项免疫组化检测并行开展导致的组织耗竭问题。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com