基于深度学习的类器官无标记药物敏感性分析方法及系统与流程

摘要: 本技术涉及图像分析的,具体涉及一种基于深度学习的类器官无标记药物敏感性分析方法及系统。背景技术:1、在精准肿瘤学领域,患者来源类器官(patient-deriv...
基于深度学习的类器官无标记药物敏感性分析方法及系统与流程

本技术涉及图像分析的,具体涉及一种基于深度学习的类器官无标记药物敏感性分析方法及系统。

背景技术:

1、在精准肿瘤学领域,患者来源类器官(patient-derived organoids, pdos)作为一种重要的体外模型,能够忠实地再现原始肿瘤的组织学和遗传特征,已被广泛用于个性化药物敏感性检测。在标准工作流程中,类器官暴露于不同浓度的候选药物中后,其药物敏感性通常通过荧光染色(如标记全部细胞核的hoechst 33342和标记死细胞的碘化丙啶pi)或终点生化检测(如atp荧光检测celltiter-glo)来评估。死细胞与总细胞的比值(即细胞死亡比率)可直接反映药物疗效。

2、现有技术中的类器官药物敏感性检测方法存在以下显著缺陷:

3、(1)荧光染色的侵入性问题:目前的荧光染色方法需要向类器官培养物中添加荧光染料,该操作是侵入性的,可能改变类器官的生物学状态,破坏细胞活性,妨碍对同一批次类器官进行纵向时间序列监测,限制了对药物响应动态变化的持续观察能力。

4、(2)atp检测的破坏性问题:atp荧光检测(celltiter-glo)属于终点破坏性测量,检测过程中会裂解全部细胞并消耗所有样本,导致检测后无法对同一样本进行任何后续实验或验证,造成宝贵的患者来源样本的不可逆损耗。

5、(3)检测成本高、通量受限:上述两种方法均需要专用荧光试剂、特殊标记物和配套的荧光检测设备(如荧光显微镜、酶标仪等),增加了单次检测的经济成本,并且实验操作耗时较长,限制了大规模临床药物筛选的通量和效率。

6、(4)缺乏无标记自动化分析手段:明场显微成像虽然具有非侵入性、低成本和实时采集等天然优势,但现有技术方案主要将其用于类器官的形态学分割和尺寸量化,尚未有任何方法能够直接从无标记明场图像中预测功能性药物响应(如细胞死亡比率或细胞活性),无法实现以非破坏方式替代荧光染色和生化检测的自动化药敏分析。

7、(5)现有深度学习方法的不足:已有类器官图像分析方法(如orgaextractor、rdau-net、organoid等)主要聚焦于类器官区域的检测与形态分割,未涉及药物敏感性这一功能性指标的预测。同时,明场图像中类器官的边界天然模糊、尺度变化极大(从几十到上千像素),且碘化丙啶(pi)阳性死细胞信号仅占视野极小比例,造成严重的类别不平衡问题,现有分割网络缺乏针对这些特定挑战的专门设计。

8、上述问题共同构成了类器官药物敏感性检测从实验室研究转化为常规临床实践的关键瓶颈,亟需一种非侵入性、自动化、可扩展的替代技术方案。

技术实现思路

1、为了解决上述现有技术存在的问题,本技术目的在于提供一种基于深度学习的类器官无标记药物敏感性分析方法及系统。本技术可实现非侵入性药物敏感性评估,可保护样完整性,且具有分析精度高、适用性广的优点。

2、本技术所述的一种基于深度学习的类器官无标记药物敏感性分析方法,包括以下步骤:

3、s01、获取经药物处理后的类器官培养孔板的明场显微图像;

4、s02、对所述明场显微图像进行预处理;

5、s03、将预处理后的所述明场显微图像输入至第一模型中进行荧光染色掩模预测,并分割获得类器官所在区域的掩模图像,其中,所述第一模型在编码器与解码器之间的每一层跳跃连接处均嵌入有用于提取多尺度特征的多尺度边界感知注意力模块;

6、s04、对所述明场显微图像和掩模图像进行裁剪,获得各个类器官的图像切片;

7、s05、将所述图像切片输入预配置的第二模型中,预测获得各个类器官的细胞凋亡检测试剂染色图;

8、s06、根据所得细胞凋亡检测试剂染色图,获得图像中类器官的细胞死亡比率。

9、优选地,所述第一模型中,编码器将输入图像转换为编码器特征图;

10、所述多尺度边界感知注意力模块包括至少三个并行、且膨胀率不同的膨胀卷积分支,所述多尺度边界感知注意力模块执行以下步骤:

11、s301、通过各个所述膨胀卷积分支对所述编码器特征图进行特征提取,并将各个所述膨胀卷积分支提取的特征在通道维度上进行拼接,获得多尺度特征;

12、s302、将所得多尺度特征通过一次卷积进行通道降维融合,再经过二次卷积及激活函数激活生成空间注意力图;

13、s303、将所述空间注意力图与所述多尺度特征进行逐元素相乘,再与所述编码器特征图进行残差相加,得到增强后的输出特征图。

14、优选地,所述多尺度边界感知注意力模块包括三个并行的膨胀卷积分支,三个所述膨胀卷积分支的膨胀率分别设置为1、3和5。

15、优选地,所述第一模型的损失函数为dice损失与二元交叉熵损失的组合。

16、优选地,步骤s04包括以下步骤:

17、s041、对所得掩模图像进行连通域分析,识别各个独立的类器官实例;

18、s042、对每个连通域进行外接矩形提取和边缘扩展;

19、s043、对所述明场显微图像和对应区域的掩模图像进行裁剪并缩放至统一尺寸,获得所述图像切片,所述图像切片包括明场图像切片和掩模图像切片。

20、优选地,所述第二模型中,在编码器的每一层均配置有用于接受掩模图像切片引导的掩模引导注意力模块,所述掩模引导注意力模块用于将所述掩模图像切片缩放至匹配当前编码器层的空间分辨率,作为额外注意力信号调制特征提取。

21、优选地,所述第二模型中,在解码器的每层跳跃连接处均插入有用于显式保留和放大浅层编码器的精细空间信息的细节敏感特征增强模块,所述细节敏感特征增强模块执行以下步骤:

22、对浅层编码器特征图施加laplacian边缘检测算子,获取边缘响应图;

23、对所述边缘响应图进行归一化处理,再以可学习缩放因子进行加权;

24、将加权后的边缘响应图与所述浅层编码器特征图进行逐元素相乘融合,得到增强后的浅层编码器特征图;

25、将所述增强后的浅层编码器特征图通过标准跳跃连接与深层编码器进行特征拼接后送入至解码器中处理。

26、优选地,所述第二模型还包括在模型训练时激活的活性感知对比学习分支,所述活性感知对比学习分支执行以下步骤:

27、将所述第二模型中的编码器最后一层特征经过全局平均池化处理后得到特征向量,再通过mlp投影头映射为l2归一化嵌入向量;

28、使用atp值作为配对准则,在训练集中对任意两组样本数据进行配对判定:

29、分别获取两组样本数据的atp值,若两组样本数据的atp值之差小于全局atp值标准差的a倍时,判定该两组样本数据为正样本对;

30、若两组样本数据的atp值之差大于全局atp值标准差的b倍时,判定该两组样本数据为负样本对;

31、若两组样本数据的atp值之差大于或等于全局atp值标准差的a倍,且小于或等于全局atp值标准差的b倍时,剔除该两组样本数据;

32、其中,0<a<b<1;

33、采用infonce损失函数进行对比学习训练,每个迷你批次随机采样后,正样本对和负样本对在批次内自然形成;

34、所述第二模型的总训练损失为分割损失与对比损失的加权和,对比损失权重通过验证集进行调优。

35、优选地,步骤s06包括以下步骤:

36、将所述细胞凋亡检测试剂染色图经阈值化进行二值化处理,每个类器官的细胞死亡比率等于该类器官的掩模图像内细胞凋亡检测试剂阳性像素占掩模图像总像素的比值;

37、各个类器官的细胞死亡比率按面积加权平均后获得视野级细胞死亡比率;

38、对同一培养孔内所有视野级细胞死亡比率求平均值获得孔位级细胞死亡比率;

39、将所述孔位级细胞死亡比率与对应的atp荧光测量值进行相关性分析,获得药物敏感性评估结果。

40、本技术的一种基于深度学习的类器官无标记药物敏感性分析系统,包括:

41、采集模块,其用于获取经药物处理后的类器官培养孔板的明场显微图像;

42、预处理模块,其用于对所述明场显微图像进行预处理;

43、掩模预测模块,其用于将预处理后的所述明场显微图像输入至第一模型中进行荧光染色掩模预测,并分割获得类器官所在区域的掩模图像,其中,所述第一模型在编码器与解码器之间的每一层跳跃连接处均嵌入有多尺度边界感知注意力模块;

44、裁剪模块,其用于对所述明场显微图像和掩模图像进行裁剪,获得各个类器官的图像切片;

45、染色预测模块,其用于将所述图像切片输入预配置的第二模型中,预测获得各个类器官的细胞凋亡检测试剂染色图;

46、计算模块,其用于根据所得细胞凋亡检测试剂染色图,获得图像中类器官的细胞死亡比率。

47、本技术所述的一种基于深度学习的类器官无标记药物敏感性分析方法及系统,其优点在于:

48、1、非侵入性药物敏感性评估,保护样本完整性:本技术以明场显微图像为唯一数据输入源,全程采用纯图像分析手段进行药物敏感性预测,无需对类器官进行任何荧光染色或生化裂解操作,不消耗样本、不破坏细胞活性,保留了被检测类器官的完整生物学状态,有利于后续的纵向时间序列监测和重复实验验证。

49、2、两级模型框架设计,改善类别不平衡问题:本技术复杂的全图药敏预测任务分解为类器官定位(第一模型)和精细活性预测(第二模型)两个顺序阶段,通过roi引导裁剪策略将细胞凋亡检测试剂阳性信号占比从全视野的不到1%提升至裁剪后的5%–15%,显著缓解了类别不平衡问题,大幅提升了细胞凋亡检测试剂染色图的预测精度。

50、3、多尺度边界感知注意力模块,提升类器官分割精度:针对明场图像中类器官尺度变化极大(几十到上千像素)且边界模糊的特殊挑战,本技术在第一模型中设计了多尺度边界感知注意力模块,通过三个不同膨胀率的并行卷积分支提取多尺度特征,结合空间注意力机制动态聚焦边界区域,配合残差连接保留原始特征信息,在掩模分割任务中具有优异性能。

51、4、细节敏感特征增强模块,精确检测微小死细胞目标:本技术针对试剂阳性死细胞核在裁剪缩放后仅占5-15像素直径的极小目标检测问题,在第二模型中设计细节敏感特征增强模块,利用laplacian边缘检测算子显式保留和放大浅层编码器的精细空间细节,在跳跃连接处增强高频边界和纹理信息,提升了对分散死细胞核的检测灵敏度。

52、5、活性感知对比学习策略,编码药物相应信息于特征表示:本技术在第二模型的训练过程中引入基于atp值构造正负样本对的对比学习策略,在训练阶段引导编码器学习对分割有判别能力、对药物相应有预测能力的特征表示。该策略可在不修改网络架构、不增加推理计算开销的前提下,显著提升预测细胞死亡比率与金标准atp活性的相关性,进而提高药物敏感性分析精度。

53、6、端到端级联网络的鲁棒性:本技术在第一阶段通过预测掩模代替人工标注的真值掩模,降低了人为干扰,在进行第二阶段分析时,全流程药物敏感性预测的相关性差异极小,证明了级联网络对上游分割误差的高鲁棒性,确认了本技术的方法在实际部署场景中的可靠性和实用性。

54、7、全流程自动化,提高检测效率和可扩展性:本技术可实现全流程自动化处理,替代了传统依赖荧光染色和人工判读的检测方式,大幅提高了药物敏感性检测效率和结果一致性,能满足大规模临床药物筛选的通量需求,且能降低或避免人为因素干扰,提高检测结果的准确性和可靠性。