一种基于RGB图像扩展的多通道荧光成像方法与流程

摘要: 本发明涉及荧光显微成像领域,更具体的说是涉及一种基于rgb图像扩展的多通道荧光成像方法。背景技术:1、在生物医学成像、药物筛选及分子标记检测等应用中,常需要对同...
一种基于RGB图像扩展的多通道荧光成像方法与流程

本发明涉及荧光显微成像领域,更具体的说是涉及一种基于rgb图像扩展的多通道荧光成像方法。

背景技术:

1、在生物医学成像、药物筛选及分子标记检测等应用中,常需要对同一样品同时观测多个荧光标记物,以获取不同靶标的空间分布及相互作用信息;为获得多个荧光通道的图像,传统成像系统通常采用滤光片轮、分光镜配合多路探测器、多摄像头或逐通道曝光等方式,依次或并行采集不同波段的荧光信号。

2、然而,上述技术方案虽能提供较好的光谱区分度,但存在明显的技术缺陷;一方面,滤光片轮逐通道切换采集方式难以满足快速动态过程的实时观测需求,不同通道图像在采集时间上存在偏移,导致后续定量分析中因时间失配引入误差;另一方面,分光镜配合多摄像头或多路探测器的方案虽可实现同步采集,但系统架构复杂、光路校准严苛,且多探测器之间的像素级空间配准难度较大,制约了其在实验室中的推广部署;此外,采用窄带滤光片对每个目标荧光通道进行独立成像时,系统需配备多组高精度滤光元件及相应的切换机构,进一步增加了设备体积与成本。

3、近年来,基于单个rgb摄像头的荧光成像方案因其成本低、结构简单、同步采集和易部署等优势受到关注;但现有方案中,普通rgb摄像头传感器直接获得的图像仅包含r、g、b三个观测通道,无法直接对应多个目标荧光通道;为了解决该问题,一类计算重构方案通过空间调制、空间编码、色散元件或定标矩阵获得二维测量矩阵,再利用关联重构、极大似然估计等算法求解空间、光谱和强度分布;该类方法将多个荧光通道的分离视为逆问题求解过程,其核心在于依赖特定光学调制结构建立已知的测量矩阵进行重构;然而,该类方案无法适用于实际场景中仅使用普通rgb摄像头、通过训练阶段的三通道与多通道图像配对关系进行推理的应用需求,且其重构精度受到调制元件精度和标定误差的显著影响,系统泛化性和鲁棒性不足。

4、因此,如何设计一种基于rgb图像扩展的多通道荧光成像方法,在保持rgb摄像头低成本与同步采集优势的基础上,实现多通道荧光图像的稳定获取是本领域技术人员亟需解决的问题。

技术实现思路

1、有鉴于此,本发明提供了一种基于rgb图像扩展的多通道荧光成像方法,旨在解决单个rgb摄像头仅能输出三个观测通道、无法直接对应多个目标荧光通道,以及难以获得稳定可区分荧光通道图像的问题;通过训练阶段的参考多通道图像监督和通道身份约束,使网络学习从rgb输入中分离并扩展出多个目标通道的能力,从而在推理阶段无需额外光学调制或参考采集设备,仅凭单个rgb摄像头即可实现多通道荧光成像输出。

2、为了实现上述目的,本发明采用如下技术方案:

3、一种基于rgb图像扩展的多通道荧光成像方法,包括以下步骤:

4、s1、构建训练数据集;所述训练数据集包括多组配对样本,每组配对样本分别包括由单个rgb摄像头采集的三通道rgb输入图像,以及与所述三通道rgb输入图像对应的参考多通道荧光图像,所述参考多通道荧光图像包括n个预设的目标荧光通道,n为大于3的正整数;

5、s2、利用所述训练数据集进行深度学习模型训练;所述深度学习模型用于

6、通过输入卷积模块进行初始卷积映射、通过共享编码模块进行多尺度共享编码、通过通道身份调制模块进行多尺度特征调制、通过多通道解码模块进行逐级上采样与跳接融合解码,以及通过rgb反投影模块将解码结果重投影为预测rgb图像,输出n个预测荧光通道图像;

7、s3、将待预测的单张三通道rgb图像输入训练好的深度学习模型,输出对应的n个目标荧光通道图像。

8、优选的,所述s1中,构建每组配对样本包括:对所述三通道rgb输入图像和参考多通道荧光图像进行空间配准与强度归一化处理;

9、所述空间配准包括基于图像结构特征、荧光强度质心、互信息或标定靶标进行空间变换与像素级配准;所述强度归一化包括暗场扣除、平场校正、曝光归一化和强度线性化处理。

10、优选的,所述s2中,输入卷积模块包括二维卷积层、归一化层和非线性激活层,用于将三通道rgb输入图像映射为预设通道数的初始特征图。

11、优选的,所述s2中,共享编码模块包括l级依次连接的下采样编码单元,l≥3;第s级编码单元输出空间分辨率逐级减半、通道数逐级倍增的rgb混合特征图,其中s=0,1,…,l1;

12、各级编码单元分别包括卷积层、归一化层、非线性激活层和残差连接。

13、优选的,所述s2中,通道身份调制模块组包含与n个目标荧光通道一一对应的n个通道身份嵌入单元;各通道身份嵌入单元分别对多尺度共享编码输出的各级rgb混合特征图进行通道条件调制,输出与各目标荧光通道对应的多级调制特征图。

14、优选的,所述通道条件调制表示为:

15、

16、其中,i=1,2,…,n为目标荧光通道索引,s为编码尺度索引,为第s级rgb混合特征图,为第i个目标荧光通道在第s级编码尺度的调制特征图,⊙表示逐元素乘法,、和分别为与第i个目标荧光通道和第s级编码尺度对应的缩放参数、偏置参数和门控参数,各参数经广播后与的空间尺寸匹配。

17、优选的,所述s2中,多通道解码模块包含与n个目标荧光通道一一对应的n个解码单元;各解码单元拓扑结构相同,但通道身份嵌入参数、归一化参数和输出头参数相互独立;第i个解码单元按照从深层到浅层的顺序逐级上采样,每一级上采样后与同尺度的调制特征图进行拼接或逐元素相加,再经卷积层、归一化层和非线性激活层进行特征细化;各解码单元的末端设有1×1卷积输出头和非负激活函数,用于输出单通道预测荧光图像。

18、优选的,所述s2中,rgb反投影模块将解码结果重投影为预测rgb图像表示为:

19、

20、其中,c表示rgb观测通道索引,(x,y)表示像素空间位置,为第i个预测荧光通道图像,为第i个目标荧光通道对第c个rgb观测通道的响应系数,为第c个rgb观测通道的背景偏置项。

21、经由上述的技术方案可知,与现有技术相比,本发明技术方案存在以下有益效果:

22、1、该方法通过在共享编码器之后为每个目标荧光通道设置独立的身份嵌入参数,对不同尺度的rgb混合特征进行通道条件调制,使得各解码分支能够从相同的rgb输入中选择性提取与自身目标通道相关的光谱与空间信息,配合各分支独立的上采样与跳接融合解码结构,能够在不引入额外光学调制元件的前提下,从单张三通道rgb图像中重建出多个可区分的荧光通道图像,有效缓解了多荧光标记物发射光谱在rgb观测通道中的信号混叠问题,同时避免了输出通道退化为rgb三通道的简单复制或线性组合。

23、2、在多通道监督训练的基础上,进一步引入将多个预测荧光通道图像按rgb摄像头响应关系重投影为rgb图像的反投影一致性约束,使网络在学习拟合参考多通道荧光信号的同时,始终保持与输入rgb观测在物理成像链路层面上的自洽,从而在不改变现有rgb荧光显微成像硬件配置的情况下,实现了训练阶段利用参考多通道数据学习扩展能力、推理阶段仅依赖单个rgb摄像头即可输出多通道荧光图像的技术效果。