一种基于流场感知状态空间网络的微流控显微图像超分辨率重建方法

摘要: 本发明涉及显微图像处理,尤其涉及一种基于流场感知状态空间网络的微流控显微图像超分辨率重建方法。背景技术:1、微流控芯片具有样品消耗量低、集成度高和便于连续观测等...
一种基于流场感知状态空间网络的微流控显微图像超分辨率重建方法

本发明涉及显微图像处理,尤其涉及一种基于流场感知状态空间网络的微流控显微图像超分辨率重建方法。

背景技术:

1、微流控芯片具有样品消耗量低、集成度高和便于连续观测等特点,可用于细胞分析、生物医学检测和药物筛选等场景。受显微成像系统的空间分辨率、曝光时间、信噪比和景深等因素影响,采集到的微流控显微图像可能存在细节缺失、噪声、低对比度、离焦或定向模糊,进而影响细胞轮廓、通道壁面及其他微结构的观察与定量分析。因此,需要通过图像超分辨率重建提高低分辨率图像的空间细节表达能力。

2、卷积神经网络能够提取局部纹理,但受有限感受野影响,对长距离连续结构的建模能力受到限制。基于自注意力的超分辨率网络能够建立较远位置之间的依赖关系,但其计算量和显存占用通常随输入尺寸增加而明显上升,在算力或存储资源受限的显微图像处理场景中存在应用限制。

3、微流控显微图像中的通道、细胞轮廓和流线状目标通常具有方向连续性,定向运动或扫描过程还可能形成各向异性退化。固定行序、固定列序或未利用局部方向信息的特征建模方式难以适配不同位置的结构延伸方向,可能导致连续结构断裂、拖尾或纹理恢复不足。

4、选择性状态空间模型能够以近似线性复杂度对长序列进行建模,但需要将二维特征转换为一维序列。若扫描顺序未考虑局部结构的延伸方向,序列中相邻位置在二维空间中可能相距较远;若状态更新缺少边界约束,通道壁面、细胞膜等边界两侧的信息可能发生不期望的混合。因此,需要使扫描顺序、状态记忆范围和边界约束在同一空间对应关系下协同作用。

技术实现思路

1、本发明旨在提供一种基于流场感知状态空间网络的微流控显微图像超分辨率重建方法,以改善现有方法对方向连续结构建模不足以及历史状态跨越物理边界传播的问题。

2、为实现上述目的,本发明提供一种基于流场感知状态空间网络的微流控显微图像超分辨率重建方法,包括:

3、获取待重建的低分辨率微流控显微图像,对所述低分辨率微流控显微图像进行浅层特征提取,得到二维浅层特征;

4、将所述二维浅层特征输入由多个flowmamba-sr特征提取块级联构成的深层特征提取网络,各flowmamba-sr特征提取块利用局部特征建模单元提取局部纹理特征,并利用物理引导状态空间模块pgss提取长距离结构特征;

5、在所述物理引导状态空间模块pgss中,根据二维投影特征的局部结构切向方向、各向异性相干度和语义路由信息生成扫描置换及其逆置换,按照所述扫描置换同步重排所述二维投影特征和所述各向异性相干度,得到一维特征序列和一维相干度序列,并根据所述一维相干度序列调节选择性状态空间模型的离散化时步;

6、融合多尺度边缘特征和微流控通道几何先验,得到二维混合边界特征,按照所述扫描置换对所述二维混合边界特征进行重排,生成与所述一维特征序列逐位置对应的边界门控序列;

7、利用所述边界门控序列降低相应扫描位置的历史状态项对当前状态的贡献,对所述一维特征序列执行正向状态扫描和反向状态扫描,将两个方向的扫描特征对齐并融合后,按照所述逆置换恢复为二维深层特征;

8、融合所述二维深层特征与所述二维浅层特征,得到长残差融合特征;对所述长残差融合特征进行亚像素上采样,得到高分辨率微流控显微图像。

9、作为本发明的一种优选的方案,所述flowmamba-sr特征提取块包括依次连接的局部特征建模单元和全局特征建模单元;所述局部特征建模单元包括层归一化层、窗口多头自注意力层、门控前馈神经网络及残差连接;所述全局特征建模单元包括层归一化层、所述物理引导状态空间模块pgss、门控前馈神经网络及残差连接。

10、作为本发明的一种优选的方案,输入所述物理引导状态空间模块pgss的二维特征先经过1×1卷积投影得到所述二维投影特征,再通过不改变空间尺寸的3×3逐通道卷积生成局部位置门,并将所述局部位置门与所述二维投影特征逐元素相乘,以注入卷积位置信息。

11、作为本发明的一种优选的方案,获得所述局部结构切向方向和所述各向异性相干度包括:通过通道投影将所述二维投影特征转换为单通道特征;利用水平方向sobel算子和垂直方向sobel算子获得水平梯度和垂直梯度;根据所述水平梯度、所述垂直梯度及二者的乘积构建并平滑局部结构张量;根据平滑后的局部结构张量计算梯度主方向,并将所述梯度主方向旋转后归一化至区间,得到所述局部结构切向方向;根据所述局部结构张量的特征值差异计算取值范围为[0, 1]的各向异性相干度;其中,所述局部结构切向方向和所述各向异性相干度为由图像结构估计的方向性先验,不表示实际流体速度。

12、作为本发明的一种优选的方案,生成所述扫描置换及其逆置换包括:将所述二维投影特征划分为多个局部扫描块;由各局部扫描块的特征生成多个预设连续扫描模板的语义得分,并根据各局部扫描块内的局部结构切向方向和各向异性相干度生成对应的物理扫描偏置;融合所述语义得分和所述物理扫描偏置以确定各局部扫描块采用的预设连续扫描模板;按照确定的预设连续扫描模板展开各局部扫描块,并按照确定的块顺序连接各局部扫描块的一维位置序列,得到所述扫描置换;根据所述扫描置换中各序列位置与原二维空间位置的对应关系构造所述逆置换;训练阶段采用具有直通估计的gumbel-softmax进行扫描模板选择,推理阶段选择最大融合得分对应的扫描模板。

13、作为本发明的一种优选的方案,所述离散化时步的调节包括:将基础离散化参数经softplus函数正值化,按照所述扫描置换重排所述各向异性相干度,利用所述一维相干度序列对正值化后的基础离散化时步进行逐位置调节,并将调节结果限制在正的预设范围内;其中,各向异性相干度增大时,相应扫描位置的离散化时步减小,以增强同一方向连续区域内的历史状态保持能力。

14、作为本发明的一种优选的方案,生成所述二维混合边界特征和所述边界门控序列包括:根据所述水平梯度绝对值与所述垂直梯度绝对值之和获得全分辨率边缘特征,对所述全分辨率边缘特征进行降采样和尺度恢复,得到另一尺度的边缘特征,并对不同尺度的边缘特征进行加权融合,得到所述多尺度边缘特征;将归一化坐标图、微流控通道掩膜、到微流控通道中心线的距离图或到微流控通道壁面的距离图作为几何描述图,经卷积映射和sigmoid激活得到原始微流控通道几何先验,并利用所述各向异性相干度调制所述原始微流控通道几何先验;将所述多尺度边缘特征与调制后的微流控通道几何先验进行加权融合和平滑,得到所述二维混合边界特征;按照所述扫描置换重排所述二维混合边界特征,经线性映射和sigmoid激活得到所述边界门控序列。

15、作为本发明的一种优选的方案,利用所述边界门控序列调节状态扫描包括:将取值范围为[0, 1]的第i个边界门控量边界门控量的互补值作用于选择性状态空间模型的历史状态项,使边界门控量增大时历史状态项的贡献降低;执行反向状态扫描时,同步反转所述一维特征序列、所述一维相干度序列、调节后的离散化时步和所述边界门控序列,并将反向状态扫描输出再次反转以与正向状态扫描输出对齐;通过自适应融合门对对齐后的正向状态扫描输出和反向状态扫描输出进行逐元素加权融合。

16、作为本发明的一种优选的方案,所述亚像素上采样包括:通过卷积层将所述长残差融合特征的通道数调整为,再通过放大倍数为s的亚像素重排层,将所述长残差融合特征重排为尺寸为的高分辨率微流控显微图像;其中,h和w分别为上采样前特征图的高度和宽度, 为输出图像的通道数。

17、与现有技术相比,本发明具有以下有益效果:

18、(1)本发明根据局部结构切向方向、各向异性相干度和语义路由信息生成扫描置换,并按照同一扫描置换同步组织图像特征、相干度和边界信息,使状态扫描的多个控制量保持逐位置对应。

19、(2)本发明在方向一致性较强的位置减小离散化时步,有利于保留同一方向连续区域内的历史状态;在通道壁面、细胞膜等显著边界位置增大边界门控量,以降低历史状态跨越边界传播的影响。

20、(3)本发明采用局部窗口建模、选择性状态空间扫描和亚像素上采样,在增强连续结构与物理边界重建能力的同时,能够控制计算量和存储开销。