一种基于MPSoC的小型超分辨结构光照明显微成像加速器及方法

摘要: 本发明属于超分辨显微成像与嵌入式异构计算的交叉领域,具体是一种基于多处理器片上系统的小型超分辨结构光照明显微成像加速器及方法。背景技术:1、超分辨结构光照明显微...
一种基于MPSoC的小型超分辨结构光照明显微成像加速器及方法

本发明属于超分辨显微成像与嵌入式异构计算的交叉领域,具体是一种基于多处理器片上系统的小型超分辨结构光照明显微成像加速器及方法。

背景技术:

1、超分辨结构光照明显微成像(super-resolution structured illuminationmicroscopy,sr-sim)借助周期性结构光,把样品的高空间频率信息调制进光学系统的通频带。二维线性sr-sim一般取三个照明方向,每个方向采三个相位,共九帧原始图像;这九帧图像要依次经过频谱分离、频谱搬移、光学传递函数补偿、维纳加权融合与逆变换,才能得到一幅超分辨图像。

2、重建过程中反复出现二维傅里叶变换,还伴随大量逐点乘加和中间数据缓存。用cpu串行处理,一帧的耗时较长;gpu工作站算力足够,但体积、功耗和散热条件决定了它不便直接装进小型显微成像设备。mpsoc把通用处理器与fpga可编程逻辑集成在同一芯片内,是构建嵌入式重建平台的一种可行载体。不过,若只是把各个重建算子分别映射到fpga,各处理阶段之间仍要反复访问片外ddr,处理器也要多次介入配置,片外带宽和阶段间控制开销依然会影响重建速度。

3、还有一个绕不开的问题:照明波矢通常落不到离散频谱网格的整数采样点上。频域内的非整数搬移需要插值;换一条路,则是先作逆变换回到空域,施加线性相位调制后再正变换回频域。而二维傅里叶变换本身又由行变换、矩阵转置和列变换三步组成,一旦矩阵转置借道片外ddr,整帧数据的读写次数就会明显增加。

4、公开号为cn114600152a的专利文献给出过一种处理方式:对相位分离矩阵中的非冗余分量作频域至空域的变换,在空域施加平移向量后返回频域,并借共轭关系恢复冗余分量。该方式减少了部分中间运算,但亚像素频谱搬移仍然包含频域至空域、空域至频域的成对变换。对于片上存储容量和片外存储带宽都有限的mpsoc平台而言,频谱搬移所需的二维变换次数以及各阶段之间的数据传输量,还有进一步压缩的余地。

技术实现思路

1、本发明所要解决的技术问题在于:mpsoc的片上存储容量与片外存储带宽都受限,如何减少sr-sim重建过程中由非整数频谱搬移、二维变换转置以及无效频谱区域处理所带来的运算量和片外数据读写。

2、为此,本发明提供一种基于mpsoc的小型超分辨结构光照明显微成像加速器,由arm处理器模块、ddr存储器、硬件加速ip模块、dma数据搬运模块、axi互连模块和重建软件模块构成。参数配置、地址计算与流程调度由arm处理器模块完成;硬件加速ip模块设置于fpga逻辑资源中,含二维快速傅里叶变换加速器、逐点乘法加速器和逐点加法加速器;dma数据搬运模块负责在ddr存储器与各硬件加速ip之间传输原始图像、重建中间数据和重建结果。控制信息走axi4-lite接口,图像和频谱数据走axi4-stream接口。

3、重建软件模块依据同一照明方向下各相位图像的相位关系,分离出零级分量、正一级分量和负一级分量,按照明波矢完成频谱搬移,再依光学传递函数与维纳重建参数作补偿。各照明方向的频谱分量累加成超分辨频谱,经二维逆傅里叶变换即得超分辨图像。

4、关键之处在于空域重排数据流。同一照明方向的多个相位原始图像先在原始采样网格上作复数线性组合,随后进入流式插值上采样;正一级空域分量与负一级空域分量各自与线性相位因子相乘,亚像素频谱搬移因而在进入频域之前就已完成。调制后的一级分量各作一次二维正向傅里叶变换即可,不必再为频谱搬移成对执行二维逆傅里叶变换与二维正向傅里叶变换。

5、支撑域描述符表由光学传递函数截止频率和各频谱分量的频谱中心位置生成,逐行记录有效圆形支撑域的起始列坐标与结束列坐标,同时用于dma二维传输、逐点计算门控和二维变换的数据块调度。切趾窗函数与维纳分母则在初始化阶段合成为复合权重,逐帧重建时一次逐点复数相乘即可完成相应加权。

6、本发明还提供一种采用上述加速器的超分辨结构光照明显微成像重建加速方法,涵盖原始图像存储、参数配置、频谱分离与搬移、光学传递函数补偿、多方向频谱融合以及二维逆傅里叶变换。

7、与现有技术相比,本发明的效果体现在几个方面。空域分离、插值上采样和线性相位调制按流式数据路径首尾相连,为非整数频谱搬移成对执行的二维逆变换与二维正向变换被省去。支撑域描述符同时约束dma传输、逐点计算和二维变换的数据块处理范围,有效圆形支撑域之外的数据既不搬运也不参与运算。二维变换的行变换、分块转置与列变换在片上连续完成,转置中间数据不写入ddr存储器。控制与参数管理留给arm处理器,规则且计算密集的变换和逐点运算交由fpga逻辑资源承担,两者经axi4-lite控制接口和axi4-stream数据接口衔接,适合部署在小型显微成像设备中。

1.一种基于多处理器片上系统mpsoc的小型超分辨结构光照明显微成像加速器,其特征在于,包括arm处理器模块、ddr存储器、硬件加速ip模块、dma数据搬运模块、axi互连模块和重建软件模块;所述arm处理器模块用于获取多个照明方向和多个相位下采集的原始图像所对应的图像尺寸、照明相位、照明波矢、光学传递函数和维纳重建参数,并执行重建流程调度、地址计算和结果输出;所述硬件加速ip模块设置于所述mpsoc的fpga逻辑资源,包括二维快速傅里叶变换加速器、逐点乘法加速器和逐点加法加速器,所述逐点乘法加速器和所述逐点加法加速器分别执行逐点相乘和逐点累加;所述dma数据搬运模块用于在所述ddr存储器与所述硬件加速ip模块之间搬运原始图像、中间数据和重建结果;所述axi互连模块包括用于传输配置信息的axi4-lite控制接口和用于传输图像与频谱数据的axi4-stream数据接口;所述重建软件模块运行于所述arm处理器模块,调度所述硬件加速ip模块与所述dma数据搬运模块按下述过程重建:根据同一照明方向下不同相位的原始图像及其相位关系进行频谱分离,得到零级分量、正一级分量和负一级分量;根据所述照明波矢对各级分量进行频谱搬移,使其形成位于目标位置的频谱分量;根据所述光学传递函数和维纳重建参数对搬移后的各级频谱分量逐点加权补偿;对多个照明方向的频谱分量累加融合生成超分辨频谱;再调用所述二维快速傅里叶变换加速器对其作二维逆傅里叶变换,得到超分辨图像。

2.根据权利要求1所述的小型超分辨结构光照明显微成像加速器,其特征在于,所述硬件加速ip模块还包括频谱分离融合算子,所述频谱分离融合算子具有三路axi4-stream输入接口和三路axi4-stream输出接口,其内部设置3×3复数乘累加阵列;所述3×3复数乘累加阵列的系数由同一照明方向下三个相位的相位差和条纹调制度确定,并由所述arm处理器模块经所述axi4-lite控制接口写入;同一照明方向的三帧数据流流经所述3×3复数乘累加阵列时,所述频谱分离融合算子同步输出零级分量、正一级分量和负一级分量,复数乘法结果和累加中间结果保存在流水线寄存器中,。

3.根据权利要求1所述的小型超分辨结构光照明显微成像加速器,其特征在于,所述重建软件模块按照空域重排数据流调度所述硬件加速ip模块,使各级分量在进入频域之前完成分离和搬移;所述空域重排数据流包括:在原始采样网格上,按照频谱分离系数对同一照明方向下的多个相位原始图像进行复数线性组合,得到零级空域分量、正一级空域分量和负一级空域分量;由流式可分离插值上采样单元分别对各空域分量进行行向插值上采样和列向插值上采样,行向插值的中间结果经片上行缓存直接送入列向插值;由线性相位调制单元将上采样后的正一级空域分量和负一级空域分量分别与根据所述照明波矢确定的线性相位因子逐点复数相乘,完成亚像素频谱搬移;对调制后的正一级空域分量和负一级空域分量分别进行一次二维正向傅里叶变换,并对多个照明方向的零级空域分量的平均值进行一次二维正向傅里叶变换,所得正一级频谱分量和负一级频谱分量位于由所述照明波矢确定的目标位置,且所述空域重排数据流不包含为频谱搬移而成对执行的二维逆傅里叶变换和二维正向傅里叶变换;由所述逐点乘法加速器将各一级频谱分量与对应的光学传递函数补偿权重逐点复数相乘,得到正一级补偿分量和负一级补偿分量;由所述逐点加法加速器将零级频谱分量、所述正一级补偿分量和所述负一级补偿分量逐点累加,得到超分辨频谱。

4.根据权利要求1所述的小型超分辨结构光照明显微成像加速器,其特征在于,所述二维快速傅里叶变换加速器包括行变换处理器、分块片上转置缓存、列变换处理器和支撑域块调度器;所述支撑域块调度器根据支撑域行区间描述符,判断各b×b数据块与当前频谱分量的有效圆形支撑域是否相交,所述支撑域行区间描述符由光学传递函数截止频率和当前频谱分量的频谱中心位置确定;对于不相交的数据块,所述支撑域块调度器不分配所述分块片上转置缓存的写入时隙;对于相交的数据块,仅处理所述支撑域行区间描述符所指示的有效列区间,使行变换、块内转置和列变换在片上连续进行,转置中间数据不经所述ddr存储器中转。

5.根据权利要求1所述的小型超分辨结构光照明显微成像加速器,其特征在于,所述线性相位调制单元包括行相位累加器、列相位累加器和复数旋转迭代单元;所述复数旋转迭代单元按照相邻像素之间的恒定相位增量,在一行内逐像素递推生成所述线性相位因子,并在每一行的起始像素处根据所述列相位累加器给出的行首初值重新开始递推;所述线性相位调制单元的输出端直接连接所述逐点乘法加速器的数据输入端,生成的线性相位因子不写入所述ddr存储器。

6.根据权利要求1所述的小型超分辨结构光照明显微成像加速器,其特征在于,所述arm处理器模块还用于在初始化阶段生成支撑域描述符表和复合权重;所述支撑域描述符表按行记录各频谱分量的有效圆形支撑域的起始列坐标和结束列坐标,所述复合权重为切趾窗函数与维纳分母倒数的乘积,所述维纳分母由各级频谱分量的光学传递函数模平方之和与维纳正则项相加得到;所述dma数据搬运模块按照所述支撑域描述符表逐行发起二维突发传输;所述fpga逻辑资源还包括计算门控单元,所述计算门控单元在所述起始列坐标至所述结束列坐标的范围之外,撤销发送至所述逐点乘法加速器和所述逐点加法加速器的axi4-stream有效信号,并使对应输出位置保持零值;所述逐点乘法加速器通过一次逐点复数相乘将待融合频谱与所述复合权重相乘,逐帧重建过程中不执行逐点除法运算和逐点幂运算。

7.一种基于多处理器片上系统mpsoc的小型超分辨结构光照明显微成像重建加速方法,其特征在于,包括:获取多个照明方向和多个相位下采集的多帧原始图像,存储于所述mpsoc的ddr存储器;由所述mpsoc的arm处理器模块获取图像尺寸、数据位深、照明相位、照明波矢、光学传递函数、维纳重建参数和频谱搬移参数;由所述arm处理器模块经axi4-lite控制接口配置dma数据搬运模块以及设置于fpga逻辑资源中的二维快速傅里叶变换加速器、逐点乘法加速器和逐点加法加速器,并经axi4-stream数据接口在所述ddr存储器与各加速器之间传输原始图像及中间数据;根据同一照明方向下不同相位的原始图像及其相位关系进行频谱分离,得到各照明方向的零级分量、正一级分量和负一级分量;根据所述照明波矢调度所述二维快速傅里叶变换加速器和逐点乘法加速器,对各级分量进行频谱搬移,使其形成位于目标位置的频谱分量;由所述逐点乘法加速器根据所述光学传递函数和维纳权重,对搬移后的各级频谱分量逐点加权补偿;调度所述逐点乘法加速器和逐点加法加速器,对多个照明方向的频谱分量逐点加权累加,生成超分辨频谱;调用所述二维快速傅里叶变换加速器对所述超分辨频谱作二维逆傅里叶变换,得到超分辨图像并写回所述ddr存储器。

8.根据权利要求7所述的小型超分辨结构光照明显微成像重建加速方法,其特征在于,频谱分离、频谱搬移和二维变换采用以下处理过程:在原始采样网格上,按照频谱分离系数对同一照明方向下的多个相位原始图像进行复数线性组合,得到零级空域分量、正一级空域分量和负一级空域分量;对各空域分量依次进行流式行向插值上采样和列向插值上采样,行向插值的中间结果经片上行缓存直接送入列向插值;将上采样后的正一级空域分量和负一级空域分量分别与根据所述照明波矢在片上逐像素递推生成的线性相位因子相乘;对调制后的正一级空域分量和负一级空域分量分别进行一次二维正向傅里叶变换,并对多个照明方向的零级空域分量的平均值进行一次二维正向傅里叶变换,使所得正一级频谱分量和负一级频谱分量位于由所述照明波矢确定的目标位置,且不为频谱搬移成对执行二维逆傅里叶变换和二维正向傅里叶变换;将各一级频谱分量与对应的光学传递函数补偿权重逐点复数相乘,得到正一级补偿分量和负一级补偿分量;将零级频谱分量、所述正一级补偿分量和所述负一级补偿分量累加,得到超分辨频谱。

9.根据权利要求7所述的小型超分辨结构光照明显微成像重建加速方法,其特征在于,在初始化阶段,根据光学传递函数的截止频率和各频谱分量的频谱中心位置,生成支撑域描述符表,并预先计算复合权重;所述支撑域描述符表按行记录各频谱分量的有效圆形支撑域的起始列坐标和结束列坐标,所述复合权重为切趾窗函数与维纳分母倒数的乘积,所述维纳分母由各级频谱分量的光学传递函数模平方之和与维纳正则项相加得到;在逐帧重建阶段,所述dma数据搬运模块按照所述支撑域描述符表逐行传输有效区间,在所述有效区间之外,通过axi4-stream数据接口的有效信号门控暂停逐点计算,并使对应输出位置保持零值;由所述逐点乘法加速器将待融合频谱与所述复合权重进行一次逐点复数相乘。

10.根据权利要求7所述的小型超分辨结构光照明显微成像重建加速方法,其特征在于,所述ddr存储器设置第一帧组缓冲区和第二帧组缓冲区;所述mpsoc对第k帧组进行重建时,将结构光照明显微镜采集的第k+1帧组写入另一帧组缓冲区;同一照明方向的第一相位原始图像到齐后,启动该原始图像的二维傅里叶变换,第一相位和第二相位的变换结果存储于片上fifo;第三相位的变换结果到齐后,将三个相位对应的数据流同步送入3×3复数乘累加阵列。