无监督学习的活体显微超分辨成像方法、系统、设备及介质
本发明涉及计算机视觉,尤其涉及一种无监督学习的活体显微超分辨成像方法、系统、设备及介质。
背景技术:
1、荧光显微成像技术能对生物样品进行非接触、高特异性的成像观察,在神经科学、生物医学以及疾病研究等领域具有重要应用价值。然而,在活体深层组织显微成像过程中,由于受到光学衍射极限、组织散射以及有效荧光信号衰减等因素影响,现有荧光显微成像技术仍难以同时满足高空间分辨率、大深度成像以及高信噪比的成像需求。
2、一方面,传统宽场荧光显微镜和共聚焦显微镜受光学衍射极限约束,其空间分辨能力通常难以满足纳米尺度生物结构观测需求。为突破衍射极限,现有技术发展出多种超分辨荧光显微成像方法,包括受激发射损耗显微技术(stimulated emission depletionmicroscopy,sted)、结构光照明显微技术(structured illumination microscopy,sim)以及单分子定位显微技术(single molecule localization microscopy,smlm)等。
3、其中,sted技术通过空间调制的损耗光束限制荧光发射区域,可获得高于传统显微系统的空间分辨能力。在浅层或低散射条件下,sted能够实现几十纳米尺度的横向分辨率。然而,当该技术应用于活体脑组织等复杂散射介质时,有效成像深度极为有限。损耗光在传播过程中会受到组织内部细胞结构、髓鞘、血管以及细胞外基质等非均匀介质影响,产生明显的多重散射和波前畸变,使耗尽区域无法有效限制荧光发射范围,从而导致空间分辨率下降;同时,随着成像深度增加,有效探测光子数量不断降低,使图像信噪比显著下降。
4、为提高深层成像能力,现有技术中进一步提出结合自适应光学校正和双光子激发方式的改进方案,自适应光学sted通过测量和补偿组织引起的波前像差,对入射光场进行校正;双光子激发sted利用近红外双光子激发方式降低散射影响,提高深层组织中的荧光激发效率。上述方法能够在一定程度上降低像差影响并将成像深度提高到一百多微米,但仍然依赖于光学系统直接获取超分辨信息,其成像性能受到组织散射极限约束,其有效成像深度和成像质量仍受到限制。
5、现有技术中,传统的sim技术可提升横向分辨率,但其有效深度通常仅数微米;海森结构光照明显微与三角光束干涉结构光照明显微技术可分别提升帧率,但并未有效拓展成像深度;而自适应光学双光子多焦点结构光照明显微镜在离体 300 um脑片中实现了超分辨成像,但其单帧时间达分钟级,无法用于活体动态观测。单分子定位显微系列,如随机光学重建显微和光激活定位显微,能够提升分辨率。但其基于 smlm 原理的重建本质决定了成像耗时较长,限制了其在活体动态成像中的应用。因此,现有基于光学系统优化的方法难以实现活体组织深层区域持续稳定的超分辨成像。
6、另一方面,为克服传统光学系统获取超分辨率信息能力不足的问题,现有技术中进一步提出利用深度学习进行显微图像超分辨重建的方法。该类方法通常基于监督学习框架,通过建立低质量显微图像与高质量金标准(ground truth,gt)图像之间的映射关系,实现从低分辨率图像恢复超分辨率结构信息。监督式学习的成功高度依赖海量、高质量且精准配对的训练数据,在浅层样品或人工制备样品中,超分辨率gt图像可以通过超分辨显微系统直接获取,因此该类方法能够获得较好的重建效果。但是,在活体深层组织中,由于组织散射、像差以及光信号衰减的共同影响,实验上难以在同一空间位置同时获取深层散射退化图像以及对应的无散射超分辨gt图像。这一数据饥饿的限制,致使现有的监督学习路径在深层超分辨任务中难以奏效,导致。
7、针对监督学习方法依赖gt数据的问题,现有技术中提出了无监督学习和自监督学习方法。例如,激发模式去散射的平方和自启发式噪声到噪声方法已实现无需 gt 数据的去散射和去噪。然而,此类方法的探索尚处于起步阶段,其核心目的在于提高图像信噪比,无法满足深层组织超分辨重建对于纳米尺度结构恢复的需求,导致现有的活体深度显微超分辨成像的准确度较差。
8、因此,如何提高活体显微超分辨成像的准确度成为亟待解决的问题。
技术实现思路
1、本发明提供一种无监督学习的活体显微超分辨成像方法、系统、设备及介质,其主要目的在于解决活体显微超分辨成像的准确度较差的问题。
2、为实现上述目的,本发明提供的一种无监督学习的活体显微超分辨成像方法,包括:获取浅层超分辨率结构图像,根据浅层超分辨率结构图像的成像参数计算浅层超分辨率结构图像中每个像素点的像素相对强度;根据像素相对强度构建离散衍射点扩散函数模板;对离散衍射点扩散函数模板进行高斯近似,得到浅层超分辨率结构图像对应的衍射点扩散函数;利用衍射点扩散函数对浅层超分辨率结构图像进行卷积处理,得到衍射退化图像;模拟光子在衍射退化图像对应组织内部的传播轨迹以构建散射点扩散函数,利用散射点扩散函数对衍射退化图像进行卷积处理,得到散射退化图像;向散射退化图像中添加图像噪声,得到模拟荧光图像;利用浅层超分辨率结构图像及模拟荧光图像训练预构建的超分辨率重建网络,得到目标超分辨率重建网络;利用目标超分辨率重建网络对待重建活体图像进行超分辨率重建,得到活体显微超分辨成像。
3、本发明还提供一种无监督学习的活体显微超分辨成像系统,系统包括:模拟衍射模块,用于获取浅层超分辨率结构图像,根据浅层超分辨率结构图像的成像参数计算浅层超分辨率结构图像中每个像素点的像素相对强度;根据像素相对强度构建离散衍射点扩散函数模板;对离散衍射点扩散函数模板进行高斯近似,得到浅层超分辨率结构图像对应的衍射点扩散函数;利用衍射点扩散函数对浅层超分辨率结构图像进行卷积处理,得到衍射退化图像;模拟散射模块,用于模拟光子在衍射退化图像对应组织内部的传播轨迹以构建散射点扩散函数,利用散射点扩散函数对衍射退化图像进行卷积处理,得到散射退化图像;噪声添加模块,用于向散射退化图像中添加图像噪声,得到模拟荧光图像;模型训练模块,用于利用浅层超分辨率结构图像及模拟荧光图像训练预构建的超分辨率重建网络,得到目标超分辨率重建网络;超分辨率重建模块,用于利用目标超分辨率重建网络对待重建活体图像进行超分辨率重建,得到活体显微超分辨成像。
4、本发明还提供一种电子设备,包括:与至少一个处理器通信连接的存储器;其中,处理器用于执行存储在存储器上的计算机程序;存储器存储有可被至少一个处理器执行的计算机程序,计算机程序被至少一个处理器执行,以使至少一个处理器能够执行上述的一种无监督学习的活体显微超分辨成像方法。
5、本发明还提供一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时,实现上述任意一项的无监督学习的活体显微超分辨成像方法。
6、本发明通过对浅层超分辨率结构图像进行衍射以及散射,可以利用深度学习网络学习深层低分辨图像与高分辨结构之间的映射关系,从而能够从受到衍射和散射影响的深层双光子荧光图像中恢复高频结构信息,提高深层成像空间分辨能力;再利用浅层超分辨率结构图像及模拟荧光图像训练预构建的超分辨率重建网络,能够模拟光子在生物组织中的传播、散射、吸收以及探测噪声过程,实现由浅层超分辨图像向深层低质量荧光图像的正向映射;通过目标超分辨率重建网络对待重建活体图像进行超分辨率重建,能够保持真实生物结构形态,降低传统超分辨重建过程中容易出现的伪结构和细节缺失问题,进而实现准确的显微超分辨成像。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com