一种双模态显微成像系统及其成像方法与流程

1.本发明涉及微成像技术领域，具体涉及一种结合双光子荧光和光学衍射层析的双模态显微成像系统及其成像方法。


背景技术：

2.光学显微技术是人类历史上一个重要的发明，经过四个世纪的漫长历史，显微成像领域一直不断扩展，不同的方法层出不穷。显微成像技术是利用光与物质的相互作用，对难以观测的微小物体进行放大，从而呈现出人眼能够分辨的微观景象。尤其是在生物医学领域，光学显微技术作为一种不可或缺的观测手段，揭示了生命的进程，促进了人类对生命科学的探索。为了能够在微观领域解释生命过程，显微成像技术的成像能力有了很大的要求，从观测细胞的普通光学显微镜到现在能够分辨纳米量级的显微镜，显微技术的突破一次又一次推动了对生命科学的探索。
3.光学衍射层析技术是一种新型的无标记非侵入的三维显微成像技术，由于考虑光场的衍射效应并结合定量相位成像，光学衍射层析技术能够感知纳米尺度的折射率变化，并对生物组织样品进行长时程、无损伤的三维成像观测，在细胞生物学中得到了广泛的应用，促进了生物医学的快速发展，成为现阶段成像技术的研究热点。然而光学衍射层析的化学选性成像受限，由于对生物样品的折射率进行成像，只能从形态学上进行区分不同的生物结构，对于一些尚未研究透彻的细胞器或生命过程，光学衍射层析技术得到的结果很难得到准确的分析和解释。
4.与光学衍射层析技相反，双光子是光学显微成像具备化学特异性，能够对化学分子进行特异性标记，很好的弥补了无标记成像带来的问题。与传统的荧光不同的是，双光子显微技术采用红外的长波段，利用双光子激发非线性原理，荧光物质吸收两个激发光子，产生一个荧光光子，通过收集荧光光子对生物样品进行荧光成像。双光子成像最大的优点在于，相比较其他荧光成像体系，双光子成像装置无需复杂的成像光路和灵敏探测手段就能够活的较高的分辨率，并且由于双光子激发过程仅在聚焦焦点附近产生，所以能够很好的抑制荧光物质的光漂白性与光毒性。但是对于三维荧光成像，这种光漂白特性带来的问题不容忽略；除此之外，荧光显微成像只能对有限种类的化学分子进行特异性标记。
5.双光子荧光和光学衍射层析这两种模态虽然功能互补，但长期以来互不兼容，尽管近年来两种成像模态各自在时
‑
空分辨上都有长足的进步，但始终缺乏两种模态融合的高性能光学成像系统。


技术实现要素：

6.为了解决以上现有技术中存在的问题，本发明提出了一种结合双光子荧光和光学衍射层析的双模态显微成像系统及其成像方法，通过控制子系统同步控制，利用光学衍射层析技术的无标记、非侵入、光毒性小的特点解决双光子荧光成像遇到的问题；同时，利用双光子荧光对衍射层析中的结果进行标定，从而对生物样品从形态和化学特异性进行成
像，并且双光子荧光成像装置简单无需复杂的成像光路即能实现较高的分辨率；基于控制子系统使得两种模态融合，实现对样品局部特异性和全局形貌的并行成像表征。
7.本发明的一个目的在于提出一种结合双光子荧光和光学衍射层析的双模态显微成像系统。
8.本发明的结合双光子荧光和光学衍射层析的双模态显微成像系统包括：光学衍射层析子系统、双光子荧光子系统、第一二色镜、第二物镜和控制子系统；
9.光学衍射层析子系统包括：第一光源、第一声光调制器、第一半波片、第一偏振分束镜、第一光纤耦合器、第二光纤耦合器、第一保偏单模光纤、第二保偏单模光纤、扫描透镜、第一双轴扫描振镜、第一物镜、第一相机、第一套筒透镜、第一透镜、第二透镜、非偏振平板分束镜、第三透镜和第四透镜；其中，第一光源发射出第一激光；第一激光通过第一声光调制器产生衍射，包括0级、 1级和
‑
1级衍射光；其中 1级衍射光通过第一半波片后被第一偏振分束镜分成两束分光，分别为第一分光和第二分光；通过第一半波片控制第一分光和第二分光的分光比，第一分光用于样品的照明光，第二分光用于参考光；第一分光经过第一光纤耦合器耦合到第一保偏单模光纤，从第一保偏单模光纤的另一端输出，经过第一透镜准直成平行光，第一分束光通过第一双轴扫描振镜后实现光束不同角度的二维偏转，以实现从不同方向的照射样品，之后通过扫描透镜聚焦在第一物镜的后焦面上，从而实现不同方向的准直光照射样品；照射样品产生的透射光场由第二物镜接收，经第一二色镜后再经第一套筒透镜重新准直成信号光；准直后的信号光经过第三透镜和第四透镜组成的4f系统后进行放大倍率的补偿，以满足离轴全息的频谱带宽的限制；第二分光经过第二光纤耦合器耦合到第二保偏单模光纤，通过调整第二保偏单模光纤的长度，对第二分光进行空间延迟，从而满足两束分光的光程差能够在第一激光的相干长度内；第二分光经过第二保偏单模光纤后被第二透镜进行准直，并与上述准直后的信号光在非偏振平板分束镜处合束，通过调节非偏振平板分束镜的倾斜角度来满足全息频谱带宽限制，从而形成离轴干涉，由第一相机接收，由于光在穿过样品的时候，样品的折射率不均匀分布会对入射光长的振幅和相位进行调制，通过不同方向的照射样品，同时需要采集无样品存在区域的全息图来得到背景光，并从透射光场去除背景光得到由于样品散射产生的散射光场的振幅和相位信息，通过利托夫似下的衍射层析定理来恢复样品的三维折射率分布；
10.双光子荧光子系统包括第二光源、扩束器、第二双轴扫描振镜、第五透镜、第六透镜、第二二色镜、滤光片和第二相机；其中，第二光源发射出第二激光；第二激光经过扩束器扩束准直；扩束后的准直光通过第二二色镜后经过第二双轴扫描振镜形成扫描光束，实现对样本不同位置处荧光信号的扫描；扫描光束经过第五透镜和第六透镜构成的扩束系统扩束后，由第二物镜聚焦至样品上，激发样品产生双光子荧光信号；反射的双光子荧光信号由第二物镜收集，经过第六透镜和第五透镜后由第二二色镜引导至滤光片，经过滤光片滤除非双光子荧光，由第二相机接收，通过对样品进行逐点扫描和信号采集，得到待测样品双光子荧光成像结果；
11.控制子系统包括控制终端电脑和多通道数据采集卡；其中，控制终端电脑连接至多通道数据采集卡；数据采集卡包括第一至第四模拟输出通道、第一和第二可编程数字端口以及接地端，第一和第二模拟输出通道分别连接至第一双轴扫描振镜的x轴控制端和y轴控制端，第三和第四模拟输出通道分别连接至第二双轴扫描振镜的x轴控制端和y轴控制
端；第一和第二可编程数字端口分别连接至第一和第二相机的触发端，来触发相机开始曝光；接地端分别连接至第一和第二伺服电路、第一和第二相机的接地端以及第一声光调制器的负输入端；第一相机的曝光信号输出端口连接至第一声光调制器的正输入端；数据采集卡的第一和第二模拟输出通道输出正弦控制信号至第一双轴扫描振镜，从而控制第一双轴扫描振镜的偏转角度和偏振频率，进一步控制经过第一双轴扫描振镜的第一分光的偏振角度；数据采集卡的第三和第四模拟输出通道输出模拟控制信号到第二双轴扫描振镜，从而控制第二双轴扫描振镜实现逐点逐行扫描直到扫描完成整个视野；数据采集卡的第一和第二可编程数字端口输出触发信号，采用上升沿触发的方式以实现在第一双轴扫描振镜和第二双轴扫描振镜扫描的过程中第一相机和第二相机同步开始曝光；这里的同步是指的是：第一双轴扫描振镜的偏转与第一相机的曝光同步，以及第二双轴扫描振镜的扫描与第二相机的曝光同步，第一双轴扫描振镜每偏转一个位置，第一相机曝光拍摄一次，第二双轴扫描振镜每扫描一个位置，第二相机曝光拍摄一次；在双模态系统的成像时序中，每个成像周期内先进行光学衍射层析成像，紧接进行双光子成像；对于光学衍射层析成像，第一相机第二相机第一相机第二相机第一相机采用非全局曝光的形式，第一相机的曝光信号输出端口输出时间宽度可调的方波开关信号给声光调制器，使得所有行同步曝光，在完成一次曝光结束后，第一相机读出数据并将等待进入下一成像周期的曝光时序，直至完成一组光学衍射层析成像的数据采集；对于双光子成像，第二相机采用全局曝光的形式，所有行均处于同步曝光，在完成一组光学衍射层析成像数据采集后，随机触发第二双轴扫描振镜扫描样品，同时触发第二相机进入同步曝光。
12.光学衍射层析成像子系统采用环形扫描样品的方法，此时数据采集卡的两路模拟正弦信号存在π/2的相位差。双光子荧光成像子系统采用逐点逐行扫描样品的方法，第三模拟输出通道输出一个线性增长的信号，沿待测样品横向扫描一行结束后，第三模拟输出通道复位，第四模拟输出通道输出一个步进的高电平，使得扫描沿纵向移到下一个位置。
13.本发明的另一个目的在于提出一种结合双光子荧光和光学衍射层析的双模态显微成像方法。
14.本发明的结合双光子荧光和光学衍射层析的双模态显微成像方法，包括以下步骤：
15.一.光学衍射层析成像
16.1)第一激光通过第一声光调制器产生衍射，包括0级、 1级和
‑
1级衍射光；其中 1级衍射光通过第一半波片后被第一偏振分束镜分成两束分光，分别为第一分光和第二分光；
17.2)通过第一半波片控制第一分光和第二分光的分光比，第一分光用于样品的照明光，第二分光用于参考光；
18.3)第一分光经过第一光纤耦合器耦合到第一保偏单模光纤，从第一保偏单模光纤的另一端输出，经过第一透镜准直成平行光，第一分束光通过第一双轴扫描振镜后实现光束不同角度的二维偏转，以实现从不同方向的照射样品，之后通过扫描透镜聚焦在第一物镜的后焦面上，从而实现不同方向的准直光照射样品；
19.4)照射样品产生的透射光场由第二物镜接收，经第一二色镜后再经第一套筒透镜重新准直成信号光；准直后的信号光经过第三透镜和第四透镜组成的4f系统后进行放大倍
率的补偿，以满足离轴全息的频谱带宽的限制；第二分光经过第二光纤耦合器耦合到第二保偏单模光纤，通过调整第二保偏单模光纤的长度，对第二分光进行空间延迟，从而满足两束分光的光程差能够在第一激光的相干长度内；
20.5)第二分光经过第二保偏单模光纤后被第二透镜进行准直，并与上述准直后的信号光在非偏振平板分束镜处合束，通过调节非偏振平板分束镜的倾斜角度来满足全息频谱带宽限制，从而形成离轴干涉，由第一相机接收；
21.6)由于光在穿过样品的时候，样品的折射率不均匀分布会对入射光长的振幅和相位进行调制，通过不同方向的照射样品，同时需要采集无样品存在区域的全息图来得到背景光，并从透射光场去除背景光得到由于样品散射产生的透射光场的振幅和相位信息，通过利托夫(rytov)近似下的衍射层析定理来恢复样品的三维折射率分布；二.双光子荧光成像
22.1)第二光源发射出第二激光；第二激光经过扩束器扩束准直；
23.2)扩束后的准直光通过第二二色镜后经过第二双轴扫描振镜形成扫描光束，实现对样本不同位置处荧光信号的扫描；
24.3)扫描光束经过第五透镜和第六透镜构成的扩束系统扩束后，由第二物镜聚焦至样品上，激发样品产生双光子荧光信号；
25.4)反射的双光子荧光信号由第二物镜收集，经过第六透镜和第五透镜后由第二二色镜引导至滤光片，经过滤光片滤除非双光子荧光，由第二相机接收，通过对样品进行逐点扫描和信号采集，得到待测样品双光子荧光成像结果；
26.三.同步控制
27.1)控制子系统的数据采集卡的第一和第二模拟输出通道输出正弦控制信号至第一双轴扫描振镜，从而控制第一双轴扫描振镜的偏转角度和偏振频率，进一步控制经过第一双轴扫描振镜的第一分光的偏振角度；
28.2)数据采集卡的第三和第四模拟输出通道输出模拟控制信号到第二双轴扫描振镜，从而控制第二双轴扫描振镜实现逐点逐行扫描直到扫描完成整个视野；
29.3)数据采集卡的第一和第二可编程数字端口采用上升沿触发的方式以实现在第一双轴扫描振镜和第二双轴扫描振镜扫描的过程中第一相机和第二相机同步开始曝光；这里的同步是指的是：第一双轴扫描振镜的偏转与第一相机的曝光同步，以及第二双轴扫描振镜的扫描与第二相机的曝光同步，第一双轴扫描振镜每偏转一个位置，第一相机曝光拍摄一次，第二双轴扫描振镜每扫描一个位置，第二相机曝光拍摄一次；在双模态系统的成像时序中，每个成像周期内先进行光学衍射层析成像，紧接进行双光子成像：
30.a)对于光学衍射层析成像，第一相机采用非全局曝光的形式，第一相机的曝光信号输出端口输出时间宽度可调的方波开关信号给声光调制器，使得所有行同步曝光，在完成一次曝光结束后，第一相机读出数据并将等待进入下一成像周期的曝光时序，直至完成一组光学衍射层析成像的数据采集；
31.b)对于双光子成像，第二相机采用全局曝光的形式，所有行均处于同步曝光，在完成一组光学衍射层析成像数据采集后，随机触发第二双轴扫描振镜扫描样品，同时触发第二相机进入同步曝光。
32.本发明的优点：
33.本发明结合无标记光学衍射层析成像和双光子荧光成像，通过光学衍射层析成像能够恢复测样品的三维高分辨折射率分布，并同时对待测样品的双光子荧光成像进行共定位，实现双模态显微成像。
附图说明
34.图1为本发明的结合双光子荧光和光学衍射层析的双模态显微成像系统的一个实施例的示意图；
35.图2为本发明的结合双光子荧光和光学衍射层析的双模态显微成像系统的结构框图；
36.图3为本发明的结合双光子荧光和光学衍射层析的双模态显微成像系统的控制子系统的结构框图。
具体实施方式
37.下面结合附图，通过具体实施例，进一步阐述本发明。
38.如图1和2所示，本实施例的结合双光子荧光和光学衍射层析的双模态显微成像系统包括：光学衍射层析子系统、双光子荧光子系统、第一二色镜115、第二物镜114和控制子系统；
39.光学衍射层析子系统包括：第一光源101、第一声光调制器102、第一半波片103、第一偏振分束镜104、第一光纤耦合器105、第二光纤耦合器106、第一保偏单模光纤107、第二保偏单模光纤108、扫描透镜111、第一双轴扫描振镜110、第一物镜112、第一相机130、第一套筒透镜125、第一透镜109、第二透镜126、非偏振平板分束镜127、第三透镜128和第四透镜129；其中，第一光源101发射出第一激光；第一激光通过第一声光调制器102产生衍射，包括0级、 1级和
‑
1级衍射光；其中 1级衍射光通过第一半波片103后被第一偏振分束镜104分成两束分光，分别为第一分光和第二分光；通过第一半波片103控制第一分光和第二分光的分光比，第一分光用于样品的照明光，第二分光用于参考光；第一分光经过第一光纤耦合器105耦合到第一保偏单模光纤107，从第一保偏单模光纤107的另一端输出，经过第一透镜109准直成平行光，第一分束光通过第一双轴扫描振镜110后实现光束不同角度的二维偏转，以实现从不同方向的照射样品，之后通过扫描透镜111聚焦在第一物镜112的后焦面上，从而实现不同方向的准直光照射样品113；照射样品产生的透射光场由第二物镜114接收，经第一二色镜115反射后再经第一套筒透镜125重新准直成信号光；准直后的信号光经过第三透镜128和第四透镜129组成的4f系统后进行放大倍率的补偿，以满足离轴全息的频谱带宽的限制；第二分光经过第二光纤耦合器106耦合到第二保偏单模光纤108，通过调整第二保偏单模光纤108的长度，对第二分光进行空间延迟，从而满足两束分光的光程差能够在第一激光的相干长度内；第二分光经过第二保偏单模光纤108后被第二透镜126进行准直，并与上述准直后的信号光在非偏振平板分束镜127处合束，通过调节非偏振平板分束镜127的倾斜角度来满足全息频谱带宽限制，从而形成离轴干涉，由第一相机130接收；
40.双光子荧光子系统包括第二光源124、扩束器123、第二双轴扫描振镜119、第五透镜118、第六透镜117、第二二色镜122、滤光片121和第二相机120；其中，第二光源124发射出第二激光；第二激光经过扩束器123扩束准直；扩束后的准直光通过第二二色镜122透射后
经过第二双轴扫描振镜119形成扫描光束，实现对样本不同位置处荧光信号的扫描；扫描光束经过第五透镜118和第六透镜117构成的扩束系统扩束，经反射镜116反射后由第二物镜114聚焦至样品上，激发样品产生双光子荧光信号；反射的双光子荧光信号由第二物镜114收集，先经第一二色镜115透射再经反射镜116反射后，经过第六透镜117和第五透镜118后由第二二色镜122反射引导至滤光片121，经过滤光片121滤除非双光子荧光，由第二相机120接收；
41.控制子系统包括控制终端电脑pc和多通道数据采集卡daq；其中，控制终端电脑连接至多通道数据采集卡；数据采集卡包括第一至第四模拟输出通道a00～a03、第一和第二可编程数字端口pfi0.2和pfi0.3以及接地端gnd，第一和第二模拟输出通道分别连接至第一双轴扫描振镜的x轴控制端和y轴控制端，第三和第四模拟输出通道分别连接至第二双轴扫描振镜的x轴控制端和y轴控制端；第一和第二可编程数字端口pfi0.2和pfi0.3分别连接至第一和第二相机的触发端trigger，来触发相机开始曝光；接地端gng分别连接至第一和第二伺服电路、第一和第二相机的接地端以及第一声光调制器的负输入端；第一相机的曝光信号输出端口timing连接至第一声光调制器的正输入端。
42.本实施例的结合双光子荧光和光学衍射层析的双模态显微成像方法，包括以下步骤：
43.一.光学衍射层析成像
44.1)第一激光通过第一声光调制器102产生衍射，包括0级、 1级和
‑
1级衍射光；其中 1级衍射光通过第一半波片103后被第一偏振分束镜104分成两束分光，分别为第一分光和第二分光；
45.2)通过第一半波片103控制第一分光和第二分光的分光比，第一分光用于样品的照明光，第二分光用于参考光；
46.3)第一分光经过第一光纤耦合器105耦合到第一保偏单模光纤107，从第一保偏单模光纤107的另一端输出，经过第一透镜109准直成平行光，第一分束光通过第一双轴扫描振镜110后实现光束不同角度的二维偏转，以实现从不同方向的照射样品，之后通过扫描透镜111聚焦在第一物镜112的后焦面上，从而实现不同方向的准直光照射样品113；
47.4)照射样品产生的透射光场由第二物镜114接收，经第一二色镜115后再经第一套筒透镜125重新准直成信号光；准直后的信号光经过第三透镜128和第四透镜129组成的4f系统后进行放大倍率的补偿，以满足离轴全息的频谱带宽的限制；第二分光经过第二光纤耦合器106耦合到第二保偏单模光纤108，通过调整第二保偏单模光纤108的长度，对第二分光进行空间延迟，从而满足两束分光的光程差能够在第一激光的相干长度内；
48.5)第二分光经过第二保偏单模光纤108后被第二透镜126进行准直，并与上述准直后的信号光在非偏振平板分束镜127处合束，通过调节非偏振平板分束镜127的倾斜角度来满足全息频谱带宽限制，从而形成离轴干涉，由第一相机130接收；
49.6)由于光在穿过样品的时候，样品的折射率不均匀分布会对入射光长的振幅和相位进行调制，通过不同方向的照射样品，同时需要采集无样品存在区域的全息图来得到背景光，并从透射光场去除背景光得到由于样品散射产生的透射光场的振幅和相位信息，通过利托夫(rytov)近似下的衍射层析定理来恢复样品的三维折射率分布；
50.二.双光子荧光
51.1)第二光源124发射出第二激光；第二激光经过扩束器123扩束准直；
52.2)扩束后的准直光通过第二二色镜122后经过第二双轴扫描振镜119形成扫描光束，实现对样本不同位置处荧光信号的扫描；
53.3)扫描光束经过第五透镜118和第六透镜117构成的扩束系统扩束后，由第二物镜114聚焦至样品上，激发样品产生双光子荧光信号；
54.4)反射的双光子荧光信号由第二物镜114收集，经过第六透镜117和第五透镜118后由第二二色镜122引导至滤光片121，经过滤光片121滤除非双光子荧光，由第二相机120接收，通过对样品进行逐点扫描和信号采集，得到待测样品双光子荧光成像结果；
55.三.同步控制
56.1)控制子系统的数据采集卡的第一和第二模拟输出通道a00和a01输出正弦控制信号至第一双轴扫描振镜，从而控制第一双轴扫描振镜110的偏转角度和偏振频率，进一步控制经过第一双轴扫描振镜110的第一分光的偏振角度；
57.2)数据采集卡的第三和第四模拟输出通道a02和a03输出模拟控制信号到第二双轴扫描振镜，从而控制第二双轴扫描振镜119实现逐点逐行扫描直到扫描完成整个视野；
58.3)数据采集卡daq的第一和第二可编程数字端口pfi0.2和pfi0.3采用上升沿触发的方式以实现在第一双轴扫描振镜110和第二双轴扫描振镜119扫描的过程中第一相机130和第二相机120同步开始曝光，在一个成像周期中，单组数据采集即拍摄时间总共为1.5s，每间隔5s再进行一次单组数据采集，即成像周期为6.5s；这里的同步是指的是：第一双轴扫描振镜110的偏转与第一相机130的曝光同步，以及第二双轴扫描振镜119的扫描与第二相机120的曝光同步，第一双轴扫描振镜110每偏转一个位置，第一相机130曝光拍摄一次，第二双轴扫描振镜119每扫描一个位置，第二相机120曝光拍摄一次；在双模态系统的成像时序中，每个成像周期内先进行光学衍射层析成像，紧接进行双光子成像：
59.a)对于光学衍射层析成像，第一相机采用非全局曝光的形式，具体的第一相机上升沿触发与感光芯片第1023和1024行同步，中间的行先曝光，待513行和1535行都进入曝光，第一相机的曝光信号输出端口timing输出时间宽度可调的方波开关信号给声光调制器，使得光学衍射层析系统同步曝步一定时间，第一相机每次同步曝光的时间由声光调制器决定，声光调制器打开时间设置为0.05ms，在完成一次曝光后，相机感光芯片开始从上下两册逐行读出数据，并紧接着进入下一轮曝光时序中，直至完成一组光学衍射层析成像的数据采集；光学衍射层析成像中每个时间点的数据由240个不同角度照射下的全息图组成，1024x1024视野大小第一相机的实际帧率为196帧/s。因而光学衍射层析子系统中单组数据的采集需要1.225s；
60.b)对于双光子成像，第二相机120采用全局曝光的形式，所有行均处于同步曝光。当完成一组光学衍射层析成像数据采集后，进行双光子成像，随机触发第二双轴扫描振镜扫描样品113，同时触发第二相机进入同步曝光。
61.最后需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。