一种基于大视场光场成像的样本自动调平方法及系统与流程

摘要: 本发明涉及光场显微成像与自动控制,具体涉及一种基于大视场光场成像的样本自动调平方法及系统。背景技术:1、在生物学研究、药物筛选、病理观察、类器官培养监测、微结构...
一种基于大视场光场成像的样本自动调平方法及系统与流程

本发明涉及光场显微成像与自动控制,具体涉及一种基于大视场光场成像的样本自动调平方法及系统。

背景技术:

1、在生物学研究、药物筛选、病理观察、类器官培养监测、微结构检测以及微纳制造检测等应用中,大视场显微成像能够在同一时间覆盖更大的观察区域,从而提升样本通量和空间关联分析能力。随着成像视场不断扩大,样本表面、培养皿底面、玻片承载面或待测器件表面常常难以与显微系统的焦平面完全平行。

2、在实际成像过程中,载物台装夹误差、样本厚度不均、培养皿或玻片形变、温度变化、机械振动、重力作用以及光学系统安装误差等因素,均可能导致全视场范围内存在不同程度的倾斜、弯曲或局部高度差。当仅根据视场中心区域进行调焦时,中心区域虽然能够保持清晰,但视场边缘或局部区域仍可能发生离焦;当采用逐点扫描或多位置清晰度搜索方式进行调平时,通常需要多次采集和迭代搜索,响应速度较慢,并且容易增加光照剂量和机械运动时间。

3、现有显微自动对焦或自动调平方案多依赖二维图像清晰度指标、单点距离传感器、激光测距、干涉检测或额外机械检测模块。上述方式在一定程度上能够改善焦面偏移问题,但对于大视场范围内同时存在倾斜和曲率变化的样本,往往难以快速获得全视场深度分布,也难以直接推导出能够兼顾整体清晰度的最佳调平平面。

4、因此,如何提供一种基于光场显微成像确定适用于全视场的样本最佳调平平面的自动调平方法及系统是本领域技术人员亟需解决的问题。

技术实现思路

1、鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于大视场光场成像的样本自动调平方法及系统。

2、为了实现上述目的,本发明采用如下技术方案:

3、第一方面,本发明实施例提供一种基于大视场光场成像的样本自动调平方法,包括如下步骤:

4、s1:利用光场三维成像显微镜单次采集位于承载面上的样本的原始光场显微图像数据;

5、s2:对所述原始光场显微图像数据提取不同视角对应的多个子孔径图像,根据所述多个子孔径图像生成成像视场内的深度图,所述深度图包含所述成像视场内样本多个空间位置处的轴向深度值;

6、s3:根据所述深度图提取有效深度点集,所述有效深度点集中的每一个有效深度点包含横向坐标、纵向坐标和轴向深度值;

7、s4:对所述有效深度点集进行平面拟合,得到拟合平面,以及,对所述有效深度点集进行曲面拟合,得到表征所述成像视场内样本空间形貌的深度曲面;

8、s5:以所述深度曲面作为评价基准,对所述拟合平面的系数进行优化,将满足预设目标要求的系数所对应的拟合平面确定为最佳调平平面;

9、s6:根据所述最佳调平平面与所述承载面之间的空间位置差异计算调平控制量;

10、s7:根据所述调平控制量执行对所述承载面或光场三维成像显微镜中显微物镜焦平面的调平动作。

11、优选的,根据所述多个子孔径图像生成成像视场内的深度图的步骤,包括如下中的一种或多种的组合:

12、根据样本同一空间位置在不同子孔径图像间的位置偏移量计算视差值,根据预设的视差值与轴向深度值之间的映射关系确定相应的轴向深度值;

13、沿光场数据的空间维度和视角维度提取极平面图像,根据极平面图像中同一空间位置在不同视角下形成的线状轨迹的斜率确定轴向深度值;

14、对所述原始光场显微图像数据进行重聚焦计算,生成对应多个不同轴向深度位置的重聚焦图像序列,计算各空间位置在所述重聚焦图像序列各帧中的清晰度评价值,将清晰度评价值最高的一帧所对应的轴向深度位置确定为该空间位置的轴向深度值;

15、将所述多个子孔径图像、所述极平面图像或所述重聚焦图像序列中的至少一种输入预训练的深度估计网络,获取所述深度估计网络输出的轴向深度值。

16、优选的,根据所述深度图提取有效深度点集包括:

17、剔除轴向深度值为空值、无穷值或超出预设深度范围的空间位置;

18、获取所述深度图中各空间位置处的置信度值;剔除置信度值低于预设置信度阈值的空间位置;

19、计算剩余空间位置的轴向深度值与其邻域内多个空间位置的轴向深度值之间的局部偏差,剔除所述局部偏差超过预设偏差阈值的空间位置;

20、对完成剔除操作后保留的各空间位置按预设采样规则进行空间采样,得到所述有效深度点集。

21、优选的,所述拟合平面z表示为z = ax + by + c,其中,a、b、c 为拟合平面的系数;对所述有效深度点集进行平面拟合采用加权最小二乘回归或随机采样一致性回归。

22、优选的,对所述有效深度点集进行曲面拟合,得到表征所述成像视场内样本空间形貌的深度曲面的步骤,包括如下中的任一种:

23、采用多项式曲面模型进行拟合,以所述有效深度点的横向坐标和纵向坐标作为自变量构造多项式基函数矩阵,以所述有效深度点的轴向深度值作为拟合目标值,通过加权最小二乘法结合正则化约束求解多项式系数,得到所述深度曲面;

24、采用样条曲面模型进行拟合,以所述有效深度点的横向坐标和纵向坐标作为控制点坐标,以所述有效深度点的轴向深度值作为控制点高度值,通过薄板样条、双三次样条或b样条进行插值或逼近,以拟合误差与曲面弯曲能量的加权和最小化为目标求解控制点系数,得到所述深度曲面;

25、采用局部加权曲面模型进行拟合,对于所述成像视场中的待估计位置,选取该位置邻域内的多个有效深度点,根据各有效深度点与待估计位置之间的横向和纵向距离以及轴向深度值的置信度确定权重,以各有效深度点的轴向深度值作为拟合目标值,在所述邻域内拟合局部平面或局部多项式,将拟合结果作为该待估计位置的深度值,逐点计算得到所述深度曲面;

26、采用神经网络深度曲面模型进行拟合,以所述有效深度点的横向坐标和纵向坐标作为神经网络输入,以对应的轴向深度值或深度残差作为监督输出,以所述轴向深度值的置信度构建加权损失函数,并在所述损失函数中加入曲面平滑性约束和/或梯度连续性约束,对所述神经网络进行训练,将所述成像视场内各空间位置的横向坐标和纵向坐标输入训练后的神经网络,获得对应的轴向深度值或深度残差,以得到所述深度曲面。

27、优选的,所述预设目标要求为以下目标函数中的至少一种:

28、基于所述深度曲面上各轴向深度值的置信度对离焦误差进行加权求和所得到的加权离焦误差最小,所述离焦误差为所述深度曲面在对应空间位置处的轴向深度值与候选平面在对应空间位置处的高度值之差;

29、所述深度曲面与候选平面在所述成像视场全范围内的最大离焦误差最小;

30、所述深度曲面与候选平面之间的离焦误差满足光场三维成像显微镜中显微物镜景深阈值的视场区域面积最大;

31、其中,所述候选平面为优化过程中对所述拟合平面的系数进行调整后得到的平面。

32、优选的,求解所述最佳调平平面时,所述加权离焦误差中的权重还根据不同空间位置所在的视场区域类型进行设定;所述视场区域类型根据成像任务需求进行设定。

33、优选的,根据所述调平控制量执行对所述承载面的调平动作之后,还包括:

34、重新采集样本的光场显微图像数据,并根据重新采集的光场显微图像数据生成更新后的深度图;

35、根据所述更新后的深度图计算所述成像视场的离焦误差;所述离焦误差为所述深度曲面在对应空间位置处的轴向深度值与候选平面在对应空间位置处的高度值之差;所述候选平面为优化过程中对所述拟合平面的系数进行调整后得到的平面;

36、当所述离焦误差大于预设阈值时,重复执行步骤s3至s7。

37、优选的,步骤s2还包括对所述子孔径图像进行预处理的步骤;

38、所述预处理包括噪声抑制、畸变校正、亮度归一化和和图像配准中的一种或多种。

39、第二方面,本发明实施例提供一种基于大视场光场成像的样本自动调平系统,用于实现第一方面所述的基于大视场光场成像的样本自动调平方法,包括:

40、光场三维成像显微镜,用于单次采集位于承载面上样本的原始光场显微图像数据;

41、全视场深度检测模块,用于对所述原始光场显微图像数据提取不同视角对应的多个子孔径图像,根据所述多个子孔径图像生成成像视场内的深度图;

42、有效点提取模块,用于根据所述深度图提取有效深度点集;

43、平面/曲面拟合模块,用于对所述有效深度点集进行平面拟合以得到拟合平面,以及进行曲面拟合以得到表征所述成像视场内样本空间形貌的深度曲面;

44、最佳调平平面求解模块,用于以所述深度曲面作为评价基准,对所述拟合平面的系数进行优化,将满足预设目标要求的系数所对应的拟合平面确定为最佳调平平面;

45、反馈控制器,用于根据所述最佳调平平面与承载面之间的空间位置差异计算调平控制量;

46、调平执行模块,用于根据所述调平控制量执行对所述承载面或光场三维成像显微镜中显微物镜焦平面的调平动作。

47、本发明能够产生以下有益技术效果:

48、第一、本发明通过对原始光场显微图像数据提取多视角子孔径图像,能够由单次光场采集直接生成覆盖成像全视场的深度图,相较于仅依赖中心区域清晰度或单点距离信息的调平方式,可完整感知大视场范围内的轴向高度分布,且单次采集即可获取全视场深度信息,减少了逐点扫描和反复搜索带来的时间消耗,有利于降低光照剂量并提升动态成像效率。

49、第二、本发明通过对有效深度点集进行平面拟合与曲面拟合,以深度曲面作为固定评价基准对拟合平面系数进行优化,能够根据全视场深度曲面求解最佳调平平面,使调平结果兼顾中心区域、边缘区域和预设感兴趣区域的整体清晰度,避免仅根据单一位置调平导致其他区域失焦。

50、第三、本发明在曲面拟合过程中引入了基于有效深度点置信度的加权约束,并在提取有效深度点集时剔除了置信度偏低及局部偏差超过预设阈值的空间位置,提高了在样本形貌不规则、边缘信号较弱或局部存在异常深度值情形下的调平鲁棒性。

51、第四、本发明在求解最佳调平平面时,可根据成像任务需求为不同区域设置不同权重,亦可引入调平执行机构的行程范围、最大倾斜角、预设感兴趣区域、显微物镜景深范围等约束条件,使最佳调平平面的求解结果能够适配不同成像场景的实际需求,具有良好的工程适应性和推广价值。