一种基于互补感知类脑芯片的元成像系统及方法

本公开涉及计算成像，尤其涉及一种基于互补感知类脑芯片的元成像系统及方法。

背景技术：

1、在活细胞观测、深层组织成像和高速生物过程成像等场景中，成像系统不仅需要具备高空间分辨率和大视场能力，还需要兼顾高速动态感知、高灵敏度、低光毒性以及动态像差校正等性能要求。然而，现有元成像系统通常基于单一光谱通道和单一强度信息进行采样与计算重建，虽然能够恢复目标场景的静态三维形貌，但难以充分获取目标场景的动态变化信息；在细胞快速运动、荧光强度快速变化、深层组织散射增强以及长时间活体观测等场景下，容易产生运动伪影、动态模糊、局部过曝、低信噪比及重建不稳定等问题。

2、此外，现有计算成像方法通常对信息采集、编码调制、图像感知及计算重建各环节进行独立设计，缺乏面向多源信息协同获取与统一表达的一体化架构，难以充分利用不同信息维度之间的协同关系。因此，亟需提出一种新的元成像系统，在信息采集、编码调制、图像感知及计算重建过程中实现多源信息的协同获取与统一表达，从而提高动态场景下元成像重建的稳定性和成像质量。

技术实现思路

1、有鉴于此，本公开提出了一种基于互补感知类脑芯片的元成像系统及方法，以至少部分解决动态成像过程中不同编码状态对应的采样数据存在时间错位和空间失配、多光谱信息与不同感知通路的数据缺乏统一对应关系，以及编码过程难以适应目标样品动态变化的问题，提高动态场景下元成像重建的稳定性和成像质量。

2、根据本公开的一方面，提供了一种基于互补感知类脑芯片的元成像系统，所述系统包括：

3、互补光学采集模块，用于收集目标样品的信号光，形成含至少两种光谱分量的共同中间像；

4、互补光场编码模块，用于基于统一时间基准对所述共同中间像进行多个联合编码状态下的空间与角度联合编码，形成互补编码光场；

5、互补光谱分配模块，用于将所述互补编码光场分配至光谱响应不同的至少两个光谱通道，得到至少两路互补编码光信号，其中，同一联合编码状态下分配的各路所述互补编码光信号共享该联合编码状态；

6、类脑互补感知模块，包括具有认知导向通路和运动导向通路的互补感知类脑芯片，用于对各路所述互补编码光信号进行光电采集，得到互补光场采样数据，其中，所述认知导向通路输出空间结构数据，所述运动导向通路输出时空变化数据；

7、多维互补信息表达与重建模块，用于将所述空间结构数据和所述时空变化数据分别关联至采集时的联合编码状态及所属光谱通道，建立空间、角度、时间及光谱的联合信息表达关系，根据所述时空变化数据对所述互补光场采样数据进行动态补偿，以所述空间结构数据为约束进行元成像联合重建，得到元成像结果；

8、其中，所述互补光场编码模块根据所述时空变化数据自适应调整后续联合编码状态。

9、在一种可能的实现方式中，所述互补光学采集模块包括集光物镜、成像透镜组和多波段滤光组件；

10、所述集光物镜用于通过同一采集孔径收集所述目标样品同一观测区域的信号光，所述信号光包含所述至少两种光谱分量；

11、所述多波段滤光组件设置于所述集光物镜与所述成像透镜组之间，具有与所述至少两种光谱分量对应的至少两个透射波段，用于从所述信号光中同时滤出所述光谱分量；

12、所述成像透镜组用于使通过所述多波段滤光组件的各所述光谱分量的信号光沿同一成像光路传播，并在同一中间像面形成所述共同中间像，以供所述互补光场编码模块对所述共同中间像进行空间与角度联合编码。

13、在一种可能的实现方式中，所述互补光场编码模块包括扫描镜、可移动编码微透镜阵列、编码控制器和驱动组件，所述驱动组件分别与所述扫描镜和所述可移动编码微透镜阵列连接；

14、所述联合编码状态包括所述扫描镜的角度偏转状态和所述可移动编码微透镜阵列的空间位移状态；

15、所述编码控制器用于基于所述统一时间基准，通过所述驱动组件控制所述扫描镜和所述可移动编码微透镜阵列形成相应的联合编码状态，并确定各所述联合编码状态的保持时长；

16、所述编码控制器还用于接收采样时间区间处于同一联合编码状态保持期间的所述时空变化数据，根据所述时空变化数据确定所述目标样品的运动幅值，并根据所述运动幅值调整后续联合编码状态的组合、执行顺序或保持时长。

17、在一种可能的实现方式中，所述互补光谱分配模块包括分光组件以及分别设置于各所述光谱通道内的光谱滤波组件和中继成像组件；

18、所述分光组件用于将所述互补编码光场分配至各所述光谱通道，至少两个所述光谱滤波组件的透射波段范围或波段间相对透过率不同；

19、各路所述互补编码光信号对应所述目标样品的同一观测区域，并经对应的所述中继成像组件分别成像于所述互补感知类脑芯片上互不重叠的感光区域，各所述感光区域分别与对应的光谱通道关联；

20、对于各所述感光区域，所述认知导向通路输出对应光谱通道的空间结构数据，所述运动导向通路输出对应光谱通道的时空变化数据。

21、在一种可能的实现方式中，所述认知导向通路和所述运动导向通路基于所述统一时间基准同步采集；

22、所述认知导向通路以第一采样频率输出所述空间结构数据，所述空间结构数据为表征入射光强及其空间分布的强度帧数据；

23、所述运动导向通路以第二采样频率输出所述时空变化数据，所述第二采样频率高于所述第一采样频率，所述时空变化数据包括空间差分数据和时间差分数据；

24、所述类脑互补感知模块还用于基于所述统一时间基准，为各帧所述空间结构数据记录曝光时间区间，为各组所述时空变化数据记录采样时间区间，并将所述采样时间区间位于同一曝光时间区间内的多组所述时空变化数据与对应的空间结构数据关联。

25、在一种可能的实现方式中，所述将所述空间结构数据和所述时空变化数据分别关联至采集时的联合编码状态及所属光谱通道，建立空间、角度、时间及光谱的联合信息表达关系，包括：

26、基于所述统一时间基准，为所述互补光场采样数据关联对应的采样时间、联合编码状态标识、光谱通道标识和感知通路标识；

27、根据所述扫描镜的角度偏转状态、所述可移动编码微透镜阵列的空间位移状态，以及预先标定的微透镜单元与成像像素之间的映射关系，确定所述互补光场采样数据对应的空间采样位置和观察角度；

28、根据预先标定的不同光谱通道之间的坐标变换关系以及所述认知导向通路与所述运动导向通路之间的空间映射关系，将所述空间采样位置转换至统一的物方坐标系；

29、依据所述采样时间及转换后的空间采样位置，将所述空间结构数据和所述时空变化数据与对应的观察角度、联合编码状态、光谱通道和感知通路进行统一关联，建立所述联合信息表达关系。

30、在一种可能的实现方式中，所述动态补偿，包括：

31、根据在各联合编码状态保持期间采集的所述时空变化数据，结合所述联合信息表达关系，估计所述目标样品的局部运动场以及成像视场的动态扰动参数，其中，所述局部运动场表征不同局部区域之间的运动差异，所述动态扰动参数表征所述成像视场的整体性偏移；

32、根据所述局部运动场、所述动态扰动参数以及各采样时间与预定参考时刻之间的时间间隔，确定各联合编码状态对应的互补光场采样数据到所述预定参考时刻的运动变换关系；

33、结合各联合编码状态对应的空间采样位置和观察角度，在保留各采样数据对应的观察角度标识、光谱通道标识及联合编码状态标识的情况下，依据所述运动变换关系对不同联合编码状态对应的互补光场采样数据进行时间对齐和空间配准，得到补偿后光场采样数据。

34、在一种可能的实现方式中，所述元成像联合重建，包括：

35、根据所述补偿后光场采样数据中的空间结构数据以及对应的联合编码状态和光谱通道，建立空间与角度联合重建模型，所述空间与角度联合重建模型包括各联合编码状态对应的空间与角度采样关系以及各光谱通道的光谱响应；

36、根据不同联合编码状态及不同光谱通道对应的数据在各局部区域的信噪比、曝光饱和程度以及动态补偿后的配准残差，确定融合权重；

37、利用所述融合权重，对所述空间与角度联合重建模型预测的强度数据与所述补偿后光场采样数据中的空间结构数据之间的差异进行加权，形成加权数据一致性项；

38、根据所述空间结构数据提供的边缘或纹理特征构建结构约束项，对由所述加权数据一致性项和所述结构约束项构成的目标函数进行联合求解，恢复所述目标样品的光场信息，并生成所述元成像结果。

39、在一种可能的实现方式中，所述多维互补信息表达与重建模块还用于对恢复得到的所述光场信息进行数字自适应光学校正，所述数字自适应光学校正，包括：

40、根据所述光场信息中不同观察角度对应的数据，估计不同视场位置的波前信息；

41、根据所述波前信息及对应光谱通道的光谱响应，确定不同视场位置的空间变化点扩散函数，并建立对应的局部光学模型；

42、根据所述空间结构数据、所述时空变化数据及各视场位置的局部信噪比，确定对应的局部校正参数，所述局部校正参数包括用于局部反卷积的正则化系数；

43、基于所述局部光学模型及所述局部校正参数，对各视场位置执行局部反卷积以补偿光学像差，得到校正后的元成像结果。

44、根据本公开的另一方面，提供了一种基于互补感知类脑芯片的元成像方法，所述方法包括：

45、收集目标样品的信号光，形成含至少两种光谱分量的共同中间像；

46、基于统一时间基准对所述共同中间像进行多个联合编码状态下的空间与角度联合编码，形成互补编码光场；

47、将所述互补编码光场分配至光谱响应不同的至少两个光谱通道，得到至少两路互补编码光信号，其中，同一联合编码状态下分配的各路所述互补编码光信号共享该联合编码状态；

48、通过具有认知导向通路和运动导向通路的互补感知类脑芯片，对各路所述互补编码光信号进行光电采集，得到互补光场采样数据，其中，所述认知导向通路输出空间结构数据，所述运动导向通路输出时空变化数据；

49、将所述空间结构数据和所述时空变化数据分别关联至采集时的联合编码状态及所属光谱通道，建立空间、角度、时间及光谱的联合信息表达关系，根据所述时空变化数据对所述互补光场采样数据进行动态补偿，以所述空间结构数据为约束进行元成像联合重建，得到元成像结果；

50、其中，所述联合编码状态根据所述时空变化数据自适应调整。

51、在一种可能的实现方式中，所述收集目标样品的信号光的设备，包括集光物镜、成像透镜组和多波段滤光组件；

52、所述集光物镜用于通过同一采集孔径收集所述目标样品同一观测区域的信号光，所述信号光包含所述至少两种光谱分量；

53、所述多波段滤光组件设置于所述集光物镜与所述成像透镜组之间，具有与所述至少两种光谱分量对应的至少两个透射波段，用于从所述信号光中同时滤出所述光谱分量；

54、所述成像透镜组用于使通过所述多波段滤光组件的各所述光谱分量的信号光沿同一成像光路传播，并在同一中间像面形成所述共同中间像，以供所述互补光场编码模块对所述共同中间像进行空间与角度联合编码。

55、在一种可能的实现方式中，所述基于统一时间基准对所述共同中间像进行多个联合编码状态下的空间与角度联合编码的设备，包括扫描镜、可移动编码微透镜阵列、编码控制器和驱动组件，所述驱动组件分别与所述扫描镜和所述可移动编码微透镜阵列连接；

56、所述联合编码状态包括所述扫描镜的角度偏转状态和所述可移动编码微透镜阵列的空间位移状态；

57、所述编码控制器用于基于所述统一时间基准，通过所述驱动组件控制所述扫描镜和所述可移动编码微透镜阵列形成相应的联合编码状态，并确定各所述联合编码状态的保持时长；

58、所述编码控制器还用于接收采样时间区间处于同一联合编码状态保持期间的所述时空变化数据，根据所述时空变化数据确定所述目标样品的运动幅值，并根据所述运动幅值调整后续联合编码状态的组合、执行顺序或保持时长。

59、在一种可能的实现方式中，所述将所述互补编码光场分配至光谱响应不同的至少两个光谱通道的设备，包括分光组件以及分别设置于各所述光谱通道内的光谱滤波组件和中继成像组件；

60、所述分光组件用于将所述互补编码光场分配至各所述光谱通道，至少两个所述光谱滤波组件的透射波段范围或波段间相对透过率不同；

61、各路所述互补编码光信号对应所述目标样品的同一观测区域，并经对应的所述中继成像组件分别成像于所述互补感知类脑芯片上互不重叠的感光区域，各所述感光区域分别与对应的光谱通道关联；

62、对于各所述感光区域，所述认知导向通路输出对应光谱通道的空间结构数据，所述运动导向通路输出对应光谱通道的时空变化数据。

63、在一种可能的实现方式中，所述认知导向通路和所述运动导向通路基于所述统一时间基准同步采集；

64、所述认知导向通路以第一采样频率输出所述空间结构数据，所述空间结构数据为表征入射光强及其空间分布的强度帧数据；

65、所述运动导向通路以第二采样频率输出所述时空变化数据，所述第二采样频率高于所述第一采样频率，所述时空变化数据包括空间差分数据和时间差分数据；

66、所述类脑互补感知模块还用于基于所述统一时间基准，为各帧所述空间结构数据记录曝光时间区间，为各组所述时空变化数据记录采样时间区间，并将所述采样时间区间位于同一曝光时间区间内的多组所述时空变化数据与对应的空间结构数据关联。

67、在一种可能的实现方式中，所述将所述空间结构数据和所述时空变化数据分别关联至采集时的联合编码状态及所属光谱通道，建立空间、角度、时间及光谱的联合信息表达关系，包括：

68、基于所述统一时间基准，为所述互补光场采样数据关联对应的采样时间、联合编码状态标识、光谱通道标识和感知通路标识；

69、根据所述扫描镜的角度偏转状态、所述可移动编码微透镜阵列的空间位移状态，以及预先标定的微透镜单元与成像像素之间的映射关系，确定所述互补光场采样数据对应的空间采样位置和观察角度；

70、根据预先标定的不同光谱通道之间的坐标变换关系以及所述认知导向通路与所述运动导向通路之间的空间映射关系，将所述空间采样位置转换至统一的物方坐标系；

71、依据所述采样时间及转换后的空间采样位置，将所述空间结构数据和所述时空变化数据与对应的观察角度、联合编码状态、光谱通道和感知通路进行统一关联，建立所述联合信息表达关系。

72、在一种可能的实现方式中，所述动态补偿，包括：

73、根据在各联合编码状态保持期间采集的所述时空变化数据，结合所述联合信息表达关系，估计所述目标样品的局部运动场以及成像视场的动态扰动参数，其中，所述局部运动场表征不同局部区域之间的运动差异，所述动态扰动参数表征所述成像视场的整体性偏移；

74、根据所述局部运动场、所述动态扰动参数以及各采样时间与预定参考时刻之间的时间间隔，确定各联合编码状态对应的互补光场采样数据到所述预定参考时刻的运动变换关系；

75、结合各联合编码状态对应的空间采样位置和观察角度，在保留各采样数据对应的观察角度标识、光谱通道标识及联合编码状态标识的情况下，依据所述运动变换关系对不同联合编码状态对应的互补光场采样数据进行时间对齐和空间配准，得到补偿后光场采样数据。

76、在一种可能的实现方式中，所述元成像联合重建，包括：

77、根据所述补偿后光场采样数据中的空间结构数据以及对应的联合编码状态和光谱通道，建立空间与角度联合重建模型，所述空间与角度联合重建模型包括各联合编码状态对应的空间与角度采样关系以及各光谱通道的光谱响应；

78、根据不同联合编码状态及不同光谱通道对应的数据在各局部区域的信噪比、曝光饱和程度以及动态补偿后的配准残差，确定融合权重；

79、利用所述融合权重，对所述空间与角度联合重建模型预测的强度数据与所述补偿后光场采样数据中的空间结构数据之间的差异进行加权，形成加权数据一致性项；

80、根据所述空间结构数据提供的边缘或纹理特征构建结构约束项，对由所述加权数据一致性项和所述结构约束项构成的目标函数进行联合求解，恢复所述目标样品的光场信息，并生成所述元成像结果。

81、在一种可能的实现方式中，所述方法还包括对恢复得到的所述光场信息进行数字自适应光学校正，所述数字自适应光学校正，包括：

82、根据所述光场信息中不同观察角度对应的数据，估计不同视场位置的波前信息；

83、根据所述波前信息及对应光谱通道的光谱响应，确定不同视场位置的空间变化点扩散函数，并建立对应的局部光学模型；

84、根据所述空间结构数据、所述时空变化数据及各视场位置的局部信噪比，确定对应的局部校正参数，所述局部校正参数包括用于局部反卷积的正则化系数；

85、基于所述局部光学模型及所述局部校正参数，对各视场位置执行局部反卷积以补偿光学像差，得到校正后的元成像结果。

86、根据本公开另一方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现上述方法的步骤。

87、根据本公开另一方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。

88、根据本公开另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。

89、在本公开实施例中，通过收集目标样品的信号光，形成含至少两种光谱分量的共同中间像，使得至少两种光谱分量的信号在同一中间像中汇合并同步进入后续编码与采集过程；通过基于统一时间基准对所述共同中间像进行多个联合编码状态下的空间与角度联合编码，使得不同时刻获得的编码数据在时间维度上保持统一对应；通过将所述互补编码光场分配至光谱响应不同的至少两个光谱通道，并使同一联合编码状态下分配得到的各路所述互补编码光信号共享该联合编码状态，使得多光谱信号在不破坏光谱与编码状态对应关系的前提下被分配至不同的光谱通道；通过所述认知导向通路输出所述空间结构数据、所述运动导向通路输出所述时空变化数据，使得两类数据由同一互补感知类脑芯片并行获得；通过建立空间、角度、时间及光谱的联合信息表达关系，使得多维信息在同一数据组织框架下保持对应。在此基础上，由于所述时空变化数据由所述运动导向通路输出、所述空间结构数据由所述认知导向通路输出，动态补偿与元成像联合重建所需的输入均来自同一采集过程；由于动态补偿根据所述时空变化数据对所述互补光场采样数据执行，不同联合编码状态下获得的采样数据能够在元成像联合重建之前依据采集时获得的动态信息得到校正，减小了不同联合编码状态下的数据之间因采集时刻不同而产生的偏差；元成像联合重建以所述空间结构数据为约束进行，与动态补偿共用所述联合信息表达关系所关联的数据；又由于所述互补光场编码模块根据所述时空变化数据自适应调整后续联合编码状态，后续联合编码状态能够根据采集所得的所述时空变化数据更新。从而提高了动态场景下元成像重建的稳定性和成像质量。

90、根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。