面向事件式夏克-哈特曼波前重构的数据集构建方法及系统

摘要: 本发明涉及自适应光学与事件视觉数据处理,尤其涉及一种面向事件式夏克-哈特曼波前重构的数据集构建方法及系统。背景技术:1、高速动态波前测量广泛应用于自适应光学、光...
面向事件式夏克-哈特曼波前重构的数据集构建方法及系统

本发明涉及自适应光学与事件视觉数据处理,尤其涉及一种面向事件式夏克-哈特曼波前重构的数据集构建方法及系统。

背景技术:

1、高速动态波前测量广泛应用于自适应光学、光学检测等领域。夏克-哈特曼波前传感技术通常利用微透镜阵列对入射波前进行分割,根据各子孔径形成的光斑位置或光斑变化获取波前信息。传统基于帧式图像传感器的波前测量方式受曝光时间和帧率限制,在高速动态波前测量过程中难以兼顾时间分辨率和数据处理效率。事件相机能够根据像素位置处的光强变化异步输出事件数据,具有较高的时间分辨率和较低的数据冗余,因此逐渐被应用于夏克-哈特曼波前感知及波前重构。

2、对于基于事件数据进行波前重构的模型训练,需要获得与不同波前状态对应的事件数据。目前,相关训练数据可以通过光斑图像仿真、动态光斑序列向事件数据转换或者实验采集等方式获得。然而,现有仿真方式通常分别进行动态波前生成、光斑形成和事件数据生成,不同处理环节之间缺少连续的数据传递和统一的时间基准,导致生成的事件数据与对应波前状态之间的物理关联和时间对应关系不够明确。特别是事件数据按照光强变化异步产生,而波前真值通常按照离散采样时刻获得,如果仅将动态光斑转换为事件数据,而未进一步建立事件产生时刻与波前采样时刻之间的对应关系,容易造成事件数据与波前真值在时间上的错配,从而影响后续训练数据的有效性。

3、此外,在事件数据生成过程中,不同像素位置的事件触发响应、有限响应带宽以及连续光强变化过程中事件的异步产生特性均会影响所生成事件流的时序分布。现有的通用事件数据生成方式主要面向一般视觉场景,难以同时结合动态波前变化和光斑强度变化过程构建与波前状态相对应的事件数据,使得所获得的数据难以完整反映动态波前变化引起的光斑变化及相应事件响应过程。

4、另一方面,采用实际光学系统逐组采集不同波前条件下的事件数据时,还需要完成光学系统搭建、波前真值获取以及事件数据与波前真值之间的同步,数据采集和配对过程较为复杂;当需要获得不同湍流条件下的大量训练样本时,还需要重复改变运行条件并进行数据采集,导致训练数据生成效率较低,且不利于形成覆盖不同参数条件的成对数据集。

技术实现思路

1、为此,本发明所要解决的技术问题在于克服现有技术中事件式夏克-哈特曼波前重构训练数据的生成过程缺少统一的物理关联和时间配准机制,导致异步事件流与波前真值之间对应关系不明确,且不同参数条件下的成对训练数据构建效率较低的问题。

2、为解决上述技术问题,本发明提供了一种面向事件式夏克-哈特曼波前重构的数据集构建方法,包括:

3、获取多组不同的数据集生成参数,所述数据集生成参数包括大气湍流参数、光场传播参数和事件响应参数;

4、针对每组所述数据集生成参数,根据所述大气湍流参数生成动态波前序列,并得到与所述动态波前序列对应的波前真值;根据所述光场传播参数,对所述动态波前序列进行光场传播处理,得到光斑强度序列;根据所述事件响应参数和所述光斑强度序列的采样时间信息,对所述光斑强度序列进行事件转换处理,得到异步事件流;

5、根据所述波前真值的相邻采样时刻对所述异步事件流进行划分,得到多个事件时间窗口,将各所述事件时间窗口分别与对应采样时刻的所述波前真值和所述光斑强度序列中的光斑强度数据进行关联,得到多个配对数据样本,组成与该组数据集生成参数对应的配对数据样本集合;

6、汇总各组数据集生成参数对应的配对数据样本集合,构建事件式夏克-哈特曼波前重构数据集。

7、在本发明的一个实施例中,得到多个配对数据样本的方法为:

8、根据所述波前真值的采样时间信息确定相邻采样时刻,以相邻采样时刻构成事件划分区间,根据所述异步事件流中各事件对应的事件时间戳,将所述事件划分至对应的所述事件划分区间,得到各所述事件时间窗口,表示为:

9、,

10、其中,表示采样时刻与采样时刻之间的所述事件时间窗口,表示所述异步事件流中的第个事件,表示第个事件对应的事件时间戳;

11、确定各所述事件时间窗口,确定该事件时间窗口对应的采样时刻,获取该采样时刻对应的所述波前真值以及所述光斑强度序列中的光斑强度数据;

12、将各所述事件时间窗口分别与对应的所述波前真值和所述光斑强度数据按照对应的采样时刻进行关联,得到在统一物理时间轴上相互配准的多个所述配对数据样本。

13、在本发明的一个实施例中,将各所述事件时间窗口分别与对应的所述波前真值和所述光斑强度数据按照对应的采样时刻进行关联,得到在统一物理时间轴上相互配准的多个所述配对数据样本的方法为:

14、针对第个所述事件时间窗口,确定所述事件时间窗口对应的采样时刻,获取所述采样时刻对应的所述波前真值以及所述光斑强度序列中对应的所述光斑强度数据;

15、将所述事件时间窗口、所述波前真值和所述光斑强度数据进行关联,得到第个所述配对数据样本,表示为:

16、,

17、其中,表示采样时刻与采样时刻之间产生的事件构成的所述事件时间窗口,表示采样时刻对应的所述波前真值,表示所述光斑强度序列中采样时刻对应的所述光斑强度数据,表示由所述事件时间窗口、所述波前真值和所述光斑强度数据构成的第个所述配对数据样本;

18、针对各所述事件时间窗口分别进行所述关联,得到多个所述配对数据样本,组成与对应一组所述数据集生成参数对应的配对数据样本集合。

19、在本发明的一个实施例中,根据所述事件响应参数和所述光斑强度序列的采样时间信息,对所述光斑强度序列进行事件转换处理,得到异步事件流的方法为:

20、针对所述光斑强度序列中各采样时刻对应的各像素位置的光强值,对同一像素位置在不同采样时刻对应的所述光强值进行响应变换和时域低通处理,得到各像素位置对应的像素响应信号;

21、针对各所述像素位置,获取该像素位置上一次有效事件产生后对应的参考响应值,根据当前采样时刻的所述像素响应信号与所述参考响应值确定响应差值,将所述响应差值与该像素位置对应的正事件触发阈值和负事件触发阈值进行比较,根据比较结果确定是否产生事件以及所产生事件的事件极性;

22、当相邻采样时刻之间同一像素位置的响应变化量跨越多个同极性事件触发阈值时,根据跨越的所述同极性事件触发阈值的数量,在该像素位置依次产生对应数量的同极性事件,根据所述相邻采样时刻之间的采样时间间隔,为产生的各所述同极性事件分配位于对应时间区间内的事件时间戳;

23、根据当前时间区间内同一像素位置实际输出的正极性事件数量和负极性事件数量,按照下式更新该像素位置对应的所述参考响应值:

24、,

25、其中,表示坐标的所述像素位置的参考响应值,和分别表示当前时间区间内所述像素位置实际输出的正极性事件数量和负极性事件数量,和分别表示坐标对应的所述像素位置的正事件触发阈值和负事件触发阈值;

26、按照所述事件时间戳对各所述像素位置产生的事件进行排列,得到所述异步事件流。

27、在本发明的一个实施例中,将所述响应差值与该像素位置对应的正事件触发阈值和负事件触发阈值进行比较,根据比较结果确定是否产生事件以及所产生事件的事件极性的方法为:

28、根据所述事件响应参数中的正事件触发阈值、负事件触发阈值和像素阈值差异标准差,分别确定各像素位置对应的正向随机阈值偏差和负向随机阈值偏差,所述正向随机阈值偏差和所述负向随机阈值偏差的统计离散程度由所述像素阈值差异标准差确定;

29、将所述正事件触发阈值与对应像素位置的所述正向随机阈值偏差进行叠加,得到该像素位置的实际正事件触发阈值,将所述负事件触发阈值与对应像素位置的所述负向随机阈值偏差进行叠加,得到该像素位置的实际负事件触发阈值;

30、将所述响应差值分别与该像素位置的所述实际正事件触发阈值和所述实际负事件触发阈值进行比较,当所述响应差值大于或等于所述实际正事件触发阈值时,在该像素位置产生正极性事件,当所述响应差值小于或等于所述实际负事件触发阈值的相反数时,在该像素位置产生负极性事件。

31、在本发明的一个实施例中,对同一像素位置在不同采样时刻对应的所述光强值进行响应变换和时域低通处理,得到各像素位置对应的像素响应信号的方法为:

32、针对同一像素位置在不同采样时刻对应的所述光强值,在中光强区域和高光强区域将所述光强值转换为对数响应值,在低光强区域将所述光强值转换为与所述对数响应连续衔接的线性响应值,得到各采样时刻对应的响应值;

33、根据所述事件响应参数中的光感受器低通截止频率确定光感受器带宽响应,根据所述光感受器带宽响应对各采样时刻对应的所述响应值进行时域低通处理,得到各所述像素位置对应的所述像素响应信号。

34、在本发明的一个实施例中,根据所述大气湍流参数生成动态波前序列,并得到与所述动态波前序列对应的波前真值的方法为:

35、根据所述大气湍流参数中的大气相干长度和湍流外尺度,确定湍流相位的空间功率谱;

36、在空间频率域内生成随机复高斯噪声,根据所述空间功率谱对不同空间频率分量对应的所述随机复高斯噪声进行加权,得到加权后的频域数据;

37、对所述加权后的频域数据进行二维逆傅里叶变换,得到满足所述大气湍流参数对应统计特性的初始相位屏;

38、根据所述大气湍流参数中的风速和风向对所述初始相位屏进行时间推进,得到随采样时间变化的所述动态波前序列,并将所述动态波前序列中各采样时刻对应的波前数据作为所述波前真值。

39、在本发明的一个实施例中,根据所述光场传播参数,对所述动态波前序列进行光场传播处理,得到光斑强度序列的方法为:

40、根据所述动态波前序列中各采样时刻对应的波前光程差分布和所述光场传播参数,确定各采样时刻对应的入射光场;

41、根据所述光场传播参数确定子孔径分布和相位调制关系,按照所述子孔径分布对所述入射光场进行子孔径分割,根据所述相位调制关系对分割后的各子孔径光场进行相位调制,得到调制后的光场;

42、根据所述光场传播参数确定所述调制后的光场至探测器平面的传播条件,对所述调制后的光场进行衍射传播,得到各采样时刻对应的探测器平面光强分布;

43、按照采样时刻对各所述探测器平面光强分布进行排列,得到所述光斑强度序列。

44、基于同一发明构思,本发明还提供了一种面向事件式夏克-哈特曼波前重构的数据集构建系统,包括:

45、参数获取模块,用于获取多组不同的数据集生成参数,所述数据集生成参数包括大气湍流参数、光场传播参数和事件响应参数;

46、数据生成模块,用于针对每组所述数据集生成参数,根据所述大气湍流参数生成动态波前序列,并得到与所述动态波前序列对应的波前真值;根据所述光场传播参数,对所述动态波前序列进行光场传播处理,得到光斑强度序列;根据所述事件响应参数和所述光斑强度序列的采样时间信息,对所述光斑强度序列进行事件转换处理,得到异步事件流;

47、数据配对模块,用于根据所述波前真值的相邻采样时刻对所述异步事件流进行划分,得到多个事件时间窗口,将各所述事件时间窗口分别与对应采样时刻的所述波前真值和所述光斑强度序列中的光斑强度数据进行关联,得到多个配对数据样本,组成与该组数据集生成参数对应的配对数据样本集合;

48、数据集构建模块,用于汇总各组数据集生成参数对应的配对数据样本集合,构建事件式夏克-哈特曼波前重构数据集。

49、在本发明的一个实施例中,所述数据生成模块包括波前生成单元、夏克-哈特曼光场传播单元和事件转换单元;

50、所述波前生成单元用于根据所述大气湍流参数生成所述动态波前序列,并输出与所述动态波前序列对应的所述波前真值;

51、所述夏克-哈特曼光场传播单元包括微透镜阵列处理子单元和探测器平面成像子单元,所述微透镜阵列处理子单元用于对所述动态波前序列对应的入射光场进行子孔径分割和相位调制,得到调制后的光场,所述探测器平面成像子单元用于对所述调制后的光场进行传播处理,得到各采样时刻对应的探测器平面光强分布,并由各所述探测器平面光强分布形成所述光斑强度序列;

52、所述事件转换单元用于根据所述事件响应参数和所述光斑强度序列的采样时间信息,对所述光斑强度序列进行事件转换处理,生成所述异步事件流。

53、本发明的上述技术方案相比现有技术具有以下优点:

54、本发明通过将动态波前生成、光场传播和事件转换过程连续关联,使波前变化、光斑强度变化与事件产生保持明确的物理对应关系;根据波前真值的相邻采样时刻对异步事件流进行时间窗口划分,并将各事件时间窗口分别与对应采样时刻的波前真值和光斑强度数据进行关联,形成统一物理时间轴上相互配准的配对数据样本,从而提高训练数据的物理一致性、时序一致性和标签对应准确性。

55、本发明基于各像素位置的响应变化和事件触发阈值生成异步事件,并根据实际输出的事件数量更新参考响应值,使生成的事件流能够较完整地反映连续光强变化下的事件响应过程;通过设置多组不同的数据集生成参数,分别获得各组数据集生成参数对应的配对数据样本集合,并对各配对数据样本集合进行汇总,从而构建覆盖不同参数条件的事件式夏克-哈特曼波前重构数据集,提高训练数据的批量生成效率和样本丰富性。