一种事件相机的数据模拟方法和装置与流程

技术特征：
1.一种事件相机的数据模拟方法，包括：对所获取的待处理视频进行解码处理，得到视频帧序列；将所述视频帧序列中的目标视频帧输入至全卷积网络unet，以提取所述目标视频帧对应的事件相机阈值分布信息，得到事件相机阈值分布信息；基于所述事件相机阈值分布信息，对所述目标视频帧中的每个像素进行采样以生成事件相机阈值，得到事件相机阈值集合；对所述事件相机阈值集合和所述视频帧序列进行伪并行的事件数据仿真生成处理，得到仿真事件相机数据；将所述仿真事件相机数据，与预先获取的事件相机拍摄数据进行生成对抗式学习以对所述事件相机阈值分布信息进行更新，得到更新后的事件相机阈值分布信息，其中，所述更新后的事件相机阈值分布信息与目标域真实数据的相似度大于第一预定阈值；基于所述更新后的事件相机阈值分布信息、所述视频帧序列和预设噪声信号，生成仿真事件相机数据，其中，所述仿真事件相机数据是与所述预先获取的事件相机拍摄数据的相似度大于第二预定阈值的数据。2.根据权利要求1所述的方法，其中，所述事件相机阈值分布信息包括均值矩阵和标准差矩阵，所述unet由一个共享编码器和两个独立解码器构成，所述共享编码器与所述两个独立解码器之间以短连接相连。3.根据权利要求2所述的方法，其中，所述基于所述事件相机阈值分布信息，对所述目标视频帧中的每个像素进行采样以生成事件相机阈值，包括：对于所述目标视频帧中的每个像素p，从预设标准正态分布中采样阈值噪声z(p)，其中，是均值为0、标准差为1的正态分布，z(p)表示p的采样阈值噪声；根据所述事件相机阈值分布信息对所述采样阈值噪声进行修正，得到所述像素的事件相机采样阈值θ(p)＝μ(p) z(p)
×
σ(p)，其中，p表示所述像素，θ(p)表示p的事件相机采样阈值，θ()表示所述事件相机采样阈值，μ(p)表示p的均值，μ()表示均值，z(p)表示p的采样阈值噪声，z()表示采样阈值噪声，σ(p)表示p的标准差，σ()表示标准差；对所述事件相机采样阈值进行截断处理，得到事件相机阈值θ(p)＝max(θ(p)，∈)，其中，max(，)表示求两个数中的最大值，∈表示事件相机采样阈值的下限，∈的取值为∈＝0.01。4.根据权利要求3所述的方法，其中，所述伪并行的事件数据仿真生成处理是对输入的所述视频帧序列中的相邻的视频帧进行处理，以生成正事件累积图和负事件累积图的处理，并将所得到的正事件累积图集合和负事件累积图集合确定为仿真事件相机数据，其中，对输入的所述视频帧序列中的相邻的视频帧通过如下处理，以生成正事件累积图和负事件累积图：
其中，p表示像素，n
pos
表示正事件累积图，k表示所述视频帧序列中的视频帧的序号，t
k
表示第k个视频帧的事件累计图的时间点，t
k 1
表示第k 1个视频帧的事件累计图的时间点，表示t
k
到t
k 1
时间段内的正事件累积图，表示p在t
k
到t
k 1
时间段内的正事件累积图，h()表示取正数函数，表示在t
k
到t
k 1
时间段内的事件累计数，表示p在t
k
到t
k 1
时间段内的事件累计数，为正数，表示p处为正事件累计数，为负数，表示p处为负事件累计数，n
neg
表示负事件累积图，表示t
k
到t
k 1
时间段内的负事件累积图，表示p在t
k
到t
k 1
时间段内的负事件累积图，表示0～t
k 1
时间段内的事件累计数，表示p在0～t
k 1
时间段内的事件累计数，表示0～t
k
时间段内的事件累计数，表示p在0～t
k
时间段内的事件累计数，其中，通过以下公式得到：其中，floor()表示向0取整函数，表示在0～t
k 1
时间段内的通过计算第k 1帧的和第0帧的的亮度变化得到的事件累计数，表示p在0～t
k 1
时间段内的通过计算第k 1帧的和第0帧的的亮度变化得到的事件累计数，表示对向0取整，表示t
k 1
时刻的事件修正函数，表示p在t
k 1
时刻的事件修正值，log()表示对数函数，表示t
k 1
时刻的亮度值，表示t
k 1
时刻的帧中p的亮度值，表示t0时刻的亮度值，表示t0时刻的帧中p的亮度值，θ(p)表示p的事件相机采样阈值，其中，通过以下公式得到：
其中，表示在0～t
k
时间段内的通过计算第k帧的和第0帧的亮度变化得到的事件累计数，表示p在0～t
k
时间段内的通过计算第k帧的和第0帧的亮度变化得到的事件累计数，表示对向0取整，表示t
k
时刻的事件修正函数，表示p在t
k
时刻的事件修正值，∧表示逻辑“与”操作，当即0～t
k 1
时间段内的累计事件为负事件时，如果在t
k
～t
k 1
时间段内产生了正事件则由于floor()函数的作用会产生正错误，所述正错误为多记录一个正事件，设置修正所述正错误；当时，如果在t
k
～t
k 1
时间段内产生了负事件，则会产生负错误，所述负错误为多记录一个负事件，设置修正所述负错误；当在0～t
k 1
时间段内未产生事件时，若上一段时间内进行了修正，则进行修正，若上一段时间内未进行修正，则不进行修正；其他情况下不进行修正，即5.根据权利要求4所述的方法，其中，所述将所述仿真事件相机数据，与预先获取的事件相机拍摄数据进行生成对抗式学习以对所述事件相机阈值分布信息进行更新，得到更新后的事件相机阈值分布信息，包括：对所述仿真事件相机数据和所述预先获取的事件相机拍摄数据进行数据处理，得到事件表征信息；对所述事件表征信息进行分治处理，得到分治处理后的事件表征信息，其中，所述分治处理包括以下步骤：对所述事件表征信息进行分块，得到多个表征块；对所述多个表征块中的每个表征块进行特征分析以生成特征哈希键值，得到特征哈希键值集合；根据所述特征哈希键值集合和预设哈希表，确定与所述多个表征块对应的多个判别器网络模型；利用所述多个判别器网络模型判别所述多个表征块的事件表征信息是否满足预设条件，并根据预先获取的数据分布对所述事件相机阈值分布信息进行更新，得到更新后的事件相机阈值分布信息，其中，所述特征分析中的特征包括：梯度角度，梯度强度和特征散度。6.根据权利要求5所述的方法，其中，所述对所述仿真事件相机数据和所述预先获取的事件相机拍摄数据进行数据处理，得到事件表征信息，包括：确定所述预先获取的事件相机拍摄数据在预定时间段内的第一正事件累计图和第一负事件累计图确定所述仿真事件相机数据在所述预定时间段内的第二正事件累计图和第二负事件累计图
利用以下公式，对所述第一正事件累计图、所述第一负事件累计图、所述第二正事件累计图和所述第二负事件累计图分别求梯度，得到第一事件表征信息和第二事件表征信息作为事件表征信息：g＝|g
x
(m)| |g
y
(m)|，其中，g表示事件表征信息，g
x
()表示在坐标轴的x方向求梯度，m表示事件累积图，即所述第一正事件累积图、第一负事件累积图、第二正事件累积图和第二负事件累积图的总称，g
x
(m)表示m在坐标轴x方向上求梯度，x表示坐标轴的横方向，g
y
()表示在坐标轴的y方向求梯度，g
y
(m)表示m在坐标轴y方向上求梯度，y表示坐标轴的纵方向，所述坐标轴是以帧的左上角为原点，以帧的宽向右的方向为x轴的正半轴，以帧的高向下的方向为y轴的正半轴的坐标轴，其中，所述事件表征信息为：其中，e
r
表示所述第一事件表征信息，e表示事件表征信息，r表示预先获取的事件相机拍摄数据，表示所述第一正事件累计图，表示所述第一负事件累计图，表示的梯度，表示的梯度，e
g
表示所述第二事件表征信息，g表示所述仿真事件相机数据，表示所述第二正事件累计图，表示所述第二负事件累计图，表示的梯度，表示的梯度，r表示实数集，h表示特征的高度，w表示特征的宽度。7.根据权利要求6所述的方法，其中，所述对所述事件表征信息进行分治处理，得到分治处理后的事件表征信息，包括：通过网格分块将事件表征信息e分成4
×
4共16块，得到表征块其中，表示表征块，r表示实数集，h表示特征的高度，w表示特征的宽度；对所述多个表征块利用哈希函数进行结构分析，并根据哈希值选择相应的判别器网络模型进行后续处理，对应的判别器网络模型的输出结果用如下公式表示：其中，表示表征块，d()表示所述判别器网络模型，表下对应的判别器网络模型的输出结果，k表示判别器网络模型的序号，ind()表示示性函数，当条件成立时值为1，当条件不成立时值为0，s()表示哈希函数，表示输入到哈希函数中的返回值，d
k
()表示第k个判别器网络模型，表示输入到第k个判别器网络模型的输出结果，表示对所有判别器网络模型的输出结果进行求和；
梯度角度和梯度强度的分析步骤如下：确定每个表征块的梯度，得到梯度矩阵；确定所述梯度矩阵的特征值{λ1，λ2}和特征向量{φ1，φ2}；通过如下公式计算梯度角度和梯度强度γ：其中，表示梯度角度，arctan(，)表示反正切函数，arctan(φ1，φ2)表示φ1和φ2的反正切函数，φ1表示坐标轴x方向上特征向量，φ2表示坐标轴y方向上特征向量，γ表示所述梯度强度，表示坐标轴x方向上的特征值的平方根，表示坐标轴y方向上的特征值的平方根，c(m)表示m的特征散度，m表示表征块，c()表示特征散度，q表示像素p的相邻像素，p()表示表征块中所有像素的集合，p(m)表示第m个表征块中所有像素的集合，n()表示像素的4邻域，n(p)表示像素p的4邻域，表示像素p与相邻像素q的梯度，|| ||2表示范数的平方，o[]表示概率，表示的概率。8.根据权利要求7所述的方法，其中，所述利用所述多个判别器网络模型判别所述多个表征块的事件表征信息是否满足预设条件，并根据预先获取的数据分布对所述事件相机阈值分布信息进行更新，得到更新后的事件相机阈值分布信息，包括：对梯度角度、梯度强度和特征散度分别量化成24、3和3共三个等级；设置216个判别器网络模型，其中，所述216个判别器网络模型中的每个判别器网络模型由一个多层感知器网络结构构成，所述多层感知器网络结构由三层线性层构成，所述三层线性层中的每层线性层的通道数分别为256，128和1，其中，所述216个判别器网络模型由于训练的数据量不同，置信度也不同，通过如下公式对所述事件相机阈值分布信息进行更新：其中，ω
k
表示第k个判别器网络模型的置信度，k表示判别器网络模型的序号，ω表示判别器网络模型的置信度，α表示平衡参数，α的取值为α＝0.5，k表示判别器网络模型训练的数据，k的取值为k＝216，s表示判别器网络模型训练的数据量，s
k
表示第k个判别器网络模型训练的数据量，∑
k
s
k
表示对所述216个判别器网络模型训练的数据量求和，即求总数据量，l
d
表示判别器网络模型的对抗式学习损失函数，l表示损失函数，d表示判别器网络模型的对抗式学习，e
r
表示所述第一事件表征信息，e表示事件表征信息，r表示预先获取的事件
相机拍摄数据，p
r
()表示预先获取的事件相机拍摄数据的数据分布，p
r
(e
r
)表示符合e
r
的预先获取的事件相机拍摄数据的数据分布，p表示数据分布，d()表示所述判别器网络模型，e
g
表示所述第二事件表征信息，g表示所述仿真事件相机数据，p
g
()表示所述仿真事件相机数据的数据分布，p
g
(m
g
)表示符合e
g
的仿真事件相机拍摄数据的数据分布。9.根据权利要求8所述的方法，其中，所述基于所述更新后的事件相机阈值分布信息、所述视频帧序列和预设噪声信号，生成仿真事件相机数据，包括：根据所述更新后的事件相机阈值分布信息，对所述视频帧序列中的各个视频帧中的每个像素进行事件相机阈值采样以生成事件相机阈值，得到事件相机阈值组序列；对所述事件相机阈值组序列和所述视频帧序列进行伪并行的事件数据仿真生成处理，得到事件相机数据；将预设噪声信号添加至所述事件相机数据，得到仿真事件相机数据。10.一种事件相机的数据模拟装置，包括：解码处理单元，被配置成对所获取的待处理视频进行解码处理，得到视频帧序列；输入单元，被配置成将所述视频帧序列中的目标视频帧输入至全卷积网络unet，以提取所述目标视频帧对应的事件相机阈值分布信息，得到事件相机阈值分布信息；采样单元，被配置成基于所述事件相机阈值分布信息，对所述目标视频帧中的每个像素进行采样以生成事件相机阈值，得到事件相机阈值集合；伪并行的事件数据仿真生成处理单元，被配置成对所述事件相机阈值集合和所述视频帧序列进行伪并行的事件数据仿真生成处理，得到仿真事件相机数据；生成对抗式学习单元，被配置成将所述仿真事件相机数据，与预先获取的事件相机拍摄数据进行生成对抗式学习以对所述事件相机阈值分布信息进行更新，得到更新后的事件相机阈值分布信息，其中，所述更新后的事件相机阈值分布信息与目标域真实数据的相似度大于第一预定阈值；生成单元，被配置成基于所述更新后的事件相机阈值分布信息、所述视频帧序列和预设噪声信号，生成仿真事件相机数据，其中，所述仿真事件相机数据是与所述预先获取的事件相机拍摄数据的相似度大于第二预定阈值的数据。

技术总结
本公开的实施例公开了事件相机的数据模拟方法和装置。该方法的一具体实施方式包括：对待处理视频进行解码处理，得到视频帧序列；将视频帧序列中的目标视频帧输入至全卷积网络UNet，得到事件相机阈值分布信息；对目标视频帧中的每个像素进行采样，得到事件相机阈值集合；对事件相机阈值集合和视频帧序列进行伪并行的事件数据仿真生成处理，得到仿真事件相机数据；将仿真事件相机数据，与事件相机拍摄数据进行生成对抗式学习，得到更新后的事件相机阈值分布信息；基于更新后的事件相机阈值分布信息、视频帧序列和预设噪声信号，生成仿真事件相机数据。本发明能够广泛应用于国防军事、影视制作、公共安全等领域的计算机视觉系统。统。统。


技术研发人员：李甲 谷大鑫 齐云山 赵沁平
受保护的技术使用者：北京航空航天大学
技术研发日：2021.09.17
技术公布日：2021/12/16