事件帧的上下文自适应无损编码的制作方法
本发明大体上涉及数字图像处理领域,更具体地,涉及一种用于对从事件相机获得的同步或异步事件数据进行编码的新型无损压缩方法。
背景技术:
1、最近,基于神经形态工程领域中提出的新仿生技术而开发出了一种称为事件相机的新类型的传感器。事件相机受人脑的生物机制启发,其每个像素单独运行以模仿生物神经网络系统,以小能耗执行简单任务。更确切地说,与所有像素同时运行的常规相机相比,事件相机传感器引入了一种新型设计,其中每个像素仅独立检测并报告传入光强度高于阈值的变化(增加或减小),否则保持静默。
2、在运行期间,每个像素存储参考亮度水平,并持续地将其与当前亮度水平进行比较。如果亮度差异超过阈值,则该像素重置其参考水平并生成事件:离散数据包,其中包含像素地址、时间戳和亮度变化的极性(增加或减小)或照明水平的瞬时测量结果。由此,事件相机输出由场景照明变化触发的异步事件流。因此,像素事件传感器传递的事件流中仅包括关于可变对象的信息,并且不存在关于均匀表面或静止背景的信息。
3、由此,事件相机提出了一种捕获视觉数据的新范式转变,其中使用异步触发的事件序列(流)仅捕获场景的动态信息,而不捕获不必要的静态信息。这赋予了事件相机一些非常重要的属性:低能耗、低时延、高动态范围(high dynamic range,hdr)和高时间分辨率,因为异步事件可以在一微秒()的最小时间戳距离下单独触发。
4、具体地,事件相机提供了非常高时间分辨率的可能性,因为异步事件可以在 s的最小时间戳距离下触发,这相当于实现高达帧每秒(frames per second,fps)的帧速率。由于这些优势,事件相机可以高效地应用于对象识别、自动驾驶车辆和机器人等技术领域。
5、目前市面上有两种类型的传感器:动态视觉传感器(dynamic vision sensor,dvs),捕获异步事件的序列;动态有源像素视觉传感器(dynamic and active-pixelvision sensor,davis),在dvs传感器上再增加一个相机,即用于捕获灰度或颜色(rgb)帧的有源像素传感器(active pixel sensor,aps)。
6、在某些情况(例如具有快速运动的带纹理的场景)下,每秒会生成数百万个事件。为了处理此类繁忙场景,现有事件处理可能需要大规模并行计算。
7、在文献中,事件数据压缩问题仍未得到充分研究。目前仅提出了少数编码方案,用于对异步事件序列或同步事件帧(event frame,ef)序列进行编码。
8、在一种现有技术方案中,提出了通过利用事件位置信息的空间和时间特性来对异步事件序列进行无损编码。所提出的这种方法使用三种关键策略设计而成,这三种关键策略用于利用脉冲位置信息的空间和时间特性进行压缩,包括自适应宏立方体分割结构、地址优先模式和时间优先模式。事件信息可以在时间上被分割成多个宏立方体,每个宏立方体都具有像素阵列的完整空间分辨率。然后,宏立方体在空间上拆分为小的事件立方体。事件立方体的编码过程包括事件位置编码和事件极性编码,所述事件位置编码使用地址优先(address-prior,ap)模式和时间优先(time-prior,tp)模式完成,所述事件极性编码利用先前的编码信息作为参考来预测即将出现的极性。最后,ap模式、tp模式和极性编码的计算的残留误差被馈送到基于上下文的自适应熵编码器中。在ap模式下,位置直方图映射和位置直方图计数被编码。位置直方图映射指示是否存在事件,而位置直方图计数保存每个像素发生的事件数量。在tp模式下,空间位置相对于中心点的偏移量使用熵编码器进行编码。所提出的这种方案的缺点是它采用复杂的编码技术,并且它被设计用于仅处理原始异步数据,因此不适用于对事件帧进行编码。
9、在另一种现有技术方案中,提出了一种称为用于神经形态视觉传感器数据的基于时间聚合的无损视频编码(time aggregation-based lossless video encoding forneuromorphic vision sensor data,talven)算法,其中采用事件累计过程,通过拼接正极性和负极性ef计数来生成ef,并形成ef序列,然后通过已知的高效视频编码(highefficiency video coding,hevc)标准对所述ef序列进行压缩。这种方法旨在通过以固定时间间隔聚合事件来处理dvs数据。在这种情况下,通过记录位置直方图计数(即,记录每个像素处的事件计数的数量)来生成ef。研究了四种不同的时空间隔:、、和 ms。这些值受对应间隔内可能发生的事件数量约束。事件序列被划分为两个单独的帧,一个与亮度强度的正增加相关联,一个与亮度的减小相关联,即根据事件极性进行划分。然后将这两个帧融合成由左侧的“正极性”帧和右侧的“负极性”帧组成的一个单一超帧。最后,使用hevc编解码器对超帧进行编码。
10、所提出的这种方案的缺点是所述方法的性能取决于在对超帧进行编码时的hevc性能。在更高分辨率的传感器(例如640×480或1280×720像素)的情况下,捕获的事件在帧内的分布甚至更加稀疏。因此,超帧无法通过hevc高效地进行编码,因为视频编解码器被设计为对不同类型的信息进行编码。因此,一个主要缺点是所述方法的性能取决于所选视频编解码器的性能。
11、在本发明人的一项现有技术申请中,引入了一种用于对事件相机帧进行编码的基于上下文的高效无损图像编解码器。在时间窗中获取的异步事件序列使用事件累计过程生成事件帧(event frame,ef),其中像素极性按照事件像素极性和的正负号进行设置。这产生了一种用于存储事件数据的更高效的方式,其中多达八个ef被表示为一对包含空间信息的事件映射图像(event map image,emi)和包含极性信息的向量。编解码器使用以下信息对emi进行编码:(i)二元映射,其指示在ef中发生至少一个事件的位置;(ii)每个所指示的位置的事件数量;(iii)它们的ef索引。采用模板上下文建模和自适应马尔可夫建模对这三种类型的数据进行编码。所提出的这种方案的缺点是它仅提供了一种以性能为导向的无损压缩编解码器,旨在对多达8个事件帧的序列进行编码。
12、在另一种现有技术方案中,提出了一种以低复杂度为导向的无损压缩编解码器,用于对事件相机帧进行编码并集成到使用固定长度表示的事件信号处理(event signalprocessing,esp)芯片中。在另一种方案中,提出了一种使用多级查找表的ef的新型低复杂度、内存高效的固定长度表示,适用于超低功耗芯片中的硬件实现方式。在另一种方案中,提出了一种用于对异步事件序列进行编码并集成到esp芯片中的编码方案。这些方法都旨在对较长的事件帧序列进行编码。
13、考虑到事件相机可以实现的帧率越来越高,对于提供用于对从事件相机接收到的事件数据进行高效编码的方案(特别是适用于对事件相机的帧序列的无损压缩的方案)的方法或系统的需求日益增长。
技术实现思路
1、因此,本文描述了用于事件相机的高效事件帧编码的系统和方法。此类系统和方法可以以事件流的形式累计在时间段内从事件相机接收到的事件,将异步事件转换为事件帧,并且以无损格式对所述事件帧进行高效编码,以供其它应用进一步处理。
2、上述和其它目的通过独立权利要求的特征来实现,所述独立权利要求公开了一种使用算术编码对事件帧序列进行编码的新型方法。第一项贡献提出了使用当前像素位置上下文的深度三叉树作为上下文树模型选择器。算术编解码器使用相关联上下文树叶节点模型的概率分布对每个三元符号进行编码。另一项贡献提出了一种基于若干帧的新型上下文设计,其中上下文阶数控制编解码器的复杂度。另一项贡献提出了一种模型搜索过程,通过在较低阶上下文树模型之间搜索最接近的“成熟”上下文模型来替代上下文树剪枝和编码策略。
3、根据第一方面,提供了一种用于对事件帧序列进行编码的方法,每个事件帧包括每个像素位置处的三元符号,所述三元符号表示事件极性,所述方法包括:使用算术编码对所述事件帧序列进行编码,其中逐行遍历所述事件帧序列的每个事件帧,并且使用与上下文树模型的上下文树叶节点相对应的概率分布对当前位置处的每个三元符号进行编码,所述上下文树模型是基于先前编码的三元符号使用所述当前位置的因果上下文的深度三叉树选择的。
4、这产生了一种用于对事件帧序列进行无损编码的高效的、上下文自适应的压缩方法。使用深度三叉树进行上下文建模选择,使得模型的概率分布能够使用小的码长对当前三元符号进行编码。实验评估表明,所提出的方法与最先进的无损图像编解码器flif相比提供了34.34%的编码性能改进和低至其1/5.18的更小运行时,并且与一些现有方案相比分别提供了6.95%的编码性能改进和低至其1/14.42的更小运行时。
5、在第一方面的一种可能的实现方式中,所述方法还包括通过以下方式生成所述事件帧序列的步骤:(例如从事件相机)获得异步事件流,所述事件流包括在像素位置处检测到的具有指示光强度变化的相关联极性的异步事件;通过将所述事件流划分为时间间隔并且将在给定时间间隔内在每个像素位置处检测到的事件进行转换以在对应事件帧的每个像素位置处生成三元符号,从而将所述异步事件流转换为同步事件帧。
6、在一个实施例中,通过对给定时间间隔内在每个像素位置处检测到的事件的极性求和来生成每个像素位置处的所述三元符号。
7、在第一方面的另一种可能的实现方式中,所述方法包括创建一组包括上下文树叶节点的上下文树模型的上下文树建模步骤,每个上下文树模型包括按照在与相应上下文树模型相关联的所述因果上下文中过去发生的三元符号的编码历史建模的特定符号分布。
8、在第一方面的另一种可能的实现方式中,在所述当前位置处的三元符号的所述因果上下文基于事件帧的所述序列中来自相邻像素位置的先前编码的三元符号,同时考虑当前事件帧和预定义数量的先前事件帧。这产生了一种基于若干事件帧的新型上下文设计,其中所述上下文阶数控制编解码器的复杂度,以提高编码效率。
9、在一个实施例中,先前事件帧的所述预定义数量为5个。
10、在一个实施例中,所述深度三叉树的最大树深度为26级。
11、在另一个实施例中,所述深度三叉树的最大树深度为20级。
12、在第一方面的另一种可能的实现方式中,在对所述三元符号进行编码之后,更新所述相应的上下文树模型模型以从过去中学习。
13、在第一方面的另一种可能的实现方式中,为了使上下文树模型仅保留最相关的过去信息,如果如下所示,上下文树模型的三元符号频率和达到上下文频率和阈值,则执行对模型频率计数的更新:
14、
15、其中所述上下文频率和阈值是根据事件帧的分辨率确定的。
16、在一个实施例中,所述阈值是三元符号的。
17、在第一方面的另一种可能的实现方式中,通过采用从所述当前位置的邻域收集的多个三元符号来创建所述深度三叉树,从而定义上下文长度,其中从所述当前事件帧中选择多达六个最近的因果邻居并且从先前事件帧中选择多达五个最近的因果邻居。
18、在第一方面的另一种可能的实现方式中,基于最大距离准则选择所述因果邻居,在所述当前事件帧中最大距离为2像素并且在先前事件帧中最大距离为1像素。
19、在第一方面的另一种可能的实现方式中,根据模板上下文和预定义上下文阶数中的至少一个,从当前事件帧和先前事件帧中选择所述因果邻居。
20、在第一方面的另一种可能的实现方式中,所述方法包括:通过基于可用于计算概率分布的先前编码的符号历史确定给定上下文树模型是未成熟的还是成熟的,执行模型搜索过程;对于所述当前三元符号的所述编码,用最接近的成熟上下文树叶节点模型替代每个未成熟的上下文树叶节点模型,其中通过融合一组相邻未成熟上下文树叶节点模型来获得成熟上下文树叶节点模型的父节点。
21、提出了这种模型搜索过程,用于通过在较低阶上下文树模型之间搜索最接近的“成熟”上下文模型来替代费时的上下文树剪枝和编码策略,即用“成熟”上下文模型替代“未成熟”上下文树叶节点模型,这由于较低阶上下文而对较大数量的符号计算所述概率分布,提升了编码效率(“智慧”)。
22、在第一方面的另一种可能的实现方式中,根据所求和的上下文计数确定给定上下文树模型的成熟度:
23、
24、其中,表示最小上下文计数,表示模型编号,并且其中表示所述上下文树模型的树深度。
25、在第一方面的另一种可能的实现方式中,最大叶祖先树深度相对于所述上下文树模型的所述树深度被限制为,以限制复杂度。
26、在一个实施例中,所述最小上下文计数为。
27、在一个实施例中,所述最大叶祖先树深度为。
28、在一个实施例中,在每个树深度处,将节点的所有子树的计数相加,以计算与相应节点相关联的所述概率分布的频率,从而减少存储器使用。
29、在第一方面的另一种可能的实现方式中,基于累计极性p,将对应事件帧的每个像素位置处的所述三元符号选择为“0”、“1”或“2”,以“1”作为初始值,通过对在相同像素位置处触发的所有事件的极性求和来累计所述所有事件,并且基于所求和的极性的正负号将所述三元符号设置如下:负极性p=-1时设置为“0”,无事件p=0时设置为“1”,正极性p=1时设置为“2”。
30、在一个实施例中,使用拉普拉斯估计器计算每个三元符号的所述概率分布,并将所述概率分布馈送到算术编码器以对相应三元符号进行编码。
31、根据第二方面,提供了一种基于计算机的系统,包括耦合到存储设备的处理器;其中所述存储设备包括指令,所述指令在由所述处理器执行时使所述基于计算机的系统根据第一方面的可能的实现方式中任一项所述的方法对事件帧的所述序列进行编码。所得系统对于对事件帧序列中的多个事件帧进行编码出人意料地有效。
32、根据第三方面,提供了一种非瞬时性计算机可读介质,其上存储有程序指令,所述程序指令在由处理器执行时,使所述处理器执行根据第一方面的可能的实现方式中的任一项所述的方法。
33、这些方面和其它方面在下文描述的一个或多个实施例中是显而易见的。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com