一种高通量动态视觉帧实时编码处理方法与系统

本发明涉及机器视觉与边缘计算，尤其涉及一种高通量动态视觉帧实时编码处理方法与系统。

背景技术：

1、动态视觉传感器及其衍生的动态视觉帧传感器，通过异步感知像素级亮度变化，能够输出具有高时间分辨率（可达2000 fps以上）和高稀疏性的事件数据，在高速运动目标分析、自动驾驶、工业缺陷检测等领域展现出巨大的应用潜力。然而，高帧率工作模式下，该类传感器输出的原始稀疏事件流或事件帧的数据率可达gbps量级，对后续数据传输、存储与处理环节带来了严峻的带宽和存储压力。为应对上述挑战，现有技术中已尝试采用传统视频编码方案（如h.264）或图像压缩算法（如jpeg）对事件帧进行压缩处理，以期降低数据量；同时，基于冯·诺依曼架构的处理器被用于对压缩后的数据进行神经网络推理，以实现目标检测、语义分割等视觉感知任务。

2、然而，上述现有处理方案在实际应用中仍存在诸多不足。首先，传统视频编码和图像压缩算法主要针对稠密帧设计，其编码延迟通常大于1ms，难以满足高帧率场景下对微秒级实时处理的需求。其次，该类算法未能充分利用事件帧数据的天然稀疏性，压缩效率受限，仍会产生较高的数据传输和存储负担。更为关键的是，传统的冯·诺依曼计算架构在处理此类数据时，数据需在存储单元与计算单元之间频繁搬运，导致大量的功耗开销；同时，现有架构难以在推理过程中感知并利用输入数据的稀疏性来跳过无效计算，无法充分发挥动态视觉帧数据的高稀疏特性所带来的加速潜力。此外，现有方案中编码与推理通常作为独立的模块或设备实现，数据在不同模块间多次传递，进一步加剧了延迟和功耗问题，难以构建高效、紧凑的实时智能视觉系统。

3、鉴于上述现有技术的不足，本领域亟需一种能够原生适配动态视觉帧传感器的高帧率、高稀疏特性，从数据采集、多级压缩编码到推理计算全链路实现极低延迟与高能效处理的一体化系统及方法。

技术实现思路

1、本发明的目的在于提供一种高通量动态视觉帧实时编码处理方法与系统，解决了现有技术中高帧率动态视觉帧数据在传输、存储与处理过程中因架构不匹配和编码推理模块分立所导致的高时延、高功耗及低能效的问题。

2、为实现上述目的，本发明提供了一种高通量动态视觉帧实时编码处理系统，包括：

3、动态视觉帧传感器，所述动态视觉帧传感器以高帧率输出表征像素级亮度变化的二值稀疏事件帧；

4、前端编码芯片，所述前端编码芯片与所述动态视觉帧传感器集成于同一模组内，所述前端编码芯片内部集成有多级级联的稀疏压缩编码器，所述稀疏压缩编码器接收所述二值稀疏事件帧，并依次执行稀疏采集与数据规整处理、帧内自适应空间压缩编码处理、帧间运动感知时域压缩编码处理和稀疏特征提取与语义编码处理，输出低维稀疏特征向量；

5、后端处理芯片，所述后端处理芯片通过高速接口与所述前端编码芯片连接，所述后端处理芯片包括特征解码与映射单元和存内计算推理引擎，所述特征解码与映射单元接收并解码所述低维稀疏特征向量，所述存内计算推理引擎包含存算一体存储阵列，所述存算一体存储阵列中预存有神经网络的权重，所述存内计算推理引擎在所述存算一体存储阵列内部对解码后的特征向量执行乘加运算以完成神经网络推理，并输出目标检测结果、语义分割结果或目标跟踪结果。

6、其中，稀疏采集与数据规整处理，具体包括：

7、并行扫描所述二值稀疏事件帧的每一行，将所述二值稀疏事件帧转换为按行排序的坐标列表，并在扫描过程中统计每一行的事件密度以生成行密度直方图。

8、其中，帧内自适应空间压缩编码处理，具体包括：

9、对于每一行，根据所述行密度直方图中对应行的所述事件密度，自适应地选择稀疏行模式、稠密行模式或混合模式进行游程编码；

10、当所述事件密度小于第一阈值时，选择所述稀疏行模式，直接编码所述坐标列表中每一个事件的列坐标；

11、当所述事件密度大于第二阈值时，选择所述稠密行模式，编码所述坐标列表中首事件的列坐标以及每一后续事件与前一事件之间的列间隔；

12、当所述事件密度大于或等于所述第一阈值且小于或等于所述第二阈值时，选择所述混合模式，将每行划分为多个列段，仅对存在事件的列段进行编码。

13、其中，帧间运动感知时域压缩编码处理，具体包括：

14、读取上一帧的所述行密度直方图，计算当前帧的所述行密度直方图与上一帧的所述行密度直方图中每一行的事件密度差值的绝对值；

15、将所述绝对值大于运动阈值的行标记为运动行，将所述绝对值小于或等于所述运动阈值的行标记为静态行；

16、对每一个所述运动行，输出当前帧的所述帧内自适应空间压缩编码处理结果；

17、对每一个所述静态行，计算当前帧的所述帧内自适应空间压缩编码处理结果与上一帧的所述帧内自适应空间压缩编码处理结果的按位异或值，当所述按位异或值为零时输出1比特表示无变化，当所述按位异或值非零时输出1比特标志位后接所述按位异或值中非零部分的压缩表示；

18、将帧头、由所有所述运动行和所述静态行的标记构成的运动行位图、运动行数据块和静态行差异数据块依次拼接形成时域压缩码流。

19、其中，稀疏特征提取与语义编码处理，具体包括：

20、采用稀疏卷积自编码器对所述时域压缩码流进行编码，所述稀疏卷积自编码器包括多层稀疏卷积层和一层全连接层；

21、所述稀疏卷积层采用非零坐标驱动架构，提取输入稀疏特征图中所有非零激活值的位置和数值，分配多个并行处理单元分别处理每一个非零位置，每一个所述并行处理单元读取当前非零位置周围邻域内的非零值并与对应卷积核权重执行乘加运算，将乘加运算结果累加至输出特征图的对应位置；

22、所述全连接层将所述稀疏卷积层的输出特征图映射为256维特征向量，并对所述256维特征向量进行int8量化后输出。

23、其中，所述特征解码与映射单元将所述256维特征向量解码并映射为所述存内计算推理引擎的输入格式，所述存内计算推理引擎还包括稀疏感知控制器和推理精度调节器；

24、所述稀疏感知控制器识别所述解码后的特征向量中的零值分量，并控制所述存算一体存储阵列跳过所述零值分量对应的乘加运算；

25、所述推理精度调节器根据所述稀疏采集与数据规整处理中统计得到的实时事件稀疏率选择int4精度、int2精度或int1精度进行推理，当所述实时事件稀疏率大于第一稀疏阈值时选择所述int4精度，当所述实时事件稀疏率小于或等于所述第一稀疏阈值且大于第二稀疏阈值时选择所述int2精度，当所述实时事件稀疏率小于或等于所述第二稀疏阈值时选择所述int1精度。

26、其中，所述前端编码芯片采用逻辑工艺制造，并通过芯片级并行总线与所述动态视觉帧传感器直接相连，所述后端处理芯片采用存内计算静态随机存取存储器工艺制造，所述前端编码芯片和所述后端处理芯片通过高速串行接口连接并集成于同一成像计算模组内。

27、一种高通量动态视觉帧实时编码处理方法，包括以下步骤：

28、以高帧率获取动态视觉帧传感器输出的二值稀疏事件帧；

29、在前端编码芯片内对所述二值稀疏事件帧依次执行多级级联稀疏压缩编码，所述多级级联稀疏压缩编码包括稀疏采集与数据规整处理、帧内自适应空间压缩编码处理、帧间运动感知时域压缩编码处理和稀疏特征提取与语义编码处理，输出低维稀疏特征向量；

30、将所述低维稀疏特征向量通过高速接口传输至后端处理芯片；

31、在所述后端处理芯片的特征解码与映射单元中解码所述低维稀疏特征向量，将解码后的特征向量映射至存算一体存储阵列；

32、在所述存算一体存储阵列内部对所述解码后的特征向量执行乘加运算以完成神经网络推理，并根据所述解码后的特征向量中零值分量跳过对应的乘加运算；

33、输出目标检测结果、语义分割结果或目标跟踪结果。

34、本发明的一种高通量动态视觉帧实时编码处理方法与系统，所述前端编码芯片对动态视觉帧传感器输出的二值稀疏事件帧依次执行稀疏采集与数据规整、帧内自适应空间压缩编码、帧间运动感知时域压缩编码和稀疏特征提取与语义编码四级处理，将海量事件帧压缩为低维稀疏特征向量并传输至后端处理芯片，所述后端处理芯片通过存算一体存储阵列在存储阵列内部直接对解码后的特征向量执行乘加运算完成神经网络推理，并在推理过程中根据特征向量的稀疏性跳过零值分量对应的无效计算，同时在编码与推理全流程中根据场景动态稀疏率自适应调整编码模式和计算精度。由此，本发明从数据采集、多级压缩编码到推理计算实现了全链路的极低延迟与高能效处理，有效解决了现有技术因编码方案延迟高、计算架构数据搬运功耗大且无法利用稀疏性、以及编码推理模块分立所导致的高时延、高功耗及低能效的技术问题。