一种融合时间信息的图像识别处理方法及系统与流程

本发明涉及图像识别，具体而言涉及一种融合时间信息的图像识别处理方法及系统。

背景技术：

1、在基于图像序列的目标识别、跟踪与行为分析等视觉任务中，不仅需要识别目标的视觉特征，还需精确理解其运动状态与时空关系。传统图像采集系统多采用软件触发方式，由主机程序发送采集指令，待图像数据传输完成后再打上系统时间戳，这种方式所记录的时间戳并非图像传感器开始曝光的真实时刻，而是数据到达处理单元的時刻，两者之间存在不可预测且波动的通信延迟与系统调度延迟。此外，软件触发的节奏易受操作系统负载影响，导致采集帧间隔不均匀，产生时间抖动。

2、上述情况引起的时序上的不精确性，给后续的图像识别处理带来了根本性挑战。无论是经典的基于卡尔曼滤波的状态估计，还是基于深度学习模型的时序建模，其内部通常隐含了时序均匀或时间戳准确的假设。当输入数据的实际物理时序与模型假设不符时，将导致运动估计偏差、跟踪漂移、时序关系误判等问题，严重制约了在高精度测量、高速过程分析、多传感器融合等要求严苛场景下的应用性能。

技术实现思路

1、有鉴于此，本发明目的在于提供一种融合时间信息的图像识别处理方法及系统，以解决目前在图像识别过程中，由于输入模型的图像序列时序不精确以及与模型假设不符等情况，导致的模型图像识别结果不准确的技术问题。

2、本发明第一方面公开了一种融合时间信息的图像识别处理方法，该方法包括：

3、获取图像序列以及关联时间戳；所述图像序列的每一帧图像数据关联的时间戳为曝光起始时间戳，且所述图像序列的帧间时间间隔均匀；

4、基于所述曝光起始时间戳，确定所述图像序列中相邻帧之间的精确时间间隔δt；

5、基于所述精确时间间隔δt和所述曝光起始时间戳，生成时间编码特征；

6、将所述时间编码特征与从图像序列提取的视觉特征进行融合，得到融合特征；

7、通过深度神经网络模型基于所述融合特征输出图像识别结果。

8、进一步地，所述生成时间编码特征的过程包括：

9、基于每一帧图像的曝光起始时间戳，通过正弦和余弦函数生成周期性的时间位置编码向量；

10、所述正弦和余弦函数的频率基底参数根据所述精确时间间隔δt进行配置，在配置完成后，所述时间位置编码向量在所述图像序列的完整时间范围内的变化频率谱与所述δt成反比例关系。

11、进一步地，所述生成时间编码特征的过程还包括：

12、基于连续多帧之间的精确时间间隔δt，生成相对时间嵌入向量，并通过可学习查找表进行存储；所述可学习查找表以帧间位移步数为索引，所述帧间位移步数由时间差除以所述精确时间间隔δt并取整得到。

13、进一步地，所述深度神经网络模型为时空transformer模型；所述融合特征的生成过程包括：

14、将所述时间位置编码向量与图像块嵌入向量逐元素相加，形成时空嵌入序列；

15、将所述时空嵌入序列输入至所述时空transformer模型的多层编码器，在多层编码器自注意力机制中的查询向量与键向量的点积结果上添加时间偏置矩阵；所述时间偏置矩阵基于相对时间嵌入向量进行构建，用于表征不同图像块之间的时序关联强度；其中，

16、所述图像块嵌入向量的生成过程包括：

17、在将所述时间编码特征与从图像序列提取的视觉特征进行融合前，将每一帧图像划分为多个图像块，并通过线性投影将每个图像块转换为嵌入向量，得到图像块嵌入向量。

18、进一步地，在构建所述时间偏置矩阵前，所述方法还包括：

19、基于所述时空嵌入序列，在序列中的每个查询位置生成一个动态门控系数；

20、在生成所述动态门控系数后，所述时间偏置矩阵的构建过程具体包括：

21、基于相对时间嵌入向量构建初始时间偏置矩阵；

22、利用所述动态门控系数对初始时间偏置矩阵进行行方向上的调制，得到调制后的时间偏置矩阵。

23、进一步地，所述动态门控系数的生成过程具体包括：

24、对每个查询位置对应的时空嵌入向量进执行线性投影与压缩操作，得到标量形式的中间值；

25、将所述中间值输入sigmoid激活函数，将输出值映射至(0,1)区间，作为该查询位置的动态门控系数。

26、进一步地，通过线性投影层执行所述线性投影操作；所述线性投影层的权重参数与所述可学习查找表，通过以下方式相关联：

27、在时空transformer模型训练过程中，基于包括联合正则化损失函数的约束更新模型参数，所述联合正则化损失函数鼓励所述权重参数的变化与所述可学习查找表中向量的变化在分布上趋于一致。

28、进一步地，所述方法还包括多目标跟踪操作，具体包括：

29、将所述深度神经网络模型输出的多目标识别结果，输入至多个并行的卡尔曼滤波器；

30、基于所述精确时间间隔δt，确定每个卡尔曼滤波器的状态转移矩阵；利用各卡尔曼滤波器对相应目标进行运动状态预测与数据关联。

31、进一步地，所述获取图像序列以及关联时间戳包括：

32、接收来自图像采集系统的数据流，所述图像采集系统被配置为：

33、响应于由同步于高精度时钟的定时器发出的周期性硬件触发信号进行图像曝光，并在曝光开始时记录来自所述高精度时钟的当前时刻作为所述曝光起始时间戳。

34、本发明第二方面公开了一种融合时间信息的图像识别处理系统，该系统包括：

35、数据获取模块，用于获取图像序列以及关联时间戳；所述图像序列的每一帧图像数据关联的时间戳为曝光起始时间戳，且所述图像序列的帧间时间间隔均匀；

36、间隔确定模块，用于基于所述曝光起始时间戳，确定所述图像序列中相邻帧之间的精确时间间隔δt；

37、图像识别模块，用于基于所述精确时间间隔δt和所述曝光起始时间戳，生成时间编码特征；

38、将所述时间编码特征与从图像序列提取的视觉特征进行融合，得到融合特征；

39、通过深度神经网络模型基于所述融合特征输出图像识别结果。

40、与现有技术相比，本发明的有益效果为：

41、本发明通过硬件同步触发与曝光时刻直接打戳，从源头确保了图像序列具有均匀的帧间隔与微秒级精度的曝光起始时间戳，为后续处理提供精确时序数据基础。并在此基础上，通过将时间间隔与曝光时刻转化为深度耦合于时transformer模型的时间编码，使得能够自适应地依据场景内容调整对时序信息的关注度，从而大幅提升了复杂动态场景下的识别精度。此外，通过模型学习与物理时间尺度严格对齐的时空表示，不仅提高了运动估计与预测的物理真实性，更为图像序列中直接测量速度、加速度等物理量提供了可靠支撑。

1.一种融合时间信息的图像识别处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的融合时间信息的图像识别处理方法，其特征在于，所述生成时间编码特征的过程包括：

3.根据权利要求2所述的融合时间信息的图像识别处理方法，其特征在于，所述生成时间编码特征的过程还包括：

4.根据权利要求3所述的融合时间信息的图像识别处理方法，其特征在于，

5.根据权利要求4所述的融合时间信息的图像识别处理方法，其特征在于，在构建所述时间偏置矩阵前，所述方法还包括：

6.根据权利要求5所述的融合时间信息的图像识别处理方法，其特征在于，所述动态门控系数的生成过程具体包括：

7.根据权利要求6所述的融合时间信息的图像识别处理方法，其特征在于，通过线性投影层执行所述线性投影操作；所述线性投影层的权重参数与所述可学习查找表，通过以下方式相关联：

8.根据权利要求1所述的融合时间信息的图像识别处理方法，其特征在于，所述方法还包括多目标跟踪操作，具体包括：

9.根据权利要求1所述的融合时间信息的图像识别处理方法，其特征在于，所述获取图像序列以及关联时间戳包括：

10.一种融合时间信息的图像识别处理系统，所述系统基于权利要求1-9任一项所述的方法实现，其特征在于，所述系统包括：