一种基于SIMD指令DSP的单目标跟踪方法、装置、设备及介质与流程

本发明涉及图像处理自动跟踪，具体为一种基于simd指令dsp的单目标跟踪方法、装置、设备及介质。

背景技术：

1、单目标跟踪是指在视频第一帧中给定目标初始框，并在后续图像帧中持续定位同一目标的技术。kcf（kernel correlation filter，核相关滤波算法）算法是一种典型的传统相关滤波跟踪算法，其通过循环矩阵、岭回归和快速傅里叶变换实现目标模型训练和快速检测，具有计算量相对较低、实时性较好、无需深度学习模型预训练、易于嵌入式部署等优点。

2、现有kcf目标跟踪加速方案通常依赖多核dsp、fpga或fpga+dsp异构平台实现。例如，通过多核dsp对图像预处理、特征提取和响应计算进行任务划分，或者利用fpga完成hog特征提取和fft加速，再由dsp完成后续跟踪计算。然而，上述方案往往对特定硬件平台依赖较强，移植成本较高；同时，多核间数据交互或跨芯片传输容易引入延迟，在高帧率场景下可能出现处理拥堵或丢帧问题。

3、此外，高端多核dsp虽然算力较强，但成本和功耗较高；低功耗dsp平台又难以直接满足kcf算法中图像缩放、hog/lab特征提取、fft频域计算等密集运算的实时性要求。

技术实现思路

1、本发明的主要目的在于提出一种基于simd指令dsp的单目标跟踪方法、装置、设备及介质，旨在至少解决相关技术中提及的技术问题。

2、本发明的第一方面，提供了一种基于simd指令dsp的单目标跟踪方法，应用于包括cpu核、dsp核和dma模块的的图像处理装置，单目标跟踪方法包括：

3、获取待跟踪视频图像，并根据首帧图像中指定的目标框确定目标区域；

4、根据目标区域对应的目标缩放尺寸，获取由cpu核生成双线性插值所需的插值映射关系数据；

5、将目标区域的图像数据和插值映射关系数据通过dma模块传输至dsp核，并由dsp核基于simd指令对目标区域进行缩放处理，得到缩放后的目标图像块；

6、dsp核基于simd指令得到的目标特征；

7、根据目标特征进行模型训练，得到目标跟踪模型；

8、在后续帧图像中基于目标跟踪模型对多个不同尺度的候选检测区域进行目标检测，确定当前帧的目标跟踪结果；

9、根据当前帧的目标跟踪结果更新目标跟踪模型，并将当前帧的目标跟踪结果作为下一帧的预检测框。

10、本发明的第二方面，提供了一种单目标跟踪装置，包括cpu核、dsp核及dma模块；

11、所述cpu核获取待跟踪视频图像，并根据首帧图像中指定的目标框确定目标区域；

12、所述cpu核根据所述目标区域对应的目标缩放尺寸，生成双线性插值所需的插值映射关系数据；

13、所述dma模块将所述目标区域的图像数据和所述插值映射关系数据搬运至所述dsp核可访问的存储空间，并由所述dsp核基于simd指令对所述目标区域进行缩放处理，得到缩放后的目标图像块；

14、所述dsp核基于simd指令对所述缩放后的目标图像块进行特征提取，得到目标特征；

15、所述dsp核根据所述目标特征进行模型训练，得到目标跟踪模型；

16、所述cpu核和所述dsp核协同在后续帧图像中，基于所述目标跟踪模型对多个不同尺度的候选检测区域进行目标检测，确定当前帧的目标跟踪结果；其中，所述dsp核用于执行特征提取和频域计算，所述cpu核用于执行最大响应值搜索并确定所述目标跟踪结果；

17、所述dsp核根据所述当前帧的目标跟踪结果对应的目标特征更新所述目标跟踪模型，并由所述cpu核将所述当前帧的目标跟踪结果对应的目标框作为下一帧的预检测框。

18、本发明的第三方面，提供了一种电子设备，电子设备包括存储器、处理器及总线；总线用于实现存储器、处理器之间的连接通信；处理器用于执行存储在存储器上的计算机程序；处理器执行计算机程序时，实现如第一方面的基于simd指令dsp的单目标跟踪方法中的步骤。

19、本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现如第一方面的基于simd指令dsp的单目标跟踪方法中的步骤。

20、本发明的基于simd指令dsp的单目标跟踪方法、装置、设备及介质，通过cpu核生成图像缩放所需的插值映射关系数据，并利用dma将目标区域图像数据和插值映射关系数据传输至dsp核，再由dsp核基于simd指令完成图像缩放和目标特征提取，能够充分利用dsp的向量并行处理能力，降低kcf算法中特征提取、缩放处理和后续目标检测过程的计算耗时；同时，通过在后续帧中对多个不同尺度的候选检测区域进行目标检测，并根据最大响应结果确定当前帧目标位置及更新目标跟踪模型，能够提高目标尺度变化场景下的跟踪稳定性。相较于依赖多核dsp或fpga+dsp异构平台的方案，本申请能够减少跨核或跨芯片数据交互带来的延迟和拥堵，降低硬件平台依赖性、功耗和部署成本，提高单目标跟踪方法在嵌入式dsp平台上的实时性和工程适用性。

1.一种基于simd指令dsp的单目标跟踪方法，其特征在于，应用于包括cpu核、dsp核和dma模块的的图像处理装置，单目标跟踪方法包括：

2.如权利要求1的基于simd指令dsp的单目标跟踪方法，其特征在于，插值映射关系数据包括像素位置查找表；

3.如权利要求2的基于simd指令dsp的单目标跟踪方法，其特征在于，dsp核基于simd指令所得到的目标特征包括：

4.如权利要求3的基于simd指令dsp的单目标跟踪方法，其特征在于，根据目标特征进行模型训练，得到目标跟踪模型包括：

5.如权利要求4的基于simd指令dsp的单目标跟踪方法，其特征在于，在后续帧图像中基于目标跟踪模型对多个不同尺度的候选检测区域进行目标检测，确定当前帧的目标跟踪结果包括：

6.如权利要求2的基于simd指令dsp的单目标跟踪方法，其特征在于，所述由dsp核基于simd指令对目标区域进行缩放处理，得到缩放后的目标图像块包括：

7.如权利要求3的基于simd指令dsp的单目标跟踪方法，其特征在于，所述dsp核基于simd指令对缩放后的目标图像块进行特征提取，得到目标特征包括：

8.一种单目标跟踪装置，其特征在于，包括cpu核、dsp核及dma模块；

9.一种电子设备，其特征在于，包括存储器、处理器及总线；

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，计算机程序被处理器执行时，实现权利要求1至7中任意一项基于simd指令dsp的单目标跟踪方法中的步骤。