一种基于嵌入式智能异构计算的自适应目标跟踪系统

本发明涉及目标跟踪，具体来说，涉及嵌入式智能异构计算与目标跟踪的交叉，更具体地说，涉及一种基于嵌入式智能异构计算的自适应目标跟踪系统。

背景技术：

1、随着人工智能、人工智能芯片及边缘嵌入式智能计算技术发展，边缘嵌入式智能计算技术正推动各行业装备从“自动化”走向“智慧化”，从“信息化”走向“智能化”，它通过将强大的计算能力（以下简称算力）和ai算法模型集成部署至装备内部，使其不再是简单的执行终端，而是逐步演进为具备了自主感知、自主决策和自主协同能力的智能实体。然而，现有的边缘嵌入式智能图像目标计算方案在工业装备或军用装备中应用时，仍然面临着诸多亟需突破的核心技术瓶颈，包括：

2、大算力、高效能算力瓶颈。复杂的深度学习模型（如用于目标检测、识别、分割的卷积神经网络模型）在边缘侧运行时，对定点/浮点算力要求极高，而现有通用x86、arm、fpga与dsp等架构处理器的算力难以在严格的功耗和尺寸约束下，满足算法对万亿次（tops）及以上计算性能的需求。

3、大规模图像高速高带宽总线互联传输瓶颈。在边缘智能感知计算中，存在大量的图像/视频数据io交互需求，传统通信接口如gbe网口、usb接口的带宽和延迟已成为系统性能提升的瓶颈。

4、复杂场景图像动态分割和目标自适应提取瓶颈。在目标感知及跟踪场景中，成像画面中常存在云层、山地等复杂背景干扰。现有嵌入式视觉处理方案通常直接将完整原始图像传输至cpu、npu进行目标检测跟踪，导致海量无效背景数据在传输时占用总线带宽，并造成算力资源的浪费；此外，传统图像分割算法普遍采用固定尺寸图像块进行处理，无法适配目标距离改变带来的目标像素尺度变化，也可能导致分割的目标图像中存在过多的无效背景。

5、综上所述，现有边缘嵌入式智能图像目标计算方案同时存在算力受限、数据传输速率受限、前端图像动态分割和目标提取不精确等多重问题，导致目标的识别和提取效率低。因此亟需一套软硬件结合的异构智能计算方案，以支持大规模图像数据传输，以及在复杂背景场景中实现准确的图像动态分割和目标区域自适应提取。

6、需要说明的是：本背景技术仅用于介绍本发明的相关信息，以便于帮助理解本发明的技术方案，但并不意味着相关信息必然是现有技术。相关信息与本发明方案一同提交和公开，在没有证据表明相关信息已在本发明的申请日以前公开的情况下，相关信息不应被视为现有技术。

技术实现思路

1、因此，本发明的目的在于克服上述现有技术的缺陷，提供一种基于嵌入式智能异构计算的自适应目标跟踪系统及方法。

2、本发明的目的是通过以下技术方案实现的：

3、根据本发明的第一方面，提供一种基于嵌入式智能异构计算的自适应目标跟踪系统，该系统用于从多幅原始图像中识别并提取目标以跟踪该目标，每幅原始图像携带有其对应的目标距离信息。所述系统包括计算设备和主控设备，其中：

4、计算设备包括多张嵌入式智能异构计算板卡、一张通信板卡和一个连接背板，其中：每张嵌入式智能异构计算板卡用于根据每幅原始图像中目标距离的远近按照预设的规则自适应调整提取范围，并从原始图像中提取该范围内的所有像素以组成准确分割的目标图像；连接背板用于分别对每张嵌入式智能异构计算板卡和通信板卡进行连接；通信板卡用于实现计算设备和主控设备之间的数据传输。

5、主控设备用于将多幅原始图像发给计算设备处理，以及接收每幅原始图像对应的目标图像以合成目标跟踪视频。

6、该方案至少能够实现以下有益技术效果：1、系统根据不同距离的目标调整不同大小的提取范围，克服了传统方法中提取目标图像时难以同时兼顾远、近距离目标分割精度的问题。2、更精准的分割精度可让最终提取的目标图像尺寸更小，在传输目标图像时避免传输大量无用的背景部分，从而节约通信资源、减小通信瓶颈。

7、可选的，每张嵌入式智能异构计算板卡被配置为按照预设的规则对每幅原始图像进行如下处理：

8、通过图像灰度统计二值化分割方法生成每幅原始图像对应的目标二值掩码图像；其中，灰度统计窗口的尺寸根据目标距离的远近自适应调整，且目标距离越远灰度统计窗口的尺寸越小。

9、根据目标二值掩码图像从对应原始图像中识别和分割目标以确定提取范围。

10、从原始图像中提取该范围内的所有像素以组成准确分割的目标图像。

11、可选的，每张嵌入式智能异构计算板卡中预设有3×3、5×5、7×7三种不同的灰度统计窗口尺寸以及近距离阈值、远距离阈值，每张嵌入式智能异构计算板卡被配置为通过对比目标距离与近距离阈值、远距离阈值的大小以自适应调整灰度统计窗口的尺寸，其中：若目标距离大于或等于预设的远距离阈值，则将灰度统计窗口的尺寸调整为3×3；若目标距离小于或等于预设的近距离阈值，则将灰度统计窗口的尺寸调整为7×7；否则将灰度统计窗口的尺寸调整为5×5。

12、可选的，每张嵌入式智能异构板卡配置有cpu单元、fpga单元和npu单元，其中：cpu单元用于调度跨设备、跨板卡和跨单元的图像数据；fpga单元被配置为对原始图像进行预处理以生成目标二值掩码图像和目标位置、尺寸，所述预处理包括中值滤波去噪、图像灰度统计二值化分割、图像连通域解析和目标位置标记与尺寸参数提取；npu单元上配置有图像目标检测模型，该模型用于根据fpga单元生成的目标位置、尺寸从原始图像中识别和提取目标。

13、该方案至少能够实现以下有益技术效果：通过高速互联硬件架构+异构计算板卡+fpga预处理算法的组合，软硬件协同实现高效、准确的目标识别方案。

14、可选的，fpga单元配置有原始图像循环缓存队列和目标二值掩码图像循环缓存队列，其中：原始图像循环缓存队列包括多个顺序排列的缓存区，其中，每幅原始图像被顺序写入不同缓存区以供cpu读取，且cpu从上一个已完成写入的缓存区读取原始图像；目标二值掩码图像循环缓存队列包括多个顺序排列的缓存区，其中，fpga单元生成的每幅目标二值掩码图像被顺序写入不同缓存区以供cpu读取，且cpu从上一个已完成写入的缓存区读取目标二值掩码图像。

15、该方案至少能够实现以下有益技术效果：可规避图像写入与读取访问同一存储区域引发的数据冲突，以解决高帧率视频传输场景下的帧丢失、画面撕裂问题。

16、可选的，fpga单元被配置为按如下方式进行中值滤波去噪：

17、t1、在原始图像中设置可滑动的滤波窗口。

18、t2、滑动滤波窗口以逐行逐列遍历整幅原始图像，其中，每滑动一次进行如下处理：t21、遍历滤波窗口当前覆盖范围内的所有像素以获取每个像素的灰度值，并对当前覆盖范围内的所有像素的灰度值做升序排序。t22、在升序排序的所有灰度值中取中值并赋值给滤波窗口当前覆盖范围内的中心像素。

19、可选的，fpga单元被配置为基于双层级灰度统计进行图像灰度统计二值化分割，包括：

20、s1、构建以待处理像素为中心的像素运算矩阵，其包括一个中心子块、围绕中心子块相邻分布的多个内层子块、围绕所有内层子块相邻分布的多个外层子块，所有子块的尺寸与灰度统计窗口的尺寸相等。

21、s2、滑动灰度统计窗口以分别计算全部内层子块所占据区域对应的内层灰度统计值、全部外层子块所占据区域对应的外层灰度统计值，并将内层灰度统计值和外层灰度统计值的乘积作为待处理像素的像素特征值。

22、s3、计算原始图像中所有像素的像素特征值以获得特征响应图，并计算特征响应图的全局均值和全局标准差，以及按如下方式计算自适应分割阈值：

23、

24、其中，t代表自适应分割阈值；代表特征响应图的全局均值；代表特征响应图的全局均值对应的经验系数，其为2；代表特征响应图的全局标准差；代表特征响应图的全局标准差对应的经验系数，其为40。

25、s4、将每个像素特征值逐一与自适应分割阈值进行对比以生成目标二值掩码图像。

26、该方案至少能够实现以下有益技术效果：双层级的图像灰度统计二值化分割通过将待处理像素周边的像素划分为双层（内层和外层）以计算每一层的灰度统计值从而进一步计算像素特征值，该方式相比传统二值化分割基于单层灰度统计值计算像素特征值而言，能够更准确地区分如大范围云层、山地起伏背景等形成的大范围背景局部干扰，避免复杂场景中易出现的过分割、漏检、高虚警率。

27、可选的，s2中通过如下方式计算内层灰度统计值和外层灰度统计值：s21、计算每个子块各自的灰度均值。s22、分别计算中心子块灰度均值与每个内层子块灰度均值间的绝对差值，并分别将同一对径上计算出的绝对差值相乘以得到每个对径上的中间值，以及取最小中间值作为内层灰度统计值；其中，对径是指中心子块的中心像素和每个内层子块的中心像素之间的连线。s23、取所有外层子块中最小的灰度均值作为外层灰度统计值。

28、该方案至少能够实现以下有益技术效果：使用该方案计算的内层灰度统计值和外层灰度统计值参与后续运算处理，能够让最终的目标分割结果更准确。

29、可选的，fpga单元被配置为按如下方式进行图像连通域解析：m1、对目标二值掩码图像逐行、逐像素进行全幅扫描，以识别出所有高亮像素，所述高亮像素是指该像素的亮度值为1。m2、采用八邻域连通判定规则，将空间相邻的高亮像素划归为同一连通域，并为每个连通域分配唯一id以作为该连通域对应的目标id。m3、比较每个连通域的像素数量和预设最小像素数量阈值的大小，保留像素数量大于或等于最小像素数量阈值的连通域以作为有效连通域，并舍弃其余连通域。

30、可选的，fpga单元被配置为按如下方式进行目标位置标记与尺寸参数提取：

31、遍历每个有效连通域内的所有像素以确定每个有效连通域的中心像素坐标，并统计每个有效连通域内像素的横向最小坐标、横向最大坐标、纵向最小坐标和纵向最大坐标以求解该有效连通域的外接矩形尺寸；其中，横向最大坐标和横向最小坐标的差值为目标宽度，纵向最大坐标和纵向最小坐标的差值为目标高度。

32、将每个有效连通域的目标id、中心像素坐标、外接矩形尺寸打包缓存，以完成目标位置标记与尺寸参数提取。

33、可选的，所述通信板卡为rapidio总线转光纤通信板卡，该板卡上配置有多个光模块，每个光模块单独服务一张嵌入式智能异构板卡；主控设备上配置有多张光纤-rapidio转pcie总线通信板卡，每张光纤-rapidio转pcie总线通信板卡通过光纤链路连接rapidio总线转光纤通信板卡上的一个光模块。

34、该方案至少能够实现以下有益技术效果：通过多个光模块、多张光纤-rapidio转pcie总线通信板卡为每张嵌入式智能异构板卡单独设计一条到达主控设备的光通信链路，能够提升数据传输速度和避免互相干扰。

35、可选的，所述连接背板为标准vpx背板，其包括一个rapidio总线转光纤通信板卡槽位和多个嵌入式智能异构板卡槽位，其中：每个嵌入式智能异构板卡槽位配置有电源接口、rapidio接口、camera link接口、网口和串口；rapidio总线转光纤通信板卡槽位配置有电源接口、rapidio接口、网口和串口；其中，rapidio总线转光纤通信板卡槽和嵌入式智能异构板卡槽位的同一种接口之间通过背板电路连接。

36、可选的，所述标准vpx背板的尺寸为3u，且配置有一个rapidio总线转光纤通信板卡槽位和三个嵌入式智能异构板卡槽位。

37、该方案至少能够实现以下有益技术效果：3u尺寸既能提供足够的嵌入式智能异构板卡槽位以确保系统的算力能力，又便于部署于可移动的车辆、舰艇等装备内，更具实用性。

38、根据本发明的第二方面，提供一种图像目标跟踪方法，该方法包括如下步骤：m1、获取多幅原始图像；m2、将所有原始图像输入如本发明第一方面所述基于嵌入式智能异构计算的自适应目标跟踪系统，以获得目标跟踪视频。

39、与现有技术相比，本发明的优点在于：本发明的方案通过异构的硬件架构与创新的图像处理方式的结合，有效解决了现有边缘嵌入式智能图像目标计算方案中的算力瓶颈、大规模图像数据传输瓶颈、复杂场景图像实时分割和目标提取精度瓶颈等问题，提升了目标的识别和提取效率，为边缘智能感知、智能跟踪、智能决策任务提供了有效的解决方案，具有良好的实用推广前景。