一种支持视频目标检测跟踪的异构嵌入式实时处理架构及其应用

1.本发明涉及一种支持视频目标检测跟踪的异构嵌入式实时处理架构及其应用，属于高清视频嵌入式通用智能处理技术领域，主要应用在无人机载安防系统等嵌入式设备中。


背景技术：

2.森林防火、边防巡检、疫情管控等场景的安防任务复杂多样，高价值目标在全天时监控中出现的频次极低，人工监控费时费力；而传统安防系统处理精度不足、频繁误报，无法满足大视场、全天时、快响应的需求。具有高精度特性的智能实时无人机载安防系统是解决上述问题的有效途径。
3.目前，实时无人机载安防系统中智能图像处理ai技术渗透率仅达6％，其根本原因主要源于：(1)面对不同的安防场景和任务需求，往往需要定制化设计不同的硬件接口电路去对接复杂多样的外部设备，导致产品研发调试周期长，成本高，通用性不足；(2)嵌入式处理器(如dsp、arm等)在体积功耗限制下，算力难以支持复杂场景中包含深度学习网络的高精度检测跟踪算法。
4.随着无人机载荷成像质量和分辨率逐步提升，基于同构处理核心的嵌入式处理架构在目标检测跟踪等多模态计算中存在计算效能低的缺陷，而现有基于异构处理核心的嵌入式处理架构在海量数据传输中存在传输代价过高的问题。


技术实现要素：

5.本发明的技术解决问题是：克服现有技术的不足，提出一种支持视频目标检测跟踪的异构嵌入式实时处理架构及其应用，本发明综合考虑无人机载安防系统在多种场景下的任务需求，设计一种支持高清视频目标检测跟踪的npu fpga异构嵌入式处理架构。
6.本发明的技术解决方案是：
7.一种支持视频目标检测跟踪的异构嵌入式实时处理架构，该异构嵌入式实时处理架构包括异构处理器、控制信息交互接口、视频数据交互接口和异构处理器间交互接口；异构处理器为fpga和npu；
8.所述的控制信息交互接口包括rs422接口、rs232接口、rs485接口、can接口、spi接口；
9.所述的视频数据交互接口包括hdmi输入接口、sdi输入接口、gmsl输入接口、hdmi输出接口、sdi输出接口、以太网接口、usb接口；
10.所述的异构处理器间交互接口包括pcie接口、gpio接口、uart接口、spi接口；
11.所述的fpga和npu通过hdmi输入接口、sdi输入接口、gmsl输入接口同时采集多种接口的可见光和红外视频数据，满足全天时公共安防巡检场景需求；
12.所述的fpga和npu通过rs422接口、rs232接口、rs485接口、can接口、spi接口对接
外部伺服系统、gps、惯性导航系统、陀螺仪、激光测距仪等设备，满足无人机载载荷控制、定位导航、定点测距等需求；
13.所述的fpga和npu通过hdmi输出接口、sdi输出接口、以太网接口对接多种无线图像传输设备，无线图像传输设备包括自带编码功能的hdmi视频输入无线图像传输设备、自带编码功能的sdi视频输入无线图像传输设备和纯远传以太网的无线图像传输设备；
14.所述的fpga和npu通过以太网接口和usb接口采集机载已存储的记录视频或数据用于任务后处理分析；
15.所述的fpga和npu通过pcie接口为异构处理器海量的图像数据和分布式计算中间数据提供高速交换能力；
16.所述的fpga和npu通过gpio接口、uart接口、spi接口为高频次实时同步异构处理器之间的工作状态和结果信息提供高频交换能力；
17.所述的rs422接口、rs232接口、rs485接口、can接口、spi接口、hdmi输入接口、sdi输入接口、hdmi输出接口、sdi输出接口由fpga中的接口模块搭建底层通信链路实现，满足多种应用场景下的不同无人机载安防系统的对接需求；
18.所述的异构处理器中的npu包括npu底层网络加速处理核心、npu底层图像处理加速核心以及npu调度arm处理核心；
19.所述的异构处理器中的fpga包括接口模块、图像预处理模块、滤波器迭代更新计算模块。
20.一种支持视频目标检测跟踪的异构嵌入式实时处理架构的应用，步骤包括：
21.s1，由fpga接口模块采集外部多波段图像，由fpga图像预处理模块将采集到的外部多波段图像进行预处理，得到跟踪检测样本；
22.所述的预处理是指对采集到的外部多波段图像的指定区域进行部分切片和图像增强；
23.s2，由fpga接口模块将步骤s1中采集到的外部多波段图像和跟踪检测样本通过pcie接口传到npu调度arm处理核心上，通过gpio接口控制乒乓标识，乒乓标识用于异步处理，达到掩盖图像传输耗时的目的；
24.s3，npu调度arm处理核心将接收到的外部多波段图像传到npu底层图像处理加速核心上；同时，npu调度arm处理核心将接收到的跟踪检测样本传到npu底层网络加速处理核心上；
25.s4，npu底层网络加速处理核心对接收到的跟踪检测样本进行深度特征提取，得到跟踪检测样本的深度特征；
26.s5，npu底层网络加速处理核心根据步骤s4得到的跟踪检测样本的深度特征完成全连接层、softmax、nms等计算，得到目标检测结果，并将目标检测结果输出至npu调度arm处理核心；
27.s6，通过npu调度arm处理核心判断目标检测结果中的置信度，当置信度大于设定阈值时，进入步骤s7，当目标检测结果中的置信度不大于设定阈值时，则重复步骤s3-s6，直至目标检测结果中的置信度大于设定阈值后进入步骤s7；
28.s7，跟踪检测样本的深度特征通过pcie接口传回至fpga接口模块，在fpga滤波器迭代更新计算模块中完成滤波器的迭代计算，得到新的滤波器；同时，npu调度arm处理核心
与fpga接口模块之间通过spi接口同步算法中间状态；
29.s8，fpga滤波器迭代更新计算模块将步骤s7得到的新的滤波器通过fpga接口模块由pcie接口回传至npu调度arm处理核心，npu调度arm处理核心根据新的滤波器和跟踪检测样本的深度特征共同完成响应质量判断和最大响应计算，如果响应质量低于设定阈值，则代表跟踪受到遮挡或相似目标干扰，进入步骤s3，如果响应质量不低于设定阈值，进入步骤s9；
30.s9，npu调度arm处理核心将步骤s8得到的最大响应计算结果中的脱靶量信息传输至fpga接口模块；fpga接口模块将接收到的脱靶量信息通过can接口输出给伺服系统，伺服系统控制载荷使目标持续处于视场中心；同时，fpga接口模块从gps设备中获取无人机载系统的经纬高信息，fpga接口模块还从激光测距设备中获取目标距离，通过uart接口传输至npu的调度arm处理核心，由npu的调度arm处理核心完成目标经纬高的解算，得到目标的经纬高结果；
31.s10，npu的调度arm处理核心将目标信息发送至npu底层图像处理加速处理核心，npu底层图像处理加速处理核心将接收到的目标的经纬高结果和响应质量叠加到步骤s3中传输至npu底层图像处理加速核心的外部多波段图像上，并完成h.264/h.265图像编码，得到压缩码流；
32.所述的目标信息为步骤s9得到的目标的经纬高结果和步骤s8的响应质量；或者是所述的目标信息为步骤s5得到目标检测结果；
33.s11，npu调度arm处理核心将目标信息进行打包，并将打包后的结果通过spi接口传输至fpga接口模块；
34.s12，fpga接口模块将接收到的打包结果通过hdmi输出接口、sdi输出接口或以太网接口传输至无线图像传输设备，无线图像传输设备将打包结果传输至地面，地面监控终端实时接收打包结果并进行显示和记录；当打包结果中目标的风险值高于预警值，地面监控终端产生报警信息，地面人员根据打包结果闭环安防工作，当打包结果中目标的风险值不高于预警值，则进入步骤s7。
35.有益效果
36.(1)本发明提供丰富的视频、信息输入输出外部接口，可以兼容不同应用场景中无人机载系统复杂的外设构成，具有接口可重构可扩展、规模可伸缩的能力，大幅提升通用性；
37.(2)针对不同应用场景定制化硬件接口研发周期长、成本高等问题，采用对fpga接口模块进行编程来适配丰富的外部通信接口，充分发挥fpga的现场可编程特性；
38.(3)本发明采用异构处理器间pcie、gpio、uart、spi等内部接口通信链路相互配合，通过高速接口完成图像和特征数据传输，通过高频交换接口完成处理器间的状态同步，有效降低异构处理器间数据交换延迟；
39.(4)本发明在传输高清图像和深度特征数据过程中，采用乒乓传输设计，npu在fpga传输的过程中可以同步完成后续检测、跟踪、编码等工作，通过异步处理设计掩盖数据传输延迟，使异构处理架构中计算和通信耗时均衡；
40.(5)本发明采用npu底层网络加速专用处理核心处理卷积网络，采用npu底层图像处理加速处理核心完成叠加和编码，npu调度arm核仅完成简单计算、数据流和调度工作，系
统总体计算效能达85％以上；由fpga协同完成滤波器更新计算，利用其高维矩阵处理能力保证强实时；
41.(6)本在视频目标检测跟踪的异构嵌入式实时处理应用中，以npu为深度神经网络和图像计算核心，fpga硬件协同加速，实现软硬协同处理流水线，总体处理性能提升可6至10倍，可完成高算力、低功耗场景下的智能实时无人安防任务。
附图说明
42.图1为本发明的架构的组成示意图；
43.图2为本发明的架构的应用流程示意图。
具体实施方式
44.以下结合附图和实施案例对本发明进行详细描述，具体实施步骤如下：
45.实施例
46.如图1所示，一种支持视频目标检测跟踪的异构嵌入式实时处理架构，该异构嵌入式实时处理架构包括异构处理器、控制信息交互接口、视频数据交互接口和异构处理器间交互接口；异构处理器为fpga和npu；
47.所述的控制信息交互接口包括rs422接口、rs232接口、rs485接口、can接口、spi接口；
48.所述的视频数据交互接口包括hdmi输入接口、sdi输入接口、gmsl输入接口、hdmi输出接口、sdi输出接口、以太网接口、usb接口；
49.所述的异构处理器间交互接口包括pcie接口、gpio接口、uart接口、spi接口；
50.所述的fpga和npu通过hdmi输入接口、sdi输入接口、gmsl输入接口同时采集多种接口的可见光和红外视频数据，满足全天时公共安防巡检场景需求；
51.所述的fpga和npu通过rs422接口、rs232接口、rs485接口、can接口、spi接口对接外部伺服系统、gps、惯性导航系统、陀螺仪、激光测距仪等设备，满足无人机载载荷控制、定位导航、定点测距等需求；
52.所述的fpga和npu通过hdmi输出接口、sdi输出接口、以太网接口对接多种无线图像传输设备，无线图像传输设备包括自带编码功能的hdmi、自带编码功能的sdi视频输入无线图像传输设备和纯远传以太网的无线图像传输设备；
53.所述的fpga和npu通过以太网接口和usb接口采集机载已存储的记录视频或数据用于任务后处理分析；
54.所述的fpga和npu通过pcie接口为异构处理器海量的图像数据和分布式计算中间数据提供高速交换能力；
55.所述的fpga和npu通过gpio接口、uart接口、spi接口为高频次实时同步异构处理器之间的工作状态和结果信息提供高频交换能力；
56.所述的rs422接口、rs232接口、rs485接口、can接口、spi接口、hdmi输入接口、sdi输入接口、hdmi输出接口、sdi输出接口由fpga中的接口模块搭建底层通信链路实现，满足多种应用场景下的不同无人机载安防系统的对接需求；
57.所述的异构处理器中的npu包括npu底层网络加速处理核心、npu底层图像处理加
速核心以及npu调度arm处理核心；
58.所述的异构处理器中的fpga包括接口模块、图像预处理模块、滤波器迭代更新计算模块。
59.如图2所示，一种支持视频目标检测跟踪的异构嵌入式实时处理架构的应用，步骤包括：
60.步骤一、首先确认智能安防系统中需要对接的外部设备接口配制，例如在边境巡检场景中：高清可见光与红外视频均通过hdmi输入，gps与惯性导航系统通过串口对接，伺服系统通过can总线对接，压缩码流通过以太网输出。明确以上外部接口需求后，在fpga中通过编程例化对应接口模块进行对接。图像与信息均通过fpga与npu之间的高速接口(pcie)与低速接口(uart、spi、gpio)进行交互，构建核心处理器状态同步与异构计算基础；
61.步骤二、在该异构系统投入应用前，对该边境巡检场景下的大量人员和车辆目标视频进行采集和标注，完成目标检测跟踪模型训练工作。针对不同的应用场景，预先训练得到了多个不同的检测跟踪模型，模型存储于npu外接的emmc存储器中，在系统初始化阶段根据任务类型进行模型加载；
62.步骤三、在整个系统运行过程中，fpga实时采集相机输入的1080p可见光图像和720p的红外图像，以及gps信息、伺服工作状态等外部设备控制信息；
63.步骤四、无人机载系统进入目标区域前，系统处于低功耗巡航模式，fpga仅将原始图像传输至npu完成h.264/h.265编码，巡航模式中fpga不执行图像预处理，npu底层网络加速专用处理核心处于休眠状态；
64.步骤五、无人机载系统进入目标区域后，由npu调度arm核中的综合决策模块通知整个系统开启检测跟踪模式，fpga中预处理模块对可见光和红外图像进行噪声抑制、对比度增强等处理，同时，对检测区域进行初步分割与切片，得到一系列检测跟踪样本；
65.步骤六、fpga完成预处理后将原始图像和样本通过pcie主动传输至npu的内存中，存储方式采用乒乓传输的模式。npu调度arm核心根据gpio状态选择“乒帧”或“乓帧”进行处理，在npu处理“乒帧”时，fpga可同步向“乓帧”进行传输。由此，npu处理耗时可完全掩盖pcie传输耗时，实现异构处理的传输与计算均衡；
66.步骤七、npu调度arm核心分别将原始图像和检测跟踪样本通过共享内存传输至npu底层网络加速专用处理核心和npu底层图像处理加速处理核心。其中，npu底层图像处理加速处理核心在10ms以内完成红外和可见光视频的h.264/h.265编码，npu底层网络加速专用处理核心在12ms内完成深度特征提取，其运算效能大于85％；
67.步骤八、检测流程下，深度特征特征提取后，继续完成全连接层、softmax、nms等运算得到检测可疑目标信息(位置信息和置信度)，当置信度超过预设阈值后，将按置信度排序选定重点目标进入跟踪流程。跟踪流程下，深度特征特征提取后，npu调度arm核通过gpio通知fpga，由fpga主动发起pcie数据拉取，npu则继续利用历史滤波器信息完成响应质量判断和最大响应位置求取。此处，将后续步骤九中滤波器更新流程和当前步骤运算并行处理，有利于提升目标跟踪的实时性；
68.步骤九、fpga通过pcie完成特征矩阵拉取，同时利用spi同步算法中间处理状态，在fpga中例化硬件矩阵加速处理模块，对迭代更新运算中的矩阵求逆、转置、相乘等固定模式运算进行强实时性加速，以确保跟踪过程中相关滤波器的时效性；
69.步骤十、满足初始跟踪转稳定跟踪条件后，将目标脱靶量通过fpga输出至伺服系统，伺服控制载荷使目标持续处于视场中心；同时，fpga信息处理模块使能激光测距，并通过uart将gps信息和目标距离发送至npu调度arm上，由arm进行目标经纬高位置解算；
70.步骤十一、npu调度arm核最终将码流和目标信息等组包，通过spi同步至fpga后，由fpga通过无线图传设备发送至地面监控终端，当目标风险度高于预警值时，地面人员可根据报警信息中目标经纬高和实时图像实现迅速响应；
71.步骤十二、在目标处于稳定跟踪阶段，如果发生相似干扰或大面积遮挡，导致响应质量持续低于预设值，则综合决策模块通知系统重新回到步骤八对附近目标进行重检测。
72.以上所述仅为本发明的优选实施案例，并不用于限制本发明。该领域技术人员可对上述实例记载技术进行修改或对其中技术特征进行同等替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。