可扩展可重构机载异构处理架构及任务部署方法

摘要: 本发明涉及机载嵌入式计算及异构处理,具体涉及一种可扩展可重构机载异构处理架构及任务部署方法。背景技术:1、机载处理系统需要在体积、重量和功耗受限的条件下,完成多...
可扩展可重构机载异构处理架构及任务部署方法

本发明涉及机载嵌入式计算及异构处理,具体涉及一种可扩展可重构机载异构处理架构及任务部署方法。

背景技术:

1、机载处理系统需要在体积、重量和功耗受限的条件下,完成多源传感器数据接入、数据预处理、目标检测与跟踪、多传感器信息融合和实时结果输出。上述应用所涉及的处理方式和实时性要求不同。其中,神经网络推理主要涉及卷积、矩阵乘加等大规模并行张量运算;目标状态估计、运动预测和轨迹管理主要涉及基于时间序列的状态递推、实时滤波和逻辑判定等计算过程,通常需要按照确定性指令流程进行连续状态更新;传感器接入、时间同步、格式转换和流式预处理则对接口适配能力、数据吞吐能力及处理时序具有较高要求。

2、现有机载异构处理设备通常面向特定应用进行设计,在硬件设计阶段需预先确定处理器类型、处理模块数量、模块连接关系和数据传输路径,并据此开发配套的驱动程序和应用程序。当传感器类型、输入通道数量、处理规模或应用模式发生变化时,通常需要重新调整处理模块、板级连接、接口配置和软件流程,已有设计难以在保持总体架构组织方式不变的情况下进行灵活扩展或裁剪。此外,不同处理模块的处理能力、接口类型、地址或端口、本地存储资源及运行状态等信息通常分散于硬件设计、驱动程序和应用软件中,缺少统一的硬件资源描述与动态管理机制。

3、在软件配置方面,处理功能与处理模块之间的映射关系,以及各模块加载的程序、神经网络模型或逻辑配置、缓存参数和数据传输路径,通常在应用开发阶段预先确定。当处理模块组成、传感器配置或应用模式发生变化时,上层控制程序难以及时获取当前可用硬件资源,并根据资源状态重新选择处理模块、调整任务部署关系和配置数据传输路径,导致处理系统难以实现面向不同任务需求的灵活扩展与重构。

4、综上所述,需要一种可扩展可重构的机载异构处理架构及任务部署方法,在统一模块接口和总体互联方式下,根据传感器配置和处理规模增减处理模块;通过硬件资源配置数据记录各处理模块的类型、处理能力、接口、地址、存储参数和可用状态;并通过任务部署数据配置处理功能与处理模块的映射关系、待加载内容、缓存参数和数据传输路径,以提高机载异构处理设备对不同传感器组合、处理规模和应用场景的适应能力。

技术实现思路

1、(一)发明目的

2、本发明的目的在于提供一种可扩展可重构机载异构处理架构及任务部署方法,以解决现有机载处理设备中硬件组成难以随传感器配置和处理规模灵活扩展或裁剪;不同类型处理资源缺少统一的资源配置机制;处理功能和数据传输路径难以根据当前硬件资源及应用模式动态重新配置等问题。

3、(二)技术方案

4、本发明提供一种可扩展可重构的机载异构处理架构,包括主控处理模块、异构协处理节点组和高速数据交换网络,以及根据应用需要设置的接口模块和存储模块。

5、所述主控处理模块包括cpu主控单元和ai计算单元。cpu主控单元用于执行系统初始化、硬件资源读取、节点状态检查、任务部署数据选择、执行内容加载以及处理链配置。ai计算单元用于执行基于神经网络的目标检测、目标识别和图像分割等智能处理功能,并可承担适于并行加速的图像处理和矩阵计算。ai计算单元可以与cpu主控单元集成设置于同一处理芯片,也可以作为独立加速器通过高速接口与cpu主控单元连接。

6、所述异构协处理节点组包括一个或多个具有不同处理能力的处理节点。按照主要处理特征,所述处理节点可以包括数值计算节点、数据流处理节点和接口处理节点中的至少一种。数值计算节点用于执行滤波、状态估计、运动补偿、目标预测、数据关联和轨迹管理等处理功能;数据流处理节点用于执行数据预处理、格式转换、固定模式运算和高速数据搬运;接口处理节点用于执行传感器接入、协议转换、时间同步及结果输出。在一种具体实现中,数值计算节点采用dsp或者其他具有相应数值计算能力的处理器实现,数据流处理节点和接口处理节点采用fpga或者其他可编程逻辑器件实现。

7、各异构协处理节点按照统一模块接口规范接入系统。所述统一模块接口规范包括供电接口、管理接口、高速数据接口和机械安装约束。每一处理节点具有独立节点标识、本地存储空间以及与高速数据交换网络相对应的至少一个高速数据接口。cpu主控单元通过节点标识和管理接口识别处理节点并检查节点状态;所述本地存储空间用于设置输入缓存、中间结果缓存和输出缓存,以支持任务数据接收、中间数据保存和处理结果发送。

8、所述高速数据交换网络用于连接主控处理模块、异构协处理节点、接口模块和存储模块。在一种具体实现中,高速数据交换网络包括pcie交换网络和srio交换网络。pcie交换网络用于主控处理模块与各处理节点之间的数据交换,srio交换网络用于处理节点、接口模块和存储模块之间的实时数据交换。处理节点可以接入其中一个网络,也可以同时接入两个网络。

9、对于同时接入两个网络的处理节点,输入数据经其中一个网络写入该节点的输入缓存,经处理后写入输出缓存,再按照预设数据传输路径通过相应网络发送至目标模块。各处理节点通过本地缓存和目标节点接收缓存完成数据交换,并根据数据传输路径实现节点间数据交互。pcie交换网络和srio交换网络分别形成独立的数据交换通道;同时接入两个网络的处理节点通过本地输入缓存和输出缓存完成跨网络数据转发。

10、所述接口模块用于接入主控处理模块和异构协处理节点不能直接支持的专用电气接口或专用通信协议。当传感器或者外部设备能够通过主控处理模块或处理节点已有接口直接接入时,可以不设置接口模块。所述存储模块用于保存输入数据、中间处理数据和处理结果;对于大容量存储需求,可以通过高速数据交换网络设置独立存储模块,对于容量较小的存储需求,可以由主控处理模块外挂存储器实现。

11、本发明所述可扩展,是指在硬件设计阶段,在保持主控处理模块、统一模块接口规范和高速数据交换网络总体组织方式一致的条件下,根据传感器数量、接口类型、输入数据规模和处理能力需求,增加或者减少异构协处理节点、接口模块和存储模块。

12、增加或者减少处理节点时,仅调整与相应节点有关的交换端口、节点地址和局部板级连接,并更新硬件资源配置数据,不改变其他节点的基本接口关系和系统初始化方式。新增处理节点按照统一模块接口规范接入系统,并通过节点标识、处理能力类别、接口类型和本地存储参数被cpu主控单元识别。

13、所述处理节点根据硬件设计需求进行配置,其数量和类型由传感器数量、接口需求、输入数据规模和处理能力需求确定。对于计算规模较小且接口需求简单的应用,可以仅设置主控处理模块;对于需要专用数据接入、时间同步或者高速预处理的应用,可以增加数据流处理节点或接口处理节点;对于状态估计、运动补偿、数据关联等数值计算量较大的应用,可以增加数值计算节点。

14、硬件设计完成后,根据实际设置的主控处理模块、ai计算单元、异构协处理节点、接口模块和存储模块生成硬件资源配置数据。所述硬件资源配置数据用于描述当前硬件板卡的节点组成和连接关系,包括节点标识、节点类型、处理能力类别、高速接口类型、节点地址、交换端口分配关系和本地存储参数。

15、所述处理能力类别用于表示相应节点能够执行的主要处理类型,包括神经网络推理能力、并行数值计算能力、流式数据处理能力、接口协议处理能力和固定逻辑计算中的至少一种。

16、其中,神经网络推理能力用于执行目标检测、目标识别和图像分割等基于神经网络的处理功能;并行数值计算能力用于执行滤波、状态估计、运动补偿、目标预测和数据关联;流式数据处理能力用于执行图像预处理、格式转换和高速数据搬运;接口协议处理能力用于执行传感器接入、协议转换和时间同步;固定逻辑计算用于执行处理流程相对固定且适于硬件流水实现的计算过程。

17、所述本地存储参数包括可用缓存容量、缓存地址范围以及输入缓存和输出缓存配置参数中的至少一种。

18、系统启动时,cpu主控单元依据硬件资源配置数据检查各处理节点的初始化状态、通信状态和运行状态,并将状态正常的节点及其处理能力、接口能力和存储参数组织为可用硬件资源池。

19、针对待执行任务,预先形成与相应硬件配置相匹配的一组或者多组任务部署数据。所述任务部署数据包括任务标识、参与处理的节点、处理功能与处理节点之间的映射关系、待加载内容标识、节点执行关系、缓存参数和数据传输路径。所述待加载内容包括处理程序、神经网络模型和fpga逻辑配置中的至少一种。

20、cpu主控单元根据待执行任务所包含处理功能的计算类型、输入数据规模、缓存需求、数据传输频率和实时性要求,从与当前可用硬件资源池相匹配的任务部署数据中选择相应部署方案。对于存在多组可用部署数据的情况,可以根据处理时延、节点存储容量、节点间数据传输次数和节点可用状态选择满足当前处理要求的部署方案。

21、cpu主控单元按照所选择的任务部署数据,向相应节点加载处理程序、神经网络模型或者fpga逻辑配置,并配置各节点的输入缓存、输出缓存、启动顺序和数据传输路径,从而建立与待执行任务相对应的处理链。

22、本发明所述可重构,是指在硬件处理节点组合确定后,cpu主控单元依据当前硬件资源配置数据和不同任务部署数据,重新配置处理功能与处理节点之间的映射关系、节点待加载内容、缓存参数和数据传输路径,以建立或者切换相应处理链。

23、所述可重构针对硬件节点组合确定后的处理链配置过程,通过调整处理功能与处理节点之间的映射关系、节点待加载内容、缓存参数和数据传输路径,实现不同处理链构建。当cpu主控单元接收到任务切换指令时,停止或者暂停受影响的处理功能,选择与切换后任务相对应的另一组任务部署数据,重新加载相应程序、模型或逻辑配置,并更新缓存和数据传输路径。

24、在不同部署方案中,同一处理功能可以由不同的可用节点承担,同一处理节点也可以在不同任务中加载不同执行内容。具体映射关系由任务部署数据确定,但应与当前节点的处理能力、接口条件和存储资源相匹配。

25、本发明还提供一种机载异构处理架构的任务部署方法,包括以下步骤:

26、s1,读取任务标识和硬件资源配置数据。系统启动后,cpu主控单元获取机载红外多目标跟踪任务的任务标识,并读取与当前硬件板卡对应的硬件资源配置数据,获得ai计算单元、第一数据流处理节点、第二数据流处理节点、第一数值计算节点和第二数值计算节点的节点标识、节点类型、处理能力类别、高速接口类型、节点地址、交换端口分配关系和本地存储参数;

27、s2,检查节点状态并建立可用硬件资源池。cpu主控单元向各处理节点发送状态查询信息,并根据节点状态应答、pcie链路状态和srio通信状态,检查各节点的初始化状态、通信状态和运行状态。cpu主控单元将状态正常节点的处理能力、接口能力和本地存储参数组织为可用硬件资源池,供后续任务部署使用;

28、s3,选择任务部署方案。cpu主控单元根据红外图像接入与预处理、神经网络推理、运动补偿、状态预测、数据关联、轨迹管理和结果输出等处理功能的计算类型及数据传输需求,选择与当前可用硬件资源池相匹配的任务部署数据。本实施例中,第一数据流处理节点承担数据接入、时间同步和图像预处理,ai计算单元承担目标检测,第一数值计算节点承担平台运动补偿和目标状态预测,第二数值计算节点承担数据关联和轨迹管理,第二数据流处理节点承担结果封装和输出;

29、s4,加载执行内容并建立处理链。cpu主控单元按照所选择的任务部署数据,向第一数据流处理节点和第二数据流处理节点加载相应的fpga逻辑配置,向ai计算单元加载目标检测神经网络模型,向第一数值计算节点和第二数值计算节点加载相应处理程序。加载完成后,cpu主控单元根据任务部署数据中记录的节点地址、交换端口和处理先后关系,配置各节点的输入缓存、输出缓存、启动顺序和数据传输路径,建立机载红外多目标跟踪处理链;

30、s5,执行多目标跟踪任务。第一数据流处理节点接收红外图像和平台姿态数据,根据时间戳完成数据同步,并对红外图像进行格式转换、坏点处理、灰度归一化和尺寸调整。预处理图像经ai计算单元完成目标检测后,检测结果依次发送至第一数值计算节点进行平台运动补偿和目标状态预测、发送至第二数值计算节点进行数据关联和轨迹管理,最终由第二数据流处理节点完成结果封装和输出;

31、s6,切换或调整处理链。cpu主控单元接收到任务切换指令时,暂停受影响处理节点的数据输入,从与当前可用硬件资源池相匹配的任务部署数据中选择切换后任务对应的部署方案,并重新加载发生变化的处理程序、神经网络模型或fpga逻辑配置。随后,cpu主控单元更新相应节点的缓存参数、启动顺序和数据传输路径,恢复各处理节点运行,建立切换后的处理链。

32、对于处理规模较小的应用,可以将平台运动补偿、目标状态预测、数据关联和轨迹管理部署于同一数值计算节点;当输入图像通道数量或者同时跟踪目标数量增加时,可以增加数据流处理节点或数值计算节点,并通过更新硬件资源配置数据和任务部署数据调整处理功能分配,而不改变上述任务部署步骤。

33、有益效果:

34、1.本发明采用统一模块接口和高速数据交换网络组织主控处理模块及异构协处理节点,可根据传感器数量和处理规模增减处理节点,并通过更新硬件资源配置数据完成资源识别和任务适配。如表1所示,不同处理规模下可调整数据流处理节点和数值计算节点的数量及功能分配,提高架构的扩展和复用能力。

35、2.本发明根据处理功能的计算类型和数据传输需求,将神经网络推理、数值计算及流式处理功能部署至相应处理节点,并配置缓存和数据传输路径。如表2所示,一种样机中dsp与fpga通信速率为10 gbps,fpga间srio通信带宽为20 gbps,能够满足处理节点间高速数据交换需求。

36、3.本发明能够在同一处理链中协同执行图像预处理、目标检测、运动补偿、状态预测、数据关联、轨迹管理和结果输出等功能。如表1所示,一种典型配置支持4路256×256、16位灰度图像以100 hz输入和处理,可满足多通道图像数据连续处理需求。

37、4.本发明分别采用硬件资源配置数据和任务部署数据描述处理节点及任务映射关系。当节点组成变化时,可通过更新相应配置数据调整处理功能分配;任务切换时,可重新加载处理程序、神经网络模型或fpga逻辑配置,并更新缓存及数据传输路径,从而实现处理链的灵活重构。