一种基于ARMGPU架构的人工智能图像处理系统的制作方法

一种基于arm gpu架构的人工智能图像处理系统
技术领域
1.本发明涉及数字图像处理技术领域，具体是一种基于arm gpu架构的人工智能图像处理系统。


背景技术：

2.目前，应用于军事领域的人工智能算法多种多样，每一种算法都是针对特定问题设计的，具有独特的设计理念，每种算法的实现环境、接口方式等都存在差异，在缺乏统一的软件框架和功能接口的情况下，容易造成对接困难和资源浪费的情况。除此之外，由于受限于当前的人工智能顶层代码框架，每个人工智能功能块只能使用指定的算法，不能根据外部需求的变化而灵活更变为合适的算法实现相应功能，因此，沿用现有的人工智能图像处理框架无法灵活应对复杂多变的功能任务。除此之外，当前的人工智能图像处理框架内部存在大量非标准化、非统一化的接口，使得代码在外场维护时，需要消耗大量的人力物力，造成了极大的浪费。


技术实现要素：

3.本发明的目的在于提供一种基于arm gpu架构的人工智能图像处理系统，以解决上述背景技术中提出的问题。
4.为实现上述目的，本发明提供如下技术方案：
5.一种基于arm gpu架构的人工智能图像处理系统，包括：
6.人工智能核心算法单元：包含多个人工智能核心功能模块，每个功能模块针对其应用实例进行分析，分析其通用性和特殊性，制定统一的标准化接口，完成功能函数的封装与调试，封装好的模块直接在人工智能核心算法单元部分进行部署；
7.参数/指令监听单元：用于接收各个人工智能功能块所需的预定参数和实时指令，以完成相应的功能；
8.状态/结果发送单元：用于发送当前软件模块的工作状态以及各个子功能模块的计算结果。
9.作为本发明的进一步技术方案：封装好的人工智能核心算法单元以分层方式进行部署，按照信息处理顺序和需求，将各个功能模块由浅到深进行部署和衔接，其中特征提取部分作为图像后处理的基础，被部署于最靠近图像数据源的位置，即v1层，该层由于包含大量的图像卷积运算，主要的计算量均在该部分，因此在该层中引入tensorrt模块以实现特征提取的加速；提取后的特征可以支撑检测识别模块进行特征回归，得到目标的位置信息和类别信息，即v2层；在得到目标的空间位置和类别信息后，将该信息利用跟踪算法往时间维度上进行拓展，实现单目标和多目标的跟踪，其中单目标跟踪模块获取目标的中心偏移量，多目标跟踪模块得到不同目标的特有id和轨迹信息，即v3层；在获取目标信息在时间轴上的关联后，从时间和空间维度对目标区域图像数据继续进行深入挖掘，计算出目标属性，该层处于人工智能核心算法单元顶端，即v4层，子模块处于的层级越高，其要求的前提越
多，反之则前提越少。
10.作为本发明的进一步技术方案：预定参数包含主模块参数和子模块参数。
11.作为本发明的进一步技术方案：所述主模块参数是一些控制软件全局的参数，包括各个子功能模块的开关、图像数据的通道选取、输出结果的格式。
12.作为本发明的进一步技术方案：所述子模块参数是各个子功能函数中的控制参数，包括检测识别模块里的置信度阈值、跟踪模块中的搜索区域大小。
13.作为本发明的进一步技术方案：所述电机模型计算模块通过fpga逻辑实现，可例化多次，完成多路电机模型计算。
14.作为本发明的进一步技术方案：所述状态/结果发送单元分为缓冲区和发送区，人工智能核心算法单元得到的状态和结果会先存入到缓冲区中，并按照设定要求进行筛选和打包；打包后的数据信息将依据指令监听单元获取的指令状态通过发送区对客户端进行发送。
15.作为本发明的进一步技术方案：首先通过opencv第三方库对输入图像进行采集，然后送入v1层进行图像卷积、池化等操作提取图像特征，最后，得到的特征依次经过v2、v3、v4层以分别实现目标检测识别、多目标跟踪、单目标跟踪、目标属性分析等功能。除此之外，人工智能图像处理软件模块还引入监听、发送模块，用于接收自定义协议的控制指令，并发送相应的图像分析结果。
16.与现有技术相比，本发明的有益效果是：本发明通过对当前需求和人工智能算法成熟度的分析，目前基于arm gpu架构的人工智能图像处理软件模块已加入多目标检测识别、多目标跟踪、单目标跟踪、目标属性分析算法功能块，可实现相应的算法功能。其中检测识别速度能够到达20hz，单目标跟踪速度能够到达50hz，多目标跟踪速度能够到达10hz。设计的人工智能通用化软件模块预留有多种人工智能功能接口，未来具有很强的可拓展性。
附图说明
17.图1为本发明的方框图。
具体实施方式
18.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
19.实施例1：请参阅图1所示，一种基于arm gpu架构的人工智能图像处理系统，包含人工智能核心算法单元、参数/指令监听单元、状态/结果发送单元三个部分。
20.(1)人工智能核心算法单元：
21.人工智能核心算法单元包含了各个人工智能核心功能模块，每个功能模块需要针对其各个应用实例进行分析，分析其通用性和特殊性，制定统一的标准化接口，完成功能函数的封装与调试，封装好的模块可以直接在人工智能核心算法单元部分进行部署。
22.封装好的人工智能功能块将以分层有序的思想进行部署，按照信息处理顺序和需求，以清晰的脉络将各个功能模块由浅到深进行部署和衔接。其中特征提取部分作为图像
后处理的基础，被部署于最靠近图像数据源的位置，即v1层，该层由于包含大量的图像卷积运算，主要的计算量均在该部分，因此在该层中引入tensorrt模块以实现特征提取的加速；提取后的特征可以支撑检测识别模块进行特征回归，得到目标的位置信息和类别信息，即v2层；在得到目标的空间位置和类别信息后，可以将该信息利用跟踪算法往时间维度上进行拓展，实现单目标和多目标的跟踪，其中单目标跟踪模块可以获取目标的中心偏移量，多目标跟踪模块可以得到不同目标的特有id和轨迹信息，该层即为人工智能核心算法单元的v3层；在获取目标信息在时间轴上的关联后，可以从时间和空间维度对目标区域图像数据继续进行深入挖掘，计算出关心的目标属性，该层处于人工智能核心算法单元顶端，称之为v4层。子模块处于的层级越高，其要求的前提越多，例如需要实现v3层的功能，则必须先计算出v1和v2层的结果；反之则前提越少。
23.(2)参数/指令监听单元：
24.参数/指令监听单元主要用于接收各个人工智能功能块所需的预定参数和实时指令，以完成相应的功能。其中需要传输的参数包含主模块参数和子模块参数，主模块参数主要是一些控制软件全局的参数，例如各个子功能模块的开关、图像数据的通道选取、输出结果的格式等；而子模块参数主要是各个子功能函数中的控制参数，例如检测识别模块里的置信度阈值、跟踪模块中的搜索区域大小等等。
25.(3)状态/结果发送单元：
26.状态/结果发送单元主要用于发送当前软件模块的工作状态以及各个子功能模块的计算结果，其中分为缓冲区和发送区。人工智能核心算法单元得到的状态和结果会先存入到缓冲区中，并按照设定要求进行筛选和打包；打包后的数据信息将依据指令监听单元获取的指令状态通过发送区对客户端进行发送。
27.工作原理如下：
28.人工智能图像处理系统在正常工作时，首先通过opencv第三方库对输入图像进行采集，然后送入v1层进行图像卷积、池化等操作提取图像特征，最后，得到的特征依次经过v2、v3、v4层以分别实现目标检测识别、多目标跟踪、单目标跟踪、目标属性分析等功能。除此之外，人工智能图像处理软件模块还引入监听、发送模块，用于接收自定义协议的控制指令，并发送相应的图像分析结果。
29.实施例2，在实施例1的基础上：人工智能图像处理系统主要通过python代码进行编写，其中包括主程序代码文件、子功能代码文件以及参数配置文件。整个软件模块被部署于arm gpu架构的硬件平台中，其中非神经网络计算被部署于arm端进行，神经网络计算被部署于gpu端进行。
30.对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
31.此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员
可以理解的其他实施方式。