基于DSP的多核图像处理系统的制作方法

基于dsp的多核图像处理系统
技术领域
1.本实用新型属于数字图像处理与识别技术领域，涉及一种基于dsp的多核图像处理系统。


背景技术：

2.近年来，无人机技术不断发展，无人机飞行速度和反应能力不断提高。无人机发现及识别是反无人机的第一步也是后续对无人机跟踪的关键，传统的无人机识别技术采用无人机静态图像建立固定无人机模板数据库，通过比对监控图像与无人机模板数据库识别无人机，进而对无人机进行有效跟踪。然而，对于高速飞行切姿态变化情况复杂的目标无人机，其在监控图像中的位置变化、形状变化、尺度变化明显，传统的无人机识别方案很难做到有效识别，识别率低，进而容易造成对无人机跟踪失败。根据需要对无人机实施反制措施是反无人机的根本目的，随着无人机飞行速度的提高，传统的主动物理攻击方式，尤其是以激光发射进行攻击，因无法连续精准定向发射的激光束来直接毁伤目标或使之失效，其成功率显著降低。
3.另外一方面，无人机威胁多发生在天气条件复杂的情形或夜间时段，基于常规可视图像的无人机识别监测手段存在图像采集质量低导致的识别精度低的问题，且对运动中的无人机动态图像跟踪的实时性难以满足现有的反无人机的需求。
4.cn203397395u公开了一种基于dsp fpga的移动平台下运动目标检测装置，包括呈三明治结构的电源接口混合板、fpga预处理板和dsp图像处理板，图像传感器接入fpga预处理板，fpga预处理板和dsp图像处理板分别通过视频接口接入显示器，且分别通过网络接口接入网关。方法如下：fpga预处理板获取图像传感器采集的图像数据，对其进行角点检测等预处理后输入dsp图像处理板；dsp图像处理板以摄像机光心为中心建立坐标系，将移动平台下运动目标检测转换成静止平台下场景全局运动与运动目标独立运动；通过fee快速极线估计确定fee稠密隶属度，最终完成运动目标检测并将结果发送至显示器。但该基于dsp fpga的移动平台下运动目标检测装置存在多板处理器结构信息交换不畅，影响图像处理的实时性。


技术实现要素：

5.(一)实用新型目的
6.本实用新型的目的是：克服现有技术的不足，提供一种实时性、高分辨率的基于dsp的多核图像处理系统。
7.(二)技术方案
8.为了解决上述技术问题，本实用新型提供一种基于dsp的多核图像处理系统，包括fpga模块、多核dsp模块、cameralink接口、dvi输出接口；
9.fpga模块，包括通过srio接口双向连接的图像预处理单元fpga1和图像管理单元fpga2，所述fpga模块分别与ddr3存储器、flash存储器双向连接；
10.图像预处理单元fpga1通过cameralink接口与数字视频图像输入设备连接，用于对数字视频图像输入设备传送的输入数字视频图像中多路光斑的位置进行粗测量并切割成光斑区域图像；图像预处理单元fpga1通过srio、emif接口与多核dsp模块双向连接；图像预处理单元fpga1与用于输出原始视频图像的光纤接口连接。
11.图像管理单元fpga2通过rs422接口，与激光控制器、合束器综合控制板和合束控制板连接，用于接收激光控制器的控制指令，并输出计算结果和状态到合束器综合控制板和合束控制板，图像管理单元fpga2通过gpio接口与多核dsp模块双向连接，并通过can总线与上位机通信连接；图像管理单元fpga2设有用于输出复合视频图像的dvi接口；
12.多核dsp模块，包括2个并行同构且通过pcie、hyperlink接口双向连接的dsp1芯片和dsp2芯片，用于接收图像预处理单元fpga1通过srio发送过来的光斑区域图像数据并计算光斑重心；多核dsp模块分别与ddr3存储器、flash存储器双向连接。
13.优选地，图像预处理单元fpga1，外接2片ddr3存储器，用于对图像数据进行乒乓操作；外接2片nand flash，主要用于存储cameralink接口输入图片数据；外接一片flash和8路io测试口。
14.优选地，图像管理单元fpga2，外接1片ddr3，主要用于缓存图像数据、输出图像显示；外接eeprom(带电可擦可编程只读存储器)；外接nvsram(非易失性sram)，主要用于存储相机的控制配置文件；外接1片flash，主要用于存储fpga的配置程序。
15.优选地，dsp1芯片和dsp2芯片均外接2～4片ddr3，用作图像数据的缓冲区；dsp1芯片和dsp2芯片均通过emif接口与外接flash相连。
16.优选地，所述多核图像处理系统还包括电源模块和时钟模块。
17.优选地，所述多核图像处理系统的前面板上设有若干个led指示灯、复位按钮和jtag接口，其背板对应fpga模块、多核dsp模块的位置开设有散热孔，散热孔成蜂窝状，且散热孔上覆盖有透气防水膜，提高多核图像处理系统的防水散热性能。
18.优选地，led指示灯包括cameralink视频输入指示灯、电源电压指示灯、图像处理工作状态指示灯。
19.优选地，所述rs422接口的数量为6个，其中1路接合束器综合控制板，1路接合束控制板，1路调试口读写eeprom，1路负责外接pc，可对相机进行参数控制通信，同时将dsp测量的光斑重心结果输出，1路负责外接能量计，1路备份，rs422接口采用隔离型rs422接口芯片。
20.优选地，所述fpga模块的fpgs芯片采用xilinx的xc7k325t，多核dsp模块的dsp芯片采用ti的tms320c6678。
21.优选地，图像预处理单元fpga1将输入图像切割成四块光斑区域图像。
22.本实用新型基于dsp的多核图像处理系统的工作原理：
23.图像预处理单元fpga1通过cameralink接口接收输入数字视频图像的数据，对图像数据依次进行图像数据转换、图像预处理运算、图像切割、光斑粗测量和切割成光斑区域图像等处理，并将4块切割的光斑区域图像数据分别存储到fifo1～4中，等待单帧数据存储完成后通知多核dsp模块读取，其中，切割光斑区域的大小(最大数据量可达至300kb)和位置可在整个程序流程中进行修改；
24.多核dsp模块的dsp1芯片和dsp2芯片的每个核相应读取fpga1发送的一个光斑区
域图像数据，然后通过运行光斑测量算法，实现对光斑区域图像的精测量，确定光斑区域的位置、大小、检测的图像灰度门限、检测有效像素数量门限、相机的积分时间(外触发信号波形的占空比)与功率查找表等参数；图像管理单元fpga2可对cameralink接口输入的数字视频图像进行抽帧抽行，并根据多核dsp模块发送的光斑重心结果可在dvi图像里叠加字符和波门十字线形成复合视频图像数据，再经dvi接口将复合视频图像输出至显示终端(如计算机)。
25.与图像预处理单元fpga1连接的ddr3，主要用于对图像数据进行乒乓操作；与图像预处理单元fpga1连接的nand flash，主要用于存储cameralink输入图片数据；与dsp1芯片和dsp2芯片连接的ddr3，用作图像数据的缓冲区。与图像管理单元fpga2连接的ddr3，主要用于缓存图像数据、输出图像显示，将ddr3里面的数据在需要的时候经过运算为标准格式转发出去，可与dvi接口视频输出配合使用；与图像管理单元fpga2连接的nvsram，主要用于存储相机的控制配置文件；与图像管理单元fpga2连接的flash，主要用于存储fpga的配置程序；与图像管理单元fpga2连接的can总线，通过can通讯，控制操作多核图像处理系统的工作，并将多核图像处理系统的数据通过can发送至上位机进行解读。
26.(三)有益效果
27.上述技术方案所提供的基于dsp的多核图像处理系统，具有以下有益效果：
28.fpga模块完成多核图像处理系统中信息的桥接功能、输入数字图像视频的格式整理、图像视频的预处理(图像切割与光斑粗测量)、通信接口管理以及自检复位管理；多核dsp模块中的dsp1芯片、dsp2芯片或者dsp1芯片和dsp2芯片同时对fpga模块预处理后的光斑区域图像进行1个核处理一个光斑区域的精测量，确定光斑区域的大小、位置等参数，显著提高了图像光斑的识别的精确度，进而实现对采集的运动中无人机的图像进行实时、精准输出的目的，满足对无人机运动轨迹的实时跟踪与攻击的需求，为激光武器的激光光束发射提供精准定位，进而提高其攻击成功率。
29.该基于dsp的多核图像处理系统采用单板集中式信息处理结构，采用了大规模可编程逻辑器件，结构灵活、可动态重构，即运行于多核dsp模块上的光斑大小和位置测量算法能根据需要方便地获取前端fpga模块中的信息，并可根据实际应用环境自适应调整信息流结构以达到最佳的光斑图像分割与测量性能，有效克服了多板处理器结构信息交换不畅的缺点。
附图说明
30.图1为本实用新型实施例的基于dsp的多核图像处理系统的硬件结构示意图。
具体实施方式
31.为使本实用新型的目的、内容和优点更加清楚，下面结合附图和实施例，对本实用新型的具体实施方式作进一步详细描述。
32.参照附图1，本实用新型的基于dsp的多核图像处理系统，采用xilinx公司kintex7系列的xc7k325t-2ffg900i的fpgs芯片，作为协处理芯片，主要用于前端高清相机及后端存储单元的接口处理；采用2片ti公司高性能dsp处理器tms320c6678组成多核dsp模块，作为数据处理核心，主要用于处理fpga输入的图像视频数据；包括fpga模块、多核dsp模块、
cameralink接口、dvi输出接口；
33.fpga模块，包括通过srio双向连接的图像预处理单元fpga1和图像管理单元fpga2，所述fpga模块分别与ddr3存储器、flash存储器双向连接；
34.图像预处理单元fpga1通过cameralink接口与数字视频图像输入设备连接，用于对数字视频图像输入设备传送的输入数字视频图像中多路光斑的位置进行粗测量并切割成光斑区域图像；图像预处理单元fpga1通过srio、emif接口与多核dsp模块双向连接；图像预处理单元fpga1与用于输出原始视频图像的光纤接口连接。
35.图像管理单元fpga2通过rs422接口与激光控制器、合束器综合控制板和合束控制板连接，用于接收激光控制器的控制指令，并输出计算结果和状态到合束器综合控制板和合束控制板，图像管理单元fpga2通过gpio接口与多核dsp模块双向连接，并通过can总线与上位机通信连接；图像管理单元fpga2设有用于输出复合视频图像的dvi接口；
36.多核dsp模块，包括2个并行同构、用于接收fpga通过srio发送过来的光斑区域图像数据并计算光斑重心且通过pcie、hyperlink接口双向连接的dsp1芯片和dsp2芯片，多核dsp模块分别与ddr3存储器、flash存储器双向连接。
37.图像预处理单元fpga1，外接2片ddr3存储器，用于对图像数据进行乒乓操作；外接2片nand flash，主要用于存储cameralink接口输入图片数据；外接一片flash和8路io测试口。
38.图像管理单元fpga2，外接1片ddr3，主要用于缓存图像数据、输出图像显示；外接eeprom(带电可擦可编程只读存储器)；外接nvsram(非易失性sram)，主要用于存储相机的控制配置文件；外接1片flash，主要用于存储fpga的配置程序。
39.dsp1芯片和dsp2芯片均外接4片ddr3，用作图像数据的缓冲区；dsp1芯片和dsp2芯片均通过emif接口与外接flash相连。
40.所述多核图像处理系统还包括电源模块和时钟模块。
41.所述多核图像处理系统的前面板上设有若干个led指示灯、复位按钮和jtag接口，其背板对应fpga模块、多核dsp模块的位置开设有散热孔，散热孔上覆盖有透气防水膜，提高多核图像处理系统的防水散热性能。
42.led指示灯包括cameralink视频输入指示灯、电源电压指示灯、图像处理工作状态指示灯。
43.所述rs422接口的数量为6个，其中1路接合束器综合控制板，1路接合束控制板，1路调试口读写eeprom，1路负责外接pc，可对相机进行参数控制通信，同时将dsp测量的光斑重心结果输出，1路负责外接能量计，1路备份，rs422接口采用隔离型rs422接口芯片。
44.图像预处理单元fpga1将输入图像切割成四块光斑区域图像。
45.本实用新型基于dsp的多核图像处理系统的工作原理如下：
46.图像预处理单元fpga1通过cameralink接口接收输入数字视频图像的数据，对图像数据依次进行图像数据转换、图像预处理运算、图像切割、光斑粗测量和切割成光斑区域图像等处理，并将4块切割的光斑区域图像数据分别存储到fifo1～4中，等待单帧数据存储完成后通知多核dsp模块读取，其中，切割光斑区域的大小(最大数据量可达至300kb)和位置可在整个程序流程中进行修改；
47.多核dsp模块的dsp1芯片和dsp2芯片的每个核相应读取fpga1发送的一个光斑区
域图像数据，然后通过运行光斑测量算法，实现对光斑区域图像的精测量，确定光斑区域的位置、大小、检测的图像灰度门限、检测有效像素数量门限、相机的积分时间(外触发信号波形的占空比)与功率查找表等参数，fpga2可对cameralink接口输入的数字视频图像进行抽帧抽行，并根据多核dsp模块发送的光斑重心结果可在dvi图像里叠加字符和波门十字线形成复合视频图像数据，再经dvi接口将复合视频图像输出至显示终端(如计算机)。
48.与图像预处理单元fpga1连接的ddr3，主要用于对图像数据进行乒乓操作；与图像预处理单元fpga1连接的nand flash，主要用于存储cameralink输入图片数据；与dsp1芯片和dsp2芯片连接的ddr3，用作图像数据的缓冲区。与图像管理单元fpga2连接的ddr3，主要用于缓存图像数据、输出图像显示，将ddr3里面的数据在需要的时候经过运算为标准格式转发出去，可与dvi接口视频输出配合使用；与图像管理单元fpga2连接的nvsram，主要用于存储相机的控制配置文件；与图像管理单元fpga2连接的flash，主要用于存储fpga的配置程序；与图像管理单元fpga2连接的can总线，通过can通讯，控制操作多核图像处理系统的工作，并将多核图像处理系统的数据通过can发送至上位机进行解读。
49.以上所述仅是本实用新型的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本实用新型技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本实用新型的保护范围。