一种基于DSP的多级协同异源异构图像融合系统和方法

一种基于dsp的多级协同异源异构图像融合系统和方法
技术领域
1.本发明属于遥感图像处理技术领域，具体涉及一种基于dsp的多级协同异源异构图像融合系统和方法。


背景技术：

2.图像融合是使用各种算法将两个或两个以上同时相的图片融合在一起的技术方案。融合结果由于能利用两幅或多幅图像在时空上的相关性及信息上的互补性，并使得融合后得到的图像对场景有更全面、清晰的描述，从而更有利于人眼的识别和机器的自动探测。现存的图像融合方法包括像素级、特征级和决策级。像素级以像元为基准对图片进行融合，特征级则是提取出各自的特征进行融合，决策级融合是在每种图片完成决策信息后进行融合。从像素级到特征级到决策级，所需图片质量依次降低，但容错率愈来愈高，系统开放性也越好。
3.目前的图像融合方法在算法实现方面，多为像素级融合方法，对图片的质量要求很高，且是否可以完备获取图像的信息，依赖于后续的算法是否符合当前的融合图像。且不同的融合算法都存在各自的优点和缺点，因此某些算法可能只适用于某些图像，对于另一些图像就会起到反作用。在硬件实现方面，现有的图像融合方法都没有在移动设备上实现，在应用场景上会受到不同的限制。在如今现存的硬件实现方案中，单一dsp(digital signal processor，数字信号处理器)或多个dsp方案，存在合理分配任务的问题。dsp fpga方案，存在dsp和fpga之间的通讯和数据传输问题。大规模fpga方案，存在合理利用fpga内部资源分配的问题。


技术实现要素：

4.为了解决现有技术中存在的上述问题，本发明提供了一种基于dsp的多级协同异源异构图像融合系统和方法。本发明要解决的技术问题通过以下技术方案实现：
5.本发明提供了一种基于dsp的多级协同异源异构图像融合方法，包括：
6.步骤1：dsp模块对接收的至少两个原始图像进行多种像素级融合处理，得到多个像素融合图像；
7.步骤2：利用tcp协议将所述像素融合图像以及所述原始图像传输至嵌入式ai设备；
8.步骤3：利用配置在嵌入式ai设备上的训练完成的目标识别网络，对所述像素融合图像以及所述原始图像进行目标识别，得到每个图像对应的识别结果，所述识别结果包括目标识别框以及目标分类结果；
9.步骤4：利用tcp协议将所述识别结果传输至dsp模块，进行决策级图像融合处理，得到原始图像对应的最终识别结果。
10.在本发明的一个实施例中，所述原始图像为多光谱图像、高光谱图像、雷达图像、近红外图像或三通道彩色原图像。
11.在本发明的一个实施例中，步骤1包括：
12.dsp模块对接收的至少两个原始图像进行图像配准和去噪处理后，利用多种像素级融合处理方法进行像素级融合处理，得到多个像素融合图像。
13.在本发明的一个实施例中，所述像素级融合处理方法为losed-pansharp融合方法，guided-pansharp融合方法，his-pansharp融合方法，mmp-pansharp融合方法，pca融合方法，p xs融合方法，小波变换融合方法，gs-nir融合方法和gs-rgb融合方法中的至少两种。
14.在本发明的一个实施例中，所述目标识别网络是基于多个训练图像样本以及每个训练图像样本对应的标签训练获得的，所述标签包括目标坐标标签和目标分类标签。
15.在本发明的一个实施例中，在所述步骤5中，所述决策级图像融合处理，包括：
16.对所述识别结果进行投票，保留超过预设票数阈值的识别结果，作为最终识别结果。
17.本发明提供了一种基于dsp的多级协同异源异构图像融合系统，包括：dsp模块和嵌入式ai设备，其中，
18.所述dsp模块，用于对接收的至少两个原始图像进行多种像素级融合处理操作，得到多个像素融合图像，并利用tcp协议将所述像素融合图像以及所述原始图像传输至嵌入式ai设备；
19.所述嵌入式ai设备，用于利用配置在其上的训练完成的目标识别网络，对所述像素融合图像以及所述原始图像进行目标识别，得到每个图像对应的识别结果，并利用tcp协议将所述识别结果传输至dsp模块；
20.所述dsp模块，还用于对接收的识别结果进行决策级图像融合处理，得到原始图像对应的最终识别结果。
21.在本发明的一个实施例中，所述dsp模块包括一个dsp设备或多个dsp设备，当包括多个dsp设备时，像素级图像融合处理和决策级图像融合处理分别在不同的dsp设备上执行，和/或多种像素级融合处理在不同的dsp设备上执行。
22.与现有技术相比，本发明的有益效果在于：
23.1.本发明的基于dsp的多级协同异源异构图像融合方法，使用多种像素级融合的方法，对得到的若干结果使用目标识别网络对其进行识别，最后使用决策级融合将所得的结果进行决策融合，得到最终的结果。可以规避使用单一的融合方法导致的错误，规避由于某个数据源质量问题产生的结果偏差，而且使用多种像素级融合方法，可以发挥各种图像的特质优势，使用集成判别的方法，可使得识别结果更加精准。
24.2.本发明的基于dsp的多级协同异源异构图像融合系统，使用dsp和嵌入式ai设备的结构，实现自动化流程。可以脱离现有算法对使用环境的要求，该系统可以装备在更多的移动环境中。
25.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。
附图说明
26.图1是本发明实施例提供的一种基于dsp的多级协同异源异构图像融合方法的示意图；
27.图2是本发明实施例提供的一种像素级图像融合流程图；
28.图3是本发明实施例提供的一种决策级图像融合流程图；
29.图4是本发明实施例提供的tcp握手协议流程图；
30.图5是本发明实施例提供的基于dsp的多级协同异源异构图像融合系统的处理流程图；
31.图6是本发明实施例提供的one-stage网络与two-stage网络的流程图；
32.图7是本发明实施例提供的yolov4目标识别网络的处理流程图。
具体实施方式
33.为了进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及具体实施方式，对依据本发明提出的一种基于dsp的多级协同异源异构图像融合系统和方法进行详细说明。
34.有关本发明的前述及其他技术内容、特点及功效，在以下配合附图的具体实施方式详细说明中即可清楚地呈现。通过具体实施方式的说明，可对本发明为达成预定目的所采取的技术手段及功效进行更加深入且具体地了解，然而所附附图仅是提供参考与说明之用，并非用来对本发明的技术方案加以限制。
35.实施例一
36.请参见图1，图1是本发明实施例提供的一种基于dsp的多级协同异源异构图像融合方法的示意图，如图所示，本实施例的基于dsp的多级协同异源异构图像融合方法，包括：
37.步骤1：dsp模块对接收的至少两个原始图像进行多种像素级融合处理，得到多个像素融合图像；
38.其中，原始图像为多光谱图像、高光谱图像、雷达图像、近红外图像或三通道彩色原图像。
39.请参见图2所示像素级图像融合流程图，像素级融合是直接在输入层面对原始图像进行了融合，具体地，步骤1包括：dsp模块对接收的至少两个原始图像进行图像配准和去噪处理后，利用多种像素级融合处理方法进行像素级融合处理，得到多个像素融合图像。
40.在本实施例中，像素级融合处理方法为losed-pansharp融合方法，guided-pansharp融合方法，his-pansharp融合方法，mmp-pansharp融合方法，pca融合方法，p xs融合方法，小波变换融合方法，gs-nir(以近红外为基准的施密特正交变换)融合方法和gs-rgb(以rgb图像为基准的施密特正交变换)融合方法中的至少两种。上述像素级融合方法为传统像素级图像融合方法，具体融合过程在此不再赘述。
41.在其他实施例中，像素级融合处理方法还可以采用基于金字塔变换的图像融合方法、基于ridgelet变换的图像融合方法、wmfgs(加入加权中值滤波的施密特正交变换图像融合方法)、基于curvelet变换的图像融合方法等基于传统像素级图像融合的变体算法。
42.步骤2：利用tcp协议将像素融合图像以及原始图像传输至嵌入式ai设备；
43.其中，tcp(transmission control protocol，传输控制协议)是一种面向连接的、
可靠的、基于字节流的通信协议，数据在传输前要建立连接，即三次握手协议。请结合参见图4所示的tcp握手协议流程图，传输数据之前，客户端首先向服务器端发送一个syn＝1(触发标志)的触发数据包，等待服务器端的确认。服务器端收到该触发数据包之后，就开始回应，它会发送一个syn＝1，ack＝1(确认号标志)的数据包，进行确认和进一步触发。最后是客户端的最终的确定，客户端会发一个syn＝0，ack＝1的确认包，进行最后的确认。确认完毕，三次握手就建立成功。此后，就可以进行数据通信了。在步骤2中，以dsp模块作为服务器端，嵌入式ai设备作为客户端，将像素融合图像以及原始图像传输至嵌入式ai设备。
44.进一步地，对tcp发送数据包过程进行说明，首先，应用程序写数据到发送缓冲区：如果套接口发送缓冲区容不下应用程序的所有数据，并且应用进程是阻塞的，应用进程将被挂起，直到所有的数据都拷贝到套接口缓冲区。然后，tcp根据mss(maxitum segment size)指对数据分段发送。mss是tcp数据包每次能够传输的最大数据分段。为了达到最佳的传输效能tcp协议在建立连接的时候通常要协商双方的mss值，这个值tcp协议在实现的时候往往用mtu(最大传输单元，以太网mtu为1500)值代替(需要减去ip数据包包头的大小20bytes和tcp数据段的包头20bytes)因此，mss为1460。通讯双方会根据双方提供的mss值的最小值确定为这次连接的最大mss值。
45.步骤3：利用配置在嵌入式ai设备上的训练完成的目标识别网络，对像素融合图像以及原始图像进行目标识别，得到每个图像对应的识别结果，识别结果包括目标识别框以及目标分类结果；
46.在本实施例中，目标识别网络是基于多个训练图像样本以及每个训练图像样本对应的标签训练获得的，标签包括目标坐标标签和目标分类标签。
47.可选地，采用yolov4作为目标识别网络，在进行识别网络训练时，可以仅仅利用进行融合的原始图像类型的图片作为训练数据集对yolov4目标识别网络进行训练，得到训练完成的目标识别网络，也可以利用原始图像类型的图片和融合后的图像类型的图片共同作为训练数据集，对yolov4目标识别网络进行训练，得到训练完成的目标识别网络，只需训练生成一个网络模型即可。
48.请结合参见图6和图7，图6是本发明实施例提供的one-stage网络与two-stage网络的流程图；图7是本发明实施例提供的yolov4目标识别网络的处理流程图。yolov4实现了速度和精度的完美平衡，可以提高卷积神经网络(cnn)的准确性。yolo网络主要包括依次连接的backbone(骨干网络)、neck(颈部网络)和head(检测头)，是一个one-stage网络，其中，骨干网络为在不同图像细粒度上聚合并形成图像特征的卷积神经网络；颈部网络为一系列混合和组合图像特征的网络层，并将图像特征传递到预测层；检测头包括回归分支和分类分支，用于对图像特征进行预测，生成边界框和预测类别。具体地，当yolov4网络训练完成后，将待检测的图像输入网络，依次经过cspdarknet53结构、spp结构和panet结构进行特征提取，然后，通过yolov3head结构对输入的特征进行检测得到识别结果，最后，通过解码网络输出识别结果值，同时通过非极大值抑制对分数较低的识别结果进行去除，得到最终识别结果并将最终识别结果显示在待检测的图像上。
49.对于yolov4，可以采用加权残差连接(wrc)，跨阶段部分连接(csp)，跨小批量标准化(cmbn)，自对抗训练(sat)，mish激活，马赛克数据增强，dropblock正则化，ciou loss等调优手段进行学习训练。
50.在其他实施例中，目标识别网络还可以是yolov1、yolov2、yolov3、yolov5、rcnn等one-stage或two-stage的目标识别网络。
51.步骤4：利用tcp协议将识别结果传输至dsp模块，进行决策级图像融合处理，得到原始图像对应的最终识别结果。
52.在步骤4中，以嵌入式ai设备作为服务器端，dsp模块作为客户端，将识别结果传输至嵌入式ai设备。具体地，在数据传输前如何建立连接，以及如何进行数据传输，与前述类似，在此不再赘述。
53.在本实施例中，dsp模块对接收的识别结果进行决策级图像融合处理，得到原始图像对应的最终识别结果。请结合参见图3，图3是本发明实施例提供的一种决策级图像融合流程图，如图所示，在本实施例中，决策级图像融合处理，包括：对识别结果进行投票，保留超过预设票数阈值的识别结果，作为最终识别结果。也就是，对于接收的多个图像对应的识别结果，当一个目标数的票数大于半数以上，则认为此目标可信，对该目标进行保留，否则，不可信，对该目标进行移除，获得最终识别结果(目标识别框以及目标分类结果)。
54.需要说明的是，在其他实施例中，决策级图像融合处理还可以采用加权平均法、意见一致理论、贝叶斯推理、d-s证据理论、模糊积分法、n-p准则或专家系统等方法，实现对接收的识别结果进行决策级图像融合，得到最终识别结果。
55.本实施例的基于dsp的多级协同异源异构图像融合方法，使用多种像素级融合的方法，对得到的若干结果使用目标识别网络对其进行识别，最后使用决策级融合将所得的结果进行决策融合，得到最终的结果。可以规避使用单一的融合方法导致的错误，规避由于某个数据源质量问题产生的结果偏差，而且使用多种像素级融合方法，可以发挥各种图像的特质优势，使用集成判别的方法，可使得识别结果更加精准。
56.实施例二
57.本实施例提供了一种基于dsp的多级协同异源异构图像融合系统，适用于上述实施例一所述的基于dsp的多级协同异源异构图像融合方法，该图像融合系统，包括dsp模块和嵌入式ai设备，请结合参见图5，图5是本发明实施例提供的基于dsp的多级协同异源异构图像融合系统的处理流程图。如图所示，具体地，dsp模块用于对接收的至少两个原始图像进行多种像素级融合处理操作，得到多个像素融合图像，并利用tcp协议将像素融合图像以及原始图像传输至嵌入式ai设备；嵌入式ai设备用于利用配置在其上的训练完成的目标识别网络，对像素融合图像以及原始图像进行目标识别，得到每个图像对应的识别结果，并利用tcp协议将识别结果传输至dsp模块；dsp模块还用于对接收的识别结果进行决策级图像融合处理，得到原始图像对应的最终识别结果。其中，识别结果包括目标识别框以及目标分类结果。
58.在本实施例中，dsp模块包括一个dsp设备或多个dsp设备。当包括多个dsp设备时，像素级图像融合处理和决策级图像融合处理分别在不同的dsp设备上执行。
59.需要说明的是，当包括多个dsp设备时，也可将对两个原始图像进行多种的像素级融合处理放在不同的dsp设备上执行。
60.本实施例的基于dsp的多级协同异源异构图像融合系统，使用dsp和嵌入式ai设备的结构，实现自动化流程。可以脱离现有算法对使用环境的要求，该系统可以装备在更多的移动环境中，例如某些弹载环境，可以实现目标精准识别。
61.应当说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
62.以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。