一种基于DSP的多级协同异源异构图像融合系统和方法

技术特征：
1.一种基于dsp的多级协同异源异构图像融合方法，其特征在于，包括：步骤1：dsp模块对接收的至少两个原始图像进行多种像素级融合处理，得到多个像素融合图像；步骤2：利用tcp协议将所述像素融合图像以及所述原始图像传输至嵌入式ai设备；步骤3：利用配置在嵌入式ai设备上的训练完成的目标识别网络，对所述像素融合图像以及所述原始图像进行目标识别，得到每个图像对应的识别结果，所述识别结果包括目标识别框以及目标分类结果；步骤4：利用tcp协议将所述识别结果传输至dsp模块，进行决策级图像融合处理，得到原始图像对应的最终识别结果。2.根据权利要求1所述的基于dsp的多级协同异源异构图像融合方法，其特征在于，所述原始图像为多光谱图像、高光谱图像、雷达图像、近红外图像或三通道彩色原图像。3.根据权利要求1所述的基于dsp的多级协同异源异构图像融合方法，其特征在于，步骤1包括：dsp模块对接收的至少两个原始图像进行图像配准和去噪处理后，利用多种像素级融合处理方法进行像素级融合处理，得到多个像素融合图像。4.根据权利要求3所述的基于dsp的多级协同异源异构图像融合方法，其特征在于，所述像素级融合处理方法为losed-pansharp融合方法，guided-pansharp融合方法，his-pansharp融合方法，mmp-pansharp融合方法，pca融合方法，p xs融合方法，小波变换融合方法，gs-nir融合方法和gs-rgb融合方法中的至少两种。5.根据权利要求1所述的基于dsp的多级协同异源异构图像融合方法，其特征在于，所述目标识别网络是基于多个训练图像样本以及每个训练图像样本对应的标签训练获得的，所述标签包括目标坐标标签和目标分类标签。6.根据权利要求1所述的基于dsp的多级协同异源异构图像融合方法，其特征在于，在所述步骤5中，所述决策级图像融合处理，包括：对所述识别结果进行投票，保留超过预设票数阈值的识别结果，作为最终识别结果。7.一种基于dsp的多级协同异源异构图像融合系统，其特征在于，包括：dsp模块和嵌入式ai设备，其中，所述dsp模块，用于对接收的至少两个原始图像进行多种像素级融合处理操作，得到多个像素融合图像，并利用tcp协议将所述像素融合图像以及所述原始图像传输至嵌入式ai设备；所述嵌入式ai设备，用于利用配置在其上的训练完成的目标识别网络，对所述像素融合图像以及所述原始图像进行目标识别，得到每个图像对应的识别结果，并利用tcp协议将所述识别结果传输至dsp模块；所述dsp模块，还用于对接收的识别结果进行决策级图像融合处理，得到原始图像对应的最终识别结果。8.根据权利要求7所述的基于dsp的多级协同异源异构图像融合系统，其特征在于，所述dsp模块包括一个dsp设备或多个dsp设备，当包括多个dsp设备时，像素级图像融合处理和决策级图像融合处理分别在不同的dsp设备上执行，和/或多种像素级融合处理在不同的dsp设备上执行。

技术总结
本发明涉及一种基于DSP的多级协同异源异构图像融合系统和方法，该图像融合方法，包括：步骤1：DSP模块对接收的至少两个原始图像进行多种像素级融合处理，得到多个像素融合图像；步骤2：利用TCP协议将像素融合图像以及原始图像传输至嵌入式AI设备；步骤3：利用配置在嵌入式AI设备上的训练完成的目标识别网络，对像素融合图像以及原始图像进行目标识别，得到每个图像对应的识别结果，识别结果包括目标识别框以及目标分类结果；步骤4：利用TCP协议将识别结果传输至DSP模块，进行决策级图像融合处理，得到原始图像对应的最终识别结果。本发明的图像融合方法，可以规避使用单一的融合方法导致的错误，使得识别结果更加精准。使得识别结果更加精准。使得识别结果更加精准。


技术研发人员：冯伟 宋怡佳 全英汇 肖国尧 李强 张亚丽 邹欣杉
受保护的技术使用者：西安电子科技大学
技术研发日：2022.07.27
技术公布日：2022/11/11