一种红外与可见光图像融合的多光谱目标检测方法及系统与流程

技术特征：
1.一种红外与可见光图像融合的多光谱目标检测方法，其特征在于，包括：构建包含红外图像模型与可见光图像模型的深度残差网络，并分别为所述红外图像模型与可见光图像模型的权重赋值；获取多光谱目标检测图像，对所述多光谱目标检测图像中的红外图像和可见光图像分别进行图像预处理，并分别提取红外图像特征和可见光图像特征；根据所述红外图像特征和可见光图像特征之间的共模特征和差模特征，分别对所述红外图像特征和可见光图像特征进行差模融合计算，得到红外图像增强特征和可见光图像增强特征；将所述红外图像增强特征和可见光图像增强特征插入到所述包含红外图像模型与可见光图像模型的深度残差网络，构建多光谱目标检测网络，并采用预处理后的所述红外图像和可见光图像对所述多光谱目标检测网络进行训练；通过训练好的所述多光谱目标检测网络对采集的红外图像或可见光图像进行检测，得到红外图像或可见光图像中的目标检测结果。2.根据权利要求1所述的方法，其特征在于，所述构建包含红外图像模型与可见光图像模型的深度残差网络，并分别为所述红外图像模型与可见光图像模型的权重赋值包括：在包含有预训练的可见光图像模型的深度残差网络中增加红外图像模型；基于所述预训练的可见光图像模型的权重赋值，为所述红外图像模型设置相同的权重变量，并为所述权重变量进行权重赋值。3.根据权利要求1所述的方法，其特征在于，所述对所述多光谱目标检测图像中的红外图像和可见光图像分别进行图像预处理包括：根据随机概率，对所述可见光图像进行色调随机扰动处理、亮度随机扰动处理、饱和度随机扰动处理和图像随机水平旋转处理；根据随机概率，对所述红外图像进行红外单通道的亮度随机扰动处理、图像随机水平旋转处理。4.根据权利要求1所述的方法，其特征在于，所述根据所述红外图像特征和可见光图像特征之间的共模特征和差模特征，分别对所述红外图像特征和可见光图像特征进行差模融合计算，得到红外图像增强特征和可见光图像增强特征包括：通过将所述红外图像特征、可见光图像特征进行差模计算，得到所述红外图像特征和可见光图像特征的差模特征；将所述差模特征通过全局平均池化压缩到一个全局差分向量；通过激活函数对所述全局差分向量进行激活，得到融合权重向量；通过将所述红外图像特征、可见光图像特征分别与所述融合权重向量进行通道级乘法运算，分别得到所述红外图像特征、可见光图像特征的互补特征；将所述红外图像特征、可见光图像特征与所述红外图像特征、可见光图像特征的互补特征分别融合，得到红外图像增强特征和可见光图像增强特征。5.根据权利要求1或4所述的方法，其特征在于，所述差模融合计算过程通过下述公式计算：;
;其中，为所述红外图像特征，为所述可见光图像特征，为所述红外图像特征和可见光图像特征的差模特征，为深度残差网络的残差函数，为tanh激活函数，为全局平均池化，表示逐元素求和操作，表示逐元素相乘操作，表示红外图像特征的互补特征，表示可见光图像特征的互补特征，表示红外图像增强特征，表示可见光图像增强特征。6.根据权利要求1所述的方法，其特征在于，所述将所述红外图像增强特征和可见光图像增强特征插入到所述包含红外图像模型与可见光图像模型的深度残差网络，构建多光谱目标检测网络包括：将所述红外图像增强特征密集插入到所述深度残差网络包含的红外图像模型的每个残差网络块；将所述可见光图像增强特征密集插入到所述深度残差网络包含的可见光图像模型的每个残差网络块；通过联合所述红外图像模型和可见光图像模型组合构建所述多光谱目标检测网络。7.根据权利要求1或6所述的方法，其特征在于，所述采用预处理后的所述红外图像和可见光图像对所述多光谱目标检测网络进行训练包括：将预处理后的所述红外图像和可见光图像输入到所述多光谱目标检测网络，经由所述多光谱目标检测网络提取图像特征后计算目标检测损失函数，通过迭代训练优化更新所述多光谱目标检测网络的权重值，使所述损失函数的输出值降低至预设数值范围内，完成对所述多光谱目标检测网络的训练。8.一种红外与可见光图像融合的多光谱目标检测系统，其特征在于，包括：网络初始化模块，用于构建包含红外图像模型与可见光图像模型的深度残差网络，并分别为所述红外图像模型与可见光图像模型的权重赋值；图像预处理模块，用于获取多光谱目标检测图像，对所述多光谱目标检测图像中的红外图像和可见光图像分别进行图像预处理，并分别提取红外图像特征和可见光图像特征；差模感知融合模块，用于根据所述红外图像特征和可见光图像特征之间的共模特征和差模特征，分别对所述红外图像特征和可见光图像特征进行差模融合计算，得到红外图像增强特征和可见光图像增强特征；网络构建模块，用于将所述红外图像增强特征和可见光图像增强特征插入到所述包含红外图像模型与可见光图像模型的深度残差网络，构建多光谱目标检测网络，并采用预处理后的所述红外图像和可见光图像对所述多光谱目标检测网络进行训练；输出模块，通过训练好的所述多光谱目标检测网络对采集的红外图像或可见光图像进行检测，得到红外图像或可见光图像中的目标检测结果。9.根据权利要求8所述的系统，其特征在于，所述网络初始化模块具体用于：在包含有预训练的可见光图像模型的深度残差网络中增加红外图像模型；
基于所述预训练的可见光图像模型的权重赋值，为所述红外图像模型设置相同的权重变量，并为所述权重变量进行权重赋值。10.根据权利要求8所述的系统，其特征在于，所述图像预处理模块具体用于：根据随机概率，对所述可见光图像进行色调随机扰动处理、亮度随机扰动处理、饱和度随机扰动处理和图像随机水平旋转处理；根据随机概率，对所述红外图像进行红外单通道的亮度随机扰动处理、图像随机水平旋转处理。11.根据权利要求8所述的系统，其特征在于，所述差模感知融合模块具体用于：通过将所述红外图像特征、可见光图像特征进行差模计算，得到所述红外图像特征和可见光图像特征的差模特征；将所述差模特征通过全局平均池化压缩到一个全局差分向量；通过激活函数对所述全局差分向量进行激活，得到融合权重向量；通过将所述红外图像特征、可见光图像特征分别与所述融合权重向量进行通道级乘法运算，分别得到所述红外图像特征、可见光图像特征的互补特征；将所述红外图像特征、可见光图像特征与所述红外图像特征、可见光图像特征的互补特征分别融合，得到红外图像增强特征和可见光图像增强特征。12.根据权利要求8或11所述的系统，其特征在于，所述差模融合计算过程通过下述公式计算：;;其中，为所述红外图像特征，为所述可见光图像特征，为所述红外图像特征和可见光图像特征的差模特征，为深度残差网络的残差函数，为tanh激活函数，为全局平均池化，表示逐元素求和操作，表示逐元素相乘操作，表示红外图像特征的互补特征，表示可见光图像特征的互补特征，表示红外图像增强特征，表示可见光图像增强特征。13.根据权利要求8所述的系统，其特征在于，所述网络构建模块在构建多光谱目标检测网络时，具体用于：将所述红外图像增强特征密集插入到所述深度残差网络包含的红外图像模型的每个残差网络块；将所述可见光图像增强特征密集插入到所述深度残差网络包含的可见光图像模型的每个残差网络块；通过联合所述红外图像模型和可见光图像模型组合构建所述多光谱目标检测网络。14.根据权利要求8或13所述的系统，其特征在于，所述网络构建模块在对所述多光谱目标检测网络进行训练时，具体用于：
将预处理后的所述红外图像和可见光图像输入到所述多光谱目标检测网络，经由所述多光谱目标检测网络提取图像特征后计算目标检测损失函数，通过迭代训练优化更新所述多光谱目标检测网络的权重值，使所述损失函数的输出值降低至预设数值范围内，完成对所述多光谱目标检测网络的训练。15.一种计算设备，其特征在于，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至7任意一项所述的红外与可见光图像融合的多光谱目标检测方法。16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被计算机执行时实现如权利要求1至7任意一项所述的红外与可见光图像融合的多光谱目标检测方法。

技术总结
本申请提供了一种红外与可见光图像融合的多光谱目标检测方法，包括：构建包含红外图像模型与可见光图像模型的深度残差网络；获取多光谱目标检测图像，对所述多光谱目标检测图像中的红外图像和可见光图像分别进行图像预处理；根据所述红外图像特征和可见光图像特征之间的共模特征和差模特征，分别进行差模融合计算，得到红外图像增强特征和可见光图像增强特征；将所述红外图像增强特征和可见光图像增强特征插入到所述深度残差网络，构建多光谱目标检测网络；通过多光谱目标检测网络对采集的红外图像或可见光图像进行检测，得到目标检测结果。本申请通过有效融合红外与可见光图像特征，有效提升多光谱目标检测的准确率和鲁棒性。性。性。


技术研发人员：周凯来 陈林森 李昀谦 蔡李靖 字崇德 吕涛
受保护的技术使用者：南京智谱科技有限公司
技术研发日：2021.10.26
技术公布日：2021/11/24