一种红外与可见光图像融合的多光谱目标检测方法及系统与流程

1.本技术涉及目标检测技术领域，特别涉及一种红外与可见光图像融合的多光谱目标检测方法及系统。


背景技术：

2.随着成像传感器技术的迅猛发展，当前单一可见光图像不足日益突出，例如在黑暗环境中可见光图片成像质量将会受到严重影响，难以满足日常应用需求，而红外图像可以很好地弥补可见光图像的不足。
3.随着深度学习方法的发展，目标检测任务大多基于卷积神经网络进行特征提取，为了在卷积神经网络中融合可见光与红外图像信息，方法之一是在卷积神经网络输入层对红外与可见光图像进行拼接，但是这种方法简单直接，缺乏对可见光与红外两种模态图像的区分；另一种方法是在卷积神经网络中间层或者输出层对提取的特征图进行拼接，然后利用1*1卷积核对拼接后的特征图进行特征提取，但是这种方法参数量大、计算复杂，缺乏融合引导策略。
4.因此针对于结合可见光与红外图像的多光谱目标检测任务，如何在深度卷积骨干网络中融合可见光与红外图像特征是本技术有待于解决的问题。


技术实现要素：

5.有鉴于此，本技术提出一种红外与可见光图像融合的多光谱目标检测方法及系统，通过有效融合红外与可见光图像特征，有效提升多光谱目标检测的准确率和鲁棒性。
6.第一方面，本技术提供了一种红外与可见光图像融合的多光谱目标检测方法，包括：构建包含红外图像模型与可见光图像模型的深度残差网络，并分别为所述红外图像模型与可见光图像模型的权重赋值；获取多光谱目标检测图像，对所述多光谱目标检测图像中的红外图像和可见光图像分别进行图像预处理，并分别提取红外图像特征和可见光图像特征；根据所述红外图像特征和可见光图像特征之间的共模特征和差模特征，分别对所述红外图像特征和可见光图像特征进行差模融合计算，得到红外图像增强特征和可见光图像增强特征；将所述红外图像增强特征和可见光图像增强特征插入到所述包含红外图像模型与可见光图像模型的深度残差网络，构建多光谱目标检测网络，并采用预处理后的所述红外图像和可见光图像对所述多光谱目标检测网络进行训练；通过训练好的所述多光谱目标检测网络对采集的红外图像或可见光图像进行检测，得到红外图像或可见光图像中的目标检测结果。
7.由上，本方法通过对红外图像特征和可见光图像特征进行差模融合，使红外图像特征和可见光图像特征能够基于共模特征和差模特征来增强互补特征的学习，分别从另一
图像特征中获取互补特征对自身特征进行增强，从而提高红外图像模型、可见光图像模型对另一模态信息特征的敏感性，基于红外图像增强特征和可见光图像增强特征以及深度残差网络，可构建多光谱目标检测网络，并采用预处理的红外图像和可见光图像进行训练，以进一步优化，并利用训练好的多光谱目标检测网络实现对采集的红外图像或可见光图像进行检测。本方法解决了传统多光谱融合方法缺乏显式目标策略引导、泛化能力差等问题，提升了多光谱图像目标检测出的效果和可识别性。
8.可选的，所述构建包含红外图像模型与可见光图像模型的深度残差网络，并分别为所述红外图像模型与可见光图像模型的权重赋值包括：在包含有预训练的可见光图像模型的深度残差网络中增加红外图像模型；基于所述预训练的可见光图像模型的权重赋值，为所述红外图像模型设置相同的权重变量，并为所述权重变量进行权重赋值。
9.由上，本方法可选取任一深度学习骨干网络，例如resnet50、resnet101等深度残差网络，该深度残差网络中保存有从imagenet数据集提取的可见光图像模型，本方法通过在该深度残差网络中增加红外图像模型分支，然后将该可见光图像模型的权重赋值给红外图像模型，以构建包含红外图像模型与可见光图像模型的深度残差网络。
10.可选的，所述对所述多光谱目标检测图像中的红外图像和可见光图像分别进行图像预处理包括：根据随机概率，对所述可见光图像进行色调随机扰动处理、亮度随机扰动处理、饱和度随机扰动处理和图像随机水平旋转处理；根据随机概率，对所述红外图像进行红外单通道的亮度随机扰动处理、图像随机水平旋转处理。
11.可选的，所述根据所述红外图像特征和可见光图像特征之间的共模特征和差模特征，分别对所述红外图像特征和可见光图像特征进行差模融合计算，得到红外图像增强特征和可见光图像增强特征包括：通过将所述红外图像特征、可见光图像特征进行差模计算，得到所述红外图像特征和可见光图像特征的差模特征；将所述差模特征通过全局平均池化压缩到一个全局差分向量；通过激活函数对所述全局差分向量进行激活，得到融合权重向量；通过将所述红外图像特征、可见光图像特征分别与所述融合权重向量进行通道级乘法运算，分别得到所述红外图像特征、可见光图像特征的互补特征；将所述红外图像特征、可见光图像特征与所述红外图像特征、可见光图像特征的互补特征分别融合，得到红外图像增强特征和可见光图像增强特征。
12.可选的，所述差模融合计算过程通过下述公式计算：; ;其中，为所述红外图像特征，为所述可见光图像特征，为所述红外图像特征和可见光图像特征的差模特征，为深度残差网络的残差函数，为tanh激活函数，为全局平均池化，表示逐元素求和操作，表示逐元素相乘操作，表示红外图
像特征的互补特征，表示可见光图像特征的互补特征，表示红外图像增强特征，表示可见光图像增强特征。
13.由上，通过根据所述红外图像特征和可见光图像特征之间的共模特征和差模特征，分别对所述红外图像特征和可见光图像特征进行差模融合计算，实现对红外图像特征和可见光图像特征的增强，生成更丰富、更鲁邦的模态特征。
14.可选的，所述将所述红外图像增强特征和可见光图像增强特征插入到所述包含红外图像模型与可见光图像模型的深度残差网络，构建多光谱目标检测网络包括：将所述红外图像增强特征密集插入到所述深度残差网络包含的红外图像模型的每个残差网络块；将所述可见光图像增强特征密集插入到所述深度残差网络包含的可见光图像模型的每个残差网络块；通过联合所述红外图像模型和可见光图像模型组合构建所述多光谱目标检测网络。
15.可选的，所述采用预处理后的所述红外图像和可见光图像对所述多光谱目标检测网络进行训练包括：将预处理后的所述红外图像和可见光图像输入到所述多光谱目标检测网络，经由所述多光谱目标检测网络提取图像特征后计算目标检测损失函数，通过迭代训练优化更新所述多光谱目标检测网络的权重值，使所述损失函数的输出值降低至预设数值范围内，完成对所述多光谱目标检测网络的训练。
16.由上，基于差模感知融合计算的结果以及构建的包含红外图像模型与可见光图像模型的深度残差网络，可构建多光谱目标检测网络，该多光谱目标检测网络能够对红外图像、可见光图像进行有效识别，克服了各自模型的局限与缺陷。
17.第二方面，本技术提供了一种红外与可见光图像融合的多光谱目标检测系统，包括：网络初始化模块，用于构建包含红外图像模型与可见光图像模型的深度残差网络，并分别为所述红外图像模型与可见光图像模型的权重赋值；图像预处理模块，用于获取多光谱目标检测图像，对所述多光谱目标检测图像中的红外图像和可见光图像分别进行图像预处理，并分别提取红外图像特征和可见光图像特征；差模感知融合模块，用于根据所述红外图像特征和可见光图像特征之间的共模特征和差模特征，分别对所述红外图像特征和可见光图像特征进行差模融合计算，得到红外图像增强特征和可见光图像增强特征；网络构建模块，用于将所述红外图像增强特征和可见光图像增强特征插入到所述包含红外图像模型与可见光图像模型的深度残差网络，构建多光谱目标检测网络，并采用预处理后的所述红外图像和可见光图像对所述多光谱目标检测网络进行训练；输出模块，通过训练好的所述多光谱目标检测网络对采集的红外图像或可见光图像进行检测，得到红外图像或可见光图像中的目标检测结果。
18.可选的，所述网络初始化模块具体用于：在包含有预训练的可见光图像模型的深度残差网络中增加红外图像模型；
基于所述预训练的可见光图像模型的权重赋值，为所述红外图像模型设置相同的权重变量，并为所述权重变量进行权重赋值。
19.可选的，所述图像预处理模块具体用于：根据随机概率，对所述可见光图像进行色调随机扰动处理、亮度随机扰动处理、饱和度随机扰动处理和图像随机水平旋转处理；根据随机概率，对所述红外图像进行红外单通道的亮度随机扰动处理、图像随机水平旋转处理。
20.可选的，所述差模感知融合模块具体用于：通过将所述红外图像特征、可见光图像特征进行差模计算，得到所述红外图像特征和可见光图像特征的差模特征；将所述差模特征通过全局平均池化压缩到一个全局差分向量；通过激活函数对所述全局差分向量进行激活，得到融合权重向量；通过将所述红外图像特征、可见光图像特征分别与所述融合权重向量进行通道级乘法运算，分别得到所述红外图像特征、可见光图像特征的互补特征；将所述红外图像特征、可见光图像特征与所述红外图像特征、可见光图像特征的互补特征分别融合，得到红外图像增强特征和可见光图像增强特征。
21.可选的，所述差模融合计算过程通过下述公式计算：;;其中，为所述红外图像特征，为所述可见光图像特征，为所述红外图像特征和可见光图像特征的差模特征，为深度残差网络的残差函数，为tanh激活函数，为全局平均池化，表示逐元素求和操作，表示逐元素相乘操作，表示红外图像特征的互补特征，表示可见光图像特征的互补特征，表示红外图像增强特征，表示可见光图像增强特征。
22.可选的，所述网络构建模块在构建多光谱目标检测网络时，具体用于：将所述红外图像增强特征密集插入到所述深度残差网络包含的红外图像模型的每个残差网络块；将所述可见光图像增强特征密集插入到所述深度残差网络包含的可见光图像模型的每个残差网络块；通过联合所述红外图像模型和可见光图像模型组合构建所述多光谱目标检测网络。
23.可选的，所述网络构建模块在对所述多光谱目标检测网络进行训练时，具体用于：将预处理后的所述红外图像和可见光图像输入到所述多光谱目标检测网络，经由所述多光谱目标检测网络提取图像特征后计算目标检测损失函数，通过迭代训练优化更新所述多光谱目标检测网络的权重值，使所述损失函数的输出值降低至预设数值范围内，完成对所述多光谱目标检测网络的训练。
24.第三方面，本技术提供了一种计算设备，所述计算设备包括：
一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述的红外与可见光图像融合的多光谱目标检测方法。
25.第四方面，本技术提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机执行时实现上述的红外与可见光图像融合的多光谱目标检测方法。
26.本技术的这些和其它方面在以下（多个）实施例的描述中会更加简明易懂。
附图说明
27.图1为本技术实施例提供的一种红外与可见光图像融合的多光谱目标检测方法的流程图；图2为本技术实施例的图像预处理过程的示意图；图3为本技术实施例的差模感知融合模块的原理示意图；图4为本技术实施例的多光谱目标检测网络的构建示意图；图5为本技术实施例提供的一种红外与可见光图像融合的多光谱目标检测系统的结构图；图6为本技术实施例提供的一种计算设备的结构图。
28.应理解，上述结构示意图中，各框图的尺寸和形态仅供参考，不应构成对本技术实施例的排他性的解读。结构示意图所呈现的各框图间的相对位置和包含关系，仅为示意性地表示各框图间的结构关联，而非限制本技术实施例的物理连接方式。
具体实施方式
29.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
30.说明书和权利要求书中使用的术语“包括”不应解释为限制于其后列出的内容；它不排除其它的元件或步骤。因此，其应当诠释为指定所提到的所述特征、整体、步骤或部件的存在，但并不排除存在或添加一个或更多其它特征、整体、步骤或部件及其组群。因此，表述“包括装置a和b的设备”不应局限为仅由部件a和b组成的设备。
31.本说明书中提到的“一个实施例”或“实施例”意味着与该实施例结合描述的特定特征、结构或特性包括在本技术的至少一个实施例中。因此，在本说明书各处出现的用语“在一个实施例中”或“在实施例中”并不一定都指同一实施例，但可以指同一实施例。此外，在一个或多个实施例中，能够以任何适当的方式组合各特定特征、结构或特性，如从本公开对本领域的普通技术人员显而易见的那样。
32.如图1所示为本技术实施例提供的一种红外与可见光图像融合的多光谱目标检测
方法的流程图，通过构建一种基于模态差异信息的差分感知融合模块，可实现在深度残差网络中轻量级有效融合红外与可见光图像特征，并利用该差分感知融合模块构建多光谱目标检测网络，有效提升多光谱目标检测的准确率和鲁邦性。如图1，该方法包括：s10：构建包含红外图像模型与可见光图像模型的深度残差网络，并分别为所述红外图像模型与可见光图像模型的权重赋值；本实施例可选取任一深度残差网络作为初始的深度学习骨干网络，例如resnet50、resnet101等深度残差网络。本实施例以resnet50为例，该resnet50可以基于imagenet数据库预训练得到，预训练得到的resnet50中保存有从imagenet数据集中提取的可见光图像模型，本实施例可通过在该深度残差网络中增加红外图像模型的分支，然后将该可见光图像模型的权重赋值给该红外图像模型。具体的，以深度学习常用的tensorflow框架为例，在tensorflow框架中每一个模型的权重都有一个对应的变量名字（例如“rgbvariablename”），因此在构建该深度残差网络时先将基于imagenet预训练的resnet50中的可见光图像模型的全连接层（fc）之前的权重全部复制给红外模型分支，并将该红外模型分支的变量名字命名为“rgbvariablename_lwir”作为读取标记，循环遍历该可见光图像模型的每一个阶段的模型权重，并按上述操作进行处理，以构建包含红外图像模型与可见光图像模型以及权重赋值的深度残差网络。
33.s20：获取多光谱目标检测图像，对所述多光谱目标检测图像中的红外图像和可见光图像分别进行图像预处理，并分别提取红外图像特征和可见光图像特征；对多光谱目标检测图像进行预处理具体包括色调随机扰动、亮度随机扰动、饱和度随机扰动、图像随机水平旋转四个步骤。如图2所示，该预处理过程包括：色调随机扰动，对于可见光图像而言，首先生成一个0或1的随机数，0与1各有50%的概率被随机生成，如果生成的随机数值为1，就进行色调随机扰动处理，将8位的可见光图像从rgb颜色转化到hsv颜色空间，提取出hue色调通道，生成一个色调扰动随机数，其范围设置为0.75到1.5之间，并将hue色调通道的值乘以这个色调扰动随机数，如果相乘后色调通道的值大于179，就将其设置为179。对于红外图像而言，由于其没有色调概念，因此不作处理。
34.亮度随机扰动，对于可见光图像而言，首先生成一个0或1各50%概率的随机数，如果随机数值为1，就进行亮度随机扰动处理。将8位的可见光图像从rgb颜色转化到hsv颜色空间，提取出brightness亮度通道，生成一个亮度扰动随机数，其范围设置为0.5到2.0之间，并将brightness亮度通道的值乘以这个亮度扰动随机数，如果相乘后色调通道的值大于255，就将其设置为255。对于红外图像而言，直接以其红外单通道的像素值作为亮度通道按上述步骤进行处理。
35.饱和度随机扰动，对于可见光图像而言，同样按上述生成一个随机数判定是否进行饱和度随机扰动处理，将可见光图像转化到hsv空间后提取出饱和度通道，并乘以0.75到1.5之间的随机数作为扰动，如果相乘后饱和度的值大于255就将值设置为255。对于红外图像而言，不作饱和度随机扰动的处理。
36.图像随机水平翻转扰动，对于可见光图像和红外图像，生成一个0或1各50%概率的随机数，如果随机数值为1，则对红外图像与可见光图像同时做水平翻转处理，需要注意的是，相应目标检测的标注也需要做水平翻转处理，如果随机数值为0，则红外图像与可见光
图像不做水平翻转处理。
37.基于上述预处理后的红外图像和可见光图像，可进一步通过卷积神经网络（例如cnn）提取红外图像特征和可见光图像特征，作为后续的输入。
38.s30：根据所述红外图像特征和可见光图像特征之间的共模特征和差模特征，分别对所述红外图像特征和可见光图像特征进行差模融合计算，得到红外图像增强特征和可见光图像增强特征；为了在深度卷积神经网络中融合可见光与红外特征图，根据硬件电路中的差分放大器的启发，本实施例构建了一种差模感知融合模块（dmaf），差分放大器在抑制共模信号同时放大差模信号，而差模感知融合模块保留可见光与红外两个模态的共模特征，同时弥补可见光与红外两个模态的差模特征。
39.对于深度卷积网络中的可见光特征图和红外特征图，可以分别表示为下述共模部分和差模部分的组合： ； ；其中，共模部分反映可见光模态与红外模态的共同特征，差模部分反映两种模态捕获的各自独特特征。本实施例的差模感知融合模块通过明确地建模可见光模态与红外模态之间的相互依赖来增强互补特征的学习，使得可见光模态与红外模态可分别从另一个具有通道加权的模态中获取互补特性，从而提高后续构建的多光谱目标检测网络对另一模态信息特征的敏感性。具体地，如图3所示，为了充分利用跨模态补充信息，我们首先通过红外模态与可见光模态直接相减得到差分模态特征。然后，我们将具有全局空间信息的差分模态特征通过全局平均池化（global average pooling，gap）压缩到一个全局差分向量中, 该全局差分向量可以解释为一个通道描述符，包含有全局平均池化的通道差分统计，表示可见光和红外模态之间的差异信息。最后采用范围为[
‑
1,1]的tanh激活函数对该全局差分向量进行激活，得到融合权重向量，将两个模态特征、与融合权重向量进行通道级乘法从而重新校准，分别得到两个模态特征的互补特征、，并将该两个互补特征、分别添加到起对应的模态特征作为信息补充，在使用本实施例的差模感知融合模块将红外图像和可见光图像分别从另一种模态进行增强之后，可生成信息更丰富、更鲁邦的模态特性。
[0040]
综上，本实施例的差模感知融合模块的整个运算过程可以表述为：;;其中，为所述红外图像特征，为所述可见光图像特征，为所述红外图像特征和可见光图像特征的差模特征，为深度残差网络的残差函数，为tanh激活函数，为全局平均池化，表示逐元素求和操作，表示逐元素相乘操作，表示红外图
像特征的互补特征与表示可见光图像特征的互补特征，表示红外图像增强特征，表示可见光图像增强特征。
[0041]
本实施例通过在深度残差网络resnet的分支中加入互补特征、，使得互不特征学习成为resnet残差学习的一部分。使用残差映射，互补特征、不会直接影响原来各自模态的梯度流传播。
[0042]
s40：将所述红外图像增强特征和可见光图像增强特征插入到所述包含红外图像模型与可见光图像模型的深度残差网络，构建多光谱目标检测网络，并采用预处理后的所述红外图像和可见光图像对所述多光谱目标检测网络进行训练；如图4所示，通过将上述差模感知融合模块得到的红外图像增强特征和可见光图像增强特征密集的插入到上述深度残差网络resnet的每个resnet块中，以通过该差模感知融合模块结合深度残差网络resnet中的红外图像模型和可见光图像模型组成本实施例的多光谱目标检测网络。其中，第一阶段stage1与第二阶段stage2的网络权重参数被冻结，深度卷积网络的浅层特征仍旧由预训练模型参数进行提取，而从第三阶段stage3至第六阶段stage6的网络权重则基于imagenet的预训练模型权重进行微调。
[0043]
针对构建完成的多光谱目标检测网络，可将上述步骤s20 预处理后的红外图像和可见光图像输入到该多光谱目标检测网络中，经由该多光谱目标检测网络提取图像特征后计算目标检测的损失函数，通过迭代训练优化更新所述多光谱目标检测网络的权重系数，使所述损失函数的输出值降低至预设数值范围内，完成对所述多光谱目标检测网络的训练，形成最优的所述权重系数的多光谱目标检测网络，以进行后续的目标检测。
[0044]
s50：通过训练好的所述多光谱目标检测网络对采集的红外图像或可见光图像进行检测，得到红外图像或可见光图像中的目标检测结果。
[0045]
本实施例可采用多光谱行人数据集对训练完成的多光谱目标检测网络进行有效性验证。该多光谱行人数据集可采用车载rgb相机与红外相机分别于白天和夜晚拍摄获取，其中rgb相机具有640
×
480像素的空间分辨率与103.6度的垂直视野，热红外相机具有320
×
256像素的空间分辨率与39度的垂直视野。根据行人遮挡情况标注分为无遮挡(none)、部分遮挡（partial）、严重遮挡三类行人（heavy），根据行人大小分为近距离行人（near）、中距离行人（middle）、远距离行人（far）三类，本实施例通过在原始的深度残差网络中引入差模感知融合模块后，各个测试子集的错误率得到不同程度的降低，尤其是远距离行人测试子集与部分遮挡测试子集，错误率分别下降3.81%与2.06%，由此证明差模感知融合模块可以有效融合红外与可见光模态信息，克服各自模块的局限与缺陷，有效提升多光谱目标检测的准确率和鲁棒性。
[0046]
如图5所示为本技术实施例提供的一种红外与可见光图像融合的多光谱目标检测系统的结构图，该系统可用于实现上述红外与可见光图像融合的多光谱目标检测方法的任一步骤及其可选的实施例，具体的，该系统包括：网络初始化模块110，用于构建包含红外图像模型与可见光图像模型的深度残差网络，并分别为所述红外图像模型与可见光图像模型的权重赋值；图像预处理模块120，用于获取多光谱目标检测图像，对所述多光谱目标检测图像中的红外图像和可见光图像分别进行图像预处理，并分别提取红外图像特征和可见光图像
特征；差模感知融合模块130，用于根据所述红外图像特征和可见光图像特征之间的共模特征和差模特征，分别对所述红外图像特征和可见光图像特征进行差模融合计算，得到红外图像增强特征和可见光图像增强特征；网络构建模块140，用于将所述红外图像增强特征和可见光图像增强特征插入到所述包含红外图像模型与可见光图像模型的深度残差网络，构建多光谱目标检测网络，并采用预处理后的所述红外图像和可见光图像对所述多光谱目标检测网络进行训练；输出模块150，通过训练好的所述多光谱目标检测网络对采集的红外图像或可见光图像进行检测，得到红外图像或可见光图像中的目标检测结果。
[0047]
本技术实施例中的上述系统可以由软件实现，例如可以由具有上述功能计算机程序或指令来实现，相应计算机程序或指令可以存储在终端内部的存储器中，通过处理器读取该存储器内部的相应计算机程序或指令来实现上述功能。或者，本技术实施例的显示装置还可以由硬件来实现。或者，本技术实施例中的显示装置还可以由处理器和软件模块的结合实现。
[0048]
应理解，本技术实施例中的装置或模块的处理细节可以参考图1
‑
图4所示的实施例及相关扩展实施例的相关表述，本技术实施例将不再重复赘述。
[0049]
图6是本技术实施例提供的一种计算设备1000的结构性示意性图。该计算设备1000包括：处理器1010、存储器1020、通信接口1030、总线1040。
[0050]
应理解，图6所示的计算设备1000中的通信接口1030可以用于与其他设备之间进行通信。
[0051]
其中，该处理器1010可以与存储器1020连接。该存储器1020可以用于存储该程序代码和数据。因此，该存储器1020可以是处理器1010内部的存储单元，也可以是与处理器1010独立的外部存储单元，还可以是包括处理器1010内部的存储单元和与处理器1010独立的外部存储单元的部件。
[0052]
可选的，计算设备1000还可以包括总线1040。其中，存储器1020、通信接口1030可以通过总线1040与处理器1010连接。总线1040可以是外设部件互连标准(peripheral component interconnect，pci)总线或扩展工业标准结构(extended industry standard architecture，eisa)总线等。所述总线1040可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条线表示，但并不表示仅有一根总线或一种类型的总线。
[0053]
应理解，在本技术实施例中，该处理器1010可以采用中央处理单元(central processing unit，cpu)。该处理器还可以是其它通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field programmable gate array，fpga)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。或者该处理器1010采用一个或多个集成电路，用于执行相关程序，以实现本技术实施例所提供的技术方案。
[0054]
该存储器1020可以包括只读存储器和随机存取存储器，并向处理器1010提供指令和数据。处理器1010的一部分还可以包括非易失性随机存取存储器。例如，处理器1010还可以存储设备类型的信息。
[0055]
在计算设备1000运行时，所述处理器1010执行所述存储器1020中的计算机执行指令执行上述方法的操作步骤。
[0056]
应理解，根据本技术实施例的计算设备1000可以对应于执行根据本技术各实施例的方法中的相应主体，并且计算设备1000中的各个模块的上述和其它操作和/或功能分别为了实现本实施例各方法的相应流程，为了简洁，在此不再赘述。
[0057]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0058]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0059]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0060]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0061]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0062]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read
‑
only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0063]
本技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行上述红外与可见光图像融合的多光谱目标检测方法，该方法包括上述各个实施例所描述的方案中的至少之一。
[0064]
本技术实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是，但不限于，电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、
可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0065]
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
[0066]
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括、但不限于无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0067]
可以以一种或多种程序设计语言或其组合来编写用于执行本技术操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0068]
注意，上述仅为本技术的较佳实施例及所运用的技术原理。本领域技术人员会理解，本技术不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本技术的保护范围。因此，虽然通过以上实施例对本技术进行了较为详细的说明，但是本技术不仅仅限于以上实施例，在不脱离本技术的构思的情况下，还可以包括更多其他等效实施例，均属于本技术的保护范畴。