图像融合方法和系统与流程

1.本发明涉及图像处理领域，具体而言，涉及一种图像融合方法和系统。


背景技术：

2.目前，在将全色影像融合到多光谱影像中时，通常是利用桌面级遥感处理软件来进行影像融合，但这很难快速并大规模对图像进行融合，从而存在对图像进行融合的效率低的技术问题。
3.针对上述的问题，目前尚未提出有效的解决方案。


技术实现要素：

4.本发明实施例提供了一种图像融合方法和系统，以至少解决对图像进行融合的效率低的技术问题。
5.根据本发明实施例的一个方面，提供了一种图像融合方法，包括：获取目标区域的任务数据，其中，任务数据包括：目标区域的全色影像、多光谱影像和任务标识信息，任务标识信息用于表征需要对目标区域的全色影像和多光谱影像进行融合；将任务数据进行划分，得到多个子任务数据，其中，子任务数据包括：目标区域中任意一个子区域内的子全色影像和子多光谱影像；调取每个子任务数据对应的网络资源，对每个子任务数据中的子全色影像和子多光谱影像进行融合，得到多个融合结果，其中，多个融合结果与多个子任务数据一一对应；对多个融合结果进行融合，得到目标区域的目标融合结果。
6.根据本发明实施例的一方面，提供了遥感场景下的另一种图像融合方法，包括：获取植被区域的任务数据，其中，任务数据包括：植被区域的全色影像、多光谱影像和任务标识信息，任务标识信息用于表征需要对植被区域的全色影像和多光谱影像进行融合；将任务数据进行划分，得到多个子任务数据，其中，子任务数据包括：植被区域中任意一个子植被区域内的子全色影像和子多光谱影像；调取每个子任务数据对应的网络资源，对每个子任务数据中的子全色影像和子多光谱影像进行融合，得到多个融合结果，其中，多个融合结果与多个子任务数据一一对应；对多个融合结果进行融合，得到植被区域的目标融合结果。
7.根据本发明实施例的另一方面，提供了一种图像融合装置，包括：第一获取单元，用于获取目标区域的任务数据，其中，任务数据包括：目标区域的全色影像、多光谱影像和任务标识信息，任务标识信息用于表征需要对目标区域的全色影像和多光谱影像进行融合；第一划分单元，用于将任务数据进行划分，得到多个子任务数据，其中，子任务数据包括：目标区域中任意一个子区域内的子全色影像和子多光谱影像；第一调取单元，用于调取每个子任务数据对应的网络资源，对每个子任务数据中的子全色影像和子多光谱影像进行融合，得到多个融合结果，其中，多个融合结果与多个子任务数据一一对应；第一融合单元，用于对多个融合结果进行融合，得到目标区域的目标融合结果。
8.根据本发明实施例的另一方面，提供了遥感场景下的另一种图像融合装置，包括：第二获取单元，用于获取植被区域的任务数据，其中，任务数据包括：植被区域的全色影像、
多光谱影像和任务标识信息，任务标识信息用于表征需要对植被区域的全色影像和多光谱影像进行融合；第二划分单元，用于将任务数据进行划分，得到多个子任务数据，其中，子任务数据包括：植被区域中任意一个子植被区域内的子全色影像和子多光谱影像；第二调取单元，用于调取每个子任务数据对应的网络资源，对每个子任务数据中的子全色影像和子多光谱影像进行融合，得到多个融合结果，其中，多个融合结果与多个子任务数据一一对应；第二融合单元，用于对多个融合结果进行融合，得到植被区域的目标融合结果。
9.根据本发明实施例的另一方面，提供了一种图像融合系统，包括：数据存储模块，用于存储目标区域的任务数据，其中，所述任务数据包括：所述目标区域的全色影像、多光谱影像和任务标识信息，所述任务标识信息用于表征需要对所述目标区域的全色影像和多光谱影像进行融合；任务管理模块，用于将所述任务数据进行划分，得到多个子任务数据，其中，所述子任务数据包括：所述目标区域中任意一个子区域内的子全色影像和子多光谱影像；云服务器，用于调取每个所述子任务数据对应的网络资源，对每个所述子任务数据中的所述子全色影像和所述子多光谱影像进行融合，得到多个融合结果，其中，所述多个融合结果与所述多个子任务数据一一对应；镶嵌模块，用于对所述多个融合结果进行融合，得到所述目标区域的目标融合结果，且将所述目标融合结果存储至所述数据存储模块。
10.本发明实施例还提供了一种计算机可读存储介质。该计算机可读存储介质包括存储的程序，其中，在程序被处理器运行时控制计算机可读存储介质所在设备执行本发明实施例的图像融合方法。
11.本发明实施例还提供了一种处理器。该处理器用于运行程序，其中，程序运行时执行本发明实施例的图像融合方法。
12.在本发明实施例中，通过获取目标区域的任务数据，其中，任务数据包括：目标区域的全色影像、多光谱影像和任务标识信息，任务标识信息用于表征需要对目标区域的全色影像和多光谱影像进行融合；将任务数据进行划分，得到多个子任务数据，其中，子任务数据包括：目标区域中任意一个子区域内的子全色影像和子多光谱影像；调取每个子任务数据对应的网络资源，对每个子任务数据中的子全色影像和子多光谱影像进行融合，得到多个融合结果，其中，多个融合结果与多个子任务数据一一对应；对多个融合结果进行融合，得到目标区域的目标融合结果，从而达到了提高对图像进行融合的效率的技术效果，进而解决了对图像进行融合的效率低的技术问题。
附图说明
13.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
14.图1示出了一种用于实现图像融合方法的计算机终端(或移动设备)的硬件结构框图；
15.图2是根据本公开实施例的一种用于图像融合方法的系统交互的示例性框图；
16.图3是根据本发明实施例的一种图像融合方法的流程图；
17.图4是根据本发明实施例提供的遥感场景下的另一种图像融合方法的流程图；
18.图5根据本公开实施例的一种分布式计算架构的示意图；
19.图6是根据本公开实施例的一种任务执行流的示意图；
20.图7是根据本公开实施例的一种基于距离权重的ndd图像融合方法的示意图；
21.图8是根据本公开实施例的一种像素的超像素区域的示意图；
22.图9是根据本发明实施例的一种图像融合装置的示意图；
23.图10是根据本发明实施例提供的遥感场景下的另一种图像融合装置的示意图；
24.图11时根据本公开实施例的一种图像融合系统的示意图。
具体实施方式
25.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
26.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
27.首先，在对本技术实施例进行描述的过程中出现的部分名词或术语适用于如下解释：
28.地面采样距离(ground sample distance，简称为gsd)，指影像上一个像素所代表的地面距离(也可解释为空间分辨率)；
29.全色影像(panchromatic image，简称为pan)，指卫星成像设备接受整个可见光光谱信号，并转换为的数字影像；
30.多光谱影像(multispectral image，简称为msi)，指卫星成像设备接受到的蓝光、绿光、红光或近红外等光谱信号，并转换为的数字影像；
31.最邻近融合(nearest-neighbor diffuse，简称为nnd)，指在计算某一格网融合像素值时，利用地理目标相似性原理，分析距该格网一定范围内其他格网光谱值所做出的贡献；
32.遥感图像融合(remote sensing image fusion，简称为rsif)，指将高分辨率全色影像融合到低分辨率多光谱影像上，即提高多光谱影像的空间分辨率，即保持多光谱特征不变；
33.分布式计算，是一种计算方法，随着计算机技术的发展，有些应用需要巨大的计算能力才能完成，分布式计算将应用分解成许多的小部分，分配给多台计算机进行处理；
34.图形处理器(graphics processing unit，简称为gpu)加速计算，是指同时利用图形处理器和中央处理器(central processing unit，简称为cpu)，加快科学、分析、工程、消费和企业应用程序的运行速度；
35.图像融合，是指将多源信道采集到的关于同一目标的图像数据经过图像处理和计
算机技术等，最大限度地提取各自信道中的有利信息，最后合成高质量的图像，以提高原始图像的空间分辨率和光谱分辨率，达到利于监测的效果；
36.邻域分析，其基本思路是以待计算的栅格像元为中心，向周围扩展一定范围，然后根据这些扩展栅格像元与中心像元的值或仅用扩展像元的值进行函数运算，从而得到这个待计算像元的新值。
37.实施例1
38.根据本发明实施例，还提供了一种图像融合的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
39.本技术实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现图像融合方法的计算机终端(或移动设备)的硬件结构框图。如图1所示，计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b，
……
，102n来示出)处理器(处理器可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块106。除此以外，还可以包括：显示器、输入/输出接口(i/o接口)、通用串行总线(usb)端口(可以作为bus总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
40.应当注意到的是上述一个或多个处理器和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本技术实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
41.存储器104可用于存储应用软件的软件程序以及模块，如本发明实施例中的图像融合方法对应的程序指令/数据存储装置，处理器通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的图像融合方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
42.传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(network interface controller，nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(radio frequency，rf)模块，其用于通过无线方式与互联网进行通讯。
43.显示器可以例如触摸屏式的液晶显示器(lcd)，该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。
44.此处需要说明的是，在一些可选实施例中，上述图1所示的计算机设备(或移动设
备)可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是，图1仅为特定具体实例的一个实例，并且旨在示出可存在于上述计算机设备(或移动设备)中的部件的类型。
45.本技术实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图2是根据本公开实施例的一种用于图像融合的方法的系统交互的示例性框图，如图2所示，计算机终端201(或移动设备)可以经由数据网络连接或电子连接到一个或多个服务器(例如安全服务器、资源服务器、游戏服务器等)。一种可选实施例中，计算机终端201(或移动设备)可以是任意移动计算设备等。数据网络连接可以是局域网连接、广域网连接、因特网连接，或其他类型的数据网络连接。计算机终端201(或移动设备)可以执行以连接到由一个服务器(例如安全服务器)或一组服务器执行的网络服务。网络服务器202是基于网络的用户服务，诸如社交网络、云资源、电子邮件、在线支付或其他在线应用。存储器203可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器203可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端201。
46.在上述运行环境下，本技术提供了如图3所示的一种图像融合方法。
47.图3是根据本发明实施例的一种图像融合方法的流程图。如图3所示，该方法可以包括以下步骤：
48.步骤s302，获取目标区域的任务数据，其中，任务数据包括：目标区域的全色影像、多光谱影像和任务标识信息，任务标识信息用于表征需要对目标区域的全色影像和多光谱影像进行融合。
49.在本发明上述步骤s302提供的技术方案中，可以基于分布式gpu实现最邻近融合(nearest neighbor diffuse，简称nnd)图像融合算法，最邻近融合算法针对全色影像中的每一个像素，都会以该像素作为像元，并以该像元为中心，划定一定范围的超像素进行邻域分析，不在超像素范围的像素不会参与计算，因此采用分块区域的方式进行独立运算，同时，采用基于任务管理的方式，对任务数据进行分块打标，比如，同一范围的全色影像和多光谱影像会被打标为一个任务。
50.在该实施例中，目标区域可以是需要执行融合的区域，可以获取需要执行融合的区域的任务数据。
51.在该实施例中，可以将目标区域划分为多个子区域，并对每个子区域进行打标，比如，将单景全色影像和多光谱影像按指定大小进行虚拟分块区域，由于实际上的物理分块区域将额外消耗时间，只记录需要处理的分块区域范围，一个任务对应的任务数据可以包括：需要执行融合的区域的全色影像(比如，单景单个波段，可以是tif格式的数据)和多光谱影像(比如，单景多个波段，可以是tif格式数据)，以及对任务数据进行分块打标的任务标识信息。
52.步骤s304，将任务数据进行划分，得到多个子任务数据，其中，子任务数据包括：目标区域中任意一个子区域内的子全色影像和子多光谱影像。
53.在本发明上述步骤s304提供的技术方案中，可以将任务数据进行划分，得到多个子任务数据，比如，利用分布式gpu计算框架，搭建超大规模数据量的最邻近融合图像融合系统，可以根据集群资源情况，将各个分块区域的任务数据划分为多个子任务数据。
54.在该实施例中，可以将任务数据进行划分，得到多个子任务数据，比如，在集群配置时，每个节点都有对应的硬件配置(比如，cpu核数，内存大小，io吞吐等)，首先对子任务需要消耗的资源进行设定，比如，将使用的核心数设定为单核，内存大小设置为1gb，然后所有子任务都在任务管理模块的消息队列中，任务管理模块会对集群可用资源进行扫描，根据可用资源情况将对应子任务发布到各个节点上执行。
55.在该实施例中，子任务数据可以包括：目标区域中任意一个子区域内的子全色影像和子多光谱影像，比如，每个子任务数据可以包括：需要执行图像融合的区域的任意一个子区域的子全色影像和对应范围的多光谱影像。
56.步骤s306，调取每个子任务数据对应的网络资源，对每个子任务数据中的子全色影像和子多光谱影像进行融合，得到多个融合结果，其中，多个融合结果与多个子任务数据一一对应。
57.在本发明上述步骤s306提供的技术方案中，网络资源可以是集群资源，可以调取每个子任务数据在集群资源中对应的云计算服务器，对每个子任务数据中的子全色影像和子多光谱影像进行融合，得到多个融合结果。
58.举例而言，在将任务数据划分为多个子任务数据之后，可以将一个任务数据的所有子任务数据提交到对应的云计算服务器，对每个子任务数据中的子全色影像和子多光谱影像进行融合，得到多个融合结果。
59.在该实施例中，各个子任务数据由对应的网络资源独立执行。
60.步骤s308，对多个融合结果进行融合，得到目标区域的目标融合结果。
61.在本发明上述步骤s308提供的技术方案中，可以对多个融合结果进行融合，得到目标区域的目标融合结果，比如，在对每个子任务数据中的子全色影像和子多光谱影像进行融合，得到多个融合结果之后，可以对多个融合结果进行影像镶嵌，得到目标区域的目标融合结果。
62.举例而言，当一个任务的所有子任务执行完毕后，通知数据镶嵌模块获取所有子任务的处理结果，并将结果拼接成一景多波段融合影像，并将融合结果回传到数据存储模块中。
63.在该实施例中，目标融合结果可以是高分辨多光谱影像融合结果，可以对多个融合结果进行融合，得到目标区域的目标融合结果，比如，对多个分块区域融合结果进行影像镶嵌，得到目标区域的高分辨多光谱影像融合结果。
64.通过本技术上述步骤s302至步骤s308，获取目标区域的任务数据，其中，任务数据包括：目标区域的全色影像、多光谱影像和任务标识信息，任务标识信息用于表征需要对目标区域的全色影像和多光谱影像进行融合；将任务数据进行划分，得到多个子任务数据，其中，子任务数据包括：目标区域中任意一个子区域内的子全色影像和子多光谱影像；调取每个子任务数据对应的网络资源，对每个子任务数据中的子全色影像和子多光谱影像进行融合，得到多个融合结果，其中，多个融合结果与多个子任务数据一一对应；对多个融合结果进行融合，得到目标区域的目标融合结果，也就是说，在本技术中，充分利用了网络资源(集群资源)，将任务数据划分为多个子任务数据，进行影像融合，这样使得影像融合不受影像的数据量大小的限制，保证影像的多光谱特征，又提高影像的空间分辨率，从而达到了提高了对图像进行融合的效率的技术效果，进而解决了对图像进行融合的效率低的技术问题。
65.下面对该实施例的上述方法进行进一步地介绍。
66.作为一种可选的实施方式，步骤s304，将任务数据进行划分，得到多个子任务数据，包括：将任务数据划分为相互独立的多个子任务数据。
67.在该实施例中，可以将任务数据划分为相互独立的多个子任务数据，比如，在调用网络资源执行任务数据时，为了提高提升单个任务数据的执行效率，可以将任务数据划分为相互独立的多个子任务数据。
68.作为一种可选的实施方式，将任务数据划分为相互独立的多个子任务数据，包括：基于总网络资源确定目标区域中的多个子区域，其中，总网络资源包括每个子任务数据对应的网络资源；将任务数据划分为与多个子区域一一对应的多个子任务数据，以使多个子任务数据之间相互独立。
69.在该实施例中，最邻近融合算法针对全色影像中的每一个像素，都会以该像元为中心，划定一定范围的超像素进行邻域分析，不在超像素范围的像素不会参与计算，因此可以采用分块区域的方式进行独立运算，多个虚拟分块区域与多个子任务数据一一对应，其中，虚拟分块区域可以是子区域。
70.在该实施例中，可以基于总网络资源确定目标区域中的多个子区域，将任务数据划分为与多个子区域一一对应的多个子任务数据，以使多个子任务数据之间相互独立，比如，基于总的集群资源确定需要执行融合的区域中的多个子区域，然后将任务数据划分为与多个子区域一一对应的多个子任务数据，以使多个子任务数据之间相互独立。
71.在该实施例中，由于基于邻域分析需要考虑一定范围内的相邻像素，因此，为保证分别边界处的连续性，多个子区域之间需要少量覆盖，比如，分块区域大小可以设置为5000
×
5000像素，优选地，多个子区域之间的边界重叠区域设置为全色影像与多光谱影像空间分辨率比值的2倍。
72.作为一种可选的实施方式，基于总网络资源确定目标区域中的多个子区域，包括：响应作用于操作界面上的输入操作指令，输入子区域尺寸；响应于子区域尺寸未超过总网络资源对应的子区域尺寸阈值，将目标区域按照子区域尺寸划分为多个子区域，其中，每个子区域的尺寸未超过子区域尺寸。
73.在该实施例中，可以响应作用于操作界面上的输入操作指令，输入子区域尺寸，比如，当检测到作用于操作界面上的输入操作指令，产生用于表示该信息的信号，响应该信号，输入子区域尺寸。
74.在该实施例，可以响应于子区域尺寸未超过总网络资源对应的子区域尺寸阈值，将目标区域按照子区域尺寸划分为多个子区域，其中，每个子区域的尺寸未超过子区域尺寸，比如，当检测到子区域尺寸未超过总网络资源对应的子区域尺寸阈值时，产生用于表示该信息的信号，响应于该信号，将目标区域按照子区域尺寸划分为多个子区域。
75.举例而言，在将目标区域按指定大小进行虚拟分块区域时，在操作界面上输入分块区域(子区域)的尺寸，比如输入的分块区域大小为5000
×
5000像素，而总网络资源对应的子区域尺寸阈值为6000
×
6000像素，当检测到子区域尺寸未超过总网络资源对应的子区域尺寸阈值时，产生用于表示该信息的信号，响应于该信号，将目标区域按照子区域尺寸划分为多个子区域。
76.作为一种可选的实施方式，在响应作用于操作界面上的输入操作指令，输入子区
域尺寸后，该方法还包括：响应于子区域尺寸超过子区域尺寸阈值，在操作界面上显示提示信息，其中，提示信息用于表示将目标区域按照子区域尺寸划分为多个子区域失败；和/或响应作用于操作界面上的调整操作指令，对子区域尺寸进行调整。
77.在该实施例中，可以响应于子区域尺寸超过子区域尺寸阈值，在操作界面上显示提示信息，其中，提示信息用于表示将目标区域按照子区域尺寸划分为多个子区域失败，比如，当检测到子区域尺寸超过子区域尺寸阈值时，产生用于表示该信息的信号，响应于该信号，在操作界面上显示提示信息。
78.在该实施例中，可以响应作用于操作界面上的调整操作指令，对子区域尺寸进行调整，比如，当检测到作用于操作界面上的调整操作指令时，产生用于表示该信息的信号，响应于该信号，对子区域尺寸进行调整。
79.举例而言，在将目标区域按指定大小进行虚拟分块区域时，在操作界面上输入分块区域(子区域)的尺寸，比如输入的分块区域大小为5000
×
5000像素，而总网络资源对应的子区域尺寸阈值为4000
×
4000像素，当检测到子区域尺寸超过总网络资源对应的子区域尺寸阈值时，产生用于表示该信息的信号，响应于该信号，在操作界面上显示提示信息，用户可以基于该提示信息，输入作用于操作界面上的调整操作指令，对对子区域尺寸进行调整。
80.作为一种可选的实施方式，该方法还包括：确定与每个子任务数据对应的线程，其中，多个子任务数据对应的多个线程之间相互独立；对每个子任务数据中的子全色影像和子多光谱影像进行融合，得到多个融合结果，包括：基于每个子任务数据对应的线程，对每个子任务数据中的子全色影像和子多光谱影像进行融合，得到多个融合结果。
81.在该实施例中，在将目标区域划分为多个子区域(分块区域)之后，将各个需要执行的分块区域推送到任务管理模块的消息队列中，并基于任务管理模块对分块区域执行状态进行管理，每一个子区域(分块区域)使用单独的线程进行处理。
82.在该实施例中，可以确定与每个子任务数据对应的线程，其中，多个子任务数据对应的多个线程之间相互独立，比如，将每个子区域的任务数据加入到队列管理中，每一个子区域(分块区域)使用单独的线程进行处理。
83.可选的，由于邻域分析需要针对每个像素计算多个超像素的区域光谱差异累加值，涉及浮点运算，因此可以将该计算迁移到gpu上进行加速，也就是说，在使用单独的线程对对应的子任务数据进行处理时，通过gpu对子任务数据的处理进行加速。
84.在该实施例中，可以基于每个子任务数据对应的线程，对每个子任务数据中的子全色影像和子多光谱影像进行融合，得到多个融合结果，比如，将各个需要执行的分块区域推送到任务管理模块的消息队列中，并基于任务管理模块对分块区域执行状态进行管理，对每个子任务数据中的子全色影像和子多光谱影像进行融合，得到多个融合结果。
85.作为一种可选的实施方式，确定与每个子任务数据对应的线程，包括：响应作用于操作界面上的第一选取操作指令，从多个处理器中选取出图形处理器；将图形处理器中的线程，确定为每个子任务数据对应的线程。
86.在该实施例中，可以响应作用于操作界面上的第一选取操作指令，从多个处理器中选取出图形处理器，比如，当检测到作用于操作界面上的第一选取操作指令，产生用于表示该信息的信号，响应于该信号，从多个处理器中选取出图形处理器。
87.在该实施例中，可以将图形处理器中的线程，确定为每个子任务数据对应的线程，比如，将图像融合的计算迁移到gpu上进行加速，基于图形处理器(gpu)中的线程对对应的子任务数据进行处理。
88.在该实施例中，可以将图像融合的计算迁移到gpu上进行加速，基于集群资源的gpu加速，可以高效率、规模化地处理超大数据量的图像融合任务。
89.作为一种可选的实施方式，步骤s306，对每个子任务数据中的子全色影像和子多光谱影像进行融合，得到多个融合结果，包括：确定子全色影像中像素对应的多个超像素；基于距离衰减因子和多个超像素，对像素和子多光谱影像进行融合，得到多个融合结果，其中，距离衰减因子用于表示每个超像素对融合结果的贡献程度。
90.在该实施例中，可以确定子全色影像中像素对应的多个超像素，比如，将全色影像空间分辨率重采样到与多光谱一致，同时保证采样比例是整数倍，以采样比例作为超像素的大小，假设原始全色影像空间分辨率是多光谱影像分辨率的4倍，将超像素区域设置为4
×
4大小，则每个像素对应多个上述4
×
4大小的超像素。
91.在该实施例中，可以基于距离衰减因子和多个超像素，对像素和子多光谱影像进行融合，得到多个融合结果，其中，距离衰减因子用于表示每个超像素对融合结果的贡献程度，比如，对原始全色影像的每一个像素点，基于多个超像素区域，计算考虑空间距离衰减的累积光谱差异，结合多光谱影像生成合成影像，再使用多光谱贡献向量进行修正。
92.可选的，基于距离衰减因子和多个超像素，对像素和子多光谱影像进行融合的图像融合公式表示如下：
[0093][0094]
其中，hm(x，y)为坐标(x，y)处的多光谱融合结果值，k(x，y)表示缩放系数，nj(x，y)表示(x，y)对应的第j个超像素的光谱差异累加值，(x
u，v
，y
u，v
)|
x，y，j
表示第j个超像素的中心坐标，m(u，v；x，y，j)表示第j个超像素的多光谱像素值，p(x，y)表示(x，y)处全色影像像素值，σ表示光谱平滑系数，σs表示空间距离平滑系数，k(x，y)表示缩放系数。
[0095]
在该实施例中，考虑距离衰减的影响，离蓝色像素越远的超像素贡献度越低，因此，引入距离衰减因子，通过计算距离衰减的累积光谱差异，结合多光谱影像生成合成影像，其中，距离衰减因子可以表示如下：
[0096][0097]
其中，(x
u，v
，y
u，v
)|
x，y，j
|表示第j个超像素的中心坐标。
[0098]
可选的，可以通过计算多光谱各波段对全色波段的贡献值得到多光谱贡献向量t，使用多光谱贡献向量t对多个融合结果(合成影像)进行修正。
[0099]
在该实施例中，为计算多光谱各波段对全色波段的贡献值，将全色影像空间分辨率重采样到与多光谱一致，基于线性回归方法，利用样本点计算贡献向量t。
[0100]
举例而言，可以通过线性回归法计算贡献向量t，计算贡献向量t的公式可以表示如下：
[0101][0102]
其中p(x，y)表示行列号(x，y)处的全色影像像素值，t(i)表示第i波段的光谱贡献值，mi(x，y)表示行列号(x，y)处第i波段的多光谱像素值，ε表示回归误差。
[0103]
作为一种可选的实施方式，对多个融合结果进行融合，得到目标区域的目标融合结果，包括：将多个融合结果镶嵌为图像；将该图像确定为目标融合结果。
[0104]
在该实施例中，可以将多个融合结果镶嵌为图像，将该图像确定为目标融合结果，比如，当一个任务的所有子任务执行完毕后，通知数据镶嵌模块获取所有子任务的处理结果，并将结果拼接成一景多波段融合影像。
[0105]
作为一种可选的实施方式，将多个融合结果镶嵌为图像，包括：响应作用于操作界面上的第二选取操作指令，从多个融合结果中选取部分融合结果；将部分融合结果镶嵌为图像。
[0106]
在该实施例中，可以响应作用于操作界面上的第二选取操作指令，从多个融合结果中选取部分融合结果，将部分融合结果镶嵌为图像，比如，当检测到作用于操作界面上的第二选取操作指令，产生用于表示该信息的信号，响应于该信号，从多个融合结果中选取部分融合结果，将部分融合结果镶嵌为图像。
[0107]
在该实施例中，可以人工选取部分融合结果，并将该部分融合和结果镶嵌为图像。
[0108]
作为一种可选的实施方式，该方法还包括以下至少之一：在操作界面上显示目标融合结果中的目标对象，其中，目标对象为基于对象提取模型从目标融合结果中提取出，对象提取模型为基于神经网络训练得到；在操作界面上显示目标融合结果的检测结果，其中，目标对象为基于检测模型对目标融合结果进行检测得到，检测模型为基于神经网络训练得到；在操作界面上显示目标融合结果的分类结果，其中，目标对象为基于分类模型对目标融合结果进行分类得到，分类模型为基于神经网络训练得到。
[0109]
在该实施例中，可以在操作界面上显示目标融合结果中的目标对象，其中，目标对象为基于对象提取模型从目标融合结果中提取出，对象提取模型为基于神经网络训练得到，比如，在对全色影像和多光谱影像进行融合处理之后，可以在操作界面上显示高分辨融合影像中的目标对象，在遥感影像中，目标对象可以是城市遥感图像的某一建筑物，需要说明的是，目标对象可以是影像中感兴趣的部分，可以通过训练好的神经网络模型来对目标对象进行提取。
[0110]
在该实施例中，可以在操作界面上显示目标融合结果的检测结果，其中，目标对象为基于检测模型对目标融合结果进行检测得到，检测模型为基于神经网络训练得到，比如，在对全色影像和多光谱影像进行融合处理之后，可以在操作界面上显示高分辨融合影像的检测结果，在遥感影像中，目标对象可以是城市遥感图像的某类建筑物，可以再操作界面上显示该类建筑物的数量，需要说明的是，目标对象可以是影像中感兴趣的部分，可以通过训练好的神经网络模型来对目标对象进行检测。
[0111]
在该实施例中，可以在操作界面上显示目标融合结果的分类结果，其中，目标对象为基于分类模型对目标融合结果进行分类得到，分类模型为基于神经网络训练得到，比如，在对全色影像和多光谱影像进行融合处理之后，可以在操作界面上显示高分辨融合影像的
分类结果，比如，在遥感影像中，目标对象可以是城市遥感图像的多类建筑物，可以在操作界面上显示多类建筑物的分类结果，需要说明的是，目标对象可以是影像中感兴趣的部分，可以通过训练好的神经网络模型来对目标对象进行分类。
[0112]
在本公开上述实施例中，通过基于分布式gpu cpu的高分辨率遥感影像融合方法，能够大规模实现高空间分辨率全色影像和相对低分辨率多光谱影像的融合，提升影像空间分辨率，同时保证多光谱特征不变；引入超像素空间距离衰减影像因子，在即保证地物光谱特征不变的同时，也考虑地理空间距离的影像，更符合空间相关性定律，从而达到了提高对图像进行融合的效率的技术效果，进而解决了对图像进行融合的效率低的技术问题。
[0113]
根据本发明实施例，还提供了遥感场景下的一种图像融合的方法。
[0114]
图4是根据本发明实施例提供的遥感场景下的另一种图像融合方法的流程图。如图4所示，该方法可以包括以下步骤：
[0115]
步骤s402，获取植被区域的任务数据，其中，任务数据包括：植被区域的全色影像、多光谱影像和任务标识信息，任务标识信息用于表征需要对植被区域的全色影像和多光谱影像进行融合。
[0116]
在本发明上述步骤s402提供的技术方案中，任务数据可以是卫星遥感数据，卫星遥感影像在多光谱区间获取到的空间分辨率通常较全色区间低，可以通过将全色影像和多光谱影像进行融合，以提高卫星遥感图像等多光谱影像的空间分辨率。
[0117]
在该实施例中，可以获取植被区域的任务数据，比如，获取卫星遥感影像中植被区域的植被区域的全色影像、多光谱影像和任务标识信息。
[0118]
步骤s404，将任务数据进行划分，得到多个子任务数据，其中，子任务数据包括：植被区域中任意一个子植被区域内的子全色影像和子多光谱影像。
[0119]
在本发明上述步骤s404提供的技术方案中，可以将任务数据进行划分，得到多个子任务数据，比如，将卫星遥感影像中的植被区域的任务数据进行分块处理，得到多个子植被区域内的子全色影像和子多光谱影像。
[0120]
步骤s406，调取每个子任务数据对应的网络资源，对每个子任务数据中的子全色影像和子多光谱影像进行融合，得到多个融合结果，其中，多个融合结果与多个子任务数据一一对应。
[0121]
在本发明上述步骤s406提供的技术方案中，可以调取每个子任务数据对应的网络资源，对每个子任务数据中的子全色影像和子多光谱影像进行融合，得到多个融合结果，比如，利用集群资源对每个子任务数据中的子全色影像和子多光谱影像进行融合，得到多个融合结果。
[0122]
可选地，在调取每个子任务数据对应的网络资源，对每个子任务数据中的子全色影像和子多光谱影像进行融合时，由于邻域分析需要针对每个像素计算多个超像素的区域光谱差异累加值，可以将该计算过程迁移至gpu上进行。
[0123]
步骤s408，对多个融合结果进行融合，得到植被区域的目标融合结果。
[0124]
在本发明上述步骤s408提供的技术方案中，可以对多个融合结果进行融合，得到植被区域的目标融合结果，比如，当一个任务的所有子任务执行完毕后，通知数据镶嵌模块获取所有子任务的处理结果，并将结果镶嵌成一景多波段融合影像。
[0125]
作为一种可选的实施方式，该方法还包括：基于融合结果确定植被区域中植被的
生长状态；基于生长状态确定策略数据，其中，策略数据用于表示对植被的管理策略。
[0126]
在该实施例中，可以基于融合结果确定植被区域中植被的生长状态，基于生长状态确定策略数据，比如，在对全色影像和多光谱影像进行融合入之后，得到高分辨率融合影像，可以在操作界面上显示该高分辨率影像的植被区域，以确定植被区域中植被的生长状态，并基于生长状态确定对植被的管理策略。
[0127]
在本公开上述实施例中，通过获取植被区域的任务数据，其中，任务数据包括：植被区域的全色影像、多光谱影像和任务标识信息，任务标识信息用于表征需要对植被区域的全色影像和多光谱影像进行融合；将任务数据进行划分，得到多个子任务数据，其中，子任务数据包括：植被区域中任意一个子植被区域内的子全色影像和子多光谱影像；调取每个子任务数据对应的网络资源，对每个子任务数据中的子全色影像和子多光谱影像进行融合，得到多个融合结果，其中，多个融合结果与多个子任务数据一一对应；对多个融合结果进行融合，得到植被区域的目标融合结果，从而实现了在遥感场景下对图像进行融合的目的，达到了提高对图像进行融合的效率，并基于融合后的高分辨率影像对植被进行监测的技术效果，进而解决了对图像进行融合的效率低的技术问题。
[0128]
实施例2
[0129]
下面对该实施例的上述方法的优选实施方式进行进一步介绍。
[0130]
随着对地观测系统的建设与发展，通过卫星手段获取地表影像使大规模的对地监测变得可能。目前，卫星遥感数据已广泛用于国土资源调查、生态环境保护、森林资源普查、城市扩展监测等领域。然而，受限于当前卫星成像设备在参数设置上的限制，卫星在多光谱区间获取到的空间分辨率通常较全色区间低。这大大降低对较小目标的的辨识能力，也阻碍遥感影像在一些需要精细化管理领域(如违法建筑识别)的应用。
[0131]
因此，如何即保证影像的多光谱特征，又提高影像的空间分辨率，即将全色影像融合到多光谱影像中成为当前遥感领域的研究重点。影像融合将显著提高多光谱影像空间分辨率，将更有利于当前深度学习或机器学习算法对影像进行目标提取，变化检测，地物分类等，也更有利于分析结果的规模化和多领域推广应用。
[0132]
然而，卫星采集到的影像通常尺寸较大，尤其对于米级分辨率影像，单景大小可达gb级，因此，利用桌面级遥感处理软件很难快速并大规模对影像进行融合。
[0133]
在相关技术中，由于必须考虑所搭载硬件设备的性能，在邻域分析过程中，当计算全色影像某一像素的多光谱融合值时，首先需要计算9个超像素(每个超像素由4
×
4像素组成)对当前像素的贡献值，但为了考虑计算效率，该方法假设超像素中每个像素贡献率一样，没有考虑距离衰减因子，以减少计算量。
[0134]
而在本公开中，采用了分布式cpu gpu的架构，对超大规模数据量的高空间分辨率全色影像和低分辨率多光谱影像进行融合，相比于传统的专业遥感影像处理桌面软件，不受数据量大小的限制，同时能够大幅提升单个任务的执行效率，更能适用于全球、全国或全省某一数据集的集中快速融合处理。同时在基于最邻近融合的图像融合算法中，在计算超像素累积光谱差异值时，考虑了不同超像素与待计算像元之间的空间距离衰减因子，随着距离越远，对待计算像元贡献越小。因此，能更好地利用空间距离特征，融合效果更好。
[0135]
为了解决上述问题，本公开提出了一种充分利用集群资源和gpu加速的超大规模的基于邻域分析的图像融合方法，可以快速提高影像分辨率，并集成到遥感影像处理系统
中。
[0136]
在本公开中，利用分布式gpu计算框架，搭建超大规模数据量的最邻近融合(ndd)的图像融合方法，能有效充分保证多光谱信息不损失，并且提高影像空间分辨率，该方法中的融合结果可作为机器学习或深度学习的输入数据，同时也可作为其他对影像空间分辨率较高的遥感影像分析应用领域，提高数据产品的完整性和服务能力。
[0137]
基于分布式gpu实现最邻近融合的图像融合算法，涉及任务调度、执行流程和核心算法，因此，本公开的描述将分为架构设计、执行流图和核心算法三个部分。最邻近融合(ndd)的图像融合算法针对全色影像中的每一个像素，都会以该像元为中心，划定一定范围的超像素进行邻域分析，不在超像素范围的像素不会参与计算，因此可以采用分块区域进行独立运算。具体地，首先划定分块区域数据，将各个分块区域数据送入各自计算单元进行融合，这也是构建基于分布式gpu加速图像融合方法的思想。同时，采用基于任务管理的方式，对数据进行分块打标，例如同一范围的全色影像和多光谱影像会被打标为一个任务，在该任务中再划分以分块区域计算为单元的子任务，各个子任务独立运行，并与任务管理模块进行任务同步，当所有子任务运行结束，数据镶嵌模块读取数据进行最后的镶嵌输出，并最终得到高分辨多光谱影像融合结果，大大提升影像融合效率，同时适用于超大规模数据量的影像镶嵌任务。
[0138]
下面对本公开实施例的架构设计进行介绍。
[0139]
图5根据本公开实施例的一种分布式计算架构的示意图。如图5所示，任务执行流与计算架构相关，分布式计算架构层面的执行流可以包括以下步骤：
[0140]
步骤一，将所有需要融合的全色影像和多光谱影像存储到存储介质中，其中，存储介质可以是本地nas、网上云盘或分布式文件管理系统，在此不做具体限制。由于ndd图像融合方法是基于像素的融合方法，因此要求全色影像和多光谱影像完全配准，否则会导致融合效果较差或发生错误。
[0141]
需要说明的是，在判断全色影像和多光谱影像完全配准时，可以是，首先，全色影像和多光谱影像必须在同一坐标系下，如果不一致，需要将其中一种重投影到另外一种上；其次，全色影像和多光谱影像的覆盖范围尽可能一致，比如，全色影像上的地物(如建筑物)需与多光谱影像上的同一地物尽可能重叠。
[0142]
步骤二，确定需要融合的影像，并将其提交到任务管理模块中。该任务管理模块负责提交任务到云计算服务器进行执行，同时也负责对执行任务进行监测，比如，影像融合的执行进度和执行状态。其中，一个任务所包含的输入数据为需要执行融合区域的全色影像(单景单个波段，可为tif格式数据)和多光谱影像(单景多个波段，可为tif格式数据)。根据集群资源情况，进行子任务划分，每个子任务的输入数据为分块区域全色影像和对应范围的多光谱影像。
[0143]
举例而言，在根据集群资源情况，进行子任务划分时，可以是，在集群配置时，每个节点都有对应的硬件配置(比如，cpu核数，内存大小，io吞吐等，在此不做具体限制)。首先对子任务需要消耗的资源进行设定，比如，使用单核，1gb内存，所有子任务都在任务管理模块的消息队列中，任务管理模块会对集群可用资源进行扫描，根据可用资源情况将对应子任务发布到各个节点上执行。
[0144]
步骤三，提交任务到云计算服务器(如云计算服务器)，各个云计算服务器相互独
立，一个任务的所有子任务会被提交到云计算服务器上单独执行，并将执行进度和执行结果反馈到任务管理模块。单个云计算服务器上可以执行在资源条件限制内的多个相互独立的子任务，即不断获取任务管理模块中的消息队列。云计算服务器上的计算过程将在下面的方法步骤中进行单独描述。
[0145]
步骤四，当一个任务的所有子任务执行完毕后，通知数据镶嵌模块获取所有子任务的处理结果，并将结果镶嵌成一景多波段融合影像，并将融合结果回传到数据存储模块中，其中，影像镶嵌可以是指将多张带坐标信息的影像镶嵌成一张影像。
[0146]
下面对本公开实施例的执行流图进行介绍。
[0147]
图6是根据本公开实施例的一种任务执行流的示意图，如图6所示，由于基于邻域分析的图像融合算法只在局部范围内对全色影像和多光谱影像的光谱信息进行分析，因此，可以对单景影像进行分块，以提高执行效率，对单景影像进行分块的方法可以包括如下步骤：
[0148]
步骤一，将单景全色影像和多光谱影像按指定大小进行虚拟分块区域，由于实际上的物理分块区域将额外消耗时间，因此，该步骤只记录需要处理的分块区域范围。由于基于邻域分析需要考虑一定范围内的相邻像素，因此，为保证分块区域边界处的连续性，分块区域与分块区域之间需要少量覆盖。一般分块区域大小设置为5000*5000像素，边界重叠一般设置为全色影像与多光谱影像空间分辨率比值的2倍。
[0149]
步骤二，将各个需要执行的分块区域推送到任务管理模块的消息队列中，并基于任务管理模块对分块区域执行状态进行管理，每一个分块区域使用单独的线程进行处理，由于邻域分析需要针对每个像素计算9个超像素的区域光谱差异累加值，涉及浮点运算，因此该计算被迁移到gpu上进行加速。
[0150]
步骤三，单个分块区域处理完毕后，加入到输出队列中，其中一个队列表示一个任务，待所有分块区域处理完毕后，整个队列移交到镶嵌模块，对所有分块区域融合结果进行合并，并将合并结果回传到存储系统中。
[0151]
最后，对基于邻域分析的图像融合核心处理方法进行描述，流程如图3所示。目前，多数遥感卫星获取到的多光谱影像分辨率是全色影像的4倍。因此，为计算多光谱各波段对全色波段的贡献值，将全色影像空间分辨率重采样到与多光谱一致，基于线性回归方法，利用样本点计算贡献向量t。同时，假设原始全色影像空间分辨率是多光谱影像分辨率的4倍，将超像素区域设置为4
×
4大小，对原始全色影像的每一个像素点，基于9个超像素区域，计算考虑空间距离衰减的累积光谱差异，结合多光谱影像生成合成影像，再使用多光谱贡献向量进行修正。贡献向量t可以是指各多光谱波段对全色波段的贡献值，向量t通过线性回归获得，举例而言，假设归获得，举例而言，假设其中p(x，y)表示行列号(x，y)处的全色影像像素值，t(i)表示第i波段的光谱贡献值，mi(x，y)表示行列号(x，y)处第i波段的多光谱像素值，ε表示回归误差。
[0152]
下面对本公开实施例的核心算法进行介绍。
[0153]
首先，对本公开实施例的图像融合公式进行介绍，该图像融合公式可以表示如下：
[0154][0155]
其中，hm(x，y)为坐标(x，y)处的多光谱融合结果值，k(x，y)表示缩放系数，nj(x，
y)表示(x，y)对应的第j个超像素的光谱差异累加值，(x
u，v
，y
u，v
)|
x，y，j
表示第j个超像素的中心坐标，m(u，v；x，y，j)表示第j个超像素的多光谱像素值，p(x，y)表示(x，y)处全色影像像素值，σ表示光谱平滑系数，σs表示空间距离平滑系数，k(x，y)表示缩放系数。
[0156]
图7是根据本公开实施例的一种基于距离权重的ndd图像融合方法的示意图。
[0157]
如图7所示，该基于距离权重的nnd图像融合方法可以包括以下步骤：
[0158]
步骤一，将全色影像空间分辨率重采样到与多光谱一致，同时保证采样比例是整数倍，以采样比例作为超像素的大小。例如原始多光谱影像空间分辨率是全色影像分辨率的4倍，则设置超像素大小为4
×
4大小。
[0159]
步骤二，以重采样到的低分辨率全色影像与多光谱影像组成样本点，利用线性回归计算每个波段对全色波段的贡献向量t，计算公式设定归计算每个波段对全色波段的贡献向量t，计算公式设定其中p(x，y)表示行列号(x，y)处的全色影像像素值，t(i)表示第i波段的光谱贡献值，mi(x，y)表示行列号(x，y)处第i波段的多光谱像素值，ε表示回归误差
[0160]
步骤三，基于原始全色影像计算每个点的超像素区域累积光谱差异值。图8是根据本公开实施例的一种像素的超像素区域的示意图，如图8所示，像元(数字1
……
9)包含9个超像素区域，以r1超像素为例，计算超像素区域1(图8中用“x”标出的部分)的光谱差异值的公式可以表示如下：
[0161][0162]
其中，j＝1，2，3...9。
[0163]
n1(x，y)可以为计算得到的超像素区域1(图8中用“x”标出的部分)的光谱差异值，累积9个超像素光谱差异值，得到累积光谱差异值。同时，考虑距离衰减影响，离像元越远的超像素贡献度越低，因此引入距离衰减因子，距离衰减因子可以表示如下：
[0164][0165]
其中，(x
u，v
，y
u，v
)|
x，y，j
|表示第j个超像素的中心坐标。
[0166]
步骤四：基于累积光谱差异值，并结合多光谱影像，计算每个像素的高分辨率融合影像。
[0167]
在本公开实施例中，提出了基于分布式gpu cpu的高分辨率遥感影像融合方法，应用于遥感公有云产品中，能够大规模实现高空间分辨率全色影像和相对低分辨率多光谱影像的融合，提升影像空间分辨率，同时保证多光谱特征不变；在ndd图像融合方法中，引入超像素空间距离衰减影像因子，既保证了地物光谱特征不变，也考虑地理空间距离的影像，更符合空间相关性定律，进而解决了对图像进行融合的效率低的技术问题，达到了提高对图像进行融合的效率的技术效果。
[0168]
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
[0169]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
[0170]
实施例3
[0171]
根据本发明实施例，还提供了一种用于实施上述图3所示的图像融合方法的图像融合装置。
[0172]
图9是根据本发明实施例的一种图像融合装置的示意图。如图9所示，该图像融合装置90可以包括：第一获取单元91，第一划分单元92，第一调取单元93和第一融合单元94。
[0173]
第一获取单元91，用于获取目标区域的任务数据，其中，任务数据包括：目标区域的全色影像、多光谱影像和任务标识信息，任务标识信息用于表征需要对目标区域的全色影像和多光谱影像进行融合；
[0174]
第一划分单元92，用于将任务数据进行划分，得到多个子任务数据，其中，子任务数据包括：目标区域中任意一个子区域内的子全色影像和子多光谱影像；
[0175]
第一调取单元93，用于调取每个子任务数据对应的网络资源，对每个子任务数据中的子全色影像和子多光谱影像进行融合，得到多个融合结果，其中，多个融合结果与多个子任务数据一一对应；
[0176]
第一融合单元94，用于对多个融合结果进行融合，得到目标区域的目标融合结果。
[0177]
可选地，第一划分单元92包括：第一划分模块，用于将任务数据划分为相互独立的多个子任务数据。
[0178]
可选地，第一划分模块包括：第一确定子模块，用于基于总网络资源确定目标区域中的多个子区域，其中，总网络资源包括每个子任务数据对应的网络资源；第一划分子模块，用于将任务数据划分为与多个子区域一一对应的多个子任务数据，以使多个子任务数据之间相互独立。
[0179]
可选地，第一确定子模块通过以下步骤来基于总网络资源确定目标区域中的多个子区域：响应作用于操作界面上的输入操作指令，输入子区域尺寸；响应于子区域尺寸未超过总网络资源对应的子区域尺寸阈值，将目标区域按照子区域尺寸划分为多个子区域，其中，每个子区域的尺寸未超过子区域尺寸。
[0180]
可选地，在响应作用于操作界面上的输入操作指令，输入子区域尺寸之后，第一确定子模块还通过以下步骤来基于总网络资源确定目标区域中的多个子区域：响应于子区域尺寸超过子区域尺寸阈值，在操作界面上显示提示信息，其中，提示信息用于表示将目标区域按照子区域尺寸划分为多个子区域失败；和/或响应作用于操作界面上的调整操作指令，对子区域尺寸进行调整。
[0181]
可选地，所述装置还包括：第一确定单元，用于确定与每个子任务数据对应的线程，其中，多个子任务数据对应的多个线程之间相互独立；第一调取单元包括：第一融合模块，用于基于每个子任务数据对应的线程，对每个子任务数据中的子全色影像和子多光谱影像进行融合，得到多个融合结果。
[0182]
可选地，第一确定单元包括：选取模块，用于响应作用于操作界面上的第一选取操作指令，从多个处理器中选取出图形处理器；第一确定模块，用于将图形处理器中的线程，确定为每个子任务数据对应的线程。
[0183]
可选地，第一调取单元93包括：第二确定模块，用于确定子全色影像中像素对应的多个超像素；第二融合模块，用于基于距离衰减因子和多个超像素，对像素和子多光谱影像进行融合，得到每个融合结果，其中，距离衰减因子用于表示每个超像素对对应的每个融合结果的贡献程度。
[0184]
可选地，第一融合单元94包括：镶嵌模块，用于将多个融合结果镶嵌为图像；第三确定模块，用于将图像确定为目标融合结果。
[0185]
可选地，镶嵌模块包括：选取子模块，用于响应作用于操作界面上的第二选取操作指令，从多个融合结果中选取部分融合结果；镶嵌子模块，用于将部分融合结果镶嵌为图像。
[0186]
可选地，所述装置还包括：显示单元，用于执行以下步骤之一：在操作界面上显示目标融合结果中的目标对象，其中，目标对象为基于对象提取模型从目标融合结果中提取出，对象提取模型为基于神经网络训练得到；在操作界面上显示目标融合结果的检测结果，其中，目标对象为基于检测模型对目标融合结果进行检测得到，检测模型为基于神经网络训练得到；在操作界面上显示目标融合结果的分类结果，其中，目标对象为基于分类模型对目标融合结果进行分类得到，分类模型为基于神经网络训练得到。
[0187]
在本公开上述实施例中，通过第一获取单元，获取目标区域的任务数据，其中，任务数据包括：目标区域的全色影像、多光谱影像和任务标识信息，任务标识信息用于表征需要对目标区域的全色影像和多光谱影像进行融合；第一划分单元，将任务数据进行划分，得到多个子任务数据，其中，子任务数据包括：目标区域中任意一个子区域内的子全色影像和子多光谱影像；第一调取单元，调取每个子任务数据对应的网络资源，对每个子任务数据中的子全色影像和子多光谱影像进行融合，得到多个融合结果，其中，多个融合结果与多个子任务数据一一对应；第一融合单元，对多个融合结果进行融合，得到目标区域的目标融合结果，从而达到了提高对图像进行融合的效率的技术效果，进而解决了对图像进行融合的效率低的技术问题。
[0188]
此处需要说明的是，上述第一获取单元91，第一划分单元92，第一调取单元93和第一融合单元94对应于实施例1中的步骤s302至步骤s308，四个单元与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述单元作为装置的一部分可以运行在实施例一提供的计算机终端10中。
[0189]
根据本发明实施例，还从系统侧提供了一种用于实施上述图4所示的图像融合方法的图像融合装置。
[0190]
图10是根据本发明实施例的一种遥感场景下的图像融合装置的示意图。如图10所示，该图像融合装置100可以包括：第二获取单元101，第二划分单元102，第二调取单元103和第二融合单元104。
[0191]
第二获取单元101，用于获取植被区域的任务数据，其中，任务数据包括：植被区域的全色影像、多光谱影像和任务标识信息，任务标识信息用于表征需要对植被区域的全色影像和多光谱影像进行融合；
[0192]
第二划分单元102，用于将任务数据进行划分，得到多个子任务数据，其中，子任务数据包括：植被区域中任意一个子植被区域内的子全色影像和子多光谱影像；
[0193]
第二调取单元103，用于调取每个子任务数据对应的网络资源，对每个子任务数据中的子全色影像和子多光谱影像进行融合，得到多个融合结果，其中，多个融合结果与多个子任务数据一一对应；
[0194]
第二融合单元104，用于对多个融合结果进行融合，得到植被区域的目标融合结果。
[0195]
可选地，所述装置还包括：第二确定单元，用于基于融合结果确定植被区域中植被的生长状态；第三确定单元，用于基于生长状态确定策略数据，其中，策略数据用于表示对植被的管理策略。
[0196]
此处需要说明的是，上述第二获取单元101，第二划分单元102，第二调取单元103和第二融合单元104对应于实施例1中的步骤s402至步骤s408，四个单元与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述单元作为装置的一部分可以运行在实施例一提供的计算机终端10中。
[0197]
在本公开上述实施例中，通过第二获取单元，获取植被区域的任务数据，其中，任务数据包括：植被区域的全色影像、多光谱影像和任务标识信息，任务标识信息用于表征需要对植被区域的全色影像和多光谱影像进行融合；第二划分单元，将任务数据进行划分，得到多个子任务数据，其中，子任务数据包括：植被区域中任意一个子植被区域内的子全色影像和子多光谱影像；第二调取单元，调取每个子任务数据对应的网络资源，对每个子任务数据中的子全色影像和子多光谱影像进行融合，得到多个融合结果，其中，多个融合结果与多个子任务数据一一对应；第二融合单元，对多个融合结果进行融合，得到植被区域的目标融合结果，从而实现了在遥感场景下对图像进行融合的目的，达到了提高对图像进行融合的效率的技术效果，进而解决了对图像进行融合的效率低的技术问题。
[0198]
实施例4
[0199]
本发明的实施例可以提供一种图像融合系统，图11时根据本公开实施例的一种图像融合系统的示意图。如图11所示，该图像融合系统110包括：数据存储模块111、任务管理模块112、云服务器113和镶嵌模块114。
[0200]
数据存储模块111，用于存储目标区域的任务数据，其中，任务数据包括：目标区域的全色影像、多光谱影像和任务标识信息，任务标识信息用于表征需要对目标区域的全色影像和多光谱影像进行融合；
[0201]
任务管理模块112，用于将任务数据进行划分，得到多个子任务数据，其中，子任务数据包括：目标区域中任意一个子区域内的子全色影像和子多光谱影像；
[0202]
云服务器113，用于调取每个子任务数据对应的网络资源，对每个子任务数据中的子全色影像和子多光谱影像进行融合，得到多个融合结果，其中，多个融合结果与多个子任务数据一一对应；
[0203]
镶嵌模块114，用于对多个融合结果进行融合，得到目标区域的目标融合结果，且将目标融合结果存储至数据存储模块。
[0204]
在本实施例中，上述图像融合系统可以包括处理器和存储器，上述图像融合系统可以执行本发明实施例的图像融合方法中以下步骤的程序代码：获取目标区域的任务数
据，其中，任务数据包括：目标区域的全色影像、多光谱影像和任务标识信息，任务标识信息用于表征需要对目标区域的全色影像和多光谱影像进行融合；将任务数据进行划分，得到多个子任务数据，其中，子任务数据包括：目标区域中任意一个子区域内的子全色影像和子多光谱影像；调取每个子任务数据对应的网络资源，对每个子任务数据中的子全色影像和子多光谱影像进行融合，得到多个融合结果，其中，多个融合结果与多个子任务数据一一对应；对多个融合结果进行融合，得到目标区域的目标融合结果。
[0205]
其中，存储器可用于存储软件程序以及模块，如本发明实施例中的图像融合方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的图像融合方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端(或移动终端)。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0206]
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：获取目标区域的任务数据，其中，任务数据包括：目标区域的全色影像、多光谱影像和任务标识信息，任务标识信息用于表征需要对目标区域的全色影像和多光谱影像进行融合；将任务数据进行划分，得到多个子任务数据，其中，子任务数据包括：目标区域中任意一个子区域内的子全色影像和子多光谱影像；调取每个子任务数据对应的网络资源，对每个子任务数据中的子全色影像和子多光谱影像进行融合，得到多个融合结果，其中，多个融合结果与多个子任务数据一一对应；对多个融合结果进行融合，得到目标区域的目标融合结果。
[0207]
可选的，上述处理器还可以执行如下步骤的程序代码：将任务数据划分为相互独立的多个子任务数据。
[0208]
可选的，上述处理器还可以执行如下步骤的程序代码：基于总网络资源确定目标区域中的多个子区域，其中，总网络资源包括每个子任务数据对应的网络资源；将任务数据划分为与多个子区域一一对应的多个子任务数据，以使多个子任务数据之间相互独立。
[0209]
可选的，上述处理器还可以执行如下步骤之一的程序代码：响应作用于操作界面上的输入操作指令，输入子区域尺寸；响应于子区域尺寸未超过总网络资源对应的子区域尺寸阈值，将目标区域按照子区域尺寸划分为多个子区域，其中，每个子区域的尺寸未超过子区域尺寸。
[0210]
可选的，上述处理器还可以执行如下步骤的程序代码：响应于子区域尺寸超过子区域尺寸阈值，在操作界面上显示提示信息，其中，提示信息用于表示将目标区域按照子区域尺寸划分为多个子区域失败；和/或响应作用于操作界面上的调整操作指令，对子区域尺寸进行调整。
[0211]
可选的，上述处理器还可以执行如下步骤的程序代码：确定与每个子任务数据对应的线程，其中，多个子任务数据对应的多个线程之间相互独立；对每个子任务数据中的子全色影像和子多光谱影像进行融合，得到多个融合结果，包括：基于每个子任务数据对应的线程，对每个子任务数据中的子全色影像和子多光谱影像进行融合，得到多个融合结果。
[0212]
可选的，上述处理器还可以执行如下步骤的程序代码：响应作用于操作界面上的第一选取操作指令，从多个处理器中选取出图形处理器；将图形处理器中的线程，确定为每
个子任务数据对应的线程。
[0213]
可选的，上述处理器还可以执行如下步骤之一的程序代码：确定子全色影像中像素对应的多个超像素；基于距离衰减因子和多个超像素，对像素和子多光谱影像进行融合，得到每个融合结果，其中，距离衰减因子用于表示每个超像素对对应的每个融合结果的贡献程度。
[0214]
可选的，上述处理器还可以执行如下步骤的程序代码：将多个融合结果镶嵌为图像；将图像确定为目标融合结果。
[0215]
可选的，上述处理器还可以执行如下步骤的程序代码：响应作用于操作界面上的第二选取操作指令，从多个融合结果中选取部分融合结果；将部分融合结果镶嵌为图像。
[0216]
可选的，上述处理器还可以执行如下步骤之一的程序代码：在操作界面上显示目标融合结果中的目标对象，其中，目标对象为基于对象提取模型从目标融合结果中提取出，对象提取模型为基于神经网络训练得到；在操作界面上显示目标融合结果的检测结果，其中，目标对象为基于检测模型对目标融合结果进行检测得到，检测模型为基于神经网络训练得到；在操作界面上显示目标融合结果的分类结果，其中，目标对象为基于分类模型对目标融合结果进行分类得到，分类模型为基于神经网络训练得到。
[0217]
作为一种可选的上述实施方式，上述处理器还可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：获取植被区域的任务数据，其中，任务数据包括：植被区域的全色影像、多光谱影像和任务标识信息，任务标识信息用于表征需要对植被区域的全色影像和多光谱影像进行融合；将任务数据进行划分，得到多个子任务数据，其中，子任务数据包括：植被区域中任意一个子植被区域内的子全色影像和子多光谱影像；调取每个子任务数据对应的网络资源，对每个子任务数据中的子全色影像和子多光谱影像进行融合，得到多个融合结果，其中，多个融合结果与多个子任务数据一一对应；对多个融合结果进行融合，得到植被区域的目标融合结果。
[0218]
可选的，上述处理器还可以执行如下步骤的程序代码：基于融合结果确定植被区域中植被的生长状态；基于生长状态确定策略数据，其中，策略数据用于表示对植被的管理策略。
[0219]
采用本发明实施例，提供了一种图像融合的方案。通过获取目标区域的任务数据，其中，任务数据包括：目标区域的全色影像、多光谱影像和任务标识信息，任务标识信息用于表征需要对目标区域的全色影像和多光谱影像进行融合；将任务数据进行划分，得到多个子任务数据，其中，子任务数据包括：目标区域中任意一个子区域内的子全色影像和子多光谱影像；调取每个子任务数据对应的网络资源，对每个子任务数据中的子全色影像和子多光谱影像进行融合，得到多个融合结果，其中，多个融合结果与多个子任务数据一一对应；对多个融合结果进行融合，得到目标区域的目标融合结果，解决了对图像进行融合的效率低的技术问题，达到了提高对图像进行融合的效率的技术效果。
[0220]
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(read-only memory，rom)、随机存取器(random access memory，ram)、磁盘或光盘等。
[0221]
本发明的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可
以用于保存上述实施例一所提供的图像融合方法所执行的程序代码。
[0222]
可选地，在本实施例中，上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。
[0223]
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：获取目标区域的任务数据，其中，任务数据包括：目标区域的全色影像、多光谱影像和任务标识信息，任务标识信息用于表征需要对目标区域的全色影像和多光谱影像进行融合；将任务数据进行划分，得到多个子任务数据，其中，子任务数据包括：目标区域中任意一个子区域内的子全色影像和子多光谱影像；调取每个子任务数据对应的网络资源，对每个子任务数据中的子全色影像和子多光谱影像进行融合，得到多个融合结果，其中，多个融合结果与多个子任务数据一一对应；对多个融合结果进行融合，得到目标区域的目标融合结果。
[0224]
可选地，计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码：将任务数据划分为相互独立的多个子任务数据。
[0225]
可选地，计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码：基于总网络资源确定目标区域中的多个子区域，其中，总网络资源包括每个子任务数据对应的网络资源；将任务数据划分为与多个子区域一一对应的多个子任务数据，以使多个子任务数据之间相互独立。
[0226]
可选地，计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码：响应作用于操作界面上的输入操作指令，输入子区域尺寸；响应于子区域尺寸未超过总网络资源对应的子区域尺寸阈值，将目标区域按照子区域尺寸划分为多个子区域，其中，每个子区域的尺寸未超过子区域尺寸。
[0227]
可选地，计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码：响应于子区域尺寸超过子区域尺寸阈值，在操作界面上显示提示信息，其中，提示信息用于表示将目标区域按照子区域尺寸划分为多个子区域失败；和/或响应作用于操作界面上的调整操作指令，对子区域尺寸进行调整。
[0228]
可选地，计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码：确定与每个子任务数据对应的线程，其中，多个子任务数据对应的多个线程之间相互独立；对每个子任务数据中的子全色影像和子多光谱影像进行融合，得到多个融合结果，包括：基于每个子任务数据对应的线程，对每个子任务数据中的子全色影像和子多光谱影像进行融合，得到多个融合结果。
[0229]
可选地，计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码：响应作用于操作界面上的第一选取操作指令，从多个处理器中选取出图形处理器；将图形处理器中的线程，确定为每个子任务数据对应的线程。
[0230]
可选地，计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码：确定子全色影像中像素对应的多个超像素；基于距离衰减因子和多个超像素，对像素和子多光谱影像进行融合，得到每个融合结果，其中，距离衰减因子用于表示每个超像素对对应的每个融合结果的贡献程度。
[0231]
可选地，计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码：将多个融合结果镶嵌为图像；将图像确定为目标融合结果。
[0232]
可选地，计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码：响
应作用于操作界面上的第二选取操作指令，从多个融合结果中选取部分融合结果；将部分融合结果镶嵌为图像。
[0233]
可选地，计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码：在操作界面上显示目标融合结果中的目标对象，其中，目标对象为基于对象提取模型从目标融合结果中提取出，对象提取模型为基于神经网络训练得到；在操作界面上显示目标融合结果的检测结果，其中，目标对象为基于检测模型对目标融合结果进行检测得到，检测模型为基于神经网络训练得到；在操作界面上显示目标融合结果的分类结果，其中，目标对象为基于分类模型对目标融合结果进行分类得到，分类模型为基于神经网络训练得到。
[0234]
作为一种可选的上述实施方式，在本实施例中，上述计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码：获取植被区域的任务数据，其中，任务数据包括：植被区域的全色影像、多光谱影像和任务标识信息，任务标识信息用于表征需要对植被区域的全色影像和多光谱影像进行融合；将任务数据进行划分，得到多个子任务数据，其中，子任务数据包括：植被区域中任意一个子植被区域内的子全色影像和子多光谱影像；调取每个子任务数据对应的网络资源，对每个子任务数据中的子全色影像和子多光谱影像进行融合，得到多个融合结果，其中，多个融合结果与多个子任务数据一一对应；对多个融合结果进行融合，得到植被区域的目标融合结果。
[0235]
可选地，计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码：基于融合结果确定植被区域中植被的生长状态；基于生长状态确定策略数据，其中，策略数据用于表示对植被的管理策略。
[0236]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0237]
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0238]
在本技术所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
[0239]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0240]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0241]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对相关技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机
设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0242]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。