用于视觉任务预测的方法、设备和计算机可读存储介质与流程

1.本公开内容涉及图像识别的领域，并且具体涉及视觉任务预测。


背景技术：

2.目前，多数视觉任务都使用rgb(red,green,blue)图像。基于rgb图像训练的卷积神经网络(convolutional neural network,cnn)为分类、检测和分割任务带来了显著改善。然而，随着高光谱图像(hyperspectral image,hsi)技术的快速发展，hsi图像被越来越广泛地用于提供更多信息。一般而言，光谱分辨率在10-2
λ数量级范围内的光谱图像称为高光谱图像。
3.由于拍摄的局限性，高光谱图像的空间分辨率通常比rgb图像低几倍，这使得在使用高光谱图像时会带来一些问题。首先，低空间分辨率的图像无法提供丰富的纹理特征。其次，高光谱图像中存在至少数十个波段、甚至达到上百个波段，而这些波段的一部分是多余的。有用的高光谱谱带的选择虽然困难但却很重要。最后，基于rgb图像或其他多光谱图像训练的cnn模型中的知识无法用于具有完全不同的空间特征的高光谱图像。多光谱图像是指具有多个离散光谱频带的图像，例如rgb-ir图像(rgb红外图像)。
4.通常，可以通过常规图像超分辨率方法来改善高光谱图像的细节。然而，目前常用的基于深度学习的超分辨率方法基于先验来插值像素，这需要大量的数据来训练超分辨率模型，并且超分辨率的倍数是有限的。
5.为了解决以上问题，已经实现了高光谱超分辨率(hyperspectral super-resolution，hsr)方法来提高高光谱图像的空间分辨率。hsr方法通过融合来自rgb图像或多光谱图像的纹理信息和来自高光谱图像的光谱信息来产生具有高空间分辨率和高光谱分辨率的图像。


技术实现要素：

6.在下文中给出了关于本公开内容的简要概述，以便提供关于本公开内容的某些方面的基本理解。应当理解，这个概述并不是关于本公开内容的穷举性概述。它并不是意图确定本公开内容的关键或重要部分，也不是意图限定本公开内容的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
7.根据本发明的一个方面，提供了一种用于视觉任务预测的方法，包括：合成第一图像和第二图像以获得多个合成图像，每个合成图像是基于所述第二图像所覆盖的所有频带中的一个频带得到的，其中，所述第一图像的空间分辨率高于所述第二图像的空间分辨率，并且所述第一图像的光谱分辨率低于所述第二图像的光谱分辨率；在与所述所有频带中的任意n个频带组合相对应的合成图像组合之中，确定在已经针对所述第一图像训练的代理模型上性能最好的一个或更多个合成图像组合，其中，n是大于或等于2的整数，以及其中，所述n个频带分别对应于所述第一图像的n个通道；以及使用基于所述第一图像训练的视觉任务预测模型来从所确定的一个或更多个合成图像组合之中选择在目标视觉任务上表现
最优的合成图像组合用于执行视觉任务。
8.优选地，所述方法还包括用所述一个或更多个合成图像组合、或者与所述一个或更多个合成图像组合具有相似的目标视觉任务和相近的图像内容和参数的特定合成图像来训练所述视觉任务预测模型，并且使用训练后的视觉任务预测模型来选择在目标视觉任务上表现最优的合成图像组合。
9.优选地，所述视觉任务预测模型还利用已经针对所述第一图像训练的预训练参数而被训练。
10.优选地，确定在已经针对所述第一图像训练的代理模型上性能最好的一个或更多个合成图像组合包括：将所有合成图像中的任一合成图像选择为对应于所述n个通道中的一个通道；基于与所述一个通道相对应的合成图像，利用所述代理模型来以递归的方式逐个确定与所述n个通道中的其他通道分别对应的合成图像；和基于所确定的与所述其他通道分别对应的合成图像，利用所述代理模型再次确定与所述一个通道相对应的新的合成图像。
11.优选地，利用所述代理模型来确定所述n个通道各自对应的合成图像还包括基于所述n个通道各自的调整参数的值来确定所述n个通道各自对应的合成图像，以及其中，所述调整参数的值基于最终确定的所述n个通道各自对应的合成图像、利用所述代理模型而被调整。
12.优选地，确定已经在针对所述第一图像训练的代理模型上性能最好的一个或更多个合成图像组合还包括从所述多个合成图像中去除与所述所有频带中的噪声过大的频带相对应的合成图像。
13.优选地，所述视觉任务预测模型包括两分支骨干网，并且其中，所述方法还包括将所确定的一个或更多个合成图像组合和所述第一图像分别输入所述两分支骨干网中的每个分支来执行视觉任务。
14.优选地，所述视觉任务预测模型包括多分支骨干网，并且所述方法还包括将所确定的一个或更多个合成图像组合中的每个组合以及所述第一图像分别输入所述多分支骨干网组合的每个分支来执行视觉任务。
15.根据本发明的另一个方面，提供了一种用于视觉任务预测的设备，包括：合成装置，其被配置成合成第一图像和第二图像以获得多个合成图像，每个合成图像是基于所述第二图像所覆盖的所有频带中的一个频带得到的，其中，所述第一图像的空间分辨率高于所述第二图像的空间分辨率，并且所述第一图像的光谱分辨率低于所述第二图像的光谱分辨率；确定装置，其被配置成在与所述所有频带中的任意n个频带组合相对应的合成图像组合之中，确定在已经针对所述第一图像训练的代理模型上性能最好的一个或更多个合成图像组合，其中，n是大于或等于2的整数，以及其中，所述n个频带分别对应于所述第一图像的n个通道；以及选择装置，其被配置成使用基于所述第一图像训练的视觉任务预测模型来从所确定的一个或更多个合成图像组合之中选择在目标视觉任务上表现最优的合成图像组合用于执行视觉任务。
16.根据本发明的其它方面，还提供了相应的计算机程序代码、计算机可读存储介质和计算机程序产品。
17.通过本发明的用于视觉任务预测的方法和设备，使得能够显著提高视觉任务预测
模型的效率并且改进视觉任务预测模型的性能。
18.通过以下结合附图对本发明的优选实施方式的详细说明，本发明的这些以及其他优点将更加明显。
附图说明
19.为了进一步阐述本公开内容的以上和其它优点和特征，下面结合附图对本公开内容的具体实施方式作进一步详细的说明。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分。具有相同的功能和结构的元件用相同的参考标号表示。应当理解，这些附图仅描述本公开内容的典型示例，而不应看作是对本公开内容的范围的限定。在附图中：
20.图1示意性地示出了根据本发明的方案的概览；
21.图2示意性地示出了基于rgb图像的高光谱超分辨率(hsr)方法；
22.图3示意性地示出了根据本发明的实施方式的两分支骨干网的结构；
23.图4是根据本发明的一个实施方式的用于视觉任务预测的方法的流程图；
24.图5是根据一个实施方式的确定性能最好的合成图像组合的流程图；
25.图6是根据优选实施方式的确定性能最好的合成图像组合的流程图；
26.图7根据本发明的另一个实施方式的用于视觉任务预测的方法的流程图；
27.图8是根据本发明的一个实施方式的用于视觉任务预测的设备的框图；
28.图9是其中可以实现根据本发明的实施方式的方法和/或设备的通用个人计算机的示例性结构的框图。
具体实施方式
29.在下文中将结合附图对本公开的示范性实施方式进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施方式的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。
30.在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本公开，在附图中仅仅示出了与根据本公开的方案密切相关的设备结构和/或处理步骤，而省略了与本公开关系不大的其他细节。
31.下面结合图1至图3简要说明根据本发明的方案的概览。应理解，虽然以下基于rgb(红、绿、蓝)图像进行描述，然而本发明不限于此，而是可以使用任何多光谱图像。
32.如图1所示，本发明的方案主要分为三个阶段。在第一阶段中，基于hsr方法来合成rgb图像和hsi图像以得到具有高空间分辨率和高光谱分辨率的合成图像。rgb图像的空间分辨率例如是200
×
200，而hsi图像的空间分辨率例如是20
×
20。该合成图像的纹理和光谱信息分别来自rgb图像和hsi图像。图2示意性地示出了基于rgb图像的高光谱超分辨率(hsr)方法。如图2所示，合成rgb图像与hsi图像以得到合成图像sr_hsi。
33.通过第一阶段，基于hsi图像所覆盖的所有频带组合的每个频带得到了多个合成
图像sr_hsi。
34.在第二阶段中，从基于每个频带的多个合成图像中选出多个合成图像组合，每个组合包括三个合成图像。包括三个合成图像的一个组合可以在以下描述的第三阶段中被用作rgb图像的三个通道以执行视觉任务。
35.应理解，本发明不限于包括三个合成图像的组合，而是可以包括两个或两个以上合成图像的组合。例如对于rgb-ir图像，每个组合包括四个合成图像，并且每个组合被用作合成rgb-ir图像的四个通道。
36.在第三阶段中，将原始rgb图像输入两分支骨干网中的一个分支，并且将选出的合成图像组合输入两分支骨干网中的另一个分支，然后选择在目标视觉任务上表现最优的一个或更多个合成图像组合用于执行视觉任务。
37.已知地，在视觉任务的dnn(deep neural networks，深度神经网络)模型中，骨干网(backbone)被用来提取图像特征。如图3所示，骨干网的每个分支都包括多个cnn conv，并且这些cnn事先基于rgb图像、针对目标视觉任务而被训练。这两个分支是对称布置的。在将原始rgb图像和选出的合成图像组合分别输入分支1和分支2之后，融合来自每个分支的中等程度的特征并将融合后的特征传送至fpn(feature pyramid networ，特征金字塔网络)和诸如rpn(region proposal network，区域建议网络)等目标检测下游任务模块去回归bbox或者mask信息来进行视觉预测，或者也可以传入分类或分割等其他下游任务模块。
38.优选地，在第三阶段中，在将原始rgb图像和选出的合成图像组合输入两分支骨干网中的每个分支之前，还可以事先用选出的合成图像组合来训练dnn模型。然后用训练好的dnn模型选择在目标视觉任务上表现最优的一个或更多个合成图像组合用于执行视觉任务。
39.在一个变型中，在第三阶段中也可以使用单个骨干网。在这种情况下，只需要将选出的合成图像组合输入该骨干网。
40.在另一个变型中，在第三阶段中也可以使用多分支骨干网。在这种情况下，将原始rgb图像和选出的合成图像组合中的每个组合分别输入多个分支中的每个分支。
41.通过以上描述的本发明的方案，使得能够显著提高视觉任务预测模型的效率并且改进视觉任务预测模型的性能。
42.下面结合图4至图6描述根据本发明的一个实施方式的用于视觉任务预测的方法400。
43.首先，在步骤s1中，合成第一图像和第二图像以获得多个合成图像，每个合成图像是基于所述第二图像所覆盖的所有频带中的一个频带得到的，其中，所述第一图像的空间分辨率高于所述第二图像的空间分辨率，并且所述第一图像的光谱分辨率低于所述第二图像的光谱分辨率。
44.具体地，在本实施方式中，第一图像例如是rgb图像或多光谱图像，第二图像例如是hsi图像，并且第一图像和第二图像的合成例如基于hsr方法。为了便于理解，以下基于rgb图像和hsi图像来进行描述。
45.接着，在步骤s2中，在与所述所有频带中的任意n个频带组合相对应的合成图像组合之中，确定在已经针对所述第一图像训练的代理模型上性能最好的一个或更多个合成图像组合，其中，n是大于或等于2的整数，以及其中，所述n个频带分别对应于所述第一图像的
n个通道。
46.已知地，代理模型广泛应用于工程设计中以减少优化过程的计算负荷。在本实施方式中，事先针对rgb图像训练代理模型，然后用训练好的代理模型来确定性能最好的合成图像组合。应理解，在本发明中，代理模型的性能是指例如分类准确度、平均预测水平等，并且因此性能最好是指分类准确度最高、平均预测水平最高等。下面结合图5来具体描述如何确定性能最好的合成图像组合。
47.在步骤501中，将所有合成图像中的任一合成图像选择为对应于n个通道中的一个通道。具体地，在本实施方式中，将在步骤s1中获得的多个合成图像中的任一合成图像选择为rgb图像的三个颜色通道中的一个通道，例如蓝色通道。由于每个合成图像来自于hsi图像的一个频带，因此选择任一合成图像例如可以基于hsi图像所覆盖的频带索引范围来进行搜索。
48.例如，假设hsi图像覆盖了300个频带，那么频带索引范围为[0,299]。每个索引对应于一个合成图像。因此，在步骤501中，例如任意地选择频带索引“8”所对应的合成图像作为蓝色通道。
[0049]
接着，在步骤502中，基于与一个通道相对应的合成图像，利用代理模型来以递归的方式逐个确定与n个通道中的其他通道分别对应的合成图像。具体地，在本实施方式中，基于在步骤501中确定的蓝色通道所对应的频带索引“8”，利用代理模型以递归的方式来在整个频带索引范围[0,299]中确定与绿色和红色通道对应的频带索引，例如红色通道对应的频带索引为“117”，并且绿色通道对应的频带索引为“70”。
[0050]
最后，在步骤503中，基于所确定的与其他通道分别对应的合成图像，利用代理模型再次确定与所述一个通道相对应的新的合成图像。具体地，在本实施方式中，例如基于在步骤502中确定的红色通道对应索引“117”和绿色通道对应索引“70”，利用代理模型再次在整个频带索引范围[0,299]中确定蓝色通道对应索引为“5”。
[0051]
优选地，除了频带索引，还可以基于n个通道各自的调整参数值来确定n个通道的对应合成图像，并且调整参数值还基于最终确定的n个通道的对应合成图像、利用所述代理模型而被调整。
[0052]
图6是根据一个优选实施方式的确定性能最好的合成图像组合的流程图。
[0053]
在步骤601中，将所有合成图像中的任一合成图像选择为对应于n个通道中的一个通道,并且随机确定该任一合成图像的调整参数。具体地，在本实施方式中，调整参数包括加权、均衡化以及扩展步长。然而，应理解，本发明不限于此，而是调整参数也可以包括其他合适的参数，例如重尺度化(rescaling)。
[0054]
加权是指对合成图像的每个像素值是否进行乘以权值的操作。如果操作数为“0”，则不乘以权值，而如果操作数为“1”，则乘以权值。应理解，权值可以通过多种方法来确定，例如可以根据相机型号来确定。假设权值确定为0.3，那么如果操作数为“1”，则对合成图像中的每个像素值乘以0.3。均衡化是指是否对频带进行均衡化操作。如果操作数为“真”，则进行均衡化操作，而如果操作数为“假”，则不进行均衡化操作。扩展步长是指为了进行均值滤波而纳入的相邻频带的数目，其范围例如是[0,5]。在步骤601中，例如，在选择频带索引“8”的对应合成图像作为蓝色通道之后，还随机地确定该频带索引“8”对应的调整参数，例如加权的操作数“0”、均衡化的操作数“真”以及扩展步长“3”。
[0055]
接着，在步骤602中，基于与一个通道相对应的合成图像，利用代理模型来以递归的方式逐个确定与n个通道中的其他通道分别对应的合成图像及其相应的调整参数。具体地，在本实施方式中，基于频带索引“8”的对应合成图像、加权的操作数“1”、均衡化的操作数“真”以及扩展步长“2”作为蓝色通道的参数，利用代理模型以递归的方式来在整个频带索引范围[0,299]中确定与绿色通道对应的频带索引“70”的对应合成图像、加权的操作数“1”、均衡化的操作数“假”以及扩展步长“0”以及与红色通道对应的频带索引“117”的对应合成图像、加权的操作数“0”、均衡化的操作数“真”以及扩展步长“1”。
[0056]
最后，在步骤603中，基于所确定的与其他通道分别对应的合成图像及相应调整参数，利用代理模型再次确定与所述一个通道相对应的新的合成图像及其相应调整参数。具体地，在本实施方式中，基于所确定的绿色通道和红色通道各自的频带索引的对应合成图像、加权的操作数、均衡化的操作数和扩展步长值，利用代理模型再次确定与蓝色通道对应的频带索引为“5”、加权的操作数为“1”、均衡化的操作数为“真”和扩展步长值为“2”。最终的确定结果如下表1所示。
[0057] 频带索引加权均衡化扩展步长蓝色通道51真2绿色通道701假0红色通道1170真1
[0058]
表1
[0059]
以上表1中的参数集合，代表了所确定的一个合成图像组合。应理解，在步骤s2中，可以根据需要确定在代理模型上性能最好的一个合成图像组合，也可以确定在代理模型上性能最好的多个合成图像组合。
[0060]
优选地，在图5和6所示的确定性能最好的合成图像组合的流程图中，还包括从多个合成图像中去除与所有频带中的噪声过大的频带相对应的合成图像的步骤501’。
[0061]
例如，可以根据主观图像质量评价标准和客观图像质量评价标准来去除与噪声过大的频带相对应的合成图像。客观图像质量评价标准例如是psnr(peak signal-to-noise ratio，峰值信噪比)。psnr是一种常用的客观指标，通常用来衡量有损变换的图像质量。可以通过图片间的最大可能像素值l和均方误差mse来定义hsr合成图像。在本实施方式中，假设hsr合成图像为i并且重建图像(即三个合成图像的组合所确立的三通道图像)为两者的像素都是n，则mse和pnsr(db)如下式所示：
[0062][0063][0064]
对于每一张图片，如果rgb图像的峰值信噪比与hsr合成图像的峰值信噪比之差大于特定阈值thres_psnr，则将删除该合成图像。阈值thres_psnr的选取可以参考以下标准:
[0065]
psnr》40，非常接近原始图像；
[0066]
psnr＝30-40，质量好，失真可接受；
[0067]
psnr＝20-30，质量差；
[0068]
psnr《20，不可接受。
[0069]
例如，对于实例分割检测任务，可以选取阈值thres_psnr为25。应理解，阈值的选取与实际任务相关并且对于每种任务是不同的。
[0070]
应理解，虽然以上以psnr为例进行描述，但是客观图像质量评价标准不限于psnr，而是还包括其他类似的方法，例如结构相似度方法。
[0071]
主观图像质量评价标准例如可以采用视觉评价因子。视觉评价因子vq(vision quality)的选取可以参考如下标准：
[0072]
vq＝100，超分质量视觉上完美，无噪声；
[0073]
vq＝0，超分质量视觉上无效果；
[0074]
vq＝(0，100)，超分质量在上述两者之间。
[0075]
对每一张图片的超分结果，人工评价其vq，然后删掉vq《thres_vq的图片。根据实际经验，thres_vq值例如可以选为20。
[0076]
以上介绍了去除噪声过大的频带的示例。应理解，本发明不限于以上去除噪声图片方法，而是也可以使用其他合适的现有去除噪声图片方法。
[0077]
返回图4，最后，在步骤s3中，使用基于所述第一图像训练的视觉任务预测模型来从所确定的一个或更多个合成图像组合之中选择在目标视觉任务上表现最优的合成图像组合用于执行视觉任务。具体地，在本实施方式中，视觉任务预测模型例如是dnn模型。通过将在步骤s2确定的一个或更多个合成图像组合输入dnn模型，来选择在目标视觉任务上表现最优的合成图像组合来执行视觉任务。
[0078]
应理解，如果没有时间要求，则可以选择多个合成图像组合来执行视觉任务；相反，如果有时间要求，则可以选择精度最高的一个合成图像组合来执行视觉任务。
[0079]
图7是根据本发明的另一个实施方式的用于视觉任务预测的方法的流程图。图7的方法700与图4的方法400相似，不同之处在于用图7的步骤s3’和s3”代替图4的步骤s3。
[0080]
在步骤s3’中，用所述一个或更多个合成图像组合、或者与所述一个或更多个合成图像组合具有相似的目标视觉任务和相近的图像内容和参数的特定合成图像来训练基于所述第一图像训练的视觉任务预测模型。具体地，在本实施方式中，相似的目标视觉任务例如可以是树木分类，对于目标是松树的检测，也可以用于桦树检测。相近的图像内容是指拍摄环境、拍摄内容和拍摄参数相似。
[0081]
优选地，对视觉任务预测模型的训练不仅使用所述一个或更多个合成图像组合、或者与所述一个或更多个合成图像组合具有相似的目标视觉任务和相近的图像内容和参数的特定合成图像，还使用已经针对rgb图像或其他多光谱图像训练的预训练参数。
[0082]
接着，在步骤s3”中，通过将所确定的一个或更多个合成图像组合和第一图像分别输入训练后的视觉任务预测模型的两分支骨干网中的每个分支，来从所确定的一个或更多个合成图像组合之中选择在目标视觉任务上表现最优的合成图像组合用于执行视觉任务。具体地，在本实施方式中，将一个或更多个合成图像组合和rgb图像分别输入例如图3所示的两分支骨干网组合的每个分支，来选择表现最优的合成图像组合。
[0083]
通过以上描述的方法400和方法700，使得能够显著提高视觉任务预测模型的效率并且改进视觉任务预测模型的性能。
[0084]
例如，在实例分割检测任务上，原始rgb图像的miou(mean intersection over union，平均交并比)＝0.678，而合成图像的miou＝0.682。
[0085]
以上所讨论的方法可以完全由计算机可执行的程序来实现，也可以部分地或完全地使用硬件和/或固件来实现。当其用硬件和/或固件实现时，或者将计算机可执行的程序载入可运行程序的硬件设备时，则实现了下文将要描述的用于视觉任务预测的设备。下文中，在不重复上文中已经讨论的一些细节的情况下给出这些设备的概要，但是应当注意，虽然这些设备可以执行前文所描述的方法，但是所述方法不一定采用所描述的设备的那些部件或不一定由那些部件执行。
[0086]
图8示出了根据一个实施方式的用于视觉任务预测的设备800，其包括合成装置801、确定装置802和选择装置803。合成装置801用于合成第一图像和第二图像以获得多个合成图像，每个合成图像是基于所述第二图像所覆盖的所有频带中的一个频带得到的，其中，所述第一图像的空间分辨率高于所述第二图像的空间分辨率，并且所述第一图像的光谱分辨率低于所述第二图像的光谱分辨率。确定装置802用于在与所述所有频带中的任意n个频带组合相对应的合成图像组合之中，确定在已经针对所述第一图像训练的代理模型上性能最好的一个或更多个合成图像组合，其中，n是大于或等于2的整数，以及其中，所述n个频带分别对应于所述第一图像的n个通道。选择装置803用于使用基于所述第一图像训练的视觉任务预测模型来从所确定的一个或更多个合成图像组合之中选择在目标视觉任务上表现最优的合成图像组合用于执行视觉任务。
[0087]
优选地，设备800还包括训练装置803’。训练装置803’用于用所述一个或更多个合成图像组合、或者与所述一个或更多个合成图像组合具有相似的目标视觉任务和相近的图像内容和参数的特定合成图像，来在执行视觉任务之前预先训练所述视觉任务预测模型。
[0088]
图8所示的用于视觉任务预测的设备800对应于图4至图7所示的用于视觉任务预测的方法400、700。因此，用于视觉任务预测的设备800中的各装置的相关细节已经在对图4至图7的用于视觉任务预测的方法400、700的描述中详细给出，在此不再赘述。
[0089]
上述装置中各个组成模块、单元可通过软件、固件、硬件或其组合的方式进行配置。配置可使用的具体手段或方式为本领域技术人员所熟知，在此不再赘述。在通过软件或固件实现的情况下，从存储介质或网络向具有专用硬件结构的计算机(例如图9所示的通用计算机900)安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等。
[0090]
图9是其中可以实现根据本发明的实施方式的方法和/或设备的通用个人计算机的示例性结构的框图。如图9所示，中央处理单元(cpu)901根据只读存储器(rom)902中存储的程序或从存储部分908加载到随机存取存储器(ram)903的程序执行各种处理。在ram 903中，也根据需要存储当cpu 901执行各种处理等等时所需的数据。cpu 901、rom 902和ram 903经由总线904彼此连接。输入/输出接口905也连接到总线904。
[0091]
下述部件连接到输入/输出接口905：输入部分906(包括键盘、鼠标等等)、输出部分907(包括显示器，比如阴极射线管(crt)、液晶显示器(lcd)等，和扬声器等)、存储部分908(包括硬盘等)、通信部分909(包括网络接口卡比如lan卡、调制解调器等)。通信部分909经由网络比如因特网执行通信处理。根据需要，驱动器910也可连接到输入/输出接口905。可移除介质911比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器910上，使得从中读出的计算机程序根据需要被安装到存储部分908中。
[0092]
在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可移除介质911安装构成软件的程序。
[0093]
本领域的技术人员应当理解，这种存储介质不局限于图9所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可移除介质911。可移除介质911的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(cd-rom)和数字通用盘(dvd))、磁光盘(包含迷你盘(md)(注册商标))和半导体存储器。或者，存储介质可以是rom 902、存储部分908中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。
[0094]
本发明还提出了相应的计算机程序代码、一种存储有机器可读取的指令代码的计算机程序产品。所述指令代码由机器读取并执行时，可执行上述根据本发明实施方式的方法。
[0095]
相应地，被配置为承载上述存储有机器可读取的指令代码的程序产品的存储介质也包括在本发明的公开中。所述存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。
[0096]
通过以上描述，本公开的实施方式提供了以下的技术方案，但不限于此。
[0097]
附记1.一种用于视觉任务预测的方法，包括：
[0098]
合成第一图像和第二图像以获得多个合成图像，每个合成图像是基于所述第二图像所覆盖的所有频带中的一个频带得到的，其中，所述第一图像的空间分辨率高于所述第二图像的空间分辨率，并且所述第一图像的光谱分辨率低于所述第二图像的光谱分辨率；
[0099]
在与所述所有频带中的任意n个频带组合相对应的合成图像组合之中，确定在已经针对所述第一图像训练的代理模型上性能最好的一个或更多个合成图像组合，其中，n是大于或等于2的整数，以及其中，所述n个频带分别对应于所述第一图像的n个通道；以及
[0100]
使用基于所述第一图像训练的视觉任务预测模型来从所确定的一个或更多个合成图像组合之中选择在目标视觉任务上表现最优的合成图像组合用于执行视觉任务。
[0101]
附记2.根据附记1的方法，还包括用所述一个或更多个合成图像组合、或者与所述一个或更多个合成图像组合具有相似的目标视觉任务和相近的图像内容和参数的特定合成图像来训练所述视觉任务预测模型，并且使用训练后的视觉任务预测模型来选择在目标视觉任务上表现最优的合成图像组合。
[0102]
附记3.根据附记2的方法，其中，所述视觉任务预测模型还利用已经针对所述第一图像训练的预训练参数而被训练。
[0103]
附记4.根据附记1的方法，其中，确定在已经针对所述第一图像训练的代理模型上性能最好的一个或更多个合成图像组合包括：
[0104]
将所有合成图像中的任一合成图像选择为对应于所述n个通道中的一个通道；
[0105]
基于与所述一个通道相对应的合成图像，利用所述代理模型来以递归的方式逐个确定与所述n个通道中的其他通道分别对应的合成图像；和
[0106]
基于所确定的与所述其他通道分别对应的合成图像，利用所述代理模型再次确定与所述一个通道相对应的新的合成图像。
[0107]
附记5.根据附记4的方法，其中，利用所述代理模型来确定所述n个通道各自对应的合成图像还包括基于所述n个通道各自的调整参数的值来确定所述n个通道各自对应的合成图像，以及其中，所述调整参数的值基于最终确定的所述n个通道各自对应的合成图
像、利用所述代理模型而被调整。
[0108]
附记6.根据附记5的方法，其中，所述调整参数包括：加权、均衡化以及扩展步长。
[0109]
附记7.根据附记1至6中任一项的方法，其中，确定已经在针对所述第一图像训练的代理模型上性能最好的一个或更多个合成图像组合还包括从所述多个合成图像中去除与所述所有频带中的噪声过大的频带相对应的合成图像。
[0110]
附记8.根据附记7的方法，其中，根据主观图像质量评价标准和客观图像质量评价标准来去除所述噪声过大的频带。
[0111]
附记9.根据附记8的方法，其中，所述客观图像质量评价标准是峰值信噪比，并且所述主观图像质量评价标准是视觉评价因子。
[0112]
附记10.根据附记1至6中任一项的方法，其中，所述视觉任务预测模型包括两分支骨干网，并且其中，所述方法还包括将所确定的一个或更多个合成图像组合和所述第一图像分别输入所述两分支骨干网中的每个分支来执行视觉任务。
[0113]
附记11.根据附记1至6中任一项的方法，其中，所述视觉任务预测模型包括多分支骨干网，并且其中，所述方法还包括将所确定的一个或更多个合成图像组合中的每个组合以及所述第一图像分别输入所述多分支骨干网中的每个分支来执行视觉任务。
[0114]
附记12.根据附记1至6中任一项的方法，其中，利用高光谱超分辨率hsr方法合成所述第一图像和所述第二图像。
[0115]
附记13.根据附记1至6中任一项的方法，其中，所述第一图像是rgb图像或者其他多光谱图像，并且所述第二图像是高光谱图像。
[0116]
附记14.一种用于视觉任务预测的设备，包括：
[0117]
合成装置，其被配置成合成第一图像和第二图像以获得多个合成图像，每个合成图像是基于所述第二图像所覆盖的所有频带中的一个频带得到的，其中，所述第一图像的空间分辨率高于所述第二图像的空间分辨率，并且所述第一图像的光谱分辨率低于所述第二图像的光谱分辨率；
[0118]
确定装置，其被配置成在与所述所有频带中的任意n个频带组合相对应的合成图像组合之中，确定在已经针对所述第一图像训练的代理模型上性能最好的一个或更多个合成图像组合，其中，n是大于或等于2的整数，以及其中，所述n个频带分别对应于所述第一图像的n个通道；以及
[0119]
选择装置，其被配置成使用基于所述第一图像训练的视觉任务预测模型来从所确定的一个或更多个合成图像组合之中选择在目标视觉任务上表现最优的合成图像组合用于执行视觉任务。
[0120]
附记15.根据附记14的设备，还包括训练装置，所述训练装置被配置成用所述一个或更多个合成图像组合、或者与所述一个或更多个合成图像组合具有相似的目标视觉任务和相近的图像内容和参数的特定合成图像来训练所述视觉任务预测模型，其中，所述选择装置被配置成使用已经用所述训练装置训练的视觉任务预测模型来选择在目标视觉任务上表现最优的合成图像组合。
[0121]
附记16.根据附记15的设备，其中，所述训练装置还被配置成还利用已经针对所述第一图像训练的预训练参数来训练所述视觉任务预测模型。
[0122]
附记17.根据附记14的设备，其中，所述确定装置还包括：
[0123]
第一通道选择装置，其被配置成将所有合成图像中的任一合成图像选择为对应于所述n个通道中的一个通道；
[0124]
其余通道确定装置，其被配置成基于与所述一个通道相对应的合成图像，利用所述代理模型来以递归的方式逐个确定与所述n个通道中的其他通道分别对应的合成图像；和
[0125]
第一通道确定装置，其被配置成基于所确定的与所述其他通道分别对应的合成图像，利用所述代理模型再次确定与所述一个通道相对应的新的合成图像。
[0126]
附记18.根据附记17的设备，其中，所述确定装置还被配置成还基于所述n个通道各自的调整参数的值来确定所述n个通道各自的对应合成图像，以及其中，所述调整参数的值基于最终确定的所述n个通道各自对应的合成图像、利用所述代理模型而被调整。
[0127]
附记19.根据附记18的设备，其中，所述调整参数包括：加权、均衡化以及扩展步长。
[0128]
附记20.一种计算机可读存储介质，所述计算机可读存储介质存储有能够由处理器运行来执行以下操作的程序：
[0129]
合成第一图像和第二图像以获得多个合成图像，每个合成图像是基于所述第二图像所覆盖的所有频带中的一个频带得到的，其中，所述第一图像的空间分辨率高于所述第二图像的空间分辨率，并且所述第一图像的光谱分辨率低于所述第二图像的光谱分辨率；
[0130]
在与所述所有频带中的任意n个频带组合相对应的合成图像组合之中，确定在已经针对所述第一图像训练的代理模型上性能最好的一个或更多个合成图像组合，其中，n是大于或等于2的整数，以及其中，所述n个频带分别对应于所述第一图像的n个通道；以及
[0131]
使用基于所述第一图像训练的视觉任务预测模型来从所确定的一个或更多个合成图像组合之中选择在目标视觉任务上表现最优的合成图像组合用于执行视觉任务。
[0132]
最后，还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。此外，在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0133]
以上虽然结合附图详细描述了本发明的实施方式，但是应当明白，上面所描述的实施方式只是被配置为说明本发明，而并不构成对本发明的限制。对于本领域的技术人员来说，可以对上述实施方式作出各种修改和变更而没有背离本发明的实质和范围。因此，本发明的范围仅由所附的权利要求及其等效含义来限定。