一种基于多任务学习的天气识别方法及系统

1.本发明涉及数据处理技术领域，并且更具体地，涉及一种基于多任务学习的天气识别方法及系统。


背景技术：

2.室外智能监控系统由大规模摄像机、图像传输、图像存储等组成。基于智能监控系统获取到海量室外场景图像，可用于实现智能实时目标监测、行为识别、异常及时预警等工作，在环境保护、智能交通等方面能够发挥重大作用。
3.在智能监控领域，系统是基于清晰的图像实现目标检测、识别及跟踪等任务，然而在实际情况中，相机拍摄的照片会受到雨、雪、雾等恶劣天气的影响从而引入噪声。比如在智能交通应用中，雨雪天气是的路面湿滑，影响车辆行驶速度，造成道路拥堵或交通事故，此时，系统需要感知捕获场景中的天气信息，正确地控制交通信号哦，减弱雨雪天气对交通的影响。因此，在实际应用场景下，及时、准确的获取天气状况非常重要。传统的天气信息获取主要依赖硬件传感器采集天气数据，通过人工观察判别天气。随着近年来计算机视觉研究取得了巨大的成功，逐渐有研究人员将天气识别视为计算机视觉任务，即对室外智能监控系统获取到的图像进行分析，对图像中的天气进行自动分类，识别出其中的天气信息。
4.天气分类不同于通用的图像分类任务，其难点在于不同类别的天气图像中可能存在相同的目标物体，这使得传统的特征提取方法在图像中难以取到有效的天气特征。


技术实现要素：

5.本发明提出一种基于多任务学习的天气识别方法及系统，以解决如何快速高效地识别天气状态的问题。
6.为了解决上述问题，根据本发明的一个方面，提供了一种基于多任务学习的天气识别方法，所述方法包括：
7.将获取的目标天气图像输入至用于天气识别的卷积神经网络模型的共享卷积层，以获取共享天气特征；
8.将所述共享天气特征输入至所述卷积神经网络模型的天气对象分割任务框架中进行天气对象的分割，以获取天气对象分割结果；
9.将所述天气对象分割结果和共享天气特征输入至所述卷积神经网络模型的天气分类任务框架中进行天气分类，获取天气标签；
10.根据所述天气对象分割结果和天气标签确定针对所述目标天气图像识别出的天气状态信息。
11.优选地，其中所述将所述共享天气特征输入至所述卷积神经网络模型的天气对象分割任务框架中进行天气对象的分割，以获取天气对象分割结果，包括：
12.根据所述共享天气特征进行多尺度特征的提取，获取多尺度天气特征；
13.对所述多尺度天气特征进行上采样操作，以将特征图的尺寸还原至原图像大小；
14.对恢复尺寸大小的特征图进行逐像素级天气对象分类，获取与所述目标天气图像尺寸一致的天气对象分割结果。
15.优选地，其中所述根据所述共享天气特征进行多尺度特征的提取，获取多尺度天气特征，包括：
16.利用空洞卷积进行多尺度特征的提取，所述空洞卷积由一个1x1卷积和三个3x3的采样率为rates＝{6,12,18}的空洞卷积组成，通过将1x1卷积和三个空洞卷积层提取到的特征基于拼接进行融合，获取多尺度天气特征。
17.优选地，其中所述对所述多尺度天气特征进行上采样操作，以将特征图的尺寸还原至原图像大小，包括：
18.过双线性插值方法对所述多尺度天气特征通进行上采样操作，在特征图像素点之间插入新的元素，以将特征图的尺寸还原至输入图像大小。
19.优选地，其中所述对恢复尺寸大小的特征图进行逐像素级天气对象分类，获取与所述目标天气图像尺寸一致的天气对象分割结果，包括：
20.对恢复尺寸大小的特征图的每个像素进行softmax分类，判断出中每个像素所属类别，汇合所有像素分类最终得到与输入图像尺寸一致的天气对象分割结果。
21.优选地，其中所述将所述天气对象分割结果和共享天气特征输入至所述卷积神经网络模型的天气分类任务框架中进行天气分类，获取天气标签，包括:
22.对所述共享天气特征和所述天气对象分割结果进行特征融合，获取天气融合特征；
23.对所述天气融合特征进行池化操作，获取天气特征表示向量；
24.将所述天气特征表示向量输入至分类器进行天气标签分类，获取天气标签。
25.优选地，其中所述对所述天气融合特征进行池化操作，获取天气特征表示向量，包括：
[0026][0027]
其中，表示对第k个通道的特征图进行广义平均池化的结果，v
(g)
为对天气特征进行池化后得到的天气特征表示向量；xk为第k个特征通道的激活图；每个特征图都有不同的池化参数pk，由训练获得。
[0028]
根据本发明的另一个方面，提供了一种基于多任务学习的天气识别系统，所述系统包括：
[0029]
共享天气特征获取单元，用于将获取的目标天气图像输入至用于天气识别的卷积神经网络模型的共享卷积层，以获取共享天气特征；
[0030]
天气对象分割单元，用于将所述共享天气特征输入至所述卷积神经网络模型的天气对象分割任务框架中进行天气对象的分割，以获取天气对象分割结果；
[0031]
天气分类单元，用于将所述天气对象分割结果和共享天气特征输入至所述卷积神经网络模型的天气分类任务框架中进行天气分类，获取天气标签；
[0032]
天气状态信息获取单元，用于根据所述天气对象分割结果和天气标签确定针对所述目标天气图像识别出的天气状态信息。
[0033]
优选地，其中所述天气对象分割单元，将所述共享天气特征输入至所述卷积神经网络模型的天气对象分割任务框架中进行天气对象的分割，以获取天气对象分割结果，包括：
[0034]
根据所述共享天气特征进行多尺度特征的提取，获取多尺度天气特征；
[0035]
对所述多尺度天气特征进行上采样操作，以将特征图的尺寸还原至原图像大小；
[0036]
对恢复尺寸大小的特征图进行逐像素级天气对象分类，获取与所述目标天气图像尺寸一致的天气对象分割结果。
[0037]
优选地，其中所述天气对象分割单元，根据所述共享天气特征进行多尺度特征的提取，获取多尺度天气特征，包括：
[0038]
利用空洞卷积进行多尺度特征的提取，所述空洞卷积由一个1x1卷积和三个3x3的采样率为rates＝{6,12,18}的空洞卷积组成，通过将1x1卷积和三个空洞卷积层提取到的特征基于拼接进行融合，获取多尺度天气特征。
[0039]
优选地，其中所述天气对象分割单元，对所述多尺度天气特征进行上采样操作，以将特征图的尺寸还原至原图像大小，包括：
[0040]
过双线性插值系统对所述多尺度天气特征通进行上采样操作，在特征图像素点之间插入新的元素，以将特征图的尺寸还原至输入图像大小。
[0041]
优选地，其中所述天气对象分割单元，对恢复尺寸大小的特征图进行逐像素级天气对象分类，获取与所述目标天气图像尺寸一致的天气对象分割结果，包括：
[0042]
对恢复尺寸大小的特征图的每个像素进行softmax分类，判断出中每个像素所属类别，汇合所有像素分类最终得到与输入图像尺寸一致的天气对象分割结果。
[0043]
优选地，其中所述天气分类单元，将所述天气对象分割结果和共享天气特征输入至所述卷积神经网络模型的天气分类任务框架中进行天气分类，获取天气标签，包括:
[0044]
对所述共享天气特征和所述天气对象分割结果进行特征融合，获取天气融合特征；
[0045]
对所述天气融合特征进行池化操作，获取天气特征表示向量；
[0046]
将所述天气特征表示向量输入至分类器进行天气标签分类，获取天气标签。
[0047]
优选地，其中所述天气分类单元，对所述天气融合特征进行池化操作，获取天气特征表示向量，包括：
[0048][0049]
其中，表示对第k个通道的特征图进行广义平均池化的结果，v
(g)
为对天气特征进行池化后得到的天气特征表示向量；xk为第k个特征通道的激活图；每个特征图都有不同的池化参数pk，由训练获得。
[0050]
本发明提供了一种基于多任务学习的天气识别方法及系统，包括：将获取的目标天气图像输入至用于天气识别的卷积神经网络模型的共享卷积层，以获取共享天气特征；将所述共享天气特征输入至所述卷积神经网络模型的天气对象分割任务框架中进行天气对象的分割，以获取天气对象分割结果；将所述天气对象分割结果和共享天气特征输入至所述卷积神经网络模型的天气分类任务框架中进行天气分类，获取天气标签；根据所述天气对象分割结果和天气标签确定针对所述目标天气图像识别出的天气状态信息。本发明通
过建立多任务深度学习框架，联合学习处理天气标签分类和天气对象分割任务，由于两个任务之间的内在联系，可以在共享层训练学习提取到更具有天气识别信息的天气特征，并综合分类和分割任务得到更丰富的天气状态信息；天气分类任务基于可训练的池化技术，对不同通道的天气特征图采用不同的广义平局池化参数进行池化，解决全局最大池化和平均池化对天气特征池化的不全面性，以提取具备更充分天气信息的特征向量用于分类；天气对象分割任务基于多尺度特征提取技术，在特征提取的过程中考虑到不同尺度的天气目标对象，对各尺度天气对象进行有效特征提取，用于天气对象分割任务中的像素级分类；本发明的方法可以应用于室外监控场景图像中的天气状态识别，能够高效准确地识别出天气状态。
附图说明
[0051]
通过参考下面的附图，可以更为完整地理解本发明的示例性实施方式：
[0052]
图1为根据本发明实施方式的基于多任务学习的天气识别方法100的流程图；
[0053]
图2为根据本发明实施方式的基于卷积神经网络的多任务深度学习框架的示意图；
[0054]
图3为根据本发明实施方式的标基于多尺度特征提取的天气对象分割分支的流程图；
[0055]
图4为根据本发明实施方式的多尺度特征提取流程图；
[0056]
图5为根据本发明实施方式的基于可训练池化方法的天气分类任务分支的流程图。
具体实施方式
[0057]
现在参考附图介绍本发明的示例性实施方式，然而，本发明可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地公开本发明，并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中，相同的单元/元件使用相同的附图标记。
[0058]
除非另有说明，此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外，可以理解的是，以通常使用的词典限定的术语，应当被理解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的意义。
[0059]
图1为根据本发明实施方式的基于多任务学习的天气识别方法100的流程图。如图1所示，本发明实施方式提供的基于多任务学习的天气识别方法，通过建立多任务深度学习框架，联合学习处理天气标签分类和天气对象分割任务，由于两个任务之间的内在联系，可以在共享层训练学习提取到更具有天气识别信息的天气特征，并综合分类和分割任务得到更丰富的天气状态信息；天气分类任务基于可训练的池化技术，对不同通道的天气特征图采用不同的广义平局池化参数进行池化，解决全局最大池化和平均池化对天气特征池化的不全面性，以提取具备更充分天气信息的特征向量用于分类；天气对象分割任务基于多尺度特征提取技术，在特征提取的过程中考虑到不同尺度的天气目标对象，对各尺度天气对象进行有效特征提取，用于天气对象分割任务中的像素级分类；本发明的方法可以应用于
室外监控场景图像中的天气状态识别，能够高效准确地识别出天气状态。本发明实施方式提供的基于多任务学习的天气识别方法100，从步骤101 处开始，在步骤101将获取的目标天气图像输入至用于天气识别的卷积神经网络模型的共享卷积层，以获取共享天气特征。
[0060]
多任务学习的目标是在一个框架中同时处理两个相关的任务，联合学习结构可以通过探索两个任务之间共享信息使两个相关任务互助互利。总之，通过探索不同任务之间的内在关系，多任务学习框架在多领域取得了成功。因此，本发明中，为探索更有效、丰富的天气特征，设计基于深度学习网络的多任务框架，同时处理天气标签分类任务和天气信息(例如图像中的阴影、蓝天等带有天气信息的目标物体)分割任务，探索天气标签分类与天气信息分割任务之间的内在关系，优化任务间共享天气特征的提取，以实现面向室外监控场景图像的天气识别。
[0061]
本发明所设计的多任务天气识别框架包括三部分，共享特征提取层、天气标签分类任务分支和天气信息分割任务分支。共享特征提取层采用现有卷积神经网络结构的卷积和池化层。在共享卷积层提取天气特征之后，网络框架被分别分成了天气分类任务和天气信息分割任务，天气特征同时输入两个任务之中。考虑到天气信息分割任务中的各类天气对象均能为天气类别提供了分类线索，为进一步促进分类任务，将分割任务中获取到的天气特征与分类任务中获取到的天气特征相融合，用融合后的天气特征来进行天气分类。
[0062]
在本发明中，基于多任务学习的天气识别方法采用基于卷积神经网络的多任务深度学习框架，除共享特征提取层之外，主要包括基于可训练池化技术的天气分类分支和基于多尺度特征提取的天气对象分割分支。
[0063]
如图2所示，为基于卷积神经网络的多任务深度学习框架的流程，具体过程如下：
[0064]
1.将室外监控图像输入至共享卷积层，提取到共享天气特征，分别同时输入至天气分类分支和天气对象分割任务分支中；
[0065]
2.在天气标签分类任务分支中，进一步对天气特征进行提取，并采用可训练池化方法对提取到的天气特征进行池化操作，得到最终的天气特征表征向量，用于分类，该分支最终输出图像中所对应的天气标签；
[0066]
3.在天气对象分割任务分支中，进一步对天气对象进行特征提取，并采用多尺度特征提取方法，根据多尺度特征对天气对象进行语义分割，该分支最终输出天气对象分割图，与所述天气标签一并作为针对所输入的室外图像识别出的天气状态信息。
[0067]
在本发明中，将天气图像输入至共享卷积层，提取到共享天气特征，并分别输入至天气分类分支和天气对象分割任务分支中。天气图像可以为室外监控图像。
[0068]
在步骤102，将所述共享天气特征输入至所述卷积神经网络模型的天气对象分割任务框架中进行天气对象的分割，以获取天气对象分割结果。
[0069]
优选地，其中所述将所述共享天气特征输入至所述卷积神经网络模型的天气对象分割任务框架中进行天气对象的分割，以获取天气对象分割结果，包括：
[0070]
根据所述共享天气特征进行多尺度特征的提取，获取多尺度天气特征；
[0071]
对所述多尺度天气特征进行上采样操作，以将特征图的尺寸还原至原图像大小；
[0072]
对恢复尺寸大小的特征图进行逐像素级天气对象分类，获取与所述目标天气图像尺寸一致的天气对象分割结果。
[0073]
优选地，其中所述根据所述共享天气特征进行多尺度特征的提取，获取多尺度天
气特征，包括：
[0074]
利用空洞卷积进行多尺度特征的提取，所述空洞卷积由一个1x1卷积和三个3x3的采样率为rates＝{6,12,18}的空洞卷积组成，通过将1x1卷积和三个空洞卷积层提取到的特征基于拼接进行融合，获取多尺度天气特征。
[0075]
优选地，其中所述对所述多尺度天气特征进行上采样操作，以将特征图的尺寸还原至原图像大小，包括：
[0076]
过双线性插值方法对所述多尺度天气特征通进行上采样操作，在特征图像素点之间插入新的元素，以将特征图的尺寸还原至输入图像大小。
[0077]
优选地，其中所述对恢复尺寸大小的特征图进行逐像素级天气对象分类，获取与所述目标天气图像尺寸一致的天气对象分割结果，包括：
[0078]
对恢复尺寸大小的特征图的每个像素进行softmax分类，判断出中每个像素所属类别，汇合所有像素分类最终得到与输入图像尺寸一致的天气对象分割结果。
[0079]
天气对象分割属于语义分割，需要进行像素级的识别图像，即标出图像中每个像素所对应的对象类别，例如，标出图像中哪一区域是天空区域，哪一区域表示阴影区域等。而不同的天气线索在室外监控场景图像中所占的区域大小不一致。比如，在一张天气状态为晴天的图像中，蓝天区域一般比较大，而太阳照射的阴影区域一般比较小。在天气对象分割任务中，天气对象存在大小不一、同时对不同天气对象进行有效特征提取困难的问题。针对以上问题，本发明在天气对象分割任务中考虑不同尺度的天气目标，采用多尺度天气对象特征提取技术，同时对各尺度的天气对象进行有效特征提取，用于最终分割任务中的像素级分类。
[0080]
在本发明中，基于多尺度特征提取的天气对象分割，包括：
[0081]
(1)首先，将获取的共享天气特征输入至多尺度特征提取模块进行多尺度特征的提取；
[0082]
(2)然后，对获取的多尺度特征图进行上采样操作，以达到原图像大小的尺寸；
[0083]
(3)最后，对恢复尺寸大小的特征图进行逐像素级天气对象分类，得到与原图像尺寸一致的天气对象分割图，即天气对象分割结果。
[0084]
如图3所示，为基于多尺度特征提取的天气对象分割任务的流程，具体操作步骤如下：
[0085]
1.将共享卷积层提取到的共享特征输入至天气对象分割任务分支，在此基础上本发明使用多尺度天气特征提取模块进一步探索天气对象的多尺度信息。多尺度天气特征提取模块中使用空洞卷积(atrous convo l uti ons) 代替标准卷积，由一个1x1卷积和三个3x3的采样率为rates＝{6,12,18} 的空洞卷积组成，如图4所示。标准卷积操作中每个输出神经元对应的输入局部区域是连续的，而空洞卷积对应的输入局部区域在空间位置上不连续。空洞卷积保持卷积参数量不变，但有更大的有效感受野，通过不同的采样率控制感受野大小来捕捉多尺度的信息。将上述1x1卷积和三个空洞卷积层提取到的特征通过拼接进行融合，生成多尺度天气特征。
[0086]
2.对生成的多尺度天气特征通过双线性插值方法进行上采样，在特征图像素点之间插入新的元素，使天气对象特征图的大小恢复至输入图像尺寸。
[0087]
3.对上采样后的天气对象特征进行语义分割，即逐像素进行分类，像素的类别包
括所选取的天气对象的类别和背景，对每个像素进行softmax 分类，判断出中每个像素所属类别，汇合所有像素分类最终得到输入图像尺寸一致的天气对象分割图。
[0088]
在步骤103，将所述天气对象分割结果和共享天气特征输入至所述卷积神经网络模型的天气分类任务框架中进行天气分类，获取天气标签。
[0089]
优选地，其中所述将所述天气对象分割结果和共享天气特征输入至所述卷积神经网络模型的天气分类任务框架中进行天气分类，获取天气标签，包括:
[0090]
对所述共享天气特征和所述天气对象分割结果进行特征融合，获取天气融合特征；
[0091]
对所述天气融合特征进行池化操作，获取天气特征表示向量；
[0092]
将所述天气特征表示向量输入至分类器进行天气标签分类，获取天气标签。
[0093]
优选地，其中所述对所述天气融合特征进行池化操作，获取天气特征表示向量，包括：
[0094][0095]
其中，表示对第k个通道的特征图进行广义平均池化的结果，v
(g)
为对天气特征进行池化后得到的天气特征表示向量；xk为第k个特征通道的激活图；每个特征图都有不同的池化参数pk，由训练获得。
[0096]
现有的网络结构中做分类之前，通过全局最大池化或平均池化方法对融合后的天气特征进行池化，得到最终的天气特征向量用于天气分类。由于以上池化方法没有充分使用每张特征图上的激活信息，不适合用来提取天气特征向量并进行天气分类。全局最大池化方法取每张天气特征图上的最大激活值作为池化结果，丢失了其他的激活值信息；平均池化方法对每张特征图上的所有激活值进行平均作为池化结果，虽然保留了全局的信息但是可能会弱化天气表征的区分性能。针对以上问题，本发明提出可训练的自适应池化技术，在充分利用每张天气特征图上所有激活值的同时，对不同通道特征图采用不同的广义池化参数进行池化，用以提取适用于天气分类的特征向量。
[0097]
在本发明中，基于可训练池化技术的天气分类包括：
[0098]
(1)首先，将获取的共享天气特征和天气对象分割结果进行特征融合，获取到更丰富的天气特征；
[0099]
(2)然后，对融合后的天气特征进行池化操作，得到天气特征表示向量；
[0100]
(3)最后，将天气特征表示向量输入至分类器进行天气标签分类，获取天气标签。
[0101]
如图5所示，为基于可训练池化方法的天气分类任务的流程，具体过程如下：
[0102]
1.由于天气对象中蕴含着丰富的天气状态信息，对天气状态的判断具有非常重要的指示作用，因此，融合分割分支中高层语义特征后的天气特征更为丰富且具有判断性。将共享卷积层提取到的共享特征与天气对象分割任务分支中的高层语义特征通过特征拼接进行特征融合，以获取更富有天气信息的天气特征x。
[0103]
2.对于1中获取到的天气特征x，其维度为w
×h×
k，k为特征图的数量，xi为第i个特征图上的w
×
h个激活值。采用一个池化层对天气特征x进行操作，生成天气特征向量v,即用来进行天气分类的最终天气特征表征。在之前的天气分类工作中，天气特征向量生成均使用全局最大池化或平局池化，分别如公式(1)和(2)所示：
[0104][0105][0106]
其中，表示对第k个通道的特征图xk进行最大池化的结果，v
(m)
表示对天气特征进行最大化池化得到的特征表示向量。表示对第k个通道的特征图xk进行平均池化的结果，v
(a)
表示对天气特征进行平均池化得到的特征表示向量。这两种池化方法均未能充分利用每张天气特征图中的激活信息，本发明中结合以上两种池化方法，设计一种可训练的广义池化方法对天气特征进行池化操作，如公式(3)所示：
[0107][0108]
其中，表示对第k个通道的特征图进行广义平均池化的结果，v
(g)
为对天气特征进行池化后得到的天气特征表示向量；xk为第k个特征通道的激活图；每个特征图都有不同的池化参数pk。
[0109]
池化方法(1)和(2)是(3)中广义池化方法的特殊情况。即：当pk→
∞, 则(3)就是最大池化(1)，当pk＝1时(3)就是平均池化(2)。池化参数pk在训练过程中通过学习得到。因为这个操作是可微分的，并且可以作为反向传播的一部分。对应的导数由以下公式给出：
[0110][0111][0112]
在公式(3)中每个特征图都有不同的池化参数pk，根据训练得到的池化参数对天气特征图进行池化操作，获得天气特征表示向量。
[0113]
3.全连接层起到将学到的分布式特征表示映射到样本标记空间的作用，将2中提取得到的天气特征表示通过全连接层操作，实现天气分类，输出输入图像所对应的天气标签。
[0114]
在步骤104，根据所述天气对象分割结果和天气标签确定针对所述目标天气图像识别出的天气状态信息。
[0115]
本发明基于深度学习的方法，使用卷积神经网络结构提取基于数据驱动的图像天气特征，并基于天气特征，根据训练数据同时对图像天气分类和天气信息分割任务进行训练，通过多任务学习实现更丰富有效的天气特征提取和天气状态信息识别。
[0116]
本发明实施方式提供的基于多任务学习的天气识别系统600，包括：共享天气特征获取单元601、天气对象分割单元602、天气分类单元603和天气状态信息获取单元604。
[0117]
优选地，所述共享天气特征获取单元601，用于将获取的目标天气图像输入至用于天气识别的卷积神经网络模型的共享卷积层，以获取共享天气特征。
[0118]
优选地，所述天气对象分割单元602，用于将所述共享天气特征输入至所述卷积神经网络模型的天气对象分割任务框架中进行天气对象的分割，以获取天气对象分割结果。
[0119]
优选地，其中所述天气对象分割单元602，将所述共享天气特征输入至所述卷积神经网络模型的天气对象分割任务框架中进行天气对象的分割，以获取天气对象分割结果，包括：
[0120]
根据所述共享天气特征进行多尺度特征的提取，获取多尺度天气特征；
[0121]
对所述多尺度天气特征进行上采样操作，以将特征图的尺寸还原至原图像大小；
[0122]
对恢复尺寸大小的特征图进行逐像素级天气对象分类，获取与所述目标天气图像尺寸一致的天气对象分割结果。
[0123]
优选地，其中所述天气对象分割单元602，根据所述共享天气特征进行多尺度特征的提取，获取多尺度天气特征，包括：
[0124]
利用空洞卷积进行多尺度特征的提取，所述空洞卷积由一个1x1卷积和三个3x3的采样率为rates＝{6,12,18}的空洞卷积组成，通过将1x1卷积和三个空洞卷积层提取到的特征基于拼接进行融合，获取多尺度天气特征。
[0125]
优选地，其中所述天气对象分割单元602，对所述多尺度天气特征进行上采样操作，以将特征图的尺寸还原至原图像大小，包括：
[0126]
过双线性插值系统对所述多尺度天气特征通进行上采样操作，在特征图像素点之间插入新的元素，以将特征图的尺寸还原至输入图像大小。
[0127]
优选地，其中所述天气对象分割单元602，对恢复尺寸大小的特征图进行逐像素级天气对象分类，获取与所述目标天气图像尺寸一致的天气对象分割结果，包括：
[0128]
对恢复尺寸大小的特征图的每个像素进行softmax分类，判断出中每个像素所属类别，汇合所有像素分类最终得到与输入图像尺寸一致的天气对象分割结果。
[0129]
优选地，所述天气分类单元603，用于将所述天气对象分割结果和共享天气特征输入至所述卷积神经网络模型的天气分类任务框架中进行天气分类，获取天气标签。
[0130]
优选地，其中所述天气分类单元603，将所述天气对象分割结果和共享天气特征输入至所述卷积神经网络模型的天气分类任务框架中进行天气分类，获取天气标签，包括:
[0131]
对所述共享天气特征和所述天气对象分割结果进行特征融合，获取天气融合特征；
[0132]
对所述天气融合特征进行池化操作，获取天气特征表示向量；
[0133]
将所述天气特征表示向量输入至分类器进行天气标签分类，获取天气标签。
[0134]
优选地，其中所述天气分类单元603，对所述天气融合特征进行池化操作，获取天气特征表示向量，包括：
[0135][0136]
其中，表示对第k个通道的特征图进行广义平均池化的结果，v
(g)
为对天气特征进行池化后得到的天气特征表示向量；xk为第k个特征通道的激活图；每个特征图都有不
同的池化参数pk。
[0137]
优选地，所述天气状态信息获取单元604，用于根据所述天气对象分割结果和天气标签确定针对所述目标天气图像识别出的天气状态信息。
[0138]
本发明的实施例的基于多任务学习的天气识别系统600与本发明的另一个实施例的基于多任务学习的天气识别方法100相对应，在此不再赘述。
[0139]
已经通过参考少量实施方式描述了本发明。然而，本领域技术人员所公知的，正如附带的专利权利要求所限定的，除了本发明以上公开的其他的实施例等同地落在本发明的范围内。
[0140]
通常地，在权利要求中使用的所有术语都根据他们在技术领域的通常含义被解释，除非在其中被另外明确地定义。所有的参考“一个/所述/该 [装置、组件等]”都被开放地解释为所述装置、组件等中的至少一个实例，除非另外明确地说明。这里公开的任何方法的步骤都没必要以公开的准确的顺序运行，除非明确地说明。
[0141]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0142]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0143]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0144]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0145]
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。