一种图像处理方法以及相关设备与流程

1.本技术涉及人工智能领域，尤其涉及一种图像处理方法以及相关设备。


背景技术：

2.车辆在行驶过程中可以通过第一相机采集周围环境的图像，进而对采集到的图像进行目标检测，但第一相机采集到的图像的质量会受到恶劣天气(例如雨、雪或其他天气等)的影响，进而会影响目标检测过程的准确率，例如基于恶劣天气采集到的图像得到的目标检测结果可能会存在误检、漏检等问题。
3.若依然按照上述目标检测结果对车辆的行驶路径进行规划，可能会引发安全问题，因此，一种确定周围环境的天气状态的方案亟待推出。


技术实现要素：

4.本技术实施例提供了一种图像处理方法以及相关设备，综合第一神经网络生成的每个第一图像的预测天气状态和第一图像中的至少一种感兴趣区域，最终确定周围环境的天气状态，有利于提高最终确定的天气状态的准确率。
5.为解决上述技术问题，本技术实施例提供以下技术方案：
6.第一方面，本技术实施例提供一种图像处理方法，可用于人工智能领域的图像处理领域中，方法包括：执行设备获取至少一个第一图像，至少一个第一图像通过至少一个第一相机对周围环境拍摄得到；执行设备通过第一神经网络生成第一信息，第一信息指示每个第一图像的预测天气状态，并根据第一信息和第二信息，确定周围环境的天气状态，第二信息指示每个第一图像中的至少一种感兴趣区域，至少一种感兴趣区域中的第一感兴趣区域包括与第一图像的预测天气状态具有关联关系的区域。示例性地，第一图像中与多种天气状态具有关联关系的区域可以包括如下任一种或多种：模糊区域、水滴区域、泥水区域、覆冰区域、雪花区域或其他与天气状态具有关联关系的区域等。
7.本技术中，提供了一种确定周围环境的天气状态的方案，在获取到周围环境的第一图像之后，不仅通过第一神经网络生成每个第一图像的预测天气状态，还会获取每个第一图像中的至少一种感兴趣区域，至少一种感兴趣区域中的第一感兴趣区域包括由第一相机的遮挡物造成且与第一图像的预测天气状态具有关联关系的区域；综合第一神经网络生成的每个第一图像的预测天气状态和第一图像中的至少一种感兴趣区域，最终确定周围环境的天气状态，有利于提高最终确定的天气状态的准确率。
8.可选地，第一图像的数量为至少两个，至少两个第一图像中存在来自于不同的第一相机的图像；前述不同的第一相机可以为位于不同位置的第一相机，不同位置的第一相机的朝向可以相同或不同。本技术中，由于一个第一图像中与预测天气状态具有关联关系的区域可能是由周围环境造成的，例如，周围环境是雨天的话，会导致第一图像中存在雨滴区域；但一个第一图像中与预测天气状态具有关联关系的区域也有可能是由于第一相机的镜头上的遮挡物造成的，例如，若某个第一相机的镜头上有水滴，也会导致第一图像中存在
雨滴区域，第一相机的镜头上的遮挡物可能会降低对周围环境的天气状态的预测结果的准确率，则获取的多个第一图像是由不同的第一相机拍摄的，由于不同的第一相机的镜头上存在相同的遮挡物的概率较低，根据不同的第一相机拍摄到的多个第一图像，来确定周围环境的天气状态，有利于提高最终确定的天气状态的准确率。
9.可选地，执行设备根据第一信息和第二信息，确定周围环境的天气状态，可以包括：执行设备根据第二信息，确定与每种第一感兴趣区域对应的参数信息，并根据第一信息和与第一感兴趣区域对应的参数信息，确定周围环境的天气状态；其中，参数信息包括如下任一项或多项：第一感兴趣区域在第一图像中的覆盖率、第一感兴趣区域的面积、第一感兴趣区域的亮度或第一感兴趣区域的模糊度。可选地，每种第一感兴趣区域在第一图像中的覆盖率越大，周围环境的天气状态采用第一图像的预测天气状态的概率越大。当至少一个第一图像包括由同一个第一相机拍摄的至少两个第一图像的情况下，可以获取同一类型的第一感兴趣区域(为方便描述，后续称为“目标感兴趣区域”)在前述至少两个第一图像中每个第一图像中的面积，若目标感兴趣区域在前述至少两个第一图像中的变化程度越大，则周围环境的天气状态采用第一图像的预测天气状态的概率越大。在某一种第一感兴趣区域为雨滴的情况下，第一感兴趣区域的亮度越大，代表周围环境中的雨量越大。又例如，在某一种第一感兴趣区域为雨滴的情况下，第一感兴趣区域的模糊度越大，代表雨滴的厚度越大，也能代表周围环境中的雨量越大。
10.本技术中，明确了根据第二信息确定与第一感兴趣区域对应的几种参数信息，降低了本方案的可实现性，不仅可以利用第一感兴趣区域在第一图像中的覆盖率，还可以利用第一感兴趣区域的面积、第一感兴趣区域的亮度、第一感兴趣区域的模糊度，从更多的维度来利用第一图像中的每种第一感兴趣区域，有利于得到更为准确的周围环境的天气状态。
11.可选地，每个第一图像可以包括第一相机的周围环境的图像区域和第一相机的遮挡物的图像区域；每个第一图像中与天气状态具有关联关系的区域可以包括第一相机的周围环境的图像区域中与天气具有关联关系的区域，和，第一相机的遮挡物的图像区域中与天气具有关联关系的区域。
12.可选地，执行设备通过第一神经网络生成第一信息，可以包括：执行设备通过第一神经网络对第二图像的天气状态进行预测，得到第一信息，其中，第二图像包括第一图像中除了至少一种感兴趣区域中的第二感兴趣区域之外的图像区域，第二感兴趣区域包括由第一相机的遮挡物造成、且与天气状态具有关联关系的区域。“第一相机的遮挡物”可以包括直接位于第一相机上的镜头上的遮挡物，和悬浮于第一相机之外的遮挡物，例如位于第一相机和周围环境之间的遮挡物。
13.本技术中，由于第一相机的遮挡物可以包括第一相机的镜头上的遮挡物和悬浮于第一相机之外的遮挡物，则由第一相机的遮挡物造成、且与天气状态具有关联关系的区域可能是由第一相机的镜头上的遮挡物造成的，例如第一相机的镜头上的雨滴、泥水、覆冰或其他覆盖物等等；也有可能是由悬浮于第一相机之外的遮挡物造成的，例如第一相机所处的周围环境为雨天，则悬浮于第一相机之外的遮挡物也可能有雨滴；因此，第一图像中由第一相机的遮挡物造成、且与天气状态具有关联关系的区域有可能是由周围环境的天气状态造成的，也有可能是由第一相机本身造成的，将第一图像中由第一相机的遮挡物造成、且与
天气状态具有关联关系的区域去除掉得到第二图像，并利用第一神经网络对第二图像的天气状态进行预测，第二图像更能够真实的反映周围环境的天气状态，从而有利于提高第一神经网络输出的第一信息的准确率。
14.可选地，当执行设备为车辆时，第一图像中的至少一种感兴趣区域中的至少一种第二感兴趣区域还可以包括第一图像中由车辆造成的区域，例如，至少一种感兴趣区域中的第二感兴趣区域包括以下任一种或多种：模糊区域、水滴区域、泥水区域、覆冰区域、雪花区域或眩光区域。本技术中，提供了至少一种感兴趣区域中的第二感兴趣区域具体表现为哪些类型的区域，降低了本方案的可实现性。
15.可选地，方法还可以包括：执行设备根据第二信息，确定通过第二相机得到的第一图像中的第三感兴趣区域，第二相机归属于至少一个第一相机，通过第二相机得到的第一图像包含于至少一个第一图像，第三感兴趣区域包括通过第二相机得到的第一图像中由第二相机的遮挡物造成的区域；并根据通过第二相机得到的第一图像中由第二相机的遮挡物造成的区域，确定第二相机的失效程度。可选地，执行设备根据通过第二相机得到的第一图像中由第二相机的遮挡物造成的区域，确定第二相机的失效程度，可以包括：执行设备可以根据通过第二相机得到的每个第一图像中由第二相机的镜头的遮挡物造成的所有区域，确定第二相机的遮挡物造成的所有区域在每个第一图像中的覆盖率；并根据第二相机的遮挡物造成的所有区域在每个第一图像中的覆盖率，确定第二相机的失效程度。
16.本技术中，还可以根据第二信息确定第二相机(也即任意一个第一相机)得到的第一图像中由第二相机的遮挡物造成的区域，进而根据第二相机得到的第一图像中由第二相机的遮挡物造成的区域，来确定第二相机的失效程度，由于失效程度过高的相机获取到的图像的可信度较低，及时发现失效程度过高的相机，有利于提高获取到的第一图像的质量，进而有利于提高确定的周围环境的天气状态的准确度。
17.第二方面，本技术实施例提供一种图像处理方法，可用于人工智能领域的图像处理领域中，方法可以包括：执行设备获取至少一个第一图像，每个第一图像通过第一相机对周围环境拍摄得到；执行设备获取第二信息，其中，第二信息指示每个第一图像中的至少一种感兴趣区域，至少一种感兴趣区域包括第二感兴趣区域，第二感兴趣区域包括由第一相机的遮挡物造成的区域、且与天气状态具有关联关系的区域；并通过第一神经网络对第二图像的天气状态进行预测，得到第一信息，第二图像包括第一图像中除了第二感兴趣区域之外的图像区域，第一信息指示每个第一图像的预测天气状态，第一信息用于确定周围环境的天气状态。
18.本技术中，由于第一相机的遮挡物可以包括第一相机的镜头上的遮挡物和悬浮于第一相机之外的遮挡物，则由第一相机的遮挡物造成、且与天气状态具有关联关系的区域可能是由第一相机的镜头上的遮挡物造成的，例如第一相机的镜头上的雨滴、泥水、覆冰或其他覆盖物等等；也有可能是由悬浮于第一相机之外的遮挡物造成的，例如第一相机所处的周围环境为雨天，则悬浮于第一相机之外的遮挡物也可能有雨滴；因此，第一图像中由第一相机的遮挡物造成、且与天气状态具有关联关系的区域有可能是由周围环境的天气状态造成的，也有可能是由第一相机本身造成的，将第一图像中由第一相机的遮挡物造成、且与天气状态具有关联关系的区域去除掉得到第二图像，并利用第一神经网络对第二图像的天气状态进行预测，第二图像更能够真实的反映周围环境的天气状态，从而有利于提高第一
神经网络输出的第一信息的准确率。
19.可选地，方法还可以包括：执行设备根据第一信息和至少一种感兴趣区域中的第一感兴趣区域，确定周围环境的天气状态，至少一种感兴趣区域中的第一感兴趣区域包括与第一图像的预测天气状态具有关联关系的区域。
20.可选地，执行设备根据第一信息和至少一种感兴趣区域中的第一感兴趣区域，确定周围环境的天气状态，可以包括：执行设备根据第二信息，确定与第一感兴趣区域对应的参数信息，参数信息包括如下任一项或多项：第一感兴趣区域在第一图像中的覆盖率、第一感兴趣区域的面积、第一感兴趣区域的亮度或第一感兴趣区域的模糊度；执行设备根据第一信息和与第一感兴趣区域对应的参数信息，确定周围环境的天气状态。
21.本技术第二方面中，执行设备还可以用于执行第一方面以及第一方面的各个可能实现方式中执行设备执行的步骤，第二方面的各个可能实现方式中的步骤的具体实现方式、名词的含义以及所带来的有益效果，均可以参阅第一方面，此处不再赘述。
22.第三方面，本技术实施例提供一种神经网络的训练方法，可用于人工智能领域的图像处理领域中，方法可以包括：训练设备获取训练图像，训练图像通过相机对周围环境拍摄得到；并通过第一神经网络生成第二信息，其中，第二信息指示至少一种感兴趣区域在训练图像中的预测位置，至少一种感兴趣区域包括由相机的遮挡物造成的区域，或者，至少一种感兴趣区域还包括由车辆造成的区域。训练设备根据第一损失函数项对第一神经网络进行训练，第一损失函数项指示第二信息和第一期望信息之间的相似度，第一期望信息指示至少一种感兴趣区域在训练图像中的正确位置。
23.本技术中，由于相机的遮挡物可以包括相机的镜头上的遮挡物和悬浮于相机之外的遮挡物，例如相机的镜头上可能覆盖有雨滴、泥水、覆冰或其他覆盖物等，又例如，机所处的周围环境为雨天，则悬浮于相机之外的遮挡物也可能有雨滴；而图像中由相机的遮挡物造成的区域会影响对实际的周围环境的观测，采用本方案得到的训练后的第一神经网络能够识别图像中由相机的遮挡物造成的区域，有利于部署训练后的第一神经网络的执行设备能够更为准确的理解周围环境。
24.可选地，训练设备通过第一神经网络生成第二信息之后，方法还可以包括：训练设备通过第一神经网络对第二图像的天气状态进行预测，得到第一信息，其中，第二图像包括训练图像中除了至少一种感兴趣区域之外的图像区域，第一信息指示每个训练图像的预测天气状态。训练设备根据第一损失函数项对第一神经网络进行训练，可以包括：训练设备根据第一损失函数项和第二损失函数项对第一神经网络进行训练，第二损失函数项指示第一信息和第二期望信息之间的相似度，第二期望信息指示训练图像的正确天气状态。
25.本技术第三方面中，训练设备还可以用于执行第一方面以及第一方面的各个可能实现方式中执行设备执行的步骤，第三方面的各个可能实现方式中的步骤的具体实现方式、名词的含义以及所带来的有益效果，均可以参阅第一方面，此处不再赘述。
26.第四方面，本技术实施例提供一种图像处理装置，可用于人工智能领域的图像处理领域中，装置包括：获取模块，用于获取至少一个第一图像，至少一个第一图像通过至少一个第一相机对周围环境拍摄得到；生成模块，用于通过第一神经网络生成第一信息，第一信息指示每个第一图像的预测天气状态；确定模块，用于根据第一信息和第二信息，确定周围环境的天气状态，第二信息指示每个第一图像中的至少一种感兴趣区域，至少一种感兴
趣区域中的第一感兴趣区域包括与第一图像的预测天气状态具有关联关系的区域。
27.本技术第四方面中，图像处理装置还可以用于执行第一方面以及第一方面的各个可能实现方式中执行设备执行的步骤，第四方面的各个可能实现方式中的步骤的具体实现方式、名词的含义以及所带来的有益效果，均可以参阅第一方面，此处不再赘述。
28.第五方面，本技术实施例提供一种图像处理装置，可用于人工智能领域的图像处理领域中，装置包括：获取模块，用于获取至少一个第一图像，每个第一图像通过第一相机对周围环境拍摄得到；获取模块，用于获取第二信息，其中，第二信息指示每个第一图像中的至少一种感兴趣区域，至少一种感兴趣区域包括第二感兴趣区域，第二感兴趣区域包括由第一相机的遮挡物造成的区域、且与天气状态具有关联关系的区域；处理模块，用于通过第一神经网络对第二图像的天气状态进行预测，得到第一信息，第二图像包括第一图像中除了第二感兴趣区域之外的图像区域，第一信息指示每个第一图像的预测天气状态，第一信息用于确定周围环境的天气状态。
29.本技术第五方面中，图像处理装置还可以用于执行第二方面以及第二方面的各个可能实现方式中执行设备执行的步骤，第五方面的各个可能实现方式中的步骤的具体实现方式、名词的含义以及所带来的有益效果，均可以参阅第二方面，此处不再赘述。
30.第六方面，本技术实施例提供一种神经网络的训练装置，可用于人工智能领域的图像处理领域中，装置包括：获取模块，用于获取训练图像，训练图像通过相机对周围环境拍摄得到；处理模块，用于通过第一神经网络生成第二信息，其中，第二信息指示至少一种感兴趣区域在训练图像中的预测位置，至少一种感兴趣区域包括由相机的遮挡物造成的区域；训练模块，用于根据第一损失函数项对第一神经网络进行训练，第一损失函数项指示第二信息和第一期望信息之间的相似度，第一期望信息指示至少一种感兴趣区域在训练图像中的正确位置。
31.本技术第六方面，神经网络的训练装置还可以用于执行第三方面以及第三方面的各个可能实现方式中执行设备执行的步骤，第六方面的各个可能实现方式中的步骤的具体实现方式、名词的含义以及所带来的有益效果，均可以参阅第三方面，此处不再赘述。
32.第七方面，本技术实施例提供了一种计算机程序产品，计算机程序产品包括程序，当该程序在计算机上运行时，使得计算机执行上述第一方面至第三方面所描述的方法。
33.第八方面，本技术实施例提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行上述第一方面至第三方面所描述的方法。
34.第九方面，本技术实施例提供了一种执行设备，包括处理器和存储器，处理器与存储器耦合，存储器，用于存储程序；处理器，用于执行存储器中的程序，使得执行设备执行上述第一方面或第二方面的图像处理方法。
35.第十方面，本技术实施例提供了一种训练设备，包括处理器和存储器，处理器与存储器耦合，存储器，用于存储程序；处理器，用于执行存储器中的程序，使得训练设备执行上述第三方面的神经网络的训练方法。
36.第十一方面，本技术提供了一种芯片系统，该芯片系统包括处理器，用于支持执行设备或训练设备实现上述方面中所涉及的功能，例如，发送或处理上述方法中所涉及的数据和/或信息。在一种可能的设计中，所述芯片系统还包括存储器，所述存储器，用于保存终
端设备或通信设备必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包括芯片和其他分立器件。
附图说明
37.图1为本技术实施例提供的人工智能主体框架的一种结构示意图；
38.图2a为本技术实施例提供的图像处理系统的一种系统架构图；
39.图2b为本技术实施例提供的图像处理方法的一种流程示意图；
40.图3为本技术实施例提供的图像处理方法的另一种流程示意图；
41.图4为本技术实施例提供的至少一个第一相机的位置的一种示意图；
42.图5为本技术实施例提供的第一图像中与天气状态具有关联关系的一种示意图；
43.图6为本技术实施例提供的由第一相机的遮挡物造成、且与天气状态具有关联关系的区域的一种示意图；
44.图7为本技术实施例提供的第一图像和第二图像的一种对比示意图；
45.图8为本技术实施例提供的第一图像和第二图像的两种示意图；
46.图9为本技术实施例提供的神经网络的训练方法的一种流程示意图；
47.图10为本技术实施例提供的图像处理装置的一种结构示意图；
48.图11为本技术实施例提供的图像处理装置的另一种结构示意图；
49.图12为本技术实施例提供的神经网络的训练装置的一种结构示意图；
50.图13为本技术实施例提供的执行设备的一种结构示意图；
51.图14为本技术实施例提供的训练设备的一种结构示意图；
52.图15为本技术实施例提供的芯片的一种结构示意图。
具体实施方式
53.下面结合附图，对本技术的实施例进行描述。本领域普通技术人员可知，随着技术的发展和新场景的出现，本技术实施例提供的技术方案对于类似的技术问题，同样适用。
54.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本技术的实施例中对相同属性的对象在描述时所采用的区分方式。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
55.首先对人工智能系统总体工作流程进行描述，请参见图1，图1示出的为人工智能主体框架的一种结构示意图，下面从“智能信息链”(水平轴)和“it价值链”(垂直轴)两个维度对上述人工智能主题框架进行阐述。其中，“智能信息链”反映从数据的获取到处理的一列过程。举例来说，可以是智能信息感知、智能信息表示与形成、智能推理、智能决策、智能执行与输出的一般过程。在这个过程中，数据经历了“数据—信息—知识—智慧”的凝练过程。“it价值链”从人智能的底层基础设施、信息(提供和处理技术实现)到系统的产业生态过程，反映人工智能为信息技术产业带来的价值。
56.(1)基础设施
57.基础设施为人工智能系统提供计算能力支持，实现与外部世界的沟通，并通过基础平台实现支撑。通过传感器与外部沟通；计算能力由智能芯片提供，该智能芯片具体可以采用中央处理器(central processing unit，cpu)、嵌入式神经网络处理器(neural-network processing unit，npu)、图形处理器(graphics processing unit，gpu)、专用集成电路(application specific integrated circuit，asic)或现场可编程门阵列(field programmable gate array，fpga)等硬件加速芯片；基础平台包括分布式计算框架及网络等相关的平台保障和支持，可以包括云存储和计算、互联互通网络等。举例来说，传感器和外部沟通获取数据，这些数据提供给基础平台提供的分布式计算系统中的智能芯片进行计算。
58.(2)数据
59.基础设施的上一层的数据用于表示人工智能领域的数据来源。数据涉及到图形、图像、语音、文本，还涉及到传统设备的物联网数据，包括已有系统的业务数据以及力、位移、液位、温度、湿度等感知数据。
60.(3)数据处理
61.数据处理通常包括数据训练，机器学习，深度学习，搜索，推理，决策等方式。
62.其中，机器学习和深度学习可以对数据进行符号化和形式化的智能信息建模、抽取、预处理、训练等。
63.推理是指在计算机或智能系统中，模拟人类的智能推理方式，依据推理控制策略，利用形式化的信息进行机器思维和求解问题的过程，典型的功能是搜索与匹配。
64.决策是指智能信息经过推理后进行决策的过程，通常提供分类、排序、预测等功能。
65.(4)通用能力
66.对数据经过上面提到的数据处理后，进一步基于数据处理的结果可以形成一些通用的能力，比如可以是算法或者一个通用系统，例如，翻译，文本的分析，计算机视觉的处理，语音识别，图像的识别等等。
67.(5)智能产品及行业应用
68.智能产品及行业应用指人工智能系统在各领域的产品和应用，是对人工智能整体解决方案的封装，将智能信息决策产品化、实现落地应用，其应用领域主要包括：智能终端、智能制造、智能交通、智能家居、智能医疗、智能安防、自动驾驶、智慧城市等。
69.本技术实施例可以用于获取周围天气状态的各种应用场景中，具体的，可以用于根据周围环境的图像，确定周围环境的天气状态。例如，在自动驾驶领域中，可以通过车辆上配置的相机采集周围环境的图像，进而根据采集到的前述图像确定周围环境的天气状态。又例如，在智能安防领域中，会安装有具有监控功能的相机，通过前述相机能够采集到周围环境的图像，进而根据采集到的前述图像确定周围环境的天气状态。又例如，在智能交通领域中，在道路上可以安装多个相机，通过道路上的相机可以采集到周围环境的图像，进而根据采集到的前述图像确定周围环境的天气状态。又例如，在智能制造领域中，基站上也可以配置有相机，基站上的相机可以采集周围环境的图像，进而根据采集到的前述图像确定周围环境的天气状态等等，此处不对本技术实施例的应用场景进行穷举。
70.在对本技术实施例提供的图像处理方法进行详细介绍之前，请先参阅图2a，图2a
为本技术实施例提供的图像处理系统的一种系统架构图，在图2a中，图像处理系统200包括训练设备210、数据库220、执行设备230和数据存储系统240，执行设备230中包括计算模块231。
71.其中，数据库220中存储有训练数据集合，在训练阶段，训练设备210生成第一模型/规则201，并利用训练数据集合对第一模型/规则201进行迭代训练，得到训练后的第一模型/规则201。第一模型/规则201可以具体表现为神经网络，也可以表现为非神经网络的模型，本技术实施例中仅以第一模型/规则201表现为神经网络为例进行说明。
72.训练设备210得到的第一模型/规则201可以应用于执行设备230中，执行设备230可以调用数据存储系统240中的数据、代码等，也可以将数据、指令等存入数据存储系统240中。数据存储系统240可以置于执行设备230中，也可以为数据存储系统240相对执行设备230是外部存储器。在应用阶段，执行设备230可以利用第一模型/规则201执行本技术实施例提供的图像的处理方法。具体的，请参阅图2b，图2b为本技术实施例提供的图像处理方法的一种流程示意图。其中，a1、执行设备230获取至少一个第一图像，至少一个第一图像通过至少一个第一相机对周围环境拍摄得到。a2、执行设备230通过第一模型/规则201生成第一信息，第一信息指示每个第一图像的预测天气状态。a3、执行设备230根据第一信息和第二信息，确定周围环境的天气状态，第二信息指示每个第一图像中的至少一种感兴趣区域，至少一种感兴趣区域中的第一感兴趣区域包括与第一图像的预测天气状态具有关联关系的区域；示例性地，第一图像中与天气状态具有关联关系的区域可以包括如下任一种或多种：模糊区域、水滴区域、泥水区域、覆冰区域、雪花区域或其他与天气状态具有关联关系的区域等等，此处不做穷举。应理解，图2b中的示例仅为方便理解本方案，不用于限定本方案。
73.本技术的一些实施例中，请参阅图2a，执行设备230可以配置于客户设备中，“用户”可以与执行设备230直接交互，例如，当客户设备为车辆时，执行设备230可以为车辆的主处理器(host cpu)中用于进行图像处理的模块，执行设备230也可以为车辆中的图形处理器(graphics processing unit，gpu)或者神经网络处理器(npu)，gpu或npu作为协处理器挂载到主处理器上，由主处理器分配任务。
74.值得注意的，图2a仅是本发明实施例提供的一种图像处理系统的架构示意图，图中所示设备、器件、模块等之间的位置关系不构成任何限制。例如，本技术的另一些实施例中，执行设备230和客户设备可以为分别独立的设备，执行设备230配置有输入/输出(i/o)接口，与客户设备进行数据交互，“用户”可以通过客户设备输入第一图像，客户设备通过i/o接口向执行设备230发送第一图像，执行设备230在通过计算模块231中的第一机器学习模型/规则201确定周围环境的天气状态之后，可以通过i/o接口将前述周围环境的天气状态返回给客户设备，提供给用户。
75.结合上述描述，下面开始对本技术实施例提供的第一神经网络的应用阶段和训练阶段的具体实现流程进行详细描述。
76.一、应用阶段
77.本技术实施例中，请参阅图3，图3为本技术实施例提供的图像处理方法的另一种流程示意图，本技术实施例提供的图像处理方法可以包括：
78.301、获取至少一个第一图像，至少一个第一图像通过至少一个第一相机对周围环境拍摄得到。
79.本技术实施例中，执行设备可以获取一个或多个第一图像，前述一个或多个第一图像为通过至少一个第一相机对周围环境拍摄得到的。其中，第一相机可以配置于执行设备上，例如，执行设备为车辆，则第一相机可以为配置于车辆上的相机；或者，第一相机也可以与执行设备通信连接，例如，第一相机为监控系统中的相机，执行设备为对监控系统中多个相机采集到的图像进行处理的数据处理设备等，本技术实施例中不限定第一相机和执行设备之间的位置关系。任意一个第一相机的类型可以为如下任一种：普通相机、鱼眼相机或其他类型的相机等，此处不做穷举。任意一个第一相机可以为包含有清洗装置的相机，也可以为不包含清洗装置的相机；例如，清洗装置可以为如下任一种或多种的组合：雨刮器、冲洗器、烘干器或其他清洗装置等，此处不做穷举。
80.若执行设备获取到的为多个第一图像，在一种情况下，多个第一图像可以通过一个第一相机在不同的时刻对周围环境拍摄得到。该一个第一相机在前述不同的时刻的朝向可以相同或不同。在另一种情况中，多个第一图像通过至少两个第一相机拍摄得到，例如，至少两个第一相机的数量可以为2个、3个、5个、6个、7个或其他数量等，此处不做限定。至少两个第一相机是位于不同位置的第一相机，不同位置的第一相机的朝向可以相同或不同。为更直观地理解本方案，请参阅图4，图4为本技术实施例提供的至少一个第一相机的位置的一种示意图。图4中以执行设备为车辆为例，如图4所示，至少两个第一相机可以包括以下多个相机中的任意一个或多个的组合：前视针孔相机、前视鱼眼相机、左视针孔相机、左视鱼眼相机、右视针孔相机、右视鱼眼相机、后视针孔相机和后视鱼眼相机，应理解，图4中的示例仅为方便理解本方案，不用于限定本方案。
81.本技术实施例中，由于一个第一图像中与预测天气状态具有关联关系的区域可能是由周围环境造成的，例如，周围环境是雨天的话，会导致第一图像中存在雨滴区域；但一个第一图像中与预测天气状态具有关联关系的区域也有可能是由于第一相机的镜头上的遮挡物造成的，例如，若某个第一相机的镜头上有水滴，也会导致第一图像中存在雨滴区域，第一相机的镜头上的遮挡物可能会降低对周围环境的天气状态的预测结果的准确率，则获取的多个第一图像是由不同的第一相机拍摄的，由于不同的第一相机的镜头上存在相同的遮挡物的概率较低，根据不同的第一相机拍摄到的多个第一图像，来确定周围环境的天气状态，有利于提高最终确定的天气状态的准确率。
82.由至少两个第一相机拍摄在一个或多个相同的时刻对周围环境进行拍摄，得到该至少两个第一图像。例如，至少两个第一相机包括相机1和相机2，相机1和相机2均在a时刻对周围环境进行拍照得到图像1和图像2，相机1和相机2又均在b时刻对周围环境进行拍照得到图像3和图像4，至少两个第一图像包括图像1、图像2、图像3和图像4，则至少两个第一相机(也即相机1和相机2)均为在相同时刻对周围环境进行拍照的，应理解，此处举例仅为方便理解本方案，不用于限定本方案。
83.当执行设备需要监测周围环境的天气状态时，每个第一相机可以按照第一频率拍摄周围环境的第一图像，并按照第一频率向执行设备的处理器传输图像，也即执行设备的处理器在每个第一时间段内都能获取到一次每个第一相机发送的第一图像。可选地，执行设备可以按照第二频率执行周围环境的天气状态的确定操作，也即执行设备可以在每个第二时间段内都执行一次周围环境的天气状态的确定操作。进一步可选地，第二频率可以为第一频率的整数倍。例如，第一时间段的长度可以为1秒，则第二时间段的时长可以为1秒、2
秒或其他时长等等；又例如，第一时间段的长度可以为30毫秒，则第二时间段的时长可以为30毫秒、1秒、2秒或其他时长等等，需要说明的是，每个第一相机向执行设备的处理器发送第一图像的频率以及执行设备确定周围环境的天气状态的频率均可以结合实际应用场景灵活设定，此处举例仅为方便理解本方案，不用于限定本方案。
84.302、获取第二信息，第二信息指示每个第一图像中的至少一种感兴趣区域，至少一种感兴趣区域包括与天气状态具有关联关系的区域。
85.本技术实施例中，执行设备在获取到周围环境的至少一个第一图像之后，可以获取第二信息，第二信息指示每个第一图像中的至少一种感兴趣区域，也即第二信息指示至少一种感兴趣区域中每种感兴趣区域在每个第一图像中的位置。
86.其中，至少一种感兴趣区域至少可以包括至少一种第四感兴趣区域，每种第四感兴趣区域指的是第一图像中与s种天气状态具有关联关系的区域，s为大于或等于1的整数。示例性地，第一图像中与天气状态具有关联关系的区域可以包括如下任一种或多种：模糊区域、水滴区域、泥水区域、覆冰区域、雪花区域或其他与天气状态具有关联关系的区域等等，此处不做穷举。进一步地，每个第一图像可以包括第一相机的周围环境的图像区域和第一相机的遮挡物的图像区域；每个第一图像中与天气状态具有关联关系的区域可以包括第一相机的周围环境的图像区域中与天气具有关联关系的区域，和，第一相机的遮挡物的图像区域中与天气具有关联关系的区域。例如，第一图像中周围环境的图像区域可以包括绿叶，第一图像包括的周围环境的图像区域中的水滴区域可以包括前述绿叶上的水滴；又例如，第一图像中周围环境的图像区域可以包括道路，第一图像包括的周围环境的图像区域中的泥水区域可以包括前述道路中的泥水等等，此处举例仅为方便理解本方案，不用于限定本方案。
87.为更直观地理解本方案，请参阅图5，图5为本技术实施例提供的第一图像中与天气状态具有关联关系的一种示意图。其中，图5包括c1和c2两个子示意图，c1是第一图像的一个示例，c1示出的第一图像中周围环境的图像区域包括第一图像示出的周围的道路、高楼和树等物体所在的图像区域，c2指的是c1示出的第一图像中第一相机的遮挡物的图像区域中与天气状态具有关联关系的区域，也即c1示出的第一图像中镜头上的雨滴区域，镜头上的雨滴区域是直接位于第一相机的镜头上的遮挡物，应理解，图5中的示例仅为方便理解“第一图像中第一相机的遮挡物的图像区域中与天气状态具有关联关系的区域”和“第一图像中周围环境的图像区域中与天气状态具有关联关系的区域”的概念，不用于限定本方案。
[0088]“第一相机的遮挡物”可以包括直接位于第一相机上的镜头上的遮挡物，例如，第一相机上的水滴、覆冰、泥水或其他遮挡物等等，此处不做穷举。“第一相机的遮挡物”还可以包括悬浮于第一相机之外的遮挡物，例如位于第一相机和周围环境之间的遮挡物；示例性地，第一相机配置于车辆上，第一相机的周围环境为车辆周围的环境，当第一相机的周围环境的天气状态为小雨时，第一相机的遮挡物可以为第一相机的镜头和车辆的周围环境之间的雨滴；又例如，第一相机为监控系统中的相机，当第一相机的周围环境的天气状态为小雪时，第一相机的遮挡物可以为第一相机的镜头和第一相机的周围环境之间的雪花等等，应理解，此处举例仅为方便理解本方案，不用于限定本方案。
[0089]
可选地，每种第四感兴趣区域可以包括由第一相机的遮挡物造成、且与天气状态具有关联关系的区域。为更直观地理解本方案，请参阅图6，图6为本技术实施例提供的由第
一相机的遮挡物造成、且与天气状态具有关联关系的区域的一种示意图。图6包括d1和d2两个子示意图，d1示出的为第一图像的一个示例，d2指的是d1示出的第一图像中由第一相机的遮挡物造成的水滴区域(也即与天气状态具有关联关系的区域的一个示例)，d1和d2中示出的遮挡物为位于第一相机和车辆的周围环境之间的遮挡物，也即车辆的挡风玻璃上的水滴区域，应理解，图6中的示例仅为方便理解本方案，不用于限定本方案。
[0090]
可选地，第一图像中的至少一种感兴趣区域可以包括至少一种第二感兴趣区域，至少一种第二感兴趣区域可以包括由第一相机的m种遮挡物造成的区域，m为大于或等于1的整数。其中，前述m种遮挡物可以仅包括与天气状态具有关联关系的遮挡物，例如雨滴、泥水、雪花、冰霜或其他与天气状态具有关联关系的遮挡物等，此处不做穷举。可选地，前述m种遮挡物还可以包括与天气状态不具有关联关系的遮挡物，例如纸质遮挡物、塑料材质的遮挡物或其他与天气状态不具有关联关系的遮挡物等等，此处不做穷举。
[0091]
需要说明的是，若每种第四感兴趣区域包括由第一相机的遮挡物造成，且与天气状态具有关联关系的区域，m种遮挡物均为与天气具有关联关系的遮挡物，则至少一种第二感兴趣区域和至少一种第四感兴趣区域指的是第一图像中相同的区域，均为由第一相机的遮挡物造成、且与天气状态具有关联关系的区域。
[0092]
若每种第四感兴趣区域包括由第一相机的遮挡物造成，且与天气状态具有关联关系的区域；m种遮挡物不仅包括与天气状态具有关联关系的遮挡物，还包括与天气状态不具有关联关系的遮挡物，则所有类型的第四感兴趣区域为至少一种第二感兴趣区域的子集。
[0093]
若每种第四感兴趣区域不需要限定为由第一相机的遮挡物造成，则第二信息可以包括第一子信息和第二子信息，第一子信息用于指示至少一种第四感兴趣区域中每种第四感兴趣区域在第一图像中的位置，第二子信息用于指示至少一种第二感兴趣区域中每种第二感兴趣区域在第一图像中的位置。
[0094]
可选地，当执行设备为车辆时，第一图像中的至少一种感兴趣区域中的至少一种第二感兴趣区域还可以包括第一图像中由车辆造成的区域，例如，第一图像中由车辆造成的区域可以包括由车辆的灯造成的第一图像中的眩光区域或其他由车辆造成的区域等等，此处不做穷举。示例性地，至少一种感兴趣区域中的第二感兴趣区域包括以下任一种或多种：模糊区域、水滴区域、泥水区域、覆冰区域、雪花区域、眩光区域或其他类型的区域等等，具体第二感兴趣区域设定为哪些区域可以根据实际情况灵活确定，此处不做限定。本技术实施例中，提供了至少一种感兴趣区域中的第二感兴趣区域具体表现为哪些类型的区域，降低了本方案的可实现性。
[0095]
具体的，步骤302可以包括：执行设备将第一图像输入第二神经网络中，得到第二神经网络输出的第二信息，第二信息指示至少一种感兴趣区域中每种感兴趣区域在每个第一图像中的位置，第二神经网络为已经执行过训练操作的神经网络，对于第二神经网络的训练过程将在后续实施例中进行描述，此处不做赘述。其中，第二神经网络可以表现为用于执行目标检测任务的神经网络，例如，第二神经网络可以表现为卷积神经网络、残差神经网络、或其他用于执行目标检测任务的神经网络等等，此处不做穷举。
[0096]
303、通过第一神经网络生成第一信息，第一信息指示每个第一图像的预测天气状态。
[0097]
本技术实施例中，执行设备通过第一神经网络生成第一信息，第一信息指示每个
第一图像的预测天气状态。其中，第一信息可以包括第一神经网络生成的第一图像属于n种天气状态中每种天气状态的概率，n为大于或等于s的整数。例如，n种天气状态包括正常、小雨、大雨和其他；又例如，n种天气状态包括正常、雨天、雪天、雨夹雪和其他等，应理解，n种天气状态具体表现为哪些天气状态可以根据实际应用场景灵活确定，此处举例仅为方便理解本方案，不用于限定本方案。第一神经网络具体可以表现为卷积神经网络、残差神经网络或其他类型的神经网络等等，此处不做限定。
[0098]
在一种实现方式中，步骤303可以包括：执行设备可以将至少一个第一图像中的每个第一图像分别输入至第一神经网络中，得到第一神经网络输出的第一信息；可选地，至少一个第一图像来自于不同的第一相机。可选地，执行设备在将每个第一图像输入第一神经网络之前，还可以对第一图像进行缩放处理，以使得不同的第一图像的尺寸相同；执行设备在将每个第一图像输入第一神经网络之前，还可以对第一图像进行其他处理，此处不再一一赘述。
[0099]
可选地，第二神经网络和第一神经网络为同一个神经网络，执行设备将第一图像输入到第一神经网络中(也即输入到第二神经网络中)，由第一神经网络生成第二信息；执行设备通过第一神经网络对第二图像的天气状态进行预测，得到第一信息。其中，第二图像包括第一图像中除了至少一种感兴趣区域中的第二感兴趣区域之外的图像区域，对于至少一种感兴趣区域中的第二感兴趣区域的详细解释可以参阅上述步骤302中的解释，此处不再赘述。
[0100]
为了更直观地理解本方案，请参阅图7，图7为本技术实施例提供的第一图像和第二图像的一种对比示意图。图7包括左和右两个子示意图，图7中的左子示意图代表第一图像，图7中的右子示图代表第二图像，图7中以至少一种感兴趣区域中的第二感兴趣区域包括由第一相机的遮挡物造成、且与天气状态具有关联关系的区域为例(也即图7的左子示意图中由第一相机的遮挡物造成的雨滴区域)，第二图像包括第一图像中除了由第一相机的遮挡物造成的雨滴区域之外的图像区域，对比图7的左子示意图和右子示意图可知，在将第一图像中由第一相机的遮挡物造成的雨滴区域之外的图像区域去除之后，可以明显地看出周围环境中没有雨水，应理解，图7中的示例仅为方便理解本方案，不用于限定本方案。
[0101]
在另一种实现方式中，第二神经网络和第一神经网络为不同的神经网络，步骤303可以包括：执行设备根据第二信息和至少一个第一图像中的每个第一图像生成与至少一个第一图像一一对应的至少一个第二图像，每个第二图像包括每个第一图像中除了至少一种感兴趣区域中的第二感兴趣区域之外的图像区域，第二感兴趣区域包括由第一相机的遮挡物造成的区域、且与天气状态具有关联关系的区域；可选地，至少一个第一图像中存在来自不同的第一相机的图像。执行设备可以将第二图像输入第一神经网络，得到第一神经网络输出的第一信息。
[0102]
为更直观地理解本方案，请参阅图8，图8为本技术实施例提供的第一图像和第二图像的两种示意图。图8包括f1、f2、f3和f4四个子示意图，f1示出的为车辆的前视摄像头采集到的第一图像，f2代表与f1示出的第一图像对应的第二图像，f2包括f1中除了由第一相机的遮挡物造成、且与天气状态具有关联关系的区域(也即f1中由第一相机的遮挡物造成的模糊区域和覆冰区域)之外的图像区域。f3示出的为车辆的左视摄像头采集到的第一图像，f4代表与f3示出的第一图像对应的第二图像，f4包括f3中除了由第一相机的遮挡物造
成、且与天气状态具有关联关系的区域(也即f3中由第一相机的遮挡物造成的覆冰区域)之外的图像区域。由于f2示出的第二图像中携带的有效信息比较少，则第一神经网络根据f2示出的第二图像较难准确预测出周围环境的天气状态；将f3中由第一相机的遮挡物造成的覆冰区域去除，能够得到f4示出的第二图像，第一神经网络根据f4示出的第二图像能够较为准确的预测出周围环境的天气状态为晴天。通过图8示出的图像可以看出，“将第一图像中由第一相机的遮挡物造成、且与天气状态具有关联关系的区域去除”以及“从不同的第一相机中获取多个第一图像”这两个步骤有利于提高得到的周围环境的天气状态的准确率，应理解，图8中的示例仅为方便理解本方案，不用于限定本方案。
[0103]
本技术实施例中，由于第一相机的遮挡物可以包括第一相机的镜头上的遮挡物和悬浮于第一相机之外的遮挡物，则由第一相机的遮挡物造成、且与天气状态具有关联关系的区域可能是由第一相机的镜头上的遮挡物造成的，例如第一相机的镜头上的雨滴、泥水、覆冰或其他覆盖物等等；也有可能是由悬浮于第一相机之外的遮挡物造成的，例如第一相机所处的周围环境为雨天，则悬浮于第一相机之外的遮挡物也可能有雨滴；因此，第一图像中由第一相机的遮挡物造成、且与天气状态具有关联关系的区域有可能是由周围环境的天气状态造成的，也有可能是由第一相机本身造成的，将第一图像中由第一相机的遮挡物造成、且与天气状态具有关联关系的区域去除掉得到第二图像，并利用第一神经网络对第二图像的天气状态进行预测，第二图像更能够真实的反映周围环境的天气状态，从而有利于提高第一神经网络输出的第一信息的准确率。
[0104]
304、根据第一信息和第二信息，确定周围环境的天气状态。
[0105]
本技术实施例中，执行设备可以根据第一信息和第二信息，确定周围环境在第一时间段内的天气状态，也即根据第一神经网络生成的第一图像的预测天气状态和第二信息，确定周围环境在第一时间段内的天气状态。具体的，步骤304可以包括：执行设备在获取到第一图像的预测天气状态之后，可以从第二信息指示的至少一种感兴趣区域中确定与第一图像的预测天气状态具有关联关系的至少一种第一感兴趣区域，也即从至少一种第四感兴趣区域中确定与第一图像的预测天气状态具有关联关系的至少一种第一感兴趣区域，第一感兴趣区域的概念可以参阅上述对第四感兴趣区域的描述，此处不做赘述。执行设备根据第二信息，确定与第一感兴趣区域对应的参数信息，参数信息包括如下任一项或多项：第一感兴趣区域在第一图像中的覆盖率、第一感兴趣区域的面积、第一感兴趣区域的亮度或第一感兴趣区域的模糊度；根据第一信息和与第一感兴趣区域对应的参数信息，确定周围环境在第一时间段内的天气状态。
[0106]
例如，若第一图像的预测天气状态为小雨、中雨或大雨等雨天，则与小雨、中雨或大雨具有关联关系的至少一种第一感兴趣区域可以包括模糊区域、雨滴区域、泥水区域或其他与雨天具有关联关系的区域等。又例如，若第一图像的预测天气状态为雪天，则与雪天具有关联关系的至少一种第一感兴趣区域可以包括雪花区域、覆冰区域、泥水区域、模糊区域或其他与雪天具有关联关系的区域等等，需要说明的是，当第一图像的预测天气状态为其他天气状态时，与第一图像的预测天气状态具有关联关系的至少一种第一感兴趣区域可以为其他类型的第一感兴趣区域，此处举例仅为方便理解本方案，不用于限定本方案。
[0107]
第一信息可以包括第一神经网络生成的每个第一图像属于n种天气状态中每种天气状态的概率，可选地，执行设备可以根据至少一个第一图像中每个第一图像属于n种天气
状态中每种天气状态的概率，确定第一天气状态和第一概率值，第一概率值代表基于第一神经网络得到的周围天气为第一天气状态的概率值。若第一概率值大于或等于预设概率值，执行设备可以将第一天气状态确定为周围环境的天气状态；若第一概率值小于预设概率值，执行设备可以根据与第一感兴趣区域对应的参数信息，确定周围环境的天气状态。例如，预设概率值可以为0.7、0.75、0.8或其他取值等等，具体可以结合实际情况灵活设定，此处不做限定。
[0108]
其中，每种第一感兴趣区域在第一图像中的覆盖率越大，周围环境的天气状态采用第一图像的预测天气状态的概率越大。当至少一个第一图像包括由同一个第一相机拍摄的至少两个第一图像的情况下，可以获取同一类型的第一感兴趣区域(为方便描述，后续称为“目标感兴趣区域”)在前述至少两个第一图像中每个第一图像中的面积，若目标感兴趣区域在前述至少两个第一图像中的变化程度越大，则周围环境的天气状态采用第一图像的预测天气状态的概率越大。示例性地，执行设备获取到的至少一个第一图像包括来自于相机1的图像1、图像2和图像3，第一图像的预测天气状态为小雨，与小雨具有关联关系的至少一种第一感兴趣区域可以包括雨滴区域，若雨滴区域在图像1、图像2和图像3中的变化程度越大，则周围环境的天气状态为小雨概率越大，应理解，此处举例仅为方便理解本方案，不用于限定本方案。
[0109]
示例性地，在某一种第一感兴趣区域为雨滴的情况下，第一感兴趣区域的亮度越大，代表周围环境中的雨量越大。又例如，在某一种第一感兴趣区域为雨滴的情况下，第一感兴趣区域的模糊度越大，代表雨滴的厚度越大，也能代表周围环境中的雨量越大。
[0110]
示例性地，此处以n种天气状态包括小雨(light rain)、大雨(heavy rain)、正常(normal)和其他(others)，且与第一感兴趣区域对应的参数信息采用每种第一感兴趣区域的覆盖率为例；其中，正常的天气状态指的是不影响车辆的智能驾驶系统正常运行的天气状态，例如正常的天气状态可以包括晴天、阴天或其他类型的天气等等，此处不做穷举。执行设备可以预先设置与s种天气状态一一对应的s种覆盖率阈值，此处以预先设置了与小雨对应的第一覆盖率阈值和与大雨对应的第二覆盖率阈值，例如，第一覆盖率阈值的取值可以为0.05，第二覆盖率阈值的取值可以为0.35。以下结合表1对“根据第一信息和与第一感兴趣区域对应的参数信息，确定周围环境的天气状态”的具体实现方式进行描述。
[0111]
[0112]
表1
[0113]
如表1所示，执行设备可以判断第一概率值是否大于或等于预设概率值，若第一概率值大于或等于预设概率值，则执行设备可以将第一天气状态确定为周围环境的天气状态。若第一概率值小于预设概率值，则执行设备获取与第一天气状态具有关联关系的至少一种第一感兴趣区域，可以判断每种第一感兴趣区域的覆盖率是否大于或等于与第一天气状态对应的覆盖率阈值，若任意一种第一感兴趣区域的覆盖率大于或等于与第一天气状态对应的覆盖率阈值，则可以将周围环境的天气状态确定为第一天气状态，若每种第一感兴趣区域的覆盖率均小于与第一天气状态对应的覆盖率阈值，则可以将周围环境的天气状态确定为正常。例如，如表1所示，当第一天气状态为小雨时，判断与小雨具有关联关系的每种第一感兴趣区域(例如表1中的雨滴区域、模糊区域和泥水区域)的覆盖率是否大于或等于0.05(也即第一覆盖率阈值)，若任意一种第一感兴趣区域的覆盖率大于或等于0.05，则将周围环境的天气状态确定为小雨；若每种第一感兴趣区域的覆盖率均小于0.05，则将周围环境的天气状态确定为正常。又例如，如表1所示，当第一天气状态为大雨时，判断与大雨具有关联关系的每种第一感兴趣区域(例如表1中的雨滴区域、模糊区域和泥水区域)的覆盖率是否大于或等于0.35(也即第二覆盖率阈值)，若任意一种第一感兴趣区域的覆盖率大于或等于0.35，则将周围环境的天气状态确定为大雨；若每种第一感兴趣区域的覆盖率均小于0.35，则可以将周围环境的天气状态确定为正常。
[0114]
需要说明的是，上述结合表1进行的描述仅为方便理解本方案的一个示例，只小姑娘设备在最终确定周围环境的天气状态的过程中，可以将每种第一感兴趣区域的覆盖率与覆盖率阈值比较，也可以将至少一种第一感兴趣区域中的所有第一感兴趣区域的覆盖率与覆盖率阈值比较。n种天气状态以及s种天气状态均可以包括更多或更少的天气状态，具体均可以结合实际应用场景灵活设定，此处均不做限定。
[0115]
本技术实施例中，明确了根据第二信息确定与第一感兴趣区域对应的几种参数信息，降低了本方案的可实现性，不仅可以利用第一感兴趣区域在第一图像中的覆盖率，还可以利用第一感兴趣区域的面积、第一感兴趣区域的亮度、第一感兴趣区域的模糊度，从更多的维度来利用第一图像中的每种第一感兴趣区域，有利于得到更为准确的周围环境的天气状态。
[0116]
针对执行设备“根据至少一个第一图像中每个第一图像属于n种天气状态中每种天气状态的概率，确定第一天气状态和第一概率值”的实现过程。在一种实现方式中，可以采用投票的方式确定第一天气状态和第一概率值。具体的，执行设备可以先根据每个第一图像属于n种天气状态中每种天气状态的概率，确定每个第一图像的一个预测天气状态，从而能够获取到与至少一个第一图像(为方便描述，后续称为“t个第一图像”)一一对应的t个预测天气状态,t个预测天气状态中可以存在相同的天气状态。执行设备可以将t个预测天气状态中出现数量最多的一种天气状态确定为第一天气状态。示例性地，t的取值为5，5个第一图像分别为图像1、图像2、图像3、图像4和图像5，根据图像1属于n种天气状态中每种天气状态的概率，确定图像1的预测天气状态为正常，根据图像2属于n种天气状态中每种天气状态的概率，确定图像2的预测天气状态为小雨，根据图像3属于n种天气状态中每种天气状态的概率，确定图像3的预测天气状态为其他，根据图像4属于n种天气状态中每种天气状态的概率，确定图像4的预测天气状态为正常，根据图像5属于n种天气状态中每种天气状态的
概率，确定图像5的预测天气状态为正常，也即得到的t个预测天气状态分别为正常、小雨、其他、正常和正常，投票结果如下表2。
[0117]
正常小雨其他311
[0118]
表2
[0119]
如上述表2所示，t个预测天气状态中出现数量最多的一种天气状态为正常，则可以将第一天气状态确定为正常，应理解，此处举例仅为方便理解本方案，不用于限定本方案。
[0120]
执行设备还可以根据每个第一图像属于n种天气状态中每种天气状态的概率，获取每个第一图像属于第一天气状态的第二概率值，也即得到与t个第一图像一一对应的t个第二概率值，对前述t个第二概率值进行加权求和可以得到第一概率值；可选地，执行设备可以对前述t个概率值进行平均得到第一概率值。
[0121]
在另一种实现方式中，针对n种天气状态中的任意一种天气状态(为方便描述，后续称为“目标天气状态”)，执行设备根据每个第一图像属于n种天气状态中每种天气状态的概率，获取每个第一图像属于目标天气状态的概率，也即得到与t个第一图像一一对应的t个第三概率值，对前述t个第三概率值进行加权求和可以得到与目标天气状态对应的概率值；执行设备重复执行前述操作，能够得到与n种天气状态一一对应的n个概率值。执行设备可以将前述n个概率值中获取最大的一个概率值确定为第一概率值，并从n种天气状态中获取与第一概率值一一对应的一个第一天气状态。
[0122]
需要说明的是，执行设备还可以采用其他方案实现“根据至少一个第一图像中每个第一图像属于n种天气状态中每种天气状态的概率，确定第一天气状态和第一概率值”，此处举例仅为证明本方案的可实现性，不用于限定本方案。
[0123]
针对执行设备“根据第二信息，确定与第一感兴趣区域对应的参数信息”的实现方式，此处先以与第一感兴趣区域对应的参数信息为第一感兴趣的覆盖率为例进行说明，对于“第一感兴趣区域的面积”、“第一感兴趣区域的亮度”以及“第一感兴趣区域的模糊度”的具体获取方式可以参阅“第一感兴趣的覆盖率”的获取方式，此处不再一一进行赘述。具体的，针对任意一种第一感兴趣区域(为方面描述，后续称为“目标第一感兴趣区域”)在第一图像中的覆盖率的获取方式。在步骤301中获取到的为一个第一图像的情况下，则可以根据目标第一感兴趣区域在第一图像中的位置，直接确定与目标第一感兴趣区域对应的参数信息中覆盖率这一项参数。
[0124]
在步骤301中获取到的为至少两个第一图像(也即t大于等于2)的情况下，在一种实现方式中，执行设备可以分别获取目标第一感兴趣区域在每个第一图像中的第一覆盖率，得到t个第一覆盖率，执行设备可以对t个第一覆盖率进行加权求和，得到与目标第一感兴趣区域对应的参数信息中覆盖率这一项参数。
[0125]
在另一种实现方式中，若至少两个第一图像来自于不同的第一相机，则可以先确定目标第一感兴趣区域在每个第一相机采集的第一图像中的覆盖率，并对目标第一感兴趣区域在每个第一相机采集的第一图像中的覆盖率进行加权求和，得到与目标第一感兴趣区域对应的参数信息中覆盖率这一项参数；其中，不同的第一相机所占的权重的参考因素可以包括不同的第一相机的重要程度，例如，某个第一相机的位置、某个第一相机拍摄的图像
被使用的频率或其他因素等，都可以作为该第一相机的重要程度的参考因素
[0126]
示例性地，至少两个第一图像来自于相机1、相机2和相机3，相机1为前视方向的相机，相机2为左侧的相机，相机3为右侧的相机，相机1、相机2和相机3的权重分别为0.4、0.3和0.3，通过相机1获取到的第一图像中雨滴区域(目标第一感兴趣区域的一个示例)的覆盖率为0.06，通过相机2获取到的第一图像中雨滴区域的覆盖率为0.04，通过相机3获取到的第一图像中雨滴区域的覆盖率为0.05，则对0.06、0.04和0.05进行加权求和可以得到与目标第一感兴趣区域对应的参数信息中覆盖率这一项参数，也即与雨滴区域对应的参数信息中覆盖率这一项的参数值为0.051，应理解，此处举例仅为方便理解本方案，不用于限定本方案。
[0127]
进一步地，针对“目标第一感兴趣区域在每个第一相机采集的第一图像中的覆盖率”的具体获取方式，若至少两个第一图像包括来自于同一个第一相机(为方便描述，后续称为“目标第一相机”)的至少两个第一图像，执行设备可以分别获取目标第一感兴趣区域在目标第一相机采集的每个第一图像中的覆盖率。执行设备可以对目标第一感兴趣区域在目标第一相机采集的每个第一图像中的覆盖率进行加权平均，得到目标第一感兴趣区域在目标第一相机采集的第一图像中的覆盖率。或者，执行设备也可以将目标第一感兴趣区域在目标第一相机采集的各个第一图像中的覆盖率的中值，确定为目标第一感兴趣区域在目标第一相机采集的第一图像中的覆盖率。或者，执行设备还可以根据目标第一感兴趣区域在目标第一相机采集的每个第一图像中的覆盖率，采用滑动平均、指数平滑或其他方式，确定目标第一感兴趣区域在目标第一相机采集的第一图像中的覆盖率，具体采用哪种方式可以结合实际情况灵活确定，此处不做限定。
[0128]
可选地，执行设备可以根据周围环境在第一时间段之前的至少一个第二时间段内的天气状态，以及周围环境在第一时间段内的天气状态，确定周围环境在第一时间段内的最终天气状态，每个第二时间段的长度可以和第一时间段的长度相同。由于周围环境的天气状态是逐渐变化的，也即周围环境的天气状态是具有连续性地，为了降低执行设备错误确定天气状态的概率，执行设备上可以设定一个或多个切换条件，当执行设备确定第一时间段内的天气状态需要与第一时间段之前的天气状态发生切换时，执行设备可以判断至少一个第二时间段内的天气状态是否满足切换条件，只有在满足切换条件的情况下，才会将第一时间段内的最终天气状态确定为第一时间段内的天气状态；若不满足切换条件，则会将第一时间段的最终天气状态确定为第一时间段之前的天气状态。
[0129]
为更直观地理解本方案，以下结合表3和表4进行举例，表3和表4中均示出了不同天气状态之间切换时的切换条件。表3中以n的取值为4,4种天气状态分别为正常、小雨、大雨和其他为例。
[0130]
[0131]
表3
[0132]
如表3所示，例如，当天气状态需要由正常切换为小雨时，需要连续3个时间段的天气状态为小雨，也即不仅第一时间段的天气状态为小雨，第一时间段之前的2个第二时间段的天气状态也为小雨。又例如，当天气状态需要由正常切换为大雨时，需要连续5个时间段的天气状态为大雨，也即不仅第一时间段的天气状态为大雨，第一时间段之前的4个第二时间段的天气状态也为大雨。又例如，当天气状态需要由大雨切换为正常时，需要连续10个时间段的天气状态为正常，也即不仅第一时间段的天气状态为正常，第一时间段之前的9个第二时间段的天气状态也为正常。表3中的其他天气状态之间的切换条件可以参阅前述描述，此处不再一一进行赘述，需要说明的是，表3中的示例仅为方便理解本方案，不用于限定本方案。
[0133]
请继续参阅表4，表4中以n的取值为5,5种天气状态分别为正常、雨天、雪天、雨夹雪和其他为例。
[0134][0135]
表4
[0136]
表4中示出了正常、雨天、雪天、雨夹雪和其他这5中天气状态互相切换时的切换条件，对于表4的理解可以参阅上述对表3的描述，此处也不再一一进行赘述，需要说明的是，表4中的示例仅为方便理解本方案，不用于限定本方案。
[0137]
305、根据第二信息，确定通过第二相机得到的第一图像中的第三感兴趣区域，第二相机归属于至少一个第一相机，通过第二相机得到的第一图像包含于至少一个第一图像，第三感兴趣区域包括通过第二相机得到的第一图像中由第二相机的遮挡物造成的区域。
[0138]
本技术的一些实施例中，针对至少一个第一相机中的任意一个相机(为方便描述，后续称为“第二相机”)，执行设备可以从步骤301获取到的至少一个第一图像中确定由第一二相机得到的第一图像，并根据第二信息，确定通过第二相机得到的每个第一图像中的第三感兴趣区域。其中，第三感兴趣区域包括通过第二相机得到的每个第一图像中由第二相机的遮挡物造成的区域，对于“第一图像中由第二相机的遮挡物造成的区域”的概念可以参阅上述步骤302中的描述，此处不再进行赘述。
[0139]
306、根据通过第二相机得到的第一图像中由第二相机的遮挡物造成的区域，确定第二相机的失效程度。
[0140]
本技术的一些实施例中，执行设备可以根据通过第二相机得到的每个第一图像中由第二相机的镜头的遮挡物造成的所有区域，确定第二相机的遮挡物造成的所有区域在每个第一图像中的覆盖率；并根据第二相机的遮挡物造成的所有区域在每个第一图像中的覆盖率，确定第二相机的失效程度。其中，执行设备上可以设置h个失效程度，以及与h个失效
程度一一对应的h个失效条件，h为大于或等于2的整数。例如，h个失效程度可以包括失效和未失效，又例如，h个失效程度可以包括轻度失效、中度失效和重度失效等等，此处举例仅为方便理解本方案，不用于限定本方案。
[0141]
可选地，若通过第一相机得到的第一图像的数量为至少两个，执行设备在确定第二相机的遮挡物造成的所有区域在每个第一图像中的覆盖率之后，可以对第二相机的遮挡物造成的所有区域在每个第一图像中的覆盖率进行加权求和，得到第二相机的遮挡物造成的所有区域在第二相机的镜头中的覆盖率。将第二相机的遮挡物造成的所有区域在第二相机的镜头中的覆盖率与h个失效条件进行比较，从而确定第二相机的失效程度。
[0142]
示例性地，h个失效程度可以包括轻度失效、中度失效和重度失效，轻度失效的失效条件分别为覆盖率为0至0.25，中度失效的失效条件为覆盖率为0.25至0.5，重度失效的失效条件为覆盖率为大于或等于0.5。
[0143]
可选地，执行设备还可以根据第二相机的失效程度后，输出提示信息，该提示信息用于告知用户某个第二相机当前的失效程度。例如，当第二相机的失效程度为中度失效时，可以向用户发出提示灯，并向用户展示中度失效的第二相机的位置；当第二相机的失效程度为重度失效时，可以向用户发出提示灯和警示音，并向用户展示重度失效的第二相机的位置等等，需要说明的是，执行设置在确定了第二相机的失效程度后，如何向用户发出提示信息的方式可以结合实际场景灵活设定，此处不做限定。
[0144]
本技术实施例中，还可以根据第二信息确定第二相机(也即任意一个第一相机)得到的第一图像中由第二相机的遮挡物造成的区域，进而根据第二相机得到的第一图像中由第二相机的遮挡物造成的区域，来确定第二相机的失效程度，由于失效程度过高的相机获取到的图像的可信度较低，及时发现失效程度过高的相机，有利于提高获取到的第一图像的质量，进而有利于提高确定的周围环境的天气状态的准确度。
[0145]
需要说明的是，步骤305和306为可选步骤，若不执行步骤305和306，则在执行完步骤304之后执行其他步骤。
[0146]
本技术实施例中，提供了一种确定周围环境的天气状态的方案，在获取到周围环境的第一图像之后，不仅通过第一神经网络生成每个第一图像的预测天气状态，还会获取每个第一图像中的至少一种感兴趣区域，至少一种感兴趣区域中的第一感兴趣区域包括由第一相机的遮挡物造成且与第一图像的预测天气状态具有关联关系的区域；综合第一神经网络生成的每个第一图像的预测天气状态和第一图像中的至少一种感兴趣区域，最终确定周围环境的天气状态，有利于提高最终确定的天气状态的准确率。
[0147]
二、训练阶段
[0148]
本技术实施例中，请参阅图9，图9为本技术实施例提供的神经网络的训练方法的一种流程示意图，本技术实施例提供的神经网络的训练方法可以包括：
[0149]
901、获取训练图像，训练图像通过相机对周围环境拍摄得到。
[0150]
902、通过第一神经网络生成第二信息，其中，第二信息指示至少一种感兴趣区域在训练图像中的预测位置，至少一种感兴趣区域包括由相机的镜头的遮挡物造成的区域，或者，至少一种感兴趣区域还包括由车辆造成的区域。
[0151]
903、通过第一神经网络对第二图像的天气状态进行预测，得到第一信息，其中，第二图像包括训练图像中除了至少一种感兴趣区域之外的图像区域，第一信息指示每个训练
图像的预测天气状态。
[0152]
本技术实施例中，训练设备可以获取训练图像，将训练图像输入第一神经网络中，通过第一神经网络生成第二信息；可选地，还可以通过第一神经网络对第二图像的天气状态进行预测，得到第一信息。训练设备执行步骤902和903的具体实现方式可以参阅上述图3对应的实施例中的描述，此处不做赘述。
[0153]
904、根据第一损失函数项对第一神经网络进行训练，第一损失函数项指示第二信息和第一期望信息之间的相似度，第一期望信息指示至少一种感兴趣区域在训练图像中的正确位置。
[0154]
本技术实施例中，步骤903为可选步骤，若执行步骤903，则步骤904可以包括：训练设备根据第一损失函数项和第二损失函数项对第一神经网络进行迭代训练。其中，第一损失函数项指示第二信息和第一期望信息之间的相似度，第一期望信息指示至少一种感兴趣区域在训练图像中的正确位置，也即利用第一损失函数项对第一神经网络进行训练的目标包括提高第一神经网络输出的第二信息和第一期望信息之间的相似度。第二损失函数项指示第一信息和第二期望信息之间的相似度，第二期望信息指示训练图像的正确天气状态，也即利用第二损失函数项对第一神经网络进行训练的目标包括提高第一神经网络输出的第一信息和第二期望信息之间的相似度。
[0155]
具体的，训练设备在执行完步骤902和903之后，可以生成第一损失函数项的值和第二损失函数项的值，根据第一损失函数项的值和第二损失函数项的值，确定总的损失函数的值，并对总的损失函数值进行梯度求导，以反向更新第一神经网络的权重参数，以完成对第一神经网络的一次训练；训练设备重复执行前述步骤，以实现对第一神经网络的迭代训练。
[0156]
若不执行步骤903，则步骤904可以包括：训练设备根据第一损失函数项对第一神经网络进行迭代训练。具体的，训练设备在执行完步骤902之后，可以生成第一损失函数项的值，并对第一损失函数项的值进行梯度求导，以反向更新第一神经网络的权重参数，以完成对第一神经网络的一次训练；训练设备重复执行前述步骤，以实现对第一神经网络的迭代训练。
[0157]
本技术实施例中，由于相机的遮挡物可以包括相机的镜头上的遮挡物和悬浮于相机之外的遮挡物，例如相机的镜头上可能覆盖有雨滴、泥水、覆冰或其他覆盖物等，又例如，机所处的周围环境为雨天，则悬浮于相机之外的遮挡物也可能有雨滴；而图像中由相机的遮挡物造成的区域会影响对实际的周围环境的观测，采用本方案得到的训练后的第一神经网络能够识别图像中由相机的遮挡物造成的区域，有利于部署训练后的第一神经网络的执行设备能够更为准确的理解周围环境。
[0158]
在图1至图9所对应的实施例的基础上，为了更好的实施本技术实施例的上述方案，下面还提供用于实施上述方案的相关设备。具体参阅图10，图10为本技术实施例提供的图像处理装置的一种结构示意图，图像处理装置1000包括：获取模块1001，用于获取至少一个第一图像，至少一个第一图像通过至少一个第一相机对周围环境拍摄得到；生成模块1002，用于通过第一神经网络生成第一信息，第一信息指示每个第一图像的预测天气状态；确定模块1003，用于根据第一信息和第二信息，确定周围环境的天气状态，第二信息指示每个第一图像中的至少一种感兴趣区域，至少一种感兴趣区域中的第一感兴趣区域包括与第
一图像的预测天气状态具有关联关系的区域。
[0159]
可选地，第一图像的数量为至少两个，至少两个第一图像中存在来自于不同的第一相机的图像。
[0160]
可选地，确定模块1003，具体用于：
[0161]
根据第二信息，确定与每种第一感兴趣区域对应的参数信息，参数信息包括如下任一项或多项：第一感兴趣区域在第一图像中的覆盖率、第一感兴趣区域的面积、第一感兴趣区域的亮度或第一感兴趣区域的模糊度；
[0162]
根据第一信息和与第一感兴趣区域对应的参数信息，确定周围环境的天气状态。
[0163]
可选地，生成模块1002，具体用于通过第一神经网络对第二图像的天气状态进行预测，得到第一信息，其中，第二图像包括第一图像中除了至少一种感兴趣区域中的第二感兴趣区域之外的图像区域，第二感兴趣区域包括由第一相机的遮挡物造成、且与天气状态具有关联关系的区域。
[0164]
可选地，至少一种感兴趣区域中的第二感兴趣区域包括以下任一种或多种：模糊区域、水滴区域、泥水区域、覆冰区域、雪花区域或眩光区域。
[0165]
可选地，确定模块1003，还用于根据第二信息，确定通过第二相机得到的第一图像中的第三感兴趣区域，第二相机归属于至少一个第一相机，通过第二相机得到的第一图像包含于至少一个第一图像，第三感兴趣区域包括通过第二相机得到的第一图像中由第二相机的遮挡物造成的区域；确定模块，还用于根据通过第二相机得到的第一图像中由第二相机的遮挡物造成的区域，确定第二相机的失效程度。
[0166]
需要说明的是，图像处理装置1000中各模块/单元之间的信息交互、执行过程等内容，与本技术中的各个方法实施例基于同一构思，具体内容可参见本技术前述所示的方法实施例中的叙述，此处不再赘述。
[0167]
请参阅图11，图11为本技术实施例提供的图像处理装置的另一种结构示意图，图像处理装置1100包括：获取模块1101，用于获取至少一个第一图像，每个第一图像通过第一相机对周围环境拍摄得到；获取模块1101，用于获取第二信息，其中，第二信息指示每个第一图像中的至少一种感兴趣区域，至少一种感兴趣区域包括第二感兴趣区域，第二感兴趣区域包括由第一相机的遮挡物造成的区域、且与天气状态具有关联关系的区域；处理模块1102，用于通过第一神经网络对第二图像的天气状态进行预测，得到第一信息，第二图像包括第一图像中除了第二感兴趣区域之外的图像区域，第一信息指示每个第一图像的预测天气状态，第一信息用于确定周围环境的天气状态。
[0168]
可选地，处理模块1102，还用于根据第一信息和至少一种感兴趣区域中的第一感兴趣区域，确定周围环境的天气状态，至少一种感兴趣区域中的第一感兴趣区域包括与第一图像的预测天气状态具有关联关系的区域。
[0169]
可选地，处理模块1002，具体用于：
[0170]
根据第二信息，确定与第一感兴趣区域对应的参数信息，参数信息包括如下任一项或多项：第一感兴趣区域在第一图像中的覆盖率、第一感兴趣区域的面积、第一感兴趣区域的亮度或第一感兴趣区域的模糊度；
[0171]
根据第一信息和与第一感兴趣区域对应的参数信息，确定周围环境的天气状态。
[0172]
需要说明的是，图像处理装置1100中各模块/单元之间的信息交互、执行过程等内
容，与本技术中的各个方法实施例基于同一构思，具体内容可参见本技术前述所示的方法实施例中的叙述，此处不再赘述。
[0173]
请参阅图12，图12为本技术实施例提供的神经网络的训练装置的一种结构示意图，神经网络的训练装置1200包括：获取模块1201，用于获取训练图像，训练图像通过相机对周围环境拍摄得到；处理模块1202，用于通过第一神经网络生成第二信息，其中，第二信息指示至少一种感兴趣区域在训练图像中的预测位置，至少一种感兴趣区域包括由相机的遮挡物造成的区域；训练模块1203，用于根据第一损失函数项对第一神经网络进行训练，第一损失函数项指示第二信息和第一期望信息之间的相似度，第一期望信息指示至少一种感兴趣区域在训练图像中的正确位置。
[0174]
可选地，处理模块1202，还用于通过第一神经网络对第二图像的天气状态进行预测，得到第一信息，其中，第二图像包括训练图像中除了至少一种感兴趣区域之外的图像区域，第一信息指示每个训练图像的预测天气状态；训练模块1203，具体用于根据第一损失函数项和第二损失函数项对第一神经网络进行训练，第二损失函数项指示第一信息和第二期望信息之间的相似度，第二期望信息指示训练图像的正确天气状态。
[0175]
需要说明的是，神经网络的训练装置1200中各模块/单元之间的信息交互、执行过程等内容，与本技术中的各个方法实施例基于同一构思，具体内容可参见本技术前述所示的方法实施例中的叙述，此处不再赘述。
[0176]
接下来介绍本技术实施例提供的一种执行设备，请参阅图13，图13为本技术实施例提供的执行设备的一种结构示意图，执行设备1300具体可以表现为车辆、手机、笔记本电脑或监控数据处理设备等，此处不做限定。具体的，执行设备1300包括：接收器1301、发射器1302、处理器1303和存储器1304(其中执行设备1300中的处理器1303的数量可以一个或多个，图13中以一个处理器为例)，其中，处理器1303可以包括应用处理器13031和通信处理器13032。在本技术的一些实施例中，接收器1301、发射器1302、处理器1303和存储器1304可通过总线或其它方式连接。
[0177]
存储器1304可以包括只读存储器和随机存取存储器，并向处理器1303提供指令和数据。存储器1304的一部分还可以包括非易失性随机存取存储器(non-volatile random access memory，nvram)。存储器1304存储有处理器和操作指令、可执行模块或者数据结构，或者它们的子集，或者它们的扩展集，其中，操作指令可包括各种操作指令，用于实现各种操作。
[0178]
处理器1303控制执行设备的操作。具体的应用中，执行设备的各个组件通过总线系统耦合在一起，其中总线系统除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都称为总线系统。
[0179]
上述本技术实施例揭示的方法可以应用于处理器1303中，或者由处理器1303实现。处理器1303可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1303中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1303可以是通用处理器、数字信号处理器(digital signal processing，dsp)、微处理器或微控制器，还可进一步包括专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。该处理器1303可以实现或者执
行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1304，处理器1303读取存储器1304中的信息，结合其硬件完成上述方法的步骤。
[0180]
接收器1301可用于接收输入的数字或字符信息，以及产生与执行设备的相关设置以及功能控制有关的信号输入。发射器1302可用于通过第一接口输出数字或字符信息；发射器1302还可用于通过第一接口向磁盘组发送指令，以修改磁盘组中的数据；发射器1302还可以包括显示屏等显示设备。
[0181]
本技术实施例中，处理器1303，用于执行图2b至图8对应实施例中的执行设备执行的图像处理方法。需要说明的是，处理器1303中的应用处理器13031执行上述各个步骤的具体方式，与本技术中图2b至图8对应的各个方法实施例基于同一构思，其带来的技术效果与本技术中图2b至图8对应的各个方法实施例相同，具体内容可参见本技术前述所示的方法实施例中的叙述，此处不再赘述。
[0182]
本技术实施例还提供了一种训练设备，请参阅图14，图14是本技术实施例提供的训练设备一种结构示意图，训练设备1400由一个或多个服务器实现，训练设备1400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，cpu)1422(例如，一个或一个以上处理器)和存储器1432，一个或一个以上存储应用程序1442或数据1444的存储介质1430(例如一个或一个以上海量存储设备)。其中，存储器1432和存储介质1430可以是短暂存储或持久存储。存储在存储介质1430的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对训练设备中的一系列指令操作。更进一步地，中央处理器1422可以设置为与存储介质1430通信，在训练设备1400上执行存储介质1430中的一系列指令操作。
[0183]
训练设备1400还可以包括一个或一个以上电源1426，一个或一个以上有线或无线网络接口1450，一个或一个以上输入输出接口1458，和/或，一个或一个以上操作系统1441，例如windows servertm，mac os xtm，unixtm,linuxtm，freebsdtm等等。
[0184]
本技术实施例中，中央处理器1422，用于执行图9对应实施例中的训练设备执行的神经网络的训练方法。需要说明的是，中央处理器1422执行各个步骤的具体方式，与本技术中图9对应的各个方法实施例基于同一构思，其带来的技术效果与本技术中图9对应的各个方法实施例相同，具体内容可参见本技术前述所示的方法实施例中的叙述，此处不再赘述。
[0185]
本技术实施例中还提供一种包括计算机程序产品，当其在计算机上运行时，使得计算机执行如前述图2b至图8所示实施例描述的方法中执行设备所执行的步骤，或者，使得计算机执行如前述图9所示实施例描述的方法中训练设备所执行的步骤。
[0186]
本技术实施例中还提供一种计算机可读存储介质，该计算机可读存储介质中存储有用于进行信号处理的程序，当其在计算机上运行时，使得计算机执行如前述图2b至图8所示实施例描述的方法中执行设备所执行的步骤，或者，使得计算机执行如前述图9所示实施例描述的方法中训练设备所执行的步骤。
[0187]
本技术实施例提供的执行设备或训练设备具体可以为芯片，芯片包括：处理单元
和通信单元，所述处理单元例如可以是处理器，所述通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行存储单元存储的计算机执行指令，以使芯片执行上述图2b至图8所示实施例描述的图像处理方法，或者，以使训练设备内的芯片执行上述图9所示实施例描述的图像处理方法。可选地，所述存储单元为所述芯片内的存储单元，如寄存器、缓存等，所述存储单元还可以是所述无线接入设备端内的位于所述芯片外部的存储单元，如只读存储器(read-only memory，rom)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，ram)等。
[0188]
具体的，请参阅图15，图15为本技术实施例提供的芯片的一种结构示意图，所述芯片可以表现为神经网络处理器npu 150，npu 150作为协处理器挂载到主cpu(host cpu)上，由host cpu分配任务。npu的核心部分为运算电路150，通过控制器1504控制运算电路1503提取存储器中的矩阵数据并进行乘法运算。
[0189]
在一些实现中，运算电路1503内部包括多个处理单元(process engine,pe)。在一些实现中，运算电路1503是二维脉动阵列。运算电路1503还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在一些实现中，运算电路1503是通用的矩阵处理器。
[0190]
举例来说，假设有输入矩阵a，权重矩阵b，输出矩阵c。运算电路从权重存储器1502中取矩阵b相应的数据，并缓存在运算电路中每一个pe上。运算电路从输入存储器1501中取矩阵a数据与矩阵b进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累加器(accumulator)1508中。
[0191]
统一存储器1506用于存放输入数据以及输出数据。权重数据直接通过存储单元访问控制器(direct memory access controller，dmac)1505，dmac被搬运到权重存储器1502中。输入数据也通过dmac被搬运到统一存储器1506中。
[0192]
biu为bus interface unit即，总线接口单元1510，用于axi总线与dmac和取指存储器(instruction fetch buffer，ifb)1509的交互。
[0193]
总线接口单元1510(bus interface unit，简称biu)，用于取指存储器1509从外部存储器获取指令，还用于存储单元访问控制器1505从外部存储器获取输入矩阵a或者权重矩阵b的原数据。
[0194]
dmac主要用于将外部存储器ddr中的输入数据搬运到统一存储器1506或将权重数据搬运到权重存储器1502中或将输入数据数据搬运到输入存储器1501中。
[0195]
向量计算单元1507包括多个运算处理单元，在需要的情况下，对运算电路的输出做进一步处理，如向量乘，向量加，指数运算，对数运算，大小比较等等。主要用于神经网络中非卷积/全连接层网络计算，如batch normalization(批归一化)，像素级求和，对特征平面进行上采样等。
[0196]
在一些实现中，向量计算单元1507能将经处理的输出的向量存储到统一存储器1506。例如，向量计算单元1507可以将线性函数和/或非线性函数应用到运算电路1503的输出，例如对卷积层提取的特征平面进行线性插值，再例如累加值的向量，用以生成激活值。在一些实现中，向量计算单元1507生成归一化的值、像素级求和的值，或二者均有。在一些实现中，处理过的输出的向量能够用作到运算电路1503的激活输入，例如用于在神经网络中的后续层中的使用。
[0197]
控制器1504连接的取指存储器(instruction fetch buffer)1509，用于存储控制器1504使用的指令；
[0198]
统一存储器1506，输入存储器1501，权重存储器1502以及取指存储器1509均为on-chip存储器。外部存储器私有于该npu硬件架构。
[0199]
其中，图2b至图9中示出的神经网络中各层的运算可以由运算电路1503或向量计算单元1507执行。
[0200]
其中，上述任一处提到的处理器，可以是一个通用中央处理器，微处理器，asic，或一个或多个用于控制上述第一方面方法的程序执行的集成电路。
[0201]
另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本技术提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。
[0202]
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本技术可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用cpu、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本技术而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、u盘、移动硬盘、rom、ram、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，训练设备，或者网络设备等)执行本技术各个实施例所述的方法。
[0203]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
[0204]
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、训练设备或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、训练设备或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的训练设备、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘(solid state disk，ssd))等。