一种图像处理方法及装置与流程

1.本技术涉及计算机技术领域，特别是涉及一种图像处理方法及装置。


背景技术：

2.机器学习等以神经网络模型为基础的人工智能算法，因其超强的拟合能力和端到端的全局优化能力，目前在视频图像、语音识别和自然语言处理等相关领域得到了广泛应用。
3.然而，神经网络模型的泛化能力的高低取决于用于训练神经网络模型的训练数据的数据量。训练数据越多，训练出的神经网络模型的泛化能力也就越高。
4.如此，在训练神经网络模型之前，需要准备大量的训练数据，但是，在现有技术中，目前需要人工采集训练数据并对训练数据打标，但是大量的训练数据的采集与打标等工作需要耗费非常大的人工工作量，导致人工成本较高。


技术实现要素：

5.为了降低人工工作量，进而降低人工成本，本技术示出了一种图像处理方法及装置。
6.第一方面，本技术示出了一种图像处理方法，所述方法包括：
7.获取原图中的目标物体的深度信息；
8.根据所述深度信息、随机噪声生成算法和预设空气散射参数获取所述目标物体对应的空气透射率；
9.获取原图中的空气光照参数；
10.根据所述空气透射率、所述空气光照参数和所述原图生成雾气图。
11.在一个可选的实现方式中，所述根据所述深度信息、随机噪声生成算法和预设空气散射参数获取所述目标物体对应的空气透射率，包括：
12.确定所述目标物体的种类；
13.在多个预设空气散射参数中，选择适用于所述种类的物体的预设空气散射参数；
14.根据所述深度信息、随机噪声生成算法和选择的预设空气散射参数获取所述目标物体对应的空气透射率。
15.在一个可选的实现方式中，所述确定所述目标物体的种类，包括：
16.将所述原图输入语义分割模型中，得到所述语义分割模型输出的所述目标物体的种类。
17.在一个可选的实现方式中，所述在多个预设空气散射参数中，选择适用于所述种类的物体的预设空气散射参数，包括：
18.在物体的种类与预设空气散射参数之间的对应关系中，查找与所述种类相对应的预设空气散射参数。
19.在一个可选的实现方式中，所述根据所述深度信息、随机噪声生成算法和预设空
气散射参数获取所述目标物体对应的空气透射率，包括：
20.根据所述随机噪声生成算法生成所述原图对应的随机噪声图；
21.获取所述目标物体在所述原图中的位置；
22.在所述随机噪声图中获取位于所述位置的噪声数据；
23.根据所述深度信息、所述噪声数据和所述预设空气散射参数获取所述目标物体对应的空气透射率。
24.在一个可选的实现方式中，所述根据所述深度信息、所述噪声数据和所述预设空气散射参数获取所述目标物体对应的空气透射率，包括：
25.计算所述深度信息与所述噪声数据之间的乘积的平方，得到第一数值；
26.计算预设底数的所述第一数值的次方，得到第二数值；
27.计算所述第二数值的倒数，得到所述空气透射率。
28.在一个可选的实现方式中，所述根据所述随机噪声生成算法生成所述原图对应的随机噪声图，包括：
29.基于随机噪声生成算法生成至少两个不同频率的随机候选噪声图；
30.将至少两个不同频率的随机候选噪声图叠加，得到所述原图对应的随机噪声图。
31.在一个可选的实现方式中，所述根据所述空气透射率、所述空气光照参数和所述原图生成雾气图，包括：
32.根据所述空气透射率，获取所述原图中的所述目标物体反射的光的光照参数经过空气传播衰减之后的第一光照参数；
33.根据所述空气透射率，获取所述空气光照参数经过空气传播衰减之后的第二光照参数；
34.根据所述第一光照参数、所述第二光照参数和所述原图生成所述雾气图。
35.在一个可选的实现方式中，所述根据所述空气透射率，获取所述原图中的所述目标物体反射的光的光照参数经过空气传播衰减之后的第一光照参数，包括：
36.计算所述原图中的所述目标物体反射的光的光照参数与所述空气透射率之间的乘积，得到所述第一光照参数。
37.在一个可选的实现方式中，所述根据所述空气透射率，获取所述空气光照参数经过空气传播衰减之后的第二光照参数，包括：
38.计算所述空气光照参数与所述空气透射率之间的乘积，得到所述第二光照参数。
39.在一个可选的实现方式中，所述根据所述第一光照参数、所述第二光照参数和所述原图生成所述雾气图，包括：
40.将所述原图中的所述目标物体反射的光的光照参数调整为所述第一光照参数与所述第二光照参数之和，得到所述雾气图。
41.在一个可选的实现方式中，所述获取原图中的目标物体的深度信息，包括：
42.将原图输入深度信息识别模型中，得到深度信息识别模型输出的所述深度信息。
43.在一个可选的实现方式中，所述获取原图中的空气光照参数，包括：
44.获取所述原图中的各个像素点反射的光的光照参数；
45.将最大的光照参数确定为所述空气光照参数。
46.第二方面，本技术示出了一种图像处理装置，所述装置包括：
47.第一获取模块，用于获取原图中的目标物体的深度信息；
48.第二获取模块，用于根据所述深度信息、随机噪声生成算法和预设空气散射参数获取所述目标物体对应的空气透射率；
49.第三获取模块，用于获取原图中的空气光照参数；
50.生成模块，用于根据所述空气透射率、所述空气光照参数和所述原图生成雾气图。
51.在一个可选的实现方式中，所述第二获取模块包括：
52.第一确定单元，用于确定所述目标物体的种类；
53.选择单元，用于在多个预设空气散射参数中，选择适用于所述种类的物体的预设空气散射参数；
54.第一获取单元，用于根据所述深度信息、随机噪声生成算法和选择的预设空气散射参数获取所述目标物体对应的空气透射率。
55.在一个可选的实现方式中，所述确定单元具体用于：将所述原图输入语义分割模型中，得到所述语义分割模型输出的所述目标物体的种类。
56.在一个可选的实现方式中，所述选择单元具体用于：在物体的种类与预设空气散射参数之间的对应关系中，查找与所述种类相对应的预设空气散射参数。
57.在一个可选的实现方式中，所述第一获取单元包括：
58.生成子单元，用于根据所述随机噪声生成算法生成所述原图对应的随机噪声图；
59.第一获取子单元，用于获取所述目标物体在所述原图中的位置；
60.第二获取子单元。用于在所述随机噪声图中获取位于所述位置的噪声数据；
61.第三获取子单元，用于根据所述深度信息、所述噪声数据和所述预设空气散射参数获取所述目标物体对应的空气透射率。
62.在一个可选的实现方式中，所述第三获取子单元具体用于：计算所述深度信息与所述噪声数据之间的乘积的平方，得到第一数值；计算预设底数的所述第一数值的次方，得到第二数值；计算所述第二数值的倒数，得到所述空气透射率。
63.在一个可选的实现方式中，所述生成子单元具体用于：基于随机噪声生成算法生成至少两个不同频率的随机候选噪声图；将至少两个不同频率的随机候选噪声图叠加，得到所述原图对应的随机噪声图。
64.在一个可选的实现方式中，所述生成模块包括：
65.第二获取单元，用于根据所述空气透射率，获取所述原图中的所述目标物体反射的光的光照参数经过空气传播衰减之后的第一光照参数；
66.第三获取单元，用于根据所述空气透射率，获取所述空气光照参数经过空气传播衰减之后的第二光照参数；
67.生成单元，用于根据所述第一光照参数、所述第二光照参数和所述原图生成所述雾气图。
68.在一个可选的实现方式中，所述第二获取单元具体用于：计算所述原图中的所述目标物体反射的光的光照参数与所述空气透射率之间的乘积，得到所述第一光照参数。
69.在一个可选的实现方式中，所述第三获取单元具体用于：计算所述空气光照参数与所述空气透射率之间的乘积，得到所述第二光照参数。
70.在一个可选的实现方式中，所述生成单元具体用于：将所述原图中的所述目标物
体反射的光的光照参数调整为所述第一光照参数与所述第二光照参数之和，得到所述雾气图。
71.在一个可选的实现方式中，所述第一获取模块具体用于：将原图输入深度信息识别模型中，得到深度信息识别模型输出的所述深度信息。
72.在一个可选的实现方式中，所述第三获取模块包括：
73.第四获取单元，用于获取所述原图中的各个像素点反射的光的光照参数；
74.第二确定单元，用于将最大的光照参数确定为所述空气光照参数。
75.第三方面，本技术示出了一种电子设备，所述电子设备包括：
76.处理器；和
77.存储器，其上存储有可执行代码，当所述可执行代码被执行时，使得所述处理器执行如第一方面所述的图像处理方法。
78.第四方面，本技术示出了一个或多个机器可读介质，其上存储有可执行代码，当所述可执行代码被执行时，使得处理器执行如第一方面所述的图像处理方法。
79.与现有技术相比，本技术实施例包括以下优点：
80.在本技术中，获取原图中的目标物体的深度信息；根据深度信息、随机噪声生成算法和预设空气散射参数获取目标物体对应的空气透射率；获取原图中的空气光照参数；根据空气透射率、空气光照参数和原图生成雾气图。通过本技术，可以自动化地根据原图生成雾气图，从而可以增加用于训练模型的训练数据的数据量，且结合目标物体的深度信息和随机噪声生成算法生成的雾气图中的雾气符合现实中的真实的有雾气的场景，例如，雾气图中的雾气非均匀分布，雾气分布更随机和更自然等，从而可以提高训练出的模型上线后在现实中的真实的有雾气的场景中的泛化能力。且在根据原图生成雾气图时不需要人工参与，从而相比于现有技术中，本技术可以降低人工工作量，进而降低人工成本。
附图说明
81.图1是本技术一示例性实施例示出的一种图像处理方法的流程示意图。
82.图2是本技术一示例性实施例示出的一种获取空气透射率的方法的流程示意图。
83.图3是本技术一示例性实施例示出的一种图像处理装置的结构框图。
84.图4是本技术一示例性实施例提供的装置的结构示意图。
具体实施方式
85.为使本技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本技术作进一步详细的说明。
86.参照图1，示出了本技术一种图像处理方法的流程示意图，该方法应用于电子设备中，该方法可以包括：
87.在步骤s101中，获取原图中的目标物体的深度信息；
88.在本技术一个实施例中，假设原图是基于摄像头拍摄得到的，则目标物体的深度信息包括目标物体与摄像头之间的距离等。
89.其中，原图中的目标物体为至少一个。
90.目标物体可以包括汽车、人物、自行车、宠物、数目、建筑、道路、山体和河流等等。
91.在本技术中，在一个场景中，需要增加用于训练模型的训练数据的数据量，进而提高训练出的模型的泛化能力。
92.为了在增加用于训练模型的训练数据的数据量的同时不增加人工成本，则需要自动化地生成用于训练模型的训练数据，在一个方式中，可以对原图加雾，以得到雾气图，在训练模型时，可以结合原图和雾气图训练模型，其中，雾气图与原图可以看作是不同的图像，雾气图的标注数据与原图的标注数据可以相同。
93.其中，在现实中的真实的有雾气的场景中，雾气分布在现实空间中，且雾气并不是均匀分布在现实空间中的，而是非均匀分布在现实空间中的，例如不同的部分空间中分布的雾气的浓度不尽相同等。
94.例如，距离摄像头越远的物体与摄像头之间的空间中包含的雾气就越多，这部分空间中的空气透射率就越低，经由摄像头采集到的经由物体反射的光的光照参数越高，例如，反射的光的亮度越高等。而距离摄像头越近的物体与摄像头之间的空间中包含的雾气就越少，这部分空间中的空气透射率就越高，经由摄像头采集到的经由物体反射的光的光照参数越低，例如，反射的光的亮度越低等。
95.其中，物体反射的光的光照参数包括物体反射的光的亮度。
96.如果生成的用于训练模型的雾气图中的雾气不符合现实中的真实的有雾气的场景，例如，雾气图中的雾气均匀分布等，则会导致结合原图和雾气图训练得到的模型泛化能力较低。
97.例如，结合原图和雾气均匀分布的雾气图训练得到的模型在上线之后，模型对雾气均匀的图像中的物体的业务识别能力较高，也即，模型对雾气均匀的图像中的物体的业务识别能力较低。
98.但是，事实上在模型上线之后，模型需要识别的图像中如果存在雾气，则雾气往往是非均匀分布的，然而模型对雾气非均匀的图像中的物体的业务识别能力较低，从而导致模型的泛化能力较低。
99.因此，为了提高模型的泛化能力，需要使得本技术中基于原图生成的雾气图中的雾气能够符合现实中的真实的有雾气的场景，例如，雾气图中的雾气非均匀分布的，雾气分布更随机和更自然等。
100.为了使得本技术中基于原图生成的雾气图中的雾气能够符合现实中的真实的有雾气的场景，则需要获取原图中的目标物体的深度信息，然后执行步骤s102。
101.在一个可选的方式中，在本技术中，可以基于深度信息识别模型来确定目标物体的深度信息。
102.其中，事先可以训练深度信息识别模型，训练过程包括：获取样本数据集，样本数据集中包括多个样本图像，多个样本图像中包括有样本物体，样本数据集中还包括样本物体的标注深度信息。
103.然后根据样本数据集对模型训练，直至该模型中的参数收敛，从而得到深度信息识别模型。其中，该模型包括u-net模型等。
104.如此，在本步骤中，可以将原图输入深度信息识别模型中，得到深度信息识别模型输出的原图中的各个目标物体的深度信息。
105.在本技术另一实施例中，技术人员可以手动在原图中指定目标物体，电子设备获
取技术人员在原图中指定的目标物体，然后获取目标物体的深度信息。
106.或者，在本技术另一实施例中，技术人员可以手动在原图中指定需要加雾的区域，电子设备识别原图中的位于该区域内的目标物体，然后获取目标物体的深度信息。
107.在步骤s102中，根据深度信息、随机噪声生成算法和预设空气散射参数获取目标物体对应的空气透射率；
108.在本技术一个实施例中，技术人员事先可以根据空气的实际情况计算出合适的空气散射参数，并将其作为预设空气散射参数存储在电子设备中。
109.或者，在本技术另一实施例中，技术人员也可以查找业界公用的空气散射参数，并将其作为预设空气散射参数存储在电子设备中。
110.如此，在本步骤中，电子设备可以直接获取已存储的预设空气散射参数。
111.本技术中的随机噪声生成算法包括高斯随机噪声生成算法、柏林perlin随机噪声生成算法和椒盐随机噪声生成算法等，本技术对随机噪声生成算法不做限定。
112.本技术中的随机噪声生成算法是为了控制图像中垂直于摄像头的视角的平面上的不同位置的空气透射率不尽相同，以使得图像中的不同位置的物体反射的光的光照参数不尽相同，进而使得图像中展现出的雾气不均匀，更加自然。
113.目标物体对应的空气透射率越低，则目标物体反射的光的光照参数越高，例如，反射的光的亮度越高等。
114.目标物体对应的空气透射率越高，则目标物体反射的光的光照参数越低，例如，反射的光的亮度越低等。
115.本步骤具体可以参见之后图2所示的实施例，在此不做详述。
116.在步骤s103中，获取原图中的空气光照参数；
117.空气光照包括太阳光等光源受空气中散射介质的散射作用形成的背景光。
118.空气光照参数包括空气光照的亮度等，例如，太阳光等光源受空气中散射介质的散射作用形成的背景光的亮度。
119.空气光照参数往往大于目标物体反射的光的光照参数，例如，空气光照的亮度往往大于目标物体反射的光的亮度等。
120.例如，假设原图是由摄像头拍摄得到的，在基于摄像头拍摄原图时，太阳光等光源经过散射后到达摄像头的亮度可以为空气光照参数等。
121.其中，太阳光等光源在不同的位置散射后的衰减程度不尽相同，因此，在一个可选的方式中，可以获取原图中的各个像素点反射的光的光照参数，然后将最大的光照参数确定为空气光照参数。
122.在步骤s104中，根据空气透射率、空气光照参数和原图生成雾气图。
123.其中，本步骤可以通过如下流程实现，包括：
124.1041、根据空气透射率，获取原图中的目标物体反射的光的光照参数经过空气传播衰减之后的第一光照参数；
125.在本技术中，可以计算原图中的目标物体反射的光的光照参数与空气透射率之间的乘积，得到第一光照参数。
126.目标物体反射的光的光照参数包括反射的光的亮度等。
127.其中，原图中的目标物体由多个像素点构成，对于原图中的目标物体包括的任意
一个像素点，可以计算该像素点反射光的光照参数与空气透射率之间的乘积，得到第一光照参数。对于原图中的目标物体包括的其他每一个像素点，同样如此。
128.其中，本技术中一个像素点可以通过rgb格式来表示像素值，也即，一个像素点具有三个通道，分别为红色通道，绿色通道和蓝色通道，每一个通道都具备各自的光照参数，这样，该像素点的第一光照参数就包括该像素点反射的光在红色通道的光照参数、在绿色通道的光照参数和在蓝色通道的光照参数，例如，包括该像素点反射的光在红色通道的亮度、在绿色通道的亮度和在蓝色通道的亮度等。
129.如此，在计算该像素点反射的光的光照参数与空气透射率之间的乘积，得到第一光照参数时，可以计算该像素点反射的光在红色通道的光照参数与空气透射率之间的乘积，计算该像素点反射的光在绿色通道的光照参数与空气透射率之间的乘积，并计算该像素点反射的光在蓝色通道的光照参数与空气透射率之间的乘积，将三个乘积均作为第一光照参数。
130.1042、根据空气透射率，获取空气光照参数经过空气传播衰减之后的第二光照参数；
131.在本技术中，可以计算空气光照参数与空气透射率之间的乘积，得到第二光照参数。
132.1043、根据第一光照参数、第二光照参数和原图生成雾气图。
133.将原图中的目标物体反射的光的光照参数调整为第一光照参数与第二光照参数之和，得到雾气图。
134.对于原图中的目标物体包括的任意一个像素点，可以计算第二光照参数与该像素点对应的第一光照参数之和，然后将该像素点反射的光的光照参数调整为该像素点对应的第一光照参数与第二光照参数之和，对于原图中的目标物体包括的其他每一个像素点，同样如此，从而得到雾气图。
135.其中，本技术中一个像素点可以通过rgb格式来表示像素值，也即，一个像素点具有三个通道，分别为红色通道，绿色通道和蓝色通道，每一个通道都具备各自的光照参数，这样，该像素点的第一光照参数就包括该像素点反射的光在红色通道的光照参数、在绿色通道的光照参数和在蓝色通道的光照参数，例如，包括该像素点反射的光在红色通道的亮度、在绿色通道的亮度和在蓝色通道的亮度等。
136.如此，在计算第二光照参数与该像素点对应的第一光照参数之和时，可以计算第二光照参数与该像素点反射的光在红色通道的光照参数之和，计算第二光照参数与该像素点反射的光在绿色通道的光照参数之和，和计算第二光照参数与该像素点反射的光在蓝色通道的光照参数之和。
137.在本技术中，获取原图中的目标物体的深度信息；根据深度信息、随机噪声生成算法和预设空气散射参数获取目标物体对应的空气透射率；获取原图中的空气光照参数；根据空气透射率、空气光照参数和原图生成雾气图。通过本技术，可以自动化地根据原图生成雾气图，从而可以增加用于训练模型的训练数据的数据量，且结合目标物体的深度信息和随机噪声生成算法生成的雾气图中的雾气符合现实中的真实的有雾气的场景，例如，雾气图中的雾气非均匀分布，雾气分布更随机和更自然等，从而可以提高训练出的模型上线后在现实中的真实的有雾气的场景中的泛化能力。且在根据原图生成雾气图时不需要人工参
与，从而相比于现有技术中，本技术可以降低人工工作量，进而降低人工成本。
138.在本技术的方案可以应用于交通场景和明厨亮灶产品等，当然，还可以应用于很多场景，例如，本方案的核心点在于给图像进行加雾加密处理，在人脸识别场景中通过加雾进行数据增强，在影视后期制作中给画面和图像进行加雾特效、在游戏场景给画面和图像进行加雾特效等场景均可以扩展和适用本方案。
139.另外，在本技术另一实施例中，可以人工使用图像处理软件对原图进行加雾处理，得到原图对应的中间雾气图，然后对中间雾气图按照本技术图1所示的方案进行加雾处理，得到最终的雾气图。
140.或者，在本技术另一实施例中，在按照图1所示的方案得到原图对应的雾气图之后，还可以人工使用图像处理软件对雾气图进行二次加工等。
141.在本技术另一实施例中，参见图2，步骤s102包括：
142.在步骤s201中，确定目标物体的种类；
143.本技术中，可以包括汽车、人物、自行车、宠物、数目、建筑、道路、山体和河流等不同种类的物体。
144.在本技术中，可以基于语义分割模型来确定目标物体的种类。
145.其中，事先可以训练语义分割模型，训练过程包括：获取样本数据集，样本数据集中包括多个样本图像，多个样本图像中包括有样本物体，样本数据集中还包括样本物体的标注种类。
146.然后根据样本数据集对模型训练，直至该模型中的参数收敛，从而得到语义分割模型。
147.其中，该模型包括deeplabv3 、cnn(convolutional neural networks，卷积神经网络)fcn(fully convolutional networks，全卷积网络)等等。
148.如此，在本步骤中，可以将原图输入语义分割模型中，得到语义分割模型输出的目标物体的种类。
149.在步骤s202中，在多个预设空气散射参数中，选择适用于目标物体的种类的物体的预设空气散射参数；
150.在前述实施例中，在生成雾气图时，原图中的各个种类的目标物体都使用同一个预设空气散射参数，使得各个种类的目标物体反射光的反射效果一致。
151.然而，在现实中的真实的有雾气的场景中，不同种类的物体反射光的反射效果不尽相同，例如，路面反射光的反射效果通常是漫反射，汽车表面反射光的反射效果通常是镜面反射等，因此，如果生成的用于训练模型的雾气图中的物体反射光的反射效果不符合现实中的真实场景，例如，各个种类的目标物体反射光的反射效果一致，则会导致结合原图和雾气图训练得到的模型泛化能力较低。
152.例如，结合原图和各个种类的目标物体反射光的反射效果一致的雾气图训练得到的模型在上线之后，模型对各个种类的物体的反射效果均相同的图像中的物体的业务识别能力较高，也即，模型对各个种类的物体的反射效果不尽相同的图像中的物体的业务识别能力较低。
153.但是，事实上在模型上线之后，模型需要识别的图像中如果存在多个不同种类的物体，则不同种类的物体反射光的反射效果是不尽相同的，然而模型对各个种类的物体的
反射效果不尽相同的图像中的物体的业务识别能力较低。
154.因此，为了提高模型的泛化能力，需要使得本技术中基于原图生成的雾气图中的各个种类的物体反射光的反射效果能够符合现实中的真实场景，例如，不同种类的物体反射光的反射效果不尽相同等。
155.因此，为了使得本技术中基于原图生成的雾气图中的各个种类的物体反射光的反射效果能够符合现实中的真实场景，由于反射光的反射效果可以至少由预设空气散射参数来决定，因此，可以在多个预设空气散射参数中，选择适用于该种类的物体的预设空气散射参数。
156.在本技术另一实施例中，对于任意一个种类的物体，事先可以确定该种类的物体反射光的反射效果，然后可以确定出该反射效果对应的空气散射参数，并作为适用于该种类的物体的预设空气散射参数，然后将该种类与适用于该种类的物体的预设空气散射参数组成对应表项，并存储在物体的种类与预设空气散射参数之间的对应关系中。对于其他每一个种类的物体，同样如此。
157.因此，在本步骤中，可以在物体的种类与预设空气散射参数之间的对应关系中，查找与目标物体的种类相对应的预设空气散射参数。
158.在步骤s203中，根据深度信息、随机噪声生成算法和选择的预设空气散射参数获取目标物体对应的空气透射率。
159.其中，本步骤中可以通过如下流程实现，包括：
160.2031、根据随机噪声生成算法生成原图对应的随机噪声图；
161.在本技术中，生成的噪声图的尺寸大小与原图的尺寸大小可以相同。例如，原图的尺寸大小为m*n，也即，原图中有m行的像素点，每一行中包括n个像素点。
162.生成的随机噪声图中的尺寸大小为m*n，也即，随机噪声图中有m行的噪声数据，每一行中包括n个噪声数据，噪声数据可以为区间(0,1)中的数值等。
163.原图中的各个像素点的位置与随机噪声图中的各个噪声数据的位置一一对应。
164.随机噪声图中的某一位置的噪声数据越大，则在原图中的该位置的空气透射率越低，或者说，之后会在原图中的该位置的生成的雾气的浓度越高。
165.随机噪声图中的某一位置的噪声数据越小，则在原图中的该位置的空气透射率越高，或者说，之后会在原图中的该位置的生成的雾气的浓度越低。
166.然而，本技术中由于是根据随机噪声生成算法生成的随机噪声图，则很可能出现一种情况：生成的随机噪声图中的位置相邻的两个噪声数据之间的差异较大，例如，位置相邻的两个噪声数据中，一个为0.95，另一个为0.01，这就导致生成的雾气图中相邻的两个位置中的雾气浓度之间的差异非常大。
167.且生成的随机噪声图中存在很多个这种情况，也即，生成的雾气图中有多处的相邻的两个位置中的雾气浓度之间的差异非常大，这就使得生成的雾气图在视觉上很不自然，不符合在现实中的真实的有雾气的场景中。
168.其中，在现实中的真实的有雾气的场景中，相邻位置上的雾气的浓度即使有差异，但是差异也是非常小的，也即，现实中的真实的有雾气的场景中，雾气的浓度是平滑过渡的。
169.如果生成的用于训练模型的雾气图中的雾气不符合现实中的真实的有雾气的场
景，例如，生成的用于训练模型的雾气图中的雾气中相邻位置上的雾气的浓度之间的差异非常大，甚至有生成的雾气图中有多处的相邻的两个位置中的雾气浓度之间的差异非常大，则会导致结合原图和雾气图训练得到的模型泛化能力较低。
170.例如，结合原图和有多处的相邻的两个位置中的雾气浓度之间的差异非常大的雾气图训练得到的模型在上线之后，模型对有多处的相邻的两个位置中的雾气浓度之间的差异非常大的图像中的物体的业务识别能力较高，也即，模型对有多处的相邻的两个位置中的雾气浓度之间的差异非常小的图像中的物体的业务识别能力较低。
171.但是，事实上在模型上线之后，模型需要识别的图像如果存在雾气，则相邻的两个位置中的雾气浓度之间的差异往往非常小，也即雾气的浓度是平滑过渡的，然而模型对有多处的相邻的两个位置中的雾气浓度之间的差异非常小的图像中的物体的业务识别能力较低。
172.因此，为了提高模型泛化能力，需要使得本技术中基于原图生成的雾气图中的雾气能够符合现实中的真实的有雾气的场景，例如，雾气图中的相邻的两个位置中的雾气浓度之间的差异往往非常小，也即雾气图中的雾气的浓度是平滑过渡的，雾气的浓度的过渡更随机和更自然等。
173.因此，为了使得本技术中基于原图生成的雾气图中的雾气能够符合现实中的真实的有雾气的场景，在根据随机噪声生成算法生成原图对应的随机噪声图时，可以基于随机噪声生成算法生成至少两个不同频率的随机候选噪声图；将至少两个不同频率的随机候选噪声图叠加，得到原图对应的随机噪声图。
174.其中，在一个方式中，可以基于随机噪声生成算法生成至少两个不同频率的随机候选噪声图时，可以根据柏林perlin随机噪声生成算法生成随机噪声图。
175.控制柏林噪声的参数包括：scale、octave、lacunarity和persistence等。
176.scale代表了用多远的距离去观看随机噪声图。octave代表要控制生成的随机噪声图保留细节的程度。lacunarity代表适应控制每一个octave中频率。persistence代表每个octave对随机噪声图整体上的贡献程度。
177.技术人员经过实验可得：可以将柏林perlin随机噪声生成算法中的octave设置为1，将lacunarity设置为2，在octave为1时persistence的数值可以随机设置。如此，在基于随机噪声生成算法生成至少两个不同频率的随机候选噪声图，只需要调整scale的数值即可。
178.具体地，可以根据柏林perlin随机噪声生成算法以不同的scale分别生成尺寸大小与原图的尺寸大小相同的候选随机噪声图，然后在多个候选随机噪声图中，将相同位置的噪声数据相加，从而得到一个新的随机噪声图，并作为原图对应的随机噪声图。
179.2032、获取目标物体在原图中的位置；
180.在本技术中，原图中的目标物体由多个像素点构成，每一个像素点在原图中都具备各自的位置，因此，可以获取原图中的构成目标物体的各个像素点在原图中的位置。
181.2033、在随机噪声图中获取位于该位置的噪声数据；
182.2034、根据该深度信息、该噪声数据和预设空气散射参数获取目标物体对应的空气透射率。
183.在本技术一个实施例中，对于位于获取的任意一个位置的噪声数据，可以计算该
深度信息与该噪声数据之间的乘积的平方，得到第一数值；然后计算预设底数的第一数值的次方，得到第二数值，其中，预设底数包括e等，e包括2.71828183等自然数，然后计算第二数值的倒数，得到原图中的该位置对应的空气透射率。对于位于获取的其他每一个位置的噪声数据，同样执行上述操作。从而得到原图中的获取的每一个位置分别对应的空气透射率；然后将原图中的获取的每一个位置对应的空气透射率组合为目标物体对应的空气透射率。
184.参照图3，示出了本技术一种图像处理装置的实施例的结构框图，具体可以包括如下模块：
185.第一获取模块11，用于获取原图中的目标物体的深度信息；
186.第二获取模块12，用于根据所述深度信息、随机噪声生成算法和预设空气散射参数获取所述目标物体对应的空气透射率；
187.第三获取模块13，用于获取原图中的空气光照参数；
188.生成模块14，用于根据所述空气透射率、所述空气光照参数和所述原图生成雾气图。
189.在一个可选的实现方式中，所述第二获取模块包括：
190.第一确定单元，用于确定所述目标物体的种类；
191.选择单元，用于在多个预设空气散射参数中，选择适用于所述种类的物体的预设空气散射参数；
192.第一获取单元，用于根据所述深度信息、随机噪声生成算法和选择的预设空气散射参数获取所述目标物体对应的空气透射率。
193.在一个可选的实现方式中，所述确定单元具体用于：将所述原图输入语义分割模型中，得到所述语义分割模型输出的所述目标物体的种类。
194.在一个可选的实现方式中，所述选择单元具体用于：在物体的种类与预设空气散射参数之间的对应关系中，查找与所述种类相对应的预设空气散射参数。
195.在一个可选的实现方式中，所述第一获取单元包括：
196.生成子单元，用于根据所述随机噪声生成算法生成所述原图对应的随机噪声图；
197.第一获取子单元，用于获取所述目标物体在所述原图中的位置；
198.第二获取子单元。用于在所述随机噪声图中获取位于所述位置的噪声数据；
199.第三获取子单元，用于根据所述深度信息、所述噪声数据和所述预设空气散射参数获取所述目标物体对应的空气透射率。
200.在一个可选的实现方式中，所述第三获取子单元具体用于：计算所述深度信息与所述噪声数据之间的乘积的平方，得到第一数值；计算预设底数的所述第一数值的次方，得到第二数值；计算所述第二数值的倒数，得到所述空气透射率。
201.在一个可选的实现方式中，所述生成子单元具体用于：基于随机噪声生成算法生成至少两个不同频率的随机候选噪声图；将至少两个不同频率的随机候选噪声图叠加，得到所述原图对应的随机噪声图。
202.在一个可选的实现方式中，所述生成模块包括：
203.第二获取单元，用于根据所述空气透射率，获取所述原图中的所述目标物体反射的光的光照参数经过空气传播衰减之后的第一光照参数；
204.第三获取单元，用于根据所述空气透射率，获取所述空气光照参数经过空气传播衰减之后的第二光照参数；
205.生成单元，用于根据所述第一光照参数、所述第二光照参数和所述原图生成所述雾气图。
206.在一个可选的实现方式中，所述第二获取单元具体用于：计算所述原图中的所述目标物体反射的光的光照参数与所述空气透射率之间的乘积，得到所述第一光照参数。
207.在一个可选的实现方式中，所述第三获取单元具体用于：计算所述空气光照参数与所述空气透射率之间的乘积，得到所述第二光照参数。
208.在一个可选的实现方式中，所述生成单元具体用于：将所述原图中的所述目标物体反射的光的光照参数调整为所述第一光照参数与所述第二光照参数之和，得到所述雾气图。
209.在一个可选的实现方式中，所述第一获取模块具体用于：将原图输入深度信息识别模型中，得到深度信息识别模型输出的所述深度信息。
210.在一个可选的实现方式中，所述第三获取模块包括：
211.第四获取单元，用于获取所述原图中的各个像素点反射的光的光照参数；
212.第二确定单元，用于将最大的光照参数确定为所述空气光照参数。
213.在本技术中，获取原图中的目标物体的深度信息；根据深度信息、随机噪声生成算法和预设空气散射参数获取目标物体对应的空气透射率；获取原图中的空气光照参数；根据空气透射率、空气光照参数和原图生成雾气图。通过本技术，可以自动化地根据原图生成雾气图，从而可以增加用于训练模型的训练数据的数据量，且结合目标物体的深度信息和随机噪声生成算法生成的雾气图中的雾气符合现实中的真实的有雾气的场景，例如，雾气图中的雾气非均匀分布，雾气分布更随机和更自然等，从而可以提高训练出的模型上线后在现实中的真实的有雾气的场景中的泛化能力。且在根据原图生成雾气图时不需要人工参与，从而相比于现有技术中，本技术可以降低人工工作量，进而降低人工成本。
214.本技术实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本技术实施例中各方法步骤的指令(instructions)。
215.本技术实施例提供了一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得电子设备执行如上述实施例中一个或多个所述的方法。本技术实施例中，所述电子设备包括服务器、网关、子设备等，子设备为物联网设备等设备。
216.本公开的实施例可被实现为使用任意适当的硬件，固件，软件，或及其任意组合进行想要的配置的装置，该装置可包括服务器(集群)、终端设备如iot设备等电子设备。
217.图4示意性地示出了可被用于实现本技术中所述的各个实施例的示例性装置1300。
218.对于一个实施例，图4示出了示例性装置1300，该装置具有一个或多个处理器1302、被耦合到(一个或多个)处理器1302中的至少一个的控制模块(芯片组)1304、被耦合到控制模块1304的存储器1306、被耦合到控制模块1304的非易失性存储器(nvm)/存储设备1308、被耦合到控制模块1304的一个或多个输入/输出设备1310，和被耦合到控制模块1306的网络接口1312。
219.处理器1302可包括一个或多个单核或多核处理器，处理器1302可包括通用处理器或专用处理器(例如图形处理器、应用处理器、基频处理器等)的任意组合。在一些实施例中，装置1300能够作为本技术实施例中所述网关等服务器设备。
220.在一些实施例中，装置1300可包括具有指令1314的一个或多个计算机可读介质(例如，存储器1306或nvm/存储设备1308)和与该一个或多个计算机可读介质相合并被配置为执行指令1314以实现模块从而执行本公开中所述的动作的一个或多个处理器1302。
221.对于一个实施例，控制模块1304可包括任意适当的接口控制器，以向(一个或多个)处理器1302中的至少一个和/或与控制模块1304通信的任意适当的设备或组件提供任意适当的接口。
222.控制模块1304可包括存储器控制器模块，以向存储器1306提供接口。存储器控制器模块可以是硬件模块、软件模块和/或固件模块。
223.存储器1306可被用于例如为装置1300加载和存储数据和/或指令1314。对于一个实施例，存储器1306可包括任意适当的易失性存储器，例如，适当的dram。在一些实施例中，存储器1306可包括双倍数据速率类型四同步动态随机存取存储器(ddr4sdram)。
224.对于一个实施例，控制模块1304可包括一个或多个输入/输出控制器，以向nvm/存储设备1308及(一个或多个)输入/输出设备1310提供接口。
225.例如，nvm/存储设备1308可被用于存储数据和/或指令1314。nvm/存储设备1308可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(hdd)、一个或多个光盘(cd)驱动器和/或一个或多个数字通用光盘(dvd)驱动器)。
226.nvm/存储设备1308可包括在物理上作为装置1300被安装在其上的设备的一部分的存储资源，或者其可被该设备访问可不必作为该设备的一部分。例如，nvm/存储设备1308可通过网络经由(一个或多个)输入/输出设备1310进行访问。
227.(一个或多个)输入/输出设备1310可为装置1300提供接口以与任意其他适当的设备通信，输入/输出设备1310可以包括通信组件、拼音组件、传感器组件等。网络接口1312可为装置1300提供接口以通过一个或多个网络通信，装置1300可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信，例如接入基于通信标准的无线网络，如wifi、2g、3g、4g、5g等，或它们的组合进行无线通信。
228.对于一个实施例，(一个或多个)处理器1302中的至少一个可与控制模块1304的一个或多个控制器(例如，存储器控制器模块)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器1302中的至少一个可与控制模块1304的一个或多个控制器的逻辑封装在一起以形成系统级封装(sip)。对于一个实施例，(一个或多个)处理器1302中的至少一个可与控制模块1304的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器1302中的至少一个可与控制模块1304的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(soc)。
229.在各个实施例中，装置1300可以但不限于是：服务器、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)等终端设备。在各个实施例中，装置1300可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，装置1300包括一个或多个摄像机、键盘、液晶显示器(lcd)屏幕(包括触屏显示器)、非易失性存储器
端口、多个天线、图形芯片、专用集成电路(asic)和扬声器。
230.本技术实施例提供了一种电子设备，包括：一个或多个处理器；和，其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述电子设备执行如本技术中一个或多个所述的图像处理方法。
231.对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
232.本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
233.本技术实施例是参照根据本技术实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、和流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
234.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
235.这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
236.尽管已描述了本技术实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例和落入本技术实施例范围的所有变更和修改。
237.最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
238.以上对本技术所提供的一种图像处理方法及装置，进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的一般技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。