一种图像生成方法、装置、电子设备及存储介质与流程

1.本技术涉及图像处理技术领域，特别是涉及一种图像生成方法、装置、电子设备及存储介质。


背景技术：

2.目前，在对图像采集设备采集到的图像进行分析时，除了对白天正常光照下采集到的清晰图像进行分析，还需要对黑夜等低照度情况下采集到的图像进行分析。由于低照度情况下采集到的图像中包括光子散粒噪声、读入噪声、行噪声、量化噪声等噪声信号，这导致图像采集设备所采集到的图像的清晰度较差。为了提高低照度情况下采集到的图像的清晰度，可以利用暗光增强技术，对采集到的图像进行图像增强处理，便于后期的图像分析过程。
3.相关技术中，暗光增强技术是基于训练好的图像增强模型进行的，该图像增强模型又是通过大量的训练数据训练得到的。在训练数据中包括大量图像组，每一图像组包括亮光条件下采集的亮光图像和该亮光图像对应低照度条件下的目标图像。其中，目标图像是对亮光图像进行亮度调整后，添加各种噪声模拟得到的。
4.在上述目标图像获取过程中，所有噪声信号均是通过人工标定的方式模拟的，这使得噪声模拟过程较为复杂，影响噪声模拟的准确性，从而影响生成的图像的准确性。


技术实现要素：

5.本技术实施例的目的在于提供一种图像生成方法、装置、电子设备及存储介质，以降低噪声模拟的复杂性，提高噪声模拟的准确性，从而提高生成的图像的准确性。具体技术方案如下：本技术实施例还提供了一种图像生成方法，所述方法包括：获取图像采集设备在无光照条件下采集的第一图像；获取所述图像采集设备在第一环境光亮度下采集的第二图像，所述第一环境光亮度大于第一亮度阈值；针对所述第二图像中的每一像素点，将该像素点的第一像素值与预设数值的商确定为该像素点对应的第二像素值，得到所述第二图像在第二环境光亮度下对应的第三图像，所述第二环境光亮度小于所述第一亮度阈值；基于泊松分布，在所述第三图像中添加光子散粒噪声，得到第四图像；根据所述第一图像和所述第四图像，生成目标图像。
6.可选的，所述无光照条件为所述图像采集设备的镜头完全遮挡；或者，所述无光照条件为所述图像采集设备的镜头完全遮挡，且曝光时长为所述图像采集设备的预设曝光时长的最小值。
7.可选的，所述基于泊松分布，在所述第三图像中添加光子散粒噪声，得到第四图像的步骤，包括：
针对所述第三图像中的每一像素点，计算该像素点的第二像素值与所述图像采集设备的系统总增益的商，作为该像素点对应的第一电荷数；其中，所述系统总增益为：基于所述图像采集设备采集的，包含灰阶板的第五图像的第三像素值的分布情况确定；在该像素点对应的第一电荷数的基础上，添加泊松散粒噪声，得到该像素点对应的第二电荷数；计算每一像素点对应的第二电荷数与所述系统总增益的乘积，得到第四图像。
8.可选的，所述图像采集设备的系统总增益的计算步骤包括：获取所述图像采集设备采集的包含灰阶板的多个第五图像；针对所述第五图像中的每一像素点，计算该像素点在所述多个第五图像中的第三像素值对应的均值和方差；以均值为横坐标，方差为纵坐标，对各像素点对应的均值和方差进行直线拟合，得到目标直线；将所述目标直线的斜率，确定为所述图像采集设备的系统总增益。
9.可选的，所述根据所述第一图像和所述第四图像，生成目标图像的步骤，包括：计算所述第一图像和所述第四图像中相同位置处像素点的像素值的和值，得到目标图像。
10.可选的，所述方法还包括：以所述目标图像为输入图像，所述目标图像对应的第二图像为目标输出图像，对待训练图像增强模型进行训练，直至所述待训练图像增强模型收敛，得到训练好的图像增强模型。
11.本技术实施例还提供了一种图像生成装置，所述装置包括：第一获取模块，用于获取图像采集设备在无光照条件下采集的第一图像；第二获取模块，用于获取所述图像采集设备在第一环境光亮度下采集的第二图像，所述第一环境光亮度大于第一亮度阈值；第一确定模块，用于针对所述第二图像中的每一像素点，将该像素点的第一像素值与预设数值的商确定为该像素点对应的第二像素值，得到所述第二图像在第二环境光亮度下对应的第三图像，所述第二环境光亮度小于所述第一亮度阈值；添加模块，用于基于泊松分布，在所述第三图像中添加光子散粒噪声，得到第四图像；生成模块，用于根据所述第一图像和所述第四图像，生成目标图像。
12.可选的，所述无光照条件为所述图像采集设备的镜头完全遮挡；或者，所述无光照条件为所述图像采集设备的镜头完全遮挡，且曝光时长为所述图像采集设备的预设曝光时长的最小值。
13.可选的，所述添加模块，具体用于针对所述第三图像中的每一像素点，计算该像素点的第二像素值与所述图像采集设备的系统总增益的商，作为该像素点对应的第一电荷数；其中，所述系统总增益为：基于所述图像采集设备采集的，包含灰阶板的第五图像的第三像素值的分布情况确定；在该像素点对应的第一电荷数的基础上，添加泊松散粒噪声，得到该像素点对应的第二电荷数；
计算每一像素点对应的第二电荷数与所述系统总增益的乘积，得到第四图像。
14.可选的，所述装置还包括：第三获取模块，用于获取所述图像采集设备采集的包含灰阶板的多个第五图像；计算模块，用于针对所述第五图像中的每一像素点，计算该像素点在所述多个第五图像中的第三像素值对应的均值和方差；拟合模块，用于以均值为横坐标，方差为纵坐标，对各像素点对应的均值和方差进行直线拟合，得到目标直线；第二确定模块，用于将所述目标直线的斜率，确定为所述图像采集设备的系统总增益。
15.可选的，所述生成模块，具体用于计算所述第一图像和所述第四图像中相同位置处像素点的像素值的和值，得到目标图像。
16.可选的，所述装置还包括：训练模块，用于以所述目标图像为输入图像，所述目标图像对应的第二图像为目标输出图像，对待训练图像增强模型进行训练，直至所述待训练图像增强模型收敛，得到训练好的图像增强模型。
17.本技术实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现上述任一所述的图像生成方法步骤。
18.本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的图像生成方法步骤。
19.本技术实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的图像生成方法。
20.本技术实施例有益效果：本技术实施例提供的技术方案，可以分别获取图像采集设备在无光照条件下采集的第一图像，以及图像采集设备在大于第一亮度阈值的第一环境光亮度下采集的第二图像，针对第二图像中的每一像素点，通过将该像素点的第一像素值与预设数值相除，得到第二图像在小于第一亮度阈值的第二环境光亮度下的第三图像，并在该第三图像中添加光子散粒噪声，得到第四图像，根据第一图像和第四图像生成目标图像。
21.相比于相关技术，通过第二图像中每一像素点的像素值与预设数值的相除，可以使得第三图像为第二图像所对应的暗光图像，在此基础上，考虑到光子散粒噪声与光照强度有关，并且，光子散粒噪声的分布符合泊松分布，因此，基于泊松分布，在第三图像中添加光子散粒噪声，有效提高了光子散粒噪声的准确性，从而提高了基于第四图像生成的目标图像的准确性。
22.再者，针对低光照条件下引入的除光子散粒噪声以外的其他噪声，通过获取图像采集设备在无光照条件下的第一图像，可以准确的反映除光子散粒噪声以外的其他噪声对图像成像效果的影响，也就是第一图像中包括了除光子散粒噪声以外的所有噪声，这使得
除光子散粒噪声以外的其他噪声不再依赖人工模拟得到，有效降低了其他噪声模拟复杂性，提高了其他噪声的准确性，从而提供了基于第一图像生成的目标图像的准确性。
23.当然，实施本技术的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
24.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。
25.图1为本技术实施例提供的图像生成方法的第一种流程示意图；图2为本技术实施例提供的图像生成方法的第二种流程示意图；图3为本技术实施例提供的系统总增益计算方法的一种流程示意图；图4为本技术实施例提供的灰阶板的一种示意图；图5为本技术实施例提供的方差与均值间对应关系的一种示意图；图6为本技术实施例提供的图像生成方法的第三种流程示意图；图7为本技术实施例提供的图像增强模型处理过程的一种示意图；图8为本技术实施例提供的图像增强处理过程的一种示意图；图9-a为图像采集设备在极暗光条件下采集到的原始图像；图9-b为采用本技术实施例提供的方法生成的模拟图像；图9-c为采用相关技术生成的模拟图像；图9-d为采用本技术实施例生成的图像训练得到的图像增强模型所对应的图像增强效果图；图9-e采用相关技术生成的图像训练得到的图像增强模型所对应的图像增强效果图；图10为本技术实施例提供的图像生成装置的一种结构示意图；图11为本技术实施例提供的电子设备的一种结构示意图。
具体实施方式
26.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员基于本技术所获得的所有其他实施例，都属于本技术保护的范围。
27.为了解决相关技术中的问题，本技术实施例提供了一种图像生成方法。该方法应用于任一电子设备。
28.如图1所示，图1为本技术实施例提供的图像生成方法的第一种流程示意图。该方法包括以下步骤。
29.步骤s101，获取图像采集设备在无光照条件下采集的第一图像。
30.步骤s102，获取图像采集设备在第一环境光亮度下采集的第二图像，第一环境光
亮度大于第一亮度阈值。
31.步骤s103，针对第二图像中的每一像素点，将该像素点的第一像素值与预设数值的商确定为该像素点对应的第二像素值，得到第二图像在第二环境光亮度下对应的第三图像，第二环境光亮度小于第一亮度阈值。
32.步骤s104，基于泊松分布，在第三图像中添加光子散粒噪声，得到第四图像。
33.步骤s105，根据第一图像和第四图像，生成目标图像。
34.通过图1所示的方法，可以分别获取图像采集设备在无光照条件下采集的第一图像，以及图像采集设备在大于第一亮度阈值的第一环境光亮度下采集的第二图像，针对第二图像中的每一像素点，通过将该像素点的第一像素值与预设数值相除，得到第二图像在小于第一亮度阈值的第二环境光亮度下的第三图像，并在该第三图像中添加光子散粒噪声，得到第四图像，根据第一图像和第四图像生成目标图像。
35.相比于相关技术，通过第二图像中每一像素点的像素值与预设数值的相除，可以使得第三图像为第二图像所对应的暗光图像，在此基础上，考虑到光子散粒噪声与光照强度有关，并且，光子散粒噪声的分布符合泊松分布，因此，基于泊松分布，在第三图像中添加光子散粒噪声，有效提高了光子散粒噪声的准确性，从而提高了基于第四图像生成的目标图像的准确性。
36.再者，针对低光照条件下引入的除光子散粒噪声以外的其他噪声，通过获取图像采集设备在无光照条件下的第一图像，可以准确的反映除光子散粒噪声以外的其他噪声对图像成像效果的影响，也就是第一图像中包括了除光子散粒噪声以外的所有噪声，这使得除光子散粒噪声以外的其他噪声不再依赖人工模拟得到，有效降低了其他噪声模拟复杂性，提高了其他噪声的准确性，从而提供了基于第一图像生成的目标图像的准确性。
37.下面通过具体的实施例，对本技术实施例进行说明。
38.针对上述步骤s101，即获取图像采集设备在无光照条件下采集的第一图像。
39.在本步骤中，图像采集设备可以在无光照环境下进行图像采集，得到第一图像。电子设备获取图像采集设备采集到的第一图像。
40.上述图像采集设备与上述电子设备可以为同一设备，也可以为不同的设备。在此，对上述电子设备不作具体限定。
41.一个可选的实施例中，上述无光照条件可以表示为：图像采集设备的镜头完全遮挡。上述第一图像的采集可以表示为：在图像采集设备的镜头完全遮挡的情况下，例如，盖上图像采集设备的镜头盖时，图像采集设备进行图像采集，得到第一图像。
42.另一个可选的实施例中，上述无光照条件可以表示为：无光照的空间，如暗室。上述第一图像的采集可以表示为：图像采集设备在无光照的空间中进行图像采集，得到第一图像。
43.再一个可选的实施例中，上述无光照条件还可以表示为：无光照的空间、且图像采集设备的镜头完全遮挡。
44.考虑到图像采集过程的长时间曝光，可能导致上述第一图像中引入多余的噪声。因此，在采集上述第一图像时，还可以对图像采集设备的曝光时长进行控制。
45.一个可选的实施例中，上述无光照条件可以表示为：图像采集设备的镜头完全遮挡，且曝光时长为图像采集设备的预设曝光时长的最小值。上述第一图像的采集可以表示
为：在图像采集设备的镜头完全遮挡，并且图像采集设备的曝光时长最小的情况下，图像采集设备进行图像采集，得到第一图像。
46.针对不同的图像采集设备，预设曝光时长有所不同，预设曝光时长的最小值也有所不同。例如，上述预设曝光时长的最小值可以为微秒级的曝光时长，如1微秒等，也可以为毫秒级的曝光时长，如1毫秒等。在此，对上述预设曝光时长不作具体限定。
47.在本技术实施例中，上述无光照条件可以根据图像采集设备所在的场景进行设置，在此，对上述无光照条件以及第一图像的采集方式不作具体限定。
48.一个可选的实施例中，上述第一图像可以为图像采集设备采集到的未经加工（raw）图像，红绿蓝（red green blue，rgb）图像等。在此，对上述第一图像不作具体限定。
49.一个可选的实施例中，为了提高上述第一图像中每一像素点的像素值的准确性，扩大不同像素点间像素值间的差异性，上述第一图像可以为未经过色调映射（tone mapping）等处理的图像，如上述raw图像。也就是第一图像中的图像数据为图像采集设备的cmos（complementary metal oxide semiconductor，互补金属氧化物半导体）或者ccd（charge coupled device，电荷耦合器件）图像感应器将捕捉到的光源信号转化为数字信号的原始数据。
50.相关技术中，上述raw图像所对应像素点像素值的取值范围与图像采集设备的位数有关。例如，图像采集设备为10位的，raw图像中每一像素点像素值的取值范围为：[0，2
10
=1024]。相比于rgb图像中每一像素点像素值的取值范围：[0,255]，raw图像中每一像素点的像素值的取值范围更大，有效扩大了不同像素点像素值间的差异性，使得后期生成的图像的准确性更高。
[0051]
在本技术实施例中，由于暗光条件下采集的到图像中的多种噪声中，除光子散粒噪声与光照有关，其他噪声均与光照无关，因此，通过获取图像采集设备在无光照条件下的第一图像，可以使得第一图像准确反映除光子散粒噪声以外的其他噪声对图像采集设备成像效果的影响，也就是第一图像中每一像素点的像素值分布特征满足除光子散粒噪声以外的其他噪声对图像成像效果的影响。
[0052]
针对上述步骤s102，即获取图像采集设备在第一环境光亮度下采集的第二图像，第一环境光亮度大于第一亮度阈值。
[0053]
在本步骤中，当环境光亮度为第一环境光亮度时，图像采集设备进行图像采集，得到第一环境光亮度下的第二图像。电子设备获取该第二图像。其中，第一环境光亮度大于第一亮度阈值。
[0054]
一个可选的实施例中，为了保证采集得到的第二图像的清晰度，上述第一环境光亮度可以为白天正常光照下的环境光亮度。也就是当环境光亮度大于第一亮度阈值时，指示该环境光亮度为白天正常光照下的环境光亮度。上述第一环境光亮度和第一亮度阈值可以根据图像采集设备的应用场景以及用户需求等进行设定，在此，对上述第一环境光亮度和第一亮度阈值不作具体限定。
[0055]
一个可选的实施例中，上述第二图像可以为上述raw图像或rgb图像。关于上述第二图像可参照上述第一图像的描述，在此不作具体说明。
[0056]
在本技术实施例中，对上述步骤s101和步骤s102的执行顺序不作具体限定。
[0057]
针对上述步骤s103，即针对第二图像中的每一像素点，将该像素点的第一像素值
与预设数值的商确定为该像素点对应的第二像素值，得到第二图像在第二环境光亮度下对应的第三图像，第二环境光亮度小于第一亮度阈值。
[0058]
在本步骤中，针对上述第二图像中的每一像素点，电子设备可以计算该像素点的像素值（记为第一像素值）与预设数值的商，也就是将该像素点的第一像素值除以预设数值，得到该像素点对应的第二像素值。此时，电子设备可以将上述第二图像中每一像素点所对应的第二像素值所构成的图像，确定为第二图像在第二环境光亮度下对应的第三图像。
[0059]
上述第三图像中每一像素点对应的像素值即为第二图像中相同位置处像素点所对应的第二像素值。上述第二环境光亮度小于上述第一亮度阈值。
[0060]
一个可选的实施例中，为了保证后期生成的目标图像更加趋近于真实场景中采集到的黑夜等极端低照度下的图像，上述第二环境光亮度可以为黑夜等低照度情况下对应的环境光亮度。例如，第二环境光亮度可以小于第二亮度阈值，该第二亮度阈值小于上述第一亮度阈值。也就是当环境光亮度小于第二亮度阈值时，指示该环境光亮度为暗光条件下的环境光亮度。上述第二环境光亮度根据图像采集设备的应用场景以及用户需求等进行设定，在此，对上述第二环境光亮度和第二亮度阈值不作具体限定。
[0061]
一个可选的实施例中，上述预设数值可以为：上述图像采集设备在第一环境光亮度下采集的图像的像素值，与图像采集设备在第二环境光亮度下采集的图像的像素值间的比值。
[0062]
另一个可选的实施例中，上述预设数据可以为：第一平均值与第二平均值的比值。其中，第一平均值为图像采集设备在第一环境光亮度下采集的多个图像的像素值的平均值，第二平均值为图像采集设备在第二环境光亮度下采集的多个图像的像素值平均值。
[0063]
例如，根据相关技术中图像采集设备在白天采集到的图像像素值的平均值，与黑夜采集到的图像的像素值的平均值，可以确定上述预设数值的取值范围为：5-15。
[0064]
由于像素点的像素值越小，图像的视觉效果越接近黑色，因此，在本技术实施例中，通过计算上述第二图像中每一像素点的像素值与预设数值间的商，可以有效降低第二图像中各像素点的像素值，从而使得处理得到的第三图像的亮度相对于第二图像的亮度得到明显的降低。也就是在不改变第二图像所包括的图像细节的前提下，通过预设数值降低图像的亮度，从而得到包括相同图像细节但亮度较低的暗光图像（即上述第三图像）。此时，该第三图像中未包括上述图像采集设备在黑夜等极端低照度情况下引入的噪声信号，即上述光子散粒噪声、读入噪声、行噪声等。
[0065]
一个可选的实施例中，在将该第二图像中每一像素点的第一像素值除以预设数值得到第二像素值后，基于raw图像得到的第二像素值所对应的取值范围，大于基于rgb图像得到的第二像素值所对应的取值范围，因此，当第二图像为上述raw图像时，通过上述步骤s103得到的第三图像中各像素点像素值的差异性更大，更有利于保证图像中的图像细节，提高后期生成的目标图像的准确度。
[0066]
针对上述步骤s104，即基于泊松分布，在第三图像中添加光子散粒噪声，得到第四图像。
[0067]
在本技术实施例中，上述光子散粒噪声与光照有关。该光子散粒噪声时由于光照导致图像采集设备所发送的电子不均匀而产生的，并且，光子散粒噪声在图像中的分布符合泊松分布，具体可以表示为：
其中，为光子散粒噪声，函数表示泊松分布，为光电转化的电荷数。
[0068]
电子设备在确定上述第三图像后，可以基于泊松分布，在该第三图像中添加泊松散粒噪声，得到包含光子散粒噪声的第三图像（记为第四图像）。关于泊松散粒噪声的具体添加方式可参见下文描述，在此不作具体说明。
[0069]
相比于上述第三图像，上述第四图像中包括光子算子噪声，并不包含除光子散粒噪声以外的其他噪声，如上述读入噪声、行噪声等。
[0070]
针对上述步骤s105，即根据第一图像和第四图像，生成目标图像。
[0071]
在本技术实施例中，上述电子设备模拟得到的图像采集设备在黑夜等极端低照度情况下采集到的图像（记为目标图像）中的噪声数据可以表示为：其中，为上述图像采集设备的系统总增益，为上述光电转化的电荷数，为系统总噪声。
[0072]
上述系统总噪声至少包括上述光子散粒噪声、读入噪声、行噪声和量化噪声，该系统总噪声可以表示为：其中，为上述图像采集设备的系统总增益，为光子散粒噪声，为读入噪声，为行噪声、为量化噪声。
[0073]
上述噪声数据可以表示为：。
[0074]
上述第一图像可以反映图像采集设备在无光照条件下采集到的图像中的读入噪声、行噪声和量化噪声，上述第四图像为第二图像在第二环境光亮度下对应的包含光子散粒噪声的图像。也就是根据第一图像和第四图像，可以生成包括上述系统总噪声的图像。因此，电子设备可以根据上述第一图像和第四图像生成上述目标图像。
[0075]
一个可选的实施例中，上述步骤s105，根据第一图像和第四图像，生成目标图像，具体可以表示为：计算第一图像和第四图像中相同位置处像素点的像素值的和值，得到目标图像。
[0076]
针对上述第一图像中的每一像素点，该像素点的像素值的分布准确反映了该像素点所在位置处的除上述光子散粒噪声以外的其他噪声对图像成像效果的影响。针对上述第四图像中的每一像素点，该像素点的像素值的分布准确反映了该像素点所在位置在第二环境光亮度下的真实像素值以及光子散粒噪声对成像效果的影响。因此，通过将第一图像和第四图像中相同位置处像素点的像素值相加可以得到目标图像，该目标图像中每一像素点的像素值可以反映在第二环境光亮度下的真实像素值，以及光子散粒噪声和除光子散粒噪声以外的其他噪声对图像成像效果的影响，降低了生成的目标图像与真实场景采集到的图像间的误差，提高了目标图像的准确性。
[0077]
在本技术实施例中，除光子散粒噪声以外的其他噪声是通过图像采集设备在无光照条件下采集得到，因此，除光子散粒噪声以外的其他噪声是通过图像采集设备真实采集得到的，可以准确反映图像采集设备在黑夜等极端低照度情况下所引入的噪声，有效的提高了除光子散粒噪声以外的其他噪声的准确性，从而提高了生成的目标图像的准确性。
[0078]
一个可选的实施例中，根据上述图1所示的方法，本技术实施例还提供了图像生成方法。如图2所示，图2为本技术实施例提供的图像生成方法的第二种流程示意图。在图2所示的方法中，上述步骤s104可以细化为以下步骤，即步骤s1041-步骤s1043。
[0079]
步骤s1041，针对第三图像中的每一像素点，计算该像素点的第二像素值与图像采集设备的系统总增益的商，作为该像素点对应的第一电荷数；其中，系统总增益为：基于图像采集设备采集的，包含灰阶板的第五图像的第三像素值的分布情况确定。
[0080]
在本技术实施例中，针对上述第三图像中的每一像素点，该像素点的像素值与图像采集设备的系统总增益值（即上述）的商即为上述光电转换的电荷数。因此，针对上述第三图像中的每一像素点，电子设备可以计算该像素点的第二像素值与图像采集设备的系统总增益的商，也就是将像素点的第二像素值除以图像采集设备的系统总增益，得到该像素点对应的光电转化的电荷数（记为第一电荷数）。
[0081]
上述图像采集设备的系统总增益的计算可参见下文描述，在此不作具体说明。
[0082]
步骤s1042，在该像素点对应的第一电荷数的基础上，添加泊松散粒噪声，得到该像素点对应的第二电荷数。
[0083]
在本步骤中，电子设备在确定上述第三图像中每一像素点对应的第一电荷数后，可以针对第三图像中的每一像素点，基于泊松分布，在该像素点对应的第一电荷数的基础上，添加泊松散粒噪声，得到该像素点对应的第二电荷数。
[0084]
步骤s1043，计算每一像素点对应的第二电荷数与系统总增益的乘积，得到第四图像。
[0085]
在本步骤中，针对上述第三图像中的每一像素点，电子设备可以计算该像素点对应的第二电荷数与图像采集设备的系统总增益的乘积，也就是将该像素点对应的第二电荷数乘以图像采集设备的系统总增益，得到添加光子散粒噪声后该像素点对应像素值。此时，电子设备可以将第三图像中添加光子散粒噪声后每一像素点对应像素值所构成的图像，确定为上述第四图像。
[0086]
通过上述步骤s1041-步骤s1043，电子设备可以基于泊松分布，在上述第三图像中添加泊松散粒噪声（即光子散粒噪声），得到在第二环境光亮度下、包含光子散粒噪声的第四图像。
[0087]
基于同一种构思，根据图2所示的方法，本技术实施例还提供了一种系统总增益计算方法，如图3所示，图3为本技术实施例提供的系统总增益计算方法的一种流程示意图。该方法包括以下步骤。
[0088]
步骤s301，获取图像采集设备采集的包含灰阶板的多个第五图像。
[0089]
在本步骤中，图像采集设备可以对灰阶板进行图像采集，得到多个包括灰阶板的图像（记为第五图像）。电子设备获取图像采集设备所采集到的多个第五图像。
[0090]
一个可选的实施例中，上述灰阶板为：表面像素值渐变的灰度图，具体如图4所示，图4为本技术实施例提供的灰阶板的一种示意图。
[0091]
图像采集设备在对图4所示的灰阶板进行采集后，将得到像素值自左向右逐渐增大的第五图像。
[0092]
一个可选的实施例中，为了保证采集到的第五图像的清晰度，图像采集设备可以在预设环境光亮度下采集上述第五图像。其中，预设环境光亮度阈值可以为上述第一环境光亮度，也可以小于第一环境光亮度，且大于上述第二环境光亮度。在此，对上述预设环境光亮度阈值不作具体限定。
[0093]
在本技术实施例中，上述采集到的第五图像的数量可以根据用户需求等进行设置，例如，第五图像的数量可以为100等。在此，对上述第五图像的数量不作具体限定。
[0094]
步骤s302，针对第五图像中的每一像素点，计算该像素点在多个第五图像中的第三像素值对应的均值和方差。
[0095]
在本步骤中，电子设备在获取到上述多个第五图像后，针对第五图像中的每一像素点，电子设备可以计算所有第五图像中该像素点对应的第三像素值的均值和方差。也就是计算所有第五图像中相同位置处像素点的第三像素值的均值和方差。
[0096]
步骤s303，以均值为横坐标，方差为纵坐标，对各像素点对应的均值和方差进行直线拟合，得到目标直线。
[0097]
在本步骤中，针对上述第五图像中的每一像素点，电子设备将该像素点对应的均值和方差映射到二维坐标系中，该二维坐标系的x轴（即横坐标轴）为均值，y轴（即纵坐标轴）为方差。此时，可以得到如图5所示的多个坐标点。图5为本技术实施例提供的方差与均值间对应关系的一种示意图。电子设备对映射得到的多个点进行直线拟合，得到目标直线。如图5所示的直线501。
[0098]
一个可选的实施例中，上述目标直线可以表示为：其中，为像素点的像素值，为像素点对应的均值，为像素点对应的方差，为上述系统总增益，也就是目标直线的斜率，为目标直线的纵截距，也就是目标直线中横坐标（即均值）为0时的纵坐标（即方差）的数值。
[0099]
步骤s304，将目标直线的斜率，确定为图像采集设备的系统总增益。
[0100]
在本技术实施例中，上述目标直线的斜率即为上述图像采集设备的系统总增益。
[0101]
一个可选的实施例中，在确定上述目标直线的斜率时，电子设备可以确定上述目标直线所对应的直线方程，从而确定该直线方程的斜率。
[0102]
另一个可选的实施例中，在确定上述目标直线的斜率时，电子设备也可以根据目标直线上任意两点对应的横坐标值和纵坐标值，计算出目标直线的斜率。
[0103]
在此，对上述目标直线的斜率的确定方式不作具体限定。
[0104]
通过上述步骤s301-步骤s304，电子设备可以根据包含灰阶板的多个第五图像，准确确定出图像采集设备的系统总增益，有效提高了确定出的系统总增益的准确性。
[0105]
一个可选的实施例中，根据上述图1所示的方法，本技术实施例还提供了一种图像
生成方法，如图6所示，图6为本技术实施例提供的图像生成方法的第三种流程示意图。该方法包括以下步骤。
[0106]
步骤s601，获取图像采集设备在无光照条件下采集的第一图像。
[0107]
步骤s602，获取图像采集设备在第一环境光亮度下采集的第二图像，第一环境光亮度大于第一亮度阈值。
[0108]
步骤s603，针对第二图像中的每一像素点，将该像素点的第一像素值与预设数值的商确定为该像素点对应的第二像素值，得到第二图像在第二环境光亮度下对应的第三图像，第二环境光亮度小于第一亮度阈值。
[0109]
步骤s604，基于泊松分布，在第三图像中添加光子散粒噪声，得到第四图像。
[0110]
步骤s605，根据第一图像和第四图像，生成目标图像。
[0111]
上述步骤s601-步骤s605与上述步骤s101-步骤s105相同。
[0112]
步骤s606，以目标图像为输入图像，目标图像对应的第二图像为目标输出图像，对待训练图像增强模型进行训练，直至待训练图像增强模型收敛，得到训练好的图像增强模型。
[0113]
在上述实施例中，为便于理解仅以一个第二图像为例，对第二图像对应的目标图像的生成为例。当上述图像采集设备采集到的第二图像的数量为多个时，电子设备可以按照上述步骤s603-步骤s605所示的步骤，生成每一第二图像对应的目标图像。
[0114]
当上述第二图像的数量为多个时，电子设备在生成每一第二图像对应的目标图像后，针对每一目标图像，电子设备可以将该目标图像作为待训练图像增强模型的输入图像，并将该目标图像对应的第二图像为待训练图像增强模型的目标输出图像，对待训练图像增强模型训练，直至待训练图像增强模型收敛时，将当前时刻的待训练图像增强模型确定为训练好的图像增强模型。关于待训练图像增强模型的训练过程在此不作具体说明。
[0115]
在上述待训练图像增强模型训练过程中，待训练图像增强模型的损失值为：根据待训练图像增强模型的输出图像与上述目标输出图像间的损失值。在此，对损失值的计算方式不作具体说明。
[0116]
通过上述步骤s606，电子设备可以根据图像采集设备采集到的第二图像以及第二图像对应的目标图像，训练得到图像增强模型，提高了图像增强模型训练的便利性，以及训练得到的图像增强模型的准确性。
[0117]
在上述图6所示的实施例中，上述待训练图像增强模型的目标输出图像为上述第二图像，除此以外，上述待训练图像增强模型的目标输出图像还可以为上述第二图像所对应的第三图像。在此，对上述待训练图像增强模型的目标输出图像不作具体限定。
[0118]
一个可选的实施例中，在训练得到上述图像增强模型后，电子设备可以利用上述训练好的图像增强模型，对图像采集设备在黑夜等极端低照度情况下采集到的图像进行图像增强处理。
[0119]
一个可选的实施例中，上述图像增强模型可以为u型架构卷积神经网络（u-net）等图像增强模型。在此，对上述图像增强模型不作具体限定。为便于理解，下面以图像增强模型可以为u-net为例进行说明，并不起限定作用。
[0120]
如图7所示，图7为本技术实施例提供的图像增强模型处理过程的一种示意图。
[0121]
在图7所示的图像增强模型中，该图像增强网模型可以包含编码部分（即图7中左
侧部分）以及解码部分（即图7中右侧部分）。
[0122]
上述图像增强模型中，编码部分可以包括多个网络层，解码部分也可以包含多个网络层，并且，编码部分和解码部分所包含的网络层的数目相同。例如，图7中自上而下的第一个网络层、第二个网络层、第三个网络层、第四个网络层、第五个网络层。图7仅以5个网络层为例进行说明，并不起任何限定作用。
[0123]
在上述图像增强模型中，解码部分的每一网络层的输入数据为：该网络层的前一网络层输出的第一特征图，与编码部分中与该网络层对应的网络层输出的第二特征图叠加得到的。
[0124]
图7所示的图像增强模型中的数字表示通道数，编码部分和解码部分中向右的实心箭头，如箭头701表示卷积（convolution）操作，卷积核的大小为3*3；向下的实心箭头，如箭头702表示最大池化（max pool）操作，池化窗口的大小为2*2；向上的实心箭头，如箭头703表示转置卷积（transposed convolution）操作，卷积核的大小为2*2，转置卷积也就是上采样处理；向右的空心箭头，如箭头704表示卷积，卷积核的大小为1*1。编码部分与解码部分之间的箭头，如箭头705表示叠加处理。
[0125]
图7中，输入数据为输入图像的4个颜色通道（即红绿绿蓝4个颜色通道，简称rggb）上的图像数据，输出数据为输入图像4个颜色通道上图像数据所对应的经过图像增强处理后的图像数据。每一通道的图像数据可以称为一个特征图。
[0126]
在图7所示的编码部分的第一个网络层的输入数据为4个颜色通道的特征图，经过该网络层处理后，可以得到32个特征图；经过编码部分的第二个网络层处理后，可以得到64个特征图；经过编码部分的第三个网络层处理后，可以得到128个特征图；经过编码部分的第四个网络层处理后，可以得到256个特征图；经过编码部分的第五个网络层处理后，可以得到512个特征图。
[0127]
解码部分的第五个网络层的输入数据为512个特征图，经过该网络层处理后，可以得到512个特征图。对该512个特征图进行上采样后，可以得到256个特征图，并分别与编码部分的第四个网络层得到的256个特征图进行叠加，叠加结果仍为256个特征图。然后，可以将叠加得到的256个特征图输入至解码部分的第四个网络层，得到256个特征图。对解码部分的第四个网络层输出的256个特征图进行上采样，得到128个特征图，并分别与编码部分的第三个网络层得到的128个特征图进行叠加，叠加结果仍为128个特征图，并输入至解码部分的第三个网络层。
[0128]
以此类推，解码部分的第一个网络层的输入数据为：对解码部分的第二个网络层输出的64个特征图上采样得到的32个特征图，与编码部分的第一个网络层输出的32个特征图的叠加结果。解码部分的第一个网络层输出4个颜色通道的特征图。
[0129]
为便于理解，结合图8为例进行说明。图8为本技术实施例提供的图像增强处理过程的一种示意图。
[0130]
在图8中，图像采集设备在采集到原始图像后，可以对该原始图像进行拆分，得到4个颜色通道对应的输入图像，并将输入图像分别输出训练好的图像增强模型。图像增强模型将输出每一输入图像对应的输出图像，即rggb颜色通道分别对应的输出图像，并对rggb颜色通道分别对应的输出图像进行打包，得到增强后的图像（即图8所示的增强图像）。
[0131]
在本技术实施例提供所提供的图像生成方法中，通过提高噪声模拟的准确性的方
式，提高了生成的图像的准确性，从而提高了基于生成的图像训练得到的图像增强模型的准确性。
[0132]
为便于理解，结合图9-a、图9-b、图9-c、图9-d、图9-e为例进行说明。图9-a为图像采集设备在极暗光条件下采集到的原始图像；图9-b为采用本技术实施例提供的方法生成的模拟图像，图9-c为采用相关技术生成的模拟图像；图9-d为采用本技术实施例生成的图像训练得到的图像增强模型所对应的图像增强效果图；图9-e采用相关技术生成的图像训练得到的图像增强模型所对应的图像增强效果图。
[0133]
上述极暗光为环境光亮度小于0.001勒克斯（lux）下采集到的图像。在图9-a所示的原始图像中，由于噪声信号的影响导致该原始图像中存在多个竖条纹。
[0134]
分别将图9-b和图9-c中的竖条纹与图9-a中的竖条纹进行对比，图9-c中的竖条纹是随机产生的，与图9-a中的竖条纹的分布并不匹配，而图9-b中的竖条纹基本与图9-a中的竖条纹所在的位置匹配，可见，采用本技术实施例所提供的图像生成方法所引入的噪声的准确性，明显高于相关技术中的图像生成方法所引入的噪声的准确性，有效缩小了生成的图像与图像采集设备所采集到的图像间的误差，提高了生成的图像的准确性。
[0135]
另外，对比图9-d和图9-e，图9-d所示的图像增强效果图在图像细节以及图像清晰度等方面的图像增强效果，明显高于图9-e所示的图像增强效果图在图像细节以及图像清晰度等方面的图像增强效果。可见，基于本技术实施例提供的方法所生成的目标图像进行图像增强模型的训练，可以有效提高训练得到的图像增强模型对图像进行图像增强处理时的图像增强效果。
[0136]
基于同一种发明构思，根据上述本技术实施例提供的图像生成方法，本技术实施例还提供了一种图像生成装置。如图10所示，图10为本技术实施例提供的图像生成装置的一种结构示意图。该装置包括以下模块。
[0137]
第一获取模块1001，用于获取图像采集设备在无光照条件下采集的第一图像；第二获取模块1002，用于获取图像采集设备在第一环境光亮度下采集的第二图像，第一环境光亮度大于第一亮度阈值；第一确定模块1003，用于针对第二图像中的每一像素点，将该像素点的第一像素值与预设数值的商确定为该像素点对应的第二像素值，得到第二图像在第二环境光亮度下对应的第三图像，第二环境光亮度小于第一亮度阈值；添加模块1004，用于基于泊松分布，在第三图像中添加光子散粒噪声，得到第四图像；生成模块1005，用于根据第一图像和第四图像，生成目标图像。
[0138]
可选的，上述无光照条件为图像采集设备的镜头完全遮挡；或者，无光照条件为图像采集设备的镜头完全遮挡，且曝光时长为图像采集设备的预设曝光时长的最小值。
[0139]
可选的，上述添加模块1004，具体可以用于针对第三图像中的每一像素点，计算该像素点的第二像素值与图像采集设备的系统总增益的商，作为该像素点对应的第一电荷数；其中，系统总增益为：基于图像采集设备采集的，包含灰阶板的第五图像的第三像素值的分布情况确定；在该像素点对应的第一电荷数的基础上，添加泊松散粒噪声，得到该像素点对应
的第二电荷数；计算每一像素点对应的第二电荷数与系统总增益的乘积，得到第四图像。
[0140]
可选的，上述图像生成装置还可以包括：第三获取模块，用于获取图像采集设备采集的包含灰阶板的多个第五图像；计算模块，用于针对第五图像中的每一像素点，计算该像素点在多个第五图像中的第三像素值对应的均值和方差；拟合模块，用于以均值为横坐标，方差为纵坐标，对各像素点对应的均值和方差进行直线拟合，得到目标直线；第二确定模块，用于将目标直线的斜率，确定为图像采集设备的系统总增益。
[0141]
可选的，上述生成模块1005，具体可以用于计算第一图像和第四图像中相同位置处像素点的像素值的和值，得到目标图像。
[0142]
可选的，上述图像生成装置还可以包括：训练模块，用于以目标图像为输入图像，目标图像对应的第二图像为目标输出图像，对待训练图像增强模型进行训练，直至待训练图像增强模型收敛，得到训练好的图像增强模型。
[0143]
通过本技术实施例提供的装置，可以分别获取图像采集设备在无光照条件下采集的第一图像，以及图像采集设备在大于第一亮度阈值的第一环境光亮度下采集的第二图像，针对第二图像中的每一像素点，通过将该像素点的第一像素值与预设数值相除，得到第二图像在小于第一亮度阈值的第二环境光亮度下的第三图像，并在该第三图像中添加光子散粒噪声，得到第四图像，根据第一图像和第四图像生成目标图像。
[0144]
相比于相关技术，通过第二图像中每一像素点的像素值与预设数值的相除，可以使得第三图像为第二图像所对应的暗光图像，在此基础上，考虑到光子散粒噪声与光照强度有关，并且，光子散粒噪声的分布符合泊松分布，因此，基于泊松分布，在第三图像中添加光子散粒噪声，有效提高了光子散粒噪声的准确性，从而提高了基于第四图像生成的目标图像的准确性。
[0145]
再者，针对低光照条件下引入的除光子散粒噪声以外的其他噪声，通过获取图像采集设备在无光照条件下的第一图像，可以准确的反映除光子散粒噪声以外的其他噪声对图像成像效果的影响，也就是第一图像中包括了除光子散粒噪声以外的所有噪声，这使得除光子散粒噪声以外的其他噪声不再依赖人工模拟得到，有效降低了其他噪声模拟复杂性，提高了其他噪声的准确性，从而提供了基于第一图像生成的目标图像的准确性。
[0146]
基于同一种发明构思，根据上述本技术实施例提供的图像生成方法，本技术实施例还提供了一种电子设备，如图11所示，包括处理器1101、通信接口1102、存储器1103和通信总线1104，其中，处理器1101，通信接口1102，存储器1103通过通信总线1104完成相互间的通信，存储器1103，用于存放计算机程序；处理器1101，用于执行存储器1103上所存放的程序时，实现如下步骤：获取图像采集设备在无光照条件下采集的第一图像；获取图像采集设备在第一环境光亮度下采集的第二图像，第一环境光亮度大于第一亮度阈值；
针对第二图像中的每一像素点，将该像素点的第一像素值与预设数值的商确定为该像素点对应的第二像素值，得到第二图像在第二环境光亮度下对应的第三图像，第二环境光亮度小于第一亮度阈值；基于泊松分布，在第三图像中添加光子散粒噪声，得到第四图像；根据第一图像和第四图像，生成目标图像。
[0147]
通过本技术实施例提供的电子设备，可以分别获取图像采集设备在无光照条件下采集的第一图像，以及图像采集设备在大于第一亮度阈值的第一环境光亮度下采集的第二图像，针对第二图像中的每一像素点，通过将该像素点的第一像素值与预设数值相除，得到第二图像在小于第一亮度阈值的第二环境光亮度下的第三图像，并在该第三图像中添加光子散粒噪声，得到第四图像，根据第一图像和第四图像生成目标图像。
[0148]
相比于相关技术，通过第二图像中每一像素点的像素值与预设数值的相除，可以使得第三图像为第二图像所对应的暗光图像，在此基础上，考虑到光子散粒噪声与光照强度有关，并且，光子散粒噪声的分布符合泊松分布，因此，基于泊松分布，在第三图像中添加光子散粒噪声，有效提高了光子散粒噪声的准确性，从而提高了基于第四图像生成的目标图像的准确性。
[0149]
再者，针对低光照条件下引入的除光子散粒噪声以外的其他噪声，通过获取图像采集设备在无光照条件下的第一图像，可以准确的反映除光子散粒噪声以外的其他噪声对图像成像效果的影响，也就是第一图像中包括了除光子散粒噪声以外的所有噪声，这使得除光子散粒噪声以外的其他噪声不再依赖人工模拟得到，有效降低了其他噪声模拟复杂性，提高了其他噪声的准确性，从而提供了基于第一图像生成的目标图像的准确性。
[0150]
上述电子设备提到的通信总线可以是外设部件互连标准（peripheral component interconnect，pci）总线或扩展工业标准结构（extended industry standard architecture，eisa）总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0151]
通信接口用于上述电子设备与其他设备之间的通信。
[0152]
存储器可以包括随机存取存储器（random access memory，ram），也可以包括非易失性存储器（non-volatile memory，nvm），例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
[0153]
上述的处理器可以是通用处理器，包括中央处理器（central processing unit，cpu）、网络处理器（network processor，np）等；还可以是数字信号处理器（digital signal processor，dsp）、专用集成电路（application specific integrated circuit，asic）、现场可编程门阵列（field-programmable gate array，fpga）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0154]
基于同一种发明构思，根据上述本技术实施例提供的图像生成方法，本技术实施例还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一图像生成方法的步骤。
[0155]
基于同一种发明构思，根据上述本技术实施例提供的图像生成方法，本技术实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一图像生成方法。
[0156]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线（dsl））或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质（例如固态硬盘solid state disk (ssd)）等。
[0157]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0158]
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质及计算机程序产品等实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0159]
以上所述仅为本技术的较佳实施例，并非用于限定本技术的保护范围。凡在本技术的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本技术的保护范围内。