一种暗光图像离散噪点的建模方法与流程

本发明属于视频降噪，特别涉及一种暗光图像离散噪点的建模方法。

背景技术：

1、随着数字成像技术的快速发展，低光照环境下的图像获取需求日益增加。然而在暗光条件下，图像传感器因原材料和制造工艺等多方面原因导致图像中出现具有复杂分布特征的大尺度噪点(即离散噪点)。这种噪声不仅呈现非均匀的空间分布特性，还与传感器热噪声、读出电路噪声等多种噪声源产生耦合效应，给去噪方法带来严峻挑战。

2、当前主流的去噪技术可分为传统算法与深度学习方法两大类。传统算法如bm3d、非局部均值去噪等基于统计先验的方法，在常规光照条件下表现出良好的去噪效果，但在处理暗光图像时存在明显不足：其一，离散噪点的幅值分布往往超出传统高斯-泊松噪声模型的表征范围；其二，噪声与信号在频域的高度混叠导致边缘细节严重丢失；其三，算法参数需要人工调整，难以适应不同成像设备的噪声特性。

3、基于深度学习的去噪方法(如dncnn、cbdnet等)虽然展现出更强的特征学习能力，但其性能高度依赖于训练数据的质量。现有方法普遍采用基于简单噪声模型的数据合成方式，无法准确模拟暗光环境下离散噪点的非线性叠加特性。这导致训练得到的卷积神经网络在实际应用中存在明显缺陷：对强噪声区域的抑制能力不足，易产生伪影；高频细节恢复不完整；对设备特异性噪声的泛化能力差。

4、然而，现有技术中存在以下缺点：

5、在噪声建模方面，现有技术仍存在局限性：或仅考虑单一噪声源的线性叠加，或采用经验性的噪声参数估计方法，未能建立符合物理成像过程的离散噪点生成模型，这直接制约了深度学习去噪模型在暗光场景下的实际应用效果。

6、此外，本领域技术术语包括：

7、raw图：指的是图像传感器输出的未经过任何处理或解码的原始图像数据，以未压缩的、原始的像素信息形式存在。

8、黑帧：相机在无光环境下采集的raw图。

9、pmf：概率质量函数(probability mass function，简称pmf)是描述离散型随机变量在各特定取值上概率的函数。

10、cdf：累积分布函数(cumulative distribution function,cdf)是描述随机变量x取值小于或等于某一特定值x的概率的函数。

11、3σ准则：是统计学中描述正态分布(或近似正态分布)数据离散程度的重要规律，对于正态分布，随机变量x的取值几乎全部(约99.7％)落在均值附近的3倍标准差范围内。

技术实现思路

1、为了解决上述问题，本技术的目的在于：一种暗光图像离散噪点的建模方法，基于逆变换采样的离散噪点建模，旨在解决现有技术中暗光图像离散噪点建模不准确、合成数据与真实噪声分布存在偏差，导致深度学习去噪网络对强噪声抑制能力不足的问题。

2、具体地，本发明提供一种暗光图像离散噪点的建模方法，所述方法包括以下步骤：

3、s1：使用目标相机采集多张黑帧，并对所述黑帧进行黑电平校正；包括：

4、在无光环境下采集目标相机的raw格式黑帧，采集数量为多张；

5、对黑帧进行黑电平校正，包括将raw图像转换为多通道格式，并分别对各通道独立减去对应的黑电平值；

6、s2：基于准则从校正后的黑帧中提取离散噪点，所述准则包括且不限于3σ准则和6σ准则，包括：

7、计算各通道像素值的均值μ和标准差σ；

8、将像素值超出μ±3σ范围的像素判定为离散噪点；

9、s3：根据提取的离散噪点，计算各通道的概率质量函数pmf和累积分布函数cdf；包括：

10、统计离散噪点的频次并归一化，得到pmf；

11、基于pmf计算cdf；

12、s4：基于cdf，通过逆变换采样生成模拟离散噪点；包括：

13、根据实际需求确定模拟离散噪点的数量nr；

14、在[0,1]均匀分布中生成nr个随机数ur；

15、利用cdf的逆函数映射随机数，生成模拟离散噪点的幅值；

16、为模拟离散噪点分配随机的空间位置；

17、按照上述步骤生成r/gr/gb/b通道的模拟离散噪点；

18、s5：输出：生成带模拟离散噪点的图像。

19、所述步骤s1：使用目标相机采集多张黑帧，并对所述黑帧进行黑电平校正；黑帧是相机在无光环境下采集的raw图像，包含了读出噪声和条带噪声这类所有的信号无关噪声，基于黑帧可对离散噪点的分布和幅值进行具体的分析；包括：

20、s1.1：在无光环境下采集目标相机的raw格式黑帧，采集数量为多张；所述黑帧的采集方式是将相机镜头遮黑，在完全无光的暗室中保存相机输出的raw图，为了避免偶然误差需要采集多张黑帧；所述多张黑帧的数量可根据实际条件设置，假设将黑帧的采集数量设定为10；

21、s1.2：对黑帧进行黑电平校正，包括将raw图像转换为多通道格式，并分别对各通道独立减去对应的黑电平值；

22、对黑帧进行黑电平校正，消除图像传感器在无光照条件下产生的基准信号偏移，还原真实图像；考虑到不同颜色通道包括r/gr/gb/b的暗电流可能不一致，校正时对各通道独立调整；

23、假设raw图的bayer格式是rggb，先将单通道的bayer格式raw图转换为四通道的图像，每个通道分别减去对应的黑电平，得到黑电平校正后的图像；

24、xr＝xr-blr                (1)

25、xgr＝xgr-blgr             (2)

26、xgb＝xgb-blgb            (3)

27、xb＝xb-blb                  (4)。

28、所述步骤s2，基于黑帧提取离散噪点；黑帧中的读出噪声和条带噪声基本服从标准的高斯分布，离散噪点的幅值往往超出高斯分布的表征范围，因此可将离散噪点视为黑帧中的异常值；

29、假设为黑帧的r通道，使用xr＝{x1,x2,...,xn}表示黑帧的r通道内的所有像素，n为r通道的总像素数，假设采用统计学中的3σ准则提取黑帧中的异常值，具体步骤如下：

30、步骤s2.1，计算xr的均值μr和标准差σr；

31、

32、步骤s2.2，假设基于3σ准则提取xr中的异常值xo作为离散噪点，所述提取离散噪点的准则可根据实际情况决定；

33、xr_o＝(xr>μr+3σr)∪(xr<μr-3σr)                         (7)

34、步骤s2.3，按照步骤s2.1和步骤s2.2提取gr/gb/b通道的离散噪点，得到xgr_o，xgb_o和xg_o；

35、xgr_o＝(xgr>μgr+3σgr)∪(xgr<μgr-3σgr)                (8)

36、xgb_o＝(xgb>μgb+3σgb)∪(xgb<μgb-3σgb)             (9)

37、xg_o＝(xg>μg+3σg)∪(xg<μg-3σg)                   (10)。

38、所述步骤s3，根据r/gr/gb/b通道提取的离散噪点xr_o，xgr_o，xgb_o和xg_o，计算每个通道对应的概率质量函数和累积分布函数；

39、步骤s3.1，离散噪点的分布形式是离散的，通过计算频率直方图便可得到概率质量函数pmf，计算步骤如下：

40、1)统计xr_o＝{x1,x2,...,xk}中每个值出现的次数{m1,m2,...,mk}；

41、2)将频次归一化为频率，得到离散噪点的概率质量函数p(x＝xk)；

42、

43、3)按照步骤1)和2)计算gr/gb/b通道的概率质量函数；

44、步骤s3.2，根据每个通道的概率质量函数计算相应的累积分布函数cdf；具体步骤如下：

45、1)将离散噪点xr_o的所有可能取值按从小到大排列：xa

46、2)对每个值xi，计算f(xi)＝pr(x≤xi)，即累加从xa到xi的所有概率质量函数值；

47、3)完成所有值的计算后，得到累积分布函数fr(x)＝pr(x≤x)；

48、按照步骤1)、2)和3)计算gr/gb/b通道的累积分布函数。

49、所述步骤s4，基于累积分布函数，采用逆变换采样方法生成模拟的离散噪点，具体步骤如下：

50、步骤s4.1，计算模拟离散噪点的数量；假设为r通道，r通道的总像素数为mr，离散噪点xr_o的总像素数为kr，需要生成的离散噪点的数量nr的计算方式如下：

51、

52、式(12)中，h和w分别表示仿真噪声图像的宽和高，α表示控制离散噪点数量多少的系数，所述仿真噪声图像指的是在干净图像上添加仿真的噪声得到带噪声图像，然后和干净图像组成图像对用于训练去噪神经网络；

53、步骤s4.2，生成nr个随机数

54、步骤s4.3，对于每个随机数ui，查找满足pr(x≤xi)≥ui的最小xi值，完成所有随机数的查找后，得到nr个模拟的离散噪点；

55、步骤s4.4，离散噪点在图像中的位置是随机的，在生成离散噪点后，为nr个模拟的离散噪点分配随机的空间位置，具体步骤如下：

56、1)从0到h*w范围内随机选取nr个整数作为位置索引；

57、2)将nr个模拟的离散噪点随机打乱；

58、3)根据随机的位置索引将打乱后的nr个模拟的离散噪点分配到图像中的指定位置；

59、步骤s4.5，按照步骤s4.1～s4.4生成gr/gb/b通道的模拟离散噪点。

60、所述方法适用于图像去噪神经网络的训练数据生成。

61、由此，本方案有以下优势：

62、针对超出高斯分布表征范围的离散噪声进行单独建模，使暗光条件下的噪声建模更加准确，减小合成数据与真实噪声分布的偏差，提升去噪模型在暗光环境中的去噪效果。