图像处理和图像合成中图像数据和关联噪声模型的同时和一致的处理的制作方法

1.本发明属于图像处理领域，特别涉及一种图像数据的处理方法，其中所述图像数据包括噪声和信息，所述方法包括以下步骤：获取输入数据，所述输入数据包含待处理以供存储和/或发送的输入原始图像数据，所述输入原始图像数据包含用于获得图像数据的图像传感器的像素的值，处理所述输入原始图像数据，并且通过提供输出数据输出处理后的图像数据。


背景技术：

2.一般来说，本发明处于正在寻求进入越来越多的设备中的图像传感器的背景下。因此可以容易并且廉价地大量生成图像数据，而复杂的处理算法能够实现广泛的应用。
3.处理算法的整体性能一般在很大程度上取决于图像数据的质量。通常最好从原始图像数据，即，来自获取设备的未被改变的图像数据开始进行任何类型的处理和分析。包括但不限于将图像数据从滤色阵列转换为rgb数据或应用标准有损压缩的操作会导致重大的信息和质量损失，从而应该避免。为此，申请人以前开发了一种图像压缩技术，其中解压后的图像数据在统计上相当于未压缩的原始传感器数据，如在欧洲专利申请ep 3820150中公开的。
4.原始图像数据常常存在例如由图像传感器的不均匀响应或坏像素、不完美的光照、或导致失真和渐晕的不完美光学元件引起的缺陷。为了从图像处理和分析中获得更好的结果，以及在主观上更好看的图像，现有技术中已经开发了许多方法来解决这些问题。虽然这些方法在改善单个图像的外观方面相当成功，但是归因于通常认为原始图像数据的噪声包含具有非线性行为的信号相关分量的事实，这些方法不能保持图像数据的统计属性。为此，诸如像素值的缩放或者用邻域的平均值替换像素值之类的线性校正的应用修改了噪声的局部特性，使噪声在整个图像中不一致。
5.例如，美国专利7,683,948公开了一种用于图像处理中坏像素替换的方法，其中检测损坏的像素，并用选择的邻近像素的平均值(average)、均值(mean)、最大值或其他统计函数替换。平均值、均值或中位数的应用产生噪声水平低于预期的替换像素值，这将在同时处理序列中的几个图像时变得明显。
6.seibert等人题为“flat-field correction technique for digital detectors”的文献揭示了一种用于校正传感器的非均匀响应的方法。该方法基于针对每个单独的像素测量响应曲线。然后利用线性模型近似所述曲线，从而每个像素产生两个参数。然后通过对特定于像素的响应曲线使用归一化来实现平场校正。虽然这种方法有助于改善图像的外观，但它几乎肯定会恶化图像数据的统计特性。最近，美国专利9,143,709对该方法进行了改进，以使其适合于具有非线性响应的图像传感器，但是上面提到的噪声不一致的问题仍然存在。
7.此外，adobe公司的数字负片(dng)规范认识到校正坏像素和渐晕的需要。这是通
过为这些特殊目的提供特别参数化的操作(用所谓的操作码表示)来解决的。所关注的操作码是fixvignetteradial、fixbadpixelsconstant and fixbadpixelslist。然而，与上面引用的现有技术类似，所述实现并不寻求保持如上所述意义上的一致噪声。具体地，fixvignetteradial通过应用径向变化的归一化来产生作用，相当于上述现有技术的方法；并且fixbadpixelsconstant和fixbadpixelslist目的在于使用插值校正坏像素，这相当于用局部平均值替换像素值。
8.一些现有技术也使用噪声模型进行图像处理。例如，所述dng规范允许以dng文件格式存储关于噪声剖面的信息。这里，主要目的是使用噪声剖面去噪。然而，大多数图像数据并未伴随有关于噪声特性的任何信息，并且由于不同量的校正和预处理，合适的噪声模型甚至可能不存在。为了直接从图像数据估计噪声参数，开发了去噪方法，比如在azzari和foi的文章“variance stabi l ization for noisy estimate combination in iterative poisson denois ing”中提出的去噪方法。然而，直接从图像数据估计噪声模型往往很差，这样的技术不能可靠地用于一般的图像处理目的。
9.噪声模型还为除了去噪以外的其他应用，例如，使用x射线的医学成像领域带来好处，其中通过模拟可以研究不同成像形态的减少患者的辐射暴露的可能性。这里，较低的x射线剂量是以降低信噪比(snr)为代价的，这进而只能通过使用噪声模型来逼真地模拟。veldkamp等人在“atechnique for simulating the effect of dose reduction on image qual i ty in digital chest radiography”一文中公开了一种通过缩放和噪声注入的结合来模拟剂量减少的方法，其中噪声模型用于所述噪声注入。然而，就像上面提到的应用一样，噪声模型的使用在该现有应用中仍然相当有限。
10.最后，对于图像数据的处理和/或解释，越来越多的应用依赖于机器学习技术。然而在更传统的图像处理中，核心挑战通常是发明和开发合适的算法，在机器学习背景下的另一个挑战是大量高质量的训练数据的可用性。
11.为了通过机器学习获得可靠的结果，训练图像集必须包含在目标环境中预期的所有变化的样本，并且训练数据的量随着参数空间呈指数增长。通过引入数据扩充，即，通过在训练集中添加作为现有数据的修改版本的合成图像，部分缓解了该问题。这种修改的例子包括几何变换(旋转、平移、缩放和翻转)以及对比度和颜色的操作，或者噪声的注入。按照现有技术的这种数据扩充不包括噪声模型的使用。
12.总之，按照现有技术的成像缺陷的校正和合成图像的生成存在这样的缺陷：由于关注于图像的外观，它们忽略了原始图像数据的主要特性之一，即源自获取设备的基本物理原理和技术属性的信号与噪声之间非常特定的关系。打破这种关系阻止在处理算法中可靠地使用包含在图像原始数据中的噪声和/或测量不确定性，在用于机器学习的训练集中引入令人迷惑的元素，从而使得实际上不可能找到来自不同传感器的图像数据的合适且一致的归一化。


技术实现要素：

13.本发明的目的
14.本发明的目的是克服上述缺点。一般来说，本发明的目的是提供在整个图像内维持一致的噪声模型的图像处理方法。本发明的另一个目标是使图像数据的用户能够获得具
有明确限定的统计属性的图像数据，并使所述统计属性可以用于它们自己的基于这些图像数据的计算和分析。
15.本发明的另一个目标是提供用于校正存在于获取硬件或条件中的各种瑕疵的图像预处理方法。
16.本发明的另一个目的是提供从现有图像数据生成合成图像数据的方法，目的在于使生成的合成图像数据非常适合于机器学习算法的训练、具有挑战性的条件下的图像处理的验证以及其他类似目的。
17.按照本发明的解决方案
18.为此，本发明提出一种方法，该方法的特点在于权利要求1中所列举的特征，并且允许实现上述目标。特别地，按照本发明的方法与现有技术的区别在于获取输入数据的步骤包括以下步骤：
19.ο从所述输入数据获取输入噪声模型，所述输入噪声模型适合于反映存在于所述输入原始图像数据中的噪声，所述输入原始图像数据和所述输入噪声模型以将输入原始图像数据链接到输入噪声模型的方式一起形成所述输入数据，
20.区别在于，处理所述输入原始图像数据的步骤包括以下处理操作中的至少一个：
21.ο校正所述输入原始图像数据的像素值，
22.ο对所述输入原始图像数据应用平场校正，
23.ο对所述输入原始图像数据应用光响应非均匀性的校正，
24.ο对所述输入原始图像数据应用合并(binning)和/或平均操作，
25.ο进行所述输入原始图像数据的归一化，
26.ο对所述输入原始图像数据应用取整和/或截断操作和/或整数量化，
27.ο进行图像合成，尤其是通过基于所述输入原始图像数据创建和/或添加合成图像，和/或通过调制所述输入原始图像数据进行图像合成，
28.所述处理步骤还包括以下步骤：
29.ο基于所述输入噪声模型，并取决于对输入原始图像数据应用的所述处理操作，确定适合于反映存在于所述输出数据中的噪声的输出噪声模型，和
30.ο基于应用于输入原始图像数据的所述处理操作，以及所述输入噪声模型和/或所述输出噪声模型，产生在统计上与所述输出噪声模型一致的输出原始图像数据，
31.以及区别在于，输出处理后的图像数据的步骤包括：
32.ο存储和/或发送所述输出原始图像数据和所述输出噪声模型，所述输出原始图像数据和所述输出噪声模型以将输出原始图像数据链接到输出噪声模型的方式一起形成所述输出数据，
33.以便允许通过所述处理操作中的任意一个，单独地或以它们的任意组合将所述输出数据作为输入数据进行处理，使得所述处理适合于流水线处理。
34.这样，图像数据和噪声模型被视为一起通过图像处理流水线的不可分离的实体。流水线中的各个处理步骤可以修改图像数据或噪声模型，或图像数据和噪声模型两者。于是，在任何情况下的处理后图像数据都具有与输出噪声模型一致的统计特性。噪声模型还使图像数据的用户能够获得各个像素值的不确定性，从而用于他们自己的基于这些像素值的计算和分析。
35.此外，本发明通过所述处理操作中的至少一些处理操作，提供用于死像素值的替换，光响应非均匀性的校正和平场校正，包括不均匀光照和渐晕的校正的方法。这样的图像预处理是以允许输入数据的噪声模型在预处理后保持有效，即，保持适用于输出数据的方式进行的。
36.本发明还提供允许生成合成图像数据，特别是生成遵循与输入数据相同的噪声模型的合成图像数据的方法。具体地，提供生成模拟减少的曝光时间或光收集的合成图像的方法。
37.按照本发明的方法可以在各个实施例中实现。
38.在特别优选的实施例中，所述输入噪声模型和/或所述输出噪声模型由用于获得图像数据的图像传感器的给定像素的值的平均像素值到像素值标准偏差的映射，平均像素值到像素值方差的映射，或平均像素值到信噪比的映射来表示。
39.更加优选地，所述输入噪声模型和/或所述输出噪声模型适合于表示所述输入原始图像数据和/或所述输出原始图像数据中的遵循泊松-高斯分布的噪声。
40.在另一个特别优选的实施例中，通过对用于获得图像数据的图像传感器的给定像素的值应用表示噪声一致缩放操作的变换，确保产生与所述输入原始图像数据相比在统计上等效，以及与所述输出噪声模型一致的输出原始图像数据。
41.在从属权利要求中以及在下面参考附图更详细地公开本发明的说明中提到了本发明的其他特征和优点。
附图说明
42.附图举例并示意地图解说明了本发明的原理以及几个实施例。
43.图1是按照本发明的噪声一致图像处理的示意图。
44.图2是按照本发明的噪声一致图像处理方法的实施例的例示，该方法结合了数个特征以优化图像处理流水线的性能，该图像处理流水线从由输入原始图像数据和输入噪声模型组成的初始输入数据开始。
45.图3示意图解说明对于按照本发明的噪声一致图像处理方法的一些实施例，对输入数据进行操作的两个或更多的处理操作可以被组合成进行所述处理操作中的每一个的组合功能的单个处理操作。
具体实施方式
46.下面将参考上述附图详细说明本发明。
47.图1中图解说明了本发明的概念。本发明涉及原始图像数据110的处理，但是与已建立的方法相比，原始图像数据110只是处理算法130的输入数据100的一部分。处理算法130需要噪声模型120作为第二输入。一起形成输入数据100的原始图像数据110和噪声模型120然后一起被处理，以产生由输出原始图像数据150和输出噪声模型160组成的输出数据140。处理130产生输出原始图像数据150，其中该输出的每个像素都与输出噪声模型160一致。下面将给出噪声一致处理130的例子。对于一些处理算法，输出噪声模型160将与输入噪声模型120相同。输出图像数据150被标记为原始的原因是因为它在统计上相当于来自对其应用输出噪声模型160的传感器的实际原始图像数据。因此，输出数据140适合于用作噪声
一致处理130的另一个步骤的输入数据100，使得可以基于此构建整个处理流水线。
48.噪声模型
49.噪声模型是本发明的不可或缺的组成部分。例如，根据emva1288标准，下面将使给定像素的值y的标准差σy与其平均值μy联系起来的映射σy(μy)视为噪声模型。一般来说，平均值μy取决于击中像素的光子的通量和波长，但标准偏差σy只取决于平均值μy。虽然下面将关注于上面引入的映射σy(μy)，但是存在可以用于提取σy(μy)的等效映射，例如像素方差对平均值μy或信噪比的依赖，其中μ
y.dark
是黑电平，即，在没有光照的情况下的平均像素值。
50.上述映射/模型与所谓的时间噪声有关，时间噪声量化相同条件下的重复获取的像素值波动。原则上，给定图像传感器的每个像素都可以具有它自己的特征映射σy(μy)，但是现代的图像传感器已经达到了非常好的一致性，使得在许多情况下，对传感器的所有像素使用同一模型将形成良好的近似。然而，图像传感器可以表现出空间噪声，空间噪声量化暴露在相同光照下的不同像素的平均值的差异。借助预处理，通常可以降低或甚至消除空间噪声。坏像素可以被视为空间噪声的一种极端形式。
51.取决于要处理的图像数据的类型，映射σy(μy)的适当参数化可以用作噪声模型的数字表示。其可以用作输入噪声模型120或输出噪声模型160的例子是：
52.·
有限点集{(μi,σi)}，通过线性或非线性插值或者通过对所述一组点的任何其他适当近似，从中获得连续模型σy(μy)，或者
53.·
用于构造近似σy(μy)的多项式的一组系数，或者
54.·
具有自由参数并与这些参数的特定值结合的任何类型的函数。
55.对噪声一致处理130来说，使输入原始图像数据110与输入噪声模型120的数字表示相结合，以形成输入数据100。在将在下面说明的本发明的各个实施例中，这种组合可以通过不同的方式或其任何组合来实现，比如：
56.·
将原始图像数据连同噪声模型一起存储在合适的(单个)容器文件中，例如标记图像文件格式(tiff)的文件中，或者
57.·
将噪声模型存储在所谓的边车(sidecar)文件，即，连接到其中存储原始图像数据的(第一)文件的(第二)文件中，所述边车文件适合于存储原始图像数据文件不支持的附加(元)数据，或者
58.·
将噪声模型存储在数据库中，所述数据库将存储在对应的(单个)原始图像数据文件中的特定原始图像数据链接到其关联的噪声模型。
59.在任何情况下，按照本发明，存储噪声模型意味着存储模型的参数的数字表示。在本发明的一些实施例中，这些参数被传递给具有固定定义的函数。在其他实施例中，所述实现由函数的目录组成，并且要使用的特定函数通过附加的识别参数来选择。虽然本发明的一些实施例在非常普遍的意义上使用了噪声模型，但是如到目前为止所述，其他实施例将专门针对通常用于线性图像传感器的泊松-高斯噪声模型，其中传感器输出与入射光的量成正比。泊松-高斯噪声模型由下式给出
[0060][0061]
其中σ
y.dark
表示在没有光的情况下的像素值的标准偏差，并且通常被称为读出噪声，μ
y.dark
是在没有光的情况下的像素值的均值，k是增益因子。因此，泊松-高斯噪声模型由3个参数{k,μ
y.dark
,σ
y.dark
}描述。
[0062]
应注意的是，泊松-高斯噪声模型适用于绝大多数图像传感器输出的原始图像数据。它是在利用线性传感器的图像获取中自然发生的像素值波动的统计数据的形式表达式。尽管它无处不在，但是其重要性在图像数据校正和处理的现有技术中通常被忽略。
[0063]
噪声一致处理
[0064]
作为本发明的主题的图像数据处理可以分为两类。第一类是图像预处理，目的主要是校正获取硬件或条件中的瑕疵，或者以特定方式对图像数据进行标准化。第二类涉及图像数据的合成，合成的图像数据然后可以用于测试和提高图像处理算法的可靠性，或者丰富机器学习背景下的训练数据集。
[0065]
虽然现有技术中存在这两类处理，但是现有技术中没有注意底层的噪声模型，也没有努力产生与噪声模型一致的输出数据或者考虑处理如何影响图像统计数据，从而影响噪声模型。在现有技术中，只有特别涉及噪声的处理算法，比如去噪和去卷积才会偶尔以特定和有限的方式使用噪声模型，如在介绍中所述。即使在这些情况下，现有技术的重点始终是所涉及的单一操作，而没有试图将方法推广到整个处理流水线，也没有产生与一些噪声模型保持一致的输出数据。
[0066]
然而，在整个图像中具有一致和准确的噪声模型的图像允许可靠得多的处理，特别是如果在处理算法中考虑到噪声模型的话。相反，不遵循任何一致的噪声模型的图像具有由于其意想不到的统计数据而使算法迷惑的倾向。对于基于深度学习和神经网络的在其分析中考虑图像数据的所有方面，包括噪声和噪声相关性的算法来说尤其如此。
[0067]
在此背景下的两个重要的评述是a)如果输入只是单个像素值及其噪声模型，则没有任何操作可以可靠地提高该像素的信噪比，但是降低是可能的；和b)信噪比通常会随着光照越高(因此像素值越大)而增大，但这种提高不是线性的或成比例的。在此基础上，可以分别模拟并实现与初始平均像素值乘以因子q(0《q《1)对应的光照减少。为此，初始像素值y被校正后的像素值y
′
＝q
·
y δ(y,q)替换，其中δ是从具有平均值0和方差的正态分布采样的(伪)随机数，
[0068]
其中是对于因子q的真实像素值减小，输出原始图像数据150的噪声的标准偏差σy(qy)减小的因子。注意q《q
′
《1。该变换代表噪声一致缩放操作，这将用符号s)y,q)表示，即，s(y,q)＝q
·
y δ(y,q)，并且其在本发明的背景下的使用将在下面变得更清楚。事实上，如果应用得当，则这种变换可以用于在图像校正的背景下进行更复杂的操作。
[0069]
在泊松-高斯噪声模型的具体情况下，用于伪随机数δ(y,q)的方差由下式给出
[0070]
[0071]
坏像素校正
[0072]
在现有技术中，坏像素一般是通过利用正常工作的相邻像素进行插值，在成像设备的硬件或作为处理流水线的一部分的软件中校正的。作为插值的结果，所得到的像素值的波动小于工作像素的，并且通过不同的光响应曲线可以清楚地识别被插值的像素。
[0073]
由于坏像素的噪声低于预期，因此可以通过添加噪声使其统计数据与噪声模型一致。这是借助噪声一致缩放实现的。例如，考虑其值yc应通过使用具有值y
l
和yr的左右相邻像素来替换的坏像素。可以向值yc赋予下式：
[0074]y′c＝s(y
l
y
r-μ
y.dark
,q＝1/2)
[0075]
它平均地再现与通过使用插值相同的值，另外再现了与噪声模型一致的标准偏差yc。
[0076]
平场校正
[0077]
光圈、透镜和滤光片常常导致入射光子的空间上不均匀的“捕获”，例如在渐晕中:在被成像时，均匀照明的场景朝向边缘显得较暗。在现有技术中，对此进行校正的标准方式是通过y
′
(i,j)＝y(i,j)/n(i,j)归一化为参考平场图像n(i,j)，其中i和j表示像素坐标。
[0078]
这里，平场图像应该尽可能无噪声，这可以通过对参考图像拟合数学上平滑的函数来实现，或者通过平均大量参考图像来实现。另外，人们通常希望保留原始图像的较亮部分(通常是中心)，使得n(i,j)应被归一化到范围0《n(i,j)≤1。
[0079]
虽然这种方法可以用于归一化图像的亮度，但是将不再可能对整个图像使用同一噪声模型:先前较暗的部分现在有相同的亮度，但是它们比图像的先前较亮的部分有更大的相对噪声。
[0080]
在本发明中，通过使用利用像素相关因子q(i,j)的噪声相关缩放来使图像的较亮部分变暗，实现噪声一致的平场校正。噪声一致缩放的所有考虑因素仍然适用，即，关于使用等式y
′
＝q
·
y δ(y,q)来确定校正后的像素值，并且例如为了确保噪声一致平场校正，q(i,j)的值为
[0081][0082]
光响应非均匀性的校正
[0083]
光响应非均匀性是由各个像素的检测效率不同而引起的一种特殊的非均匀光照。差异通常约为1％～2％，并且可能是由像素的有效区域中的吸收差异等引起的。
[0084]
不同的检测效率相当于不均匀的光照或曝光，并且可以通过使用用于获得图像数据的图像传感器的通过仔细校准确定的空间上变化的相对检测效率作为n(i,j)，以与平场校正相同的方式来校正。
[0085]
合并和平均
[0086]
上面给出的噪声一致性处理方法确保输出原始图像数据150与输入噪声模型120保持一致。在许多用例中，需要或感兴趣的是进行导致改进的输出噪声模型160的处理，然而，改进的输出噪声模型160保持适用于整个输出原始图像数据150。例如，可能会通过合并操作来牺牲空间分辨率，进而在信号比上有所增益。这里重要的是更新噪声模型，使得下一个处理步骤能够区分具有一致改进的噪声模型的合并数据和其中噪声模型保持不变，因此与合并数据不一致的裁剪数据。
[0087]
合并操作的一种实现由以下操作组成：形成一定数量的多组n＝n
·
m像素，使得对于每一组，存在值为的输出像素，其中索引i标记在要合并的块中的空间位置。
[0088]
输出噪声模型σy(μy)必须被更新，以考虑到新的黑暗条件。具体地，y具有n倍于黑电平的贡献，即，并且输出模型中的读出噪声为
[0089]
在合并操作的一种不同实现中，输出像素值被计算为：
[0090][0091]
这具有输出噪声模型的黑电平与输入噪声模型的黑电平相同，使得在0和μ
y.dark
之间的很少使用的像素值的范围不会不必要地扩大的优点。
[0092]
与下面说明的基于平均值的合并操作相反，上述两种合并操作将整数映射到整数，并且没有与取整或丢弃小数部分关联的精度损失的风险。
[0093]
在另一版本的合并操作中，通过形成输入像素值的平均值来获得输出像素值，
[0094][0095]
当输出原始图像数据150的数字表示是有界数据类型，比如具有固定比特深度的整数值时，这特别有用，因为它避免了一定数量的大值的裁剪。在求平均的情况下，数据的黑电平保持不变，但是输出噪声小于输入噪声，特别地，并且在泊松-高斯噪声模型的情况下，输出模型的增益参数等于k/n。
[0096]
可以类似地对在相同位置但是不同曝光的像素进行求和或平均。在这种情况下，输出原始图像数据150将具有与输入原始图像数据110相同的维度，但是必须以与关于空间和或者平均值相同的方式修改输出噪声模型160。例如，可以平均n次曝光以获得具有以下像素值的输出图像：
[0097][0098]
其中索引i现在标记曝光数，而值yi表示与输出像素值在图像数据中的相同位置。在曝光平均值的输出噪声模型中，并且在泊松-高斯噪声模型的情况下，输出增益参数等于k/n。
[0099]
归一化
[0100]
噪声一致处理的一些实施例将把来自m个不同设备的具有泊松-高斯噪声模型的一系列图像作为输入原始图像数据110，泊松-高斯噪声模型具有不同的参数并且处理的目标是产生由遵循单个输出噪声模型160的一系列输出图像形成的输出原始图像数据150。这可以通过确定哪个噪声模型
具有最高的归一化读出噪声并为输入图像i的每个像素值yi赋予如下的输出像素值∈i来实现：
[0101][0102]
其中δi是从具有平均值0和方差的正态分布采样的(伪)随机数。公共输出噪声模型160的参数于是将为{k＝1,μ
∈.dark
＝0,σ
∈.dark
＝σ
∈
}。
[0103]
整数量化
[0104]
在上述操作之中的几个操作中，校正使用浮点运算或浮点随机数，相对于输入像素值的变化可能较小。总的校正事实上可能小于一，例如，如果对为10的像素值应该应用2％的减小，则有效校正像素值可能为9.8。一般来说，这种小的校正可以通过以非整数表示(例如，定点、浮点或有理数)保存校正值来应用。然而，在许多用例中，具有整数表示的输出是可取的。诸如截断或取整之类的实现可能导致期望的校正系数和有效应用的校正之间的差异。例如，截断或取整可能会引入图像数据统计均值的意外偏移，也称为偏差。为了避免这一点，按照本发明的方法的优选实施例提供了一种噪声一致的取整操作，该操作涉及抖动(dithering)，即，在实际取整操作之前，添加对每个像素都不同的适当选择的随机数δ，即，
[0105]y′
＝round(y δ)。
[0106]
特别感兴趣的是在-1/2和 1/2之间遵循均匀分布的随机数，以及在-1和 1之间遵循三角分布的随机数，即，通过相加所述均匀分布的两个独立样本而形成的分布，因为两种分布都引入了零偏差。此外，后者给出了与δ不相关的量化噪声。一些应用可能会受益于使用δ的其他随机分布。
[0107]
量化操作引入了少量的额外噪声，这就需要按照下式调整输出噪声模型的读出噪声
[0108][0109]
其中是随机数δ的分布的方差。由于该额外噪声，以及为了使处理误差的引入最小化，按照本发明的处理流水线的优选实现只进行一次量化，并作为该流水线的最后操作。
[0110]
通过曝光和增益缩放的图像合成
[0111]
上面给出的归一化过程非常适合于机器学习和算法测试，因为它允许从大量的来源收集数据，而不增加算法必须能够处理或容忍的噪声模型的数量。
[0112]
为了进一步增加训练或测试数据的量，可以在同一噪声模型内模拟具有降低的信噪比的图像。该噪声模型可以是单一的一组原始输入数据100的模型，或者可以是通过遵循上面所述的过程而生成的一组归一化的输入数据的模型。然后通过对输入原始图像数据110的值为y的每个像素应用诸如上面更详细地定义的噪声一致缩放s(y,q)，可以生成具有
与按因子q降低曝光时间或降低检测效率相当的属性的合成图像。
[0113]
在其他情况下，可取的是在使信号保持恒定的同时增大噪声电平。对于泊松-高斯输入噪声模型，这可以通过两种方式来实现。简单的方式是向输入图像数据110的所有像素值添加具有0均值和期望的标准偏差σ
δ
的(伪)随机值δ。这有效地对应于增大读出噪声参数，在输出噪声模型中它应被更改为另一种方法包括归一化和按因子q的曝光缩放的组合，然后应用新的增益因子k
′
＝k/q，再加上输入黑色电平μ
y.dark
，
[0114][0115]
通过这种变换，输出原始图像数据150将在统计上具有与输入原始图像数据110相同的均值，并且输出噪声模型具有新的参数{k
′
＝k/q,μ
y.dark
,σ
y.dark
′
＝σ
y.dark
/q}。
[0116]
从上述描述可以清楚地看出，一般而言，即在所有情况下，根据本发明的方法的上述处理步骤130包括：一方面，基于所述输入噪声模型120并取决于应用于输入原始图像数据110的所述处理操作，确定适合于反映存在于所述输出数据140中的噪声的输出噪声模型160，以及另一方面，基于应用于输入原始图像数据110的所述处理操作以及基于所述输入噪声模型120和/或所述输出噪声模型160，产生在统计上与所述输出噪声模型160一致的输出原始图像数据150，这两个步骤当然是相互依赖的。
[0117]
在实践中，要么处理存在于是噪声一致的，从而发生在输入噪声模型内的操作(或一系列操作)中(即，通过使用输入噪声模型作为输出噪声模型)，要么处理存在于是噪声不一致的，从而同时修改输入噪声模型，以便产生与处理后的图像数据一致的输出噪声模型的操作(或一系列操作)中。
[0118]
在上面提及的第一种解决方案的情况下，所述处理步骤130优选包括对用于获得图像数据的图像传感器的给定像素的值y应用表示噪声一致操作的变换s(y,q)，其中q是像素值减小系数，0《q《1，所述处理步骤130使用与输入噪声模型120相同的输出噪声模型160。
[0119]
在上面提及的第二种解决方案的情况下，所述处理步骤130优选包括对用于获得图像数据的图像传感器的给定像素的值y应用噪声不一致操作，所述处理步骤130使用与输入噪声模型120相比不同，并且在统计上与输出数据140的输出原始图像数据150的噪声一致的输出噪声模型160。
[0120]
核实获取的图像数据与关联的噪声模型一致的方式是在相同条件下获取一组图像，使得成对的单个图像之间的所有差异都可以归因于噪声。优选地，单个图像的像素值应该覆盖所有可能像素值的很大一部分。对于每个像素位置i，然后使用集合中的所有图像计算均值μi和标准偏差σi。集合中的图像的数量越多，均值μi和标准偏差σi的估计量就越好。最后，检查噪声模型的函数σy(μy)是否很好地近似点(μi,σi)。类似地，通过使所述集合中的每个单个图像经历该处理操作，并对于输出图像数据中的每个像素位置提取均值和标准偏差(μ
′i,σ
′i)，可以核实处理操作的输出噪声模型与输出噪声模型一致。如果输出噪声模型的函数σ
′y(μ
′y)很好地近似所有的点(μ
′i,σ
′i)，则认为输出噪声模型与输出图像数据一致。
[0121]
图2是按照本发明的噪声一致图像处理方法的实施例的例示，该方法结合了数个特征以优化图像处理流水线的整体性能，该图像处理流水线从由输入原始图像数据110和
输入噪声模型120组成的初始输入数据100开始。连接分别示意表示处理操作的后续各个方框310、320、330、340、350、360、370的每两个箭头311、312用符号表示使原始图像数据和噪声模型信息两者传播通过每个处理操作的事实，假定在本发明的背景下，输入数据100需要由输入原始图像数据110和噪声模型120两者组成。通过一个或多个操作310、320、330、340、350、360、370处理该输入数据。操作处理输入数据(图像数据和噪声模型)，并传递处理后的输出原始图像数据150和与处理后的输出原始图像数据关联的输出噪声模型160，这两部分一起形成输出数据140。噪声模型在操作310、320、330、340、350、360、370的可用性增强了操作的性能。可选地，特定的处理操作385，即，处理流水线的特定要素，能够利用图像数据和噪声数据两者，但是它只能输出图像数据，如图2中通过只有一个箭头311离开对应于该特定处理操作385的方框示意所示，该特定的处理操作可以添加在处理流水线的末端，并且该特定的处理操作可能例如是去卷积。然而，在该特定的处理操作385之前，在每个中间步骤，原始图像数据和噪声模型数据都是可用的，以致前一个处理操作的输出数据365是下一个处理操作的输入数据365。可选地，也可以添加在处理流水线的末端，并且可能是分类或分割的某些附加处理操作390可能不需要和/或输出噪声模型数据，但仍然可以受益于按照本发明的噪声一致图像处理方法中到此为止的处理流水线的更高质量，以致最终结果395更精确、更合格和更可靠。
[0122]
图3示意图解说明对于按照本发明的噪声一致图像处理方法的一些实施例，图3中用方框520、521、522表示的对输入数据100进行操作的两个或更多的处理操作可以被组合成进行各个处理操作520、521、522中的每一个的组合功能的单个处理操作510，以便产生由输出原始图像数据150和输出噪声模型160两者组成的输出数据140。作为例子，像素线性化和渐晕校正可以被组合成一个单一处理操作510。图3中连接后续方框100、510、140的每两个箭头同样用符号表示使原始图像数据和噪声模型信息两者传播通过被组合成单一处理操作的每个处理操作。
[0123]
最后，本发明还涉及存储在计算机可读介质中的适合于实现上述方法的计算机程序装置，以及配备这种计算机程序装置的设备。例如，此类设备可以是微处理器、现场可编程门阵列、图像传感器、移动电话(特别是配备有数字摄像头的智能电话)、数字照相装置、数字摄像机、扫描设备、平板电脑、个人计算机、服务器、显微镜、望远镜或卫星。
[0124]
鉴于按照本发明的方法的各个实施例的上述说明，其优点是明显的。
[0125]
首先，访问按照本发明的一致噪声模型为各种图像处理应用提供了强大的好处。事实上，由于噪声模型描述了图像数据的统计不确定性，因此它在容许极限和再现性方面提供了有价值的见解，特别是对科学和计量应用来说。这是通过按照本发明的方法实现的。相反，一致噪声模型的缺少会降低图像处理和分析的可靠性，其中结果可能取决于对图像数据应用的校正或预处理的程度。通过使用按照本发明的方法可以避免这种情况。
[0126]
其次，访问按照本发明的一致噪声模型也为依赖于用于处理和/或解释图像数据的机器学习技术的应用提供了强大的好处，因为归因于可以使用噪声模型来提高效率和消除算法的可能迷惑点，这允许获得大量高质量的训练数据。在机器学习的背景下，这一点更加重要，因为机器学习算法对数据的(统计)属性的使用要比忽略统计属性(诸如噪声和噪声相关性)的人类观察者强得多。