用于从多视角图像降噪的装置和方法与流程

用于从多视角图像降噪的装置和方法
1.相关申请的交叉引用
2.本专利申请要求于2021年6月22日提交的韩国专利申请第10-2021-0080682号的权益，通过引用将其全部公开内容并入本文。
技术领域
3.在此描述的本公开的一个或多个实施方式涉及一种图像处理技术，更具体地说，涉及一种用于降低多视角图像中的噪声的装置和方法。


背景技术：

4.图像传感器是一种利用半导体对光响应的特性来捕获图像的器件。图像传感器可以分为两种类型：电荷耦合器件(ccd)和互补金属氧化物半导体(cmos)。使用cmos的图像传感器由于可以在单个集成电路(ic)上直接实现模拟和数字控制电路的优势而已得到广泛使用。尽管图像传感器能够生成二维(2d)图像，但已经提出了使用多个图像传感器生成三维(3d)图像的各种技术。
5.在诸如3d图像重建、运动分析和视频监控的各种计算机视觉应用中，用大景深(聚焦深度)捕获针孔图像可能很重要。因为在动态场景中捕获针孔图像比较困难，所以可以使用景深和运动模糊之间的折衷。例如，如果使用大光圈和短曝光来避免运动模糊，所得到的图像将有一小景深。相反，使用小光圈和长曝光会增大景深，但会引起运动模糊。为了克服这个问题，可以使用多个针孔摄像机获得针孔图像。摄像机可以在空间上分布或以阵列形式组装，以监测一般场景。每个摄像机可以使用小光圈和短曝光，以最小化光学散焦和运动模糊。然而，在这样的摄像机设置中，入射光线可能非常弱，而图像中可能出现大量的噪声。多视角图像可以用于降噪。


技术实现要素：

6.在此描述的实施方式可以提供用于在多视角图像中执行降噪的装置和方法。多视角图像可以通过合成n个视点图像来获得，其中'n'是大于1的整数。例如，多视角图像可以被认为是多个图像的合成版本。
7.在本公开的一实施方式中，装置和方法可以使用自适应权重来降低噪声，同时确保基于多视角图像的三维(3d)图像。特别是，多视角图像的平均值可以用于多视角图像的平坦区域，而中心视角图像值可以用于多视角图像的非平坦区域或边缘区域。基于这种方式，能够提高生成和利用3d图像的效率的装置和方法可以降低用于降噪的计算量或运算量。
8.本公开的一实施方式可以基于从多视角图像获得的极图像(epi-polar image)来估计主体的深度。因此，该实施方式能够可适用于用于重建3d图像、运动分析和监控视频的各种计算机视觉应用。
9.在一实施方式中，图像处理装置可以与多个图像捕获设备耦接。该图像处理装置
可以在从多视角图像生成三维图像的同时降低式图像中的噪声。该图像处理装置可以被配置为：将多视角图像划分为平坦区域和非平坦区域；从多视角图像生成极图像；用多视角图像的平均像素值替换极图像中的与平坦区域相对应的极线(epi-polar line)；以及用从多个图像捕获设备之中的位于中心的图像捕获设备获得的中心视角图像的像素值替换极图像中的与非平坦区域相对应的极线。
10.平坦区域和非平坦区域可以是基于从多视角图像中选择的图像的标准偏差来划分的，并且非平坦区域包括边缘区域和不平整区域。
11.图像处理装置可以被配置为：对标准偏差应用增益和偏移，以生成缩放的标准偏差(scaled standard deviation)；基于缩放的标准偏差生成自适应权重；将自适应权重以不同的方式应用于平坦区域和非平坦区域。
12.自适应权重可以随着缩放的标准偏差的增大而趋向于减小。
13.极图像可以通过堆叠对应于多视角图像的同一行的像素数据来生成。
14.图像处理装置可以被配置为确定搜索窗，该搜索窗在极图像中的对应于最远对象的第一极线与极图像中的对应于最近对象的第二极线之间、或者在通过极图像中的对应于最远对象的第一极线设置的垂直参考线与极图像中的具有最大斜率的另一极线之间。
15.图像处理装置可以被配置为在搜索窗中所包括的多个像素之中提取强度差异最小的像素的位置。
16.图像处理装置可以被配置为：基于像素的位置而使用随机抽样一致性算法估计新线，以及将像素的位置改为新线上的像素的位置。
17.图像处理装置可以被配置为：从处于新线上的像素的位置的像素值计算平均值，以及对平均值应用自适应权重以降低噪声。
18.三维图像可以具有降噪结果，该降噪结果包括：自适应权重与平均像素值的第一乘积，第一乘积用于多视角图像的平坦区域；以及通过从1中减去自适应权重而获得的值与中心视角图像的像素值的第二乘积，第二乘积用于多视角图像的非平坦区域。
19.在另一实施方式中，一种用于在从多视角图像生成三维图像时降低噪声的方法可以包括从多个图像捕获设备接收多视角图像；将多视角图像的中心视角图像划分为平坦区域和非平坦区域；从多视角图像生成极图像。用多视角图像的平均像素值替换极图像中与平坦区域相对应的极线；以及用从多个图像捕获设备之中的位于中心的图像捕获设备获得的中心视角图像的像素值替换极图像中的与非平坦区域相对应的极线。
20.平坦区域和非平坦区域可以基于多视角图像的标准偏差来划分，并且非平坦区域包括边缘区域和不平整区域。
21.该方法可以进一步包括：对标准偏差应用增益和偏移，以产生缩放的标准偏差；基于缩放的标准偏差产生自适应权重；以及将自适应权重以不同的方式应用于平坦区域和非平坦区域。
22.自适应权重可以随着缩放的标准偏差的增大而趋向于减小。
23.极图像可以通过堆叠对应于多视角图像的同一行的像素数据来生成。
24.该方法可以进一步包括确定搜索窗，该搜索窗在极图像中的对应于最远对象的第一极线与极图像中的对应于最近对象的第二极线之间、或者在通过极图像中的对应于最远对象的第一极线设置的垂直参考线与极图像中的具有最大斜率的另一极线之间。
25.该方法可以进一步包括在搜索窗中所包括的多个像素之中提取强度差异最小的像素的位置。
26.该方法可以进一步包括：基于像素的位置而使用随机抽样一致性算法估计新线，以及将像素的位置改为新线上的像素的位置。
27.该方法可以进一步包括：从处于新线上的像素的位置的像素值计算平均值，以及对平均值应用自适应权重以降低噪声。
28.三维图像可以具有降噪结果，该降噪结果包括：自适应权重与平均像素值的第一乘积，第一乘积用于多视角图像的平坦区域；以及通过从1中减去自适应权重而获得的值与中心视角图像的像素值的第二乘积，第二乘积用于多视角图像的非平坦区域。
29.在另一实施方式中，一种图像处理方法可以包括：生成由一组在彼此不同的相应的三维(3d)位置捕获的二维空间(2d)图像配置成的多视角图像，这些2d图像具有在同一时间被捕获的同一对象；基于2d图像之中的中心视角图像的统计像素值生成自适应权重；从多视角图像生成极线图像；识别在极线图像内的第一极线；基于第一极线推断中心视角图像内的第二极线；根据第二极线生成3d降噪值；以及基于中心视角图像、第一极线、3d降噪值和自适应权重生成降噪可替换值。
附图说明
30.这里的描述参考了附图，其中类似的附图标记在整个图中指代类似的部分。
31.图1说明了根据本公开的一实施方式的图像处理装置。
32.图2说明了根据本公开的一实施方式的在图1中描述的图像传感器。
33.图3说明了根据本公开的一实施方式的在图1和图2中描述的图像传感器的配置。
34.图4说明了根据本公开的一实施方式的在图2至图3中描述的像素阵列。
35.图5说明了根据本公开的一实施方式的多个摄像设备。
36.图6说明了根据本公开的一实施方式的对极几何或等极几何。
37.图7说明了根据本公开的另一实施方式的图像处理器。
38.图8说明了根据本公开的一实施方式的在图7中描述的自适应权重计算器。
39.图9说明了根据本公开的一实施方式的被应用标准偏差的第一图像和被应用缩放的标准偏差的第二图像之间的差异。
40.图10说明了根据本公开的一实施方式的基于缩放的标准偏差的自适应权重的范围。
41.图11说明了根据本公开的一实施方式的参照图7描述的多视角图像像素计算器。
42.图12说明了根据本公开的一实施方式的基于多视角图像生成的极图像。
43.图13说明了根据本公开的一实施方式的包括在极图像中的噪声。
44.图14说明了根据本公开的一实施方式的用于降低包括在极图像中的噪声的像素确定方法。
45.图15说明了根据本公开的一实施方式的在图14中描述的像素确定方法的示例。
46.图16说明了根据本公开的一实施方式的在极图像中降低噪声的结果。
47.图17描述了根据本公开的一实施方式的在图7中描述的降噪计算器。
具体实施方式
48.下面参照附图对本公开的各种实施方式进行描述。然而，本公开的元件和特征可以被不同地配置或排列来形成其他的实施方式，这些实施方式可以是任何公开的实施方式的变体。
49.在本公开中，凡提及“一个实施方式”、“示例实施方式”、“一实施方式”、“另一实施方式”、“一些实施方式”、“各种实施方式”、“其他实施方式”、或“替代实施方式”等中包括的各种特征(例如，元件、结构、模块、组件、步骤、操作、以及特性等)，均意味着任何此类特征被包括在本公开的一个或多个实施方式中，而可以或不必然合并在同一个实施方式中。
50.在本公开中，术语“包括”、“包括有”、“包含”和“包含有”是开放式的。如在所附权利要求中所使用的，这些术语规定了所述元件的存在，并不排除一个或多个其他元件的存在或添加。权利要求中的术语不阻止装置包括额外的组件，例如接口单元、以及电路等。
51.在此公开中，各种单元、电路或其他组件可以被描述或主张为“配置为”执行一个任务或多个任务。在这种情况下，“配置为”用于通过指示块/单元/电路/组件包括在操作期间执行一个或多个任务的结构(例如电路)来表示结构。因此，即使指定的块/单元/电路/组件不是当前操作的(例如既未接通也未激活)，块/单元/电路/组件可以被说成被配置为执行任务。与“配置为”语言一起使用的块/单元/电路/组件包括硬件(例如，电路)、以及存储器存储的可运行以实施操作的程序指令等。此外，“配置为”可以包括通用结构(例如，通用电路)，该通用结构由软件和/或固件(例如：运行软件的fpga或通用处理器)操控以能够执行待解决的任务的方式操作。“配置为”还可以包括调整制造过程(例如半导体制造设施)来制造器件，例如适合实施或执行一项或多项任务的集成电路。
52.在本公开中，术语“电路”或“逻辑”指所有以下内容：(a)仅硬件电路实现，例如仅在模拟和/或数字电路中的实现，和(b)电路与软件和/或固件的组合，例如(如适用于)：(i)处理器的组合或(ii)处理器/软件的部分，包括数字信号处理器、软件和存储器，它们共同工作以使装置(例如手机或服务器)执行各种功能、以及(c)电路，例如微处理器或微处理器的一部分，需要软件或固件进行操作，即使软件或固件并非物理存在。“电路”或“逻辑”的定义适用于本技术(包括任何权利要求)中该术语的所有使用。作为进一步的示例，在本技术中使用的术语“电路”或“逻辑”还涵盖仅仅处理器或多处理器或处理器的一部分及其(或其)随附的软件和/或固件的实现。术语“电路”或“逻辑”还涵盖用于存储设备的集成电路，例如，如果适用于特定的权利要求要素。
53.如在本文中使用的，术语“第一”、“第二”、和“第三”等被用作它们之后的名词的标识，并不意味着任何类型的排序，例如空间、时间、以及逻辑等。术语“第一”和“第二”并不必然意味着第一值必须写在第二值之前。此外，尽管术语可以在本文中用于识别各种元件，但这些元件不受这些术语的限制。这些术语用于区分一个元件与另一个元件，否则他们具有相同或相似名称。例如，第一电路可以与第二电路区分开。
54.此外，术语“基于”用于描述影响确定的一个或多个因素。该术语不排除可以影响确定的另外的因素。也就是说，确定可以仅仅基于这些因素，或者至少部分基于这些因素。考虑短语“基于b确定a”。虽然在这种情况下，b是影响a的确定的因素，但这样的短语并不能阻止a的确定也基于c。在其他情况下，a可以仅基于b确定。
55.现在将参照附图来描述本发明的实施方式，其中类似的附图标记指类似的元件。
56.图1说明了根据本公开的一实施方式的图像处理装置。
57.参照图1，图像处理装置10可以包括图像传感器100和与图像传感器100耦接的图像处理器200。
58.根据一实施方式，图像传感器100可以生成对应于捕获图像的多个像素值dpxs。例如，图像传感器100可以生成对应于单帧的多个像素值dpxs。
59.根据一实施方式，图像传感器100可以包括多个摄像设备或图像捕获设备。多个摄像设备可以布置在同一水平线上，以生成多视角图像。在另一实施方式中，图像传感器100可以在单个图像传感器上包括多个微透镜。多个微透镜可以以行、列或矩阵形式排列，以生成多视角图像。
60.图像处理器200可以从多视角图像确保三维(3d)图像。例如，用于制作3d媒体文件的方法包括将现有的2d图像和视频转换为3d。从2d场景估计深度图用于3d重建的2d到3d转换方法提出了一种有效的方法，以节省实际应用中3d视觉媒体的编码、传输和存储的成本。利用现有的图像和视频处理技术，已经开发了各种基于深度图的2d到3d转换方法。深度图可以从单个2d视图或多个2d视图中估计。此外，从多个图像进行3d重建是指从一组图像创建三维模型，这是从3d场景中获得2d图像的反向过程。图像处理器200可以应用自适应权重来降低3d图像中的噪声。例如，在多视角图像的平坦区域中，可以使用多视角图像的平均值，而在多视角图像的非平坦区域或边缘区域中，可以使用多视角图像中的中心视角图像的像素值。通过这种方法，图像处理器200可以降低为降噪而执行的计算或运算量，从而支持更快的3d图像生成。
61.图2说明了根据本公开的一实施方式的在图1中描述的图像传感器。
62.参照图2，图像传感器100可以包括像素阵列110和信号转换器160。
63.像素阵列110可以包括在行方向和列方向排列的多个像素(参照图4)。像素阵列110可以针对每一行产生多个像素信号vpxs。例如，像素阵列100可以在第一行时间内从排列在第一行的多个像素产生多个像素信号vpxs，以及在第n行时间内从排列在第n行的多个其他像素产生多个像素信号vpxs，其中'n'是大于2的整数。多个像素信号vpxs中的每一个可以是对应于入射光的模拟信号。
64.信号转换器160可以将多个模拟型像素信号vpxs转换成多个数字型像素值dpxs。根据一实施方式，多个数字型像素值dpxs可以对应于后面描述的拜耳模式而被输出。例如，信号转换器160可以包括参照图3描述的模数转换电路140。
65.图3说明了根据本公开的一实施方式的在图1和图2中描述的图像传感器的配置。图1中描述的图像传感器100可以是cmos图像传感器，它广泛适用于各种领域的设备，诸如移动电话、监控安全、自动驾驶、机器视觉和物联网。
66.参照图3，图像传感器100可以包括像素阵列110、行解码器120、控制器130、模数转换电路140、和数据输出电路150。根据一实施方式，图像传感器100可以进一步包括配置为处理数据以生成图像的附加模块或电路。
67.像素阵列110可以包括多个像素112。在像素阵列110中，多个像素112在平面的水平方向和垂直方向上排列。多个像素112中的每一个可以包括一个光电二极管和四个晶体管。根据一实施方式，多个像素112中的每一个可以包括一个光电二极管和三个晶体管。此外，在另一实施方式中，多个像素中的每一个可以包括多个光电二极管。
68.行解码器或行驱动器120可以以行单元驱动像素阵列110中包括的多个像素112。当行解码器120以行单元驱动多个像素112时，多个像素112可以通过布置在每一列中的布线向模数转换电路140传输信号，例如像素数据。行解码器120可以由控制器130控制。
69.控制器130可以涉及图像传感器100中执行的整体操作。控制器130可以控制行解码器120、模数转换电路140、和数据输出电路150。
70.由行解码器120驱动的像素112输出的信号或信息是一种模拟信号。模数转换电路140可以将从像素112输出的信号或信息转换成数字信号或信息。由模数转换电路140转换的数字信号或信息可以被暂时储存在数据输出电路150中。输出的数据data_output可以被控制器130传送到另一器件，例如，电路、和模块等，用于图像处理。
71.包括在图像传感器100中的模数转换电路140可以具有信号读取结构，例如，列并联结构，其中以列单元操作的单元或模块被平行排列。具有这种结构的模数转换电路140可以在读取从像素阵列110输出的数据的过程中有效地降低噪声和增大带宽。通过这一点，模数转换电路140可以读取从像素阵列110输出的数据，以支持以非常高的速度输出读取的数据，并且降低信号质量下降。
72.随着图像传感器100的分辨率的提高，包括在像素阵列110中的像素112的尺寸(例如，面或块)减小。随着图像传感器100支持更高的帧速率，包括在像素阵列110中的像素112接收并转换入射光为电荷的时间可能变得更短。此外，随着图像传感器100被安装在诸如便携式终端和摄像机的小型设备上，图像传感器100的尺寸存在限制。由于这些原因，模数转换电路140可以以窄的间隔设置在每一列。从像素阵列110输出的信号或信息的振幅可能会减小。模数转换电路140可以被设计成在非常严格的约束下可操作。
73.图4说明了根据本公开的一实施方式的在图2至图3中描述的像素阵列。
74.参照图4，像素阵列110的多个像素可以按预定的模式排列。例如，像素阵列110的多个像素可以按拜耳模式排列。拜耳模式包括重复的单元组，每个单元组有2
×
2像素。在每个单元组中，具有绿色滤光器的两个像素(gb，gr)可以排列成在对角线上相互面对，具有蓝色滤光器的一个像素(b)和具有红色滤光器的一个像素(r)可以设置在其余的角处。四个像素b、gb、gr、r可以不限于图3所示的排列。根据一实施方式，在上述拜耳模式的前提下，四个像素b、gb、gr、r可以以各种方式排列。拜耳模式被描述为本公开的一实施方式的示例。本公开的实施方式并不局限于此，诸如四方模式(quad pattern)的各种模式都可以适用。
75.图5说明了根据本公开的一实施方式的多个摄像设备。根据一实施方式，多个摄像设备72、74、76、78可以生成参照图1描述的多视角图像。摄像设备72、74、76、78每个可以生成2d图像。例如，在同一时间或基本相同的时间从摄像设备72、74、76、78获得的这些2d图像的组被包括在多视角图像中。
76.参照图5，主体或对象存在于三维(3d)空间中。任意点pw可以被多个摄像设备72、74、76、78以特定的像素p1、p2、p3、pn捕获。第一摄像设备72可以位于三维(3d)空间(x、y、z维度)上的第一位置c1。任意点pw可以通过第一射线r1连接到第一摄像设备72的第一位置c1。第一射线r1可以穿过第一像素p1。第二摄像设备74可以位于三维(3d)空间上的第二位置c2。任意点pw可以通过第二射线r2耦接到第二摄像设备74的第二位置c2。第二射线r2可以穿过第二像素p2。第三摄像设备76可以位于三维空间上的第三位置c3。任意点pw可以通过第三射线r3连接到第三摄像设备76的第三位置c3。第三射线r3可以通过第三像素p3。第四摄像设
备78可以位于三维空间上的第四位置c4，任意点pw可以通过第四射线r4耦接到第二摄像设备78的第四位置c4。第四射线r4可以通过第四像素p4。
77.根据一实施方式，图5中多个摄像设备72、74、76、78的第一至第四位置c1、c2、c3、c4可以从三维空间坐标(x、y、z轴)中的参考位置或绝对位置定义和识别。在另一实施方式中，多个摄像设备72、74、76、78之间的相对定位或相对位置可以在没有参考位置的情况下被识别。如参照图1所述，当多个摄像设备72、74、76、78可以排列在同一水平线上时，多个摄像设备72、74、76、78的绝对位置或相对位置可能被简单地识别或定义。
78.图6说明了根据本公开的一实施方式的对极几何(epi-polar geometry)或等极几何(iso-polar geometry)。具体来说，参照图5描述的多个摄像设备72、74、76中的第二摄像设备74和第三摄像设备76作为示例被描述。
79.参照图6，第二摄像设备74可以位于第二位置c2，而第三摄像设备76可以位于第三位置c3。这里，第二位置c2和第三位置c3可以理解为每个摄像设备74、76的投影的中心。第二摄像设备74和第三摄像设备76可以各自捕获二维图像，例如，平面图像。
80.例如，三维空间中的任意点pw可以被第二摄像设备74捕获在图像的第二像素p2上和被第三摄像设备76捕获在图像的第三像素p3上。两个图各自与连接第二摄像设备74的第二位置c2和第三摄像设备76的第三位置c3的线彼此相交之处的点或像素可以被称为第二和第三极点e2、e3。将第二和第三极点e2、e3与两个图像各自之上的第二像素p2和第三像素p3连接的线可以被称为第一极线。这里，极线是极平面与图像平面相交的直线。也就是说，连接第二像素p2和第二极点e2的直线可以被称为第二极线，而连接第三像素p3和第三极点e3的直线可以被称为第三极线。此外，根据两个图像的平面之间的几何关系存在约束，这意味着一个图像的所有点都可以位于另一个图像的极线上。这可以被称为对极约束。此外，由任意点pw、第二位置c2和第三位置c3确定的平面可以被称为极平面。
81.对极约束和噪声被进一步详细描述。在此，第二位置c2和第三位置c3的绝对或相对位置是由图像处理系统所识别的一种信息。第二摄像设备74可以知道第二像素p2在获得的图像平面中的位置。在这种情况下，为了准确地知道第三摄像设备76所获得的图像平面上第三像素p3的位置，从第二位置c2到任意点pw的距离是必要的。然而，由于存在由任意点pw与第二位置c2和第三位置c3确定的极平面，即使没有关于从第二位置c2到任意点pw的距离的信息，也可以估计出第三像素p3位于第三极线上。然而，在多视角图像中对应于任意点pw的像素可能不位于极线上。这些像素可以被认为是多视角图像中的噪声。
82.图7说明了根据本公开的另一实施方式的图像处理器。
83.参照图7，图像处理器200可以包括自适应权重计算器210、多视角图像像素计算器220和降噪计算器230。自适应权重计算器210可以接收中心视角图像ct_view_px作为输入并计算自适应权重adap_w。多视角图像像素计算器220可以被配置为确定可替代的像素信息，以降低极图像中的噪声。降噪计算器230可以基于由多视角图像像素计算器220确定的像素信息match_px和自适应权重adap_w输出降噪结果nr_result。图像处理器200可以从参照图1至图3描述的图像传感器100或参照图5描述的多个摄像设备72、74、76、78接收多个像素值dpxs。如参照图1所述，多个像素值dpxs可以包括多视角图像multi_views。在此，多视角图像multi_views是由同时从三维排列位置(例如，见图5)的相应的摄像设备或相应的微透镜获得的一组二维(2d)图像配置成的。多视角图像multi-views可以包括中心视角图像
ct_view_px，它是从摄像设备或微透镜之中位于中心的一个获得的。
84.在此，当每个图像在图像处理器200中以数字矩阵的形式被识别时，视图可以被认为是数据的特征，其中这些数字被称为像素数据。例如，多视角图像的数据可以具有诸如存在于数据中的语音或文本的其他各种特征或从各种来源获得的数据的各种特征。进一步，多视角图像可以包括通过在不同的位置(例如，图像捕获设备所在的位置)捕获位于三维空间中的主体或对象而获得的二维图像。当同一主体被在不同位置拍摄时，每个二维图像包括关于同一主体的不同信息。
85.图像处理器200可以接收从多个摄像机设备获得的多视角图像。图像处理器200可以基于包括在多视角图像中的中心视角图像来划分多视角图像的平坦区域和非平坦区域。参照图1和图5至图6，图像处理器200可以从接收到的多视角图像生成极图像。当通过极图像检查发生在平坦区域和非平坦区域的噪声时，噪声的量在平坦区域和非平坦区域之间可能没有明显不同的偏差。然而，出现在平坦区域的噪声对看到图像的用户通常会产生更大的视觉影响。
86.根据本公开的一实施方式的图像处理器200可以在多视角图像中划分出平坦区域和非平坦区域后以不同的方式降低发生在平坦区域和非平坦区域的噪声。例如，在平坦区域，用多视角图像的像素平均值替换极线以降低噪声。在非平坦区域，用从多个摄像设备中位于中心的摄像设备获得的中心视角图像的像素值替换极线。
87.另外，根据一实施方式，从图像处理器200输出的降噪结果nr_result可以根据不同地应用于平坦区域和非平坦区域的自适应权重adap_w而不同。将参照图8至图17描述包括在图像处理器200中的自适应权重计算器210、多视角图像像素计算器220和降噪计算器230的详细操作和配置。
88.图8说明了根据本公开的一实施方式的在图7中描述的自适应权重计算器。
89.参照图8，自适应权重计算器210可以包括偏差单元212、缩放单元214、和自适应权重单元216。自适应权重计算器210可以从多视角图像确定自适应权重。
90.偏差单元212可以通过使用多视角图像中的中心视角图像的像素值来计算标准偏差std。这里，中心视角图像ct_view_px可以包括从生成多视角图像的多个摄像设备中位于中心的摄像设备获得的图像。例如，标准偏差std可以通过5
×
5的内核从中心视角图像提取。这里，内核可以指方形矩阵。水平和垂直方向上的5乘5像素(总共25个像素)可以被认为是单个内核。内核的移动会引起内核的图像值(图像数据)的变化。当内核的图像值变化的标准偏差std被确定时，可以区分中心视角图像ct_view_px中的平坦区域和非平坦区域。根据一实施方式，偏差单元212可以选择并使用多视角图像的任何图像来区分多视角图像的平坦区域和非平坦区域。
91.这里，非平坦区域可以包括不平整区域以及边缘区域。根据一实施方式，随着标准偏差std较大，内核可以被确定为非平坦区域。随着标准偏差std较小，内核可以被确定为平坦区域。不是基于特定的值或参考值来绝对地区分平坦区域和非平坦区域，而是在多视角图像中相对地区分平坦区域和非平坦区域彼此。例如，划分平坦区域和非平坦区域的偏差值可能针对每个多视角图像而有所不同。
92.缩放单元214可以通过对偏差单元212计算的标准偏差std应用缩放而生成缩放的标准偏差scale_std。包括在多视角图像或中心视角图像中的像素数据可以包括各种变量。
这是因为，例如，多个摄像设备并不捕获具有相同形状、颜色或距离的相同主体，并且由多个摄像设备捕获的图像中的所有像素数据都不是相同的。相应地，当包括在像素数据中的各种变量之间的缩放不同时，在基于不同缩放的建模中会发生参数失真。相应地，缩放单元214可以通过执行缩放或缩放标准化来计算缩放的标准偏差scale_std。缩放的标准偏差scale_std和标准偏差std之间的区别将在后面参照图9进行描述。
93.自适应权重单元216可以确定对应于缩放的标准偏差scale_std的自适应权重adap_w。这里，自适应权重adap_w可以根据缩放的标准偏差scale_std来改变，这将在后面参照图10进行描述。不同于不考虑多视角图像中包括的信息而应用统一的权重，能够基于多视角图像中包括的信息调整权重的自适应权重adap_w在降低噪声方面具有优势。
94.图9说明了被应用标准偏差的第一图像和被应用缩放的标准偏差的第二图像之间的差异。
95.参照图7和图9，多视角图像中包括的像素数据可以包括各种变量。例如，在由单个摄像设备获取的图像中存在诸如与主体的距离、主体的形状或颜色以及主体周围的光照度等变量。在从多个摄像设备获得的多视角图像中存在更多的变量。因此，使用经过通过图7中描述的缩放单元214对标准偏差std应用缩放或缩放标准化而计算出来的缩放的标准偏差scale_std可以在降低噪声方面具有优势。
96.图10说明了根据本公开的一实施方式的基于缩放的标准偏差的自适应权重的范围。
97.参照图10，自适应权重adap_w可以根据缩放的标准偏差scale_std而变化。根据一实施方式，缩放的标准偏差scale_std可以具有从0到255的值中的一个值作为8比特位信息r0到r7。自适应权重adap_w可以具有0和1之间的值。随着缩放的标准偏差scale_std的增大，自适应权重adap_w可以减小。
98.自适应权重adap_w可以被输入到图7中描述的降噪单元230。自适应权重adap_w可以作为参数来确定是否增大降噪结果nr_result的权重或像素值的权重，以便在多视角图像的平坦和非平坦区域得出自适应处理结果。
99.图11说明了根据本公开的一实施方式的参照图7描述的多视角图像像素计算器。
100.参照图11，多视角图像像素计算器220可以包括极图像生成器211、搜索窗单元213、像素定位单元215、像素位置改变器217、和3d降噪单元219。
101.极图像生成器211可以接收多视角图像multi_views并生成极图像epi_img。根据一实施方式，多视角图像multi_views可以从多个摄像设备中接收。多个摄像设备在水平位置上可以具有差异。例如，多视角图像multi_views可以包括通过在水平方向排列的多个摄像设备拍摄同一主体而获得的多个图像。参照图5和图6已经描述了对极几何。后面将参照图12描述基于多视角图像multi_views生成的极图像epi_img。
102.搜索窗单元213可以识别对应于对象(例如，图5中描述的主体的任意点pw)的极线，搜索窗单元213可以将由极图像生成器211生成的极图像epi_img中最远的极线(例如，对应于最远对象的极线)视为垂直线。当极图像epi_img中对应于最接近的对象的另一极线的斜率相对于垂直线具有x度时，这两个极线之间的范围可以被确定为搜索窗search_w。根据一实施方式，搜索窗search_w可以理解为用于降低极图像epi_img中的噪声的操作中使用的可替换像素值的范围，这将参照图15和图16详细描述。
103.像素定位单元215可以接收极图像epi_img的搜索窗search_w。像素定位单元215可以提取在搜索窗search_w内与参考像素具有最相似值的像素match_px的位置信息。例如，像素定位单元215可以在极图像epi_img的相邻像素中选择像素match_px，该像素match_px具有最小的强度差。通过这种方法，像素定位单元215可以在另一图像中搜索像素位置，其可以对应于中心视角图像或参考视角图像中的像素。在这种情况下，像素定位单元215可以在极图像epi_img中找到一像素，该像素在搜索窗内基于对应于预设比率1xn的块(patch)而具有最小的强度差异。
104.像素位置改变器217可以用从由像素定位单元215在极图像epi_img内的像素提取的位置信息match_px推断出的新的极线替换包括中心视角图像或参考视角图像的像素的极线。由于噪声或遮挡等因素，极图像中的数据分布可能会有所不同。例如，正常分布之外的异常值可以被移除，或者异常值可以通过数据近似(诸如异常值剔除拟合)来调整。根据一实施方式，像素位置改变器217可以基于通过随机抽样一致性(ransac)算法由像素定位单元215提取的像素推断新的极线。这里，ransac算法可以包括用于选择具有上述最大一致性的模型的程序性方法。例如，满足这些样本数据的模型参数是通过随机选择一些样本数据而获得的。像素位置改变器217可以计算接近于以这种方式获得的模型的数据数量。如果被计数的模型的数量很大，像素位置改变器217就会储存该模型。在重复这个过程n次后，具有最大数量支持数据的模型可以被返回作为最终结果。此后，像素位置改变器217可以用新的(即推断出的)极线上的像素的位置替换现有像素的位置。
105.3d降噪单元219可以确定能够替换中心视角图像的平坦区域的像素的3d降噪值3d_nr。例如，3d降噪单元219可以通过由像素位置改变器217对与像素相对应的像素数据进行平均来输出3d降噪值3d_nr。
106.根据一实施方式，多视角图像像素计算器220可以生成能够降低多视角图像multi_views的平坦区域中的噪声的3d降噪值3d_nr。然而，在多视角图像multi_views的非平坦区域中，在找到强度差异最小的位置后，基于该位置，用ransac(随机抽样一致性)算法使用新的极线。在推断新的极线的过程中，计算量或运算量会增大，或者结果的可靠性会降低。为了在多视角图像multi_views的非平坦区域进行快速的图像处理，在本公开的一实施方式中，可以使用中心视角图像中的像素值来代替，而不是3d降噪值3d_nr。
107.图12说明了根据本公开的一实施方式的基于多视角图像生成的极图像。
108.参照图12，可以基于包括从多个摄像设备获得的2d图像的多视角图像372、374、376来生成极图像380。多视角图像372、374、376可以包括从布置在最左侧的第一摄像设备获得的第一图像372，和从布置在多个摄像设备中的中心的摄像设备获得的中心视角图像374，以及从布置在最右侧的第n摄像设备获得的第二图像376。如图5所描述的，多个摄像机可以被布置在可以通过相对或绝对位置识别为3d坐标值的位置。然而，当多个摄像机水平并均匀地彼此分开时，图像矫正顿可以简化。
109.例如，可以通过收集多视角图像372、374、376中对应于同一行的像素数据并根据时间从下到上堆叠数据来生成极图像380。从多视角图像372、374、376中生成极图像380是众所周知的，在本公开中不会详细描述。极图像380中的极线的斜率θ为δs/δu。这里，δs可以是两个摄像机之间的几何距离，而δu可以是从两个摄像机获得的各自图像中的点(例如，对应于任意点pw的点(见图5和图6))之间的距离。多视角图像372、374、376中主体的深
度或距离可以与极线的斜率θ成反比。
110.图13说明了根据本公开的一实施方式的包括在极图像中的噪声。一般来说，在极图像中，如果场景是平坦的区域，图像中的水平轴x与其深度(y轴)之间的关系是线性的，像图13中的三条虚线。
111.参照图13，关于极图像的实际像素的位置分布可能不完全匹配极线，即三条虚线。参照图5至图6和图12，可以清楚地识别多个摄像设备之间的位置关系。当从每个摄像设备获得的图像中没有噪声时，以及当基于多视角图像生成极图像时，所有的像素都可以位于极线上，因为没有噪声。然而，当基于通过多个摄像设备获得的多视角图像生成极图像时，许多像素值可能存在于极线之外。因此，图像处理器200或图1和图7中描述的图像处理器200可以尝试降低这种噪声。如果通过降噪产生极线，则可以根据极线的斜率更准确地估计主体深度或距离。
112.另一方面，可以另外执行检测和处理遮挡或遮挡区域的过程，以通过使用极图像的对极约束来提高深度信息的准确性以及去除噪声。例如，检测到的遮挡区域可以用考虑距离和与周围可见区域的像素的颜色差异而计算或确定的深度值来填充。
113.图14说明了根据本公开的一实施方式的用于降低包括在极图像中的噪声的像素确定方法。
114.参照图14，用于降低噪声的像素确定方法可以包括基于极图像中的最大斜率线建立搜索窗(操作210)，在搜索窗中搜索与标准像素或参考像素最相似的相邻像素(操作220)，以及存储相邻像素的位置(操作230)。
115.对于降噪，重要的是在保持或维持由图像传感器100输出的每个像素信息的特征的同时降低或去除噪声。在降低或去除具有与相邻像素不同的信息或值的噪声的过程中，当不保持从图像传感器100输出的每个像素信息的特征时，用户可以人为地感觉到其中的纹理丢失的图像。然而，在去除较大量或较大比例的噪声的过程中，从图像传感器100输出的每个像素信息或信息可能变得模糊(dull)或平淡(flat)。图像处理器可以通过使用图像中相邻像素的平均值(average value)和均值(mean value)来降低噪声。例如，在线性平滑滤波器中，已经使用了在包括噪声像素的噪声周围获得像素值的平均值或加权平均值并用操作结果替换噪声像素的数据的方法。在非线性平均滤波器中，已经使用了指定噪声像素、找到噪声周围像素值的中值以及用中值替换噪声像素数据的方法。
116.参照图12至图14，在从多视角图像生成极图像后，图像处理器可以基于极图像中极线的斜率建立搜索窗。由图像处理器找到搜索窗中最相似的相邻像素。图像处理器可以用从相似的相邻像素获得的值替换噪声像素。在本公开的一实施方式中，从噪声像素周围的相邻像素值获得的平均值或均值可以不被简单地用于降低噪声。因此，本实施方式可以避免从图像传感器100输出的每个像素信息变得模糊或平淡。
117.图15说明了根据本公开的一实施方式的在图14中描述的像素确定方法的示例。
118.参照图15，描述了如何确定用于替换在基于多视角图像生成的极图像中的噪声像素的像素。首先，可以通过堆叠来自包括从k个摄像设备收集的k个图像的多视角图像的k段同行数据来生成极图像，其中'k'是大于2的整数。
119.在从第5图像提取的行信息(r＝5)中，图像处理设备可以基于相邻行(r-1)中的离垂直线最近的像素和最远的像素的位置来识别两条线。两条线之间的区域可以被设定为搜
索窗。如果在从第四图像提取的行信息(r-1)中找到具有与在从第5图像提取的行信息(r＝5)中的位置(5,6)的参考像素最相似的像素，可以确定(4,6)的位置。接下来，如果在从第三图像提取的行信息(r-2)中找到它，可以确定(3，16)的位置。接下来，如果在从第二图像提取的行信息(r-3)中找到它，可以确定(2，21)的位置。图像处理器可以依次存储从每个图像提取的像素s(k)的位置信息。然后，图像处理器可以基于在搜索窗中找到的像素的位置信息通过随机抽样一致性(ransac)算法来估计新的极线。
120.图16说明了根据本公开的一实施方式的在极图像中降低噪声的结果。
121.参照图16，图像处理设备可以根据从m个摄像设备收集和获得的多视角图像生成极图像，在极图像中找到可替换的像素，以如在图15中所描述的，估计具有与参考像素最相似值的新的极线。这个程序可以重复执行。根据一实施方式，参考像素是从位于m个摄像设备中的位于中心的第m/2摄像设备收集的中心视角图像提取的像素信息。基于从第m/2摄像设备获得的中心视角图像提取的像素信息，图像处理设备可以在特定方向上搜索从第m/2-1、第m/2-2和第m/2-3摄像设备收集的像素信息中最相似的像素，并在相反方向上搜索从第m/2 1、第m/2 2和第m/2 3摄像设备收集的像素信息中最相似的像素。
122.当基于在上述方法中找到的像素信息计算出新的极线时，在基于多视角图像生成3d图像的过程中，可以降低产生或因各种原因产生的噪声的同时有效地保持或维持图像的纹理。在本公开的一实施方式中，这样的图像处理方法可以适用于多视角图像中的平坦区域。
123.图17描述了根据本公开的一实施方式的在图7中描述的降噪计算器。
124.参照图17，降噪计算器230可以包括降噪处理单元232。降噪计算器230可以从多视角图像的中心视角图像中去除或降低噪声。降噪处理单元232可以接收中心视角图像ct_view_px、从像素定位单元215输出的位置信息match_px和从3d降噪单元219输出的3d降噪值3d_nr，并输出降噪的可替换值nr_result。例如，在图像的平坦区域，从3d降噪单元219输出的3d降噪值3d_nr可以乘以从自适应权重计算器210输出的自适应权重adap_w。这里，自适应权重adap_w可以是大于0和小于1的值。此外，在图像的非平坦区域中，中心视角图像的像素值ct_view_px可以乘以自适应权重的阈值(1-adap_w)。相应地，降噪操作单元232可以输出降噪结果nr_result，用于降低平坦区域和非平坦区域中的噪声。
125.如上所述，根据本公开的一实施方式的图像处理器可以降低基于多视角图像获得的3d图像中的噪声。
126.此外，通过将基于多视角图像获得的3d图像分为平坦区域和非平坦区域、并以不同的方式处理3d图像的平坦区域和非平坦区域中的图像数据或像素数据，从而降低3d图像的非平坦区域中的计算或运算量，根据本公开的一实施方式的装置可以支持较快的图像处理。
127.本文描述的方法、过程和/或操作可以通过由计算机、处理器、控制器或其他信号处理装置执行的代码或指令来完成。计算机、处理器、控制器或其他信号处理装置可以是本文描述的那些，也可以是除本文描述的元件之外的一个。因为构成计算机、处理器、控制器或其他信号处理装置的方法或操作的基础的算法被详细描述，用于实现方法实施方式的操作的代码或指令可以将计算机、处理器、控制器或其他信号处理装置转化为用于执行本文的方法的专用处理器。
128.另外，另一实施方式可以包括计算机可读介质，例如，非暂时性计算机可读介质，用于存储上述的代码或指令。计算机可读介质可以是易失性或非易失性存储器或其他存储设备，它可以可拆卸地或固定地耦接到计算机、处理器、控制器或要执行代码或指令用于执行本文的方法实施方式或装置实施方式的操作的其他信号处理设备。
129.在此公开的实施方式的控制器、处理器、控制电路、设备、模块、单元、多路复用器、生成器、逻辑、接口、解码器、驱动器、生成器及其他信号生成与信号处理特征可以在例如可以包括硬件、软件或两者的非暂时性逻辑中实现。当至少部分以硬件实现时，控制器、处理器、控制电路、设备、模块、单元、多路复用器、生成器、逻辑、接口、解码器、驱动器、生成器及其他信号生成与信号处理特征可以是，例如，各种集成电路中的任何一种，包括但不限于应用专用集成电路、现场可编程门阵列、逻辑门的组合、片上系统、微处理器或其他类型的处理或控制电路。
130.当至少部分以软件实现时，控制器、处理器、控制电路、设备、模块、单元、多路复用器、生成器、逻辑、接口、解码器、驱动器、生成器及其他信号生成与信号处理特征可以包括，例如，存储器或其他存储设备，用于存储例如由计算机、处理器、微处理器、控制器或其他信号处理装置运行的代码或指令。计算机、处理器、微处理器、控制器或其他信号处理装置可以是本文描述的那些，也可以是本文所述元件之外的一个。因为构成计算机、处理器、微处理器、控制器或其他信号处理装置的操作或方法的基础的算法被详细描述，实现方法实施方式的操作的代码或指令可以将计算机、处理器、控制器或其他信号处理装置转化为执行本文描述的方法的专用处理器。
131.虽然本发明的教导已经就具体的实施方式进行了说明和描述，但根据本公开对于本领域技术人员来说，显然可以在不偏离所附权利要求书所定义的公开精神和范围的情况下进行各种改变和修改。此外，本发明的实施方式可以被组合来形成额外的实施方式。