图像感测装置及图像处理装置的制作方法

1.本公开的各种实施方式涉及一种半导体设计技术，更具体地说涉及一种图像感测装置。


背景技术：

2.图像感测装置是利用半导体对光发生反应的特性来捕获图像的装置。图像感测装置通常分类为电荷耦合装置(ccd)图像感测装置和互补金属氧化物半导体(cmos)图像感测装置。近来，cmos图像感测装置被广泛使用，因为cmos图像感测装置可以允许在单个集成电路(ic)上直接实施模拟和数字控制电路两者。


技术实现要素：

3.本公开的各种实施方式涉及一种可以基于深度学习生成高动态范围图像的图像感测装置。
4.根据本公开的实施方式，一种图像感测装置可以包括：采样模块，所述采样模块适于基于单帧时间内生成的单个图像，针对每种颜色生成具有不同曝光时间的多个图像；校正模块，所述校正模块适于使用一套学习算法，基于所述多个图像学习所述单个图像的校正参数，并通过从所述多个图像去除所述校正参数生成多个校正图像；以及图像处理模块，所述图像处理模块适于基于所述多个校正图像生成对应于所述单个图像的高动态范围图像。
5.所述校正参数可以包括噪声成分和重影成分。
6.所述校正模块可以包括：去噪声模块，所述去噪声模块适于使用第一学习算法基于所述多个图像学习所述多个图像中的每一者的噪声成分，并通过从所述多个图像中的每一者去除所述噪声成分而生成多个去噪声图像；计算模块，所述计算模块适于基于所述多个去噪声图像和每种颜色的权重生成多个灰度图像；以及去重影模块，所述去重影模块适于使用第二学习算法，基于所述多个灰度图像学习所述多个灰度图像中的每一者的重影成分，并通过从所述多个灰度图像中的每一者去除所述重影成分生成所述多个校正图像。
7.根据本公开的实施方式，一种图像感测装置可以包括：图像传感器，所述图像传感器包括像素阵列，所述像素阵列具有以四边形图案排列并根据每个图案的不同曝光时间进行控制的颜色过滤器，并且适于在单帧时间内生成对应于所述四边形图案的单个图像；以及图像处理器，所述图像处理器适于基于所述单个图像以及一套学习算法针对每种颜色学习校正参数，并基于所述校正参数生成具有bayer图案的高动态范围图像。
8.所述校正参数可以包括噪声成分和重影成分。
9.所述单个图像可以具有四边形图案，并且所述高动态范围图像可以具有bayer图案。
10.根据本公开的实施方式，一种图像处理装置可以包括：采样模块，所述采样模块适于接收四边形图案图像，并根据颜色通道对所述四边形图案图像进行采样以生成多个通道
图像；去噪声模块，所述去噪声模块适于生成多个去噪通道图像，每个去噪声通道图像均通过使用本身的和另一个通道的一对图像进行学习而生成，所述另一个通道与相对较高的曝光时间相关联；去重影模块，所述去重影模块适于生成多个去重影通道图像，每个去重影通道图像均通过使用本身的和另一个选择通道的一对图像进行学习而生成，所述另一个选择通道与最低曝光时间相关联；以及图像处理模块，所述图像处理模块适于基于所述多个去重影通道图像生成具有bayer图案的输出图像。
附图说明
11.图1是示出根据本公开的实施方式的图像感测装置的框图。
12.图2是示出包括在图1中所示的图像传感器中的像素阵列的实施例的图。
13.图3是示出图1中所示的图像处理器的框图。
14.图4是示出图3中所示的采样模块的框图。
15.图5是示出图3中所示的校正模块的框图。
16.图6是示出图5中所示的去噪声模块的框图。
17.图7是示出图5中所示的去重影模块的框图。
18.图8是示出图3中所示的图像处理模块的框图。
19.图9至图12是示出图1中所示的图像感测装置的操作的图。
具体实施方式
20.下面参照附图描述本公开的各种实施方式，以便详细描述本公开，从而使本公开所属领域的普通技术人员可以容易实施本公开的技术精神。
21.可以理解的是，当一个元件被称为“连接到”或“联接到”另一个元件时，该元件可以直接连接到或联接到另一个元件，或者与另一个元件电连接或联接，其间插设有一个或多个元件。此外，还要理解的是，本说明书中使用的术语“包含”和“包括”并不排除存在一个或多个其它元件，而可以另外包括或具有一个或多个其它元件，另有提及除外。在整个说明书的描述中，一些部件被以单数形式描述，但本公开并不限于此，而且要理解的是这些部件可以形成为多个。
22.图1是示出根据本公开的实施方式的图像感测装置10的框图。
23.参照图1，图像感测装置10可以包括图像传感器100和图像处理器200。
24.图像传感器100可以在单帧时间内生成单个图像simg。例如，图像传感器100可以包括具有以四边形图案布置的颜色过滤器的像素阵列，并且生成对应于四边形图案的单个图像simg。
25.图像处理器200可以使用与深度学习相关的学习算法，基于单个图像simg生成具有高动态范围的图像(下文中称为“hdr图像”)hdrimg。例如，图像处理器200可以使用学习算法基于单个图像simg学习每种颜色的校正参数，并基于校正参数生成具有bayer图案的hdr图像hdrimg。校正参数可以包括噪声成分和重影成分。
26.图2是示出包括在图1中所示的图像传感器100中的像素阵列的实施例的示意图。
27.参照图2，像素阵列可以包括根据四边形图案布置的多个像素。四边形图案表示具有同一颜色过滤器的像素以2
×
2单元排列的图案。例如，在第一行和第二行以及第一列和
第二列中以2
×
2单元排列的第一像素可以各自具有绿色过滤器，在第一行和第二行以及第三列和第四列中以2
×
2单元排列的第二像素可以各自具有红色过滤器，在第三行和第四行以及第一列和第二列中以2
×
2单元排列的第三像素可以各自具有蓝色过滤器，并且在第三行和第四行以及第三列和第四列中以2
×
2单元排列的第四像素可以各自具有绿色过滤器。
28.可以根据每个四边形图案的不同曝光时间来控制像素阵列。例如，在第一像素中，布置在左上方的像素可以根据第一曝光时间l被控制，并且生成与在第一曝光时间l期间积累的电荷对应的图像值。此外，布置在右上方的像素可以根据第二曝光时间mh被控制，并且生成与在第二曝光时间mh期间积累的电荷对应的图像值。此外，布置在左下方的像素可以根据第三曝光时间ml被控制，并且生成与在第三曝光时间ml期间积累的电荷对应的图像值。此外，布置在右下方的像素可以根据第四曝光时间s被控制，并且生成与在第四曝光时间s期间积累的电荷对应的图像值。第一曝光时间l可以是第一至第四曝光时间l、mh、ml和s中最长的曝光时间。第二曝光时间mh可以比第一曝光时间l短。第三曝光时间ml可以比第二曝光时间mh短。第四曝光时间s可以是第一至第四曝光时间l、mh、ml和s中最短的曝光时间。可以根据第一至第四曝光时间l、mh、ml和s以与第一像素相同的方式控制第二至第四像素。
29.图3是示出图1中所示的图像处理器200的框图。
30.参照图3，图像处理器200可以包括采样模块210、校正模块220和图像处理模块230。
31.采样模块210可以基于在单帧时间内生成的单个图像simg，针对每种颜色分别生成对应于第一至第四曝光时间l、mh、ml和s的第一至第四图像i1s、i2s、i3s和i4s。
32.校正模块220可以使用学习算法，基于第一至第四图像i1s、i2s、i3s和i4s学习单个图像simg的校正参数。另外，校正模块220可以通过从第一至第四图像i1s、i2s、i3s和i4s去除校正参数分别生成第一至第四校正图像j1s、j2s、j3s和j4s。
33.图像处理模块230可以基于第一至第四校正图像j1s、j2s、j3s和j4s生成对应于单个图像simg的hdr图像hdrimg。
34.图4是示出图3中所示的采样模块210的框图。
35.参照图4，采样模块210可以包括第一采样模块211和第二采样模块213。
36.第一采样模块211可以针对每个曝光时间对包括在单个图像simg中的图像值进行采样，并且生成第一至第四采样图像a1s、a2s、a3s和a4s。
37.第二采样模块213可以针对每种颜色，对第一至第四采样图像a1s、a2s、a3s和a4s中包括的图像值进行采样，并且生成第一至第四图像i1s、i2s、i3s和i4s。
38.图5是示出图3中所示的校正模块220的框图。
39.参照图5，校正模块220可以包括去噪声模块221、计算模块223和去重影模块225。
40.去噪声模块221可以使用第一学习算法基于第一至第四图像i1s、i2s、i3s和i4s，学习第一至第四图像i1s、i2s、i3s和i4s的第一至第四噪声成分。第一学习算法可以是使用u-net模型、vggnet模型和resnet模型之一的算法。去噪声模块221可以通过从第一至第四图像i1s、i2s、i3s和i4s中分别去除第一至第四噪声成分而生成第一至第四去噪声图像b1s、b2s、b3s和b4s。
41.计算模块223可以基于第一至第四去噪声图像b1s、b2s、b3s和b4s以及为每种颜色预设的权重生成第一至第四灰度图像c1、c2、c3和c4。例如，计算模块223可以基于第一去噪
声图像b1s和对应于第一绿色的权重生成第一灰度图像c1。此外，计算模块223可以基于第二去噪声图像b2s和对应于红色的权重生成第二灰度图像c2。此外，计算模块223可以基于第三去噪声图像b3s和对应于蓝色的权重，生成第三灰度图像c3。此外，计算模块223可以基于第四去噪声图像b4s和对应于第二绿色的权重，生成第四灰度图像c4。对应于第一绿色的权重和对应于第二绿色的权重可以取决于设计而相同或不同。
42.去重影模块225可以使用第二学习算法基于第一至第四灰度图像c1、c2、c3和c4以及第一至第四去噪声图像b1s、b2s、b3s和b4s学习第一至第四灰度图像的重影成分。第二学习算法可以是使用u-net模型、vggnet模型和resnet模型之一的算法。去重影模块225可以通过从第一至第四灰度图像c1、c2、c3和c4分别去除第一至第四重影成分来生成第一至第四校正图像j1s、j2s、j3s和j4s。
43.图6是示出图5中所示的去噪声模块221的框图。
44.参照图6，去噪声模块221可以包括第一学习模块2211、第二学习模块2213和第三学习模块2215。
45.第一学习模块2211可以基于第一图像i1s和第二图像i2s，生成对应于第二图像i2s的第二去噪声图像b2s。第一学习模块2211可以通过使用第一图像i1s作为标签并使用第二图像i2s作为输入数据来学习对应于各第二图像i2s的第二噪声成分。第一学习模块2211可以在学习第二噪声成分时，生成并使用对应于第一图像i1s的第一饱和度图。例如，第一学习模块2211可以基于第一图像i1s生成第一饱和度图，基于第一饱和度图识别包括在第一图像i1s中的图像值中的饱和图像值，并且在学习第二噪声成分时排除包括在第二图像i2s中的图像值中的与饱和图像值对应的图像值。第一学习模块2211可以在学习第二噪声成分之前，基于第一曝光率来缩放第二图像i2s。例如，根据以下等式1计算第一曝光率：
46.等式1
[0047][0048]
其中，“er1”表示第一曝光率，“vl”表示包括在每个第一图像i1s中的图像值，并且“vmh”表示包括在每个第二图像i2s中的图像值。
[0049]
第二学习模块2213可以基于第二图像i2s和第三图像i3s，生成对应于第三图像i3s的第三去噪声图像b3s。第二学习模块2213可以通过使用第二图像i2s作为标签并使用第三图像i3s作为输入数据来学习对应于各第三图像i3s的第三噪声成分。第二学习模块2213可以在学习第三噪声成分时，生成并使用对应于第二图像i2s的第二饱和度图。例如，第二学习模块2213可以基于第二图像i2s生成第二饱和度图，基于第二饱和度图识别包括在第二图像i2s中的图像值中的饱和图像值，并且在学习第三噪声成分时排除包括在第三图像i3s中的图像值中的与饱和图像值对应的图像值。第二学习模块2213可以在学习第三噪声成分之前，基于第二曝光率来缩放第三图像i3s。例如，根据以下等式2计算第二曝光率：
[0050]
等式2
[0051][0052]
在此，“er2”表示第二曝光率，“vmh”表示包括在每个第二图像i2s中的图像值，并
且“vml”表示包括在每个第三图像i3s中的图像值。
[0053]
第三学习模块2215可以基于第三图像i3s和第四图像i4s，生成对应于第四图像i4s的第四去噪声图像b4s。第三学习模块2215可以通过使用第三图像i3s作为标签并使用第四图像i4s作为输入数据来学习对应于各第四图像i4s的第四噪声成分。第三学习模块2215可以在学习第四噪声成分时，生成并使用对应于第三图像i3s的第三饱和度图。例如，第三学习模块2215可以基于第三图像i3s生成第三饱和度图，基于第三饱和度图识别包括在第三图像i3s中的图像值中的饱和图像值，并且在学习第四噪声成分时排除包括在第四图像i4s中的图像值中的与饱和图像值对应的图像值。第三学习模块2215可以在学习第四噪声成分之前，基于第三曝光率来缩放第四图像i4s。例如，根据以下等式3计算第三曝光率：
[0054]
等式3
[0055][0056]
在此，“er3”表示第三曝光率，“vml”表示包括在每个第三图像i3s中的图像值，并且“vs”表示包括在每个第四图像i4s中的图像值。
[0057]
去噪声模块221可以生成(即，输出)第一图像i1s作为第一去噪声图像b1s。在这种情况下，去噪声模块221不需要学习第一噪声成分。
[0058]
图7是示出图5中所示的去重影模块225的框图。
[0059]
参照图7，去重影模块225可以包括第四学习模块2251、第一生成模块2252、第五学习模块2253、第二生成模块2254、第六学习模块2255、第三生成模块2256和第四生成模块2257。
[0060]
第四学习模块2251可以基于具有第四曝光时间s的第四灰度图像c4和具有第一曝光时间l的第一灰度图像c1，生成对应于第一灰度图像c1的第一校正灰度图像d1。第四学习模块2251可以通过使用第四灰度图像c4作为标签并使用第一灰度图像c1作为输入数据来学习第一灰度图像c1的第一重影成分。第四学习模块2251可以在学习第一灰度图像c1的第一重影成分时，生成并使用对应于第一灰度图像c1的第四饱和度图。例如，第四学习模块2251可以基于第一灰度图像c1生成第四饱和度图，并且在学习第一重影成分时，基于第四饱和度图，排除第一灰度图像c1中包括的图像值中的饱和图像值。第四学习模块2251可以在学习第一重影成分之前，基于第四曝光率来缩放第一灰度图像c1。根据以下等式4计算第四曝光率：
[0061]
等式4
[0062][0063]
其中，“er4”表示第四曝光率，“gvl”表示包括在第一灰度图像c1中的图像值，并且“gvs”表示包括在第四灰度图像c4中的图像值。
[0064]
第一生成模块2252可以基于第一校正灰度图像d1、第一灰度图像c1和第一去噪声图像b1s，生成针对每种颜色具有第一曝光时间l的第一校正图像j1s。例如，第一校正图像j1s可以包括均对应于第一绿色并且具有第一曝光时间l的图像。此外，第一校正图像j1s可以包括均对应于红色并且具有第一曝光时间l的图像。此外，第一校正图像j1s可以包括均对应于蓝色并且具有第一曝光时间l的图像以及均对应于第二绿色并且具有第一曝光时间
l的图像。例如，第一生成模块2252可以根据以下等式5生成第一校正图像j1s：
[0065]
等式5
[0066]
j1s＝b1s*(d1/c1)
[0067]
第五学习模块2253可以基于具有第四曝光时间s的第四灰度图像c4和具有第二曝光时间mh的第二灰度图像c2，生成对应于第二灰度图像c2的第二校正灰度图像d2。第五学习模块2253可以通过使用第四灰度图像c4作为标签并使用第二灰度图像c2作为输入数据来学习第二灰度图像c2的第二重影成分。第五学习模块2253可以在学习第二灰度图像c2的第二重影成分时，生成并使用对应于第二灰度图像c2的第五饱和度图。例如，第五学习模块2253可以基于第二灰度图像c2生成第五饱和度图，并且在学习第二重影成分时，基于第五饱和度图，排除包括在第二灰度图像c2中的图像值中的饱和图像值。第五学习模块2253可以在学习第二重影成分之前，基于第五曝光率缩放第二灰度图像c2。根据以下等式6计算第五曝光率：
[0068]
等式6
[0069][0070]
其中，“er5”表示第五曝光率，“gvmh”表示包括在第二灰度图像c2中的图像值，并且“gvs”表示包括在第四灰度图像c4中的图像值。
[0071]
第二生成模块2254可以基于第二校正灰度图像d2、第二灰度图像c2和第二去噪声图像b2s，生成针对每种颜色具有第二曝光时间mh的第二校正图像j2s。例如，第二校正图像j2s可以包括均对应于第一绿色并具有第二曝光时间mh的图像。此外，第二校正图像j2s可以包括均对应于红色并具有第二曝光时间mh的图像。此外，第二校正图像j2s可以包括均对应于蓝色并具有第二曝光时间mh的图像。此外，第二校正图像j2s可以包括均对应于第二绿色并且均具有第二曝光时间mh的图像。例如，第二生成模块2254可以根据以下等式7生成第二校正图像j2s：
[0072]
等式7
[0073]
j2s＝b2s*(d2/c2)
[0074]
第六学习模块2255可以基于具有第四曝光时间s的第四灰度图像c4和具有第三曝光时间ml的第三灰度图像c3，生成对应于第三灰度图像c3的第三校正灰度图像d3。第六学习模块2255可以通过使用第四灰度图像c4作为标签并使用第三灰度图像c3作为输入数据来学习第三灰度图像c3的第三重影成分。第六学习模块2255可以在学习第三灰度图像c3的第三重影成分时，生成并使用对应于第三灰度图像c3的第六饱和度图。例如，第六学习模块2255在学习第三重影成分时，可以基于第六饱和度图，排除第三灰度图像c3中包括的图像值中的饱和图像值。第六学习模块2255可以在学习第三重影成分之前，基于第六曝光率来缩放第三灰度图像c3。根据以下等式8计算第六曝光率：
[0075]
等式8
[0076][0077]
其中，“er6”表示第六曝光率，“gvml”表示包括在第三灰度图像c3中的图像值，并且“gvs”表示包括在第四灰度图像c4中的图像值。
[0078]
第三生成模块2256可以基于第三校正灰度图像d3、第三灰度图像c3和第三去噪声
图像b3s，生成针对每种颜色具有第三曝光时间ml的第三校正图像j3s。例如，第三校正图像j3s可以包括均对应第一绿色并具有第三曝光时间ml的图像。此外，第三校正图像j3s可以包括均对应红色并具有第三曝光时间ml的图像。此外，第三校正图像j3s可以包括均对应蓝色并具有第三曝光时间ml的图像。此外，第三校正图像j3s可以包括均对应第二绿色并且均具有第三曝光时间ml的图像。例如，第三生成模块2256可以根据以下等式9生成第三校正图像j3s：
[0079]
等式9：
[0080]
j3s＝b3s*(d3/c3)
[0081]
第四生成模块2257可以基于第四灰度图像c4和第四去噪声图像b4s，生成针对每种颜色具有第四曝光时间s的第四校正图像j4s。例如，第四校正图像j4s可以包括均对应于第一绿色并具有第四曝光时间s的图像。此外，第四校正图像j4s可以包括均对应于红色并具有第四曝光时间s的图像。此外，第四校正图像j4s可以包括均对应于蓝色并且具有第四曝光时间s的图像。此外，第四校正图像j4s可以包括均对应第二绿色并且均具有第四曝光时间s的图像。例如，第四生成模块2257可以根据以下等式10生成第四校正图像j4s：
[0082]
等式10
[0083]
j4s＝b4s*(d4/c4)
[0084]
去重影模块225可以使用第四灰度图像c4作为第四校正灰度图像。在这种情况下，去重影模块225不需要学习第四重影成分。
[0085]
图8是示出图3中所示的图像处理模块230的框图。
[0086]
参照图8，图像处理模块230可以包括融合模块231和色调映射模块233。
[0087]
融合模块231可以通过综合每种颜色的第一至第四校正图像j1s、j2s、j3s和j4s来生成单个融合图像fimg。例如，单个融合图像fimg可以具有bayer图案。
[0088]
色调映射模块233可以基于单个融合图像fimg生成hdr图像hdrimg。
[0089]
下文中，参考图9至图12描述根据本公开的实施方式的图像感测装置10的操作，该图像感测装置具有上述配置。作为实施例，本实施方式描述由图像传感器100生成的对应于8
×
8像素的单个图像simg。
[0090]
图9是示出图3和图4中所示的采样模块210的操作的图。
[0091]
参照图9，第一采样模块211可以针对每个曝光时间对单个图像simg中包括的图像值进行采样，并且生成第一至第四采样图像a1s、a2s、a3s和a4s。例如，第一采样模块211可以通过对单个图像simg中包括的图像值中的根据第一曝光时间l控制的像素的图像值进行采样来生成第一采样图像a1s。此外，第一采样模块211可以通过对单个图像simg中包括的图像值中的根据第二曝光时间mh控制的像素的图像值进行采样来生成第二采样图像a2s。此外，第一采样模块211可以通过对单个图像simg中包括的图像值中的根据第三曝光时间ml控制的像素的图像值进行采样来生成第三采样图像a3s。此外，第一采样模块211可以通过对单个图像simg中包括的图像值中的根据第四曝光时间s控制的像素的图像值进行采样来生成第四采样图像a4s。
[0092]
第二采样模块213可以针对每种颜色，对第一至第四采样图像a1s、a2s、a3s和a4s中包括的图像值进行采样，并生成第一至第四图像i1s、i2s、i3s和i4s。例如，第二采样模块213可以通过对第一采样图像a1s中包括的图像值中的对应于第一绿色的图像值进行采样、
对第一采样图像a1s中包括的图像值中的对应于红色的图像值进行采样、对第一采样图像a1s中包括的图像值中的对应于蓝色的图像值进行采样以及对第一采样图像a1s中包括的图像值中的对应于第二绿色的图像值进行采样来生成第一图像i1s。第二采样模块213可以以与生成第一图像i1s的方法相同的方式生成第二至第四图像i2s、i3s和i4s。
[0093]
例如，第一图像i1s可以包括这样的图像，所述图像包括根据第一曝光时间l控制的像素的图像值中的与第一绿色对应的图像值。此外，第一图像i1s可以包括这样的图像，所述图像包括根据第一曝光时间l控制的像素的图像值中的与红色对应的图像值。此外，第一图像i1s可以包括这样的图像，所述图像包括根据第一曝光时间l控制的像素的图像值中的由具有蓝色过滤器的像素生成的图像值。此外，第一图像i1s可以包括这样的图像，所述图像包括根据第一曝光时间l控制的像素的图像值中的与第二绿色对应的图像值。第二图像i2s可以包括这样的图像，所述图像包括根据第二曝光时间mh控制的像素的图像值中的与第一绿色对应的图像值。此外，第二图像i2s可以包括这样的图像，所述图像包括根据第二曝光时间mh控制的像素的图像值中的与红色对应的图像值。此外，第二图像i2s可以包括这样的图像，所述图像包括根据第二曝光时间mh控制的像素的图像值中的由具有蓝色过滤器的像素生成的图像值。此外，第二图像i2s可以包括这样的图像，所述图像包括根据第二曝光时间mh控制的像素的图像值中的与第二绿色对应的图像值。第三图像i3s可以包括这样的图像，所述图像包括根据第三曝光时间ml控制的像素的图像值中的与第一绿色对应的图像值。此外，第三图像i3s可以包括这样的图像，所述图像包括根据第三曝光时间ml控制的像素的图像值中的与红色对应的图像值。此外，第三图像i3s可以包括这样的图像，所述图像包括根据第三曝光时间ml控制的像素的图像值中的由具有蓝色过滤器的像素生成的图像值。此外，第三图像i3s可以包括这样的图像，所述图像包括根据第三曝光时间ml控制的像素的图像值中的与第二绿色对应的图像值。第四图像i4s可以包括这样的图像，所述图像包括根据第四曝光时间s控制的像素的图像值中的与第一绿色对应的图像值。此外，第四图像i4s可以包括这样的图像，所述图像包括在根据第四曝光时间s控制的像素的图像值中的与红色对应的图像值。此外，第四图像i4s可以包括这样的图像，所述图像包括根据第四曝光时间s控制的像素的图像值中的由具有蓝色过滤器的像素生成的图像值。此外，第四图像i4s可以包括这样的图像，所述图像包括在根据第四曝光时间s控制的像素的图像值中的与第二绿色对应的图像值。
[0094]
图10是示出图5和图6中所示的去噪声模块221的操作的图。
[0095]
参照图10，去噪声模块221可以生成分别对应于第一至第四图像i1s、i2s、i3s和i4s的第一至第四去噪声图像b1s、b2s、b3s和b4s。在这种情况下，第一图像i1s可以被输出为第一去噪声图像b1s。
[0096]
第一至第三学习模块2211、2213和2215可以基于具有深度学习网络结构的第一学习算法，分别学习单个图像simg的第二至第四噪声成分。另外，第一至第三学习模块2211、2213和2215可以分别生成被去除第二至第四噪声成分的第二至第四去噪声图像b2s、b3s和b4s。
[0097]
第一学习模块2211可以通过使用具有相对较长的曝光时间的第一图像i1s中的每一者作为标签并使用具有相对较短的曝光时间的第二图像i2s中的每一者作为输入数据来学习对应于各第二图像i2s的第二噪声成分。在这种情况下，第一学习模块2211可以基于第
一图像i1s生成第一饱和度图lsm。第一学习模块2211可以基于第一饱和度图lsm识别第一图像i1s中包括的图像值中的饱和图像值，并且在学习第二噪声成分时，排除第二图像i2s中包括的图像值中的与饱和图像值对应的图像值。第一学习模块2211可以在学习第二噪声成分之前，基于第一曝光率来缩放第二图像i2s。
[0098]
第二学习模块2213可以通过使用具有相对较长的曝光时间的第二图像i2s中的每一者作为标签并使用具有相对较短的曝光时间的第三图像i3s中的每一者作为输入数据来学习与各第三图像i3s对应的第三噪声成分。在这种情况下，第二学习模块2213可以基于第二图像i2s生成第二饱和度图mhsm。第二学习模块2213可以基于第二饱和度图mhsm识别第二图像i2s中包括的图像值中的饱和图像值，并且在学习第三噪声成分时，排除包括在第三图像i3s中的图像值中的与饱和图像值对应的图像值。第二学习模块2213可以在学习第三噪声成分之前，基于第二曝光率来缩放第三图像i3s。
[0099]
第三学习模块2215可以通过使用具有相对较长的曝光时间的第三图像i3s中的每一者作为标签并使用具有相对较短的曝光时间的第四图像i4s中的每一者作为输入数据来学习与各第四图像i4s对应的第四噪声成分。在这种情况下，第三学习模块2215可以基于第三图像i3s生成第三饱和度图mlsm。第三学习模块2215可以基于第三饱和度图mlsm识别第三图像i3s中包括的图像值中的饱和图像值，并在学习第四噪声成分时排除包括在第四图像i4s中的图像值中与饱和图像值对应的图像值。第三学习模块2215可以在学习第四噪声成分之前，基于第三曝光率来缩放第四图像i4s。
[0100]
可以看到，第一至第三学习模块2211、2213和2215分别使用由采样模块210生成的第一至第三图像i1s、i2s和i3s作为标签。即，去噪声模块221通过无监督学习方法学习第二至第四噪声成分。
[0101]
此外，第一至第三学习模块2211、2213和2215可以分别共享学习第二至第四噪声成分时所需的每种颜色的权重w1。例如，权重w1可以对于每种颜色具有固定值。
[0102]
图11是示出图5和图7中所示的去重影模块225的操作的图。
[0103]
参照图11，去重影模块225可以基于第一至第四灰度图像c1、c2、c3和c4以及第一至第四去噪声图像b1s、b2s、b3s和b4s生成第一至第四校正图像j1s、j2s、j3s和j4s。
[0104]
第四至第六学习模块2251、2253和2255可以基于具有深度学习网络结构的第二学习算法分别学习第一至第三重影成分，并且基于第一至第三重影成分生成第一至第三校正图像j1s、j2s和j3s。
[0105]
第四学习模块2251可以通过使用具有最短曝光时间的第四灰度图像c4作为标签，并使用具有相对较长的曝光时间的第一灰度图像c1作为输入数据来学习与第一灰度图像c1对应的第一重影成分。在这种情况下，第四学习模块2251可以基于第一灰度图像c1生成第四饱和度图glsm。第四学习模块2251可以在学习第一重影成分时，基于第四饱和度图glsm，排除第一灰度图像c1中包括的图像值中的饱和图像值。第四学习模块2251可以在学习第一重影成分之前，基于第四曝光率来缩放第一灰度图像c1。
[0106]
第五学习模块2253可以通过使用具有最短曝光时间的第四灰度图像c4作为标签，并使用具有相对较长的曝光时间的第二灰度图像c2作为输入数据，学习与第二灰度图像c2对应的第二重影成分。在这种情况下，第五学习模块2253可以基于第二灰度图像c2生成第五饱和度图gmhsm。第五学习模块2253可以在学习第二重影成分时，基于第五饱和度图
gmhsm，排除第二灰度图像c2中包括的图像值中的饱和图像值。第五学习模块2253可以在学习第二重影成分之前，基于第五曝光率来缩放第二灰度图像c2。
[0107]
第六学习模块2255可以通过使用具有最短曝光时间的第四灰度图像c4作为标签，并使用具有相对较长的曝光时间的第三灰度图像c3作为输入数据，学习对应于第三灰度图像c3的第三重影成分。在这种情况下，第六学习模块2255可以基于第三灰度图像c3生成第六饱和度图gmlsm。第六学习模块2255可以在学习第三重影成分时，基于第六饱和度图gmlsm，排除第三灰度图像c3中包括的图像值中的饱和图像值。第六学习模块2255可以在学习第三重影成分之前，基于第六曝光率来缩放第三灰度图像c3。
[0108]
可以看出，第四至第六学习模块2251、2253和2255中的每一者均使用计算模块223生成的第四灰度图像c4作为标签。即，去重影模块225通过无监督学习方法学习第一至第三重影成分。
[0109]
此外，第四至第六学习模块2251、2253和2255可以分别共享学习第一至第三重影成分时所需的权重w3。例如，权重w3可以具有固定值。
[0110]
第一至第四生成模块2252、2254、2256和2257可以基于预定算法y2bayer分别生成第一至第四校正图像j1s、j2s、j3s和j4s。预定算法y2bayer可以是以上“等式5”、“等式7”、“等式9”或“等式10”。
[0111]
第一生成模块2252可以根据以上等式5，基于第一校正灰度图像d1、第一灰度图像c1和第一去噪声图像b1s生成第一校正图像j1s。
[0112]
第二生成模块2254可以根据以上等式7，基于第二校正灰度图像d2、第二灰度图像c2和第二去噪声图像b2s生成第二校正图像j2s。
[0113]
第三生成模块2256可以根据以上等式9，基于第三校正灰度图像d3、第三灰度图像c3和第三去噪声图像b3s生成第三校正图像j3s。
[0114]
第四生成模块2257可以根据以上等式10，基于第四校正灰度图像d4、第四灰度图像c4和第四去噪声图像b4s生成第四校正图像j4s。
[0115]
图12是示出图8中所示的融合模块231的操作的图。
[0116]
参照图12，融合模块231可以通过将第一至第四校正图像j1s、j2s、j3s和j4s中具有相同颜色并布置在相同位置的第一至第四图像值进行综合来生成对应于单个图像simg的融合图像fimg。例如，融合模块231可以通过将包括在第一校正图像j1s中的图像值中的与第一绿色对应的一个图像值、包括在第二校正图像j2s中的图像值中的与第一绿色对应的一个图像值、包括在第三校正图像j3s中的图像值中的与第一绿色对应的一个图像值以及包括在第四校正图像j4s中的图像值中的与第一绿色对应的一个图像值进行综合，来生成融合图像fimg中包括的图像值中的与第一绿色对应的一个图像值。融合模块231可以生成具有4
×
4尺寸并且与具有8
×
8尺寸的单个图像simg对应的融合图像fimg。
[0117]
根据本公开的一个实施方式，在综合图像时，可以使用深度学习网络学习并去除噪声成分和重影成分。
[0118]
根据本公开的实施方式，可以基于深度学习生成高动态范围图像，从而去除生成高动态范围图像时发生的信噪比下降和运动伪影。
[0119]
根据本公开的实施方式，一种图像处理装置可以包括：采样模块，所述采样模块适于接收四边形图案图像，并根据颜色通道对所述四边形图案图像进行采样以生成多个通道
图像；去噪声模块，所述去噪声模块适于生成多个去噪通道图像，每个去噪声通道图像均通过使用本身的和另一个通道的一对图像进行学习而生成，所述另一个通道与相对较高的曝光时间相关联；去重影模块，所述去重影模块适于生成多个去重影通道图像，每个去重影通道图像均通过使用本身的和另一个选择通道的一对图像进行学习而生成，所述另一个选择通道与最低曝光时间相关联；以及图像处理模块，所述图像处理模块适于基于所述多个去重影通道图像生成具有bayer图案的输出图像。
[0120]
虽然已经关于具体的实施方式说明和描述了本公开，但所公开的实施方式是为描述而提供的，而不意图限制。此外，应当指出，正如本领域的技术人员根据本公开将认识到的，本公开可以通过落入所附权利要求范围内的替代、变更和变型以各种方式实现。
[0121]
相关申请的交叉引用
[0122]
本技术要求对2020年12月14日提交的韩国专利申请10-2020-0174188的优先权，该申请的全部公开内容通过引用纳入本文中。