用于基于切片图像升级分辨率的装置和方法与流程

1.本公开涉及图像处理，并且更具体地涉及用于增加图像的分辨率的技术。


背景技术：

2.近来，发布了能够输出高达超出4k分辨率(其是超高清(uhd)分辨率)的8k分辨率的图像的显示装置。然而，与显示装置的分辨率相比，常规的广播内容和视频内容仅以2k或4k分辨率产生，因此正在开发用于将低分辨率(lr)图像转换为高分辨率(hr)图像的技术。
3.作为图像转换技术的示例，已经提出了单图像超分辨率(sisr)技术。sisr是指用于生成与单个lr图像相对应的hr图像的技术。具体地，近来，随着深度学习技术的发展，使用卷积神经网络(cnn)的sisr技术是常见的。
4.然而，常规的基于cnn的sisr算法具有许多层和过滤器，因此存在常规的基于cnn的sisr算法不适用于片上系统(soc)实现的局限性，因为存储器的数量和计算量不可避免地增加。


技术实现要素：

5.本公开被设计以解决上述问题并且用于提供用于基于切片图像来升级(upscaling)分辨率的装置和方法，其中低分辨率的图像被划分为多个切片图像，从而生成高分辨率的图像。
6.本公开还用于提供用于基于切片图像来升级分辨率的装置和方法，其中通过调整卷积过滤器的大小来减小垂直感受野的大小。
7.本公开还用于提供用于基于切片图像来升级分辨率的装置和方法，其中当训练神经网络时，使用基于原始图像中的像素之间的相似度以及输出图像中的像素之间的相似度的损失函数来调整卷积过滤器的参数。
8.本公开的一个方面提供了用于基于切片图像来升级分辨率的装置，该装置包括卷积运算单元，其被配置为使用卷积神经网络将低分辨率的输入切片图像转换为高分辨率的输出切片图像。卷积神经网络包括：级联块(cascading block)，其被配置为对从低分辨率的输入切片图像生成的输入特征图执行使用具有预定大小的卷积过滤器的卷积运算和残差运算以生成输出特征图；以及升级块，其被配置为升级输出特征图以生成高分辨率的输出切片图像。
9.本公开的另一方面提供了一种基于切片图像来升级分辨率的方法，该方法包括：对低分辨率的输入图像进行划分并且获取多个低分辨率的输入切片图像；对通过卷积神经网络从低分辨率的输入切片图像生成的输入特征图执行使用具有预定大小的卷积过滤器的卷积运算和残差运算并且生成输出特征图；升级输出特征图并且生成高分辨率的输出切片图像；以及依次连结与低分辨率的输入切片图像相对应的高分辨率的输出切片图像并且生成高分辨率的输出图像。
附图说明
10.附图被包括以提供对本公开的进一步理解并且并入本技术并构成本技术的一部分，其例示了本公开的实施方式并且与说明书一起用于解释本公开的原理。在附图中：
11.图1是例示根据本公开的实施方式的用于基于切片图像来升级分辨率的装置的配置的示意框图；
12.图2是例示根据本公开的其中通过卷积网络将低分辨率的输入切片图像升级到高分辨率的输出切片图像的过程的概念图；
13.图3是例示图1所示的卷积网络的配置的示意图；
14.图4是例示图3所示的级联块的配置的框图；
15.图5a是例示图4所示的第一残差块的配置的框图；
16.图5b是例示图4所示的第二残差块的配置的框图；
17.图6是例示图4中示出的升级块的配置的框图；
18.图7是例示通过串联连接图6所示的两个第一升级块来通过4的因数升级输出特征图的方法的示例性框图；
19.图8a是例示将根据本公开转换为具有高分辨率的输出图像与高分辨率的原始图像和通过另一算法转换的输出图像进行比较的示例图；
20.图8b是例示将根据本公开转换为具有高分辨率的输出图像与高分辨率的原始图像和通过另一算法转换的输出图像进行比较的另一示例图；
21.图9是例示根据本公开的实施方式的基于切片图像来升级分辨率的方法的流程图；以及
22.图10是例示根据本公开的由升级装置执行的使用级联块生成输出特征图的方法的流程图。
具体实施方式
23.在说明书中，应当注意，在尽可能的情况下，针对元件使用已经在其它附图中用于标示类似元件的类似附图标记。在以下描述中，当本领域技术人员已知的功能和配置与本公开的实质配置无关时，将省略它们的详细描述。说明书中描述的术语应理解如下。
24.本公开的优点和特征及其实现方法将通过以下参照附图描述的实施方式来阐明。然而，本公开可以以不同的形式实施，并且不应当被解释为限于本文阐述的实施方式。而是，提供这些实施方式是为了使本公开将是透彻的和完整的，并将本公开的范围完全传达给本领域技术人员。此外，本公开仅由权利要求的范围限定。
25.在附图中公开的用于描述本公开的实施方式的形状、大小、比例、角度和数量仅仅是示例，因而本公开不限于所示的细节。相似的附图标记通篇指代相似的元件。在以下描述中，当确定相关已知功能或配置的详细描述不必要地使本公开的要点模糊时，将省略详细描述。
26.在使用本说明书中描述的“包括”、“具有”和“包含”的情况下，除非使用“仅”，否则可以添加另一部件。除非提及相反的情况，否则单数形式的术语可以包括复数形式。
27.在解释元件时，尽管没有明确的描述，但元件被解释为包括误差范围。
28.在描述时间关系时，例如，当时间顺序被描述为“在
…
之后”，“跟随在
…
之后”，“下
一”和“在
…
之前”时，除非使用“仅”或“直接”，否则可以包括不连续的情况。
29.将理解的是，尽管术语“第一”、“第二”等在本文中可以用于描述各种元件，但这些元件不应受这些术语的限制。这些术语仅用于将一个元件与另一个元件区分开。例如，在不背离本公开的范围的情况下，第一元件可以被称为第二元件，并且类似地，第二元件可以被称为第一元件。
30.术语“至少一个”应当理解为包括相关所列项中的一个或更多个的任何和所有组合。例如，“第一项、第二项和第三项中的至少一个”的含义表示从第一项、第二项和第三项中的两个或更多个提出的所有项以及第一项、第二项或第三项的组合。
31.本公开的各种实施方式的特征可以部分地或总体地彼此联接或组合，并且可以彼此以各种方式互操作并且在技术上被驱动，如本领域技术人员可以充分理解的。本公开的实施方式可以彼此独立地执行，或者可以以相互依赖的关系一起执行。
32.在下文中，将参照附图详细描述本说明书的实施方式。
33.图1是例示根据本公开的实施方式的用于基于切片图像来升级分辨率的装置的框图。图1所示的基于切片图像的升级装置100(在下文中，称为“升级装置”)使用基于卷积神经网络(cnn)的超分辨率(sr)技术来将低分辨率(lr)的输入图像转换成高分辨率(hr)的输出图像。
34.具体地，根据本公开的升级装置100可以从lr输入图像获取多个输入切片图像以基于切片图像来实现超分辨率。为此，根据本公开的升级装置100包括图像划分单元110、卷积运算单元120、cnn 130、图像连结单元140和训练单元150，如图1所示。
35.图像划分单元110从外部装置接收lr输入图像并且从所接收的输入图像中获取多个输入切片图像。具体地，如图2所示，图像划分单元110将lr输入图像210划分成水平线(未示出)的单元并且获取包括多条水平线的多个输入切片图像210a至210n。也就是说，根据本公开，输入切片图像210a至210n中的每一个由多条水平线组成。
36.在本公开中，输入切片图像为何由多条水平线组成的原因如下。如果输入切片图像由单条水平线组成，则这不可避免地是对超分辨率的性能的限制，因为超分辨率的性能与水平线的数量成比例。另一方面，如果输入切片图像由多条水平线组成，则可以维持几乎与使用帧存储器的超分辨率的性能类似的性能，并且同时，因为不需要帧存储器所以更容易实现硬件。
37.在实施方式中，图像划分单元110可以以15条水平线为单位对lr输入图像210进行划分。因此，图像划分单元110可以生成各自由15条水平线组成的多个输入切片图像210a至210n。
38.在本公开中，为何通过图像划分单元110将lr输入图像划分成多个输入切片图像的原因如下。在使用cnn的一般sr技术中，需要许多帧存储器，并且因此难以减小cnn的重量，使得难以实现片上系统(soc)。然而，如本公开中所提出的，当切片图像被用作输入图像时，可以用线存储器来替换帧存储器，由此使得更容易使cnn 130轻量化且实现soc。
39.图像划分单元110通过卷积运算单元120依次将多个生成的输入切片图像210a至210n输入为cnn 130的输入图像。
40.再次参照图1，卷积运算单元120使用cnn 130将lr输入切片图像转换成hr输出切片图像。卷积运算单元120执行通过cnn 130执行的卷积运算和残差运算以将lr输入切片图
像转换成hr输出切片图像。卷积运算单元120将经转换的hr输出切片图像提供给图像连结单元140。
41.当lr输入切片图像从卷积运算单元120输入时，cnn 130基于输入切片图像执行多个卷积运算以生成输出特征图并且升级输出特征图以生成hr输出切片图像。
42.在下文中，将参照图3更详细地描述根据本公开的cnn 130的配置。
43.图3是例示根据本公开的实施方式的卷积网络的配置的示意图。如图3所示，根据本公开的实施方式的cnn 130包括：输入卷积层310、多个级联块320a至320c、升级块330和输出卷积层340。
44.输入卷积层310使用预定的输入卷积过滤器对输入切片图像210a至210n执行卷积运算以生成针对输入切片图像210a至210n的输入特征图。在实施方式中，输入卷积过滤器可以是具有正方形大小的卷积过滤器。例如，输入卷积过滤器可以是具有3
×
3大小的卷积过滤器，如图3所示。
45.根据上面描述的实施方式，输入特征图的通道的数量可以由输入卷积过滤器的通道的数量来确定。具体地，当输入切片图像210a至210n由i个通道组成并且输入卷积过滤器由j个通道组成时，输入特征图由j个通道组成。例如，当输入切片图像210a至210n由三个通道r、g和b组成并且输入卷积过滤器的大小是3
×3×
64时，由输入卷积层310生成由64个通道组成的输入特征图。
46.多个级联块320a至320c对输入到级联块320a至320c中的每一个的输入特征图执行卷积运算和残差运算并且基于运算的结果生成输出特征图。这里，残差运算指的是输入值通过使用跳过连接结构的若干层并然后计算输出值和输入至之和从而获得结果值的操作。
47.根据本公开的cnn 130为何包括级联块320a至320c以用于执行残差运算和生成输出特征图的原因如下。一般的cnn结构使用反向传播技术来训练，并且随着网络结构变得更深，下一层的梯度值可以根据前一层的梯度的程度以指数方式减小。
48.因此，在输出层附近的梯度具有值，但在输入层附近的梯度具有接近零的值，导致其中训练不再进展的梯度消失问题。因此，根据本公开的cnn 130包括能够执行残差运算的级联块320a至320c以解决梯度消失问题，因而即使在深度网络结构中也可以执行有效训练。
49.在实施方式中，如图3所示，多个级联块320a至320c串联连接，因而前一级联块的输出特征图变为下一级联块的输入特征图。
50.在图3中，cnn 130被描述为包括三个级联块320a至320c，但这仅是示例性的，并且在经修改的实施方式中，cnn 130可以包括仅两个级联块或者包括四个或更多个级联块。然而，随着级联块的数量减小，输出特征图的准确性降低，并且随着级联块的数量增加，计算量增加，使得难以减小网络的重量。因此，可以考虑到应用cnn 130的环境而可变地设置级联块的数量。
51.在下文中，为了便于描述，假设并描述cnn 130包括三个级联块320a至320c。
52.首先，第一级联块320a被设置在输入卷积层310的后端，并且对从输入卷积层310输出的输入特征图执行卷积运算和残差运算以基于运算的结果生成第一输出特征图。第一级联块320a将第一输出特征图输入到第二级联块320b。
53.第二级联块320b被设置在第一级联块320a的后端并且对从第一级联块320a输出的第一输出特征图执行卷积运算和残差运算以基于运算的结果生成第二输出特征图。第二级联块320b将第二输出特征图输入到第三级联块320c。
54.第三级联块320c被设置在第二级联块320b的后端并且对从第二级联块320b输出的第二输出特征图执行卷积运算和残差运算以基于运算的结果生成第三输出特征图。由第三级联块320c生成的第三输出特征图变成最终的输出特征图并输入至升级块330。
55.在下文中，将参照图4更详细地描述级联块320a至320c的配置。由于级联块320a至320c的所有配置都是相同的，所以将基于图4中的第一级联块320a来描述内部配置。在下文中，为了便于描述，将第一级联块320a描述为级联块320。
56.图4是例示根据本公开的级联块的配置的示意框图。如图4所示，根据本公开的级联块320包括第一残差块400、第一连结层410、第一尺寸缩减层420、第二残差块430、第二连结层440和第二尺寸缩减层450。
57.第一残差块400依次对输入特征图ifm执行使用第一类型卷积过滤器的组卷积(group convolution)运算和使用具有正方形大小的第二类型卷积过滤器的逐点卷积运算，基于运算的结果来执行残差运算，并且生成第一残差特征图rfm_1。在实施方式中，第一类型卷积过滤器可以是其中垂直感受野的大小小于水平感受野的大小的过滤器，并且第二类型卷积过滤器可以是具有其中垂直感受野的大小与水平感受野的大小相同的正方形大小的过滤器。
58.根据本公开的第一残差块400为何执行使用其中垂直感受野的大小小于水平感受野的大小的第一类型卷积过滤器的组卷积的原因如下。通常，在sr技术中，由于感受野的大小与性能直接相关，所以常见的是增加感受野的大小。
59.然而，随着感受野的大小增加，要存储在cnn中的信息量增加。因此，在本公开中，通过减小第一类型卷积过滤器的垂直感受野的大小，可以在特征图通过第一类型卷积过滤器时在垂直方向上减小特征图的大小，并且可以减少用于存储特征图所需的线存储器的数量。例如，根据本公开的第一残差块400可以使用其中垂直感受野的大小为一的过滤器作为第一类型卷积过滤器。
60.在下文中，将参照图5a更详细地描述根据本公开的第一残差块。图5a是例示根据本公开的实施方式的第一残差块的配置的框图。如图5a所示，根据本公开的实施方式的第一残差块400包括第一组卷积块510a、第二组卷积块520a、逐点卷积块530a、运算单元540a和输出激活层550a。
61.在图5a中，为了便于描述，第一组卷积块510a和第二组卷积块520a被例示为具有大小为1
×
5的第一类型卷积过滤器，但是具有垂直感受野的大小小于水平感受野的大小的过滤器足以作为第一类型卷积过滤器，并且第一类型卷积过滤器可以具有除1
×
5的大小之外的任何大小。
62.第一组卷积块510a对输入特征图ifm执行组卷积运算并且包括第一卷积层512a和第一激活层514a。
63.第一卷积层512a使用具有1
×
5的大小的第一类型卷积过滤器对输入特征图ifm执行组卷积以生成第一特征图fm_1，并且第一激活层514a将激活函数应用于第一特征图fm_1以非线性化第一特征图fm_1。
64.在实施方式中，如图5a所示，第一激活层514a对第一特征图fm_1应用其中第一特征图fm_1的像素值当中的正像素值被不改变地输出，并且负像素值被输出为零的校正线性单元(relu)函数，使得非线性特性可以被赋予到第一特征图fm_1。
65.第二组卷积块520a对由第一组卷积块510a生成的第一特征图fm_1执行组卷积运算并且包括第二卷积层522a和第二激活层524a。
66.第二卷积层522a使用具有1
×
5的大小的第一类型卷积过滤器对第一特征图fm_1执行组卷积以生成第二特征图fm_2，并且第二激活层524a将激活函数应用于第二特征图fm_2以非线性化第二特征图fm_2。在实施方式中，第二激活层524a对第二特征图fm_2应用其中第二特征图fm_2的像素值当中的正像素值被不改变地输出并且负像素值被输出为零的relu函数，使得非线性特性可以被赋予到第二特征图fm_2。
67.如上所述，根据本公开，通过经由第一组卷积块510a和第二组卷积块520a对输入特征图imf执行组卷积，与常规cnn相比，可以减少参数的数量和计算量并且可以训练针对每个组的具有高相关性的通道。
68.逐点卷积块530a使用具有1
×
1的大小的逐点卷积过滤器对第二特征图fm_2执行逐点卷积以生成第三特征图fm_3。与第一组卷积块510a和第二组卷积块520a不同，逐点卷积块530a不处置空间特性并且仅在通道之间执行操作。因此，逐点卷积块530a使用具有1
×
1的固定大小的逐点卷积过滤器，因而输出特征图的大小不改变并且仅调整通道的数量。
69.如上所述，根据本公开，通过组合第一组卷积块510a和第二组卷积块520a以及逐点卷积块530a，与常规卷积运算相比，可以减少计算量。
70.运算单元540a计算第三特征图fm_3与输入特征图ifm之和以生成第四特征图fm_4。在本公开中，为何通过运算单元540a计算第三特征图fm_3和输入特征图ifm之和的原因是防止使得特征在cnn中的深度增加时变得模糊的消失问题，并且同时通过允许对输入特征图ifm和第三特征图fm_3之间的差异进行训练来简化要训练的事项。
71.输出激活层550a将激活函数应用于从运算单元540a输出的第四特征图fm_4以使第四特征图fm_4非线性化并生成第一残差特征图rfm_1。在实施方式中，输出激活层550a对第四特征图fm_4应用其中第四特征图fm_4的像素值当中的正像素值被不改变地输出并且负像素值被输出为零的relu函数，使得非线性特性可以被赋予到第四特征图fm_4。
72.再次参照图4，第一连结层410将输入特征图ifm和第一残差特征图rfm_1连结，并且将经连结的特征图输入到第一尺寸缩减层420。例如，当输入特征图ifm具有64个通道并且第一残差特征图rfm_1具有64个通道时，第一连结层410将输入特征图ifm和第一残差特征图rfm_1连结，以生成128个通道的连结结果，并将所生成的连结结果输入到第一尺寸缩减层420。
73.第一尺寸缩减层420将由第一连结层410生成的连结结果的尺寸缩减到与输入特征图ifm相同的尺寸以生成第一尺寸缩减特征图drfm_1。在实施方式中，第一尺寸缩减层420使用具有1
×
1的大小和与输入特征图ifm相同数量的通道的尺寸缩减卷积过滤器对连结结果执行卷积运算，以生成第一尺寸缩减特征图drfm_1。例如，当由第一连结层410生成的连结结果具有128个通道时，第一尺寸缩减层420将尺寸缩减卷积过滤器应用于连结结果，以将连结结果的尺寸缩减到64个通道。
74.第二残差块430对从第一尺寸缩减层420输入的第一尺寸缩减特征图drfm_1依次
执行使用第三类型卷积过滤器的组卷积运算和使用第二类型卷积过滤器的逐点卷积运算，并且基于运算的结果执行残差运算以生成第二残差特征图rfm_2。在实施方式中，第三类型卷积过滤器可以是其中垂直感受野的大小等于水平感受野的大小的过滤器。
75.与第一残差块400不同，根据本公开的第二残差块430使用其中垂直感受野的大小等于水平感受野的大小的第三类型卷积过滤器。这是因为当重复使用其中垂直感受野的大小小于水平感受野的大小的过滤器时，cnn 130的性能可能会降低。
76.然而，在根据本公开的第二残差块430中，即使当使用其中垂直感受野的大小等于水平感受野的大小的过滤器时，在执行卷积运算时仅执行水平填充(padding)而不执行垂直填充以最小化线存储器的数量的增加，因而每当特征图通过第三类型卷积过滤器时，特征图的大小可以在垂直方向上减小。
77.在下文中，将参照图5b更详细地描述根据本公开的第二残差块。图5b是例示根据本公开的实施方式的第二残差块的配置的框图。如图5b所示，根据本公开的实施方式的第二残差块430包括第一组卷积块510b、第二组卷积块520b、逐点卷积块530b、运算单元540b和输出激活层550b。
78.在图5b中，为了便于描述，第一组卷积块510b和第二组卷积块520b被例示为使用具有3
×
3的大小的第三类型卷积过滤器，但是具有垂直感受野的大小等于水平感受野的大小的过滤器足以作为第三类型卷积过滤器，因而第三类型卷积过滤器可以具有除3
×
3的大小之外的任何大小。
79.第一组卷积块510b对第一尺寸缩减特征图drfm_1执行组卷积运算并且包括第一卷积层512b和第一激活层514b。
80.第一卷积层512b使用具有3
×
3的大小的第三类型卷积过滤器对第一尺寸缩减特征图drfm_1执行组卷积以生成第五特征图fm_5，并且第一激活层514b将激活函数应用于第五特征图fm_5以非线性化第五特征图fm_5。在此情况下，当执行组卷积时，第一卷积层512b仅执行水平填充而不执行垂直填充。
81.在实施方式中，如图5b所示，第一激活层514b对第五特征图fm_5应用其中第五特征图fm_5的像素值当中的正像素值被不改变地输出并且负像素值被输出为零的relu函数，使得非线性特性可以被赋予到第五特征图fm_5。
82.第二组卷积块520b对由第一组卷积块510b生成的第五特征图fm_5执行组卷积运算并且包括第二卷积层522b和第二激活层524b。
83.第二卷积层522b使用具有3
×
3的大小的第三类型卷积过滤器对第五特征图fm_5执行组卷积以生成第六特征图fm_6，并且第二激活层524b将激活函数应用于第六特征图fm_6以非线性化第六特征图fm_6。在这种情况下，当执行组卷积时，第二卷积层522b仅执行水平填充而不执行垂直填充。
84.在实施方式中，第二激活层524b对第六特征图fm_6应用其中第六特征图fm_6的像素值当中的正像素值被不改变地输出并且负像素值被输出为零的relu函数，使得非线性特性可以被赋予到第六特征图fm_6。
85.如上所述，根据本公开，通过经由第一组卷积块510b和第二组卷积块520b对第一尺寸缩减特征图drfm_1执行组卷积，与常规cnn相比，可以减少参数的数量和计算量并且可以训练针对每个组的具有高相关性的通道。
86.逐点卷积块530b使用具有1
×
1的大小的逐点卷积过滤器对第六特征图fm_6执行逐点卷积以生成第七特征图fm_7。与第一组卷积块510b和第二组卷积块520b不同，逐点卷积块530b不处置空间特性并且仅在通道之间执行操作。因此，逐点卷积块530b使用具有1
×
1的固定大小的逐点卷积过滤器，因而输出特征图的大小不改变并且仅调整通道的数量。
87.如上所述，根据本公开，通过组合第一组卷积块510b和第二组卷积块520b以及逐点卷积块530b，与常规卷积运算相比，可以减少计算量。
88.运算单元540b计算第七特征图fm_7与第一尺寸缩减特征图drfm_之和以生成第八特征图fm_8。在本公开中，为何通过运算单元540b计算第七特征图fm_7和第一尺寸缩减特征图drfm_1之和的原因是防止使得特征在cnn中的深度增加时变得模糊的消失问题，并且同时通过允许对第七特征图fm_7与第一尺寸缩减特征图drfm_1之间的差异进行训练来简化要训练的事项。
89.输出激活层550b对从运算单元540b输出的第八特征图fm_8应用激活函数以使第八特征图fm_8非线性化并生成第二残差特征图rfm_2。在实施方式中，输出激活层550b对第八特征图fm_8应用其中第八特征图fm_8的像素值当中的正像素值被不改变地输出并且负像素值被输出为零的relu函数，使得非线性特性可以被赋予到第八特征图fm_8。
90.在上述实施方式中，第一残差块400和第二残差块430被描述为使用relu函数作为用于将非线性特性赋予到特征图的激活函数，但这仅是示例性的，并且第一残差块400和第二残差块430可以使用除了relu函数之外的另一激活函数将非线性特性特征赋予到特征图。
91.再次参照图4，第二连结层440将输入特征图ifm、第一残差特征图rfm_1和第二残差特征图rfm_2连结，并且将经连结的特征图输入到第二尺寸缩减层450。例如，当输入特征图ifm具有64个通道时，第一残差特征图rmf_1具有64个通道，并且第二残差特征图rfm_2具有64个通道，第二连结层440将输入特征图ifm、第一残差特征图rfm_1和第二残差特征图rfm_2连结以生成192个通道的连结结果，并将所生成的连结结果输入到第二尺寸缩减层450。
92.第二尺寸缩减层450将由第二连结层440生成的连结结果的尺寸缩减到与输入特征图ifm相同的尺寸以生成输出特征图ofm。在实施方式中，第二尺寸缩减层450使用具有1
×
1的大小和与输入特征mifm相同数量的通道的尺寸缩减卷积过滤器对连结结果执行卷积运算以生成输出特征图ofm。例如，当由第二连结层440生成的连结结果具有192个通道时，第二尺寸缩减层450将尺寸缩减卷积过滤器应用于连结结果，以将连结结果的尺寸缩减到64个通道。
93.此外，根据本公开的升级装置100还可以包括多个线存储器350a至350d，每个线存储器设置在级联块320a至320c的输入端和输出端中的至少一个处，如图3所示。线存储器350a至350d中的每一个可以存储输入到级联块320a至320c中的每一个的特征图和从级联块320a至320c中的每一个输出的特征图中的至少一个。
94.例如，输入到第一级联块320a的特征图以线路为单位存储在第一线存储器350a中，从第一级联块320a输出的特征图被存储在第二线存储器350b中，从第二级联块320b输出的特征图被存储在第三线存储器350c中，并且从第三级联块320c输出的特征图被存储在第四线存储器350d中。
95.在此情况下，如上所述，级联块320a至320c中的每一个在执行卷积运算时使用具有1
×
5的大小的第一类型卷积过滤器以减小特征图在垂直方向上的大小，因而可以减少线存储器350a至350d的数量，并且当执行使用具有3
×
3的大小的第三类型卷积过滤器的卷积运算时级联块320a至320c中的每一个不执行垂直填充，因而可以最小化线存储器350a至350d的数量的增加。
96.再次参照图3，升级块330升级从第三级联块320c输出的输出特征图ofm。在下文中，将参照图6详细描述根据本公开的升级块。
97.图6是例示根据本公开的实施方式的升级块的配置的框图。如图6所示，根据本公开的升级块330可以包括第一升级块610和第二升级块620。
98.第一升级块610对输出特征图ofm执行使用第一类型卷积过滤器的卷积运算和第一置乱操作(shuffle operation)，以将输出特征图ofm升级因数p。在实施方式中，如图6所示，第一置乱操作可以是能够通过因数二对输出特征图ofm进行升级的像素置乱操作，并且输出特征图ofm通过第一置乱操作被升级以二的因数。
99.具体地，第一升级块610通过第一升级卷积层612将输出特征图ofm的数量增加到p的平方，并且通过经由第一置乱层614将包括在p平方的输出特征图ofm中的像素布置在通过p因数升级的特征图中来执行升级。
100.例如，当p是2时，第一升级块610可以通过第一升级卷积层612将输出特征图ofm的数量增加到四个，其是p的平方，并且通过经由第一置乱层614将四个输出特征图ofm当中的第一输出特征图的位置(1，1)处的像素布置为要输出的特征图的位置(1，1)处的像素、将第二输出特征图的位置(1，1)处的像素布置为要输出的特征图的位置(1，2)处的像素、将第三输出特征图的位置(1，1)处的像素布置为要输出的特征图的位置(2，1)处的像素、并且将第四输出特征图的位置(1，1)处的像素布置为要输出的特征图的位置(2，2)处的像素来执行升级。
101.第二升级块620对输出特征图ofm执行使用第一类型卷积过滤器的卷积运算和第二置乱操作，以将输出特征图ofm升级因数q。在实施方式中，如图6中所示，第二置乱操作可以是能够将输出特征图ofm升级以因数三的像素置乱操作，因此输出特征图ofm被升级以因数三。
102.具体地，第二升级块620通过第二升级卷积层622将输出特征图ofm的数量增加至q的平方，并且通过经由第二置乱层624将包括在q平方的输出特征图ofm中的像素布置在通过q因数升级的特征图中来执行升级。
103.例如，当q是3时，第二升级块620可以通过第二升级卷积层622将输出特征图ofm的数量增加到九个，其是q的平方，并且通过经由第二置乱层624将九个输出特征图ofm当中的第一输出特征图的位置(1，1)处的像素布置为要输出的特征图的位置(1，1)处的像素、将第二输出特征图的位置(1，1)处的像素布置为要输出的特征图的位置(1，2)处的像素、并且将第三输出特征图的位置(1，1)处的像素布置为要输出的特征图的位置(1，3)处的像素来执行升级。
104.此外，第二升级块620可以通过经由第二置乱层624将第四输出特征图的位置(1，1)处的像素布置为要输出的特征图的位置(2，1)处的像素、将第五输出特征图的位置(1，1)处的像素布置为要输出的特征图的位置(2，2)处的像素、并且将第六输出特征图的位置(1，
1)处的像素布置为要输出的特征图的位置(2，3)处的像素来执行升级。
105.此外，第二升级块620可以通过经由第二置乱层624将第七输出特征图的位置(1，1)处的像素布置为要输出的特征图的位置(3，1)处的像素、将第八输出特征图的位置(1，1)处的像素布置为要输出的特征图的位置(3，2)处的像素、并且将第九输出特征图的位置(1，1)处的像素布置为要输出的特征图的位置(3，3)处的像素来执行升级。
106.在图6中，升级块330被描述为包括第一升级块610和第二升级块620，但是根据本公开的升级块330还可以包括第三升级块630，该第三升级块630通过串联连接多个升级块来将输出特征图升级以因数r，多个升级块中的每个包括第一升级块610和第二升级块620中的至少一个。
107.例如，当第三升级块630将输出特征图ofm升级以四的因数时，第三升级块630对输出特征图ofm连续地执行使用第一类型卷积过滤器的卷积运算和第二置乱操作两次，以将输出特征图ofm升级以因数四，如图7所示。
108.再次参照图3，输出卷积层340对经升级的输出特征图ofm_us执行使用预定的输出卷积过滤器执行卷积运算，以减少经升级的输出特征图ofm_us的通道的数量。因此，生成具有与输入切片图像的通道相同数量的通道的输出切片图像220a至220n。
109.在实施方式中，输出卷积过滤器可以是具有正方形大小的卷积过滤器。例如，输出卷积过滤器可以是大小为3
×
3的卷积过滤器，如图3所示。
110.根据上述实施方式，当经升级的输出特征图ofm_us由j个通道组成并且输出卷积过滤器由i个通道组成时，输出切片图像220a至220n由i个通道组成。例如，当经升级的输出特征图ofm_us由64个通道组成并且输出卷积过滤器由三个通道组成时，由输出卷积层340生成具有三个通道的输出切片图像220a至220n。
111.再次参照图1，当从卷积运算单元120输出分别对应于输入切片图像210a至210n的输出切片图像220a至220n时，图像连结单元140依次连结输出切片图像220a至220n以生成hr输出图像220。例如，如图2所示，图像连结单元140依次连结从卷积运算单元120输出的多个输出切片图像220a至220n以生成hr输出图像220。
112.训练单元150使用预定的训练图像训练cnn 130以优化构成cnn 130的每一层的卷积过滤器的参数。在这种情况下，训练单元150可以使用大小为k
×
k的图像补丁(patch)作为训练图像。
113.在实施方式中，当训练单元150训练cnn 130时，训练单元150可以使用两个损失函数，即，作为第一损失函数的l
pixel
和作为第二损失函数的l
relation
，如下面的式1中所述，并且训练cnn 130以便减少基于训练图像获取的输出图像与和训练图像对应的hr原始图像之间的差异。
114.[式1]
[0115]
l
total
＝l
pixel
λ
×
l
relation
[0116]
在式1中，l
pixel
表示其中基于训练图像获取的输出图像和与训练图像对应的hr原始图像以像素为单位进行比较从而使得cnn 130被训练以减小其间的差异的损失函数，并且可以使用下面的式2中描述的smoothl1函数。
[0117]
[式2]
[0118][0119]
在式2中，x表示hr原始图像与输出图像之间的像素值差。在式2中描述的损失函数中，hr原始图像与输出图像之间的像素值的差小于一的区域(即，具有少量错误的区域)是曲线，而其它区域是直线。因此，当错误的数量较小时，损失值迅速降低。
[0120]
如上所述，在本公开中，smoothl1函数被用作第一损失函数，并且因此cnn 130中的延迟可以被最小化。
[0121]
此外，在式1中，l
relarion
表示针对其训练cnn 130以便减小hr原始图像的像素之间的第一相似度和基于训练图像从卷积网络输出的hr输出图像的像素之间的第二相似度之间的差异的损失函数，并且可以如下面的式3中定义。
[0122]
[式3]
[0123][0124]
在式3中，表示hr原始图像中包括的像素之间的第一相似度并且如下面的式4中定义，并且表示基于训练图像从cnn 130输出的hr输出图像的像素之间的第二相似度并且如下面的式5中定义。
[0125]
[式4]
[0126][0127]
[式5]
[0128][0129]
在式4和式5中，c(x
hr
)和c(x
sr
)表示归一化因数，i表示每个图像中的特定像素，并且j表示每个图像中的所有可能的像素。
[0130]
此外，在式1中，在第二损失函数中反映的权重λ被设置为小于稳定图像表达的值的值，并且因此可以允许第二损失函数的反射比大于第一损失函数的反射比。
[0131]
如上所述，根据本公开，cnn 130可以被训练以便通过附加地使用第二损失函数来减少从hr原始图像获得的第一相似度和从hr输出图像获得的第二相似度之间的差异，并且因此可以在没有单独的附加模块的情况下最小化性能劣化。
[0132]
图8a和图8b是例示根据本公开被转换为具有高分辨率的输出图像与hr原始图像和由另一算法转换的输出图像的比较的示例图。如图8a和图8b所示，可以看出，与使用作为另一算法的双三次插值的方法相比，根据本公开的方法具有优异的图像质量。
[0133]
上文所描述的升级装置100可以应用于显示装置。在这种情况下，升级装置100可以包括在显示装置的定时控制器中，或者可以与定时控制器一起安装在其中安装有定时控制器的板上。
[0134]
在下文中，将参照图9描述根据本公开的基于切片图像的升级分辨率的方法。
[0135]
图9是例示根据本公开的实施方式的基于切片图像升级分辨率的方法的流程图。
图9所示的基于切片图像升级分辨率的方法可以由在图1所示的升级装置执行。
[0136]
首先，升级装置划分lr输入图像以获取多个输入切片图像(s900)。在实施方式中，升级装置可以将lr输入图像划分成水平线(例如，15条水平线)的单元，以获取由多条水平线组成的输入切片图像。
[0137]
如上所述，根据本公开，由于切片图像被用作输入图像，所以可以用线存储器替换帧存储器，由此使得更容易使cnn轻量化并且更容易实现soc。
[0138]
此后，升级装置使用包括在cnn中的级联块中的至少一个生成输出特征图(s910)。具体地，升级装置从输入切片图像获取输入特征图，并且使用具有预定大小的卷积过滤器对所获取的输入特征图执行卷积运算和残差运算，以生成输出特征图。
[0139]
将参照图10更详细地描述根据本公开的由升级装置执行的使用级联块生成输出特征图的方法。
[0140]
图10是例示根据本公开的由升级装置执行的使用级联块生成输出特征图的方法的流程图。
[0141]
首先，升级装置对输入特征图执行使用第一类型卷积过滤器的第一组卷积运算(s1010)。在实施方式中，第一类型卷积过滤器可以是其中垂直感受野的大小小于水平感受野的大小的过滤器。例如，第一类型卷积过滤器可以是大小为1
×
5的过滤器。
[0142]
升级装置为何在升级装置执行第一组卷积运算时使用其中垂直感受野的大小小于水平感受野的大小的第一类型卷积过滤器的原因是为了每当特征图通过第一类型卷积过滤器时通过减小垂直感受野的大小来减小特征图在垂直方向上的大小，使得用于存储特征图所需的线存储器的数量减少。
[0143]
在实施方式中，升级装置可以多次重复地执行第一组卷积运算，并且可以在执行每次第一组卷积之后使用诸如relu函数之类的激活函数来非线性化组卷积运算的结果。
[0144]
此后，升级装置对第一组卷积运算的结果执行使用具有正方形大小的第二类型卷积过滤器的逐点卷积运算(s1020)。在实施方式中，第二类型卷积过滤器可以是具有正方形大小的过滤器，其中垂直感受野的大小等于水平感受野的大小。例如，第二类型卷积过滤器可以是大小为1
×
1的过滤器。
[0145]
此后，升级装置计算在s1020中获取的逐点卷积运算的结果与输入特征图之和以生成第一残差特征图(s1030)。如上所述，通过计算逐点卷积运算的结果与输入特征图之和，可以防止其中特征随着cnn的深度增加而变得模糊的消失问题。
[0146]
此后，升级装置将输入特征图和第一残差特征图连结(s1040)，然后将连结的结果的尺寸缩减到与输入特征图相同的尺寸以生成第一尺寸缩减特征图(s1050)。
[0147]
此后，升级装置对第一尺寸缩减特征图执行使用第三类型卷积过滤器的第二组卷积运算(s1060)。在实施方式中，第三类型卷积过滤器可以是其中垂直感受野的大小等于水平感受野的大小的过滤器。例如，第三类型卷积过滤器可以是大小为3
×
3的过滤器。
[0148]
在本公开中，当执行第二组卷积运算时，使用其中垂直感受野的大小等于水平感受野的大小的第三类型卷积过滤器。这是因为当其中垂直感受野的大小小于水平感受野的大小的过滤器被重复使用时，cnn的性能可能会降低。
[0149]
然而，在本公开中，即使使用其中垂直感受野的大小等于水平感受野的大小的过滤器时，当执行第二组卷积运算时仅执行水平填充而不执行垂直填充以最小化线存储器的
数量的增加，并且因此每当特征图通过第三类型卷积过滤器时，可以在垂直方向上减小特征图的大小。
[0150]
此后，升级装置使用第二类型卷积过滤器执行逐点卷积运算(s1070)，并计算在s1070中获取的逐点卷积运算的结果与第一尺寸缩减特征图之和，以生成第二残差特征图(s1080)。
[0151]
此后，升级装置将输入特征图、第一残差特征图和第二残差特征图连结(s1090)，并将连结的结果的尺寸缩减到与输入特征图相同的尺寸以生成输出特征图(s1110)。
[0152]
此外，在上述实施方式中，当cnn包括第一级联块至第三级联块时，第一级联块对从输入切片图像获取的输入特征图执行卷积运算和残差运算以生成第一输出特征图，第二级联块对第一输出特征图执行卷积运算和残差运算以生成第二输出特征图，并且第三级联块对第二输出特征图执行卷积运算和残差运算以生成最终的输出特征图。
[0153]
再次参照图9，升级装置将在s910中生成的输出特征图升级以预定倍数的因数，以生成hr输出切片图像(s920)。
[0154]
在实施方式中，升级装置可以对输出特征图依次执行使用第一类型卷积过滤器的卷积运算和置乱操作，以按预定倍数的因数升级输出特征图。第一类型卷积过滤器具有小于水平感受野的大小的垂直感受野的大小。
[0155]
例如，当需要按因数p进行升级时，升级装置可以通过使用第一类型卷积过滤器的卷积运算将输出特征图的数量增加到p的平方，并且通过经由置乱操作将包括在p的平方的输出特征图中的像素布置在经升级的特征图中来执行升级。
[0156]
此后，升级装置依次连结与输入切片图像相对应的输出切片图像以生成hr输出图像(s930)。
[0157]
此外，尽管在图9中未示出，根据本公开的基于切片图像升级分辨率的方法还可以包括使用预定的训练图像训练cnn的过程。
[0158]
在这种情况下，可以使用由上述式1至式4定义的损失函数来训练cnn，以便减小基于训练图像获取的输出图像与对应于训练图像的hr原始图像之间的差异。由于已经在上面描述的式1至式4中详细描述了损失函数的内容，所以将省略其详细描述。
[0159]
根据本公开，由于lr输入图像被划分成多个输入切片图像，并且经划分的输入切片图像被升级并且然后被级联以获取hr输出图像，因此能够在没有帧存储器的情况下仅利用线存储器来实现系统，并且因此，能够使卷积网络轻量化，使得能够容易地实现soc。
[0160]
此外，根据本公开，由于残差块使用其中垂直感受野的大小小于水平感受野的大小的卷积过滤器执行卷积运算，能够减小垂直感受野的大小。因此，能够减少用于实现系统所需的线存储器的数量，使得能够最大化卷积网络的重量的减少。
[0161]
此外，根据本公开，当残差块中的卷积层使用具有3
×
3的大小的卷积过滤器时，不执行垂直填充，使得能够减少随着更多通过卷积层而增加的线存储器的数量。
[0162]
此外，根据本公开，当卷积网络被训练时，smoothl1函数被用作损失函数，使得能够最小化网络延迟，并且能够通过附加地使用被定义为hr原始图像中包括的像素之间的第一相似度与从卷积网络输出的hr输出图像中包括的像素之间的第二相似度之间的第二相似度之间的差异的相似度损失函数来在没有附加的单独模块的情况下改善卷积网络的性能。
[0163]
本领域技术人员应理解，本公开可以在不改变本公开的技术构思和实质特征的情况下以其它特定形式实施。
[0164]
本文描述的所有公开的方法和过程可以至少部分地使用一个或多个计算机程序或组件来实现。这些组件可以通过任何常规的计算机可读介质或机器可读介质被提供为一系列计算机指令，计算机可读介质或机器可读介质包括易失性和非易失性存储器，诸如随机存取存储器(ram)、只读存储器(rom)、闪存、磁盘或光盘、光学存储器或其他储存介质。指令可以作为软件或固件来提供，并且可以全部或部分地以诸如专用集成电路(asic)、现场可编程门阵列(fpga)、数字信号处理器(dsp)或任何其它类似装置之类的硬件配置来实现。指令可以被配置为由一个或更多个处理器或其它硬件配置执行，并且当执行一系列计算机指令时，处理器或其它硬件配置被允许执行本文公开的方法和过程的全部或一部分。
[0165]
因此，上述实施方式应当被理解为是示例性的而不是在每个方面进行限制。本公开的范围将由所附权利要求而不是以上详细描述来限定，并且从权利要求及其等同物的含义和范围中推导出的所有改变和修改应当被理解为包括在本公开的范围内。
[0166]
相关申请的交叉引用
[0167]
本技术要求于2020年3月30日递交的韩国专利申请no.10
‑
2020
‑
0038173的权益，其通过引用合并预测，如同在本文中完全阐述一样。