用于基于切片图像升级分辨率的装置和方法与流程

技术特征：
1.一种用于基于切片图像来升级分辨率的装置，所述装置包括：卷积运算单元，所述卷积运算单元被配置为使用卷积神经网络将低分辨率的输入切片图像转换为高分辨率的输出切片图像，其中，所述卷积神经网络包括：级联块，所述级联块被配置为对从所述低分辨率的输入切片图像生成的输入特征图执行使用具有预定大小的卷积过滤器的卷积运算和残差运算以生成输出特征图；以及升级块，所述升级块被配置为升级所述输出特征图以生成所述高分辨率的输出切片图像。2.根据权利要求1所述的装置，其中，所述级联块包括:第一残差块，所述第一残差块被配置为对所述输入特征图依次执行使用第一类型卷积过滤器的组卷积运算和使用具有正方形大小的第二类型卷积过滤器的逐点卷积运算并且基于运算的结果执行所述残差运算以生成第一残差特征图，在所述第一类型卷积过滤器中垂直感受野的大小小于水平感受野的大小；以及第一尺寸缩减层，所述第一尺寸缩减层被配置为将所述输入特征图与所述第一残差特征图连结，并且将所述连结的结果的尺寸缩减到与所述输入特征图相同的尺寸以生成第一尺寸缩减特征图。3.根据权利要求2所述的装置，其中，所述第一类型卷积过滤器是大小为1
×
5的过滤器，并且所述第二类型卷积过滤器是大小为1
×
1的过滤器。4.根据权利要求2所述的装置，所述装置还包括：第二残差块，所述第二残差块串联连接到所述第一尺寸缩减层，对所述第一尺寸缩减特征图依次执行使用具有正方形大小的第三类型卷积过滤器的组卷积运算和使用所述第二类型卷积过滤器的逐点卷积运算，并且基于运算的结果执行所述残差运算以生成第二残差特征图；以及第二尺寸缩减层，所述第二尺寸缩减层被配置为将所述输入特征图、所述第一残差特征图和所述第二残差特征图连结，并且将所述连结的结果的尺寸缩减到与所述输入特征图相同的尺寸以生成所述输出特征图。5.根据权利要求4所述的装置，其中，所述第三类型卷积过滤器是大小为3
×
3的过滤器，并且当所述第二残差块使用所述第三类型卷积过滤器执行所述组卷积运算时，所述第二残差块对所述第一尺寸缩减特征图执行水平填充并且不执行垂直填充。6.根据权利要求4所述的装置，其中，所述第一残差块和所述第二残差块重复地执行所述组卷积运算多次，并且使用激活函数对每次通过执行所述组卷积运算获得的结果进行非线性化。7.根据权利要求1所述的装置，其中，所述卷积神经网络包括n个级联块，并且所述n个级联块串联连接，使得第(n
‑
1)个级联块的输出特征图成为第n个级联块的输入特征图。8.根据权利要求7所述的装置，所述装置还包括：线存储器，所述线存储器设置在每个级联块的输入端和输出端中的至少一个处，并且以线为单位存储输入到所述级联块的输入
特征图和从所述级联块输出的输出特征图中的至少一者。9.根据权利要求1所述的装置，其中，所述升级块包括：第一升级块，所述第一升级块被配置为对所述输出特征图执行使用第一类型卷积过滤器的第一卷积运算和第一置乱操作以将所述输出特征图升级以因数p，在所述第一类型卷积过滤器中垂直感受野的大小小于水平感受野的大小；以及第二升级块，所述第二升级块被配置为对所述输出特征图执行使用所述第一类型卷积过滤器的第二卷积操作和第二置乱操作以将所述输出特征图升级以因数q。10.根据权利要求9所述的装置，其中，所述升级块还包括第三升级块，所述第三升级块通过串联连接多个升级块来将所述输出特征图升级以因数r，并且其中，所述多个升级块包括所述第一升级块和所述第二升级块的至少一个。11.根据权利要求1所述的装置，所述装置还包括：图像划分单元，所述图像划分单元被配置为以多条水平线为单位划分低分辨率的输入图像以获取由所述多条水平线组成的多个低分辨率的输入切片图像；以及图像连结单元，所述图像连结单元被配置为将从所述卷积运算单元输出的高分辨率的输出切片图像连结成对应于所述低分辨率的输入切片图像以生成高分辨率的输出图像。12.根据权利要求1所述的装置，所述装置还包括：训练单元，所述训练单元被配置为使用预定的训练图像来训练所述卷积神经网络，其中，所述训练单元将所述卷积神经网络训练成使得包括在相对于所述训练图像的高分辨率的原始图像中的像素之间的第一相似度与包括在基于所述训练图像从所述卷积神经网络输出的高分辨率的输出图像中的像素之间的第二相似度之间的差异减小。13.根据权利要求12所述的装置，其中，所述训练单元使用被定义为式的第一损失函数和被定义为式的第二损失函数来训练所述卷积神经网络，在所述式中，x表示所述高分辨率的原始图像与所述高分辨率的输出图像之间的像素值的差，表示所述第一相似度并且被定义为式表示所述第一相似度并且被定义为式表示第二相似度并且被定义为式c(x
hr
)和c(x
sr
)表示归一化因数，i表示每个图像中的特定像素，并且j表示每个图像中的所有可能的像素。14.一种基于切片图像来升级分辨率的方法，所述方法包括以下步骤：划分低分辨率的输入图像并获取多个低分辨率的输入切片图像；通过卷积神经网络对从所述低分辨率的输入切片图像生成的输入特征图执行使用具有预定大小的卷积过滤器的卷积运算和残差运算并且生成输出特征图；升级所述输出特征图并且生成高分辨率的输出切片图像；以及
依次连结与所述低分辨率的输入切片图像相对应的所述高分辨率的输出切片图像并且生成高分辨率的输出图像。15.根据权利要求14所述的方法，其中，生成所述输出特征图的步骤包括以下步骤：使用第一类型卷积过滤器对所述输入特征图执行第一卷积运算和第一残差运算以生成第一残差特征图，在所述第一类型卷积过滤器中垂直感受野的大小小于水平感受野的大小；使用具有正方形大小的第二类型卷积过滤器对基于所述输入特征图和所述第一残差特征图的连结的结果生成的特征图执行第二卷积运算和第二残差运算以生成第二残差特征图；以及基于所述输入特征图、所述第一残差特征图和所述第二残差特征图的连结的结果生成所述输出特征图。16.根据权利要求15所述的方法，其中，执行所述第一卷积运算和所述第二卷积运算的步骤包括执行至少一次组卷积运算和逐点卷积运算。17.根据权利要求15所述的方法，其中，所述第一类型卷积过滤器是大小为1
×
5的过滤器，并且所述第二类型卷积过滤器是大小为3
×
3的过滤器。18.根据权利要求15所述的方法，其中，执行所述第二卷积运算的步骤包括执行水平填充操作而不执行垂直填充操作。19.根据权利要求14所述的方法，其中，生成所述高分辨率的输出切片图像的步骤包括对所述输出特征图执行使用第一类型卷积过滤器的第三卷积运算和置乱操作以将所述输出特征图升级以预定倍数的因数，并且其中，所述第一类型卷积过滤器具有小于水平感受野的大小的垂直感受野的大小。20.根据权利要求14所述的方法，所述方法还包括以下步骤：使用预定的训练图像来训练所述卷积神经网络，其中，当训练所述卷积神经网络时，使用被定义为式的第一损失函数和被定义为式的第二损失函数来训练所述卷积神经网络，在所述式中，x表示相对于所述训练图像的高分辨率的原始图像与基于所述训练图像从所述卷积神经网络输出的所述高分辨率的输出图像之间的像素值的差，表示包括在所述高分辨率的原始图像中的像素之间的第一相似度并且被定义为式示包括在所述高分辨率的原始图像中的像素之间的第一相似度并且被定义为式表示包括在所述高分辨率的输出图像中的像素之间的第二相似度并且被定义为式c(x
hr
)和c(x
sr
)表示归一化因数，i表示每个图像中的特定像素，并且j表示每个图像中的所有可能的像素。

技术总结
本申请涉及用于基于切片图像升级分辨率的装置和方法。本公开提供了用于基于切片图像升级分辨率的装置，其中将低分辨率图像划分成多个切片图像以使得生成高分辨率的图像。装置包括：卷积运算单元，其被配置为使用卷积神经网络将低分辨率的输入切片图像转换为高分辨率的输出切片图像。卷积神经网络包括：级联块，其被配置为对从低分辨率的输入切片图像生成的输入特征图执行使用具有预定大小的卷积过滤器的卷积运算和残差运算以生成输出特征图；以及升级块，其被配置为升级输出特征图以生成高分辨率的输出切片图像。高分辨率的输出切片图像。高分辨率的输出切片图像。


技术研发人员：宋秉哲 崔东玧 朴志胤
受保护的技术使用者：硅工厂股份有限公司
技术研发日：2021.03.29
技术公布日：2021/10/22