相机装置以及相机装置的图像生成方法与流程

1.本发明涉及相机装置以及相机装置的图像生成方法，并且更具体地，涉及用于使用深度学习算法基于高分辨率图像以各种倍率生成图像的技术。


背景技术：

2.随着相机装置的技术进步和小型化变得可能，小型相机装置正被应用于和用在诸如智能电话、移动电话、pda等的各种it装置中。相机装置使用诸如ccd或cmos的图像传感器作为主要部件来制造，并且被制造成使得能够进行对焦调整以调整图像的尺寸。
3.这样的相机装置被配置成包括多个透镜和致动器，并且相对于被摄体的对象可以以这样的方式被拍摄：当致动器移动每个透镜以改变相对距离时，光学焦距被调整。
4.具体地，相机装置包括：图像传感器，其将从外部接收的光信号转换为电信号；透镜，其将光聚焦到图像传感器上；红外(ir)滤波器；容纳它们的壳体；以及处理图像传感器信号的印刷电路板等，并且致动器通过诸如音圈马达(vcm)致动器或微机电系统(mems)致动器的致动器来调整透镜的焦距。
5.同时，随着技术的进步和使得能够实现高分辨率图像，对能够实现远处对象的高分辨率图像的技术的需求也在增加。
6.通常，相机配备有变焦功能以拍摄远处对象的照片，变焦功能主要分为光学变焦和数字变焦方法，在光学变焦中，相机内的实际透镜移动以放大被摄体，在数字变焦方法中，通过使用数字处理方法放大被拍摄对象的图像数据的一部分来实现变焦效果。
7.在通过使用透镜移动来获得被摄体的图像的光学变焦的情况下，可以获得具有相对高分辨率的图像，但是存在的问题是相机的内部结构复杂，并且由于增加了部件而成本增加。另外，对其中可以通过使用光学变焦放大被摄体的区域存在限制，并且对于这部分，正在开发利用软件校正的技术。
8.除了这些方法之外，还存在通过移动相机内的部件生成更多像素信息来实现高分辨率图像的技术，例如利用音圈马达(vcm)或微机电系统(mems)技术来摇动传感器的传感器移位技术、通过利用vcm等摇动透镜来获得像素信息的光学图像稳定器(ois)技术、以及在传感器与透镜之间摇动滤波器的技术等。
9.然而，这些技术的缺点在于，当拍摄移动对象时，可能发生诸如运动模糊或伪像的现象，因为它们合成了几个视差的数据，这导致降低图像质量的问题。
10.另外，存在的问题是，当将用于实现这一点的复杂装置插入至相机中时，相机装置的尺寸增大，难以在安装相机的车辆中使用，因为其是通过摇动部件来实现的，并且只能在静止环境中使用。
11.另一方面，作为使用通常在tv中使用的软件算法的高分辨率实现技术，存在诸如单帧超分辨率(sr)或多帧超分辨率(sr)等的技术。
12.在这些技术的情况下，不存在伪像问题，但是这是一种难以应用于可以应用诸如移动设备、车辆、iot等的小型相机装置的装置的算法，并且另外，存在难以实现除非安装单
独的图像处理器以实现这样的技术的问题。
13.另外，在数字变焦的情况下，由于通过简单地放大较少放大的图像的一部分来生成图像，所以像素的实际数目随着倍率的增加而减少，导致性能的劣化。因此，为了解决该问题。尽管针对智能电话相机正在进行使用光学系统的变焦开发，但是存在由于增加包括透镜的部件而导致尺寸增加和价格增加的问题。
14.另外，在现有技术的小型相机的使用光学系统进行变焦的情况下，与常规的数字相机不同，由于透镜不是连续移动的，因此除特定固定倍率之外不能使用透镜生成图像，因此对于这样的区域，通过利用软件进行处理来生成变焦图像。然而，由于这也是基于多相机实现的，因此价格增加，并且需要附加的软件来将由多个相机拍摄的多个图像合成为单个图像。
15.然而，由于能够执行这样的合成算法的软件需要处理大量的数据，因此存在即使在最新的应用处理器(ap)中也难以实时处理的问题。因此，在移动图片环境中，必须使用通常的数字变焦，这不可避免地只能获取具有较差分辨率的图像。


技术实现要素：

16.[技术主题]
[0017]
因此，本发明是为了解决如上所述的现有技术的问题而设计的发明，并且要提供能够从低分辨率图像生成高分辨率图像而不引起诸如运动模糊或伪像的问题的相机装置和相机装置的图像生成方法，以及包括相机装置的移动终端装置。
[0018]
具体地，目的是提供能够通过将应用了基于深度学习技术的高分辨率实现算法的芯片安装在相机装置或以运行中(on the fly)形式配备有相机装置的移动终端装置上来更高效地生成高分辨率图像的相机装置和相机装置的图像生成方法以及包括相机装置的移动终端装置。
[0019]
另外，目的是在由于相机装置的特性而只能针对特定倍率生成图像的情况下，通过提供针对不能生成的倍率的图像使用深度学习而生成的图像，来提供能够提供基本连续的变焦倍率的图像的相机装置和相机装置的图像生成方法。
[0020]
[技术方案]
[0021]
一种根据实施方式的相机装置包括：
[0022]
输入单元，其用于从用户接收关于图像的倍率信息；图像传感器，其用于接收光并且生成具有第一分辨率的第一图像；处理器，其用于通过基于第一图像执行深度学习来生成具有第二分辨率的第二图像，第二分辨率高于第一分辨率，其中，处理器可以基于第一图像和第二图像生成与由用户输入的倍率对应的第三图像。
[0023]
处理器可以通过将第二图像叠加在以用户输入的倍率放大的第一图像上来生成第三图像。
[0024]
处理器可以生成具有分辨率值在第一分辨率与第二分辨率之间的第三图像。
[0025]
处理器可以在使用所输入的倍率扩展(up-scaling)第一图像并且使用所输入的倍率缩减(down-scaling)第二图像之后生成第三图像。
[0026]
处理器可以在将第二图像叠加到第一图像的中央之后生成第三图像。
[0027]
处理器可以基于第一图像与第二图像彼此叠加的边界区域以预设范围执行分辨
率的校正。
[0028]
处理器可以通过改变第一分辨率和第二分辨率的混合比率来执行分辨率的校正。
[0029]
处理器可以基于边界区域在第一分辨率进入第二图像的内部时增加第一分辨率的混合比率。
[0030]
处理器可以根据预设算法生成第二图像，以生成具有第二分辨率的图像。
[0031]
根据另一实施方式的一种相机装置的图像生成方法可以包括以下步骤：从用户接收关于图像的倍率信息；使用图像传感器接收光并且生成具有第一分辨率的第一图像；通过基于第一图像执行深度学习来生成具有第二分辨率的第二图像，第二分辨率高于第一分辨率；以及基于第一图像和第二图像生成第三图像，第三图像是由用户输入的倍率的图像。
[0032]
生成第三图像的步骤可以包括通过将第二图像叠加在以用户输入的倍率放大的第一图像上来生成第三图像的步骤。
[0033]
生成第三图像的步骤可以包括生成具有分辨率值在第一分辨率与第二分辨率之间的第三图像的步骤。
[0034]
生成第三图像的步骤可以包括在使用所输入的倍率扩展第一图像并且使用所输入的倍率缩减第二图像之后生成第三图像的步骤。
[0035]
生成第三图像的步骤可以包括在将第二图像叠加到第一图像的中央之后生成第三图像的步骤。
[0036]
方法可以包括基于其中第一图像和第二图像叠加在所生成的第三图像中的边界区域在预设范围内执行分辨率的校正的步骤。
[0037]
执行分辨率的校正的步骤可以通过改变第一分辨率和第二分辨率的混合比率来执行。
[0038]
生成第三图像的步骤可以包括以基于边界区域在第一分辨率进入第二图像的内部时增大第一分辨率的混合比率的方式执行分辨率的校正的步骤。
[0039]
[有利效果]
[0040]
在根据实施方式的相机装置和相机装置的图像生成方法中，由于通过使用应用了能够生成高分辨率图像的算法的处理器来实现高分辨率图像，因此存在的优点在于，可以通过仅使用若干行缓冲器来实现高分辨率图像。
[0041]
另外，由于通过优化网络配置来生成高分辨率图像，所以可以将网络配置实现为具有相对小尺寸的小芯片，并且由于可以以将应用了本技术的芯片安装在相机装置上的方式来实现本技术，所以可以通过将该技术应用于不具有变焦功能的相机装置或仅支持针对特定倍率的固定变焦的相机装置来使用连续变焦功能。
[0042]
另外，即使在仅支持针对特定倍率的光学连续变焦的相机装置中，也可以通过应用该技术来生成不支持的倍率的图像，因此存在可以利用较宽倍率范围中的实际连续变焦功能的效果。
附图说明
[0043]
图1是示出根据实施方式的相机装置的一些部件的框图。
[0044]
图2是示出根据实施方式的图像生成单元的一些部件的图。
[0045]
图3是示出根据实施方式的深度学习训练的过程的图。
[0046]
图4是示出根据另一实施方式的执行深度跑步训练的过程的图。
[0047]
图5是示出输入至应用深度学习算法的处理器的信息以及通过处理器输出的输出信息的图。
[0048]
图6是示出其中通过处理器将具有第一分辨率的第一图像转换为具有第二分辨率的第二图像的状态的图。
[0049]
图7是示出根据实施方式的基于第一图像和第二图像生成第三图像的方法的图。
[0050]
图8是示出根据实施方式的各个图像之间的关系的图。
[0051]
图9是示出根据实施方式的用于第三图像的边界行的校正处理的方法的图。
具体实施方式
[0052]
在本说明书中描述的实施方式和在附图中示出的配置是所公开的发明的优选示例，并且可以存在可以替换在提交本技术时本说明书的实施方式和附图的各种修改。
[0053]
另外，本说明书中使用的术语用于描述实施方式，并且不旨在限制和/或限定所公开的发明。单数表达包括复数表达，除非上下文另有明确指示。
[0054]
在本说明书中，诸如“包括”、“包含”或“具有”的术语旨在表示说明书中描述的特征、数字、步骤、动作、部件、部分或其组合的存在。或者其他特征、数字、步骤、动作、部件、部分或其组合的存在或添加，或者任何其他特征、或数字、步骤、操作、部件、部分或其组合，并且包括诸如本文中使用的“第一”和“第二”的序数。上述术语可以用于描述各种部件，但部件不受术语限制。
[0055]
在下文中，将参照附图详细描述本发明的实施方式，使得本领域普通技术人员可以容易地实现本发明。另外，在附图中，为了清楚地描述本发明，省略了与描述无关的部分。
[0056]
图1是示出根据实施方式的相机装置100的一些部件的框图，图2是示出根据实施方式的图像生成单元200的一些部件的图，以及图3是示出深度学习过程的示例的图。
[0057]
参照图1，根据实施方式的相机装置100包括：图像传感器110，其用于获取外部对象的图像；以及发送单元120，其用于将由图像传感器110获取的图像发送至图像生成单元200，其中，图像生成单元200可以包括：接收单元210，其接收由发送单元120发送的图像并且将图像发送至处理器220；处理器220，其用于通过对从接收单元210接收的图像应用作为深度学习训练的结果得出的算法来生成具有与接收的图像的分辨率不同的分辨率的图像；输出单元230，其接收由处理器220生成的图像并且将图像发送至外部装置等。处理器220可以是使用基于深度学习的算法学习的处理器。
[0058]
具体地，图像传感器110可以包括诸如互补金属氧化物半导体(cmos)或电荷耦合器件(ccd)的图像传感器，图像传感器将通过相机装置的透镜120进入的光转换为电信号。
[0059]
发送单元120可以将由图像传感器110获取的图像发送至图像生成装置200的接收单元210。在图1中，发送单元120和图像传感器110被示为不同的部件，但不限于此，并且图像传感器110可以同时执行稍后将描述的发送单元120的角色。
[0060]
具体地，发送单元120可以从由图像传感器110获取的图像中提取关于拜耳图案(bayer pattern)的信息，并且然后将信息发送至接收单元210。
[0061]
图像生成单元200可以包括：发送单元210，其接收由发送单元120发送的图像并且将图像发送至处理器220；处理器220，其通过对从发送单元210接收的图像使用通过深度学
习训练而生成的算法来生成具有较高分辨率的图像；输出单元230，其接收由处理器220生成的图像并且将图像发送至外部等。
[0062]
具体地，在从接收单元210接收到具有第一分辨率的拜耳图像之后，处理器220使用通过深度学习训练生成的算法来生成具有第二分辨率的拜耳图像，并且然后可以将所生成的第二拜耳图像发送至输出单元230。
[0063]
此处，第二分辨率意指具有分辨率值不同于第一分辨率的分辨率值的分辨率，并且具体地，可以意指高于或低于第一分辨率的分辨率。第二分辨率可以具有的分辨率值可以由用户根据用户的目的自由地设置和改变。
[0064]
因此，尽管图中未示出，但是根据实施方式的相机装置100还可以包括用于接收关于第二分辨率的信息的输入单元，并且通过该输入单元，用户可以将关于期望分辨率的信息输入至相机装置100。
[0065]
例如，如果用户想要获得高分辨率图像，则可以将第二分辨率设置为与第一分辨率具有较大差的分辨率，并且当期望在相对短的时间内获取新图像时，可以将第二分辨率值自由地设置为与第一分辨率的值没有较大差的分辨率。
[0066]
另外，可以通过存储器(未示出)来实现处理器220，在存储器中存储有通过处理器执行的至少一个程序指令。
[0067]
具体地，存储器可以包括诸如sram或dram的易失性存储器。然而，其不限于此，并且在一些情况下，存储器115还可以包括非易失性存储器，例如闪存、只读存储器(rom)、可擦除可编程只读存储器(eprom)、电可擦除可编程只读存储器(eeprom)等。
[0068]
一般的相机装置从图像传感器接收拜耳图案，并且通过应用颜色(颜色插值、颜色内插或去马赛克)的处理来输出图像数据，但是根据实施方式的发送单元120从自图像传感器110接收的图像中提取包括拜耳图案信息的信息，并且可以将所提取的信息发送至外部。
[0069]
此处，拜耳图案可以包括由图像传感器110输出的原始数据，图像传感器110将包括在相机装置100中的光信号转换为电信号。
[0070]
具体地，通过在相机装置100中包括的透镜传输的光信号可以通过能够检测r、g和b颜色的图像传感器中设置的每个像素转换成电信号。
[0071]
如果相机装置100的规格是5百万像素，则可以认为包括了能够检测r、g和b的颜色的包括5百万像素的图像传感器。尽管像素的数目是5百万，但是可以看出，仅检测黑白亮度而不是实际检测每种颜色的单色像素与r、g和b滤波器中的任何一个组合。
[0072]
也就是说，在图像传感器中，r、g和b颜色滤波器以特定图案布置在单色像素单元上，该单色像素单元被布置成与像素的数目一样多。因此，根据用户(即，人)的视觉特性，将r、g和b颜色图案设置成彼此交叉，并且这被称为拜耳图案。
[0073]
通常，拜耳图案具有比图像数据更小的数据量。因此，存在以下优点，即使装置配备有不具有高端处理器的相机装置，装置也可以比图像数据相对更快地发送和接收拜耳图案图像信息，并且基于此，可以将拜耳图案图像转换成具有各种分辨率的图像。
[0074]
例如，由于相机装置安装在车辆上，因此即使在使用具有全双工传输速度为100mbit/s的低压差分信号(lvds)的环境中，相机装置也不需要许多处理器来处理图像，并且因此相机装置不会过载，从而相机装置不会危及驾驶员或使用车辆的驾驶员的安全。
[0075]
另外，由于可以减小由车载通信网络发送的数据的大小，所以即使将相机装置应
用于自主车辆，也可以消除由根据在车辆中设置的多个相机的操作的通信方法、通信速度等引起的问题。
[0076]
另外，在将拜耳图案图像信息发送至接收单元210时，发送单元120从图像传感器110接收拜耳图案格式的帧，并且然后可以发送向下采样到1/n大小之后的信息。
[0077]
具体地，发送单元120可以在通过高斯滤波器等对在下采样之前接收的拜耳图案数据进行平滑之后执行下采样。此后，在基于下采样的图像数据生成帧分组之后，可以将完成的帧分组发送至接收单元210。然而，可以由处理器220而非发送单元120同时执行这些功能。
[0078]
另外，发送单元120可以包括串行器(未示出)，串行器将拜耳图案转换为串行数据以通过诸如低压差分信号(lvds)的串行通信方法来发送拜耳图案信息。
[0079]
到目前为止，已经描述了根据实施方式的相机模块100的一般部件。在下文中，将描述生成被应用于处理器220的算法的方法和特征。
[0080]
应用于根据实施方式的相机装置100的处理器220的算法是用于生成具有比输入图像的分辨率更高的分辨率的图像的算法，并且可以意指通过重复执行深度学习训练而生成的最优算法。
[0081]
深度学习(也称为深度结构化学习)是指与机器学习相关的一组算法，其通过几种非线性变换方法的组合来尝试高级抽象(在大量数据或复杂数据中概括核心内容或功能的任务)。
[0082]
具体地，深度学习以计算机能够理解的形式表达任何学习数据(例如，在图像的情况下，将像素信息表达为列向量等)，并且深度学习是用于大量研究的学习技术(如何形成更好的表示技术以及如何形成学习这些研究的模型)以将这些应用于学习，并且可以包括诸如深度神经网络(dnn)和深度信念网络(dbn)的学习技术。
[0083]
例如，深度学习可以首先识别周围环境并且将当前环境状态发送至处理器。处理器执行与其对应的动作，并且环境再次根据该动作向处理器通知奖励值。并且处理器采取使奖励值最大化的动作。通过该过程，可以重复学习过程。
[0084]
如上所述，在执行深度学习时使用的学习数据可以是通过将具有实际低分辨率的拜耳图像转换为具有高分辨率的拜耳图像而获得的结果，或者可以是通过模拟获得的信息。
[0085]
如果执行模拟处理，则可以通过根据模拟的环境(图像的背景、颜色的类型等)调整模拟处理来更快速地获取数据。在下文中，将参照图3和图4详细描述根据实施方式的生成被应用于处理器220的算法的方法。
[0086]
图3是示出根据实施方式的深度学习训练的过程的图，并且图4是示出根据另一实施方式的执行深度学习训练的过程的图。
[0087]
图3的深度学习是应用了深度神经网络(dnn)算法的深度学习，并且是示出当应用dnn算法时生成具有新分辨率的图像的过程的图。
[0088]
可以将深度神经网络(dnn)指定为：深度神经网络，其中在输入层与输出层之间存在多个隐藏层；卷积神经网络，其形成神经元之间的连接模式，类似于动物的视觉皮层的结构；以及递归神经网络，其随着时间在每个时刻建立神经网络。
[0089]
具体地，dnn通过重复卷积和子采样以减少数据量和失真来对神经网络进行分类。
换言之，dnn通过特征提取和分类输出分类结果，并且主要用于图像分析，并且卷积意指图像滤波。
[0090]
如果参照图3描述由应用了dnn算法的处理器220执行的处理，则处理器220基于从接收单元210接收的具有第一分辨率的拜耳图像10，对期望增大其倍率的区域执行卷积和子采样。
[0091]
增大倍率意指仅放大由图像传感器110获取的图像的特定部分。因此，由于未被用户选择的部分是用户不感兴趣的部分，所以不需要执行增大分辨率的处理，使得仅被用户选择的部分可以经受卷积和子采样处理。
[0092]
子采样是指减小图像尺寸的过程。作为示例，子采样可以使用最大池方法等。最大池是在给定区域中选择最大值的技术，类似于神经元如何响应最大信号。子采样具有降低噪声和提高学习速度的优点。
[0093]
当执行卷积和子采样时，可以输出多个图像20，如图3所示。此后，可以使用扩展方法基于输出图像的来输出具有不同特征的多个图像。扩展方法意指使用r^2个不同滤波器将图像扩展r*r倍。
[0094]
当根据扩展30如图3所示输出多个图像时，处理器220可以基于这些图像重新组合图像，并且最终输出具有第二分辨率的第二拜耳图像40。
[0095]
图4的深度学习是示出以与图3的深度学习的方式不同的方式执行深度学习的方法的图，并且具体地，是用于说明生成由迭代学习形成的算法的过程的图。
[0096]
在根据图4的深度学习的情况下，在接收到具有不同分辨率的第一样本数据x和第二样本数据z之后，可以基于第一样本数据x和第二样本数据z执行深度学习训练。
[0097]
具体地，根据图4的深度学习可以生成这样的算法：基于通过比较和分析使用第一样本数据x作为输入数据执行深度学习训练的输出数据y与第二样本数据z而生成的参数来生成具有较高分辨率的图像。
[0098]
此处，输出数据y是通过实际深度学习输出的数据，并且第二样本数据z是由用户输入的数据，并且可以意指当将第一样本数据x输入至算法时可以最理想地输出的数据。
[0099]
因此，根据图4的算法对作为输出结果的最理想的第二样本数据z与作为实际输出数据的第一输出数据y进行比较和分析，以得出差，并且然后可以以对差进行抵消的方式将反馈给予算法。具体地，在分析影响输出数据的参数之后，通过以下方式来给出反馈：改变或删除参数或者创建新参数，使得在作为理想输出数据的第二样本数据z与作为实际输出数据的第一输出数据y之间不存在差异。
[0100]
例如，如图4所示，假设影响算法的总共有三个层l1、l2和l3，并且在每个层中分别总共有8个参数p11、p12、p13、p21、p22、p31和p32。
[0101]
在这种情况下，如果当沿增加p22参数的值的方向改变参数时，作为实际输出数据的第一输出数据y与作为最理想输出数据的第二样本数据z之间的差增加，则反馈可以沿减小p22参数的方向改变算法。
[0102]
相反，如果当沿增加p33参数的值的方向改变参数时，作为实际输出数据的第一输出数据y与作为最理想输出数据的第二样本数据z之间的差减小，则反馈可以沿增加p33参数的方向改变算法。
[0103]
也就是说，通过该方法，以与作为最理想输出数据的第二样本数据z类似地输出作
为实际输出数据的第一输出数据y的方式应用深度学习算法。
[0104]
并且在这种情况下，第二样本数据z的分辨率可以与第一输出数据y的分辨率相同或比第一输出数据y的分辨率更高，并且第二样本数据z的分辨率可以与第一输出数据y的分辨率相同。
[0105]
通常，为了利用小芯片实现能够深度学习的处理器，应当使深度学习过程和存储器门(gate)的数目最小化，并且此处，对门的数目具有最大影响的因素是算法复杂度和每时钟处理的数据量，并且由处理器处理的数据量取决于输入分辨率。
[0106]
因此，由于根据实施方式的处理器220以在降低输入分辨率以减少门的数目之后执行扩展的方式创建高倍率图像，因此存在可以更快地生成图像的优点。
[0107]
例如，如果需要将具有8mp(百万像素)的输入分辨率的图像进行两次变焦，则通过基于1/4区域(2mp)在水平方向和垂直方向上分别扩展两倍来将其进行两倍变焦。并且将1/4区域(2mp)进行1/4倍缩减之后，使用分辨率为0.5mp的图像作为深度学习的输入数据，并且基于所生成的图像，如果以使宽度和长度分别扩展4倍的方式将所生成的图像进行4倍(4
×
)变焦，则可以生成经2倍变焦的同一区域的变焦图像。
[0108]
因此，在根据实施方式的相机装置100和图像生成方法中，为了防止由于输入分辨率损失而导致的性能劣化，深度学习通过学习与分辨率损失对应的倍率来生成图像，因此存在使性能劣化最小化的优点。
[0109]
另外，用于实现高分辨率图像的基于深度学习的算法通常使用帧缓冲器(frame buffer)，帧缓冲器由于其特性可能难以在通用pc和服务器中实时操作。
[0110]
然而，由于根据实施方式的处理器220应用已经通过深度学习生成的算法，所以处理器220可以容易地应用于低规格相机装置和包括低规格相机装置的各种装置，具体地，在应用该算法时，通过仅使用少数行缓冲器(line buffer)来实现高分辨率，因此还存在可以利用相对小的芯片来实现处理器的效果。
[0111]
图5是示出根据实施方式的处理器220的一些部件的图。
[0112]
参照图5，根据实施方式的处理器可以包括：多个行缓冲器11，其用于接收第一拜耳数据；第一数据对准单元221，其用于生成第一阵列数据，该第一阵列数据用于针对每个波长带布置通过行缓冲器输出的第一拜耳数据；深度学习处理器222，其用于根据预设算法执行深度学习；以及第二数据对转单元223，其用于通过将通过深度学习处理器222输出的第二阵列数据以拜耳图案进行布置来生成第二拜耳数据；以及多个行缓冲器12，其用于输出通过第二数据对准单元223输出的第二拜耳数据。
[0113]
第一拜耳数据是包括先前描述的拜耳图案的信息，并且尽管在图5中描述为拜耳数据，但也可以将其限定为拜耳图像或拜耳图案。
[0114]
另外，在图5中，为了方便起见，将第一数据对准单元221和第二数据对准单元223示为单独的部件，但是它们不限于此，并且深度学习处理器222可以执行由第一数据对准单元221和第二数据对准单元223一起执行的功能。
[0115]
参照图5，可以将由图像传感器110接收的具有第一分辨率的第一拜耳数据中关于由用户选择的区域的图像信息发送至n 1个行缓冲器11a、11b、
……
、11n和11n 1。如先前所述，由于仅针对用户选择的区域生成具有第二分辨率的拜耳图像，所以关于未被用户选择的区域的图像信息不被发送至行缓冲器11。
[0116]
具体地，第一拜耳数据包括多个行数据，并且多个行数据可以通过多个行缓冲器11发送至第一数据对准单元221。
[0117]
例如，如果要由深度学习处理器222执行深度学习的区域是3x3区域，则必须将总共三个行同时发送至第一数据对准单元221或处理器220以执行深度学习。因此，将关于三个行中的第一行的信息发送至第一行缓冲器11a，并且然后存储在第一行缓冲器11a中，并且可以将关于三个行中的第二行的信息发送至第二行缓冲器11b，并且然后存储在第二行缓冲器11b中。
[0118]
此后，在第三行的情况下，由于不存在关于在第三行之后接收的行的信息，所以该信息不存储在行缓冲器11中，并且可以直接发送至处理器220或第一数据对准单元221。
[0119]
此时，由于第一数据对准单元221或处理器220需要同时接收关于三个行的信息，因此也可以将存储在第一行缓冲器11a中的关于第一行的信息和存储在第二行缓冲器11b中的关于第二行的信息同时发送至处理器220或第一图像对准单元219。
[0120]
相反，如果要由深度学习处理器222执行深度学习的区域是(n 1)
×
(n 1)区域，则仅当总共n 1个行被同时发送至第一数据对准单元221或处理器220时，才可以执行深度学习。因此，将关于n 1个行中的第一行的信息发送至第一行缓冲器11a并且然后存储在第一行缓冲器11a中，可以将关于n 1个行中的第二行的信息发送至第二行缓冲器11b并且然后存储在第二行缓冲器11b中，并且可以将关于n 1个行中的第n行的信息发送至第n行缓冲器11n并且然后存储在第n行缓冲器11n中。
[0121]
此后，在第(n 1)行的情况下，由于不存在关于在第(n 1)行之后接收的行的信息，因此该信息不存储在行缓冲器11中，并且可以直接发送至处理器220或第一数据对准单元221，并且如先前所述，此时，第一数据对准单元221或处理器220需要同时接收关于n 1个行的信息。因此，可以将存储在行缓冲器11a至行缓冲器11n中的关于第一行至第n行的信息同时发送至处理器220或第一图像对准单元219。
[0122]
第一图像对准单元219从行缓冲器11接收拜耳数据，并且针对每个波长带布置拜耳数据以生成第一阵列数据，并且然后可以将已经生成的第一阵列数据发送至深度学习处理器222。
[0123]
第一图像对准单元219可以通过将接收到的信息分类成特定波长或红、绿和蓝的特定颜色来生成所布置的第一阵列数据。
[0124]
此后，深度学习处理器222可以通过基于通过第一图像对准单元219接收的第一阵列数据执行深度学习来生成第二阵列数据。
[0125]
具体地，执行深度学习可以意指通过推理或迭代学习来生成算法以生成如先前参照图3和图4描述的最优算法的过程，但是同时，执行由该过程生成的算法也可以被视为执行深度学习。
[0126]
因此，深度学习处理器222可以基于通过第一图像对准单元219接收的第一阵列数据执行深度学习，以生成具有高于第一分辨率的第二分辨率的第二阵列数据。
[0127]
例如，如果如先前所描述的针对3
×
3区域接收到第一阵列数据，那么针对3
×
3区域执行深度学习，并且如果针对(n 1)
×
(n 1)区域接收到第一阵列数据，那么可以针对(n 1)
×
(n 1)区域执行深度学习。
[0128]
此后，将由深度学习处理器222生成的第二阵列数据发送至第二数据对准单元
223，并且第二数据对准单元223可以将第二阵列数据转换成具有拜耳图案的第二拜耳数据。
[0129]
在这之后，通过多个行缓冲器12a将经转换的第二拜耳数据输出至外部，并且可以通过另一处理将输出的第二拜耳数据生成为具有高于第一分辨率的第二分辨率的图像。
[0130]
图6是示出其中通过处理器将具有第一分辨率的第一图像转换为具有第二分辨率的第二图像的状态的图。
[0131]
当用户选择具有第一分辨率的图像10中的特定区域时，处理器220可以针对该区域执行先前描述的深度学习，并且作为其结果，如图6所示，可以生成具有第二分辨率的拜耳图像40。
[0132]
图7是示出根据实施方式的基于第一图像和第二图像生成第三图像的方法的图，并且图8是示出根据实施方式的各个图像之间的像素关系的图。
[0133]
在图7中，第一图像是指在不调整倍率的情况下由图像传感器110拍摄的图像，并且第二图像是指作为由处理器220执行的深度学习的结果而生成的具有第二分辨率的图像。第二图像的分辨率可以根据用户的设置而变化。
[0134]
然而，具有第二分辨率的第二图像由处理器220生成，并且由处理器220执行的算法是用于生成具有特定分辨率的图像的算法，并且通常不能实时改变。
[0135]
例如，如果由处理器220执行的深度学习执行用于生成具有第二分辨率的第二图像的算法，该第二分辨率具有为第一分辨率的三倍的分辨率，则通常，相机装置只能生成具有三倍高的分辨率的图像，而不能生成具有不同分辨率的图像。
[0136]
因此，可以在最优状态下生成倍率为3倍的图像，但是不能在最优状态下生成用于其他倍率的图像，因此在这种情况下，存在连续变焦功能不可避免地劣化的问题。
[0137]
因此，在根据实施方式的相机装置100和相机装置的生成图像的方法中，即使在仅支持针对特定倍率的光学连续变焦的相机装置中，也可以通过应用本技术来生成不支持的倍率的图像。因此，本发明的目的是提供能够在较宽的倍率范围内高效地利用连续变焦功能的相机装置以及相机装置的图像生成方法。
[0138]
返回参照图7，根据实施方式的相机装置110生成由图像传感器110在不调整倍率的情况下拍摄的具有第一分辨率的第一图像以及作为深度学习的结果而生成的具有第二分辨率的第二图像。为了便于说明，将第一图像称为没有扩展的倍率1
×
，将第二图像称为具有倍率4
×
的图像，并且假定第二分辨率是第一分辨率的4倍高。
[0139]
在此之后，如果用户的期望倍率是2
×
图像，则将第一图像进行2
×
放大，然后执行扩展。也就是说，由于倍率的差是2
×
，所以生成具有对应于2
×
的扩展的图像。
[0140]
另一方面，由于第二图像的倍率是4倍并且分辨率也是4倍，所以执行缩减以匹配倍率2
×
。也就是说，由于倍率的差是2倍，所以生成了缩减1/2倍的图像。
[0141]
当根据该处理两个图像的像素变得相同时，通过合成两个图像来生成第三图像，如图7所示。具体地，由于用户对中央部分感兴趣，则可以通过将第二图像叠加到扩展的第一图像的中央来生成第三图像。
[0142]
也就是说，图8是一起示出图7中的三个图像(第一图像(1)、扩展的第一图像(3)和缩减的第二图像(4))的视图，图7中的(1)与图8中的(1)相同，图7中的(3)与图8中的(3)相同，图7中的(4)与图8中的(4)相同。附图中的数字意指像素的数目。
[0143]
在根据相机装置100和相机装置的图像生成方法来合成第三图像的情况下，由于高分辨率图像用于合成用户感兴趣的部分，因此存在这样的优点，即可以以各种倍率生成图像而没有任何特殊的不均匀性感觉。
[0144]
图9是示出根据实施方式的用于第三图像的边界行的校正处理的方法的图。
[0145]
根据图8，当生成第三图像时，可以高效地生成连续倍率的图像，但是在第一图像和第二图像相遇的区域的情况下，分辨率是不同的，并且因此可能出现不均匀性的感觉。也就是说，如图9所示，在区域(6a)或区域(6b)的情况下，可能由于分辨率差异而发生图像不自然的问题。
[0146]
因此，根据实施方式的相机装置100可以通过对边界区域(即，预设范围)执行分辨率校正处理来生成没有不均匀性感觉的更自然的图像。
[0147]
详细来看这一点，在图9中的区域(6a)的情况下，因为它原则上是第二图像区域，所以其为具有第二分辨率的区域，并且对应于其中最可能出现与周围区域的不均匀性感觉的区域。因此，可以对该部分执行分辨率校正，并且具体地，可以通过改变第一分辨率和第二分辨率的混合比率来执行分辨率校正。
[0148]
也就是说，当第一分辨率和第二分辨率的比率在边界区域(6a)和(6b)中混合时，所生成的分辨率具有在第一分辨率与第二分辨率之间的分辨率值，并且因此在两个图像之间不存在突然的分辨率差，从而减少了不均匀性感觉。
[0149]
另外，基于(6a)，在第一分辨率附近的区域中，将第一分辨率的比率提高到高于第二分辨率的比率，并且可以以将第二分辨率的比率提高到高于第一分辨率的比率的方式执行对第二分辨率附近的区域的校正。
[0150]
也就是说，可以以下面方式执行校正：(6a)的最上部分具有最高的第一分辨率比率，并且然后随着校正向下行进而减小第一分辨率比率并且增大第二分辨率比率。在这种情况下，由于分辨率的值是逐渐改变的，所以可以执行更自然的校正。
[0151]
另外，在图9中，将区域(6a)指示为水平区域，因为基于水平线执行一般图像处理。
[0152]
另外，(6a)的范围是可以由用户自由设置的预设范围，并且可以根据行缓冲器的数目来确定。也就是说，当行缓冲器的数目为4时，可以基于4个像素执行校正，如图9所示，并且当行缓冲器的数目为8时，可以基于8个像素执行校正。也就是说，可以根据用户的使用环境和目的将范围(6a)和范围(6b)指定为各种范围。
[0153]
到目前为止，已经通过附图描述了相机装置100和相机装置的图像生成方法。
[0154]
在根据现有技术的数字变焦的情况下，由于通过简单地放大较少放大的图像的一部分来生成图像，所以随着倍率增加，像素的实际数目减少，导致性能劣化。由于使用小型相机的光学系统的变焦也不是连续移动透镜的方法，因此存在不能使用除特定固定倍率之外的透镜生成图像的问题。
[0155]
在根据实施方式的相机装置和相机装置的图像生成方法中，由于通过使用应用了能够生成高分辨率图像的算法的处理器来实现高分辨率图像，因此存在可以通过仅使用若干行缓冲器来实现高分辨率图像的优点。
[0156]
另外，即使在仅支持针对特定倍率的光学连续变焦的相机装置中，也可以通过应用该技术来生成不支持的倍率的图像，因此存在可以利用较宽倍率范围中的实际连续变焦功能的效果。
[0157]
尽管至此已经参照有限的实施方式和附图描述了实施方式，但是本领域技术人员根据以上描述可以进行各种修改和变化。例如，如果以与所描述的方法不同的顺序执行所描述的技术，和/或以与所描述的方法不同的方式组合或结合所描述的系统、结构、装置、电路等的部件，或者即使由其他部件或等同物替代或替换，也可以实现适当的结果。因此，权利要求书的等同物和其他实施方式也落入随后描述的权利要求书的范围内。