手机的相机拍照系统及其图像生成方法与流程

1.本发明涉及移动终端的成像领域，且更为具体地，涉及一种手机的相机拍照系统及其图像生成方法。


背景技术：

2.随着手机的多摄方案的普及，越来越多的手机同时具有多个不同功能的摄像头，比如彩色摄像头、黑白摄像头、深度摄像头、广角摄像头、超广角摄像头等，相应地，如何融合各种摄像头拍摄的图像从而获得更符合用户需求的图像便成为一个引起关注的问题。
3.在这些技术中，不同视野的摄像头所拍摄的图像之间的融合是常用的图像生成技巧，例如普通摄像头拍摄的图像与广角摄像头拍摄的图像，广角摄像头拍摄的图像与超广角摄像头拍摄的图像等。这些不同视野的摄像头所拍摄的图像具有相同的拍摄对象，但是在拍摄对象的背景方面，视野较大的摄像头所拍摄的图像所拍摄的图像中具有更加丰富的信息，但是视野较小的摄像头所拍摄的图像中具有更细粒度的细节信息，因此如果将两者进行融合，显然可以提高图像的背景部分的图像质量。
4.目前已有一些用于同视野的摄像头所拍摄的图像之间的融合的图像处理手段，但这些技术手段大多聚焦于源图像域空间，也就是，在源图像域进行融合。这些图像融合手段无法充分挖掘出图像中所隐含的特征和信息，导致最终的图像融合效果难以满足用户的需求。
5.因此，需要一种优化的图像融合方案。


技术实现要素：

6.为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种手机的相机拍照系统及其图像生成方法，其在特征空间将具有不同视野的图像的特征图进行融合并利用坐标转换技术来克服图像内容在高维特征空间中的偏移，以使得具有不同视野的图像能够更好地融合，从而提高融合图像的成像效果。
7.根据本技术的一个方面，提供了一种手机的相机拍照系统，其包括：
8.源图像单元，用于分别通过具有第一视野的第一摄像头和具有第二视野的第二摄像头获得第一图像和第二图像，所述第二视野大于所述第一视野；
9.特征图生成单元，用于分别将所述第一图像和所述第二图像通过第一卷积神经网络，以获得对应于所述第一图像的第一特征图和对应于所述第二图像的第二特征图，所述第一特征图和所述第二特征图具有相同的尺度；
10.差分单元，用于计算所述第一特征图和所述第二特征图之间的差分以获得差分特征图；
11.矩阵分解单元，用于对所述差分特征图的每个特征矩阵进行特征值分解以将每个所述特征矩阵分解为本征向量矩阵、对角本征值矩阵和本征向量矩阵的转置的向量乘积，以获得所述差分特征图的每个所述特征矩阵的初始相关坐标矩阵；
12.尺寸转化单元，用于将每个所述初始相关坐标矩阵通过线性插值转化为与所述第一特征图和所述第二特征图中的特征矩阵具有相同的大小，再按照通道排列为与所述第一特征图和所述第二特征图具有相同尺度的坐标转换特征图；
13.高维融合单元，用于以所述坐标转换特征图对所述第一特征图进行坐标转化并与所述第二特征图进行融合，以获得融合特征图；以及
14.图像生成单元，用于将所述融合特征图输入作为生成器的第二卷积神经网络，以获得所述第一图像和所述第二图像的融合图像。
15.在上述手机的相机拍照系统中，所述差分单元，进一步用于计算所述第一特征图和所述第二特征图之间的按像素位置的特征值之差，以获得差分特征图。
16.在上述手机的相机拍照系统中，所述矩阵分解单元，进一步用于对所述差分特征图的每个特征矩阵进行特征值分解以将每个所述特征矩阵分解为本征向量矩阵、对角本征值矩阵和本征向量矩阵的转置的向量乘积，其中，m＝qλq
t
，其中m为所述差分特征图中的每个特征矩阵，λ＝diag(λ1，λ2，...，λ
n
)，λ1≥λ2≥...≥λ
n
，是有序的对角本征值矩阵，且q＝[q1，q2，...，q
n
]是包含相应本征向量作为列的本征向量矩阵。
[0017]
在上述手机的相机拍照系统中，所述矩阵分解单元，进一步用于基于如下公式获得所述差分特征图的每个所述特征矩阵的初始相关坐标矩阵；
[0018]
其中，所述公式为：
[0019]
其中λ2＝diag(λ1，λ2)是最大的两个本征值的对角矩阵，且q2＝[q1，q2]包含q的前两列，符号表示对矩阵λ2的每个位置的值取平方根
[0020]
在上述手机的相机拍照系统中，所述高维融合单元，进一步用于：将所述坐标转换特征图与所述第一特征图进行矩阵相乘后再与所述第二特征图进行相加，以获得所述融合特征图。
[0021]
在上述手机的相机拍照系统中，所述第一卷积神经网络和/或所述第二卷积神经网络为深度残差网络。
[0022]
根据本技术的另一方面，还提供了一种手机的相机拍照系统的图像生成方法，其包括：
[0023]
通过源图像单元分别通过具有第一视野的第一摄像头和具有第二视野的第二摄像头获得第一图像和第二图像，所述第二视野大于所述第一视野；
[0024]
通过特征图生成单元分别将所述第一图像和所述第二图像通过第一卷积神经网络，以获得对应于所述第一图像的第一特征图和对应于所述第二图像的第二特征图，所述第一特征图和所述第二特征图具有相同的尺度；
[0025]
通过差分单元计算所述第一特征图和所述第二特征图之间的差分以获得差分特征图；
[0026]
通过矩阵分解单元对所述差分特征图的每个特征矩阵进行特征值分解以将每个所述特征矩阵分解为本征向量矩阵、对角本征值矩阵和本征向量矩阵的转置的向量乘积，以获得所述差分特征图的每个所述特征矩阵的初始相关坐标矩阵；
[0027]
通过尺寸转化单元将每个所述初始相关坐标矩阵通过线性插值转化为与所述第
一特征图和所述第二特征图中的特征矩阵具有相同的大小，再按照通道排列为与所述第一特征图和所述第二特征图具有相同尺度的坐标转换特征图；
[0028]
通过高维融合单元以所述坐标转换特征图对所述第一特征图进行坐标转化并与所述第二特征图进行融合，以获得融合特征图；以及
[0029]
通过图像生成单元将所述融合特征图输入作为生成器的第二卷积神经网络，以获得所述第一图像和所述第二图像的融合图像。
[0030]
与现有技术相比，根据本技术的所述手机的相机拍照系统及其图像生成方法，其在特征空间将具有不同视野的图像的特征图进行融合并利用坐标转换技术来克服图像内容在高维特征空间中的偏移，以使得具有不同视野的图像能够更好地融合，从而提高融合图像的成像效果。
附图说明
[0031]
通过结合附图对本技术实施例进行更详细的描述，本技术的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本技术实施例的进一步理解，并且构成说明书的一部分，与本技术实施例一起用于解释本技术，并不构成对本技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
[0032]
图1为根据本技术实施例的手机的相机拍照系统的应用场景示意图。
[0033]
图2图示了根据本技术实施例的手机的相机拍照系统的框图。
[0034]
图3为根据本技术实施例的手机的相机拍照系统的图像生成方法的流程图。
[0035]
图4为根据本技术实施例的手机的相机拍照系统的图像生成方法的系统架构示意图。
具体实施方式
[0036]
下面，将参考附图详细地描述根据本技术的示例实施例。显然，所描述的实施例仅仅是本技术的一部分实施例，而不是本技术的全部实施例，应理解，本技术不受这里描述的示例实施例的限制。
[0037]
申请概述
[0038]
如上所述，不同视野的摄像头所拍摄的图像之间的融合是常用的图像生成技巧，例如普通摄像头拍摄的图像与广角摄像头拍摄的图像，广角摄像头拍摄的图像与超广角摄像头拍摄的图像等。这些不同视野的摄像头所拍摄的图像具有相同的拍摄对象，但是在拍摄对象的背景方面，视野较大的摄像头所拍摄的图像所拍摄的图像中具有更加丰富的信息，但是视野较小的摄像头所拍摄的图像中具有更细粒度的细节信息，因此如果将两者进行融合，显然可以提高图像的背景部分的图像质量。
[0039]
目前已有一些用于同视野的摄像头所拍摄的图像之间的融合的图像处理手段，但这些技术手段大多聚焦于源图像域空间，也就是，在源图像域进行融合。这些图像融合手段无法充分挖掘出图像中所隐含的特征和信息，导致最终的图像融合效果难以满足用户的需求。因此，需要一种优化的图像融合方案。
[0040]
相应地，在本技术的技术方案中，选择在特征层面对两个图像进行融合，但是，因为两者的输入图像之间存在图像尺度上的差异，因此在通过卷积神经网络所获得的特征图
上，也会存在对应位置之间的偏移，因此需要对特征图使用坐标转换技术，来使得两者更好地融合。
[0041]
具体地，在本技术的技术方案中，首先由具有第一视野的第一摄像头获得第一图像，并通过第一卷积神经网络获得第一特征图，同时，由具有大于第一视野的第二视野的第二摄像头获得第二图像，并通过该第一卷积神经网络获得第二特征图。然后，为了进行坐标转换，首先计算第一特征图与第二特征图之间的差分特征图，并对差分特征图中的每个特征矩阵进行特征值分解，即m＝qλq
t
，其中m为差分特征图中的每个特征矩阵，λ＝diag(λ1,λ2,...，λ
n
)，λ1≥λ2≥...≥λ
n
，是有序的对角本征值矩阵，且q＝[q1,q2,...，q
n
]是包含相应本征向量作为列的本征向量矩阵，这样，可以得到关于差分特征图中的每个特征矩阵的初始相关坐标矩阵y，表示为
[0042][0043]
其中λ2＝diag(λ1,λ2)是最大的两个本征值的对角矩阵，且q2＝[q1,q2]包含q的前两列，符号表示对矩阵λ2的每个位置的值取平方根。
[0044]
然后，将初始相关坐标矩阵y通过线性插值转换为与第一特征图和第二特征图中的特征矩阵相同的大小，再按照通道排列为与第一特征图和第二特征图相同尺度的坐标转换特征图，并将其与第一特征图相乘后再与第二特征图相加，以获得融合特征图。
[0045]
然后，将该融合特征图输入作为生成器的第二卷积神经网络，以从图像特征中恢复图像视觉信息，从而获得第一图像和第二图像的融合图像。
[0046]
基于此，本技术提出了一种手机的相机拍照系统，其包括：源图像单元，用于分别通过具有第一视野的第一摄像头和具有第二视野的第二摄像头获得第一图像和第二图像，所述第二视野大于所述第一视野特征图生成单元，用于分别将所述第一图像和所述第二图像通过第一卷积神经网络，以获得对应于所述第一图像的第一特征图和对应于所述第二图像的第二特征图，所述第一特征图和所述第二特征图具有相同的尺度；差分单元，用于计算所述第一特征图和所述第二特征图之间的差分以获得差分特征图；矩阵分解单元，用于对所述差分特征图的每个特征矩阵进行特征值分解以将每个所述特征矩阵分解为本征向量矩阵、对角本征值矩阵和本征向量矩阵的转置的向量乘积，以获得所述差分特征图的每个所述特征矩阵的初始相关坐标矩阵；尺寸转化单元，用于将每个所述初始相关坐标矩阵通过线性插值转化为与所述第一特征图和所述第二特征图中的特征矩阵具有相同的大小，再按照通道排列为与所述第一特征图和所述第二特征图具有相同尺度的坐标转换特征图；高维融合单元，用于以所述坐标转换特征图对所述第一特征图进行坐标转化并与所述第二特征图进行融合，以获得融合特征图；以及，图像生成单元，用于将所述融合特征图输入作为生成器的第二卷积神经网络，以获得所述第一图像和所述第二图像的融合图像。
[0047]
图1图示了根据本技术实施例的手机的相机拍照系统的场景示意图。如图1所示，在该应用场景中，首先通过具有第一视野的第一摄像头(例如，如图1中所示意的c1)和具有第二视野的第二摄像头(例如，如图1中所示意的c2)获得第一图像和第二图像；然后，将所述第一图像和所述第二图像输入至部署有手机的相机拍照系统的图像生成算法的服务器(例如，如图1中所示意的s)中，其中，所述服务器能够基于手机的相机拍照系统的图像生成
算法对所述第一图像和所述第二图像进行在高维特征空间中的融合处理并通过反卷积操作来获得所述第一图像和所述第二图像的融合图像。
[0048]
在介绍了本技术的基本原理之后，下面将参考附图来具体介绍本技术的各种非限制性实施例
[0049]
示例性系统
[0050]
图2为根据本技术实施例的手机的相机拍照系统的框图。如图2所示，根据本技术实施例的手机的相机拍照系统100，包括：源图像单元110，用于分别通过具有第一视野的第一摄像头和具有第二视野的第二摄像头获得第一图像和第二图像，所述第二视野大于所述第一视野；特征图生成单元120，用于分别将所述第一图像和所述第二图像通过第一卷积神经网络，以获得对应于所述第一图像的第一特征图和对应于所述第二图像的第二特征图，所述第一特征图和所述第二特征图具有相同的尺度；差分单元130，用于计算所述第一特征图和所述第二特征图之间的差分以获得差分特征图；矩阵分解单元140，用于对所述差分特征图的每个特征矩阵进行特征值分解以将每个所述特征矩阵分解为本征向量矩阵、对角本征值矩阵和本征向量矩阵的转置的向量乘积，以获得所述差分特征图的每个所述特征矩阵的初始相关坐标矩阵；尺寸转化单元150，用于将每个所述初始相关坐标矩阵通过线性插值转化为与所述第一特征图和所述第二特征图中的特征矩阵具有相同的大小，再按照通道排列为与所述第一特征图和所述第二特征图具有相同尺度的坐标转换特征图；高维融合单元160，用于以所述坐标转换特征图对所述第一特征图进行坐标转化并与所述第二特征图进行融合，以获得融合特征图；以及，图像生成单元170，用于将所述融合特征图输入作为生成器的第二卷积神经网络，以获得所述第一图像和所述第二图像的融合图像。
[0051]
相应地，在所述手机的相机拍照系统100的运行过程中，首先所述源图像单元110，用于分别通过具有第一视野的第一摄像头和具有第二视野的第二摄像头获得第一图像和第二图像，所述第二视野大于所述第一视野。应可以理解，虽然不同视野的摄像头所拍摄的图像具有相同的拍摄对象，但是在拍摄对象的背景方面，视野较大的摄像头所拍摄的图像所拍摄的图像中具有更加丰富的信息，但是视野较小的摄像头所拍摄的图像中具有更细粒度的细节信息，因此如果将两者进行融合，显然可以提高图像的背景部分的图像质量。
[0052]
在具体实施中，所述第一摄像头可以是普通摄像头，所述第二摄像头可以是广角摄像头。当然，所述第一摄像头和所述第二摄像头也可以是其他配置，例如，所述第一摄像头是广角摄像头，所述第二摄像头是超广角摄像头，对此并不为本技术所局限，仅需所述第一视场角小于所述第二视场角即可。
[0053]
接着，在所述手机的相机拍照系统100的运行过程中，所述特征图生成单元120，用于分别将所述第一图像和所述第二图像通过第一卷积神经网络，以获得对应于所述第一图像的第一特征图和对应于所述第二图像的第二特征图，所述第一特征图和所述第二特征图具有相同的尺度。如前所述，在本技术实施例中，在本技术的技术方案中，在特征层面对两个图像进行融合，也就是，在高维特征空间域而非源图像域进行图像融合。因此，所述特征图生成单元120使用基于卷积神经网络的人工智能技术从所述第一图像中提取出第一特征图和从所述第二图像中提取出第二特征图，也就是，使用卷积神经网络从所述第一图像中提取出其在高维特征空间中的分布式表示，以及，从所述第二图像中提取出其在高维特征空间中的分布式表示。
[0054]
本领域普通技术人员应知晓，卷积神经网络在提取局部特征方面具有优异的性能表现。特别地，在本技术实施例中，所述卷积神经网络可被实施为深度残差网络，例如，resnet 50。深度残差网络采用多个带残差连接的残差卷积块(多个卷积层构成)和全连接层所构成，其中残差卷积块用于特征学习，在不增加神经网络模型训练难度的基础上增加了模型的规模。这是因为残差连接的存在，该连接可以有效降低由于多层卷积层的存在而导致的不利于模型训练的梯度消失或者爆炸的现象的发生，降低了对更深更大的神经网络的训练难度。相较于常规的卷积神经网络，残差网络的特点是容易优化，并且能够通过增加相当的深度来提高准确率，其内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题。
[0055]
应特别注意，因为两者的输入图像之间存在图像尺度上的差异，因此在通过卷积神经网络所获得的特征图上，也会存在对应位置之间的偏移，因此需要对特征图使用坐标转换技术，来使得两者更好地融合。也就是，所述第一特征图和所述第二特征图中存在对应位置之间的偏移，而无法直接将所述第一特征图和所述第二特征图进行融合。
[0056]
接着，在所述手机的相机拍照系统100的运行过程中，所述差分单元130，计算所述第一特征图和所述第二特征图之间的差分以获得差分特征图。这里，所述差分特征图用于表示所述第一特征图和所述第二特征图在高维特征空间中的分布式表示的差异，具体地，对应于所述第一图像和所述第二图像在图像内容上的差异，尤其是图像背景部分的差异。
[0057]
在本技术一个具体的示例中，所述差分单元130计算所述第一特征图和所述第二特征图之间的按像素位置的特征值之差，以获得差分特征图。也就是，所述差分单元130用于计算所述第一特征图和所述第二特征图在像素级别的差异以获得所述差分特征图。
[0058]
接着，在所述手机的相机拍照系统100的运行过程中，所述矩阵分解单元140对所述差分特征图的每个特征矩阵进行特征值分解以将每个所述特征矩阵分解为本征向量矩阵、对角本征值矩阵和本征向量矩阵的转置的向量乘积，以获得所述差分特征图的每个所述特征矩阵的初始相关坐标矩阵。
[0059]
为了进行坐标转换，首先计算第一特征图与第二特征图之间的差分特征图，并对差分特征图中的每个特征矩阵进行特征值分解，即m＝qλq
t
，其中m为差分特征图中的每个特征矩阵，λ＝diag(λ1,λ2，...，λ
n
)，λ1≥λ2≥...≥λ
n
，是有序的对角本征值矩阵，且q＝[q1,q2，...，q
n
]是包含相应本征向量作为列的本征向量矩阵，这样，可以得到关于差分特征图中的每个特征矩阵的初始相关坐标矩阵y，表示为
[0060][0061]
其中λ2＝diag(λ1,λ2)是最大的两个本征值的对角矩阵，且q2＝[q1,q2]包含q的前两列，符号表示对矩阵λ2的每个位置的值取平方根。
[0062]
也就是，在本技术实施例中，所述矩阵分解单元140，进一步用于对所述差分特征图的每个特征矩阵进行特征值分解以将每个所述特征矩阵分解为本征向量矩阵、对角本征值矩阵和本征向量矩阵的转置的向量乘积，其中，m＝qλq
t
，其中m为所述差分特征图中的每个特征矩阵，λ＝diag(λ1,λ2,...,λ
n
)，λ1≥λ2≥...≥λ
n
，是有序的对角本征值矩阵，且q＝[q1,q2,...，q
n
]是包含相应本征向量作为列的本征向量矩阵。
[0063]
也就是，在本技术实施例中，所述矩阵分解单元140，进一步用于基于如下公式获得所述差分特征图的每个所述特征矩阵的初始相关坐标矩阵；
[0064]
其中，所述公式为：
[0065]
其中λ2＝diag(λ1,λ2)是最大的两个本征值的对角矩阵，且q2＝[q1,q2]包含q的前两列，符号表示对矩阵λ2的每个位置的值取平方根。
[0066]
进一步地，在所述手机的相机拍照系统100的运行过程中，所述尺寸转化单元150将每个所述初始相关坐标矩阵通过线性插值转化为与所述第一特征图和所述第二特征图中的特征矩阵具有相同的大小，再按照通道排列为与所述第一特征图和所述第二特征图具有相同尺度的坐标转换特征图。也就是，所述尺寸转化单元150将初始相关坐标矩阵y通过线性插值转换为与第一特征图和第二特征图中的特征矩阵相同的大小，再按照通道排列为与第一特征图和第二特征图相同尺度的坐标转换特征图。
[0067]
进一步地，在所述手机的相机拍照系统100的运行过程中，所述高维融合单元160，用于以所述坐标转换特征图对所述第一特征图进行坐标转化并与所述第二特征图进行融合，以获得融合特征图。具体地，在本技术实施例中，所述高维融合单元160将所述坐标转换特征图与所述第一特征图进行矩阵相乘，通过这样的方式，以所述坐标转换特征图对所述第一特征图进行坐标转化。然后，再与所述第二特征图进行相加(例如，进行按像素位置的特征值相加)，通过这样的方式，与所述第二特征图进行融合以获得融合特征图。
[0068]
综上应可以理解，在本技术实施例中，为了进行坐标转换以克服所述第一特征图和所述第二特征图的位置偏移，首先计算第一特征图与第二特征图之间的差分特征图，并对差分特征图中的每个特征矩阵进行特征值分解，即m＝qλq
t
，这样，可以得到关于差分特征图中的每个特征矩阵的初始相关坐标矩阵y，表示为
[0069][0070]
其中λ2＝diag(λ1，λ2)是最大的两个本征值的对角矩阵，且q2＝[q1，q2]包含q的前两列，符号表示对矩阵λ2的每个位置的值取平方根。然后，将初始相关坐标矩阵y通过线性插值转换为与第一特征图和第二特征图中的特征矩阵相同的大小，再按照通道排列为与第一特征图和第二特征图相同尺度的坐标转换特征图，并将其与第一特征图相乘后再与第二特征图相加，以获得融合特征图。
[0071]
接着，在所述手机的相机拍照系统100的运行过程中，所述图像生成单元170将所述融合特征图输入作为生成器的第二卷积神经网络，以获得所述第一图像和所述第二图像的融合图像。相类似地，在本技术实施例中，所述第二卷积神经网络也可以被实施为深度残差网络。
[0072]
综上，基于本技术实施例的手机的相机拍照系统100被阐明，其在特征空间将具有不同视野的图像的特征图进行融合并利用坐标转换技术来克服图像内容在高维特征空间中的偏移，以使得具有不同视野的图像能够更好地融合，从而提高融合图像的成像效果。
[0073]
如上所述，根据本技术实施例的手机的相机拍照系统100可以实现在各种终端设
备中，例如用于手机的相机拍照的服务器中等。在一个示例中，根据本技术实施例的手机的相机拍照系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该手机的相机拍照系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该手机的相机拍照系统100同样可以是该终端设备的众多硬件模块之一。
[0074]
替换地，在另一示例中，该手机的相机拍照系统100与该终端设备也可以是分立的设备，并且该手机的相机拍照系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
[0075]
以上结合具体实施例描述了本技术的基本原理，但是，需要指出的是，在本技术中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本技术的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本技术为必须采用上述具体的细节来实现。
[0076]
本技术中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
[0077]
还需要指出的是，在本技术的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本技术的等效方案。
[0078]
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本技术。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本技术的范围。因此，本技术不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
[0079]
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本技术的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
[0080]
示例性方法
[0081]
图3为根据本技术实施例的手机的相机拍照系统的图像生成方法的流程图。如图3所示，根据本技术实施例的手机的相机拍照系统的图像生成方法，包括：s110，通过源图像单元分别通过具有第一视野的第一摄像头和具有第二视野的第二摄像头获得第一图像和第二图像，所述第二视野大于所述第一视野；s120，通过特征图生成单元分别将所述第一图像和所述第二图像通过第一卷积神经网络，以获得对应于所述第一图像的第一特征图和对应于所述第二图像的第二特征图，所述第一特征图和所述第二特征图具有相同的尺度；s130，通过差分单元计算所述第一特征图和所述第二特征图之间的差分以获得差分特征图；s140，通过矩阵分解单元对所述差分特征图的每个特征矩阵进行特征值分解以将每个所述特征矩阵分解为本征向量矩阵、对角本征值矩阵和本征向量矩阵的转置的向量乘积，以获得所述差分特征图的每个所述特征矩阵的初始相关坐标矩阵；s150，通过尺寸转化单元将每个所述初始相关坐标矩阵通过线性插值转化为与所述第一特征图和所述第二特征
图中的特征矩阵具有相同的大小，再按照通道排列为与所述第一特征图和所述第二特征图具有相同尺度的坐标转换特征图；s160，通过高维融合单元以所述坐标转换特征图对所述第一特征图进行坐标转化并与所述第二特征图进行融合，以获得融合特征图；以及，s170，通过图像生成单元将所述融合特征图输入作为生成器的第二卷积神经网络，以获得所述第一图像和所述第二图像的融合图像。
[0082]
图4图示了根据本技术实施例的手机的相机拍照系统的图像生成方法的架构示意图。如图4所示，在所述手机的相机拍照系统的图像生成方法的网络架构中，首先，分别通过具有第一视野的第一摄像头和具有第二视野的第二摄像头获得第一图像(例如，如图4中所示意的in0)和第二图像(例如，如图4中所示意的in1)，特别地，所述第二视野大于所述第一视野。接着，将所述第一图像和所述第二图像通过第一卷积神经网络(例如，如图4中所示意的cnn1)，以获得对应于所述第一特征图(例如，如图4中所示意的f1)和第二特征图(例如，如图4中所示意的f2)，特别地，所述第一特征图和所述第二特征图具有相同的尺度。接着，计算所述第一特征图和所述第二特征图之间的差分以获得差分特征图(例如，如图4中所示意的fd)。然后，通过矩阵分解单元对所述差分特征图的每个特征矩阵进行特征值分解以获得本征向量矩阵(例如，如图4中所示意的m1)和对角本征值矩阵(例如，如图4中所示意的m2)，然后，基于所述本征向量矩阵和所述对角本征值矩阵获得所述差分特征图的每个所述特征矩阵的初始相关坐标矩阵(例如，如图4中所示意的mc)。接着，将每个所述初始相关坐标矩阵通过线性插值转化为与所述第一特征图和所述第二特征图中的特征矩阵具有相同的大小，再按照通道排列为与所述第一特征图和所述第二特征图具有相同尺度的坐标转换特征图(例如，如图4中所示意的mt)。接着，以所述坐标转换特征图对所述第一特征图进行坐标转化并与所述第二特征图进行融合，以获得融合特征图(例如，如图4中所示意的ff)。最终，将所述融合特征图输入作为生成器的第二卷积神经网络(例如，如图4中所示意的cnn2)，以获得所述第一图像和所述第二图像的融合图像(例如，如图4中所示意的fn)。
[0083]
在一个示例中，在上述手机的相机拍照系统的图像生成方法中，通过差分单元计算所述第一特征图和所述第二特征图之间的差分以获得差分特征图，包括：通过所述差分单元计算所述第一特征图和所述第二特征图之间的按像素位置的特征值之差，以获得差分特征图。
[0084]
在一个示例中，在上述手机的相机拍照系统的图像生成方法中，通过矩阵分解单元对所述差分特征图的每个特征矩阵进行特征值分解以将每个所述特征矩阵分解为本征向量矩阵、对角本征值矩阵和本征向量矩阵的转置的向量乘积，以获得所述差分特征图的每个所述特征矩阵的初始相关坐标矩阵，包括：通过所述矩阵分解单元对所述差分特征图的每个特征矩阵进行特征值分解以将每个所述特征矩阵分解为本征向量矩阵、对角本征值矩阵和本征向量矩阵的转置的向量乘积，其中，m＝qλq
t
，其中m为所述差分特征图中的每个特征矩阵，λ＝diag(λ1，λ2，...,λ
n
)，λ1≥λ2≥...≥λ
n
，是有序的对角本征值矩阵，且q＝[q1,q2,...，q
n
]是包含相应本征向量作为列的本征向量矩阵。
[0085]
在一个示例中，在上述手机的相机拍照系统的图像生成方法中，通过矩阵分解单元获得所述差分特征图的每个所述特征矩阵的初始相关坐标矩阵，包括：通过所述矩阵分解单元基于如下公式获得所述差分特征图的每个所述特征矩阵的初始相关坐标矩阵；
[0086]
其中，所述公式为：
[0087]
其中λ2＝diag(λ1,λ2)是最大的两个本征值的对角矩阵，且q2＝[q1,q2]包含q的前两列，符号表示对矩阵λ2的每个位置的值取平方根。
[0088]
在一个示例中，在上述手机的相机拍照系统的图像生成方法中，通过高维融合单元以所述坐标转换特征图对所述第一特征图进行坐标转化并与所述第二特征图进行融合，以获得融合特征图，包括：通过所述高维融合单元将所述坐标转换特征图与所述第一特征图进行矩阵相乘后再与所述第二特征图进行相加，以获得所述融合特征图。
[0089]
在一个示例中，在上述手机的相机拍照系统的图像生成方法中，所述第一卷积神经网络和/或所述第二卷积神经网络为深度残差网络。
[0090]
综上，本技术实施例的手机的相机拍照系统的图像生成方法被阐明，其在特征空间将具有不同视野的图像的特征图进行融合并利用坐标转换技术来克服图像内容在高维特征空间中的偏移，以使得具有不同视野的图像能够更好地融合，从而提高融合图像的成像效果。