手机的相机拍照系统及其图像生成方法与流程

技术特征：
1.一种手机的相机拍照系统，其特征在于，包括：源图像单元，用于分别通过具有第一视野的第一摄像头和具有第二视野的第二摄像头获得第一图像和第二图像，所述第二视野大于所述第一视野；特征图生成单元，用于分别将所述第一图像和所述第二图像通过第一卷积神经网络，以获得对应于所述第一图像的第一特征图和对应于所述第二图像的第二特征图，所述第一特征图和所述第二特征图具有相同的尺度；差分单元，用于计算所述第一特征图和所述第二特征图之间的差分以获得差分特征图；矩阵分解单元，用于对所述差分特征图的每个特征矩阵进行特征值分解以将每个所述特征矩阵分解为本征向量矩阵、对角本征值矩阵和本征向量矩阵的转置的向量乘积，以获得所述差分特征图的每个所述特征矩阵的初始相关坐标矩阵；尺寸转化单元，用于将每个所述初始相关坐标矩阵通过线性插值转化为与所述第一特征图和所述第二特征图中的特征矩阵具有相同的大小，再按照通道排列为与所述第一特征图和所述第二特征图具有相同尺度的坐标转换特征图；高维融合单元，用于以所述坐标转换特征图对所述第一特征图进行坐标转化并与所述第二特征图进行融合，以获得融合特征图；以及图像生成单元，用于将所述融合特征图输入作为生成器的第二卷积神经网络，以获得所述第一图像和所述第二图像的融合图像。2.根据权利要求1所述的手机的相机拍照系统，其中，所述差分单元，进一步用于计算所述第一特征图和所述第二特征图之间的按像素位置的特征值之差，以获得差分特征图。3.根据权利要求1所述的手机的相机拍照系统，其中，所述矩阵分解单元，进一步用于对所述差分特征图的每个特征矩阵进行特征值分解以将每个所述特征矩阵分解为本征向量矩阵、对角本征值矩阵和本征向量矩阵的转置的向量乘积，其中，m＝qaq
t
，其中m为所述差分特征图中的每个特征矩阵，λ＝diag(λ1，λ2，...,λ
n
)，λ1≥λ2≥...v≥λ
n
，是有序的对角本征值矩阵，且q＝[q1,q2,...，q
n
]是包含相应本征向量作为列的本征向量矩阵。4.根据权利要求3所述的手机的相机拍照系统，其中，所述矩阵分解单元，进一步用于基于如下公式获得所述差分特征图的每个所述特征矩阵的初始相关坐标矩阵；其中，所述公式为：其中λ2＝diag(λ1,λ2)是最大的两个本征值的对角矩阵，且q2＝[q1,q2]包含q的前两列，符号表示对矩阵λ2的每个位置的值取平方根。5.根据权利要求1所述的手机的相机拍照系统，其中，所述高维融合单元，进一步用于：将所述坐标转换特征图与所述第一特征图进行矩阵相乘后再与所述第二特征图进行相加，以获得所述融合特征图。6.根据权利要求1所述的手机的相机拍照系统，其中，所述第一卷积神经网络和/或所述第二卷积神经网络为深度残差网络。7.一种手机的相机拍照系统的图像生成方法，其特征在于，包括：通过源图像单元分别通过具有第一视野的第一摄像头和具有第二视野的第二摄像头
获得第一图像和第二图像，所述第二视野大于所述第一视野；通过特征图生成单元分别将所述第一图像和所述第二图像通过第一卷积神经网络，以获得对应于所述第一图像的第一特征图和对应于所述第二图像的第二特征图，所述第一特征图和所述第二特征图具有相同的尺度；通过差分单元计算所述第一特征图和所述第二特征图之间的差分以获得差分特征图；通过矩阵分解单元对所述差分特征图的每个特征矩阵进行特征值分解以将每个所述特征矩阵分解为本征向量矩阵、对角本征值矩阵和本征向量矩阵的转置的向量乘积，以获得所述差分特征图的每个所述特征矩阵的初始相关坐标矩阵；通过尺寸转化单元将每个所述初始相关坐标矩阵通过线性插值转化为与所述第一特征图和所述第二特征图中的特征矩阵具有相同的大小，再按照通道排列为与所述第一特征图和所述第二特征图具有相同尺度的坐标转换特征图；通过高维融合单元以所述坐标转换特征图对所述第一特征图进行坐标转化并与所述第二特征图进行融合，以获得融合特征图；以及通过图像生成单元将所述融合特征图输入作为生成器的第二卷积神经网络，以获得所述第一图像和所述第二图像的融合图像。8.根据权利要求7所述的手机的相机拍照系统的图像生成方法，其中，通过差分单元计算所述第一特征图和所述第二特征图之间的差分以获得差分特征图，包括：通过所述差分单元计算所述第一特征图和所述第二特征图之间的按像素位置的特征值之差，以获得差分特征图。9.根据权利要求8所述的手机的相机拍照系统的图像生成方法，其中，通过矩阵分解单元对所述差分特征图的每个特征矩阵进行特征值分解以将每个所述特征矩阵分解为本征向量矩阵、对角本征值矩阵和本征向量矩阵的转置的向量乘积，以获得所述差分特征图的每个所述特征矩阵的初始相关坐标矩阵，包括：通过所述矩阵分解单元对所述差分特征图的每个特征矩阵进行特征值分解以将每个所述特征矩阵分解为本征向量矩阵、对角本征值矩阵和本征向量矩阵的转置的向量乘积，其中，m＝qλq
t
，其中m为所述差分特征图中的每个特征矩阵，λ＝diag(λ1，λ2，...，λ
n
)，λ1≥λ2≥...≥λ
n
，是有序的对角本征值矩阵，且q＝[q1，q2，...，qn]是包含相应本征向量作为列的本征向量矩阵。10.根据权利要求9所述的手机的相机拍照系统的图像生成方法，其中，通过矩阵分解单元获得所述差分特征图的每个所述特征矩阵的初始相关坐标矩阵，包括：通过所述矩阵分解单元基于如下公式获得所述差分特征图的每个所述特征矩阵的初始相关坐标矩阵；其中，所述公式为：其中λ2＝diag(λ1，λ2)是最大的两个本征值的对角矩阵，且q2＝[q1，q2]包含q的前两列，符号表示对矩阵λ2的每个位置的值取平方根。

技术总结
本申请涉及移动终端的成像领域，具体地公开了一种手机的相机拍照系统及其图像生成方法，其在特征空间将具有不同视野的图像的特征图进行融合并利用坐标转换技术来克服图像内容在高维特征空间中的偏移，以使得具有不同视野的图像能够更好地融合，从而提高融合图像的成像效果。成像效果。成像效果。


技术研发人员：胡玮
受保护的技术使用者：黎川县凡帝科技有限公司
技术研发日：2021.07.30
技术公布日：2021/11/2