拍照方法、图像处理方法和电子设备与流程

1.本技术涉及图像处理技术领域，特别涉及一种拍照方法、图像处理方法和电子设备。


背景技术：

2.普通二维(2d)图像(图片/照片)为平面图像，通常只能展现2d缩放和平移的效果，真实性较差。相比于2d图像，三维(3d)图像为立体图像，更具有现场感、景深感，真实性更强。
3.例如，通过手机等电子设备进行拍照得到的照片通常都为普通2d图像，将拍摄的普通2d图像经过动态效果的处理，可以形成视频，作为动态相框或视频编辑等应用。另外，对于单张普通2d图像，也可以经过3d效果的处理形成三维图像，实现更为逼真的3d视角移动和转换等效果。
4.当前将普通2d图像转换为三维图像存在操作复杂、以及转换后的三维图像视野小、效果不佳等问题。


技术实现要素：

5.本技术提供了一种拍照方法、图像处理方法和电子设备，将普通2d图像转换为三维图像的操作简单，且得到的三维图像视野大、效果更好，可以提高用户的体验感。
6.为解决上述技术问题，第一方面，本技术的实施方式提供了一种拍照方法，应用于电子设备，包括：接收用户的拍照指令，通过主摄像头拍摄主摄图像，通过广角摄像头拍摄广角图像；根据主摄图像和广角图像生成三维图像；三维图像包括经过三维视角转换的对应于不同视角的多帧图像。本技术提供的三维图像的拍照方法，基于用户的单次操作便可以拍摄生成三维图像，其操作简单，且通过广角图像可以增加主摄图像视角转变的范围，得到的三维图像视野更大、效果更好，增强了用户的拍照体验。
7.在上述第一方面的一种可能的实现中，生成三维图像之后，该方法还包括：直接显示不同视角下的三维图像。例如可以以视频播放的形式显示不同视角下的图像即显示三维图像。
8.在上述第一方面的一种可能的实现中，生成三维图像之后，该方法还包括：接收用户对三维图像的视角转换操作，并显示与视角转换操作对应的视角下的三维图像。例如，可以根据用户的滑动等操作显示不同视角的图像，即显示三维图像。
9.在上述第一方面的一种可能的实现中，根据主摄图像和广角图像生成三维图像，包括：根据主摄图像得到主摄图像点云，根据广角图像得到广角图像点云，以及根据主摄图像和广角图像得到双目点云；根据主摄图像点云、广角图像点云和双目点云得到融合三维点云；根据融合三维点云得到三维图像。利用3种点云的融合，可以形成视野更加广阔的3d点云模型，以及增加视野重合区域的点云稠密度，减少视角转换后需要进行填充的点数，增强3d视角转换后的准确性，以及可以增强3d视角转换后的效果。
10.在上述第一方面的一种可能的实现中，得到图像的点云包括：通过神经网络深度预测的方式得到图像中各像素的像素深度；根据像素深度得到点云。
11.在上述第一方面的一种可能的实现中，根据主摄图像点云、广角图像点云和双目点云得到融合三维点云包括：根据主摄图像点云对广角图像点云和双目点云进行深度校准；将主摄图像点云与校准后的广角图像点云和双目点云进行融合，得到融合三维点云。
12.在上述第一方面的一种可能的实现中，将主摄图像点云与校准后的广角图像点云和双目点云进行融合，包括：通过摄像头参数转换将校准后的广角图像点云和双目点云，以及主摄图像点云统一于同一坐标系。该同一坐标系可以是世界坐标系。
13.在上述第一方面的一种可能的实现中，根据融合三维点云得到三维图像，包括：确定第一转换视角；获取第一转换视角对应的第一点云，根据第一点云进行图像渲染和补充，形成与第一转换视角对应的第一二维图像；切换不同的转换视角，并生成对应视角的二维图像；通过多帧对应于不同视角的二维图像形成三维图像。
14.在上述第一方面的一种可能的实现中，接收用户的拍照指令之后，还包括：开启主摄像头和广角摄像头。
15.在上述第一方面的一种可能的实现中，接收用户的拍照指令之前，还包括：接收用户调用相机功能的操作，显示拍照界面。
16.在上述第一方面的一种可能的实现中，还可以在接收用户调用相机功能的操作时，开启主摄像头，或者同时开启主摄像头和广角摄像头。
17.在上述第一方面的一种可能的实现中，拍照界面还包括摄像头预览画面选择控件，摄像头预览画面选择控件包括主摄像头预览画面选择控件和广角摄像头预览画面选择控件；方法还包括：若检测到用户对主摄像头预览画面选择控件的触发操作，显示与主摄像头对应的预览画面；若检测到用户对广角摄像头预览画面选择控件的触发操作，显示与广角摄像头对应的预览画面。通过主摄像头预览画面选择控件和广角摄像头预览画面选择控件的设置，可以便于用户查看对应摄像头的预览画面，以便于用户确定目标拍摄区域，拍摄得到更为理想的三维图像。
18.第二方面，本技术的实施方式提供了一种图像处理方法，应用于电子设备，包括：获取第一图像和第二图像，第一图像包括第一内容，第二图像包括第一图像的第一内容，以及包括除第一内容之外的第二内容；根据第一图像和第二图像生成三维图像；三维图像包括经过三维视角转换的对应于不同视角的多帧图像。本技术提供的图像处理方法，通过第二图像可以增加第一图像视角转变的范围，得到的三维图像视野更大、效果更好，增强了用户的图像处理体验。
19.在上述第二方面的一种可能的实现中，生成三维图像之后，该方法还包括：直接显示对应于不同视角的三维图像。
20.在上述第二方面的一种可能的实现中，生成三维图像之后，该方法还包括：接收用户对三维图像的视角转换操作，并显示与视角转换操作对应视角的三维图像。
21.在上述第二方面的一种可能的实现中，根据第一图像和第二图像生成三维图像，包括：根据第一图像得到第一图像点云，根据第二图像得到第二图像点云，以及根据第一图像和第二图像得到共同区域点云；根据第一图像点云、第二图像点云和共同区域点云得到融合三维点云；根据融合三维点云得到三维图像。
22.在上述第二方面的一种可能的实现中，得到图像的点云包括：通过神经网络深度预测的方式得到图像中各像素的像素深度；根据像素深度得到点云。
23.在上述第二方面的一种可能的实现中，根据第一图像点云、第二图像点云和共同区域点云得到融合三维点云包括：根据第一图像点云对第二图像点云和共同区域点云进行深度校准；将第一图像点云与校准后的第二图像点云和共同区域点云进行融合，得到融合三维点云。
24.在上述第二方面的一种可能的实现中，将第一图像点云与校准后的第二图像点云和共同区域点云进行融合，包括：将校准后的第二图像点云和共同区域点云，以及第一图像点云统一于同一坐标系。该同一坐标系可以是世界坐标系。
25.在上述第二方面的一种可能的实现中，根据融合三维点云得到三维图像，包括：确定第一转换视角；获取第一转换视角对应的第一点云，根据第一点云进行图像渲染和补充，形成与第一转换视角对应的第一二维图像；切换不同的转换视角，并生成对应视角的二维图像；通过多帧对应于不同视角的二维图像形成三维图像。
26.本技术提供的图像处理方法，与上述第一方面和/或第一方面的任意一种可能的实现方式所提供的拍照方法对应，因此也能实现第一方面提供的拍照方法所具备的有益效果(或优点)。
27.第三方面，本技术的实施方式提供了一种拍照方法，应用于包括第一电子设备和第二电子设备的系统，包括：第一电子设备接收用户的拍照指令，通过主摄像头拍摄主摄图像，通过广角摄像头拍摄广角图像；第一电子设备将主摄图像和广角图像发送给第二电子设备，第二电子设备根据主摄图像和广角图像生成三维图像；三维图像包括经过三维视角转换的对应于不同视角的多帧图像；第二电子设备将三维图像发送给第一电子设备，即可以由电子设备以外的其他电子设备生成三维图像。该第二电子设备可以是服务器等电子设备。
28.第四方面，本技术的实施方式提供了一种图像处理方法，应用于包括电子设备和服务器的系统，包括：电子设备获取第一图像和第二图像，第一图像包括第一内容，第二图像包括第一图像的第一内容，以及包括除第一内容之外的第二内容；电子设备将第一图像和第二图像发送给服务器；服务器根据第一图像和第二图像生成三维图像；三维图像包括经过三维视角转换的对应于不同视角的多帧图像；服务器将三维图像发送给电子设备。即可以由电子设备以外的服务器生成三维图像。
29.第五方面，本技术的实施方式提供了一种电子设备，包括：存储器，用于存储计算机程序，计算机程序包括程序指令；控制部件，用于执行程序指令，以使电子设备执行如上述第一方面和/或第一方面的任意一种可能的实现方式所提供的拍照方法，或以使电子设备执行如上述第二方面和/或第二方面的任意一种可能的实现方式所提供的图像处理方法，或以使电子设备执行如上述第三方面和/或第三方面的任意一种可能的实现方式所提供的图像处理方法。
30.第六方面，本技术的实施方式提供了一种计算机可读取存储介质，其特征在于，计算机可读取存储介质存储有计算机程序，计算机程序包括程序指令，程序指令被计算机运行以使计算机执行如上述第一方面和/或第一方面的任意一种可能的实现方式所提供的拍照方法，或以使计算机执行如上述第二方面和/或第二方面的任意一种可能的实现方式所
提供的图像处理方法，或以使计算机执行如上述第三方面和/或第三方面的任意一种可能的实现方式所提供的图像处理方法。
附图说明
31.为了更清楚地说明本技术的技术方案，下面将对实施方式描述中所使用的附图作简单介绍。
32.图1是根据现有技术的一些实施方式，示出了一种单张2d图像转换为经过3d视角转换得到的三维图像的过程示意图；
33.图2是根据本技术的一些实施方式，示出了一种手机的结构示意图；
34.图3是根据本技术的一些实施方式，示出了一种手机的背部结构示意图；
35.图4a-4c是根据本技术的一些实施方式，示出了一种本技术提供的拍照方法过程示意图；
36.图4d是根据本技术的一些实施方式，示出了一种本技术提供的拍照方法拍摄的主摄图像的示意图；
37.图4e是根据本技术的一些实施方式，示出了一种本技术提供的拍照方法进行3d视角转换时需要进行点云补充部分的示意图；
38.图5a-5h是根据本技术的一些实施方式，示出了一些手机100的显示界面示意图；
39.图6a-6f是根据本技术的一些实施方式，示出了另一些手机100的显示界面示意图；
40.图7是根据本技术的一些实施例，示出了一种片上系统(soc)的结构示意图。
具体实施方式
41.下面将结合附图对本技术的技术方案作进一步描述。
42.通过普通的摄影设备拍摄的二维图像通常只能展现2d缩放和平移的效果。如果想要体验具有更强真实性的图像，需要提供三维图像。本技术的实施例所讨论的三维图像是指，多帧图像构成的三维图像/视频，能够为用户展现例如围绕拍摄对象物为中心的多个视角的不同画面，从而给了用户身临其境的感觉，或者可以使用户观察到比常规的2d图像更多的细节，例如在单一视角下被遮挡住的细节。一方面来说，用户可以通过自身的拍摄位置移动，结合一定的图像处理手段来获得这样的照片，另一方面，随着神经网络技术的发展，对于图像的预测和学习能力的提升，提供了将2d图像进行3d视角转换处理形成三维图像的可能性。
43.将2d图像进行3d视角转换处理的技术方案包括下面几类：
44.第一类，其流程可以如图1所示，对于2d图像，其可以作为神经网络中的输入图像，通过神经网络对2d图像进行深度预测，可以获取2d图像内各像素点的深度，并构建3d点云模型(点云重建)。将假象摄像头(视角)置于3d点云模型中，通过模拟摄像头的旋转，进行多视角渲染，可以获取对应视角的点云模型，并对原图中未能拍摄到的部分进行颜色和深度等元素的推理预测和补全(修补)，可以得到对应视角的图像。通过对连续视角的处理，可以形成3d视角转换后的三维图像作为输出图像，以支持3d视角的移动和转换效果。
45.该方案形成的三维图像的画幅局限于单张图像，三维图像可以进行移动和转换的
角度过小，并且不能在视野内出现2d图像内容以外的内容，即无法出现相机未拍摄到的地方的内容。
46.第二类，通过双目相机同时拍照得到两张图像，双目相机是指利用两个距离很近的摄像头同时进行拍摄，通过立体视觉技术，对两个相机的内容通过立体匹配成像算法(如三维块匹配算法)，结合相机参数，计算得到双目深度图。通过双目深度图建立3d点云模型，并进行后续的视角转换形成3d视角转换后的三维图像，以实现3d视角的移动和转换效果。
47.该方案中，受手机等拍摄电子设备基线限制的原因，双目深度图的深度准确度不佳，尤其是远处背景的深度无法恢复，因此仅可用于近景的恢复；另外，双目相机的方式仅仅保留了两张图像的共有部分图像，其可视角度旋转依然过小。
48.第三类，通过多张局部图像和对应深度图，合成视野较大的图像和3d模型。由于双目相机的双目深度准确度较差，容易对场景内部分物体的深度估计错误，因此该方案利用用户对需要进行3d视角转换的场景进行多次拍摄得到多张图像，以获取各部分细节和对应深度图像，形成多个点云模型。然后将各部分点云进行拼接，形成统一的3d点云模型。通过3d点云模型，并进行后续的视角转换形成3d视角转换后的三维图像，以实现3d视角的移动和转换效果。
49.该方案需要用户进行不同角度(尤其是近景)的拍照以进行多角度的点云共同拼凑，用户操作复杂。
50.本技术提供了一种拍照方法，该拍照方法为一种辅以广角摄像头1932拍摄的广角图像的2d图像实现3d视角转换的拍照方法。当用户拍摄照片时，利用手机100的主摄像头1931、广角摄像头1932同时进行拍摄，分别得到主摄图像和广角图像，并且根据主摄图像和广角图像获得双目图像。在进行3d视角转换时，可以以高分辨率的主摄像头1931拍摄的主摄图像为主要图像，以视野更广阔的广角摄像头1932拍摄的广角图像为辅助图像，通过神经网络对主摄图像、广角图像和双目图像的深度进行预估，以确定主摄图像深度、广角图像深度，双目图像深度，对主摄图像深度、广角图像深度和双目图像深度三者之间进行相互矫正和补充，可以得到整体场景的深度，并可以进行3d点云构建，形成融合三维点云，以增强3d点云的准确性。在融合三维点云的基础上通过切换不同的连续视角，可以获得三维图像，三维图像实质上包含多帧图像；三维图像的展示方式可以是自动播放，也可以根据用户的操作，例如滑动来切换视角。
51.此外还可以以高分辨率的主摄图像为起始视野，进行较大角度的视角转换，转换后图像中可以出现主摄图像本身不存在但是记录于广角图像中的信息，提升3d视角转换后得到的三维图像的用户体验。
52.为实施以上三维图像的拍摄方法，本技术提供了一种电子设备，该电子设备包括但不仅限于手机、平板电脑、电视、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，umpc)、手持计算机、上网本、个人数字助理(personal digital assistant，pda)、可穿戴设备、虚拟现实设备、相机等可以进行拍照和图像处理的设备。
53.请参见图2，图2示出了在本技术的一种实现方式中，作为实现本技术的拍照方法的电子设备的示例的手机100的结构示意图。
54.手机100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，usb)接头130，充电管理模块140，电源管理模块141，电池142，天
线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，sim)卡接口195等。其中传感器模块180可以包括触摸传感器180k等传感器。
55.可以理解的是，本发明实施例示意的结构并不构成对手机100的具体限定。在本技术另一些实施例中，手机100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
56.处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，ap)，调制解调处理器，图形处理器(graphics processing unit，gpu)，图像信号处理器(image signal processor，isp)，控制器，视频编解码器，数字信号处理器(digital signal processor，dsp)，基带处理器，和/或神经网络处理器(neural-network processing unit，npu)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
57.处理器110可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。处理器110中还可以设置存储器，用于存储指令和数据。
58.手机100通过gpu，显示屏194，以及应用处理器等实现显示功能。gpu为图像处理的微处理器，连接显示屏194和应用处理器。gpu用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个gpu，其执行程序指令以生成或改变显示信息。
59.显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，lcd)，有机发光二极管(organic light-emitting diode，oled)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的，amoled)，柔性发光二极管(flex light-emitting diode，fled)，miniled，microled，micro-oled，量子点发光二极管(quantum dot light emitting diodes，qled)等。在一些实施例中，手机100可以包括1个或n个显示屏194，n为大于1的正整数。
60.手机100可以通过isp，摄像头193，视频编解码器，gpu，显示屏194以及应用处理器等实现拍摄功能。
61.isp用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给isp处理，转化为肉眼可见的图像。isp还可以对图像的噪点，亮度，肤色进行算法优化。isp还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，isp可以设置在摄像头193中。
62.摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，ccd)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，cmos)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给isp转换成数字图像信号。isp将数字图像信号输出到dsp加工处理。dsp将数字图像信号转换成标准的rgb，yuv等格式的图像信号。在一些实施例中，手机100可以包括1个或n个摄像头193，n为大于1的正整数。
63.请参见图3，本技术的一种实现方式中，手机100至少包括主摄像头1931和广角摄
像头1932两个摄像头。本技术提供的拍照方法为一种辅以广角摄像头1932拍摄的广角图像的2d图像实现3d视角转换的拍照方法。当用户拍摄照片时，手机100利用手机100的主摄像头1931、广角摄像头1932进行拍摄，分别得到主摄图像和广角图像，并根据主摄图像和广角图像生成三维图像。
64.外部存储器接口120可以用于连接外部存储卡，例如micro sd卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
65.内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，ufs)等。处理器110通过运行存储在内部存储器121的指令，和/或存储在设置于处理器中的存储器的指令，执行手机100的各种功能应用以及数据处理。根据本技术的实施方式，上述存储器中可以用于存储指令，处理器运行指令后实施根据本技术的三维图像的拍照方法。上述存储器也可以用于存储拍摄的图像以及生成三维图像所需要的中间生成物。
66.手机100中进一步包括触摸传感器180k，也称“触控器件”。触摸传感器180k可以设置于显示屏194，由触摸传感器180k与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180k用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180k也可以设置于手机100的表面，与显示屏194所处的位置不同。例如当进入根据本技术的技术方案的拍照应用，用户可以通过触控拍照应用界面上的控件，启动三维图像的拍摄。
67.请参见图4a，在本技术的一种实现方式中，手机100拍摄三维图像的过程包括：
68.s100，手机100检测(接收)到用户调用“相机”功能的操作，显示拍照界面。
69.需要说明的是，这里的调用可以指用户打开相机应用，也可以是手机100通过其他应用调用相机功能。
70.如图5a所示，手机100的屏幕(显示界面)上显示相机应用的相机应用标识11，以及其他如电话、浏览器等其他应用的应用标识。
71.用户点击屏幕上的相机应用标识11，若手机100检测到用户对相机应用标识11的触发操作，则手机100显示图5b所示的显示界面。该显示界面包括但不仅限于图像显示区10和拍照按钮20，图像显示区10用于显示通过摄像头所成的预览画面，拍照按钮20用于用户点击进行拍照。
72.需要说明的是，手机100接收用户调用“相机”功能的操作后，可以是先打开主摄像头1931，显示界面可以是如图5b所示的显示为默认在“拍照”拍照模式22对应的拍照界面，图像显示区10可以默认显示通过主摄像头1931所成的预览画面(图像)。
73.另外，显示界面还可以包括“3d”拍照模式控件21以及其他如“夜景”拍照模式、“录像”模式等控件，用于用户可以通过这些控件可以选择拍照模式。进一步地，显示界面上还
可以保护闪光灯控件、设置控件等控件，其可以根据需要选择。
74.s200，手机100检测到用户对“3d”拍照模式控件21的触发操作，显示三维图像拍照界面。
75.若用户想要拍摄三维图像，则可以点击图5b所示的拍照界面上的“3d”拍照模式控件21，手机100检测到用户对“3d”拍照模式控件21的触发操作，显示如图5c所示的三维图像拍照界面，三维图像拍照界面包括图像显示区11。图像显示区11可以默认显示通过主摄像头1931所成的预览画面(图像)。
76.在本技术的另一实现方式中，若手机100检测到用户对“3d”拍照模式控件21的触发操作，还可以打开广角摄像头1932。
77.另外，在本技术的另一实现方式中，如图5d所示，图像显示区11上还可以显示“主摄图像”控件23和“广角图像”控件24，其中“主摄图像”控件23即为主摄像头预览画面选择控件，“广角图像”控件24即为广角摄像头预览画面选择控件。手机100检测到用户对“3d”拍照模式控件21的触发操作，可以默认在图像显示区11显示如图5d所示的主摄像头1931视角所成的预览图像，若手机100检测到用户对“广角图像”控件24的触发操作，则可以显示如图5e所示的广角摄像头1932视角所成的预览图像，以使用户可以查看想要拍摄的物体是否包含在广角摄像头1932可以拍摄到的范围内。若手机100检测到用户对“主摄图像”控件23的触发操作，则可以显示如图5d所示的主摄像头1931视角所成的预览图像。
78.当然，手机100打开广角摄像头1932，也可以是在手机100检测到用户对“广角图像”控件24的触发操作时打开。
79.本技术中，对于步骤s100，手机100检测到用户调用“相机”功能的操作时，也可以同时打开主摄像头1931和广角摄像头1932，显示如图5c-图5e所示的任意一种显示界面。若后续拍照模式为普通的拍照模式，不需要使用广角摄像头1932，则手机100可以不使用广角摄像头1932进行拍照或关闭广角摄像头1932进行拍照，其可以根据需要选择。
80.s300，手机100检测到用户对“拍照”按钮20的触发操作，使用主摄像头1931进行拍照得到主摄图像，以及使用广角摄像头1932进行拍照得到广角图像。
81.用户可以在图5c-5e所示的任意一个显示界面上点击“拍照”按钮20进行拍照。
82.手机100可以同时使用主摄像头1931和广角摄像头1932分别进行拍照得到主摄图像和广角图像，也可以是先使用主摄像头1931进行拍照得到主摄图像，再使用广角摄像头1932进行拍照得到广角图像，或者先使用广角摄像头1932进行拍照得到广角图像，再使用主摄像头1931进行拍照得到主摄图像，其可以根据需要选择。
83.当然，手机100打开广角摄像头1932，也可以是在检测到用户对“拍照”按钮20的触发操作时打开，其可以根据需要选择。
84.s400，手机100根据主摄图像和广角图像生成三维图像。
85.主摄像头1931拍摄得到的主摄图像的分辨率通常较高，因此在进行图像合成时，可以作为主要图像以及作为起始视野，广角摄像头1932拍摄得到的广角图像的视野更广阔，可以作为辅助图像，用于补充周侧视野，以实现较大角度的视角转换。
86.请参见图4b，手机100根据主摄图像和广角图像生成三维图像，包括：
87.s410，在进行3d视角转换时，手机100可以通过神经网络对主摄图像进行主摄场景(主摄图像)深度确定(预测/估计)，得到主摄图像内各像素点深度，并生成对应的主摄图像
点云(模型)a。
88.手机100对主摄图像进行深度确定可以是将主摄图像输入用于预测图像深度的神经网络中进行深度预测，神经网络可以是基于resnet-50网络结构的全连接网络，也可以是其他类型的网络，其可以根据需要选择。
89.神经网络对主摄图像进行深度确定，可以是对主摄图像中的每个像素点的深度进行确定，得到主摄图像内各点深度，即得到主摄图像的深度图。
90.然后手机100将主摄图像的深度图进行坐标系转换生成主摄图像点云a。
91.例如进行图像坐标系到世界坐标系的转换，即可以认为是经过内外参矩阵变换公式对主摄图像的深度图进行坐标系的转换。坐标系转换的约束条件就是相机内参(例如相机的焦距)，公式如下所示：其中x，y，z是世界坐标系，即为点云坐标系，x'，y'是图像坐标系，d为深度值，f
x
为x方向上的相机焦距，f
y
为在y方向上的相机焦距。
[0092][0093]
在进行上述转换之前可以对x'和y'进行undistort(图像变形)运算，以减小点云误差。
[0094]
由此，通过对主摄图像的各像素进行坐标系转换则可以得到主摄图像点云a。
[0095]
s420，通过神经网络对广角图像进行广角场景深度确定，得到广角图像内各点深度，并生成对应点的广角图像点云(模型)b。
[0096]
手机100对广角图像生成广角图像点云b的过程与前述生成主摄图像点云a的过程相同，此处不再赘述。
[0097]
s430，通过主摄图像和广角图像，确定双目深度图，并生成对应双目深度图的双目点云(模型)c。
[0098]
通过主摄像头1931和广角摄像头1932的相机参数，计算主摄像头1931和广角摄像头1932同时拍摄得到的图像的共同区域，并根据立体视觉技术，对共同区域中的内容通过立体匹配成像算法(如三维块匹配算法)，计算得到双目深度图。相并通过此双目深度图建立3d点云模型，则可以获取对应的双目点云c(模型)。
[0099]
s440，将主摄图像点云a、广角图像点云b和双目点云c三个点云进行匹配和融合以获取融合三维点云模型，融合三维点云模型可以认为是全场景3d点云模型，即三个点云之间进行相互矫正和补充，可以得到整体场景的深度。
[0100]
请参见图4c，全场景3d点云构建过程包括：
[0101]
s441，对主摄图像点云a中各实体点云在双目点云c中进行特征匹配，以及校准双目点云c。
[0102]
经过点云系统配准将主摄图像点云a(即主摄图像点云a中的各实体点云)与双目点云c统一坐标于主摄图像点云a的参考系，即可以认为是统一于世界坐标系。
[0103]
由于主摄图像点云a和双目点云c生成方式不同，相同现实物体的点云有所区别，需要对两套点云进行统一配准(校准)。可以通过迭代最近点(iterative closest point，icp)算法对主摄图像点云a中各实体点云在双目点云c中进行特征匹配，或者通过语义分割
网络，如通过全连接(卷积)网络(fully connected network，fcn)或者u型网络(u-net)在主摄图像点云a和双目点云c中得到两个以上相同物体，再计算相同物体在不同点云中的深度差异得到尺寸差异，最后通过尺寸差异进行深度缩放，得到相同尺度下的点云并进行融合配准。
[0104]
s442，将双目点云c填充到主摄图像点云a中，形成融合点云d。
[0105]
取配准后主摄图像点云a和双目点云c的并集得到融合点云d。
[0106]
s443，对主摄图像点云a中各实体点云在广角图像点云b中进行特征匹配，以及校准广角图像点云b。
[0107]
经过点云系统配准将主摄图像点云a与广角图像点云b统一坐标于主摄图像点云a的参考系，即可以认为是统一于世界坐标系。
[0108]
对主摄图像点云a和广角图像点云b两套点云进行统一配准(校准)，可以通过icp算法对主摄图像点云a中各实体点云在广角图像点云b中进行特征匹配，或者通过语义分割网络在点云a和广角图像点云b中得到两个以上相同物体，再计算相同物体在不同点云中的深度差异得到尺寸差异，最后通过尺寸差异进行深度缩放，得到相同尺度下的点云并进行融合配准。
[0109]
s444，生成全场景3d点云e。
[0110]
根据融合点云d各点位置与经过深度预测的广角图像点云b进行配准和融合(例如取点云并集)，生成最终完整的全场景3d点云e。
[0111]
需要说明的是，全场景3d点云e中的每个点都包含该点的坐标系位置信息，以及该点对应的rgb颜色特征和纹理特征，以用于后续三维图像的渲染和形成。
[0112]
本技术中，通过主摄图像点云a对广角图像点云b和双目点云c进行校准，以及将主摄图像点云a、广角图像点云b和双目点云c三个点云统一于同一坐标系可以形成融合的全场景3d点云，融合过程可以是如前s441～s444所示。
[0113]
另外，融合过程也可以是先将主摄图像点云a和广角图像点云b进行融合，再融合双目点云c，或者先将广角图像点云b和双目点云c融合，再融合主摄图像点云a。另外，在融合广角图像点云b和双目点云c之前，可以先通过主摄图像点云a对广角图像点云b和双目点云c进行校准。
[0114]
另外，也可以将主摄图像点云a、广角图像点云b和双目点云c统一于除世界坐标系之外的其他坐标系。
[0115]
请参见图4b，全场景3d点云构建完成后，还包括：
[0116]
s450，3d视角转换和新视角图像生成，直至生成三维图像，即生成视角转换视频。
[0117]
可以通过将假象摄像头(视角)置于3d点云模型中，模拟摄像头的旋转，进行多视角渲染，可以获取对应视角的点云模型，并对原主摄图像和广角图像中未能拍摄到的部分进行颜色和深度等元素的推理预测和补全，可以得到对应视角的图像。通过对连续视角的处理，可以形成3d视角转换后的三维图像，以支持3d视角的移动和转换效果。
[0118]
请继续参见图4b，生成视角转换视频包括：
[0119]
s451，视角转换。
[0120]
以主摄图像的原视角为基础，选定下一视角位置，该下一视角位置可以是在x，y，z方向上平移，也可以是在原地旋转，得到新的俯仰、横滚、偏航角等角度。
[0121]
s452，图像rgb-d(depth map，深度图)补全。
[0122]
获取新视角下的点云和各点对应的rgb颜色特征和纹理特征，根据新视角下各点的rgb颜色特征和纹理特征进行渲染，对新视角中被遮挡的部分进行纹理和深度，以及色彩等进行补全，形成新视角图像。
[0123]
主摄图像点云a可以如图4d所示，视角转换后，侧面需要补充的点云可以是图4e中的a所示部分。转换视角后，会出现图4d原图中被遮挡的角度，以及主摄像头1931的视场角(fov)中拍不到的地方。因此需要对原图的被遮挡的位置进行点云的预测和对应rgb的预测。由于利用主摄图像和广角图像两张具有视差的图像进行点云合成，可以在一定程度上补全新视角下的点云缺失；此外，超出主摄像头1931视野的rgb部分用广角图像的纹理来进行填补，减少需要预测的点的数量，增加视角旋转后的准确性；最后在原始视角中无法得到却在新视角中需要呈现的物体的点云，可以通过点云修补算法(如马尔科夫随机场法)或网络模型(如对抗生成网络模型和u型网络模型)进行补全。
[0124]
s453，生成视频。
[0125]
反复进行步骤s451～s452，通过迭代生成多帧图像，根据多帧图像生成三维图像。
[0126]
生成三维图像后，可以以运动图像专家组格式(moving picture experts group)mpeg，wmv(windows media video)格式、flv(flash video)、mov格式等格式保存该三维图像。
[0127]
进一步地，生成三维图像后，还可以包括：
[0128]
s500，手机100显示三维图像(视频)。
[0129]
如图5f所示，三维图像在照片显示界面30上的显示方式可以为先显示主摄图像，广角图像对用户是隐藏的，然后手机100自动播放该以视频形式存在的三维图像，呈现其他视角的图像。
[0130]
手机100呈现视频的方式可以是从主摄图像视角依次转换至下一视角，例如可以以左-下-右-上方向视角依次呈现，也可以是以左-上-右-下方向视角依次呈现，其可以根据需要设置。在播放完后，恢复到显示主摄图像。
[0131]
示例性的，请参见图5f、图5g和5h，手机100自动播放该以视频形式存在的三维图像可以是在图5f所示的照片显示界面30上，手机100将主摄图像作为主显示图像t0，然后手机100若检测到如图5g所示的用户对主显示图像t0的点击操作(例如双击操作)，则如图5h所示，手机100在第一时间点t1显示第一视角对应的图像t1，在第二个时间点显示第二个视角对应的图像t2，在第三个时间点显示第三个视角对应的图像t3，在第四个时间点显示第四个视角对应的图像t4，然后，在第五个时间点手机100显示主显示图像t0，即手机显示图5f或图5g所示的显示界面，以完成视频播放，并停止播放视频。
[0132]
当然，在主显示图像t0之后也可以不显示图像t1，直接依次显示图像t2、图像t3和图像t4。
[0133]
需要说明的是，本技术中手机100得到图像t2、图像t3和图像t4，可以通过将假象摄像头(视角)置于3d点云模型中，模拟摄像头的旋转，进行多视角渲染，可以获取对应视角的点云模型，并对原主摄图像和广角图像中未能拍摄到的部分进行颜色和深度等元素的推理预测和补全，可以得到对应视角的图像。
[0134]
另外，三维图像在照片显示界面30上的显示方式还可以为先显示主摄图像，广角
图像对用户是隐藏的，若手机100检测到用户对三维图像的播放按钮(可以根据需要设置)的触发操作，则手机100自动播放该以视频形式存在的三维图像。
[0135]
手机100在照片显示界面30上显示三维图像可以是在完成拍照后，直接显示，也可以是根据用户的照片打开操作进行显示。
[0136]
在本技术的另一种实现方式中，手机100在照片显示界面30上显示三维图像(主摄图像)之后，手机100若检测到用户对照片的视角转换操作，呈现相应视角的图像。
[0137]
示例性的，如图6a所示，若用户向左下方滑动三维图像，则手机100的显示画面可以如图6b所示(可以认为是呈现用户的右俯视视角相对应的图像)。
[0138]
如图6c所示，若用户向右下方滑动照片，则手机100的显示画面可以如图6d所示(可以认为是呈现用户的左俯视视角相对应的图像)。
[0139]
如图6e所示，若用户向左上方滑动照片，则手机100的显示画面可以如图6f所示(可以认为是呈现用户的右仰视视角相对应的图像)。
[0140]
另外，还可以在图6b或图6d所示的界面上进一步向其他任意方向滑动照片，以查看更大视野范围内的图像。
[0141]
当然，也可以向上滑动三维图像，或者向下滑动照片，以及向其他任意方向滑动照片，以查看更大视野范围内的图像。
[0142]
进一步地，照片显示界面30上显示的虚线箭头为视角转换操作引导标识，该视角转换操作引导标识可以是在主摄图像显示时，与主摄图像一起显示，也可以是根据用户的视角转换操作进行显示，其可以根据需要选择。
[0143]
本实现方式提供的拍照方法，是以广角摄像头1932为辅助摄像头的双目拍摄方法，其不仅获取广角图像和主摄图像的双目图像，同时保存广角图像(对用户隐藏、不可见)。与现有技术方案相比，以主摄像头1931拍摄的主摄图像为起始视角，视角旋转和变化可延伸至主摄像头1931拍不到但是存在于广角摄像头1932拍摄到的广角图像中的场景，增加视角的旋转范围，提升用户体验增加整个场景的视野范围。
[0144]
此外，通过深度预测分别独自获取主摄图像和广角图像的点云，以及双目点云，进行3种点云的融合。与现有技术方案相比，利用3种点云的融合，形成视野更加广阔的3d模型重建，以及增加视野重合区域的点云稠密度，可以增强转换后效果。
[0145]
本实现方式提供的拍照方法，可以实现将主摄像头1931和广角摄像头1932拍摄的2d照片转换为三维图像，并进行三维点云重建，以增强3d点云准确性，提升3d视角转换的用户体验。此外以高分辨率主摄为起始视野，可以转换后图像中可出现主摄本身不存在但是记录于广角中的信息，提升用户体验。
[0146]
基于用户单次拍摄即可以实现2d图像的3d视角转换，即用户只需要进行一次拍摄操作，手机100同时调用主摄像头1931和广角摄像头1932两个摄像头，获取两张图像，以主摄图像为主，以广角图像为辅，便实现基于单张图像的3d视角转换。
[0147]
通过广角图像、广角图像深度预测产生的点云和双目匹配产生的双目点云，可以提升3d视角转换的准确性。通过主摄图像深度预测、广角图像深度预测、双目匹配三者共同产生的点云，提升点云稠密度和准确性，减少转换视角后需要进行填充的点数，增强3d视角转换后的准确性。
[0148]
通过广角图像，增加2d图像的主摄图像视角转变的范围，增强用户体验。通过单张
2d图像实现的3d视角转换中，旋转范围有限，旋转后新视角所呈现的内容不能超过原2d图像的视野。通过广角图像的辅助，增加视角旋转范围，准确呈现视角旋转前未呈现在2d图像中的物体。
[0149]
本技术还提供一种图像处理方法，该图像处理方法可以应用于前述的电子设备。
[0150]
在本技术的一种实现方式中，该图像处理方法包括：电子设备获取第一图像和第二图像，并根据第一图像和第二图像生成三维图像，其中第一图像包括第一内容，第二图像包括第一图像的第一内容，以及包括第一图像的第一内容以外的第二内容。即可以认为第二图像为视角范围大于第一图像的视角范围的图像。
[0151]
电子设备获取第一图像和第二图像，可以是电子设备通过拍照的方式得到，例如，电子设备可以是前述的手机100，第一图像可以是前述的主摄图像，第二图像可以是前述的广角图像。
[0152]
当然，电子设备也可以是其他设备，第一图像和第二图像也可以是其他场景下的图像。
[0153]
另外，电子设备获取第一图像和第二图像也可以是电子设备从第一图像和第二图像的存储位置或存储设备获取第一图像和第二图像，例如计算机从互联网获取两张照片分别作为第一图像和第二图像，其可以根据需要选择。
[0154]
在本技术的一种实现方式中，生成三维图像之后，该图像处理方法还包括：直接显示对应于不同视角的三维图像。
[0155]
在本技术的一种实现方式中，生成三维图像之后，该图像处理方法还包括：接收用户对三维图像的视角转换操作，并显示与视角转换操作对应视角的三维图像。
[0156]
电子设备根据第一图像和第二图像生成三维图像的过程，可以是电子设备根据第一图像得到第一图像点云，根据第二图像得到第二图像点云，以及根据第一图像和第二图像确定共同区域图像，并根据共同区域图像得到共同区域点云；根据第一图像点云、第二图像点云和共同区域点云得到融合三维点云；根据融合三维点云得到三维图像。
[0157]
得到图像的点云包括通过神经网络深度预测的方式得到图像中各像素的像素深度；根据像素深度得到点云。
[0158]
根据第一图像点云、第二图像点云和共同区域点云得到融合三维点云包括：根据第一图像点云对第二图像点云和共同区域点云进行深度校准；将第一图像点云与校准后的第二图像点云和共同区域点云进行融合，得到融合三维点云。
[0159]
将第一图像点云与校准后的第二图像点云和共同区域点云进行融合，包括：将校准后的第二图像点云和共同区域点云，以及第一图像点云统一于同一坐标系。该同一坐标系可以是世界坐标系。
[0160]
根据融合三维点云得到三维图像，包括：确定第一转换视角；获取第一转换视角对应的第一点云，根据第一点云进行图像渲染和补充，形成与第一转换视角对应的第一二维图像；切换不同的转换视角，并生成对应视角的二维图像；通过多帧对应于不同视角的二维图像形成三维图像。
[0161]
本技术中，共同区域图像的生成过程可以与前述的双目图像的生成过程相同或类似，另外三维图像的生成过程与前述步骤s300-s500相同或类似，以及三维图像的显示也与前述显示相同或类似，此处不再具体说明。
[0162]
本技术提供的图像处理方法，通过第一图像和视角范围大于第一图像的第二图像两张图像生成三维图像，可以增加三维图像视角的旋转范围，提升用户体验增加整个场景的视野范围。
[0163]
本技术还提供一种拍照方法，应用于包括手机和服务器的系统，该拍照方法中手机通过拍照得到前述的主摄图像和广角图像，然后将主摄图像和广角图像发给服务器，服务器根据主摄图像和广角图像生成三维图像，然后服务器将三维图像发送给手机，手机可以如前述的方式显示三维图像。该拍照方法中，服务器生成三维图像可以与前述的手机100生成三维图像的过程相同，此处不再赘述。
[0164]
本技术还提供一种图像处理方法，应用于包括电子设备和服务器的系统，该图像处理方法中电子设备通过拍照得到前述的第一图像和第二图像，然后将第一图像和第二图像发给服务器，服务器根据第一图像和第二图像生成三维图像，然后服务器将三维图像发送给电子设备，电子设备可以如前述的方式显示三维图像。该图像处理方法中，服务器生成三维图像可以与前述的电子设备生成三维图像的过程相同，此处不再赘述。
[0165]
本技术中，服务器可以是云服务器以及其他类型的服务器。
[0166]
另外，服务器也可以是除手机(或电子设备)之外的其他电子设备(例如其他手机、电脑、电视等)，由该其他电子设备生成三维图像后，发给手机(或电子设备)。
[0167]
参见图7，图7所示为根据本技术的一实施方式提供的soc(system on chip，片上系统)1000的结构示意图。在图7中，相似的部件具有同样的附图标记。另外，虚线框是更先进的soc 1000的可选特征。该soc 1000可以被用于根据本技术的任一电子设备，比如根据本技术的任一实施例的电子设备。根据其所在的设备不同以及其内所存储的指令的不同，可以实现相应的功能。
[0168]
在图7中，soc1000包括：互连单元1002，其被耦合至处理器1001；系统代理单元1006；总线控制器单元1005；集成存储器控制器单元1003；一组或一个或多个协处理器1007，其可包括集成图形逻辑、图像处理器、音频处理器和视频处理器；sram(静态随机存取存储器)单元1008；dma(直接存储器存取)单元1004。在一个实施例中，协处理器1007包括专用处理器，诸如例如网络或通信处理器、压缩引擎、gpgpu、高吞吐量mic处理器、或嵌入式处理器等等。
[0169]
sram单元1008中可以包括用于存储数据和/或指令的一个或多个计算机可读介质。计算机可读存储介质中可以存储有指令，具体而言，存储有该指令的暂时和永久副本。该指令可以包括：由处理器中的至少一个单元执行时导致电子设备实施如前述所提到的拍照方法或图像处理方法。
[0170]
本技术公开的机制的各实施例均可以以软件、硬件、固件或这些实现方法的组合等方式实现。本技术的实施例可实现为在可编程系统上执行的计算机程序或程序代码，该可编程程序包括至少一个处理器、存储器(或存储系统，包括易失性和非易失性存储器和/或存储单元)。
[0171]
可将程序代码应用于输入指令，以执行文本描述的各功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。可以理解，在本技术的实施例中，处理系统可以是微处理器、数字信号处理器(dsp)、微控制器、专用集成电路(asic)等，和/或其任何组合。根据另一方面，处理器可以是单核处理器、多核处理器等，和/或其任何组合。
[0172]
程序代码可以用高级程序化语言或面向对象的编程语言来实现，以便与处理器通信。在需要时，也可用汇编语言或机器语言来实现程序代码。事实上，文本中描述的机制不限于任何特定编程语言的范围。在任一情形下，该语言可以是编译语言或解释语言。
[0173]
在一些情况下，所公开的实施例可以以硬件、固件、软件或其他任何组合来实现。所公开的实施例可以被实现为一个或多个暂时或非暂时性及其可读(例如，计算机可读)存储介质承载或存储在其上的指令，其可以由一个多个处理器读取和执行。例如，指令通过网络或气压计算机可读取介质分发。因此，机器可读取介质可以包括用于机器(例如，计算机)可读的形式存储或传输信息的任何机制，包括但不限于，软盘、光盘、光碟、只读存储器(cd-roms)、磁光盘、只读存储器(rom)、随机存取存储器(ram)、可擦除可编程只读存储器(eprom)、电可擦除可编程只读存储器(eeprom)、磁卡或光卡、闪卡、或用于利用因特网以电、光、声或其他形式的传播信号来传输信息(例如，载波、红外信号数字等)的有形的机器可读取存储器。因此，机器可读取介质包括适合于以机器可读的形式存储或传输电子指令或信息的任何类型的机器可读介质。
[0174]
至少一个实施例的一个或多个方面可以由存储在计算机可读取存储介质上的表示性指令来实现，指令表示处理器中的各种逻辑，指令在被机器读取时使得该机制作用于执行文本所述的技术的逻辑。被称为“ip核”的这些表示可以被存储在有形的计算机可读取存储介质上，并被提供给多个客户或生产设备实施以加载到实际制造该逻辑或处理器的制造机器中。
[0175]
在一些情况下，指令转换器可用来将指令从源指令集转移至目标指令集。例如，指令转换器可以变换(例如使用静态二进制变换、包括动态编译的动态二进制变换)、变形、仿真或以其他方式将指令转换成由核来处理的一个或多个其他指令。指令转换器可以用软件、硬件、固件、或其他组合实现。指令转换器可以在处理器上、在处理器外、或者部分在处理器上且部分在处理器外。
[0176]
需要说明的是，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0177]
需要说明的是，在附图中，可以以特定布置和/或顺序示出一些结构或方法特征。然而，应该理解，可能不需要这样的特定布置和/或排序。而是，在一些实施例中，这些特征可以以不同于说明性附图中所示的方式和/或顺序来布置。另外，在特定图中包括结构或方法特征并不意味着暗示在所有实施例中都需要这样的特征，并且在一些实施例中，可以不包括这些特征或者可以与其他特征组合。
[0178]
虽然通过参照本技术的某些优选实施方式，已经对本技术进行了图示和描述，但本领域的普通技术人员应该明白，以上内容是结合具体的实施方式对本技术所作的进一步详细说明，不能认定本技术的具体实施只局限于这些说明。本领域技术人员可以在形式上和细节上对其作各种改变，包括做出若干简单推演或替换，而不偏离本技术的精神和范围。