图像处理电路、装置、方法、电子设备、图像处理芯片及主控芯片与流程

1.本技术属于通信技术领域，具体涉及一种图像处理电路、装置、方法、电子设备、图像处理芯片及主控芯片。


背景技术：

2.目前，用户在使用电子设备进行拍摄时，电子设备可以开启防抖功能，以在拍摄过程中对拍摄对象进行防抖处理，通常，电子设备可以通过在中央处理器(central processing unit，cpu)中对拍摄对象进行防抖算法的处理，从而使得拍摄对象的拍摄效果更为清晰。
3.然而，上述方法中，由于防抖算法的性能较低，导致电子设备对高帧率图像的防抖处理效果较差，因此，电子设备的拍摄效果较差。


技术实现要素：

4.本技术实施例的目的是提供一种图像处理电路、装置、方法、电子设备、图像处理芯片及主控芯片，能够提升了电子设备的拍摄效果。
5.第一方面，本技术实施例提供了一种图像处理电路，该图像处理电路包括：主控芯片和图像处理芯片，主控芯片与所述图像处理芯片连接；主控芯片用于对待图像处理芯片处理的第一图像进行图像界面分离处理，得到用户界面图像和预览图像，该预览图像包括摄像头采集的图像，该用户界面图像包括拍摄预览界面的用户图形区域的信息；图像处理芯片用于对预览图像进行防抖处理，并基于用户界面图像和防抖处理过的预览图像，输出第二图像。
6.第二方面，本技术实施例提供了一种图像处理装置，该图像处理装置包括：图像传感器，主控芯片与图像传感器连接；显示单元与图像处理芯片连接。
7.第三方面，本技术实施例提供了一种图像处理方法，该图像处理方法包括：主控芯片对拍摄预览界面显示的第一图像进行图像界面分离处理，得到用户界面图像和预览图像，该预览图像包括摄像头采集的图像，该用户界面图像包括拍摄预览界面的用户图形区域的信息；图像处理芯片对预览图像进行防抖处理，并基于用户界面图像和防抖处理过的预览图像，输出第二图像。
8.第四方面，本技术实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第三方面所述的方法的步骤。
9.第五方面，本技术实施例提供了一种图像处理芯片，所述处理器芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述通信接口用于传输图像数据，所述处理器用于运行程序或指令，实现如第三方面所述的方法的步骤。
10.第六方面，本技术实施例提供了一种主控芯片，所述芯片包括处理器和通信接口，
所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第三方面所述的方法的步骤。
11.在本技术实施例中，电子设备包括主控芯片和图像处理芯片，且主控芯片与图像处理芯片连接；在主控芯片将第一图像进行图像分离处理，以得到预览图像和用户界面图像，并将预览图像和用户界面图像均输出至图像处理芯片后，从而，图像处理芯片可以对预览图像进行防抖处理，并输出防抖处理后的的第二图像。本方案中，由于可以通过图像处理芯片对预览图像进行处理，从而得到防抖处理后的图像，即图像防抖的算法处理可以由软件级别的处理方式转变为硬件级别的处理方式，从而使得电子设备可以通过cpu和图像处理芯片对拍摄图像进行并行处理，避免了因软件图像防抖算法的效率较低，而导致的对高帧率图像的防抖处理效果较差，如此，在提升了电子设备处理拍摄图像效率的同时，也提升了电子设备的拍摄效果。
附图说明
12.图1是本技术实施例提供的一种图像处理电路的结构示意图之一；
13.图2是本技术实施例提供的一种手机的界面的实例示意图；
14.图3是本技术实施例提供的一种图像处理电路的结构示意图之二；
15.图4是本技术实施例提供的一种图像处理电路的结构示意图之三；
16.图5是本技术实施例提供的一种图像处理电路的结构示意图之四；
17.图6是本技术实施例提供的一种图像处理电路的结构示意图之五；
18.图7是本技术实施例提供的一种图像处理电路的结构示意图之六；
19.图8是本技术实施例提供的一种图像处理电路的结构示意图之七；
20.图9是本技术实施例提供的一种图像处理电路的结构示意图之八；
21.图10是本技术实施例提供的一种图像处理装置的结构示意图；
22.图11是本技术实施例提供的一种图像处理方法的流程图；
23.图12是本技术实施例提供的一种电子设备的硬件结构示意图之一；
24.图13是本技术实施例提供的一种电子设备的硬件结构示意图之二。
具体实施方式
25.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
26.本技术的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
27.下面结合附图，通过具体的实施例及其应用场景对本技术实施例提供的图像处理
电路、装置、方法、电子设备、图像处理芯片及主控芯片进行详细地说明。
28.本技术提供实施例提供的图像处理电路可以应用于电子设备在拍摄图像时，对拍摄图像进行防抖处理的场景中。
29.示例性地，若用户需求拍摄一段自拍视频，则用户可以打开电子设备中的相机应用程序，并切换至录像模式，以使得电子设备进入录像预览模式，在该录像预览模式下，电子设备的屏幕上可以显示第一图像，该第一图像中包括预览图像(即电子设备中摄像头采集的用户的自拍图像)和用户界面图像(例如拍摄控件对应的图像、美颜控件对应的图像和编辑控件对应的图像等)，此时，电子设备中的主控芯片可以对第一图像进行分离处理，以得到预览图像和用户界面图像，从而主控芯片可以采用mipi dsi协议将预览图像和用户界面图像传输至图像处理芯片中，以使得图像处理芯片可以对预览图像进行防抖处理，并基于防抖处理后的预览图像与用户界面图像，在电子设备的屏幕上输出第二图像，即用户在进行自拍录像时，电子设备的屏幕上显示的是经过防抖处理后的第二图像，如此，提升了电子设备的拍摄效果。
30.本技术实施例中，电子设备可以通过图像处理芯片与电子设备的主控芯片连接，从而使得当电子设备获取到拍摄图像的图像数据之后，该图像数据可以通过主控芯片输出至图像处理芯片，在图像处理芯片对图像数据进行防抖处理之后，输出防抖处理后的图像。本方案中，由于电子设备可以通过图像处理芯片对第一图像进行防抖处理，从而将eis的算法处理由软件级别的处理方式转变为硬件级别的处理方式，从而使得电子设备可以通过cpu和图像处理芯片对拍摄图像进行并行处理，如此，在提升了电子设备处理拍摄图像效率的同时，也提升了电子设备的拍摄效果。
31.本技术实施例提供一种图像处理电路，图1示出了本技术实施例提供的一种图像处理电路的结构示意图。如图1所示，本技术实施例提供的电子设备可以包括：主控芯片10和图像处理芯片11。
32.本技术实施例中，上述主控芯片10与图像处理芯片11连接；该主控芯片10用于对待图像处理芯片处理的第一图像进行图像界面分离处理，得到用户界面图像和预览图像，该预览图像包括摄像头采集的图像，该用户界面图像包括拍摄预览界面的用户图形区域的信息；上述图像处理芯片用于对预览图像进行防抖处理，并基于用户界面图像和防抖处理过的预览图像，输出第二图像。本技术实施例中的用户图形区域为包括图形用户界面元素的区域，其中，图形用户界面元素包括拍摄模式控件、控制拍摄的功能控件等控件、拍摄控制标识、用于预览拍摄的内容的预览控件等，例如图2中以32标记的区域，具体包括上方从左到右依次排列的“闪光灯”、“hdr”控件以及“设置”控件的矩形区域，还包括下方的区域，其中包括“全景”、“美颜”、“拍照”、“录像”模式切换控件，圆形的拍摄控件，矩形的摄像头切换控件以及左下角正方形的预览控件。
33.需要说明的是，上述第一图像为电子设备中的整个拍摄预览界面的显示区的图像，即第一图像包括电子设备拍摄得到的预览图像和拍摄预览界面中的控件。
34.示例性地，以电子设备为手机为例，如图2所示，在手机的拍摄预览界面显示有摄像头采集的第一图像，该第一图像包括预览图像31(图2中以31表示)和用户界面图像32(图2中以32表示)，在手机通过摄像头采集第一图像之后，电子设备中的主控芯片可以对第一图像进行分离处理，以得到预览图像和用户界面图像，从而图像处理芯片可以对预览图像
进行防抖处理，并根据用户界面图像和防抖处理过的预览图像，得到第二图像。
35.可选地，本技术实施例中，结合图1，如图3所示，主控芯片包括分离模块12、第一输出端口和第二输出端口，图像处理芯片包括第一输入端口和第二输入端口。
36.其中，分离模块12的第三输出端口(图3中以ui表示)与第一输出端口(图3中以mipi dsi0表示)连接，分离模块12的第四输出端口(图3中以image表示)与第二输出端口(图3中以mipi dsi1表示)连接，第一输入端口(图3中以mipi dsi rx0表示)与第一输出端口连接，该第二输入端口(图3中以mipi dsi rx1表示)与第二输出端口连接。
37.本技术实施例中，上述分离模块用于对第一图像进行分离处理，得到用户界面图像和预览图像；上述第一输出端口用于输出用户界面图像，上述第二输出端口用于输出预览图像，上述第一输入端口用于接收用户界面图像，上述第二输入端口用于接收预览图像。
38.本技术实施例中，电子设备可以通过主控芯片中的分离模块，得到第一图像的用户界面图像和预览图像，主控芯片可以通过dsi0端口(即第一输出端口)，采用标准的dsi mipi协议通过图像处理芯片的dsi rx0端口(即第一输入端口)将用户界面图像输出至图像处理芯片中；并且，主控芯片可以通过dsi1端口(即第二输出端口)，采用同样标准的dsi mipi协议通过图像处理芯片的dsi rx1(即第二输入端口)，将预览图像输出至图像处理芯片中，从而图像处理芯片可以对预览图像进行防抖处理。
39.本技术实施例中，分离模块可以对第一图像进行分离处理，以得到用户界面图像和预览图像，并发送至图像处理芯片中，以使得图像处理芯片可以对预览图像进行防抖处理，从而实现cpu和图像处理芯片的并行处理，如此，提升了电子设备对预览图像进行防抖处理的效率。
40.可选地，本技术实施例中，结合图3，如图4所示，主控芯片还包括第三输入端口、图像信号处理芯片13和存储模块14。
41.其中，图像传感器15与第三输入端口(图4中以mipi csi rx0表示)连接，第三输入端口与存储模块14(图4中以dram表示)连接，存储模块14与所述图像信号处理芯片13(图4中以isp表示)连接，所述图像信号处理芯片13与分离模块12连接；
42.本技术实施例中，上述第三输入端口用于接收图像传感器采集的原始图像，上述图像信号处理芯片用于对原始图像进行图像处理，得到第一图像。
43.本技术实施例中，图像信号处理芯片可以对图像传感器输出的原始图像进行基础效果处理(例如对比度调整、颜色调整或亮度调整)，以得到第一图像。
44.可选地，本技术实施例中，结合图4，如图5所示，图像处理芯片还包括存储模块14、电子图像防抖(electric image stabilization，eis)模块16、图像合成模块17、第五输出端口。
45.其中，存储模块14(图5中以dram表示)的输入端口(图5中以din1表示)分别与第一输入端口、第二输入端口连接；且存储模块14的输出端口(图5中以dout1)分别与图像合成模块17的第四输入端口(图5中以ui表示)和eis模块16(图5中以eis表示)的第五输入端口(图5中以ein1表示)连接；上述eis模块16的第六输出端口(图5中以eout表示)与图像合成模块17的第六输入端口(图5中以image表示)连接；图像合成模块17的第七输出端口(图5中以aout表示)与第五输出端口(图5中以mipidsi tx0表示)连接。
46.本技术实施例中，上述eis模块用于对预览图像进行防抖处理，并输出防抖处理后
的预览图像；上述图像合成模块用于对用户界面图像和防抖处理过的预览进行图像合成处理；上述存储模块用于缓存用户界面图像和预览图像；上述第四输入端口用于接收用户界面图像，上述第六输入端口用于接收防抖处理过的预览图像。
47.本技术实施例中，在图像处理芯片接收到用户界面图像和预览图像之后，图像处理芯片可以通过第一输入端口和第二输入端口将用户界面图像和预览图像分别写入至存储模块中的不同存储单元中，从而eis模块可以对预览图像单独的进行防抖处理，以得到经过防抖处理后的预览图像，从而图像合成模块可以将防抖处理后的预览图像与存储的用户界面图像进行融合，并通过第五输出端口输出。
48.本技术实施例中，由于分离模块可以将拍摄界面中的预览图像和用户界面图像进行分离，从而使得eis模块可以单独的对预览图像进行硬件级别的防抖处理，避免了因防抖算法的性能较低，而导致对高帧率图像的防抖处理效果较差，因此，提升了电子设备的拍摄效果。
49.可选地，本技术实施例中，结合图5，如图6所示，图像处理芯片还包括串行外设接口spi18。
50.其中，spi18(图6中以spi表示)与eis模块16的第七输入端口(图6中以ein2表示)连接。
51.可选地，本技术实施例中，上述图像处理电路还包括陀螺仪传感器19。
52.其中，陀螺仪传感器19(图6中以gyro表示)与spi18连接。
53.本技术实施例中，上述陀螺仪传感器可以为外接陀螺仪传感器，或者可以为图像处理芯片中的传感器；该陀螺仪传感器用于检测抖动信息；上述spi用于实时读取陀螺仪传感器检测到的抖动信息；上述eis模块用于基于抖动信息，对预览图像进行防抖处理，并将防抖处理后的预览图像传输至图像合成模块。
54.本技术实施例中，spi总线与陀螺仪传感器连接，从而使得电子设备可以实时获取预设图像的抖动信息(例如用户手持电子设备时产生的抖动)，并根据该抖动信息对预设图像进行防抖处理。
55.本技术实施例中，eis模块可以通过spi总线与陀螺仪传感器连接，获取抖动信息，从而eis模块可以根据这些抖动信息，实时地对预设图像进行防抖处理，如此，提升了电子设备对预览图像进行防抖处理的准确性。
56.可选地，本技术实施例中，结合图6，如图7所示，上述图像处理电路还包括显示单元20。
57.其中，第五输出端口与显示单元20连接。
58.本技术实施例中，图像合成模块还用于将第二图像发送至显示单元显示。
59.本技术实施例中，图像合成模块可以将用户界面图像和经过防抖处理后的预览图像进行合成，并输出至显示单元，即用户可以在拍摄过程中可以实时查看防抖后的拍摄界面，如此，提升了电子设备的显示效果。
60.可选地，本技术实施例中，结合图7，如图8所示，主控芯片还包括第八输入端口、编码模块21和存储模块14，上述图像处理芯片还包括第八输出端口。
61.其中，第八输出端口(图8中以mipi csi tx1表示)与eis模块16的第九输出端口(图8中以sout表示)连接，第八输入端口(图8中以mipi csi rx1表示)与第八输出端口(图8
中以mipi csi tx1表示)连接，上述第八输入端口与编码模块21连接，编码模块21与存储模块14连接。
62.需要说明的是，上述第八输出端口为图像处理芯片中的端口。
63.本技术实施例中，上述eis模块还用于通过第八输出端口，将防抖处理后的预览图像回传至第八输入端口；上述编码模块用于对第八输入端口接收到的防抖处理后的预览图像进行编码处理；上述存储模块用于存储编码模块编码处理后的预览图像。
64.需要说明的是，为了便于理解，图8中的5个存储模块分别为一个存储模块中的不同存储单元。
65.本技术实施例中，图像处理芯片可以通过第八输出端口将防抖处理后的预览图像通过标准的csi mipi协议回传至主控芯片中，且回传后无需在经过图像信号处理芯片的处理，直接发送至编码模块进行编码，并将编码后的预览图像输出至存储模块中进行储存。
66.可选地，本技术实施例中，结合图8，如图9所示，主控芯片包括第一接口，图像处理芯片包括第二接口。
67.其中，第一接口(图9中以i2c/spi1表示)与第二接口(图9中以i2c/spi2表示)连接。
68.本技术实施例中，上述主控芯片还用于在接收到用户的第一输入的情况下，通过第一接口，控制图像处理芯片切换至录像预览模式，并使能eis模块，上述第一输入为触发开启录像预览模式的输入。
69.本技术实施例中，用户可以通过第一输入，使得电子设备进入录像预览模式，此时，主控芯片可以通过第一接口向图像处理芯片的第二接口发送切换指令，该切换指令用于控制图像处理芯片由bypass模式切换至录像预览模式，并使能图像处理芯片中的eis模块，以对在拍摄预览界面显示的预览图像进行防抖处理。
70.可选地，本技术实施例中，上述第一输入可以为以下任一项：点击输入、滑动输入、长按输入、用户对电子设备的物理按键输入或者物理按键组合输入等。具体可以根据实际需求确定，本技术实施例不作限定。
71.可选地，本技术实施例中，上述主控芯片还用于在接收到用户的第二输入的情况下，通过第一接口，控制图像处理芯片由录像预览模式切换为录像模式，第二输入为触发开始录像的输入；主控芯片还用于在录像模式下，通过第一接口，控制图像处理芯片将防抖处理后的预览图像回传至主控芯片；主控芯片还用于通过第一接口，控制编码模块对主控芯片接收到的防抖处理后的预览图像进行编码处理；主控芯片还用于通过第一接口，控制第三存储模块存储编码模块编码处理后的预览图像。
72.可选地，本技术实施例中，主控芯片还用于在接收到用户的第三输入的情况下，通过第一接口，控制图像处理芯片由录像模式切换为录像预览模式，并控制eis模块停止图像回传以及编码模块停止编码图像，第三输入为触发结束录像的输入。
73.本技术实施例中，主控芯片在接收到用户的第三输入(例如用户点击结束录像控件)之后，主控芯片可以通过第一接口控制图像处理芯片由录像模式切换至录像预览模式，以停止eis模块继续向第八输出端口发送防抖处理后的预览图像，同时，主控芯片也不再对防抖处理后的预览图像进行编码和储存。
74.可选地，本技术实施例中，主控芯片还用于在接收到用户的第四输入的情况下，通
过第一接口，控制图像处理芯片由录像预览模式切换为录像模式，并控制eis模块继续进行图像回传以及编码模块继续进行图像编码，第四输入为触发电子设备继续开启录像模式的输入。
75.本技术实施例提供一种图像处理电路，图像处理电路包括主控芯片和图像处理芯片，在主控芯片将预览图像输出至图像独立处理芯片后，图像处理芯片可以对图像数据进行防抖处理，并输出防抖处理后的图像，本方案中，由于图像处理芯片可以对预览图像进行处理，从而得到防抖处理后的图像，即eis的算法处理可以由软件级别的处理方式转变为硬件级别的处理方式，从而使得电子设备可以通过cpu和图像处理芯片对摄像头采集到的图像进行并行处理，避免了因eis算法的效率较低，而导致的对高帧率图像的防抖处理效果较差，如此，在提升了电子设备处理拍摄图像效率的同时，也提升了电子设备的拍摄效果。
76.本技术实施例提供一种图像处理装置，图10示出了本技术实施例提供的一种图像处理装置的结构示意图。如图10所示，本技术实施例提供的图像处理装置可以包括图像处理电路。
77.需要说明的是，上述图像处理电路可以为上述实施例所述的图像处理电路，针对图像处理电路的说明，可以参见上述实施例中的描述，此处不再赘述。
78.示例性地，如图10所示，上述图像处理装置还包括图像传感器15和显示单元20，主控芯片10与图像传感器15连接；显示单元20与图像处理芯片11连接。
79.本技术实施例提供一种图像处理装置，图像处理装置包括主控芯片和图像处理芯片，在主控芯片将预览图像输出至图像独立处理芯片后，图像处理芯片可以对图像数据进行防抖处理，并输出防抖处理后的图像，本方案中，由于可以通过图像处理芯片对预览图像进行处理，从而得到防抖处理后的图像，即eis的算法处理可以由软件级别的处理方式转变为硬件级别的处理方式，从而使得图像处理装置可以通过cpu和图像处理芯片对拍摄图像进行并行处理，避免了因eis算法的效率较低，而导致的对高帧率图像的防抖处理效果较差，如此，在提升了图像处理装置处理拍摄图像效率的同时，也提升了图像处理装置的拍摄效果。
80.本技术实施例提供一种图像处理方法，图11示出了本技术实施例提供的一种图像处理方法的流程图。如图11所示，本技术实施例提供的图像处理方法可以包括下述的步骤201和步骤202。
81.步骤201、主控芯片对拍摄预览界面显示的第一图像进行图像界面分离处理，得到用户界面图像和预览图像。
82.本技术实施例中，上述预览图像包括摄像头采集的图像，用户界面图像包括拍摄预览界面的用户图形区域的信息。
83.本技术实施例中，图像处理装置可以在显示拍摄预览界面的情况下，获取拍摄预览界面中的第一图像，并传输至主控芯片中的分离模块中，分离模块可以识别出第一图像中的每个图像界面和第一图像中用户界面图像的位置，从而可以分离出第一图像的预览图像和用户界面图像，从而使得图像处理装置可以对预览图像进行处理，以得到第二图像。
84.可选地，本技术实施例中，上述预览图像可以为图像处理装置中的前置摄像头采集的图像；或者，上述预览图像可以为图像处理装置中的后置摄像头采集的图像。
85.可选地，本技术实施例中，上述摄像头可以为以下任一项：广角摄像头、云台摄像
头、微距摄像头或超广角摄像头等。具体可以根据实际需求确定，本技术实施例不作限定。
86.可选地，本技术实施例中，上述用户界面图像可以包括以下至少一项：拍摄控件对应的图像、编辑控件(例如删除控件、添加控件和美颜控件)对应的图像、美颜控件对应的图像和拍摄模式选择控件对应的图像等。
87.可选地，本技术实施例中，用户可以进行拍摄输入，以触发图像处理装置获取第一图像。
88.可选地，本技术实施例中，上述拍摄输入可以为用户对拍摄界面中的拍摄控件的长按输入、点击输入、滑动输入或预设轨迹输入；或者，上述拍摄输入可以为用户对电子设备的物理按键或物理按键组合的按压输入等。具体的可以根据实际使用需求确定，本技术实施例中不做限制。
89.步骤202、图像处理芯片对预览图像进行防抖处理，并基于用户界面图像和防抖处理过的预览图像，输出第二图像。
90.本技术实施例中，图像处理装置可以通过图像处理芯片中的eis模块对预览图像进行防抖处理，并输入至图像合成模块中，以得到第二图像。
91.可选地，本技术实施例中，上述步骤202具体可以通过下述的步骤202a至步骤202c实现。
92.步骤202a、陀螺仪传感器检测抖动信息。
93.本技术实施例中，上述陀螺仪传感器可以检测到图像处理装置的偏转角度和倾斜角度，以获取预览图像的抖动参数。
94.步骤202b、eis模块实时读取陀螺仪传感器检测到的抖动信息，对预览图像进行防抖处理，并将防抖处理后的预览图像传输至图像合成模块。
95.本技术实施例中，在陀螺仪传感器获取预览图像的抖动参数之后，陀螺仪传感器可以将抖动信息发送至图像处理芯片中的eis模块，从而eis模块可以根据抖动信息对预览图像通过影像裁剪补偿方式来对预览数据进行防抖处理，以得到处理后的第二图像，并将防抖处理后的预览图像传输至图像合成模块与用户界面图像进行融合处理。
96.可选地，本技术实施例中，上述抖动信息包括以下至少一项：抖动角速度、抖动速度、抖动频率。
97.步骤202c、图像合成模块对用户界面图像和防抖处理过的预览图像进行图像合成处理，输出第二图像。
98.本技术实施例中，主控芯片可以获取原始图像的层级关系(即预览图像和用户界面图像之间的层级关系)，并发送至图像处理芯片中的图像合成模块中，从而图像合成模块可以该层级关系，对防抖处理后的预览图像与用户界面图像进行图像合成处理，并输出至显示单元。
99.本技术实施例中，由于图像处理装置可以通过陀螺仪传感器检测预览图像的抖动参数，以获取预览图像对应的抖动信息，从而eis模块可以根据抖动信息准确的对预览图像进行防抖处理，并在图像合成模块中对处理后的预览图像和用户界面图像进行合成处理，并输出至显示单元，即用户在拍摄过程中，在图像处理装置的屏幕上显示的是经过防抖处理后的第二图像，如此，提升了图像处理装置的显示效果。
100.本技术实施例提供一种图像处理方法，图像处理装置可以通过主控芯片获取第一
图像的预览图像和用户界面图像，然后，图像处理装置可以通过图像处理芯片对第一图像进行防抖处理，得到并输出第二图像。本方案中，由于图像处理装置可以通过图像处理芯片对第一图像的预览图像进行防抖处理，即eis防抖处理可以由软件级别的处理方式转变为硬件级别的处理方式，从而使得图像处理装置可以通过cpu和图像处理芯片对第一图像进行并行处理，因此避免了因需要在图像处理装置中运行eis防抖算法，导致电子设备的处理速度较慢，以及解决了由于eis防抖算法本身性能较低，而导致图像处理装置对高帧率图像的防抖处理性能较差的问题，因此，在提升了图像处理装置处理拍摄图像效率的同时，也提升了图像处理装置的拍摄效果。
101.可选地，本技术实施例中，在上述步骤201之后，本技术实施例提供的图像处理方法还包括下述的步骤301。
102.步骤301、主控芯片将用户界面图像发送至图像处理芯片的图像合成模块，并将预览图像发送至eis模块。
103.本技术实施例中，在主控芯片中的分离模块将第一图像进行图像界面分离，得到用户界面图像和预览图像之后，一方面，图像处理装置可以通过主控芯片中的第一输出端口将用户界面图像直接传输至图像处理芯片中的图像合成模块，另一方面，通过第二输出端口将预览图像传输至eis模块中，从而，eis模块可以对单独的对预览图像进行防抖处理。
104.本技术实施例中，图像处理装置可以通过eis模块对预览图像进行防抖处理，即电子设备可以将预览图像的防抖处理由软件级别的处理方式转变为硬件级别的处理方式，从而使得图像处理装置可以通过cpu和图像处理芯片对预览图像进行并行处理，提升了电子设备处理第一图像的效率。
105.可选地，本技术实施例中，在上述步骤202之后，本技术实施例提供的图像处理方法还包括下述的步骤401。
106.步骤401、图像处理芯片将第二图像发送至显示单元显示。
107.本技术实施例中，在图像处理芯片中的图像合成模块将用户界面图像和经过防抖处理后的预览界面进行融合处理，得到第二图像之后，图像处理装置可以通过图像处理芯片中的图像合成模块将第二图像通过图像处理芯片中的第五输出端口发送至显示单元，从而可以在显示单元上显示第二图像。
108.本技术实施例中，图像处理装置可以对防抖处理后的预览图像和用户界面图像进行合成处理，并输出至显示单元，从而使得用户可以在拍摄过程中可以实时查看到防抖后的拍摄界面，因此提升了图像处理装置的显示效果。
109.可选地，本技术实施例中，在上述步骤201之前，本技术实施例提供的图像处理方法还包括下述的步骤501和步骤502。
110.步骤501、图像处理装置接收用户的第一输入。
111.本技术实施例中，上述第一输入为触发开启录像预览模式的输入。
112.本技术实施例中，图像处理装置可以通过第一接口接收用户的第一输入，以使得图像处理芯片切换至录像预览模式以开启录像预览模式。
113.可选地，本技术实施例中，上述第一输入可以为以下任一项：长按输入、点击输入、滑动输入或预设轨迹输入；或者，上述第一输入可以为用户对图像处理装置的物理按键或物理按键组合的按压输入等。具体的可以根据实际使用需求确定，本技术实施例中不做限
制。
114.步骤502、图像处理装置响应于第一输入，主控芯片控制图像处理芯片切换至录像预览模式，并使能eis模块。
115.本技术实施例中，图像处理处理装置在接收用户的第一输入之后，主控芯片可以通过第一接口向图像处理芯片的第二接口发送切换指令，该切换指令用于控制图像处理芯片由bypass模式切换至录像预览模式，并使能图像处理芯片中的eis模块，以对在拍摄预览界面显示的预览图像进行防抖处理。
116.可选地，本技术实施例中，上述步骤502之后，本技术实施例提供的图像处理方法还包括下述的步骤502a至502e。
117.步骤502a、图像处理装置接收用户的第二输入。
118.本技术实施例中，上述第二输入为触发开始录像的输入。
119.可选地，本技术实施例中，上述第二输入可以为以下任一项：长按输入、点击输入、滑动输入或预设轨迹输入；或者，上述第二输入可以为用户对图像处理装置的物理按键或物理按键组合的按压输入等。具体的可以根据实际使用需求确定，本技术实施例中不做限制。
120.步骤502b、图像处理装置响应于第二输入，主控芯片控制图像处理芯片由录像预览模式切换为录像模式。
121.本技术实施例中，图像处理装置在接收用户的第二输入之后，主控芯片可以通过第一接口控制图像处理芯片从录像预览模式切换至录像模式。
122.步骤502c、在录像模式下，主控芯片控制图像处理芯片将防抖处理后的预览图像回传至主控芯片.
123.本技术实施例中，在图像处理装置处于录像模式下，图像处理芯片中的eis模块可以通过第八输出端口将经过防抖处理后的预览图像通过标准的csi mipi协议回传给主控芯片的第八输入端口。
124.步骤502d、主控芯片控制编码模块对主控芯片接收到的防抖处理后的预览图像进行编码处理。
125.可以理解，在eis模块将防抖处理后的预览图像回传至主控芯片之后，预览图像无需再经过图像信号处理芯片处理，直接传输至编码模块进行编码和存储。
126.步骤502e、主控芯片控制存储模块存储编码模块编码处理后的预览图像。
127.可选地，本技术实施例中，用户可以将存储后的预览图像发送至其他用户；或者，用户可以对处理后的预览图像进行编辑操作(例如添加图像、添加表情或者添加滤镜)。
128.可选地，本技术实施例中，在上述步骤502b之后，本技术实施例提供的图像处理方法还包括下述的步骤601和步骤602。
129.步骤601、图像处理装置接收用户的第三输入。
130.本技术实施例中，上述第三输入为触发结束录像的输入。
131.可选地，本技术实施例中，上述第三输入可以为以下任一项：长按输入、点击输入、滑动输入或预设轨迹输入；或者，上述第三输入可以为用户对图像处理装置的物理按键或物理按键组合的按压输入等。具体的可以根据实际使用需求确定，本技术实施例中不做限制。
132.步骤602、图像处理装置响应于第三输入，主控芯片控制图像处理芯片由录像模式切换为录像预览模式，并控制eis模块停止发送防抖处理后的图像以及编码模块停止编码图像。
133.本技术实施例中，图像处理装置在接收用户的第三输入之后，主控芯片可以通过第一接口向图像处理芯片发送切换指令，以使得图像处理芯片可以由录像模式切换为录像预览模式，控制eis模块停止预览图像进行防抖处理，并停止发送防抖处理后的预览图像，以及主控芯片中的编码模块和存储模块也不再进行预览图像的编码和存储。
134.可选地，本技术实施例中，在主控芯片接收到用户的第四输入的情况下，通过第一接口，控制图像处理芯片由录像预览模式切换为录像模式，并控制eis模块继续进行图像回传以及编码模块继续进行图像编码，第四输入为触发继续开启录像模式的输入。
135.可选地，本技术实施例中，上述第四输入可以为以下任一项：长按输入、点击输入、滑动输入或预设轨迹输入；或者，上述第三输入可以为用户对图像处理装置的物理按键或物理按键组合的按压输入等。具体的可以根据实际使用需求确定，本技术实施例中不做限制。
136.本技术实施例中的图像处理装置可以是装置，也可以是电子设备中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，umpc)、上网本或者个人数字助理(personal digital assistant，pda)等，非移动电子设备可以为服务器、网络附属存储器(network attached storage，nas)、个人计算机(personal computer，pc)、电视机(television，tv)、柜员机或者自助机等，本技术实施例不作具体限定。
137.本技术实施例中的图像处理装置可以为具有操作系统的装置。该操作系统可以为安卓(android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本技术实施例不作具体限定。
138.本技术实施例提供的图像处理装置能够实现上述方法实施例实现的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
139.可选地，如图12所示，本技术实施例还提供一种电子设备90，包括处理器91，存储器92，存储在存储器92上并可在所述处理器91上运行的程序或指令，该程序或指令被处理器91执行时实现上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
140.需要说明的是，本技术实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
141.图13为实现本技术实施例的一种电子设备的硬件结构示意图。
142.该电子设备100包括但不限于：射频单元101、网络模块102、音频输出单元103、输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、主控芯片10、图像处理芯片11等部件。
143.本技术实施例中，主控芯片10可以为处理器110，或者主控芯片10包括处理器110，即处理器110集成在主控芯片10上。
144.可选地，主控芯片10包括分离模块、第一输出端口和第二输出端口，图像处理芯片
processing unit，gpu)1041和麦克风1042，图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元106可包括显示面板1061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板1061。用户输入单元107包括触控面板1071以及其他输入设备1072。触控面板1071，也称为触摸屏。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器109可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器110可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器110中。
157.本技术实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
158.其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等。
159.本技术实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
160.应理解，本技术实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
161.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本技术实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
162.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本技术各个实施例所述的方法。
163.上面结合附图对本技术的实施例进行了描述，但是本技术并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本技术的启示下，在不脱离本技术宗旨和权利要求所保护的范围情况下，还可做出很多
形式，均属于本技术的保护之内。