变焦控制方法、装置、电子设备和计算机可读存储介质与流程

1.本发明涉及图像处理技术领域，尤其是涉及一种变焦控制方法、装置、电子设备和计算机可读存储介质。


背景技术：

2.光学变焦是通过镜头、物体和焦点三方的位置发生变化而产生的，当成像面在水平方向运动的时候，视角和焦距就会发生变化，更远的景物变得更清晰，让人感觉物体逐渐递进。数码摄像机通常依靠光学镜头结构实现变焦，但在手机等移动设备中，由于单个镜头的厚度不足，无法实现单个镜头的光学变焦，通常依靠双摄或多摄的模组实现变焦。在变焦的过程中，会涉及到摄像头的切换；相关技术中，可以预先对模组进行标定，通过标定参数对切换前后的图像进行校正；但是，如果模组发生碰撞、老化等情况，标定参数就不能真实反映镜头之间的位置关系，导致镜头切换过程中图像发生跳变，影响变焦效果。


技术实现要素：

3.有鉴于此，本发明的目的在于提供一种变焦控制方法、装置、电子设备和计算机可读存储介质，以在模组老化或碰撞的情况下，依然能够保证平滑稳定的变焦效果。
4.第一方面，本发明实施例提供了一种变焦控制方法，方法应用于配置有第一摄像头和第二摄像头的设备；方法包括：获取第一摄像头对应的第一图像和第二摄像头对应的第二图像；当用户输入倍率处于切换倍率区间时，根据第一图像和第二图像的匹配关系，确定第一图像与第二图像之间的平移量，以及第一摄像头和第二摄像头的相对位置关系；根据第一摄像头和第二摄像头的焦距，以及第一图像的尺度，确定切换倍率；根据平移量和相对位置关系处理第一图像，以使用户输入倍率到达切换倍率时，第一图像与第二图像具有相同的尺度和视场角。
5.上述获取第一摄像头对应的第一图像和第二摄像头对应的第二图像的步骤，包括：获取第一摄像头和第二摄像头采集的初始图像；根据用户输入倍率，确定第一摄像头和第二摄像头的图像裁剪系数；根据第一摄像头的图像裁剪系数，对第一摄像头采集的初始图像进行裁剪，得到第一图像；根据第二摄像头的图像裁剪系数，对第一摄像头采集的初始图像进行裁剪，得到第二图像。
6.上述根据用户输入倍率，确定第一摄像头和第二摄像头的图像裁剪系数的步骤，包括：将用户输入倍率确定为第一摄像头的图像裁剪系数；通过下述算式，计算第二摄像头的图像裁剪系数：tscale＝fw/ft*wscale；其中，tscale为第二摄像头的图像裁剪系数；fw为第一摄像头的焦距；ft为第二摄像头的焦距；wscale为第一摄像头的图像裁剪系数。
7.上述根据第一图像和第二图像的匹配关系，确定第一图像与第二图像之间的平移量的步骤，包括：从第一图像中确定指定区域；其中，指定区域包括第一图像的焦点区域或中心区域；确定指定区域在第二图像中的匹配区域；根据指定区域在第一图像中的位置，以及匹配区域在第二图像中的位置，确定平移量。
8.上述根据第一图像和第二图像的匹配关系，确定第一摄像头和第二摄像头的相对位置关系的步骤，包括：从第一图像和第二图像中获取多对相互匹配的特征点；基于多对相互匹配的特征点，确定第一摄像头和第二摄像头的相对位置关系。
9.上述从第一图像和第二图像中获取多对相互匹配的特征点的步骤之前，方法还包括：将第一图像的尺度和第二图像的尺度压缩至预设尺度范围；调整压缩后的第一图像和第二图像的尺度，以使第一图像和第二图像的尺度相匹配。
10.上述从第一图像和第二图像中获取多对相互匹配的特征点的步骤，包括：按照预设的网格参数，将第一图像划分为多个网格区域；从每个网格区域中提取一个特征点，从第二图像中获取与每个特征点相匹配的特征点，得到多对相互匹配的特征点。
11.上述基于多对相互匹配的特征点，确定第一摄像头和第二摄像头的相对位置关系的步骤，包括：将多对相互匹配的特征点输入至对极约束公式中，计算得到本质矩阵；基于本质矩阵，确定第一摄像头与第二摄像头之间的相对位置关系；该相对位置关系包括旋转关系。
12.上述基于本质矩阵，确定第一摄像头与第二摄像头之间的相对位置关系的步骤之后，方法还包括：设置误差方程后，方法还包括：设置误差方程将第一图像和第二图像行对齐作为约束条件，通过预设的优化算法，计算得到当误差方程costf的值最小时，r
wt
的值；其中，r
wt
为优化后的旋转关系；i代表第i个特征点；n代表特征点总量；y
ti
代表第二图像中第i个特征点的y坐标值；表第二图像中第i个特征点的y坐标值；代表第一图像中第i个特征点的匹配点与第二图像中第i个特征点对齐后的y坐标；k
t
代表第二摄像头的内参数；代表第一摄像头的内参数矩阵的逆矩阵；u
w
为第一图像。
13.上述根据第一摄像头和第二摄像头的焦距，以及第一图像的尺度，确定切换倍率的步骤，包括：根据第一摄像头和第二摄像头的焦距，确定初始倍率；基于第一图像的尺度，调整初始倍率，得到切换倍率。
14.上述根据第一摄像头和第二摄像头的焦距，确定初始倍率的步骤，包括：将第二摄像头的焦距与第一摄像头的焦距的比值，确定为初始倍率。
15.上述基于第一图像的尺度，调整初始倍率，得到切换倍率的步骤，包括：通过下述算式，计算得到切换倍率：其中，switchlevel为切换倍率；ft为第二摄像头的焦距；fw为第一摄像头的焦距；s为第一图像的尺度值；tscale为第二摄像头的图像裁剪系数；fw为第一摄像头的焦距；ft为第二摄像头的焦距；wscale为第一摄像头的图像裁剪系数。
16.上述相对位置关系包括：第一摄像头与第二摄像头之间的旋转关系；根据平移量和相对位置关系处理第一图像的步骤，包括：根据旋转关系对第一图像进行旋转处理，得到中间图像；根据平移量对中间图像进行平移处理，得到处理后的第一图像。
17.上述根据旋转关系对第一图像进行旋转处理，得到中间图像的步骤，包括：通过下述算式，计算得到中间图像：其中，i
′
w
为中间图像；
(u0，v0)为第一图像的中心点坐标；switchlevel为切换倍率；userlevel为用户输入倍率；warpping长度为切换倍率与第二摄像头的最低倍率的差值；θ
z
为旋转关系中z纬度上的旋转角度；为h
ot
的逆矩阵；i
w
为第一图像。
18.上述根据平移量对中间图像进行平移处理，得到处理后的第一图像的步骤，包括：根据平移量和用户输入倍率，确定平移矩阵；基于平移矩阵对中间图像进行平移处理，得到处理后的第一图像。
19.上述根据平移量和相对位置关系处理第一图像的步骤之后，方法还包括：确定处理后的第一图像的裁剪区域rect＝[(w
‑
w/c]/2，(h
‑
h/c]/2，w/c，h/c]；其中，w为第一图像的宽度；userlevel为用户输入倍率；wscale为第一摄像头的图像裁剪系数；h为第一图像的高度；根据裁剪区域对第一图像进行裁剪处理。
[0020]
进一步的，当用户输入倍率逐渐放大至切换倍率时，切换倍率区间包括：第二摄像头的倍率范围的最小值至第一摄像头的倍率范围的最大值；当用户输入倍率逐渐缩小至切换倍率时，切换倍率区间包括：第二摄像头的倍率范围的最大值至第一摄像头的倍率范围的最小值。
[0021]
第二方面，本发明实施例提供了一种变焦控制装置，装置设置于配置有第一摄像头和第二摄像头的设备；装置包括：图像获取模块，用于获取第一摄像头对应的第一图像和第二摄像头对应的第二图像；参数确定模块，用于当用户输入倍率处于切换倍率区间时，根据第一图像和第二图像的匹配关系，确定第一图像与第二图像之间的平移量，以及第一摄像头和第二摄像头的相对位置关系；倍率确定模块，用于根据第一摄像头和第二摄像头的焦距，以及第一图像的尺度，确定切换倍率；图像处理模块，用于根据平移量和相对位置关系处理第一图像，以使用户输入倍率到达切换倍率时，第一图像与第二图像具有相同的尺度和视场角。
[0022]
第三方面，本发明实施例提供了一种电子设备，电子设备包括：处理设备和存储装置；存储装置上存储有计算机程序，计算机程序在被处理设备运行时执行如上述变焦控制方法。
[0023]
第四方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理设备运行时执行如上述变焦控制方法的步骤。
[0024]
本发明实施例带来了以下有益效果：
[0025]
上述变焦控制方法、装置、电子设备和计算机可读存储介质，首先获取第一摄像头对应的第一图像和第二摄像头对应的第二图像；当用户输入倍率处于切换倍率区间时，根据第一图像和第二图像的匹配关系，确定第一图像与第二图像之间的平移量，以及第一摄像头和第二摄像头的相对位置关系；根据第一摄像头和第二摄像头的焦距，以及第一图像的尺度，确定切换倍率；根据平移量和相对位置关系处理第一图像，以使用户输入倍率到达
切换倍率时，第一图像与第二图像具有相同的尺度和视场角。
[0026]
该方式通过第一图像和第二图像之间的匹配关系，确定图像之间的平移量和摄像头之间的相对位置关系等参数，基于这些参数处理第一图像；同时，通过摄像头的焦距和图像的尺度，确定切换倍率；从而使用户输入倍率到达切换倍率时，处理后的第一图像和第二图像具有相同的尺度和视场角，实现显示图像的平滑切换，提高了变焦效果；另外，由于该方式无需标定参数，在模组老化或碰撞的情况下，依然能够保证平滑稳定的变焦效果。
[0027]
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
[0028]
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
[0029]
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0030]
图1为本发明实施例提供的一种电子设备的结构示意图；
[0031]
图2为本发明实施例提供的一种变焦控制方法的流程图；
[0032]
图3为本发明实施例提供的一种双摄像头的倍率范围的示意图；
[0033]
图4为本发明实施例提供的另一种双摄像头的倍率范围的示意图；
[0034]
图5为本发明实施例提供的一种以双摄模组为例的变焦控制方法流程；
[0035]
图6为本发明实施例提供的一种变焦控制装置的结构示意图。
具体实施方式
[0036]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0037]
近年来，基于人工智能的计算机视觉、深度学习、机器学习、图像处理、图像识别等技术研究取得了重要进展。人工智能(artificial intelligence，ai)是研究、开发用于模拟、延伸人的智能的理论、方法、技术及应用系统的新兴科学技术。人工智能学科是一门综合性学科，涉及芯片、大数据、云计算、物联网、分布式存储、深度学习、机器学习、神经网络等诸多技术种类。计算机视觉作为人工智能的一个重要分支，具体是让机器识别世界，计算机视觉技术通常包括人脸识别、活体检测、指纹识别与防伪验证、生物特征识别、人脸检测、行人检测、目标检测、行人识别、图像处理、图像识别、图像语义理解、图像检索、文字识别、视频处理、视频内容识别、行为识别、三维重建、虚拟现实、增强现实、同步定位与地图构建(slam)、计算摄影、机器人导航与定位等技术。随着人工智能技术的研究和进步，该项技术在众多领域展开了应用，例如安防、城市管理、交通管理、楼宇管理、园区管理、人脸通行、人
脸考勤、物流管理、仓储管理、机器人、智能营销、计算摄影、手机影像、云服务、智能家居、穿戴设备、无人驾驶、自动驾驶、智能医疗、人脸支付、人脸解锁、指纹解锁、人证核验、智慧屏、智能电视、摄像机、移动互联网、网络直播、美颜、美妆、医疗美容、智能测温等领域。
[0038]
以双摄模组为例，双摄模组通常选择视场角在80度的广角镜头和40度的长焦镜头左右排列；其中，倍率在1x
‑
2x之间，采用广角镜头放大；倍率达到2x时，切换到长焦镜头，倍率大于2x时，采用长焦镜头放大。上述镜头切换方式中，受到镜头和模组的制造工艺影响，在2x倍率时切换镜头往往会存在较明显的图像内容跳变，如相同图像内容的区域发生较大的平移。
[0039]
为了解决上述问题，相关技术中的一种方式是采用硬切方法，就是不做软件算法上的处理，只在模型生产过程中，加大光轴管控精度，该方式的不足之处在于增加了模型的生产难度，降低了产品的优良率，但依然没有解决在摄像头切换时的图像内容跳变的问题。另一种方式是校正对齐方法，通过标定方法，对图像进行立体校正，该方式可以实现基线上下对他和已知摄像头距离情况下的图像对齐；该方式的不足之处在于，一旦模组发生碰撞、老化等，摄像头之间的关系就会发生变化，依然采用原始的标定参数校正图像，还会出现图像内容的跳变，另外，难以知道对焦距离的情况下，图像对齐难度依然很大。最后一种方式是特征点检测对齐，该方方式的不足之处在于，特征点的稳定性和有效检测区域不可控，即感兴趣区域不一定能提取到特征点，导致通过该方式进行图像对齐的效果也不可靠。
[0040]
基于此，本发明实施例提供了一种变焦控制方法、装置、电子设备和计算机可读存储介质，该技术可以应用于安防设备、计算机、手机、摄像机、平板电脑、车辆终端设备等多种带有摄像装置的设备中，该技术可以采用关软件和硬件实现，下面通过实施例进行描述。
[0041]
实施例一：
[0042]
首先，参照图1来描述用于实现本发明实施例的变焦控制方法、装置、电子设备和计算机可读存储介质的示例电子设备100。
[0043]
如图1所示的一种电子设备的结构示意图，电子设备100包括一个或多个处理设备102、一个或多个存储装置104、输入装置106、输出装置108，另外可以包括一个或多个图像采集设备110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，电子设备也可以具有其他组件和结构。
[0044]
处理设备102可以是网关，也可以为智能终端，或者是包含中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元的设备，可以对电子设备100中的其它组件的数据进行处理，还可以控制电子设备100中的其它组件以执行期望的功能。
[0045]
存储装置104可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理设备102可以运行程序指令，以实现下文的本发明实施例中(由处理设备实现)的客户端功能以及/或者其它期望的功能。在计算机可读存储介质中还可以存储各种应用程序和各种数据，例如应用程序使用和/或产生的各种数据等。
[0046]
输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
[0047]
输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。
[0048]
图像采集设备110可以采集预览视频帧或图片数据(如待矫正图片或识别图片)，并且将采集到的预览视频帧或图像数据存储在存储装置104中以供其它组件使用。
[0049]
示例性地，用于实现根据本发明实施例的变焦控制方法、装置、电子设备和计算机可读存储介质的示例电子设备中的各器件可以集成设置，也可以分散设置，诸如将处理设备102、存储装置104、输入装置106和输出装置108集成设置于一体，而将图像采集设备110设置于可以采集到图片的指定位置。当上述电子设备中的各器件集成设置时，该电子设备可以被实现为诸如相机、智能手机、平板电脑、计算机、车载终端、摄像机等智能终端。
[0050]
实施例二：
[0051]
本实施例提供一种变焦控制方法，该方法应用于配置有第一摄像头和第二摄像头的设备；该设备可以配置由第一摄像头和第二摄像头组成的双摄模组，也可以配置由三个或更多摄像头组成的模组；上述第一摄像头和第二摄像头为模组中的两个摄像头；如图2所示，该方法包括如下步骤：
[0052]
步骤s202，获取第一摄像头对应的第一图像和第二摄像头对应的第二图像；
[0053]
上述第一图像和第二图像可以为分别由第一摄像头和第二摄像头采集的初始图像，也可以为初始图像经过处理后的图像；例如，在手机等终端设备中，通常配置由ife(image front end，图像前端处理)、ipe(image processing engine，图像处理引擎)等硬件模块；上述第一图像和第二图像可以为ife处理后输出的图像；其中，第一图像为第一摄像头采集的初始图像经过ife处理后的输出图像；第二图像为第二摄像头采集的初始图像经过ife处理后的输出图像。
[0054]
在初始状态下，设备显示第一图像；本实施例的目的在于，当用户输入倍率不断变化时，确定一个倍率切换点，当用户输入图像到达该倍率切换点时，将显示图像由第一图像切换为第二图像；同时，在到达倍率切换点之前一定的倍率范围内，对第一图像进行处理，使得第一图像切换至第二图像时，图像可以平滑过渡，不出现图像内容跳变的现象。
[0055]
一个具体的示例中，上述第一摄像头可以为副摄像头，第一摄像头可以为广角镜头，具有较大的视场角；上述第二摄像头可以为主摄像头，第二摄像头为长焦镜头。在初始状态下，用户输入倍率通常较低，此时通过第一摄像头实现变焦，同时，设备显示的图像为第一图像。当用户输入倍率不断增加时，在某个倍率切换点下，切换第二摄像头实现变焦，同时设备显示的图像为第二图像。
[0056]
另一个示例中，上述第一摄像头为长焦镜头；第二摄像头为广角镜头；在初始状态下，用户输入倍率较高，此时通过第一摄像头实现变焦，同时，设备显示的图像为第一图像。当用户输入倍率不断降低时，在某个倍率切换点下，切换第二摄像头实现变焦，同时设备显示的图像为第二图像。
[0057]
步骤s204，当用户输入倍率处于切换倍率区间时，根据第一图像和第二图像的匹配关系，确定第一图像与第二图像之间的平移量，以及第一摄像头和第二摄像头的相对位置关系；
[0058]
摄像头的倍率范围由摄像头的硬件决定；模组安装完毕后，第一摄像头的倍率范围与第二摄像头的倍率范围即可确定；且，为了实现稳定变焦，通常设置第一摄像头的倍率范围和第二摄像头的倍率范围具有一定的重合范围，当用户输入倍率到达该重合范围时，即开始计算上述平移量和相对位置关系。上述切换倍率区间可以理解为第一摄像头的倍率范围和第二摄像头的倍率范围的重合范围。当用户输入倍率处于切换倍率区间时，该用户输入倍率同时属于第一摄像头的倍率范围和第二摄像头的倍率范围。
[0059]
第一图像和第二图像的匹配关系，具体可以为第一图像和第二图像之间特定区域的匹配关系，也可以为特定特征点的匹配关系；基于这些匹配关系，确定第一图像与第二图像之间的平移量，以及第一摄像头和第二摄像头的相对位置关系；这里的相对位置关系可以是旋转关系、xyz坐标关系等位置关系中的一种或多种。在确定平移量和相对位置关系的过程中，可能还会涉及到焦距等模组参数，以及第一摄像头和第二摄像头的内参数、外参数等各类参数参与计算。
[0060]
步骤s206，根据第一摄像头和第二摄像头的焦距，以及第一图像的尺度，确定切换倍率；
[0061]
当摄像头的焦距标定的较为准确时，通过第一摄像头和第二摄像头的焦距，可以直接得到切换倍率；但如果模组老化，或者发生碰撞，摄像头的焦距可能会变化，再通过原始的标定焦距确定出的切换倍率，就会不合适，在该切换倍率切换摄像头，依然会出现图像内容跳变的现象。基于此，本实施例中在确定切换倍率时，不仅需要考虑第一摄像头和第二摄像头的焦距，还需要考虑图像的尺度，从而提高切换倍率的准确性。
[0062]
一种具体的方式中，可以通过第一摄像头和第二摄像头的焦距，确定切换倍率的初始值，然后基于第一图像的尺度，对切换倍率的初始值进行调整，得到最终的切换倍率。另外，也可以同时基于第一图像和第二图像的尺度，对切换倍率的初始值进行调整，得到最终的切换倍率。
[0063]
步骤s208，根据平移量和相对位置关系处理第一图像，以使用户输入倍率到达切换倍率时，第一图像与第二图像具有相同的尺度和视场角。
[0064]
这里的平移量可以理解为相同的图像内容，在第一图像和第二图像的位置之差；相对位置关系可以理解为以第二摄像头为坐标系原点，第一摄像头在坐标系下的位置，该相对位置关系通常包括旋转关系、平移关系等。平移量和相对位置关系可以反映第一图像和第二图像的差异，通过平移量和相对位置关系对第一图像进行处理，可以使第一图像与第二图像在切换倍率时，具有相同的尺度和视场角，即，可以理解为第一图像与第二图像相同。
[0065]
在实际实现时，为了实现图像的平滑过渡，在接近但未到达切换倍率的倍率范围时，该倍率范围也可以成为warping区间；用户输入倍率进入该区间内，即可开始对第一图像进行处理，随着用户输入倍率的变化，处理第一图像的平移量和相对位置关系的具体参数也应当变化，例如，这些参数可以形成一个以倍率为自变量的线性函数，使得用户输入倍率在warping区间时，处理后的第一图像逐渐接近第二图像，当用户输入倍率到达切换倍率时，第一图像与第二图像的尺度和视场角均相同。此时，当显示图像从第一图像切换至第二图像时，图像不存在明显的内容跳变。当用户输入倍率到达切换倍率时，显示第二图像。
[0066]
上述变焦控制方法，首先获取第一摄像头对应的第一图像和第二摄像头对应的第
二图像；当用户输入倍率处于切换倍率区间时，根据第一图像和第二图像的匹配关系，确定第一图像与第二图像之间的平移量，以及第一摄像头和第二摄像头的相对位置关系；根据第一摄像头和第二摄像头的焦距，以及第一图像的尺度，确定切换倍率；根据平移量和相对位置关系处理第一图像，以使用户输入倍率到达切换倍率时，第一图像与第二图像具有相同的尺度和视场角。
[0067]
该方式通过第一图像和第二图像之间的匹配关系，确定图像之间的平移量和摄像头之间的相对位置关系等参数，基于这些参数处理第一图像；同时，通过摄像头的焦距和图像的尺度，确定切换倍率；从而使用户输入倍率到达切换倍率时，处理后的第一图像和第二图像具有相同的尺度和视场角，实现显示图像的平滑切换，提高了变焦效果；另外，由于该方式无需标定参数，在模组老化或碰撞的情况下，依然能够保证平滑稳定的变焦效果。
[0068]
实施例三：
[0069]
本实施例重点描述第一图像和第二图像的获取方式。首先，获取第一摄像头和第二摄像头采集的初始图像；根据用户输入倍率，确定第一摄像头和第二摄像头的图像裁剪系数。
[0070]
对于双摄模组而言，常见的摄像头包括视场角为120度的超广角镜头、80度的广角镜头、45度的长焦镜头和25度的潜望式镜头等；其中的超广角镜头和广角镜头的组合、以及长焦镜头和潜望式镜头的组合是常见的双摄模组的组合。上述用户输入倍率通常由设备的用户操作设备的相关控件或按钮输入。设备中通常设置有倍率转换库，用户输入倍率输入至该倍率转换库，即可输出上述第一摄像头和第二摄像头的图像裁剪系数。
[0071]
作为一种实施方式，该倍率转换库可以将用户输入倍率确定为第一摄像头的图像裁剪系数；通过下述算式，计算第二摄像头的图像裁剪系数：
[0072]
tscale＝fw/ft*wscale；
[0073]
其中，tscale为第二摄像头的图像裁剪系数；fw为第一摄像头的焦距；ft为第二摄像头的焦距；wscale为第一摄像头的图像裁剪系数。
[0074]
这里需要说明的是，tscale和wscale均具有一定的范围；其中，当tscale小于1时，设置tscale等于1.0；并且，当wscale和tscale大于2.0x时，均设置为最大值2.0，该最大值取决于ife模块的裁剪的最大倍率；如果超过该最大值，则容易导致图像模糊不清；当然，根据设备的处理能力的不同，上述最大值可以更小或更大。
[0075]
另外，当用户输入倍率进入warping区间后，因为需要对第一图像进行旋转和平移处理，此时一般会将wscale变小，增加10度左右的视场角冗余，避免第一图像进行旋转和平移处理后，出现黑边现象。
[0076]
如图3所示，当第一摄像头为广角镜头，第二摄像头为长焦镜头时，带箭头的实线代表第一摄像头的倍率范围，带箭头的虚线代表第二摄像头的倍率范围；黑点代表切换倍率的位置点；第二摄像头的倍率范围的最小值至切换倍率之间，为warping区间；第二摄像头的倍率范围的最小值至第一摄像头的倍率范围的最大值之间，为双摄区间。
[0077]
上述双摄区间也可以理解为倍率切换区间，当所述用户输入倍率逐渐放大至切换倍率时，该切换倍率区间包括：第二摄像头的倍率范围的最小值至第一摄像头的倍率范围的最大值。
[0078]
如图4所示，当第一摄像头为长焦镜头，第二摄像头为广角镜头时，带箭头的实线
代表第一摄像头的倍率范围，带箭头的虚线代表第二摄像头的倍率范围；黑点代表切换倍率的位置点；第二摄像头的倍率范围的最大值至切换倍率之间，为warping区间；第二摄像头的倍率范围的最大值至第一摄像头的倍率范围的最小值之间，为双摄区间。
[0079]
上述双摄区间也可以理解为倍率切换区间，当用户输入倍率逐渐缩小至切换倍率时，该切换倍率区间包括：第二摄像头的倍率范围的最大值至第一摄像头的倍率范围的最小值。
[0080]
确定图像裁剪系数之后，根据第一摄像头的图像裁剪系数，对第一摄像头采集的初始图像进行裁剪，得到第一图像；根据第二摄像头的图像裁剪系数，对第一摄像头采集的初始图像进行裁剪，得到第二图像。裁剪操作可以通过前述ife模型实现，具体的裁剪方式可以是中心裁剪，也可以使其他裁剪方式。
[0081]
实施例四：
[0082]
本实施例重点描述图像之间的平移量以及摄像头之间的相对位置关系的计算方式。首先，可以通过下述步骤30
‑
步骤34确定第一图像与第二图像之间的平移量：
[0083]
步骤30，从第一图像中确定指定区域；其中，该指定区域包括第一图像的焦点区域或中心区域；
[0084]
具体的，第一图像的焦点区域可以理解为第一图像的对焦点所在的图像区域，该图像区域的尺度可以预先设置；用户可以在屏幕上点击，将点击位置确定为对焦点，从而确定焦点区域，此时的指定区域可以为焦点区域。如果用户没有确定对焦点，则可以将第一图像的中心区域确定为指定区域，中心区域的尺度也可以预先设置。
[0085]
步骤32，确定指定区域在第二图像中的匹配区域；
[0086]
可以通过图像识别或特征点匹配的方式，从第二图像中获取与指定区域相匹配的匹配区域；第二图像中的匹配区域的图像内容通常与第一图像中的指定区域的图像内容相同。
[0087]
步骤34，根据指定区域在第一图像中的位置，以及匹配区域在第二图像中的位置，确定平移量。
[0088]
由于第一摄像头和第二摄像头的位置不同，相同图像内容在第一图像和在第二图像中的位置也就不同；指定区域在第一图像中的位置，以及匹配区域在第二图像中的位置，均可以通过坐标表示，通过坐标计算，即可得到上述平移量。
[0089]
需要说明的是，当用户输入倍率进入图3所示的双摄区间后，可以设置每10帧图像计算一次平移量，计算平移量的频率也可以设置为其他值，通常计算平移量的频率较高，主要是考虑到每个场景的平移量都不同，较高频率的计算平移量，可以及时获取到当前场景的平移量。
[0090]
作为一种实施方式，可以通过下述步骤40
‑
步骤46确定第一摄像头和第二摄像头的相对位置关系：
[0091]
步骤40，第一图像的尺度和第二图像的尺度压缩至预设尺度范围；可以采用resize功能对图像进行压缩，比如，把1000*750大小的图像压缩成500*375大小的图像；对图像进行压缩可以提高提取特征点的性能。
[0092]
步骤42，调整压缩后的第一图像和第二图像的尺度，以使第一图像和第二图像的尺度相匹配。该步骤的操作也可以称为图像尺度对齐，在具体是现实，可以根据第一摄像头
和第二摄像头的焦距，以及第一图像和第二图像的图像裁剪系数进行图像尺度对齐操作。一种具体的实现方式中，可以仅调整第一图像的尺度，第一图像的尺度s的计算方式如下：
[0093][0094]
其中，tscale为第二摄像头的图像裁剪系数；fw为第一摄像头的焦距；ft为第二摄像头的焦距；wscale为第一摄像头的图像裁剪系数。
[0095]
步骤44，从第一图像和第二图像中获取多对相互匹配的特征点；
[0096]
可以先从第一图像中选择一定数量的特征点，然后再通过特征点匹配的方式，从第二图像中寻找每个特征点相匹配的特征点；为了使特征点的分布更加均匀，一种具体的实现方式中，按照预设的网格参数，将第一图像划分为多个网格区域；从每个网格区域中提取一个特征点，从第二图像中获取与每个特征点相匹配的特征点，得到多对相互匹配的特征点。例如可以通过网格等分的方式划分得到多个网格区域，在每个网格区域中，使用orb(oriented fast and rotated brief的简称，其中的fast和brief均为算法名称)等特征提取算法，提取一个较为稳定的特征点，然后使用lk(lucas kanade的简称)光流方法在第二图像中追踪每个特征点的匹配点，然后再采用ransac(random sample consensus，随机抽样一致性)方法提纯匹配点。
[0097]
步骤46，基于多对相互匹配的特征点，确定第一摄像头和第二摄像头的相对位置关系。
[0098]
作为步骤46的一种实施方式，确定相对位置关系需要采用对极约束公式，该对极约束公式可以表示为：约束公式可以表示为：其中，e为本质矩阵，f为基础矩阵，t为平移矩阵，表征第一摄像头和第二摄像头之间的平移关系；r为旋转矩阵，表征第一摄像头和第二摄像头之间的旋转关系；k为第一摄像头的内参数矩阵；由于第一图像和第二图像进行了图像尺度对齐操作，因而第一图像和第二图像的尺度一致，所以这里的第一摄像头的内参数的初始值可以设置为和第二摄像头的内参数一致。k
t
为k的转置矩阵，k
‑1为k的逆矩阵；x1＝k
‑1p1；p1为第一图像中的一个特征点，p2为第二图像中与p1相匹配的特征点；x2＝k
‑1p2；为x2的转置矩阵；为p2的转置矩阵。
[0099]
然后，将多对相互匹配的特征点输入至对极约束公式中，计算得到本质矩阵；基于该本质矩阵，确定第一摄像头与第二摄像头之间的相对位置关系，该相对位置关系具体可以为旋转关系。具体的，可以通过八对相互匹配的特征点通过上述对极约束公式计算得到本质矩阵e，然后采用svd(singular value decomposition，奇异值分解)和三角重建原理分解得到外参数，即上述旋转矩阵r和平移矩阵t。
[0100]
本实施例中，主要用到了外参数中的旋转矩阵r，为了使r得值更加准确，这里还需要对r进行进一步地优化。假设校正后的第一图像和第二图像的尺度均为s，第二摄像头的焦距为ft，则，此时第一摄像头的焦距修正为f
′
w
＝f
t
/s。默认的主点均为图像中心点；焦距和主点均属于摄像头的内参数。
[0101]
首先，设置误差方程将第一图像和第二图像行对齐作为约束条件，通过预设的优化算法，计算得到当误差方程costf的值最小时，r
wt
的值；其中，r
wt
为优化后的旋转关系；i代表第i个特征点；n代表特征
点总量；y
ti
代表第二图像中第i个特征点的y坐标值；代表第一图像中第i个特征点的匹配点与第二图像中第i个特征点对齐后的y坐标；k
t
代表第二摄像头的内参数；代表第一摄像头的内参数矩阵的逆矩阵；u
w
为第一图像。
[0102]
上述也可以称为第一摄像头向第二摄像头的对齐公式；上述优化算法可以为lederberg
‑
marquardt优化算法，从而优化出准确的参数r，将r转换成角度(θ
x
，θ
y
，θ
z
)输出。
[0103]
上述方式中，通过图像匹配的方式对图像进行校正，得到相互匹配的图像，可以在图像切换前后，不出现明显的图像旋转和平移的问题，使得图像可以平滑过渡。
[0104]
实施例五：
[0105]
本实施例重点描述切换倍率的计算方式，具体可以通过下述步骤50
‑
步骤52确定切换倍率：
[0106]
步骤50，根据第一摄像头和第二摄像头的焦距，确定初始倍率；
[0107]
假设在相同的分辨率下，第一摄像头的焦距为和，第二摄像头的焦距为ft，则可以将第二摄像头的焦距与第一摄像头的焦距的比值ft/fw，确定为初始倍率。
[0108]
步骤52，基于第一图像的尺度，调整初始倍率，得到切换倍率。
[0109]
切换倍率可以理解为，在该切换倍率下，第一图像和第二图像的尺度和视场角均一致，当用户输入倍率为切换倍率时，将显示图像由第一图像切换至第二图像。具体可以通过下述算式，计算得到切换倍率：
[0110][0111]
其中，switchlevel为切换倍率；ft为第二摄像头的焦距；fw为第一摄像头的焦距；s为第一图像的尺度值，经尺度匹配之后，第一图像和第二图像的尺度值相同；tscale为第二摄像头的图像裁剪系数；fw为第一摄像头的焦距；ft为第二摄像头的焦距；wscale为第一摄像头的图像裁剪系数。
[0112]
通过上述方式可以计算出准确的切换倍率，在该切换倍率下切换图像，可以使切换前后的图像的视场角一致，使得切换图像可以平滑过渡。
[0113]
实施例六：
[0114]
本实施例重点描述根据平移量和相对位置关系处理第一图像的具体实现方式。这里的相对位置关系主要包括：第一摄像头与第二摄像头之间的旋转关系；本实施例主要采用先旋转后平移的方式，处理第一图像，共包括下述步骤60和步骤62：
[0115]
步骤60，根据旋转关系对第一图像进行旋转处理，得到中间图像；
[0116]
这里的旋转关系表征了第一摄像头相对于第二摄像头的旋转关系，基于该旋转关系处理第一图像，可以将第一图像的视场角校正至与第二图像相匹配的状态；具体的，可以通过下述算式，计算得到中间图像：
[0117]
[0118]
其中，i
′
w
为中间图像；(u0，v0)为第一图像的中心点坐标；switchlevel为切换倍率；userlevel为用户输入倍率；warpping长度为切换倍率与第二摄像头的最低倍率的差值；θ
z
为旋转关系中z纬度上的旋转角度；为h
ot
的逆矩阵；i
w
为第一图像。
[0119]
其中，令上述算式也可以表示成：i
′
w
＝h
rotate
*i
w
；其中的h
ot
的逆矩阵可以将图像中心移至坐标系的原点，h
ot
矩阵可以将旋转后的图像移动回图像中心；h
r
为图像二维旋转公式。
[0120]
步骤62，根据平移量对中间图像进行平移处理，得到处理后的第一图像。
[0121]
这里的平移量可以理解为平移总量，该平移总量需要均匀地分布至warping区间，即在该warping区间内，用户输入倍率与平移量之间呈线性变化，当用户输入倍率到达warping区域中的倍率最大值时，即切换倍率，平移量达到最大，即上述平移总量。
[0122]
基于上述，首先要根据平移量和用户输入倍率，确定平移矩阵；基于该平移矩阵对中间图像进行平移处理，得到处理后的第一图像。其中，该平移矩阵其中，其中，switchlevel为切换倍率；userlevel为用户输入倍率；warpping长度为切换倍率与第二摄像头的最低倍率的差值；t为平移量；t
x
为t的x维度的数值；t
y
为t的y维度的数值。
[0123]
上述t的公式中，中的userlevel此时等于wscale，即第一摄像头的图像裁剪系数；平移量t是在切换倍率switchlevel下的平移量，通过可以将平移量转换到wscale下。
[0124]
综上，对第一图像进行图像旋转和平移的总的表达式为：h
algo
＝h
shift
*h
rotate
。第一图像处理完成后，为了便于后续的ipe模块对图像进行进一步处理，需要先确定处理后的第一图像的裁剪区域rect＝[(w
‑
w/c]/2，(h
‑
h/c]/2，w/c，h/c]；其中，w为第一图像的宽度；userlevel为用户输入倍率；wscale为第一摄像头的图像裁剪系数；h为第一图像的高度。然后根据裁剪区域对第一图像进行裁剪处理；具体的，可以通过图像处理引擎ipe模块对第一图像进行裁剪处理，并显示裁剪处理后的所述第一图像。ipe模块除了对第一图像进行裁剪处理，通常还对第一图像进行降噪、颜色处理、细节增强等图像处理过程，从而提高第一图像的显示效果。
[0125]
上述剪裁区域的计算公式，可以应用于图3或图4所示的双摄区间内的用户输入倍率，在双摄区间以外的倍率下，即单摄区间中，由于第一图像的wscale＝userlevel，此时无需对第一图像进行处理，第一图像的裁剪区域为第一图像的全图，即rect＝[0，0，w，h]。
[0126]
为了便于理解，图5示出了以双摄模组为例的变焦控制方法流程；图5中的图像数据流包括前述第一摄像头和第二摄像头采集的初始图像，ife模块基于图像裁剪系数wscale和tscale对初始图像进行尺度调整，得到前述第一图像和第二图像；当用户输入倍率属于双摄区域时，对第一图像和第二图像进行尺度校正后，通过前述实施例的方式计算旋转角度、平移量和切换倍率；然后根据旋转角度和平移量处理图像，根据切换倍率、平移量和userlevel计算裁剪区域rect。如果用户输入倍率不属于双摄区域，则根据用户输入倍率userlevel本身计算裁剪区域rect；计算得到的裁剪区域输入值ipe模块，用于对第一图像进行进一步处理。
[0127]
上述实施例中，提出了一种无需标定参数的变焦控制方案。基于图像匹配的方式计算出准确的旋转角度和切换倍率，在该切换倍率时，两个摄像头对应的图像的视场角，实现图像的平滑过渡，与基于标定参数的变焦控制方案具有同样的用户体验。
[0128]
该方案的基本思路为：首先获取双摄模组的基本信息，包括焦距、像元尺寸、图像分辨率和模组组装位置参数(tx，ty，tz)。然后根据模组的基本信息计算出初始切换倍率，该倍率由于是模组参数计算出来的，是存在一定误差的。然后采用大视场角的图像向小视场角的图像旋转平移的方案，在双摄共存区间，利用多线程方式计算当前模组准确切换倍率，图像旋转对齐角度和平移量。最后可以根据上述计算数据实现图像平滑切换方案。上述变焦控制方式无需模组生产线标定参数，计算方式简单可靠，大大降低了模组的生产成本，且变焦控制的性能较好，能够适用于各种中高端手机等终端设备，以及双摄，三摄乃至多摄模组的光学平滑切换方案，推动了多摄变焦方案的推广。
[0129]
需要说明的是，上述实施例以双摄模组为例描述变焦控制方法，由于多摄模组也是由双摄组合而成，因此多摄模组也可以应用前述实施例中的变焦控制方法。
[0130]
实施例七：
[0131]
对应于上述方法实施例，参见图6所示的一种变焦控制装置的结构示意图，该装置设置于配置有第一摄像头和第二摄像头的设备；该装置包括：
[0132]
图像获取模块60，用于获取第一摄像头对应的第一图像和第二摄像头对应的第二图像；
[0133]
参数确定模块62，用于当用户输入倍率处于切换倍率区间时，根据第一图像和第二图像的匹配关系，确定第一图像与第二图像之间的平移量，以及第一摄像头和第二摄像头的相对位置关系；
[0134]
倍率确定模块64，用于根据第一摄像头和第二摄像头的焦距，以及第一图像的尺度，确定切换倍率；
[0135]
图像处理模块66，用于根据平移量和相对位置关系处理第一图像，以使用户输入倍率到达切换倍率时，第一图像与第二图像具有相同的尺度和视场角。
[0136]
上述变焦控制装置，首先获取第一摄像头对应的第一图像和第二摄像头对应的第二图像；当用户输入倍率处于切换倍率区间时，根据第一图像和第二图像的匹配关系，确定第一图像与第二图像之间的平移量，以及第一摄像头和第二摄像头的相对位置关系；根据第一摄像头和第二摄像头的焦距，以及第一图像的尺度，确定切换倍率；根据平移量和相对位置关系处理第一图像，以使用户输入倍率到达切换倍率时，第一图像与第二图像具有相同的尺度和视场角。
[0137]
该方式通过第一图像和第二图像之间的匹配关系，确定图像之间的平移量和摄像头之间的相对位置关系等参数，基于这些参数处理第一图像；同时，通过摄像头的焦距和图像的尺度，确定切换倍率；从而使用户输入倍率到达切换倍率时，处理后的第一图像和第二图像具有相同的尺度和视场角，实现显示图像的平滑切换，提高了变焦效果；另外，由于该方式无需标定参数，在模组老化或碰撞的情况下，依然能够保证平滑稳定的变焦效果。
[0138]
上述图像获取模块还用于：获取第一摄像头和第二摄像头采集的初始图像；根据用户输入倍率，确定第一摄像头和第二摄像头的图像裁剪系数；根据第一摄像头的图像裁剪系数，对第一摄像头采集的初始图像进行裁剪，得到第一图像；根据第二摄像头的图像裁剪系数，对第一摄像头采集的初始图像进行裁剪，得到第二图像。
[0139]
上述图像获取模块还用于：将用户输入倍率确定为第一摄像头的图像裁剪系数；通过下述算式，计算第二摄像头的图像裁剪系数：
[0140]
tscale＝fw/ft*wscale；
[0141]
其中，tscale为第二摄像头的图像裁剪系数；fw为第一摄像头的焦距；ft为第二摄像头的焦距；wscale为第一摄像头的图像裁剪系数。
[0142]
上述参数确定模块，还用于：从第一图像中确定指定区域；其中，指定区域包括第一图像的焦点区域或中心区域；确定指定区域在第二图像中的匹配区域；根据指定区域在第一图像中的位置，以及匹配区域在第二图像中的位置，确定平移量。
[0143]
上述参数确定模块还用于：从第一图像和第二图像中获取多对相互匹配的特征点；基于多对相互匹配的特征点，确定第一摄像头和第二摄像头的相对位置关系。
[0144]
上述装置还包括图像预处理模块，用于将第一图像的尺度和第二图像的尺度压缩至预设尺度范围；调整压缩后的第一图像和第二图像的尺度，以使第一图像和第二图像的尺度相匹配。
[0145]
上述参数确定模块还用于：按照预设的网格参数，将第一图像划分为多个网格区域；从每个网格区域中提取一个特征点，从第二图像中获取与每个特征点相匹配的特征点，得到多对相互匹配的特征点。
[0146]
上述参数确定模块还用于：将多对相互匹配的特征点输入至对极约束公式中，计算得到本质矩阵；基于本质矩阵，确定第一摄像头与第二摄像头之间的相对位置关系；该相对位置关系包括旋转关系。
[0147]
上述装置还包括参数优化模块，用于：设置误差方程上述装置还包括参数优化模块，用于：设置误差方程将第一图像和第二图像行对齐作为约束条件，通过预设的优化算法，计算得到当误差方程costf的值最小时，r
wt
的值；其中，r
wt
为优化后的旋转关系；i代表第i个特征点；n代表特征点总量；y
ti
代表第二图像中第i个特征点的y坐标值；代表第一图像中第i个特征点的匹配点与第二图像中第i个特征点对齐后的y坐标；k
t
代表第二摄像头的内参数；代表第一摄像头的内参数矩阵的逆矩阵；u
w
为第一图像。
[0148]
上述倍率确定模块，还用于：根据第一摄像头和第二摄像头的焦距，确定初始倍率；基于第一图像的尺度，调整初始倍率，得到切换倍率。
[0149]
上述倍率确定模块，还用于：将第二摄像头的焦距与第一摄像头的焦距的比值，确
定为初始倍率。
[0150]
上述倍率确定模块，还用于：通过下述算式，计算得到切换倍率：
[0151][0152]
其中，switchlevel为切换倍率；ft为第二摄像头的焦距；fw为第一摄像头的焦距；s为第一图像的尺度值；tscale为第二摄像头的图像裁剪系数；fw为第一摄像头的焦距；ft为第二摄像头的焦距；wscale为第一摄像头的图像裁剪系数。
[0153]
上述相对位置关系包括：第一摄像头与第二摄像头之间的旋转关系；上述图像处理模块，还包括：根据旋转关系对第一图像进行旋转处理，得到中间图像；根据平移量对中间图像进行平移处理，得到处理后的第一图像。
[0154]
上述图像处理模块，还用于：通过下述算式，计算得到中间图像：
[0155][0156]
其中，i
′
w
为中间图像；(u0，v0)为第一图像的中心点坐标；switchlevel为切换倍率；userlevel为用户输入倍率；warpping长度为切换倍率与第二摄像头的最低倍率的差值；θ
z
为旋转关系中z纬度上的旋转角度；为h
ot
的逆矩阵；i
w
为第一图像。
[0157]
上述图像处理模块，还用于：根据平移量和用户输入倍率，确定平移矩阵；基于平移矩阵对中间图像进行平移处理，得到处理后的第一图像。
[0158]
上述裁剪区域确定模块，用于：确定处理后的第一图像的裁剪区域rect＝[(w
‑
w/c]/2，(h
‑
h/c]/2，w/c，h/c]；其中，w为第一图像的宽度；userlevel为用户输入倍率；wscale为第一摄像头的图像裁剪系数；h为第一图像的高度；根据裁剪区域对第一图像进行裁剪处理。
[0159]
上述当用户输入倍率逐渐放大至切换倍率时，切换倍率区间包括：第二摄像头的倍率范围的最小值至第一摄像头的倍率范围的最大值；当用户输入倍率逐渐缩小至切换倍率时，切换倍率区间包括：第二摄像头的倍率范围的最大值至第一摄像头的倍率范围的最小值。
[0160]
本实施例还提供一种电子设备，该电子设备包括：处理设备和存储装置；存储装置上存储有计算机程序，计算机程序在被处理设备运行时执行如上述变焦控制方法。
[0161]
本实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理设备运行时执行如上述变焦控制方法的步骤。
[0162]
本发明实施例所提供的变焦控制方法、装置、电子设备和计算机可读存储介质的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
[0163]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0164]
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
[0165]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0166]
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0167]
最后应说明的是：以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。