一种多相机标定方法、装置及相关设备与流程

1.本发明涉及相机参数标定技术领域，尤其涉及的是一种多相机标定方法、装置及相关设备。


背景技术：

2.随着科学技术的发展，越来越多的应用场景中都需要使用到图像数据。目前，通常需要通过多个相机从不同角度对同一对象或区域进行图像采集，此时，需要进行相机标定。相机标定是确定相机内部几何和光学参数以及相机坐标系相对于世界坐标系的三维位置和姿态的过程，是确定二维图像与三维场景相对关系的关键。
3.现有技术中，一般直接通过标定板来进行相机标定，其问题在于，当需要进行多相机标定时(即需要进行标定的相机大于两个时)，各相机的光心不一致，需要两两采用标定板进行多角度、多距离的数据采集以及增加人工干预流程来进行标定，标定流程复杂、标定效率较低且标定精确性较低。因此，现有技术中的方案不利于进行多相机标定及提高多相机标定的效率和精确性。


技术实现要素：

4.本发明的主要目的在于提供一种多相机标定方法、装置及相关设备，旨在解决现有技术中直接通过标定板来进行相机标定的方案不利于进行多相机标定及提高多相机标定的效率和精确性的问题。
5.为了实现上述目的，本发明第一方面提供一种多相机标定方法，其中，上述多相机标定方法包括：
6.获取由多个待标定二维相机及预设三维设备采集的同一目标区域的二维图像数据及三维图像数据；
7.利用各上述待标定二维相机采集的各上述二维图像数据进行三维重建得到各上述待标定二维相机的初始内外参及初始点云数据，并优化上述初始点云数据得到上述目标区域的稀疏三维点云数据；
8.根据上述预设三维设备获取的上述三维图像数据，生成上述目标区域的实际三维点云数据；
9.配准上述稀疏三维点云数据与上述实际三维点云数据，获取点云之间的变换矩阵，并利用上述初始内外参及上述变换矩阵获取各上述待标定二维相机的实际内外参及各上述待标定二维相机之间的相对外参。
10.本发明第二方面提供一种多相机标定装置，其中，上述多相机标定装置包括：
11.第一获取模块，用于获取由多个待标定二维相机及预设三维设备采集的同一目标区域的二维图像数据及三维图像数据；
12.第二获取模块，用于利用各上述待标定二维相机采集的各上述二维图像数据进行三维重建得到各上述待标定二维相机的初始内外参及初始点云数据，并优化上述初始点云
数据得到上述目标区域的稀疏三维点云数据；
13.第三获取模块，用于根据上述预设三维设备获取的上述三维图像数据，生成上述目标区域的实际三维点云数据；
14.标定模块，用于配准上述稀疏三维点云数据与上述实际三维点云数据，获取点云之间的变换矩阵，并利用上述初始内外参及上述变换矩阵获取各上述待标定二维相机的实际内外参及各上述待标定二维相机之间的相对外参。
15.本发明第三方面提供一种多相机装置，包括多个二维相机及上述第二方面所提及的标定装置，其中：
16.上述多个二维相机，用于采集目标区域的二维图像数据；
17.上述标定装置，用于利用上述二维图像数据及预设三维设备采集的三维图像数据对各上述二维相机进行标定，获取各上述二维相机的内外参及各上述二维相机之间的相对外参。
18.本发明第四方面提供一种智能终端，上述智能终端包括存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的多相机标定程序，上述多相机标定程序被上述处理器执行时实现上述任意一项多相机标定方法的步骤。
19.本发明第五方面提供一种计算机可读存储介质，上述计算机可读存储介质上存储有多相机标定程序，上述多相机标定程序被处理器执行时实现上述任意一项多相机标定方法的步骤。
20.由上可见，与现有技术中直接通过标定板来进行相机标定的方案相比，基于本发明方案进行多相机标定时，无需两两采用标定板分别标定，也无需增加人工干预流程，只需要获得待标定二维相机采集的图像数据和直接采集获得的三维信息即可以实现标定，有利于简化标定流程，且可以避免人工流程带来的误差，有利于提高多相机标定的效率和精确性。同时，需要说明的是，现有技术中的方案，通常需要在进行标定后才能使用相机进行目标图像数据(即后续需要使用的图像数据)的采集，但基于发明的方案，即使在未进行标定时也可以直接获取目标图像数据，将目标图像数据用于标定，然后使用对应的目标图像数据，有利于提升用户使用体验。
附图说明
21.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
22.图1是本发明实施例提供的一种多相机标定方法的流程示意图；
23.图2是本发明实施图1中步骤s200的具体流程示意图；
24.图3是本发明实施图1中步骤s400的具体流程示意图；
25.图4是本发明实施图3中步骤s402的具体流程示意图；
26.图5是本发明实施例提供的一种多相机标定方法的具体流程示意图；
27.图6是本发明实施例提供的一种多相机标定装置的结构示意图；
28.图7是本发明实施例提供的一种智能终端的内部结构原理框图。
具体实施方式
29.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况下，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
30.应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
31.还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
32.还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
33.如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当
…
时”或“一旦”或“响应于确定”或“响应于检测到”。类似的，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述的条件或事件]”或“响应于检测到[所描述条件或事件]”。
[0034]
下面结合本发明实施例的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0035]
为了解决现有技术中存在的至少一个问题，本发明中提供一种多相机标定方法无需使用标定板，而是直接利用待标定二维相机获取的重建三维点云数据和对目标区域直接进行三维信息采集后获取的实际三维点云数据实现对多个待标定二维相机的标定。
[0036]
示例性方法
[0037]
如图1所示，本发明实施例提供一种多相机标定方法，具体地，上述多相机标定方法包括如下步骤：
[0038]
步骤s100，获取由多个待标定二维相机及预设三维设备采集的同一目标区域的二维图像数据及三维图像数据。
[0039]
具体地，多个待标定二维相机从不同角度对同一个目标区域进行拍摄获取各二维图像数据，三维设备采集同一个目标区域的三维图像数据。需要说明的是，上述图像数据可以是仅用于进行标定的图像数据，也可以直接是需要通过待标定二维相机获取的最终需要使用的图像数据。即可以在标定完成之前直接获取需要使用的图像数据，并据此进行标定，无需提前进行标定，方便用户使用。
[0040]
在一个实施例中，获取由多个待标定二维相机及预设三维设备采集的同一目标区域的二维图像数据及三维图像数据，包括：基于相对位姿固定的多个上述待标定二维相机对同一目标区域进行连续拍摄，获取各上述待标定二维相机对应的各上述二维图像数据；获取由上述预设三维设备对上述目标区域进行直接采集得到的三维图像数据，其中，上述预设三维设备包括三维扫描仪、深度相机和激光雷达中的一种或多种组合。
[0041]
其中，各待标定二维相机是预先固定好的，且在采集过程中，各待标定二维相机之间的相对位姿不会发生变化。本实施例中，各个待标定二维相机的光心可以相同也可以不同，不会影响到后续根据点云数据进行配准的标定效果，无需使用标定板进行光心的标定，因此可以简化标定流程，提高标定效率。
[0042]
在一个实施例中，上述待标定二维相机为rgb相机，上述图像数据为rgb图像数据，如此，获得的图像数据可以直接应用到后续的处理流程(例如人脸识别、人体骨架重建等)中，满足用户使用需求。实际使用过程中，上述待标定二维相机还可以是灰度相机、红外相机等，在此不作具体限定。
[0043]
在一个实施例中，可以利用上述多个待标定二维相机在同一时刻对同一目标区域进行同步采集，生成各待标定二维相机在同一时刻对应的各图像数据；也可以控制多个待标定二维相机按相同的时序分别对目标区域进行连续采集，获取各待标定二维相机对应的各图像数据，即各待标定二维相机同步获取多个时刻对应的各图像数据，以防止单帧采集时获得的目标区域中的特征不明显，提高结果的鲁棒性。需要说明的是，在连续采集的过程中，目标区域的场景不发生变化，各待标定二维相机的位姿也不发生变化。
[0044]
在一个实施例中，基于三维设备对上述目标区域的三维信息进行直接采集，其中，上述三维设备包括深度相机和/或激光雷达，获取的图像数据为三维图像数据，相对于待标定二维相机采集的二维图像数据，三维图像数据可直接获取目标区域的深度信息。需要说明的是，本实施例中三维设备包括深度相机、激光雷达及三维扫描仪中的任意一种或多种组合，其中深度相机可为基于结构光、tof或双目等原理的相机，实际使用过程中还可以采用其它可以采集三维信息的设备，此处不作具体限定。
[0045]
步骤s200，利用各上述待标定二维相机采集的各上述二维图像数据进行三维重建得到各上述待标定二维相机的初始内外参及初始点云数据，并优化上述初始点云数据得到上述目标区域的稀疏三维点云数据。
[0046]
具体地，获取各待标定二维相机对应的各图像数据后，可以基于预设的三维重建算法对目标区域进行场景三维重建，获取初始点云数据。
[0047]
在一个实施例中，如图2所示，上述步骤s200具体包括如下步骤：
[0048]
步骤s201，通过预设sfm(structure from motion)算法对各上述待标定二维相机同一时刻获取的各上述二维图像数据进行三维重建，得到初始点云数据并获取各上述待标定二维相机的初始内外参。
[0049]
本实施例中，使用预设sfm算法对各待标定二维相机同一时刻获取的各图像数据进行三维重建得到初始点云数据，并基于该初始点云数据获取各待标定二维相机对应的初始内外参。需要说明的是，内参用于体现其内部参数，例如焦距、像素大小等，外参用于表示各相机之间的相对位姿；sfm算法是一种基于各种收集到的无序图片进行三维重建的离线算法，本实施例中，采用sfm算法，但不作为具体限定，实际使用过程中还可以采用其它三维重建算法。
[0050]
步骤s202，利用各上述二维图像数据对上述初始内外参进行全局优化，获取各上述待标定二维相机的无尺度内外参。
[0051]
在一个实施例中，对于按预设时序获取的图像数据，在获取初始内参和初始外参之后，将各待标定二维相机在同一时刻采集的数据捆绑成一组数据，利用捆绑后的各组数
据对初始内参和初始外参进行ba(bundle adjustment)优化，得到各组对应的内外参数并求平均值，得到精确的无尺度的内外参数，即无尺度内参和无尺度外参。需要说明的是，无尺度内参和无尺度外参中的“无尺度”是指两帧图像之间的位移量中的平移量未知，即平移量的具体单位未知，获取的是归一化结果。
[0052]
在一个实施例中，如果各待标定二维相机仅在同一时刻采集单帧图像数据，则不需要进行分组、捆绑及平均值计算，直接将ba优化后的内外参作为对应的无尺度内参和无尺度外参。
[0053]
步骤s203，利用各上述待标定二维相机的无尺度内外参对上述初始点云数据进行处理，得到上述目标区域的上述稀疏三维点云数据。
[0054]
更具体地，根据各待标定二维相机的无尺度内外参对初始点云数据进行三角化优化处理，得到目标区域的稀疏三维点云数据。其中，上述稀疏三维点云数据代表的是同一目标区域的点云信息，该点云数据是稀疏的，因为点云数据中的点都是同一目标区域中提取出的特征点，且基于二维图像数据可提取的特征点较少，使得二维图像数据三维重建后可形成的稀疏的点云数据，该稀疏三维点云数据需要占用的存储和计算资源也小，有利于提高计算效率，从而提高标定效率。
[0055]
步骤s300，根据上述预设三维设备获取的上述三维图像数据，生成上述目标区域的实际三维点云数据。
[0056]
在一个实施例中，根据预设的三维重建算法对通过预设三维设备采集同一场景(待标定二维相机采集的目标区域)的三维图像数据进行重建，获取目标区域的实际三维点云数据。其中，目标区域的实际三维点云数据是指通过直接采集的三维信息获得的三维点云数据，本实施例中采用的是slam(simultaneous localization and mapping)算法，但不作为具体限定。
[0057]
步骤s400，配准上述稀疏三维点云数据与上述实际三维点云数据，获取点云之间的变换矩阵，并利用上述初始内外参及上述变换矩阵获取各上述待标定二维相机的实际内外参及各上述待标定二维相机之间的相对外参。
[0058]
其中，稀疏三维点云数据与实际三维点云数据都是对目标区域的场景的三维体现，且场景是不发生变化的，因此其中包含相同的特征点，可以基于特征点进行配准，从而获得各待标定二维相机的内参及各相机之间的位姿关系(即相对外参)。
[0059]
本实施例中，如图3所示，上述步骤s400具体包括如下步骤：
[0060]
步骤s401，将上述实际三维点云数据作为目标点云，上述稀疏三维点云数据作为配准点云，获取点云之间的变换矩阵。
[0061]
具体地，本实施例中，对实际三维点云数据和稀疏三维点云数据进行带尺度的最近迭代算法(icp，iterative closest point)配准，获取最终的各待标定二维相机与三维设备之间的各带尺度的变换矩阵srt。其中，上述变换矩阵srt是一个4*4的矩阵，可以用于指示待标定二维相机的图像坐标系相对于深度相机(或激光雷达)的相对位姿变换。上述图像坐标系是基于所有待标定二维相机的图像数据构建的图像坐标系。需要说明的是，本实施例中采用的是最近迭代算法，实际使用过程中还可以采用其它算法，在此不作具体限定。
[0062]
步骤s402，根据上述变换矩阵及各上述待标定二维相机的无尺度内外参，获取各上述待标定二维相机的目标内外参及各上述待标定二维相机之间的相对外参。
[0063]
进一步地，如图4所示，上述步骤s402具体包括如下步骤：
[0064]
步骤s4021，根据点云之间的上述变换矩阵获取各上述待标定二维相机之间的相对外参；
[0065]
步骤s4022，利用各上述待标定二维相机之间的相对外参优化各上述待标定二维相机之间的无尺度内外参，获取各上述待标定二维相机的实际内外参。
[0066]
更具体地，点云之间位姿的变换矩阵为将稀疏三维点云数据转换至三维设备的坐标系下获取的参数，即将稀疏三维点云数据转换至同一坐标系下，得到各待标定二维相机与三维设备之间的各位姿关系，基于该各位姿关系，将各待标定二维相机采集的图像数据均映射至三维设备的坐标系下，获取三维设备的坐标系下各待标定二维相机对应的图像数据，并在该坐标系下获取各待标定二维相机之间的相对位姿参数；进一步基于该相对位姿参数对各待标定二维相机之间的无尺度内外参进行优化，得到带尺度的各待标定二维相机的内外参数，即实际内外参。
[0067]
需要说明的是，上述实际内外参和相对外参分别是最终获得的各个待标定二维相机的内部参数和各个待标定二维相机之间的相对位姿。通过实际内外参和相对外参，即可获知各个待标定二维相机采集的图像中各像素点在世界坐标系中的对应坐标及各个待标定二维相机之间的位置关系，实现对所有待标定二维相机的标定。
[0068]
由上可见，本实施例中，可以结合待标定二维相机采集的图像数据和直接对目标区域采集的三维信息，快速简单地实现对多个待标定二维相机的标定。不需要使用标定板，且计算过程简单，也无需增加人工干预流程，只需要获得待标定二维相机采集的图像数据和直接采集获得的三维信息即可以实现标定，有利于简化标定流程，且可以避免人工流程带来的误差，有利于提高多相机标定的效率和精确性。
[0069]
图5是本发明实施例提供的一种多相机标定方法的具体应用场景的相关流程示意图，在该具体应用场景中，预先固定多个rgb相机(即待标定二维相机)，在采集数据和进行标定的整个过程中，各rgb相机是固定不动的，相对位姿也不发生变化。具体地，用多个rgb相机采集目标区域内的连续的rgb数据。然后，利用sfm重建算法初步获得各rgb相机的初始内外参数。基于获得的初始内外参数，将多个rgb相机在同一时刻采集的数据捆绑成一组数据(即一帧数据)，进行ba优化，得到精确的无尺度的内外参数(即无尺度内参和无尺度外参)，同时，还可以获得一个稀疏点云cloud1(即基于捆绑各rgb相机采集的数据经过sfm算法和ba优化后生成的三维点云数据)并输出。
[0070]
需要说明的是，对多组数据进行ba优化获得多组内外参时，将内参的平均值和外参的平均值作为对应的无尺度内外参，以提高计算精准性。另一方面，基于预设三维设备采集多个rgb相机采集的同一场景的数据。将采集的连续的三维数据进行slam重建，得到场景的点云数据cloud2(即实际三维点云数据)并输出。然后对cloud1和cloud2进行配准，具体地，将稀疏点云cloud1和点云cloud2进行带尺度的icp配准，以cloud2为目标点云，cloud1为配准点云，求出最终的带尺度的变换矩阵srt。基于相对位姿的变换矩阵srt及无尺度内外参得到多个rgb相机的内外参数及各相机之间的相对外参。
[0071]
如此可见，本发明中，利用直接采集的三维信息来进行标定，获取多个待标定二维相机对应的内外参数，不受场地和条件的限制，无需使用标定板进行复杂的测量，也不需要人工进行干预，操作更便捷，有利于提高标定效率和准确性。
[0072]
示例性设备
[0073]
如图6中所示，对应于上述多相机标定方法，本发明实施例还提供一种多相机标定装置，装置包括：
[0074]
第一获取模块510，用于获取由多个待标定二维相机及预设三维设备采集的同一目标区域的二维图像数据及三维图像数据。
[0075]
具体地，多个待标定二维相机从不同角度对同一个目标区域进行拍摄获取各二维图像数据，三维设备采集同一个目标区域的三维图像数据。需要说明的是，上述图像数据可以是仅用于进行标定的图像数据，也可以直接是需要通过待标定二维相机获取的最终需要使用的图像数据。即可以在标定完成之前直接获取需要使用的图像数据，并据此进行标定，无需提前进行标定，方便用户使用。
[0076]
在一个实施例中，基于三维设备对上述目标区域的三维信息进行直接采集，其中，上述三维设备包括深度相机和/或激光雷达，获取的图像数据为三维图像数据，相对于待标定二维相机采集的二维图像数据，三维图像数据可直接获取目标区域的深度信息。需要说明的是，本实施例中三维设备包括深度相机、激光雷达及三维扫描仪中的任意一种或多种组合，其中深度相机可为基于结构光、tof或双目等原理的相机，实际使用过程中还可以采用其它可以采集三维信息的设备，此处不作为具体限定。
[0077]
第二获取模块520，用于利用各上述待标定二维相机采集的各上述二维图像数据进行三维重建得到各上述待标定二维相机的初始内外参及初始点云数据，并优化上述初始点云数据得到上述目标区域的稀疏三维点云数据。
[0078]
具体地，获取各待标定二维相机对应的各图像数据后，可以基于预设的三维重建算法对目标区域进行场景三维重建，获取初始点云数据。
[0079]
第三获取模块530，用于根据上述预设三维设备获取的上述三维图像数据，生成上述目标区域的实际三维点云数据。
[0080]
在一个实施例中，根据预设的三维重建算法对通过预设三维设备采集同一场景(待标定二维相机采集的目标区域)的三维图像数据进行重建，获取目标区域的实际三维点云数据。其中，目标区域的实际三维点云数据是指通过直接采集的三维信息获得的三维点云数据，本实施例中采用的是slam(simultaneous localization and mapping)算法，但不作为具体限定。
[0081]
标定模块540，用于配准上述稀疏三维点云数据与上述实际三维点云数据，获取点云之间的变换矩阵，并利用上述初始内外参及上述变换矩阵获取各上述待标定二维相机的实际内外参及各上述待标定二维相机之间的相对外参。
[0082]
其中，稀疏三维点云数据与实际三维点云数据都是对目标区域的场景的三维体现，且场景是不发生变化的，因此其中包含相同的特征点，可以基于特征点进行配准，从而获得各待标定二维相机的内参及各相机之间的位姿关系(即相对外参)。
[0083]
具体地，本实施例中，上述多相机标定装置及其各个模块的具体功能还可以参照上述多相机标定方法中的对应描述，在此不再赘述。
[0084]
基于上述实施例，本发明还提供了一种多相机装置，包括多个二维相机及上述的标定装置，其中：
[0085]
上述多个二维相机，用于采集目标区域的二维图像数据；
[0086]
上述标定装置，用于利用上述二维图像数据及预设三维设备采集的三维图像数据对各上述二维相机进行标定，获取各上述二维相机的内外参及各上述二维相机之间的相对外参。
[0087]
基于上述实施例，本发明还提供了一种智能终端，其原理框图可以如图7所示。上述智能终端包括处理器及存储器。该智能终端的存储器包括多相机标定程序，存储器为多相机标定程序的运行提供环境。该多相机标定程序被处理器执行时实现上述任意一种多相机标定方法的步骤。需要说明的是，上述智能终端还可以包括其它功能模块或单元，在此不作具体限定。
[0088]
本领域技术人员可以理解，图7中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的智能终端的限定，具体地智能终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0089]
在一个实施例中，上述多相机标定程序被上述处理器执行时进行以下操作指令：
[0090]
获取由多个待标定二维相机及预设三维设备采集的同一目标区域的二维图像数据及三维图像数据；
[0091]
利用各上述待标定二维相机采集的各上述二维图像数据进行三维重建得到各上述待标定二维相机的初始内外参及初始点云数据，并优化上述初始点云数据得到上述目标区域的稀疏三维点云数据；
[0092]
根据上述预设三维设备获取的上述三维图像数据，生成上述目标区域的实际三维点云数据；
[0093]
配准上述稀疏三维点云数据与上述实际三维点云数据，获取点云之间的变换矩阵，并利用上述初始内外参及上述变换矩阵获取各上述待标定二维相机的实际内外参及各上述待标定二维相机之间的相对外参。
[0094]
本发明实施例还提供一种计算机可读存储介质，上述计算机可读存储介质上存储有多相机标定程序，上述多相机标定程序被处理器执行时实现本发明实施例提供的任意一种多相机标定方法的步骤。
[0095]
应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
[0096]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0097]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0098]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟
是以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0099]
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以由另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
[0100]
上述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，上述计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。
[0101]
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不是相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。