三维模型构建方法与流程

1.本说明书实施例涉及图片处理技术领域，特别涉及一种三维模型构建方法。


背景技术：

2.目前，随着ar（(augmented reality，增强现实)看房、vr（virtual reality，虚拟现实）看展的兴起，对真实的房屋场景进行三维建模，使得用户可以从线上通过三维模型对房屋进行直观的了解变得越来越重要。
3.传统的空间建模方法主要是依靠深度相机、激光等深度采集设备去现场进行采集，设备成本高，并且设备较重，拍摄过程也很麻烦，并且通过采用深度采集设备采集的深度图片进行三维模型构建时，计算复杂度较高，极大的降低了模型构建生产力。


技术实现要素：

4.有鉴于此，本说明书实施例提供了一种三维模型构建方法。本说明书一个或者多个实施例同时涉及一种三维模型构建装置，一种三维模型构建的交互方法，一种三维模型构建的交互装置，一种三维模型构建终端，一种增强现实ar设备，一种虚拟现实vr设备，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。
5.根据本说明书实施例的第一方面，提供了一种三维模型构建方法，包括：确定包含目标建筑的当前全景图片，其中，所述目标建筑包括至少一个房间；根据结构检测模块对所述当前全景图片进行结构检测，确定所述当前全景图片中目标房间的结构信息；根据物体检测模块对所述当前全景图片进行物体检测，确定所述当前全景图片中目标房间的物体信息；在确定所述当前全景图片为单张以及单房间的情况下，根据所述目标房间的结构信息以及所述物体信息，构建所述目标建筑的三维模型。
6.根据本说明书实施例的第二方面，提供了一种三维模型构建装置，包括：全景图片确定模块，被配置为确定包含目标建筑的当前全景图片，其中，所述目标建筑包括至少一个房间；结构检测模块，被配置为根据结构检测模块对所述当前全景图片进行结构检测，确定所述当前全景图片中目标房间的结构信息；物体检测模块，被配置为根据物体检测模块对所述当前全景图片进行物体检测，确定所述当前全景图片中目标房间的物体信息；模型构建模块，被配置为在确定所述当前全景图片为单张以及单房间的情况下，根据所述目标房间的结构信息以及所述物体信息，构建所述目标建筑的三维模型。
7.根据本说明书实施例的第三方面，提供了一种三维模型构建的交互方法，应用于终端，包括：
响应于用户在三维模型构建页面的交互操作，向所述用户展示全景图片拍摄页面；在接收到所述用户在所述全景图片拍摄页面选择的目标区域的情况下，触发全景相机对所述目标区域进行拍摄，获得所述目标区域的全景图片；将所述目标区域的全景图片输入结构检测模块进行结构检测，确定所述目标区域的全景图片中目标房间的结构信息；将所述目标区域的全景图片输入物体检测模块进行物体检测，确定所述目标区域的全景图片中目标房间的物体信息；在确定所述目标区域的全景图片为单张以及单房间的情况下，根据所述目标房间的结构信息以及所述物体信息，构建所述目标区域的三维模型；将所述目标区域的三维模型，通过所述三维模型构建页面展示给所述用户。
8.根据本说明书实施例的第四方面，提供了一种三维模型构建的交互装置，应用于终端，包括：页面展示模块，被配置为响应于用户在三维模型构建页面的交互操作，向所述用户展示全景图片拍摄页面；全景图片获得模块，被配置为在接收到所述用户在所述全景图片拍摄页面选择的目标区域的情况下，触发全景相机对所述目标区域进行拍摄，获得所述目标区域的全景图片；结构检测模块，被配置为将所述目标区域的全景图片输入结构检测模块进行结构检测，确定所述目标区域的全景图片中目标房间的结构信息；物体检测模块，被配置为将所述目标区域的全景图片输入物体检测模块进行物体检测，确定所述目标区域的全景图片中目标房间的物体信息；模型构建模块，被配置为在确定所述目标区域的全景图片为单张以及单房间的情况下，根据所述目标房间的结构信息以及所述物体信息，构建所述目标区域的三维模型；模型展示模块，被配置为将所述目标区域的三维模型，通过所述三维模型构建页面展示给所述用户。
9.根据本说明书实施例的第五方面，提供了一种三维模型构建终端，包括：存储器和处理器；所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现上述三维模型构建方法的步骤或上述三维模型构建的交互方法的步骤。
10.根据本说明书实施例的第六方面，提供了一种增强现实ar设备，包括：存储器和处理器；所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现上述三维模型构建方法的步骤或上述三维模型构建的交互方法的步骤。
11.根据本说明书实施例的第七方面，提供了一种虚拟现实vr设备，包括：存储器和处理器；所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行
指令，该计算机可执行指令被处理器执行时上述三维模型构建方法的步骤或上述三维模型构建的交互方法的步骤。
12.根据本说明书实施例的第八方面，提供了一种计算设备，包括：存储器和处理器；所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现上述三维模型构建方法的步骤或上述三维模型构建的交互方法的步骤。
13.根据本说明书实施例的第九方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现上述三维模型构建方法的步骤或上述三维模型构建的交互方法的步骤。
14.根据本说明书实施例的第十方面，提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述三维模型构建方法的步骤或上述三维模型构建的交互方法的步骤。
15.本说明书一个实施例提供的三维模型构建方法，包括确定包含目标建筑的当前全景图片，其中，所述目标建筑包括至少一个房间；根据结构检测模块对所述当前全景图片进行结构检测，确定所述当前全景图片中目标房间的结构信息；根据物体检测模块对所述当前全景图片进行物体检测，确定所述当前全景图片中目标房间的物体信息；在确定所述当前全景图片为单张以及单房间的情况下，根据所述目标房间的结构信息以及所述物体信息，构建所述目标建筑的三维模型。
16.具体的，该三维模型构建方法通过对包含目标建筑的全景图片进行分析，根据分析获得的全景图片中目标房间的结构信息以及物体信息，估计目标建筑的三维结构，计算复杂度较低，可以快速实现对目标建筑的空间建模，极大的提高了模型构建生产力；并且全景图片采用全景相机获取，成本低且方便拿取。
附图说明
17.图1是本说明书一个实施例提供的一种三维模型构建方法的具体应用场景示意图；图2是本说明书一个实施例提供的一种三维模型构建方法的流程图；图3是本说明书一个实施例提供的一种三维模型构建方法中结构检测以及房间的三维模型的示意图；图4是本说明书一个实施例提供的一种三维模型构建方法中图片分类的示意图；图5是本说明书一个实施例提供的一种三维模型构建方法中全景图融合示意图；图6是本说明书一个实施例提供的一种三维模型构建方法中房间拼接示意图；图7是本说明书一个实施例提供的一种三维模型构建方法的处理过程流程图；图8是本说明书一个实施例提供的一种三维模型构建的交互方法的流程图；图9是本说明书一个实施例提供的一种三维模型构建装置的结构示意图；图10是本说明书一个实施例提供的一种三维模型构建的交互装置的结构示意图；图11是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
18.在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。
19.在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
20.应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
21.首先，对本说明书一个或多个实施例涉及的名词术语进行解释。
22.三维模型：是物体的多边形标识，通常用计算机或者其他视频设备进行显示。显示的物体可以是现实世界的实体，也可以是虚构的物体。
23.全景图片：又称为全景，英文是panoramic photo，或panorama，通常是指符合人的双眼正常有效视角（大约水平90度，垂直70度）或包括双眼余光视角（大约水平180度，垂直90度）以上，乃至360度完整场景范围拍摄的照片。
24.在对房屋进行三维模型构建场景中，会存在多种方案实现对房屋进行三维模型的构建，以下选取三种具体实现方式进行详细介绍。
25.第一种：具体操作过程中，需要将手机放置在支架上，利用手机中的应用工具实现手机在空间中的定位，全景相机通过手机屏幕上的二维码，计算出全景相机相对于手机的位置，从而计算出全景相机在空间中的定位。这种方法的缺点是，需要依赖特定手机机型，例如包含可以实现手机在空间中定位的应用工具的手机；并且拍摄过程中手机挂在支架上操作很不方便，为了确保拍摄人员不出现在画面中，拍摄人员需要先在手机上点击拍摄，然后手机提示几秒倒计时，拍摄人员需要迅速离开画面，拍摄下一张照片需要重复上面的动作。
26.第二种：具体操作过程中，拍摄人员在现场只是用全景相机拍摄照片，后续通过人工用编辑工具将拍摄的全景图片制作成可以漫游的三维模型。这种方法的缺点是：有人工编辑成本，并且无法在现场即时看到拍摄效果，后期如果发现漏拍，需要重新到现场拍摄。
27.第三种：具体操作过程中，采用单目深度相机，每拍摄一张图片，都会估算对应的深度图，从而得到点云。再套用深度采集设备的建模方法进行建模。这种方法的缺点是：基于深度的建模计算量大、耗时久，一般需要等待几个小时后才能看到建模效果，所以一般是隔天交付，用户无法在现场即时看到建模效果。
28.基于此，在本说明书实施例中，提供了一种三维模型构建方法。本说明书一个或者多个实施例同时涉及一种三维模型构建装置，一种三维模型构建的交互方法，一种三维模型构建的交互装置，一种三维模型构建终端，一种增强现实ar设备，一种虚拟现实vr设备，
一种计算设备，一种计算机可读存储介质以及一种计算机程序，在下面的实施例中逐一进行详细说明。
29.参见图1，图1示出了根据本说明书一个实施例提供的一种三维模型构建方法的具体应用场景示意图。
30.图1中包括终端102和服务端104，其中，该服务端104可以为物理服务器，也可以为云服务器，为了便于理解，本说明书实施例中，均以服务端104为云服务器为例进行详细介绍。
31.将本说明书实施例提供的三维模型构建方法应用于房间的三维模型构建为例，对三维模型构建方法进行详细说明。
32.其中，终端102上可以内嵌有全景相机，也可以与全景相机通信连接，可以即时接收全景相机拍摄到的房间的全景图片。
33.具体实施时，终端102获取到全景相机拍摄的、待进行三维模型构建的目标房间的全景图片的情况下，可以将该全景图片上传至服务端104，在服务端104对该全景图片进行图片处理（如前处理、墙线检测、物体检测和/或相对位置求解等），再根据图片处理结果实现目标房间的三维模型的构建；也可以是服务端104将对该全景图片的图片处理算法部署至终端102，在终端102实现对该全景图片进行图片处理，然后把图片处理结果上传至服务端104，在服务端104实现目标房间的三维模型的构建等，服务端104在构建出该目标房间的三维模型之后，则会将构建的该目标房间的三维模型返回至终端102，通过终端102展示给用户。
34.具体的，对该全景图片的具体处理在终端102或服务端104均可，可以根据实际应用进行设置，本说明书实施例对此不作任何限定。
35.本说明书实施例中提供的图片处理方法采用全景相机获取房间的全景图片，通过对包含目标建筑的全景图片进行分析，根据分析获得的全景图片中目标房间的墙线信息以及物体信息，估计目标建筑的三维结构，计算复杂度较低，可以快速实现对目标建筑的空间建模，极大的提高了模型构建生产力；并且全景图片采用全景相机获取，成本低且方便拿取。
36.参见图2，图2示出了根据本说明书一个实施例提供的一种三维模型构建方法的流程图，具体包括以下步骤。
37.步骤202：确定包含目标建筑的当前全景图片，其中，所述目标建筑包括至少一个房间。
38.具体的，本说明书实施例提供的该三维模型构建方法可以应用于终端或者服务端，当该三维模型构建方法应用于终端的情况下，终端可以对获取的全景图片进行各种图片处理，然后将图片处理结果发送至服务端，实现在服务端进行三维模型构建；当该三维模型构建方法应用于服务端的情况下，服务端可以接收终端发送的全景图片，对该全景图片进行各种图片处理后，根据图片处理结果进行三维模型构建，然后将构建的三维模型返回至终端。
39.为了便于理解，本说明书实施例中，以该三维模型构建方法应用于服务端为例进行具体解释说明。
40.其中，目标建筑可以理解为任意形状、任意类型、包含任意数量房间的建筑，例如
租房房屋、厂房、酒店、办公房屋、民宿、商场店铺等；目标建筑的当前全景图片，可以理解为通过全景相机当前拍摄的目标建筑的任意一个房间的全景图片；而全景图片不仅可以理解为通过全景相机拍摄的全景图片，也可以理解为通过普通相机拍摄的多张平面图后，对多张平面图进行拼接获得的全景图片。
41.该全景相机可以是移动终端上内嵌的全景相机，也可以是与终端（移动终端，手机、平板电脑等或者固定终端，台式电脑等）具有通信关系的独立全景相机。
42.那么，在该三维模型构建方法应用于服务端的情况下，确定包含目标建筑的当前全景图片，则可以理解为服务端接收终端上传的、通过全景相机拍摄的目标建筑的当前全景图片，即针对该目标建筑中的房间的当前全景图片。
43.实际应用中，在确定包含目标建筑的当前全景图片之后，为了保证该当前全景图片在后期进行处理时的准确性以及处理效率，可以对该当前全景图片进行前处理，例如将对该当前全景图片进行全景图矫正（如图片扭曲矫正、旋转矫正等）、白平衡矫正（如图片曝光矫正、色彩矫正等）或者进行空间坐标的添加等。具体实现方式如下所述：所述确定包含目标建筑的当前全景图片之后，还包括：根据预处理模块对所述当前全景图片进行图片处理，获得预处理后的当前全景图片。
44.其中，预处理模块包括但不限于某种图片预处理算法、或者预先训练的图片预处理模型等。
45.以预处理模块为预先训练的图片处理模型为例，根据预处理模块对所述当前全景图片进行图片处理，获得预处理后的当前全景图片；可以理解为：将当前全景图片输入预先训练的图片处理模型中进行图片处理，获得预处理后的当前全景图片。例如图片处理模型可以对当前全景图片进行全景图矫正、白平衡矫正、空间坐标检测等处理。
46.步骤204：根据结构检测模块对所述当前全景图片进行结构检测，确定所述当前全景图片中目标房间的结构信息。
47.步骤206：根据物体检测模块对所述当前全景图片进行物体检测，确定所述当前全景图片中目标房间的物体信息。
48.而在根据预处理模块对当前全景图片进行预处理后，则可以根据结构检测模块以及物体检测模块，获得该当前全景图片中目标房间的结构信息以及物体信息。
49.其中，结构检测模块以及物体检测模块也可以理解为某种结构检测算法、某种物体检测算法或者预先训练的结构检测模型、预先训练的物体检测模型等。具体实现方式如下所述：所述结构检测模块包括结构检测模型，所述结构检测模型为预先训练的机器学习模型或深度学习模型；所述物体检测模块包括物体检测模型，所述物体检测模型为预先训练的机器学习模型或深度学习模型。
50.并且，目标房间可以理解为目标建筑中、被全景相机拍摄的房间；目标房间的结构信息包括但不限于房间的墙线、天花板线、地板线等；物体信息包括但不限于房间的门、家具等。
51.以结构检测模块为预先训练的结构检测模型、物体检测模型为预先训练的物体检测模型为例，根据结构检测模块对所述当前全景图片进行结构检测，确定所述当前全景图
片中目标房间的结构信息，以及根据物体检测模块对所述当前全景图片进行物体检测，确定所述当前全景图片中目标房间的物体信息，可以理解为，将当前全景图片分别输入结构检测模型以及物体检测模型，获得结构检测模型输出的当前全景图片中目标房间的结构信息，以及获得物体检测模型输出的当前全景图片中目标房间的物体信息。
52.实际应用中，通过结构检测模块可以估计出当前全景图片中目标房间的墙线、天花板线、地板线等，后续可以根据估计出的当前全景图片中目标房间的墙线、天花板线、地板线等恢复该目标房间的三维结果。而通过物体检测模块可以估计出当前全景图片中的门、家具等物体。
53.具体参见图3，图3示出了本说明书一个实施例提供的一种三维模型构建方法中结构检测以及房间的三维模型的示意图。
54.图3的a部分为结构检测，通过结构检测模块估计出当前全景图片中目标房间的墙线、天花板线、地板线等，然后根据估计出的当前全景图片中目标房间的墙线、天花板线、地板线等恢复该目标房间的三维结果。
55.图3的b部分为根据结构检测结果构建的目标房间的三维模型示意图。
56.步骤208：在确定所述当前全景图片为单张以及单房间的情况下，根据所述目标房间的结构信息以及所述物体信息，构建所述目标建筑的三维模型。
57.那么，在根据结构检测模块对当前全景图片进行结构检测、物体检测之后，若该当前全景图片为单张，并且目标建筑仅一个房间的情况下，则可以根据上述获取的目标房间的结构信息以及物体信息，构建该目标建筑的目标房间的三维模型。
58.其中，单张、单房间可以理解为目标建筑的全景图片仅存在一张，并且该目标建筑中的目标房间仅为一个。
59.具体实施时，在酒店场景下，商家可以通过本说明书实施例提供的三维模型构建方法，为酒店房间构建三维模型，用户入驻酒店前，可以在手机端用360度vr导览的方式通过查看酒店房间的三维模型，实现酒店房间的详细了解；在租房场景下，商家可以通过本说明书实施例提供的三维模型构建方法，为待租房间构建三维模型，用户租住房间前，可以在手机端用360度vr导览的方式通过查看待租房间的三维模型，实现待租房间的详细了解；此外，还可以在美容院、法拍房、工厂等场景下适用。
60.本说明书实施例提供的三维模型构建方法，通过对包含目标建筑的全景图片进行分析，在确定该全景图片为目标建筑的单张，且该目标建筑仅为单房间的情况下，根据分析获得的全景图片中目标房间的结构信息以及物体信息，估计目标建筑的三维结构，计算复杂度较低，可以快速实现对目标建筑的空间建模，极大的提高了模型构建生产力；并且全景图片采用全景相机获取，成本低且方便拿取。
61.而在目标建筑存在全景图片的情况下，则需要确定已存在的全景图片与当前全景图片的关系，基于已存在的全景图片与当前全景图片的关系，进行后续的三维模型构建。具体实现方式如下所述：所述确定所述当前全景图片中目标房间的物体信息之后，还包括：在确定存在包含所述目标建筑的前一全景图片的情况下，根据位置检测模块确定所述当前全景图片以及所述前一全景图片之间的相对位置关系；在根据所述相对位置关系，确定所述当前全景图片与所述前一全景图片属于所述
目标建筑中的同一目标房间的情况下，融合所述当前全景图片与所述前一全景图片，获得融合后的所述目标房间的平面结构图；在所述目标建筑中仅包括所述目标房间的情况下，根据所述目标房间的平面结构图，构建所述目标建筑的三维模型。
62.其中，前一全景图片，可以理解为全景相机拍摄的该目标建筑的前一张全景图片，即该当前全景图片之前，全景相机拍摄的该目标建筑的前一张全景图片。
63.且该位置检测模块也可以理解为某种相对位置检测算法，或者为预先训练的位置检测模型；而当前全景图片以及该当前全景图片的前一全景图片之间的相对位置关系，包括两部分，一部分为当前全景图片以及该当前全景图片的前一全景图片的特征点提取和匹配；另一部分为根据匹配特征点以及相机内参确定的本质矩阵，以及根据本质矩阵恢复出的相对旋转矩阵r和相对平移矩阵t。
64.以位置检测模块为预先训练的位置检测模型为例，在确定存在包含所述目标建筑的前一全景图片的情况下，根据位置检测模块确定所述当前全景图片以及所述前一全景图片之间的相对位置关系，可以理解为：在确定存在包含目标建筑的前一全景图片的情况下，将当前全景图片以及前一全景图片输入位置检测模型，该位置检测模型输出当前全景图片以及前一全景图片之间的相对位置关系。
65.在确定当前全景图片以及前一全景图片之间的相对位置关系之后，则可以根据该相对位置关系判断当前全景图片以及前一全景图片是否属于该目标建筑中的同一个目标房间，若是，则可以融合该当前全景图片以及前一全景图片，获得融合后的该目标房间的平面结构图；并且在确定该目标建筑仅包括一个该目标房间的情况下，根据该目标房间的平面结构图，构建该目标建筑的三维模型。
66.实际应用中，为了判断当前全景图片以及前一全景图片是否属于同一个目标房间，可以通过当前全景图片以及前一全景图片之间的特征点匹配结果快速确定。而判断依据可以是看特征点匹配结果是否全部落在门内。具体实现方式如下所述：所述根据所述相对位置关系，确定所述当前全景图片与所述前一全景图片属于所述目标建筑中的同一目标房间，包括：根据所述相对位置关系，确定所述当前全景图片的特征点与所述前一全景图片的特征点之间的匹配结果；在根据所述匹配结果确定匹配特征点均在所述目标房间的门内的情况下，确定所述当前全景图片与所述前一全景图片属于所述目标建筑中的同一目标房间。
67.其中，相对位置关系中包括当前全景图片与前一全景图片的特征点匹配关系。
68.具体的，从该相对位置关系中确定当前全景图片与前一全景图片的特征点之间的匹配结果，再根据该匹配结果确定匹配特征点均在目标房间的门内的情况下，确定当前全景图片与前一全景图片属于该目标建筑中的同一目标房间。
69.具体参见图4，图4示出了本说明书一个实施例提供的一种三维模型构建方法中图片分类的示意图。
70.其中，图片分类可以理解为确定当前全景图片与前一全景图片是否属于同一个房间。
71.根据图4的a部分可知，将当前全景图片与前一全景图片匹配的特征点用直线进行
标记，可以看出匹配特征点之间的直线均在门外，则可以说明当前全景图片与前一全景图片均是在门的一侧拍摄的，此时可以确定该当前全景图片与前一全景图片属于相同的房间。
72.根据图4的b部分可知，将当前全景图片与前一全景图片匹配的特征点用直线进行标记，可以看出用直线连线的一部分特征点在门内，一部分在内外，则可以说明当前全景图片与前一全景图片是在门的两侧拍摄的，此时可以确定当前全景图片与前一全景图片属于不同的房间。
73.而在确定当前全景图片与前一全景图片属于该目标建筑中的同一目标房间的情况下，则可以融合当前全景图片与前一全景图片，然后获得融合后的该目标房间的平面结构图。后续即可以根据该平面结构图快速且准确的进行该目标房间的三维模型的构建。具体实现方式如下所述：所述融合所述当前全景图片与所述前一全景图片，获得融合后的所述目标房间的平面结构图，包括：根据所述相对位置关系，确定所述当前全景图片与所述前一全景图片之间的相对旋转矩阵和相对平移矩阵；根据所述相对旋转矩阵和所述相对平移矩阵，将所述当前全景图片与所述前一全景图片进行叠加融合，获得融合后的所述目标房间的平面结构图。
74.其中，相对位置关系中包括根据本质矩阵恢复的相对旋转矩阵r和相对平移矩阵t。
75.具体的，根据相对位置关系，确定当前全景图片与前一全景图片之间的相对旋转矩阵和相对平移矩阵，再根据相对旋转矩阵和相对平移矩阵将当前全景图片与前一全景图片进行叠加融合，即可获得融合后的目标房间的平面结构图。
76.实际应用中，可以分别根据当前全景图片以及前一全景图片各自的结构检测结果，确定各自对应的平面结构图，即当前全景图片对应的平面结构图，以及前一全景图片对应的平面结构图，再根据当前全景图片与前一全景图片之间的相对位置关系将两个平面结构图进行叠加；再根据两个拍摄点位的中垂线划分两者的共识区域，将靠近各自的那一边被标记为各自的颜色，从而确定出两个拍摄点位各自的置信区间；再根据置信区间的外边缘得到融合后的平面结构图，同时删除长度小于一定阈值（例如20厘米）的边，得到最终融合后的该目标房间的平面结构图。
77.具体参见图5，图5示出了本说明书一个实施例提供的一种三维模型构建方法中全景图融合示意图。
78.图5的a部分为是根据当前全景图片以及前一全景图片各自的结构检测结果，确定的各自对应的叠加起来的平面结构图；图5的b部分为根据当前全景图片以及前一全景图片的两个拍摄点位的中垂线划分出的二者的共视区域后，根据该两个拍摄点位的中垂线确定的各自的置信区间；图5的c部分为根据置信区间的外边缘得到的当前全景图片以及前一全景图片融合后的平面结构图；图5的d部分为在删除c部分的平面结构图中长度小于一定阈值的边后，得到的最终当前全景图片以及前一全景图片融合后的平面结构图。
79.而实际应用中，由于目标房间中还会存在若干个物品（桌子、床、凳子等家具），因此在进行平面结构图融合时，不仅需要根据当前全景图片以及前一全景图片中目标房间的结构信息进行平面结构图的确定，还会考虑当前全景图片以及前一全景图片中目标房间的物体信息；以使得最终融合获得的目标房间的平面结构图更加完善和真实。具体实现方式如下所述：所述根据所述相对旋转矩阵和所述相对平移矩阵，将所述当前全景图片与所述前一全景图片进行叠加融合，获得融合后的所述目标房间的平面结构图，包括：根据所述当前全景图片中目标房间的结构信息、物体信息，确定所述当前全景图片的第一平面图；根据所述前一全景图片中目标房间的结构信息、物体信息，确定所述前一全景图片的第二平面图；根据所述相对旋转矩阵和所述相对平移矩阵，对所述第一平面图和所述第二平面图进行叠加融合，获得融合后的所述目标房间的平面结构图。
80.具体实施时，可以先根据当前全景图片中目标房间的结构信息、物体信息，确定所述当前全景图片的第一平面图；同时，根据前一全景图片中目标房间的结构信息、物体信息，确定所述前一全景图片的第二平面图；最后再根据当前全景图片与前一全景图片之间的相对旋转矩阵和相对平移矩阵，对第一平面图和第二平面图进行叠加融合，获得融合后的目标房间的平面结构图。
81.其中，具体的第一平面图和第二平面图的融合方式可以参见上述实施例或者图5的介绍，在此不再赘述。
82.上述介绍的均为该目标建筑仅存在一个目标房间的情况下的描述，而在该目标建筑存在多个房间的情况下，若该当前全景图片与前一个全景图片不属于同一个房间，则可以根据该当前全景图片、或者该当前全景图片结合其对应房间的历史全景图片进行目标房间的平面结构图的确定；同时，与该当前全景图片不属于同一个房间的前一个全景图片则可以自身、或者结合其对应的房间的历史全景图片进行目标房间的平面结构图的确定。
83.那么，在该目标建筑中包括其他房间的情况下，则可以根据上述实施例的平面结构图的构建方式，分别构建每个房间的平面结构图，最后根据所有房间的平面结构图，完整的构建该目标建筑的三维模型。具体实现方式如下所述：所述融合所述当前全景图片与所述前一全景图片，获得融合后的所述目标房间的平面结构图之后，还包括：在所述目标建筑中包括其他房间的情况下，根据所述目标房间、所述其他房间的平面结构图，构建所述目标建筑的三维模型，其中，所述其他房间为所述目标建筑中、除所述目标房间之外的其他房间。
84.而根据目标房间、以及其他房间的平面结构图，构建目标建筑的三维模型存在两种构建方式，一种是分别根据目标房间的平面结构图，进行目标房间的三维模型构建；同时根据其他房间的平面结构图，进行目标房间的三维模型构建，最后将目标房间的三维模型以及其他房间的三维模型进行拼接，获得该目标建筑三维模型的构建；其具体实现方式如下所述：所述根据所述目标房间、所述其他房间的平面结构图，构建所述目标建筑的三维
模型，包括：根据所述目标房间的平面结构图，构建所述目标房间的三维模型；根据所述其他房间的平面结构图，构建所述其他房间的三维模型；将所述目标房间的三维模型以及所述其他房间的三维模型进行拼接，构建所述目标建筑的三维模型。
85.其中，将目标房间的三维模型以及其他房间的三维模型进行拼接时，先检测到门的连接关系，把门的四个顶点对齐，实现三维模型的拼接。具体优化方程如下所述：其中，和是对应点，如两个房间对应门的四个顶点a、b、c、d和a’、b’、c’、d’，r是相对旋转矩阵，t是相对平移矩阵。
86.具体参见图6，图6示出了本说明书一个实施例提供的一种三维模型构建方法中房间拼接示意图。
87.图6中，两个房间（如图6中的a房间和b房间）对应门的四个顶点a、b、c、d和a’、b’、c’、d’应该对齐，那么在进行房间的具体拼接时，则会将a房间的四个顶点a、b、c、d与b房间的四个顶点a’、b’、c’、d’对齐，即可实现两个房间的拼接。
88.另一种是将目标房间以及其他房间的平面结构图进行拼接后，根据拼接后的完整的平面结构图进行目标建筑三维模型的构建，其具体实现方式如下所述：所述根据所述目标房间、所述其他房间的平面结构图，构建所述目标建筑的三维模型，包括：根据所述目标房间的平面结构图，构建所述目标房间的三维模型；根据所述其他房间的平面结构图，构建所述其他房间的三维模型；将所述目标房间的三维模型以及所述其他房间的三维模型进行拼接，构建所述目标建筑的三维模型。
89.本说明书实施例的三维模型构建方法中，通过上述两种方式中的任意一种均可以构建该目标建筑的三维模型构建，而采用第一种方式，先构建各自的三维模型，再将三维模型进行拼接的方式，可以在后续为用户单独提供每个房间的三维模型，便于用户对每个房间的情况进行详细了解；而采用第二种方式，先对每个房间的平面结构图进行拼接，再进行三维模型构建的方式，可以在后续为用户提供单个房间的平面结构图，还可以为用户提供整个目标建筑的整体户型平面结构图，便于用户对目标建筑的整体情况进行了解。实际使用中，可以根据具体的应用情况进行选择设置，在此不作任何限定。
90.下述结合附图7，以本说明书提供的三维模型构建方法在租房场景中，对出租房进行三维模型构建的应用为例，对所述三维模型构建方法进行进一步说明。其中，图7示出了本说明书一个实施例提供的一种三维模型构建方法的处理过程流程图，具体包括以下步骤。
91.步骤702：确定全景图。
92.即确定通过全景相机拍摄的、出租房的全景图。
93.步骤704：前处理。
94.即对该出租房的全景图进行前处理。
95.其中，前处理可以理解为对该出租房的全景图进行全景图矫正、白平衡矫正、空间坐标标注等处理。
96.步骤706：物体检测。
97.即根据物体检测模块检测该出租房的全景图中房间的家具等。
98.步骤708：结构检测。
99.即根据结构检测模块检测该出租房的全景图中房间的墙线、天花板线等。
100.步骤710：相对位置检测。
101.即在确定该出租房的全景图存在前一全景图的情况下，根据位置检测模块检测该出租房的全景图与前一全景图的相对位置关系。
102.其中，根据该出租房的全景图对该出租房进行结构检测、物体检测、以及与前一全景图进行相对位置检测的具体实现方式可以参见上述实施例，在此不再赘述。
103.步骤712：图片分类。
104.即根据结构检测结果、物体检测结果、以及与前一全景图的相对位置检测结果对该出租房的全景图进行分类，确定该全景图属于该出租房的哪个房间。
105.步骤714：是否属于同一房间，若是，则执行步骤716，若否，则执行步骤718。
106.即判断该全景图与前一全景图是否属于同一个房间，若是，则进行单房间重建，若否，则进行房间拼接。
107.步骤716：单房间重建。
108.即若该全景图与前一全景图属于同一个房间，则可以根据该全景图与前一全景图进行单房间重建，例如将该全景图与前一全景图进行融合，获得其融合后的平面结构图。
109.步骤718：房间拼接。
110.即若该全景图与前一全景图不属于同一个房间，则可以分别进行其对应房间的平面结构图的构建，再将构建的平面结构图进行拼接。
111.步骤720：构建三维模型。
112.即根据拼接后的平面结构图，获得该出租房的三维模型。
113.本说明书实施例提供的三维模型构建方法，相比于上述第一种方案，本说明书实施例提供的三维模型构建方法通过对全景图做算法分析，自动计算出两张图片之间的相对位置关系，去掉了对空间定位等组件的依赖。所以本说明书实施例提供的三维模型构建方法不依赖特定相机，而且也不要把相机放置在支架上；相比于上述第二种方案，本说明书实施例提供的三维模型构建方法通过一系列算法自动化地实现空间重建，降低了对人工的依赖；相比于上述第三种方案，本说明书实施例提供的三维模型构建方法通过结构检测来估计空间结构，而不是做单目深度估计，单目深度估计得到的点云做三维重建时，计算复杂度高。而本说明书实施例提供的三维模型构建方法通过结构检测极大的降低了计算复杂度，可以实现拍摄完成后即时看到重建效果，极大的提高了生产力。
114.参见图8，图8示出了本说明书一个实施例提供的一种三维模型构建的交互方法的流程图，其中，该方法应用于终端，具体包括以下步骤。
115.步骤802：响应于用户在三维模型构建页面的交互操作，向所述用户展示全景图片拍摄页面。
116.其中，三维模型构建页面可以理解为终端的某个应用程序中的三维模型构建页
面，例如租房应用程序中的三维模型构建页面，或者直接可以是三维模型构建应用程序打开后展示的三维模型构建页面；用户在三维模型构建页面的交互操作，可以理解为用户通过滑动、点击三维模型构建页面中的模型构建控件等产生的交互操作。
117.具体的，终端响应于用于在三维模型构建页面的交互操作，向用户展示全景图片拍摄页面，后续用户可以根据该全景图片拍摄页面进行全景图片的拍摄。
118.步骤804：在接收到所述用户在所述全景图片拍摄页面选择的目标区域的情况下，触发全景相机对所述目标区域进行拍摄，获得所述目标区域的全景图片。
119.其中，目标区域可以理解为目标房间，例如房屋的客厅、卫生间、卧室等。
120.具体的，终端在接收到用户在全景图片拍摄页面选择的目标区域的情况下，触发全景相机开启，实现通过全景相机对目标区域进行全景图片的拍摄，以获得该目标区域的全景图片。
121.步骤806：将所述目标区域的全景图片输入结构检测模块进行结构检测，确定所述目标区域的全景图片中目标房间的结构信息。
122.步骤808：将所述目标区域的全景图片输入物体检测模块进行物体检测，确定所述目标区域的全景图片中目标房间的物体信息。
123.那么，在获得目标区域的全景图片的情况下，将该目标区域的全景图片输入结构检测模块以及物体检测模块，分别获得该目标区域的全景图片中目标房间的结构信息以及物体信息。
124.具体的，目标区域的全景图片中目标房间的结构信息以及物体信息的具体获取方式可以参见上述实施例，在此不再赘述。
125.此外，在一种可实现方式中，还可以将目标区域的全景图片上传至服务端，在服务端进行目标区域的全景图片中目标房间的结构信息以及物体信息的获取。
126.步骤810：在确定所述目标区域的全景图片为单张以及单房间的情况下，根据所述目标房间的结构信息以及所述物体信息，构建所述目标区域的三维模型。
127.而在获取目标区域的全景图片中目标房间的结构信息以及物体信息之后，若确定该目标区域的全景图片为一张，且该房屋仅存在该目标区域一个房间的情况下，则可以根据该目标区域的全景图片中目标房间的结构信息以及物体信息，构建该目标区域的三维模型。
128.具体的，目标区域的三维模型的构建可以在服务端实现，也可以在终端实现，具体的实现主体可以根据具体应用进行设置。
129.本说明书实施例中，以目标区域的三维模型构建在服务端实现为例，进行具体介绍。具体实现方式如下所述：所述在确定所述目标区域的全景图片为单张以及单房间的情况下，根据所述目标房间的结构信息以及所述物体信息，构建所述目标区域的三维模型，包括：在确定所述目标区域的全景图片为单张以及单房间的情况下，将所述目标房间的结构信息以及所述物体信息发送至服务端；接收所述服务端根据所述目标房间的结构信息以及所述物体信息，构建的所述目标区域的三维模型。
130.本说明书实施例提供的三维模型构建的交互方法，以结构检测为主来估计空间的
三维结果，降低了计算复杂度，可以实现用户拍摄完成后，及时看到三维模型构建效果，极大的提高了生产力以及用户体验。
131.与上述方法实施例相对应，本说明书还提供了三维模型构建装置实施例，图9示出了本说明书一个实施例提供的一种三维模型构建装置的结构示意图。如图9所示，该装置包括：全景图片确定模块902，被配置为确定包含目标建筑的当前全景图片，其中，所述目标建筑包括至少一个房间；结构检测模块904，被配置为根据结构检测模块对所述当前全景图片进行结构检测，确定所述当前全景图片中目标房间的结构信息；物体检测模块906，被配置为根据物体检测模块对所述当前全景图片进行物体检测，确定所述当前全景图片中目标房间的物体信息；模型构建模块908，被配置为在确定所述当前全景图片为单张以及单房间的情况下，根据所述目标房间的结构信息以及所述物体信息，构建所述目标建筑的三维模型。
132.可选地，所述装置，还包括：单房间模型构建模块，被配置为：在确定存在包含所述目标建筑的前一全景图片的情况下，根据位置检测模块确定所述当前全景图片以及所述前一全景图片之间的相对位置关系；在根据所述相对位置关系，确定所述当前全景图片与所述前一全景图片属于所述目标建筑中的同一目标房间的情况下，融合所述当前全景图片与所述前一全景图片，获得融合后的所述目标房间的平面结构图；在所述目标建筑中仅包括所述目标房间的情况下，根据所述目标房间的平面结构图，构建所述目标建筑的三维模型。
133.可选地，所述单房间模型构建模块，进一步被配置为：根据所述相对位置关系，确定所述当前全景图片与所述前一全景图片之间的相对旋转矩阵和相对平移矩阵；根据所述相对旋转矩阵和所述相对平移矩阵，将所述当前全景图片与所述前一全景图片进行叠加融合，获得融合后的所述目标房间的平面结构图。
134.可选地，所述单房间模型构建模块，进一步被配置为：根据所述当前全景图片中目标房间的结构信息、物体信息，确定所述当前全景图片的第一平面图；根据所述前一全景图片中目标房间的结构信息、物体信息，确定所述前一全景图片的第二平面图；根据所述相对旋转矩阵和所述相对平移矩阵，对所述第一平面图和所述第二平面图进行叠加融合，获得融合后的所述目标房间的平面结构图。
135.可选地，所述单房间模型构建模块，进一步被配置为：根据所述相对位置关系，确定所述当前全景图片的特征点与所述前一全景图片的特征点之间的匹配结果；在根据所述匹配结果确定匹配特征点均在所述目标房间的门内的情况下，确定所述当前全景图片与所述前一全景图片属于所述目标建筑中的同一目标房间。
136.可选地，所述装置，还包括：多房间模型构建模块，被配置为：在所述目标建筑中包括其他房间的情况下，根据所述目标房间、所述其他房间的平面结构图，构建所述目标建筑的三维模型，其中，所述其他房间为所述目标建筑中、除所述目标房间之外的其他房间。
137.可选地，所述多房间模型构建模块，进一步被配置为：根据所述目标房间的平面结构图，构建所述目标房间的三维模型；根据所述其他房间的平面结构图，构建所述其他房间的三维模型；将所述目标房间的三维模型以及所述其他房间的三维模型进行拼接，构建所述目标建筑的三维模型。
138.可选地，所述多房间模型构建模块，进一步被配置为：将所述目标房间的平面结构图与所述其他房间的平面结构图进行拼接，获得目标平面结构图；根据所述目标平面结构图，构建所述目标建筑的三维模型。
139.可选地，所述装置，还包括：预处理模块，被配置为：根据预处理模块对所述当前全景图片进行图片处理，获得预处理后的当前全景图片。
140.可选地，所述结构检测模块包括结构检测模型，所述结构检测模型为预先训练的机器学习模型或深度学习模型。
141.本说明书实施例提供的三维模型构建装置，通过对包含目标建筑的全景图片进行分析，在确定该全景图片为目标建筑的单张，且该目标建筑仅为单房间的情况下，根据分析获得的全景图片中目标房间的结构信息以及物体信息，估计目标建筑的三维结构，计算复杂度较低，可以快速实现对目标建筑的空间建模，极大的提高了模型构建生产力；并且全景图片采用全景相机获取，成本低且方便拿取。
142.上述为本实施例的一种三维模型构建装置的示意性方案。需要说明的是，该三维模型构建装置的技术方案与上述的三维模型构建方法的技术方案属于同一构思，三维模型构建装置的技术方案未详细描述的细节内容，均可以参见上述三维模型构建方法的技术方案的描述。
143.与上述方法实施例相对应，本说明书还提供了三维模型构建的交互装置实施例，图10示出了本说明书一个实施例提供的一种三维模型构建的交互装置的结构示意图。如图10所示，该装置包括：页面展示模块1002，被配置为响应于用户在三维模型构建页面的交互操作，向所述用户展示全景图片拍摄页面；全景图片获得模块1004，被配置为在接收到所述用户在所述全景图片拍摄页面选择的目标区域的情况下，触发全景相机对所述目标区域进行拍摄，获得所述目标区域的全景图片；结构检测模块1006，被配置为将所述目标区域的全景图片输入结构检测模块进行结构检测，确定所述目标区域的全景图片中目标房间的结构信息；
物体检测模块1008，被配置为将所述目标区域的全景图片输入物体检测模块进行物体检测，确定所述目标区域的全景图片中目标房间的物体信息；模型构建模块1010，被配置为在确定所述目标区域的全景图片为单张以及单房间的情况下，根据所述目标房间的结构信息以及所述物体信息，构建所述目标区域的三维模型；模型展示模块1012，被配置为将所述目标区域的三维模型，通过所述三维模型构建页面展示给所述用户。
144.可选地，所述模型构建模块1010，进一步被配置为：在确定所述目标区域的全景图片为单张以及单房间的情况下，将所述目标房间的结构信息以及所述物体信息发送至服务端；接收所述服务端根据所述目标房间的结构信息以及所述物体信息，构建的所述目标区域的三维模型。
145.本说明书实施例提供的三维模型构建的交互装置，以结构检测为主来估计空间的三维结果，降低了计算复杂度，可以实现用户拍摄完成后，及时看到三维模型构建效果，极大的提高了生产力以及用户体验。
146.上述为本实施例的一种三维模型构建的交互装置的示意性方案。需要说明的是，该三维模型构建的交互装置的技术方案与上述的三维模型构建的交互方法的技术方案属于同一构思，三维模型构建的交互装置的技术方案未详细描述的细节内容，均可以参见上述三维模型构建的交互方法的技术方案的描述。
147.图11示出了根据本说明书一个实施例提供的一种计算设备1100的结构框图。该计算设备1100的部件包括但不限于存储器1110和处理器1120。处理器1120与存储器1110通过总线1130相连接，数据库1150用于保存数据。
148.计算设备1100还包括接入设备1140，接入设备1140使得计算设备1100能够经由一个或多个网络1060通信。这些网络的示例包括公用交换电话网（pstn）、局域网（lan）、广域网（wan）、个域网（pan）或诸如因特网的通信网络的组合。接入设备1140可以包括有线或无线的任何类型的网络接口（例如，网络接口卡（nic））中的一个或多个，诸如ieee802.11无线局域网（wlan）无线接口、全球微波互联接入（wi-max）接口、以太网接口、通用串行总线（usb）接口、蜂窝网络接口、蓝牙接口、近场通信（nfc）接口，等等。
149.在本说明书的一个实施例中，计算设备1100的上述部件以及图11中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图11所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
150.计算设备1100可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备（例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等）、移动电话（例如，智能手机）、可佩戴的计算设备（例如，智能手表、智能眼镜、ar眼镜、vr眼镜、增强现实眼镜、虚拟现实眼镜等）或其他类型的移动设备，或者诸如台式计算机或pc的静止计算设备。计算设备1100还可以是移动式或静止式的服务器。
151.其中，处理器1120用于执行如下计算机可执行指令，该计算机可执行指令被处理器执行时实现上述三维模型构建方法的步骤或上述三维模型构建的交互方法的步骤。
152.上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的三维模型构建方法或者三维模型构建的交互方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述三维模型构建方法或者三维模型构建的交互方法的技术方案的描述。
153.本说明书一实施例还提供一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现上述三维模型构建方法的步骤或上述三维模型构建的交互方法的步骤。
154.上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的三维模型构建方法或者三维模型构建的交互方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述三维模型构建方法或者三维模型构建的交互方法的技术方案的描述。
155.本说明书一实施例还提供一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述三维模型构建方法的步骤或上述三维模型构建的交互方法的步骤。
156.上述为本实施例的一种计算机程序的示意性方案。需要说明的是，该计算机程序的技术方案与上述的三维模型构建方法或者三维模型构建的交互方法的技术方案属于同一构思，计算机程序的技术方案未详细描述的细节内容，均可以参见上述三维模型构建方法或者三维模型构建的交互方法的技术方案的描述。
157.本说明书一实施例还提供一种三维模型构建终端，包括：存储器和处理器；所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现上述三维模型构建方法的步骤或上述三维模型构建的交互方法的步骤。
158.上述为本实施例的一种三维模型构建终端的示意性方案。需要说明的是，该三维模型构建终端的技术方案与上述的三维模型构建方法或者三维模型构建的交互方法的技术方案属于同一构思，三维模型构建终端的技术方案未详细描述的细节内容，均可以参见上述三维模型构建方法或者三维模型构建的交互方法的技术方案的描述。
159.本说明书一实施例还提供一种增强现实ar设备，包括：存储器和处理器；所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现上述三维模型构建方法的步骤或上述三维模型构建的交互方法的步骤。
160.上述为本实施例的一种增强现实ar设备的示意性方案。需要说明的是，该增强现实ar设备的技术方案与上述的三维模型构建方法或者三维模型构建的交互方法的技术方案属于同一构思，增强现实ar设备的技术方案未详细描述的细节内容，均可以参见上述三维模型构建方法或者三维模型构建的交互方法的技术方案的描述。
161.本说明书一实施例还提供一种虚拟现实vr设备，包括：存储器和处理器；所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行
指令，该计算机可执行指令被处理器执行时实现上述三维模型构建方法的步骤或上述三维模型构建的交互方法的步骤。
162.上述为本实施例的一种虚拟现实vr设备的示意性方案。需要说明的是，该虚拟现实vr设备的技术方案与上述的三维模型构建方法或者三维模型构建的交互方法的技术方案属于同一构思，虚拟现实vr设备的技术方案未详细描述的细节内容，均可以参见上述三维模型构建方法或者三维模型构建的交互方法的技术方案的描述。
163.上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
164.所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
165.需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本说明书实施例并不受所描述的动作顺序的限制，因为依据本说明书实施例，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本说明书实施例所必须的。
166.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
167.以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书实施例的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书实施例的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。