全景图像采集方法、装置、电子终端及介质与流程

1.本技术涉及计算机技术领域，尤其涉及一种全景图像采集方法、装置、电子终端及介质。


背景技术：

2.为了满足线上看房需求，需要准备房屋的三维全景空间或二维平面户型图供看房者查看。目前，为了制作房屋的三维全景空间或二维平面户型图需要由线下人员利用手机拍摄房屋内各个空间对象的多张全景图像，并上传至服务端，由服务端基于多张全景图像及其相对位姿关系构建出三维全景空间或者二维平面户型图。
3.现有技术中，在构建三维全景空间或二维平面户型图过程中，是由人工识别多张全景图像的相对位姿关系的。其中，全景图像之间的相对位姿关系准确与否直接关系构建出的三维全景图或二维平面户型图的质量和效率。然而，通过人工识别多张全景图像的相对位姿关系，不仅效率较低，而且准确度较低，容易出现差错。


技术实现要素：

4.本技术的多个方面提供一种全景图像采集方法、装置、电子终端及介质，用以自动、准确、快速地确定电子终端在两两拍摄点之间的相对位姿信息。
5.本技术实施例提供一种全景图像采集方法，适用于带有图像采集装置的电子终端，电子终端可在目标房屋对象中的不同拍摄点之间移动，并在各拍摄点上拍摄目标房屋空间对应的全景图像，该方法包括：在从当前所处第一拍摄点向第二拍摄点移动过程中，利用图像采集装置采集周围的环境图像，并基于采集到的环境图像跟踪电子终端的移动轨迹，第二拍摄点是第一拍摄点的下一拍摄点，第一拍摄点为任一拍摄点；若发生轨迹丢失的情况，则输出轨迹丢失提示信息，以提示电子终端向第一拍摄点后退，在后退过程中继续采集周围的环境图像并基于继续采集到的环境图像跟踪电子终端的移动轨迹；在重新跟踪到电子终端的移动轨迹的情况下，输出轨迹找回提示信息，以提示电子终端继续向第二拍摄点移动，以及在到达第二拍摄点的情况下，利用图像采集装置拍摄全景图像；根据跟踪到的电子终端在第一拍摄点和第二拍摄点之间的移动轨迹，确定电子终端在第一拍摄点和第二拍摄点之间的相对位姿信息，以根据在第一拍摄点和第二拍摄点拍摄到的全景图像以及相对位姿信息构建目标房屋对象的平面户型图或三维全景空间。
6.本技术实施例还提供一种全景图像采集装置，适用于带有图像采集装置的电子终端，电子终端可在目标房屋对象中的不同拍摄点之间移动，并在各拍摄点上拍摄目标房屋空间对应的全景图像，该装置包括：图像采集模块，用于在从当前所处第一拍摄点向第二拍摄点移动过程中，利用图像采集装置采集周围的环境图像；处理模块，用于在从当前所处第一拍摄点向第二拍摄点移动过程中，利用图像采集装置采集周围的环境图像，并基于采集到的环境图像跟踪电子终端的移动轨迹，第二拍摄点是第一拍摄点的下一拍摄点，第一拍摄点为任一拍摄点；若发生轨迹丢失的情况，则输出轨迹丢失提示信息，以提示电子终端向
第一拍摄点后退，在后退过程中继续利用图像采集装置采集周围的环境图像并基于继续采集到的环境图像跟踪电子终端的移动轨迹；在重新跟踪到电子终端的移动轨迹的情况下，输出轨迹找回提示信息，以提示电子终端继续向第二拍摄点移动，以及在到达第二拍摄点的情况下，利用图像采集装置拍摄全景图像；根据跟踪到的电子终端在第一拍摄点和第二拍摄点之间的移动轨迹，确定电子终端在第一拍摄点和第二拍摄点之间的相对位姿信息，以根据在第一拍摄点和第二拍摄点拍摄到的全景图像以及相对位姿信息构建目标房屋对象的平面户型图或三维全景空间。
7.本技术实施例还提供一种电子终端，包括：图像采集装置、存储器和处理器；图像采集装置，用于图像采集；存储器，用于存储计算机程序；处理器耦合至存储器，用于执行计算机程序以用于执行全景图像采集方法。
8.本技术实施例还提供一种存储有计算机程序的计算机可读存储介质，当计算机程序被处理器执行时，致使处理器实现全景图像采集方法。
9.在本技术实施例中，电子终端在目标房屋对象中的一个拍摄点向另一个拍摄点的移动过程中，实时利用图像采集装置采集周围的环境图像，并基于实时采集到的环境图像实时跟踪电子终端的移动轨迹。若发生轨迹丢失的情况，提示用户向上一个拍摄点后退直至重新跟踪到电子终端的移动轨迹。在重新跟踪到电子终端的移动轨迹的情况下，提示用户向下一个拍摄点继续移动以在下一个拍摄点上拍摄全景图像。根据跟踪到的电子终端两两拍摄点之间的移动轨迹，可以自动、准确、快速地确定电子终端在两两拍摄点之间的相对位姿信息。这样，基于各个拍摄点的全景图像和两两拍摄点之间的相对位姿信息，可以自动、快速、准确地构建目标房屋对象的平面户型图或三维全景空间。
附图说明
10.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
11.图1为本技术实施例提供的一种全景图像采集方法所适用的一种系统架构图；
12.图2为示例性的平面户型图；
13.图3为本技术实施例提供的一种全景图像采集方法的流程示意图；
14.图4和5分别为本技术实施例提供的一种示例性的轨迹信息展示界面；
15.图6为本技术实施例提供的一种全景图像采集装置的结构示意图；
16.图7为本技术实施例提供的一种电子终端的结构示意图。
具体实施方式
17.为使本技术的目的、技术方案和优点更加清楚，下面将结合本技术具体实施例及相应的附图对本技术技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
18.在现有技术中，通过人工识别多张全景图像的相对位姿关系，不仅效率较低，而且准确度较低，容易出现差错。为了解决上述技术问题，本技术实施例提供一种全景图像采集方法、装置、电子终端及介质。在本技术实施中，电子终端在目标房屋对象中的一个拍摄点
向另一个拍摄点的移动过程中，实时利用图像采集装置采集周围的环境图像，并基于实时采集到的环境图像实时跟踪电子终端的移动轨迹。若发生轨迹丢失的情况，提示用户向上一个拍摄点后退直至重新跟踪到电子终端的移动轨迹。在重新跟踪到电子终端的移动轨迹的情况下，提示用户向下一个拍摄点继续移动以在下一个拍摄点上拍摄全景图像。根据跟踪到的电子终端两两拍摄点之间的移动轨迹，可以自动、准确、快速地确定电子终端在两两拍摄点之间的相对位姿信息。这样，基于各个拍摄点的全景图像和两两拍摄点之间的相对位姿信息，可以自动、快速、准确地构建目标房屋对象的平面户型图或三维全景空间。
19.图1为本技术实施例提供的一种全景图像采集方法所适用的一种系统架构图。如图1所示，该系统可以包括电子终端10和服务端20。可选的，电子终端10可以通过有线网络、或者无线网络与服务端20进行交互。例如，有线网络可以包括同轴电缆、双绞线和光纤等，无线网络可以是2g网络、3g网络、4g网络或者5g网络、无线保真(wireless fidelity，简称wifi)网络等。本技术对交互的具体类型或者具体形式并不做限定，只要其能够实现电子终端10与服务端20交互的功能即可。可选的，电子终端10例如包括但不限于手机、平板电脑、笔记本电脑、可穿戴设备、车载设备。服务端20例如包括但不限于单个服务器或多个服务器组成的分布式服务器集群。应当理解的是，图1中的电子终端10、服务端20的数量仅仅是示意性的。实际应用中，根据实际需求部署任意数量的电子终端、服务端。
20.在本技术实施例中，电子终端10携带有图像采集装置30，图像采集装置30可以是任意具有图像采集功能的设备，例如，从传感器的结构特性来看，图像采集装置30可以采用面阵相机或线阵相机。又例如，从支持的画面分辨率来看，图像采集装置可以采用标清相机或高清相机。又例如，从所支持的信号类型来看，图像采集装置30可以采用模拟摄像机或数字摄像机。又例如，从摄像头的个数来看，图像采集装置30可以采用单目摄像头或双目摄像头。
21.实际应用中，房屋对象一般有多个空间对象，多个空间对象例如包括但不限于客厅、餐厅、厨房、卧室、阳台、卫生间、玄关，如图2所示；当然，房屋对象划分成多少个空间对象可以根据需求进行自定义设置。在实际应用中，不同房屋对象内部的空间对象规划可以有所不同，不同空间对象之间的连接方式也可以有所不同，例如部分空间对象(卧室和客厅)之间存在墙体且通过门进行连接，例如图2中的卧室和客厅之间存在墙体且通过门进行连接；而部分空间对象(客厅、餐厅)之间不存在墙体且通过开放空间连接，例如图2中的客厅和餐厅之间不存在墙体且通过开放空间进行连接。其中，对于通过墙体隔断同时通过门体对象连接的两个空间对象而言，可以通过墙体将其识别为两个空间对象，对于之间不存在墙体的两个空间对象而言，则还可以通过识别其中的矩形区域等任何可用方式识别其中包含的空间对象，当然在本技术实施例中，根据需求也可以不对不存在墙体而通过开放空间连接的空间进行进一步识别，对此本技术实施例不加以限定。例如，对于通过开放空间连接的客厅和餐厅而言，可以通过识别矩形区域等方式将其拆分为客厅和餐厅两个部分，或者也可以直接识别为一个整体，作为客餐厅，等等。
22.在本技术实施例中，将需要进行全景图像采集的房屋对象称作为目标房屋对象，可由负责图像采集的工作人员携带电子终端在目标房屋对象中移动，在移动过程中，启动图像采集装置，实时采集电子终端周围的环境图像。在移动到目标房屋对象中任一空间对象中的指定的拍摄点时，在该拍摄点上进行全景拍摄得到该空间对象的全景图像。以图2为
例，图2中的虚线表示电子终端的移动轨迹，黑点表示在客厅、餐厅、厨房、卧室、阳台、卫生间、玄关等空间对象中设置的拍摄点，当电子终端移动到拍摄点时拍摄各个空间对象的全景图像。
23.在本技术实施例中，电子终端在目标房屋对象中的一个拍摄点向另一个拍摄点的移动过程中，实时利用图像采集装置采集周围的环境图像，并基于实时采集到的环境图像实时跟踪电子终端的移动轨迹。若发生轨迹丢失的情况，提示用户向上一个拍摄点后退直至重新跟踪到电子终端的移动轨迹。在重新跟踪到电子终端的移动轨迹的情况下，提示用户向下一个拍摄点继续移动以在下一个拍摄点上拍摄全景图像。根据跟踪到的电子终端在第一拍摄点和第二拍摄点之间的移动轨迹，可以自动、准确、快速地确定电子终端在第一拍摄点和第二拍摄点之间的相对位姿信息。当各个拍摄点的全景图像和两两拍摄点之间的相对位姿信息上传至服务端后，服务端可以自动、快速、准确地构建目标房屋对象的平面户型图或三维全景空间。
24.值得注意的是，在一些应用场景中，也可以由电子终端基于各个拍摄点的全景图像和两两拍摄点之间的相对位姿信息构建目标房屋对象的平面户型图或三维全景空间。
25.以下结合附图，详细说明本技术各实施例提供的技术方案。
26.图3为本技术一示例性实施例提供的一种全景图像采集方法的流程示意图。该方法可由电子终端执行，参见图3，该方法可以包括以下步骤：
27.301、在从当前所处第一拍摄点向第二拍摄点移动过程中，利用图像采集装置采集周围的环境图像。
28.302、基于采集到的环境图像跟踪电子终端的移动轨迹，第二拍摄点是第一拍摄点的下一拍摄点，第一拍摄点为任一拍摄点。
29.303、若发生轨迹丢失的情况，则输出轨迹丢失提示信息，以提示电子终端向第一拍摄点后退，在后退过程中继续采集周围的环境图像并基于继续采集到的环境图像跟踪电子终端的移动轨迹。
30.304、在重新跟踪到电子终端的移动轨迹的情况下，输出轨迹找回提示信息，以提示电子终端继续向第二拍摄点移动，以及在到达第二拍摄点的情况下，利用图像采集装置拍摄全景图像。
31.305、根据跟踪到的电子终端在第一拍摄点和第二拍摄点之间的移动轨迹，确定电子终端在第一拍摄点和第二拍摄点之间的相对位姿信息，以根据在第一拍摄点和第二拍摄点拍摄到的全景图像以及相对位姿信息构建目标房屋对象的平面户型图或三维全景空间。
32.在本实施例中，用户在执行对目标房屋对象的全景图像采集任务时，手持诸如带摄像头的手机等电子终端依次在目标房屋对象的多个空间对象中移动，在移动过程中保持手机处于拍摄状态，以实时采集目标房屋对象内的环境图像。并采用轨迹跟踪算法处理当前采集到的实时计算电子终端当前所处的位置，以实现跟踪电子终端的移动轨迹。在本实施例中，将电子终端当前所处的位置称作为当前移动到的轨迹位置。其中，轨迹跟踪算法例如包括但不限于slam(simultaneous localization and mapping，即时定位与地图构建)算法、基于深度学习的多目标跟踪算法。
33.实际应用中，用户在手持电子终端进行图像采集过程中，可能因环境光线不足、环境光线过大、移动速度过快等因素，造成采集到的环境图像质量较差，导致无法基于当前采
集到的环境图像跟踪到电子终端的当前轨迹位置，电子终端的移动轨迹跟踪失败，也即发生轨迹丢失事件。
34.进一步可选的，为了准确地跟踪电子设备的移动轨迹，基于采集到的环境图像跟踪电子终端的移动轨迹的一种实施过程是：针对当前环境图像进行特征点提取，基于当前环境图像中的特征点与之前成功跟踪到电子终端的移动轨迹的历史环境图像中的特征点进行匹配；在成功匹配到的特征点对的数量大于或等于设定数量阈值的情况下，根据成功匹配到的特征点对在相应环境图像中的像素位置确定电子终端当前移动到的轨迹位置；在成功匹配到的特征点对的数量小于设定的第一数量阈值的情况下，确定发生轨迹丢失的情况。
35.在本实施例中，设定数量阈值根据实际需求设置。将当前环境图像中的特征点与之前成功跟踪到电子终端的移动轨迹的历史环境图像中的特征点进行匹配，若匹配成功，确定新增一个新的特征点对。若匹配失败，确定对应的特征点不属于特征点对。若成功匹配到的特征点对的数量大于或等于设定数量阈值，说明成功匹配到的特征点对的数量较多，当前环境图像的拍摄质量较好，当然，在这种情况下基于环境图像定位出的电子终端的轨迹位置较为准确。并可确定发生轨迹跟踪成功的情况；若成功匹配到的特征点对的数量小于设定数量阈值，说明成功匹配到的特征点对的数量较少，当前环境图像的拍摄质量较差，当然，在这种情况下基于环境图像定位出的电子终端的轨迹位置不够准确，并可确定发生轨迹丢失的情况。
36.在本实施例中，可以采用slam算法提取当前环境图像中的特征点，并进行特征点匹配，以及根据成功匹配到的特征点对在相应环境图像中的像素位置以更加准确地确定电子终端当前移动到的轨迹位置。
37.在本实施例中，在从上一个拍摄点向下一个拍摄点移动过程中发生轨迹丢失的情况下，需要及时找回电子终端的移动轨迹，以便后续准确确定相邻两个拍摄点之间的相对位姿信息。
38.值得注意的是，假如轨迹丢失发生在拍摄全景图像的拍摄点，若不找回电子终端的移动轨迹，而在拍摄点上继续拍摄全景图像，此时拍摄出来的全景图像的图像质量较差，直接影响后续准确构建目标房屋对象的平面户型图或三维全景空间。换而言之，及时找回电子终端的移动轨迹除了可以便于后续准确确定相邻两个拍摄点之间的相对位姿信息，还可以提高全景图像的图像质量，进而保证准确构建目标房屋对象的平面户型图或三维全景空间。
39.具体而言，在发生轨迹丢失的情况后，电子终端输出轨迹丢失提示信息以提示电子终端向第一拍摄点后退。在后退过程中，保持图像采集装置处于拍摄状态，以在后退过程中继续采集周围的环境图像。电子终端基于继续采集到的环境图像跟踪电子终端的移动轨迹。
40.本实施例对轨迹丢失提示信息输出方式不做限定。例如，采用语音输出方式、文本输出方式或者灯光闪烁输出方式。进一步可选的，为了更好地引导用户后退，在电子终端输出轨迹丢失提示信息时，可以从图像采集界面跳转至轨迹信息展示界面，轨迹信息展示界面上显示有第一拍摄点和第二拍摄点的标记信息；将在轨迹丢失前跟踪到的电子终端的移动轨迹渲染到轨迹信息展示界面上，并在轨迹消失位置的关联区域内显示轨迹丢失提示信
息。以图4为例，用户将手机架设在支架上，并携带支架从衣帽间向阳台移动，若在向阳台移动过程中，跟踪不到手机的当前位置，则确定手机的轨迹丢失，则在图4的界面上提示“轨迹丢失！手持支架后退2-3步找回轨迹”。在图4所示的界面中，黑色圆点分别表示的是阳台和衣帽间对应的拍摄点。
41.进一步可选的，为了成功找回轨迹和提高轨迹找回效率，在确定发生轨迹丢失的情况下，电子终端还可以根据当前环境图像确定发生轨迹丢失的原因信息，并生成与原因信息适配的拍摄建议信息；输出轨迹丢失的原因信息和拍摄建议信息，以供用户调整利用图像采集装置采集环境图像时的采集方式。
42.具体而言，在根据当前环境图像确定发生轨迹丢失的原因信息，并生成与原因信息适配的拍摄建议信息时，可以执行以下至少一种操作：
43.操作1：根据当前环境图像中的特征点，识别拍摄当前环境图像时的环境光信息，若环境光信息不满足环境光条件，确定发生轨迹丢失的原因信息是环境光强度不足，并生成增强光照强度的拍摄建议。
44.进一步可选的，可以采用slam算法根据当前环境图像中的特征点，以准确识别拍摄当前环境图像时的环境光信息。
45.其中，环境光条件根据实际情形设置，环境光信息不满足环境光条件，说明环境光强度不足；环境光信息满足环境光条件，说明环境光强度足够。
46.值得注意的是，在电子终端输出增强光照强度的拍摄建议后，用户根据拍摄建议可以在移动至历史发生过轨迹丢失的位置附近打开房间里的照明灯或者电子终端的手电筒等以增强光照强度，以提高轨迹找回的成功率。
47.操作2：根据当前环境图像与前一环境图像的拍摄时间之差和相对位置，识别电子终端的移动速度，在移动速度大于设定的速度阈值时，确定发生轨迹丢失的原因信息是电子终端的移动速度过快，并生成降低移动速度的拍摄建议。
48.进一步可选的，可以采用slam算法基于当前环境图像与前一环境图像的相对位置，计算出电子终端拍摄从拍摄前一环境图像到当前环境图像时的移动距离，并将移动距离除以拍摄时间之差得到电子终端的移动速度。其中，拍摄时间之差是拍摄前一环境图像到当前环境图像时之间的时间长度。
49.其中，设定的速度阈值根据实际情形设置，在移动速度大于设定的速度阈值时，说明电子终端的移动速度过快；在移动速度小于或等于设定的速度阈值时，说明电子终端的移动速度满足要求。
50.值得注意的是，在电子终端输出降低移动速度的拍摄建议后，用户根据拍摄建议可以在移动至历史发生过轨迹丢失的位置附近降低电子终端的移动速度，以提高轨迹找回的成功率。
51.操作3：
52.根据当前环境图像中的特征点，识别当前环境图像中的拍摄对象的色彩信息，并基于拍摄对象的色彩信息识别为浅色物体时，确定发生轨迹丢失的原因信息是拍摄到浅色物体，并生成拍摄深色物体的拍摄建议。
53.进一步可选的，可以采用slam算法根据当前环境图像中的特征点，识别当前环境图像中的拍摄对象的颜色信息，根据拍摄对象的颜色信息识别拍摄对象是否为浅色物体。
54.实际应用中，对诸如白墙这样的浅色物体进行拍摄得到的环境图像中携带的特征信息较少，很容易导致基于这样的环境图像跟踪电子终端的移动轨迹失败。于是，在确定发生轨迹丢失的原因信息是拍摄到浅色物体时，生成拍摄深色物体的拍摄建议。在电子终端输出拍摄深色物体的拍摄建议后，用户根据拍摄建议可以在重新移动至历史发生过轨迹丢失的位置附近尽量减少拍摄白墙，拍摄深色物体，以提高轨迹找回的成功率。
55.在本实施例中，在电子终端朝着第一拍摄点退回的过程中，若重新跟踪到电子终端的移动轨迹，则停止后退，并输出轨迹找回提示信息，以提示电子终端继续向第二拍摄点移动。在到达第二拍摄点的情况下，利用图像采集装置拍摄第二拍摄点对应的空间对象的全景图像。本实施例对轨迹找回提示信息输出方式不做限定。例如，采用语音输出方式、文本输出方式或者灯光闪烁输出方式。进一步可选的，可在轨迹信息展示界面展示轨迹找回提示信息，以直观地使得用户获知丢失的移动轨迹已找回。
56.进一步可选的，轨迹信息展示界面上包括拍摄点新增控件，电子终端还可以响应于对拍摄点新增控件的触发操作，展示当前所在空间对象中的候选拍摄点，以供选择；响应于对任一候选拍摄点的选择操作，将选中的候选拍摄点作为新增拍摄点显示在轨迹信息展示界面上。以图5为例，点击轨迹信息展示界面上“新增点位”这一拍摄点新增控件可以新增新的拍摄点，点击拍摄控件可以触发在拍摄点进行全景拍摄。
57.在本实施例中，在移动到第二拍摄点拍摄到全景图像之后，根据跟踪到的电子终端在第一拍摄点和第二拍摄点之间的移动轨迹，能够确定电子终端在第一拍摄点时的位置信息和电子终端在第一拍摄点时的位置信息，进而基于电子终端在第一拍摄点时的位置信息和电子终端在第一拍摄点时的位置信息，可以得到电子终端在第一拍摄点和第二拍摄点之间的相对位姿信息。
58.值得注意的是，第一拍摄点和第二拍摄点是目标房屋对象中任意两个拍摄点，电子终端可以在计算出任意两个拍摄点之间的相对位姿信息后，将在任意两个拍摄点上拍摄的全景图像和对应的相对位姿信息上传服务端。也可以在完成对目标房屋对象的全景图像采集任务后，以及计算出全部的两两拍摄点之间的相对位姿信息后，将全部拍摄点的全景图像和对应的各个相对位姿信息上传至服务端，以供服务端构建目标房屋对象的平面户型图或三维全景空间。
59.值得说明的是，若第一拍摄点是目标房屋对象的第1个拍摄点，则用户进入目标房屋对象后，并开始朝着第一拍摄点的移动过程中，不断地跟踪电子终端的移动轨迹，并在发生轨迹丢失的情况下，用户携带电子终端后退直至轨迹找回后重新朝着第1个拍摄点移动，进而保证能够保证准确地跟踪到第1个拍摄点的位置信息。
60.实际应用中，电子终端可以基于各个拍摄点的全景图像和两两拍摄点之间的相对位姿信息构建目标房屋对象的平面户型图或三维全景空间。电子终端也可以将各个拍摄点的全景图像和两两拍摄点之间的相对位姿信息上传至服务端，由服务端基于各个拍摄点的全景图像和两两拍摄点之间的相对位姿信息构建目标房屋对象的平面户型图或三维全景空间。
61.值得注意的是，在构建三维全景空间时，可以根据两两拍摄点之间的相对位姿信息对各个拍摄点的全景图像进行拼接，构建出目标房屋对象的三维全景空间。
62.值得注意的是，在构建平面户型图的过程中，可以对各个拍摄点的全景图像分别
进行特定交界线的检测，以得到目标房屋对象中多个空间对象包含的特定交界线的位置信息；根据两两拍摄点之间的相对位姿信息，对多个空间对象包含的特定交界线的位置信息进行拼接，得到目标房屋对象的平面户型图。进一步可选的，可以利用特定交界线检测模型对多张全景图分别进行特定交界线的检测，以得到多个空间对象包含的特定交界线的位置信息。特定交界线检测模型是能够进行特定交界线检测的神经网络模型。其中，在训练特定交界线检测模型之前，准备大量的样本全景图，以及标注样本全景图中空间对象包含的特定交界线的位置信息，基于样本全景图及其标注结果进行对神经网络模型进行模型训练，得到特定交界线检测模型。其中，神经网络模型包括但并限于卷积神经网络(convolutional neural networks，cnn)模型、循环神经网络(recurrent neural networks，rnn)模型、长短期记忆网络(long short-term memory，lstm)模型。
63.在本技术实施例中，特定交界线可以是指空间对象中墙体与地面之间的交界线(也可以称之为墙角线)，也可以是指空间对象中墙体与天花板之间的交界线，但并不以此为限。
64.本技术实施例提供的全景图像采集方法，电子终端在目标房屋对象中的一个拍摄点向另一个拍摄点的移动过程中，实时利用图像采集装置采集周围的环境图像，并基于实时采集到的环境图像实时跟踪电子终端的移动轨迹。若发生轨迹丢失的情况，提示用户向上一个拍摄点后退直至重新跟踪到电子终端的移动轨迹。在重新跟踪到电子终端的移动轨迹的情况下，提示用户向下一个拍摄点继续移动以在下一个拍摄点上拍摄全景图像。根据跟踪到的电子终端两两拍摄点之间的移动轨迹，可以自动、准确、快速地确定电子终端在两两拍摄点之间的相对位姿信息。这样，基于各个拍摄点的全景图像和两两拍摄点之间的相对位姿信息可以自动、快速、准确地构建目标房屋对象的平面户型图或三维全景空间。
65.实际应用中，有些性能好的电子终端支持arkit功能或者arcore功能，而一些性能一般的电子终端支持arkit功能或者arcore功能。为了使得性能一般的电子终端也能够支持轨迹跟踪功能，在使用任一电子终端采集全景图像之前，可以在该电子终端上部署slam算法。为了便于理解和区分，将在电子终端中部署的slam算法称作为第一轨迹跟踪算法。将arkit功能或者arcore功能所涉及的轨迹跟踪算法称作为第二轨迹跟踪算法。值得注意的是，arcore功能涉及的轨迹跟踪算法是基于所拍摄的环境图像的特征点来跟踪电子终端在不同时间的位置。arkit是识别环境图像中的显著特征，并基于环境图像中的显著特征来跟踪电子终端在不同时间的位置。在本质上，arcore功能涉及的轨迹跟踪算法和arkit功能涉及的轨迹跟踪算法属于slam算法范畴。
66.值得注意的是，第一轨迹跟踪算法和第二轨迹跟踪算法的跟踪性能可能相同，也可能不同，对此不作限制。考虑到第一轨迹跟踪算法和第二轨迹跟踪算法的跟踪性能可能会存在差异，基于跟踪性能更好地轨迹跟踪算法跟踪到的轨迹数据显然可以帮助构建出更加准确的平面户型图或三维全景空间。
67.基于上述，实际应用中，可以采用不同的轨迹跟踪算法基于采集到的环境图像跟踪电子终端的移动轨迹，并基于不同的轨迹跟踪算法跟踪到的移动轨迹计算不同拍摄点之间的相对位姿信息。于是，在一可选实现方式中，电子终端基于采集到的环境图像跟踪电子终端的移动轨迹的一种实施过程是：分别利用第一轨迹跟踪算法和第二轨迹跟踪算法，基于采集到的环境图像跟踪电子终端的移动轨迹，得到第一移动轨迹数据和第二移动轨迹数
据；相应地，电子终端在第一拍摄点和第二拍摄点之间的相对位姿信息，包括：分别根据第一移动轨迹数据和第二移动轨迹数据确定出的第一相对位姿信息和第二相对位姿信息。
68.其中，第一相对位姿信息是基于从第一移动轨迹数据获取到的电子终端在第一拍摄点的位置信息和在第二拍摄点的位置信息得到的，第二相对位姿信息是基于从第二移动轨迹数据获取到的电子终端在第一拍摄点的位置信息和在第二拍摄点的位置信息得到的。
69.在电子终端得到在各个拍摄点拍摄的全景图像和两两拍摄点之间的第一相对位姿信息和第二相对位姿信息后，电子终端或服务端可以分别利用第一相对位姿信息和第二相对位姿信息构建目标房屋对象的平面户型图或三维全景空间，并不同的平面户型图或三维全景空间进行质量打分，将质量分高的目标房屋对象的平面户型图或三维全景空间输出给显示终端进行展示。
70.于是，在一可选实施例中，根据第一拍摄点和第二拍摄点拍摄到的全景图像以及第一相对位姿信息，构建目标房屋对象对应的第一平面户型图或第一三维全景空间；根据第一拍摄点和第二拍摄点拍摄到的全景图像以及第二相对位姿信息，构建目标房屋对象对应的第二平面户型图或第二三维全景空间；基于构建第一平面户型图或第一三维全景空间过程中产生的第一中间态数据，生成第一平面户型图或第一三维全景空间的质量分，并基于构建第二平面户型图或第二三维全景空间过程中产生的第二中间态数据，生成第二平面户型图或第二三维全景空间的质量分；选择质量分大的平面户型图或三维全景空间作为目标平面户型图或目标三维全景空间输出至显示终端进行展示。
71.具体的，可以基于实际情况设置反映平面户型图或三维全景空间的构建质量的质量指标，例如，针对平面户型图，其质量指标可以是相邻的空间对象的墙角线是否交叉、出现墙角线交叉的空间对象的数量、墙角线交叉的幅度。针对三维全景空间，其质量指标可以是相邻的空间对象的全景图像是否重叠、重叠的空间对象的数量、重叠的幅度等等。
72.实际应用中，可以通过人工观察方式观察平面户型图或三维全景空间在各个质量指标下的质量数据，并将各个质量指标下的质量数据作为中间态数据提供给电子终端或服务端。电子终端或服务端基于中间态数据对平面户型图或三维全景空间进行质量打分。在本实施例中，将第一平面户型图或第一三维全景空间对应的中间态数据称作为第一中间态数据；将第二平面户型图或第二三维全景空间对应的中间态数据称作为第二中间态数据。基于第一平面户型图或第一三维全景空间各自的第一中间态数据生成第一平面户型图或第一三维全景空间的质量分；基于第二平面户型图或第二三维全景空间各自的第二中间态数据生成第二平面户型图或第二三维全景空间的质量分。质量分大的平面户型图或三维全景空间能够更好地反映目标房屋对象的真实房屋信息，于是选择质量分大的平面户型图或三维全景空间作为目标平面户型图或目标三维全景空间输出至显示终端进行展示。
73.需要说明的是，上述实施例所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。比如，步骤301至步骤303的执行主体可以为设备a；又比如，步骤301和302的执行主体可以为设备a，步骤303的执行主体可以为设备b；等等。
74.另外，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如301、302等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或
并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
75.图6为本技术实施例提供的一种全景图像采集装置的结构示意图。参见图6，该全景图像采集装置包括：图像采集模块61、处理模块62。
76.其中，图像采集模块61，用于在从当前所处第一拍摄点向第二拍摄点移动过程中，利用图像采集装置采集周围的环境图像；
77.处理模块62，用于基于采集到的环境图像跟踪电子终端的移动轨迹，第二拍摄点是第一拍摄点的下一拍摄点，第一拍摄点为任一拍摄点；若发生轨迹丢失的情况，则输出轨迹丢失提示信息，以提示电子终端向第一拍摄点后退，在后退过程中继续利用图像采集装置采集周围的环境图像并基于继续采集到的环境图像跟踪电子终端的移动轨迹；在重新跟踪到电子终端的移动轨迹的情况下，输出轨迹找回提示信息，以提示电子终端继续向第二拍摄点移动，以及在到达第二拍摄点的情况下，利用图像采集装置拍摄全景图像；根据跟踪到的电子终端在第一拍摄点和第二拍摄点之间的移动轨迹，确定电子终端在第一拍摄点和第二拍摄点之间的相对位姿信息，以根据在第一拍摄点和第二拍摄点拍摄到的全景图像以及相对位姿信息构建目标房屋对象的平面户型图或三维全景空间。
78.进一步可选的，如图6所示，上述装置还包括发送模块63；
79.发送模块63，用于将在第一拍摄点和第二拍摄点拍摄到的全景图像以及相对位姿信息发送至服务端，以供服务端构建目标房屋对象的平面户型图或三维全景空间。
80.进一步可选的，处理模块62基于采集到的环境图像跟踪电子终端的移动轨迹时，具体用于：针对当前环境图像进行特征点提取，基于当前环境图像中的特征点与之前成功跟踪到电子终端的移动轨迹的历史环境图像中的特征点进行匹配；在成功匹配到的特征点对的数量大于或等于设定数量阈值的情况下，根据成功匹配到的特征点对在相应环境图像中的像素位置确定电子终端当前移动到的轨迹位置；在成功匹配到的特征点对的数量小于设定的第一数量阈值的情况下，确定发生轨迹丢失的情况。
81.进一步可选的，处理模块62在确定发生轨迹丢失的情况下，还用于：根据当前环境图像确定发生轨迹丢失的原因信息，并生成与原因信息适配的拍摄建议信息；输出轨迹丢失的原因信息和拍摄建议信息，以供用户调整利用图像采集装置采集环境图像时的采集方式。
82.进一步可选的，处理模块62根据当前环境图像确定发生轨迹丢失的原因信息，并生成与原因信息适配的拍摄建议信息时，具体执行以下至少一种操作：
83.根据当前环境图像中的特征点，识别拍摄当前环境图像时的环境光信息，若环境光信息不满足环境光条件，确定发生轨迹丢失的原因信息是环境光强度不足，并生成增强光照强度的拍摄建议；
84.根据当前环境图像与前一环境图像的拍摄时间之差和相对位置，识别电子终端的移动速度，在移动速度大于设定的速度阈值时，确定发生轨迹丢失的原因信息是电子终端的移动速度过快，并生成降低移动速度的拍摄建议；
85.根据当前环境图像中的特征点，识别当前环境图像中的拍摄对象；若拍摄对象为浅色物体，确定发生轨迹丢失的原因信息是拍摄到浅色物体，并生成拍摄深色物体的拍摄建议。
86.进一步可选的，处理模块62输出轨迹丢失提示信息时，具体用于：从图像采集界面跳转至轨迹信息展示界面，轨迹信息展示界面上显示有第一拍摄点和第二拍摄点的标记信息；将在轨迹丢失前跟踪到的电子终端的移动轨迹渲染到轨迹信息展示界面上，并在轨迹消失位置的关联区域内显示轨迹丢失提示信息。
87.进一步可选的，轨迹信息展示界面上包括拍摄点新增控件，处理模块62还用于：响应于对拍摄点新增控件的触发操作，展示当前所在空间对象中的候选拍摄点，以供选择；响应于对任一候选拍摄点的选择操作，将选中的候选拍摄点作为新增拍摄点显示在轨迹信息展示界面上。
88.进一步可选的，处理模块62基于采集到的环境图像跟踪电子终端的移动轨迹时，具体用于：分别利用第一轨迹跟踪算法和第二轨迹跟踪算法，基于采集到的环境图像跟踪电子终端的移动轨迹，得到第一移动轨迹数据和第二移动轨迹数据；
89.相应地，处理模块62在第一拍摄点和第二拍摄点之间的相对位姿信息时具体用于：分别根据第一移动轨迹数据和第二移动轨迹数据确定出的第一相对位姿信息和第二相对位姿信息。
90.进一步可选的，处理模块62还用于：
91.根据第一拍摄点和第二拍摄点拍摄到的全景图像以及第一相对位姿信息，构建目标房屋对象对应的第一平面户型图或第一三维全景空间；根据第一拍摄点和第二拍摄点拍摄到的全景图像以及第二相对位姿信息，构建目标房屋对象对应的第二平面户型图或第二三维全景空间；基于构建第一平面户型图或第一三维全景空间过程中产生的第一中间态数据，生成第一平面户型图或第一三维全景空间的质量分，并基于构建第二平面户型图或第二三维全景空间过程中产生的第二中间态数据，生成第二平面户型图或第二三维全景空间的质量分；选择质量分大的平面户型图或三维全景空间作为目标平面户型图或目标三维全景空间输出至显示终端进行展示。
92.关于图6所示的全景图像采集装置的具体实现方式已经在图3所示的全景图像采集方法的实施例中进行了详细描述，此处将不做详细阐述说明。
93.图7为本技术实施例提供的一种电子终端的结构示意图。参见图7，该电子终端包括：存储器71和处理器72。
94.存储器71，用于存储计算机程序，并可被配置为存储其它各种数据以支持在计算平台上的操作。这些数据的示例包括用于在计算平台上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。
95.存储器71可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
96.处理器72，与存储器71耦合，用于执行存储器71中的计算机程序，以用于：在从当前所处第一拍摄点向第二拍摄点移动过程中，利用图像采集装置采集周围的环境图像，并基于采集到的环境图像跟踪电子终端的移动轨迹，第二拍摄点是第一拍摄点的下一拍摄点，第一拍摄点为任一拍摄点；若发生轨迹丢失的情况，则输出轨迹丢失提示信息，以提示电子终端向第一拍摄点后退，在后退过程中继续采集周围的环境图像并基于继续采集到的
环境图像跟踪电子终端的移动轨迹；在重新跟踪到电子终端的移动轨迹的情况下，输出轨迹找回提示信息，以提示电子终端继续向第二拍摄点移动，以及在到达第二拍摄点的情况下，利用图像采集装置拍摄全景图像；根据跟踪到的电子终端在第一拍摄点和第二拍摄点之间的移动轨迹，确定电子终端在第一拍摄点和第二拍摄点之间的相对位姿信息，以根据在第一拍摄点和第二拍摄点拍摄到的全景图像以及相对位姿信息构建目标房屋对象的平面户型图或三维全景空间。
97.进一步可选的，处理器72基于采集到的环境图像跟踪电子终端的移动轨迹时，具体用于：针对当前环境图像进行特征点提取，基于当前环境图像中的特征点与之前成功跟踪到电子终端的移动轨迹的历史环境图像中的特征点进行匹配；在成功匹配到的特征点对的数量大于或等于设定数量阈值的情况下，根据成功匹配到的特征点对在相应环境图像中的像素位置确定电子终端当前移动到的轨迹位置；在成功匹配到的特征点对的数量小于设定的第一数量阈值的情况下，确定发生轨迹丢失的情况。
98.进一步可选的，处理器72在确定发生轨迹丢失的情况下，还用于：根据当前环境图像确定发生轨迹丢失的原因信息，并生成与原因信息适配的拍摄建议信息；输出轨迹丢失的原因信息和拍摄建议信息，以供用户调整利用图像采集装置采集环境图像时的采集方式。
99.进一步可选的，处理器72根据当前环境图像确定发生轨迹丢失的原因信息，并生成与原因信息适配的拍摄建议信息时，具体执行以下至少一种操作：
100.根据当前环境图像中的特征点，识别拍摄当前环境图像时的环境光信息，若环境光信息不满足环境光条件，确定发生轨迹丢失的原因信息是环境光强度不足，并生成增强光照强度的拍摄建议；
101.根据当前环境图像与前一环境图像的拍摄时间之差和相对位置，识别电子终端的移动速度，在移动速度大于设定的速度阈值时，确定发生轨迹丢失的原因信息是电子终端的移动速度过快，并生成降低移动速度的拍摄建议；
102.根据当前环境图像中的特征点，识别当前环境图像中的拍摄对象；若拍摄对象为浅色物体，确定发生轨迹丢失的原因信息是拍摄到浅色物体，并生成拍摄深色物体的拍摄建议。
103.进一步可选的，处理器72输出轨迹丢失提示信息时，具体用于：从图像采集界面跳转至轨迹信息展示界面，轨迹信息展示界面上显示有第一拍摄点和第二拍摄点的标记信息；将在轨迹丢失前跟踪到的电子终端的移动轨迹渲染到轨迹信息展示界面上，并在轨迹消失位置的关联区域内显示轨迹丢失提示信息。
104.进一步可选的，轨迹信息展示界面上包括拍摄点新增控件，处理器72还用于：响应于对拍摄点新增控件的触发操作，展示当前所在空间对象中的候选拍摄点，以供选择；响应于对任一候选拍摄点的选择操作，将选中的候选拍摄点作为新增拍摄点显示在轨迹信息展示界面上。
105.进一步可选的，处理器72基于采集到的环境图像跟踪电子终端的移动轨迹时，具体用于：分别利用第一轨迹跟踪算法和第二轨迹跟踪算法，基于采集到的环境图像跟踪电子终端的移动轨迹，得到第一移动轨迹数据和第二移动轨迹数据；
106.相应地，处理器72在第一拍摄点和第二拍摄点之间的相对位姿信息时具体用于：
分别根据第一移动轨迹数据和第二移动轨迹数据确定出的第一相对位姿信息和第二相对位姿信息。
107.进一步可选的，处理器72还用于：
108.根据第一拍摄点和第二拍摄点拍摄到的全景图像以及第一相对位姿信息，构建目标房屋对象对应的第一平面户型图或第一三维全景空间；根据第一拍摄点和第二拍摄点拍摄到的全景图像以及第二相对位姿信息，构建目标房屋对象对应的第二平面户型图或第二三维全景空间；基于构建第一平面户型图或第一三维全景空间过程中产生的第一中间态数据，生成第一平面户型图或第一三维全景空间的质量分，并基于构建第二平面户型图或第二三维全景空间过程中产生的第二中间态数据，生成第二平面户型图或第二三维全景空间的质量分；选择质量分大的平面户型图或三维全景空间作为目标平面户型图或目标三维全景空间输出至显示终端进行展示。
109.进一步，如图7所示，该电子终端还包括：通信组件73、显示器74、电源组件75、音频组件76等其它组件。图7中仅示意性给出部分组件，并不意味着电子终端只包括图7所示组件。另外，图7中虚线框内的组件为可选组件，而非必选组件，具体可视电子终端的产品形态而定。本实施例的电子终端可以实现为台式电脑、笔记本电脑、智能手机或iot设备等终端设备，也可以是常规服务器、云服务器或服务器阵列等服务端设备。若本实施例的电子终端实现为台式电脑、笔记本电脑、智能手机等终端设备，可以包含图7中虚线框内的组件；若本实施例的电子终端实现为常规服务器、云服务器或服务器阵列等服务端设备，则可以不包含图7中虚线框内的组件。
110.相应地，本技术实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被执行时能够实现上述方法实施例中可由电子终端执行的各步骤。
111.上述通信组件被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络，如wifi，2g、3g、4g/lte、5g等移动通信网络，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
112.上述显示器包括屏幕，其屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。
113.上述电源组件，为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。
114.上述音频组件，可被配置为输出和/或输入音频信号。例如，音频组件包括一个麦克风(mic)，当音频组件所在设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或经由通信组件发送。在一些实施例中，音频组件还包括一个扬声器，用于输出音频信号。
115.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序
产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
116.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
117.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
118.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
119.在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
120.内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
121.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
122.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
123.以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。