一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

户型图的展示方法、装置、电子设备及存储介质与流程

2023-03-17 20:52:01 来源:中国专利 TAG:


1.本发明涉及界面交互技术领域,特别是涉及一种户型图的展示方法、一种户型图的展示装置、一种电子设备以及一种计算机可读存储介质。


背景技术:

2.随着全景技术、vr(virtual reality,虚拟现实)以及ar(augmented reality,增强现实)等技术的发展,可以将这些技术广泛地应用到线上看房、营销、展览等领域,实现将现实环境信息依托于科技构建虚拟场景、物品等进行呈现,有效地发挥了复刻现实和记录现场信息的作用。其中,对于房源户型图,其能够充分地体现房屋的轮廓信息以及空间分布情况,但对户型图的生成,仅仅依赖于纯人工的方式识别全景图中的门窗位置从而在户型图中添加门窗,亦或者依靠纯自动化的识别全景图的门窗位置从而在户型图中自动添加门窗都一定的局限性,纯人工识别效率较低,纯自动化识别,对于质量不太高的全景图素材,识别又容易出错。


技术实现要素:

3.本发明实施例是提供一种户型图的展示方法、装置、电子设备以及计算机可读存储介质,以解决或部分解决相关技术中在对房源户型图进行编辑过程中存在图像识别不准确、识别效率低下以及存在绘制门槛的问题。
4.本发明实施例公开了一种户型图的展示方法,包括:
5.展示目标空间的空间户型图以及在当前观察视角下的目标全景图,所述空间户型图包括基于户型轮廓图生成的第一结构元素,所述空间轮廓图是根据在目标空间的第一采集点所获取的第一图像采集数据和/或第二图像采集数据构建的,所述第一采集点为所述目标空间的至少一个采集点中的任一采集点;所述目标全景图为根据在所述目标空间的第二采集点所获取的第二图像采集数据中所获取的至少部分覆盖待编辑的第一结构元素对应介质的图像区域;
6.响应于获取到所述目标全景图中存在至少一个目标介质图像,在所述空间户型图对应生成所述目标介质图像对应的第二结构元素;
7.根据所述第二结构元素更新展示所述目标空间对应的空间户型图。
8.可选地,还包括:
9.获取与所述当前观察视角对应的目标观察点以及所述目标观察点对应的目标观察区域,所述目标观察点为所述第二采集点在所述空间户型图中的映射点,所述目标观察区域为所述目标全景图在所述空间户型图里的映射区域;
10.在所述空间户型图中展示所述目标观察点以及所述目标观察区域。
11.可选地,所述第二采集点为所述目标空间的至少一个采集点中所述第一结构元素对应的介质的最佳采集点,所述方法还包括:
12.在所述目标空间的至少一个采集点中选择离第一结构元素对应的介质距离最近
的采集点为最佳采集点,作为所述第二采集点;或,
13.在所述目标空间的至少一个采集点中选择接近第一结构元素对应的介质的正向拍摄方向的采集点为最佳采集点,作为第二采集点。
14.可选地,还包括:
15.根据第一空间轮廓图获取所述空间户型图,所述第一空间轮廓图是根据在目标空间的第一采集点所采集的第一图像采集数据构建的,所述第一采集点为所述目标空间的至少一个采集点中的任一采集点;或,
16.根据第二空间轮廓图获取所述空间户型图,所述第二空间户型图是根据在目标空间的所述第一采集点所采集的第二图像采集数据构建的;或,
17.根据所述第一空间轮廓图和所述第二空间轮廓图获取所述空间户型图。
18.可选地,所述响应于获取到所述目标全景图中存在至少一个目标介质图像,在所述空间户型图对应生成所述目标介质图像对应的第二结构元素,包括:
19.响应于通过对所述目标全景图执行图像识别处理,若获取到的识别结果为所述目标全景图存在所述至少一个目标介质图像,则在所述空间户型图对应生成所述目标介质图像对应的第二结构元素;和/或
20.响应于通过人工操作对所述目标全景图存在的所述至少一个目标介质图像的标记操作,若获取到的标记结果为所述目标全景图存在所述至少一个目标介质图像,则在所述空间户型图对应生成所述目标介质图像对应的第二结构元素。
21.可选地,所述响应于获取到所述目标全景图中存在至少一个目标介质图像,在所述空间户型图对应生成所述目标介质图像对应的第二结构元素,包括:
22.响应于通过对所述目标全景图执行图像识别处理或标记操作,若获取到的识别结果为所述目标全景图存在所述至少一个目标介质图像,在所述空间户型图对应生成所述目标介质图像对应的第二结构元素,以及在所述目标全景图中显示针对所述至少一个目标介质图像识别后的目标标记元素。
23.可选地,响应于通过人工操作对所述目标全景图存在的所述至少一个目标介质图像的标记操作,还包括:
24.显示针对所述目标标记元素的编辑控件组,其中所述编辑控件组至少包括端点控件以及移动控件;
25.响应于通过人工操作针对至少一个所述端点控件的触发,使得所述端点控件在执行第一编辑操作完成后,根据所述第一编辑操作的区域获取所述目标标记元素在所述目标全景图中的第一显示尺寸;
26.和/或,响应于通过人工操作针对所述移动控件的触发,使得所述移动控件在执行第二编辑操作完成后,根据所述第二编辑操作的位置获取所述目标标记元素在所述目标全景图中的目标显示位置。
27.可选地,所述编辑控件组还包括切换控件,所述方法还包括:
28.响应于通过人工操作针对至少一个所述切换控件的触发,使得所述切换控件在执行第三编辑操作完成后,在所述目标全景图中将当前显示的目标标记元素切换为表征另一介质的另一标记元素。
29.可选地,所述目标显示参数至少包括目标显示位置以及第一显示尺寸,所述目标
显示位置为全景像素坐标,所述在所述空间户型图对应生成所述目标介质图像对应的第二结构元素,包括:
30.将目标标记元素对应的全景像素坐标映射为三维点云坐标,以及根据预设比例映射关系将所述第一显示尺寸映射为第二显示尺寸;
31.从所述空间轮廓图中定位所述三维点云坐标对应的目标轮廓元素以及在所述目标轮廓元素上的轮廓位置;
32.在所述空间轮廓图的所述目标轮廓元素的所述轮廓位置上显示所述目标标记元素对应的第二结构元素。
33.本发明实施例还公开了一种户型图的展示装置,包括:
34.全景图展示模块,用于展示目标空间的空间户型图以及在当前观察视角下的目标全景图,所述空间户型图包括基于户型轮廓图生成的第一结构元素,所述空间轮廓图是根据在目标空间的第一采集点所获取的第一图像采集数据和/或第二图像采集数据构建的,所述第一采集点为所述目标空间的至少一个采集点中的任一采集点;所述目标全景图为根据在所述目标空间的第二采集点所获取的第二图像采集数据中所获取的至少部分覆盖待编辑的第一结构元素对应介质的图像区域;
35.结构元素生成模块,用于响应于获取到所述目标全景图中存在至少一个目标介质图像,在所述空间户型图对应生成所述目标介质图像对应的第二结构元素;
36.户型图更新模块,用于根据所述第二结构元素更新展示所述目标空间对应的空间户型图。
37.可选地,还包括:
38.观察信息获取模块,用于获取与所述当前观察视角对应的目标观察点以及所述目标观察点对应的目标观察区域,所述目标观察点为所述第二采集点在所述空间户型图中的映射点,所述目标观察区域为所述目标全景图在所述空间户型图里的映射区域;
39.观察信息展示模块,用于在所述空间户型图中展示所述目标观察点以及所述目标观察区域。
40.可选地,所述第二采集点为所述目标空间的至少一个采集点中所述第一结构元素对应的介质的最佳采集点,所述装置还包括:
41.采集点确定模块,用于在所述目标空间的至少一个采集点中选择离第一结构元素对应的介质距离最近的采集点为最佳采集点,作为所述第二采集点;或,在所述目标空间的至少一个采集点中选择接近第一结构元素对应的介质的正向拍摄方向的采集点为最佳采集点,作为第二采集点。
42.可选地,还包括:
43.第一户型图确定模块,用于根据第一空间轮廓图获取所述空间户型图,所述第一空间轮廓图是根据在目标空间的第一采集点所采集的第一图像采集数据构建的,所述第一采集点为所述目标空间的至少一个采集点中的任一采集点;
44.第二户型图确定模块,用于根据第二空间轮廓图获取所述空间户型图,所述第二空间户型图是根据在目标空间的所述第一采集点所采集的第二图像采集数据构建的;或,
45.第三户型图确定模块,用于根据所述第一空间轮廓图和所述第二空间轮廓图获取所述空间户型图。
46.可选地,所述结构元素生成模块具体用于:
47.响应于通过对所述目标全景图执行图像识别处理,若获取到的识别结果为所述目标全景图存在所述至少一个目标介质图像,则在所述空间户型图对应生成所述目标介质图像对应的第二结构元素;和/或
48.响应于通过人工操作对所述目标全景图存在的所述至少一个目标介质图像的标记操作,若获取到的标记结果为所述目标全景图存在所述至少一个目标介质图像,则在所述空间户型图对应生成所述目标介质图像对应的第二结构元素。
49.可选地,所述结构元素生成模块还具体用于:
50.响应于通过对所述目标全景图执行图像识别处理或标记操作,若获取到的识别结果为所述目标全景图存在所述至少一个目标介质图像,在所述空间户型图对应生成所述目标介质图像对应的第二结构元素,以及在所述目标全景图中显示针对所述至少一个目标介质图像识别后的目标标记元素。
51.可选地,还包括:
52.控件组显示模块,用于显示针对所述目标标记元素的编辑控件组,其中所述编辑控件组至少包括端点控件以及移动控件;
53.显示尺寸确定模块,用于响应于通过人工操作针对至少一个所述端点控件的触发,使得所述端点控件在执行第一编辑操作完成后,根据所述第一编辑操作的区域获取所述目标标记元素在所述目标全景图中的第一显示尺寸;
54.显示位置确定模块,用于响应于通过人工操作针对所述移动控件的触发,使得所述移动控件在执行第二编辑操作完成后,根据所述第二编辑操作的位置获取所述目标标记元素在所述目标全景图中的目标显示位置。
55.可选地,所述编辑控件组还包括切换控件,所述装置还包括:
56.标记元素切换模块,用于响应于通过人工操作针对至少一个所述切换控件的触发,使得所述切换控件在执行第三编辑操作完成后,在所述目标全景图中将当前显示的目标标记元素切换为表征另一介质的另一标记元素。
57.可选地,所述目标显示参数至少包括目标显示位置以及第一显示尺寸,所述目标显示位置为全景像素坐标,所述结构元素生成模块具体用于:
58.将目标标记元素对应的全景像素坐标映射为三维点云坐标,以及根据预设比例映射关系将所述第一显示尺寸映射为第二显示尺寸;
59.从所述空间轮廓图中定位所述三维点云坐标对应的目标轮廓元素以及在所述目标轮廓元素上的轮廓位置;
60.在所述空间轮廓图的所述目标轮廓元素的所述轮廓位置上显示所述目标标记元素对应的第二结构元素。
61.本发明实施例还公开了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,所述处理器、所述通信接口以及所述存储器通过所述通信总线完成相互间的通信;
62.所述存储器,用于存放计算机程序;
63.所述处理器,用于执行存储器上所存放的程序时,实现如本发明实施例所述的方法。
64.本发明实施例还公开了一种计算机可读存储介质,其上存储有指令,当由一个或多个处理器执行时,使得所述处理器执行如本发明实施例所述的方法。
65.本发明实施例包括以下优点:
66.在本发明实施例中,在对户型图进行人工和/或自动化编辑的过程中,终端可以先展示目标空间的空间户型图以及在当前观察视角下的目标全景图,同时在终端的人工和/或自动化编辑过程中,终端可以响应于获取到目标全景图中存在至少一个目标介质图像,在空间户型图对应生成目标介质图像对应的第二结构元素,并根据第二结构元素自动更新展示目标空间对应的空间户型图,从而在对户型图进行人工和/或自动化编辑的过程中,使得人工和/或自动化编辑相结合,基于“空间实景图的标记 空间户型图的显示”之间的联动,通过对实景内容的标记即可实现对户型图的人工和/或人工和/或自动化编辑,不仅简化了户型图编辑的流程,而且基于实景进行编辑提高了户型图编辑的灵活性,可以有效地提高编辑效率,对于拍摄质量不太高的全景素材,也提高了户型编辑准确率。
附图说明
67.图1是本发明实施例中提供的一种户型图的展示方法的步骤流程图;
68.图2是本发明实施例中提供的数据采集的示意图;
69.图3是本发明实施例中提供的空间户型图和目标全景图的示意图
70.图4是本发明实施例中提供的空间实景图的示意图;
71.图5是本发明实施例中提供的空间实景图的示意图;
72.图6是本发明实施例中提供的一种户型图的展示装置的结构框图;
73.图7是本发明实施例中提供的一种电子设备的框图。
具体实施方式
74.为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
75.作为一种示例,在线上看房场景中,通过对实体空间进行全景、vr空间的展示方式,已经成为房源展示的主要方式之一,通过三维立体的虚拟空间展示,能够有效地提高房屋空间的真实感、立体感,为用户带来更好的找房体验,与之相应的是户型图,户型图可以从俯瞰的角度为用户呈现房屋的轮廓信息以及空间结构。对此,由于户型图能够充分地体现房屋的轮廓信息以及空间分布情况,因此绘制准确、有效的户型图能够充分地为用户展示相应的房源信息。然而,对户型图的绘制,则缺乏能够便捷、高效进行编辑的方式。
76.对此,本发明的核心发明点之一在于在对户型图进行人工和/或自动化编辑的过程中,终端可以先展示目标空间的空间户型图以及在当前观察视角下的目标全景图,同时在终端的人工和/或自动化编辑过程中,终端可以响应于获取到目标全景图中存在至少一个目标介质图像,在空间户型图对应生成目标介质图像对应的第二结构元素,并根据第二结构元素自动更新展示目标空间对应的空间户型图,从而在对户型图进行人工和/或自动化编辑的过程中,基于“空间实景图的标记 空间户型图的显示”之间的联动,通过对实景内容的标记即可实现对户型图的人工和/或自动化编辑,不仅简化了户型图编辑的流程,而且基于实景进行编辑提高了户型图编辑的灵活性,可以有效地提高编辑效率,对于拍摄质量
不太高的全景素材,也提高了户型编辑准确率。
77.为了使本领域技术人员更好地理解本发明的技术方案,下面对本发明实施例中涉及的部分技术特征进行解释、说明:
78.第一图像采集数据,其可以为电子终端在目标空间的至少一个采集点上对目标空间进行获取的点云数据。可选地,可以将获取点云数据的采集点作为第一采集点,则通过至少一个第一采集点对应的点云数据,可以构建对应的点云平面图,通过点云平面图可以对目标空间的基本轮廓进行呈现。
79.第二图像采集数据,其可以为电子终端在目标空间的至少一个采集点上对目标空间进行采集的全景图。可选地,可以将采集全景图的采集点作为第二采集点,则通过至少一个在第二采集点采集的全景图可以确定与目标空间对应的空间实景图,通过空间实景图可以对目标空间所对应的空间结构进行呈现,为用户呈现更为真实、立体的空间信息,提高用户对目标空间的空间感知。
80.空间户型图,其可以与目标空间的空间户型对应,可以包括若干种不同的结构元素,例如:门体结构元素、窗体结构元素等,用于呈现目标空间所对应的空间结构,这里的目标空间应理解为单个的独立的实体空间。
81.对于空间户型图,其可以在目标空间的点云平面图的基础上经过相应的编辑处理获取,也可以基于目标空间的全景图经过相应的运算处理获取。
82.介质,其可以为位于目标空间中的空间结构,如墙体、门体、窗体、水管线以及电线等空间结构,这里的目标空间应理解为单个的独立的实体空间。
83.介质图像,其可以为位于空间实景图中的空间结构的图像,如墙体的图像、门体的图像、窗体的图像、水管线的图像以及电线的图像等空间结构所对应的图像。
84.结构元素,其可以用于表征目标空间的空间结构,可以包括墙体结构元素、门体结构元素、窗体结构元素、水管线结构元素、电线结构元素等用于表征目标空间中的空间结构的结构元素。
85.标记元素,其可以用于在空间实景图中进行标记的界面元素,不同的结构元素可以对应不同的标记元素,例如,不同的结构元素,可以对应不同显示样式的标记元素,以通过不同的显示方式进行区分。
86.参照图1,示出了本发明实施例中提供的一种户型图的展示方法的步骤流程图,具体可以包括如下步骤:
87.步骤101,展示目标空间的空间户型图以及在当前观察视角下的目标全景图,所述空间户型图包括基于户型轮廓图生成的第一结构元素,所述空间轮廓图是根据在目标空间的第一采集点所获取的第一图像采集数据和/或第二图像采集数据构建的,所述第一采集点为所述目标空间的至少一个采集点中的任一采集点;所述目标全景图为根据在所述目标空间的第二采集点所获取的第二图像采集数据中所获取的至少部分覆盖待编辑的第一结构元素对应介质的图像区域;
88.本发明实施例中所涉及的户型图编辑,其可以为在对目标空间进行数据采集后的即时编辑的过程,也可以为在对已经将多个目标空间的空间户型图进行拼接后得到整体空间的整体户型图后,对整体户型图中某一个目标空间对应的空间户型图的补充编辑的过程,还可以是断点继续编辑的过程。例如,第一用户可以手持电子终端在目标空间中寻找合
适的采集点,并在该采集点上对目标空间进行图像采集,以得到对应的图像数据,然后第一用户基于所采集的图像数据通过终端对户型图进行人工和/或自动化的绘制,也可以是第二用户基于第一用户所采集的数据通过终端对户型图进行人工和/或自动化绘制,本发明对此不作限制。
89.其中,对于电子终端,其可以为智能终端(下述终端),也可以为摄像机,对于智能终端,其可以运行对应的应用程序(如图像采集程序等),在采集过程中,智能终端可以通过自身的传感器进行定位,并在图形用户界面中实时输出当前在所处目标空间中的位置,以便用户通过实时位置执行对应的图像采集策略,同理,摄像机也可以执行相应的操作。此外,对于电子终端,其可以包括至少两种传感器,在对目标空间进行图像采集的过程中,电子终端一方面可以通过激光扫描设备采集目标空间对应的点云数据,另一方面可以通过全景相机采集目标空间对应的全景图,以便在图像采集过程中,可以基于点云数据构建与目标空间对应的点云平面图,通过全景图构建与实体空间对应的空间实景图等,本发明对此不作限制。
90.在一种示例中,参照图2,示出了本发明实施例中提供的数据采集的示意图,假设用户通过终端在目标空间中的三个采集点对目标空间进行数据采集,包括采集点

、采集点

以及采集点

,所获取的数据可以包括与采集点

对应的点云数据a与全景图a、与采集点

对应的点云数据b与全景图b以及与采集点

对应的点云数据c与全景图c,以便在图像采集过程中,可以基于点云数据构建与目标空间对应的点云平面图,通过全景图构建与目标空间对应的空间实景图等。
91.需要说明的是,在每一个采集点进行数据采集时,可以在一个采集点触发执行一次数据采集时,终端可以基于同一个采集点通过激光扫描设备以及图像采集传感器等分别执行对应的数据采集操作,得到当次采集的点云数据、图像数据等不同类型的数据,以便终端基于不同类型的数据执行不同的数据处理操作。本发明对此不作限制。
92.进一步地,对于每一点对应的点云数据,其可以通过以下两种获取方法:
93.以采集点

、采集点

以及采集点

为例,假设采集点

、采集点

以及采集点

是依次的采集顺序,那么依次获取的数据可以包括与采集点

对应的点云数据a与全景图a、与采集点

对应的点云数据b与全景图b以及与采集点

对应的点云数据c与全景图c,其中,可以将在采集点

当次采集的点云数据a’直接作为点云数据a,将在采集点

当次采集的点云数据b’直接作为点云数据b,将在采集点

当次采集的点云数据c’直接作为点云数据c。
94.以采集点

、采集点

以及采集点

为例,假设采集点

、采集点

以及采集点

是依次的采集顺序,那么依次获取的数据可以包括与采集点

对应的点云数据a与全景图a、与采集点

对应的点云数据b与全景图b以及与采集点

对应的点云数据c与全景图c,其中,可以将在采集点

当次采集的点云数据a’直接作为点云数据a,将在在采集点

当次采集的点云数据b’和点云数据a进行点云融合以获取点云数据b,将在在采集点

当次采集的点云数据c’和点云数据b(以及点云数据a)进行点云融合以获取点云数据c。
95.需要说明的是,如图2所示,本发明中的空间户型图可以是根据在目标空间的第一采集点所获取的点云数据构建的第一空间轮廓图所获取的,具体地直接将第一采集点所获取的点云数据映射到二维平面上获取第一空间轮廓,可以将第一空间轮廓图直接作为空间
轮廓图,也可以对第一空间轮廓图执行人工和/或自动化编辑处理以获取空间轮廓图;还可以是根据在目标空间的第一采集点所采集的全景图构建的第二空间轮廓图所获取的,然后可以将所获取的第二空间轮廓图直接作为空间轮廓图,也可以进一步对第二空间轮廓图执行人工和/或自动化编辑处理以获取更优质的空间轮廓图。
96.此外,还可以根据上述第一空间轮廓图和上述第二空间轮廓图获取本发明的空间轮廓图。可选地,可以在上述第一空间轮廓图和上述第二空间轮廓图中选择户型轮廓线质量较好地作为空间轮廓图,也可以对上述第一空间轮廓图和上述第二空间轮廓图的户型轮廓线做融合处理,得到户型轮廓线更优质的空间轮廓图,也可以对空间轮廓图执行人工和/或自动化编辑处理以获取更优质的空间轮廓图。其中,第一采集点可以是图2中采集点

、采集点

以及采集点

中的任一采集点;示例性地,以采集点

为第一采集点,在采集点

获取点云数据a和全景图a,则可以根据点云数据a构建第一空间轮廓图,然后可以将第一空间轮廓图直接作为空间轮廓图,也可以对第一空间轮廓图执行人工和/或自动化编辑处理以获取空间轮廓图;也可以根据全景图a构建第二空间轮廓图,然后可以将第二空间轮廓图直接作为空间轮廓图,也可以对第二空间轮廓图执行人工和/或自动化编辑处理以获取空间轮廓图。此外,还可以第一空间轮廓图和第二空间轮廓图获取本发明的空间轮廓图。可选地,可以在根据点云数据a构建的第一空间轮廓图和根据全景图a构建的第二空间轮廓图中选择户型轮廓线质量较好地作为空间轮廓图,也可以对根据点云数据a构建的第一空间轮廓图和根据全景图a构建的第二空间轮廓图所对应的户型轮廓线做融合处理,得到户型轮廓线更优质的空间轮廓图,也可以对处理的空间轮廓图执行人工和/或自动化编辑处理以获取更优质的空间轮廓图。
97.可选地,本发明可以应用于智能终端,在智能终端上可以运行对应的应用程序(如能够提供线上找房的生活类应用程序等),终端运行该应用程序并在图形用户界面中显示对应的内容(如空间实景图等),以便用户在终端输入相应的指令对所采集的图像数据进行户型图的人工和/或自动化构建,本发明对此不作限制。
98.在本发明实施例中,基于前述所采集的点云数据以及全景图,在对户型图进行展示的过程中,用户还可以在终端中输入相应的指令以便终端对户型图进行人工和/或自动化编辑,具体的,终端可以在图形用户界面中展示目标空间对应的空间户型图以及在当前观察视角下的目标全景图,从而通过展示2d轮廓图以及3d实景图,使得编辑过程中可以基于空间户型图从全局的角度对目标空间进行感知,以及基于实景图从局部、立体的角度对目标空间进行感知,降低用户对现场环境的理解门槛,进而方便后续对基于所展示的空间实景图以及空间轮廓对户型图进行编辑。
99.需要说明的是,对于空间户型图,在不同的显示界面上,其所对应的显示形式也可以不同,具体的,当终端在图形用户界面中显示全局编辑界面时,可以在全局编辑界面中显示完整的空间户型图,在这种情况下所显示的空间户型图可以包括各个采集点所对应的实体空间对应的轮廓信息;当终端在图形用户界面中显示全景编辑界面时,可以在全景编辑界面中显示空间户型图的局部区域,在这种情况下所显示的空间户型图可以包括部分采集点所对应的实体空间所对应的轮廓信息,例如,终端可以在全局编辑界面中显示整个房屋所对应的空间户型图(如客厅、厨房、卧室、卫生间等组成的户型图),而在全景编辑界面中则可以显示与空间实景图对应的部分空间户型图(如客厅、或厨房、或卧室、或卫生间等单
个空间结构所对应的户型图),对于在全景编辑界面中显示的空间户型图,其也可以为空间结构图,用于表征目标空间中的某个具体功能空间对应的轮廓图,本发明对此不作限制。
100.在具体实现中,终端可以先显示目标空间对应的处于编辑状态的空间户型图,在空间户型图可以包括若干个第一结构元素,空间户型图是根据在目标空间的第一采集点所采集的第一图像采集数据和/或第二图像采集数据构建的,接着可以响应于获取到对空间户型图中至少一个第一结构元素的输入指令,至少展示目标空间在当前观察视角下对应的目标全景图,并获取与当前观察视角对应的目标观察点以及目标观察点对应的目标观察区域,目标观察点为第二采集点在空间户型图中的映射点,目标观察区域为目标全景图在空间户型图里的映射区域,然后在空间户型图中展示目标观察点,或,目标观察点与目标观察区域。
101.需要说明的是,在上述构建空间户型图的过程中,其可以为人工和/或自动化构建,在构建完成后,在该空间户型图中,可以包括用于表征目标空间不同空间结构的结构元素,同时支持对该空间户型图进行编辑,以保证空间户型图与目标空间的实体空间结构之间能够一一对应,进而提高房屋信息的准确性。
102.对于目标空间,其可以包括墙体、门体、窗体、水管线、电线等空间结构,而对于空间户型图,其可以包括墙体结构元素、门体结构元素、窗体结构元素、水管线结构元素、电线结构元素等结构元素,则在得到可以表征目标空间的空间轮廓结构的空间户型图后,可以以空间户型图为基础,对空间户型图中结构元素进行编辑,充实、校正空间户型图,以构建与目标空间匹配的户型图,通过户型图对目标空间的空间结构进行完整、准确地呈现。例如,所构建的空间户型图仅仅只包含表征目标空间的轮廓的墙体结构元素,而不包含表征其他空间结构的结构元素,在这种情况下,需要对空间户型图做进一步的充实,添加表征门体、窗体、水管线、电线等空间结构的结构元素,以保证最终得到的户型图能够充分体现目标空间所对应的轮廓、空间结构等信息;也可以包含表征其他空间结构的结构元素,但存在一定的偏差,如结构元素所表征的空间结构与目标空间中实际的空间结构不匹配,或结构元素在空间户型图上的显示位置不匹配等,对于这种情况,则可以对存在误差的结构元素进行校正,以保证最终得到的户型图能够充分体现目标空间所对应的轮廓、空间结构等信息。
103.在展示空间户型图的过程中,终端可以将空间户型图置于可编辑的状态,在空间户型图中可以包括若干个第一结构元素,第一结构元素可以为墙体结构元素,接着终端可以基于点云数据与全景图之间的映射关系对空间户型图中的第一结构元素进行检测,判断其第一结构元素所对应的墙体介质上是否存在其他介质(门、窗等),若存在,则终端可以选择需要进行编辑的第一结构元素,并展示与该第一结构元素对应的目标全景图。对于目标全景图,其可以为根据目标空间的第二采集点所采集的全景图中所获取的至少覆盖待编辑的第一结构元素所对应的介质的图像区域。当确定了需要编辑的墙体结构元素后,终端可以从目标空间的至少一个采集点中选定相对于该墙体结构元素所对应的介质的最佳采集点,然后获取该最佳采集点对应的空间实景图,并从所获取的空间实景图中提取能够覆盖该墙体结构元素所对应的介质的图像区域,然后展示该图像区域(即为所展示的目标全景图),以便通过空间实景图中所呈现的目标空间局部区域所对应的实景内容,实现在空间户型图中的墙体结构元素上添加表征其他空间结构的结构元素,充实空间户型图。
104.对于第一结构元素,其可以为从多个采集点中的任一采集点(第二采集点)获取到的全景图(示例性的目标全景图)进行图像识别后得到的结果,当全景图质量较好时,可以根据全景图像进行自动化识别,当在全景图中识别到墙体介质的图像,可以根据墙体介质的图像获取到该墙体介质在其对应的全景图中的全景像素坐标,其中,全景图作为示例性地第二图像采集数据,在目标空间的第二采集点采集。上述目标全景图是根据第二采集点采集的全景图获取的。
105.上述已经获取了户型轮廓图,进一步地,需要建立上述第二采集点采集的全景图和空间轮廓图之间的映射关系,以使得基于户型轮廓图来生成户型空间图,生成的户型空间图中包括了根据全景图中的墙体图像(示例性的第一结构元素对应介质的图像)映射成的第一结构元素。
106.具体地,首先建立第二采集点采集的全景图(示例性的目标全景图)和用于获取空间户型图的第一采集点采集的三维点云数据之间的映射关系,得到第二采集点全景图的三维点云坐标;
107.再进一步将第二采集点的全景图的三维点云坐标映射到空间户型图的平面中,得到第二采集点采集的全景图(示例性的目标全景图)和空间户型图之间的映射关系。
108.具体地,通过将第二采集点采集的全景图的全景像素坐标映射至目标空间的三维点云数据的坐标系中得到第二采集点全景图的三维点云坐标,再将第二采集点全景图的三维点云坐标映射在空间户型图中,由于该全景图中包括墙体(示例性的第一结构元素对应介质)的图像区域,即可对应获取到空间户型图中存在的墙体(示例性的第一结构元素对应介质)在对应空间户型图中的映射,获取到第一结构元素后,可以对第一结构元素在空间户型图中进行高亮显示(或以对应的显示样式进行差异化显示等),从而终端可以对点云数据与全景图进行坐标转换,建立全景图与空间户型图之间的映射关系,以便在后续过程中通过对空间实景图进行标记实现对空间户型图的编辑。示例性地,以对第二采集点采集的全景图中的墙体介质进行识别,并基于识别结果构建对应的空间户型图为例,可以根据采集点

获取全景图b,全景图全景图可以根据墙体介质对应的墙体介质图像获取到该墙体介质在其对应的全景图中的全景像素坐标,将墙体介质的全景像素坐标映射至目标空间的三维点云图像的坐标系中得到三维点云坐标。例如,可以将墙体的轮廓对应的全景像素坐标映射为三维点云坐标。
109.可选地,可以根据全景像素坐标与球坐标的映射关系,先将墙体的轮廓分别对应的全景像素坐标映射到球体空间中,得到对应的球坐标;进一步,根据全景相机与激光扫描设备之间的相对位姿关系,结合球坐标与三维点云坐标的映射关系,将分别对应墙体轮廓的球坐标映射到三维点云坐标系中。可选地,在将对应墙体轮廓的全景像素坐标映射为球坐标时,可以全景像素坐标左上角的像素坐标为原点,假设全景图的长度和宽度分别为h和w,每个像素点对应的像素坐标为pixel(x,y),则每个全景像素坐标经过映射后的球坐标对应的经度lon和纬度lat分别为:
110.lon=(x/w-0.5)*360;
111.lat=(0.5

y/h)*180;
112.进一步,建立球坐标系的原点o1(0,0,0),假设球坐标系的半径为r,则每个全景像素坐标经过映射后的球坐标(x,y,z)分别为:
113.x=r*cos(lon)*cos(lat);
114.y=r*sin(lat);
115.z=r*sin(lon)*cos(lat);
116.进一步,在从球坐标系映射到三维点云坐标系时,可以通过激光扫描设备在对墙体进行扫描时,经旋转和移动变换后对应的球坐标p=q*(x x0,y y0,z z0)这一映射关系进行映射;其中,x0,y0,z0分别为三维点云坐标系的原点o2(x0,y0,z0),rotationy为激光扫描设备绕世界坐标系y轴的旋转角,q为通过系统函数quaternion.angleaxis(rotationy,y)获取到的四元数,用以表示激光扫描设备的旋转和位移。
117.可选地,在确定墙体轮廓对应的三维点云坐标时,可以将各功能空间中指定空间位置对应的三维点云坐标作为参照坐标,以根据球坐标与参照坐标之间的关系,确定墙体轮廓分别对应的三维点云坐标。在本发明实施例中,不限定指定空间位置在目标房屋中的具体位置,可选地,可以将各功能空间中对应墙体轮廓的三维点云坐标作为参照坐标,进一步,将参照坐标映射为对应的参照球坐标组,并确定球坐标系下原点o1到点p的射线与参照球坐标的焦点,将该焦点对应的三维点云坐标作为墙体轮廓对应的三维点云坐标。当然,也可以将目标房屋中已知物体对应的球坐标作为参照球坐标,例如,将地面对应的球坐标作为参照球坐标,则可以确定原点o1到点p的射线与参照球坐标的焦点,即与地面所在平面的焦点,并将该焦点对应的三维点云坐标作为墙体轮廓对应的三维点云坐标。进一步地,可以将三维点云坐标二维映射至空间户型图,则实现了在空间户型图上对应生成并显示墙体介质图像对应的墙体结构元素(即第一结构元素)。同理,基于上述映射关系,终端可以对第一结构元素进行检测,判断其第一结构元素所对应的墙体介质上是否存在其他介质(门、窗等),进而在检测到需要进行编辑的第一结构元素时,显示该第一结构元素对应的目标全景图。
118.对于目标全景图,其可以为根据在所述目标空间中的第二采集点所采集的全景图中,所获取的至少覆盖部分第一结构元素对应的介质的图像区域,第二采集点为可以是图2中采集点

、采集点

以及采集点

中相对于第一结构元素对应的介质的最佳采集点。
119.在一种示例中,在采集点

、采集点

以及采集点

中以离第一结构元素对应的介质距离最近的采集点为最佳采集点,作为第二采集点,例如,对于目标空间中的某一面实体墙体,其与采集点

、采集点

以及采集点

之间所对应的距离分别为2米、3米、5米,则可以将采集点

作为相对于该实体墙体的最佳采集点。
120.在另一种示例中,在采集点

、采集点

以及采集点

中以接近第一结构元素对应的介质的正向拍摄方向的采集点为最佳采集点,作为第二采集点,例如,假设以摄像机为原点,发射对应的射线为正向拍摄方向,则针对目标空间中同一个面实体墙体,其与原点之间的连线和射线之间的夹角越小,则表明实体墙体越接近正向拍摄方向,从而可以将夹角最小的采集点作为相对于该实体墙体的最佳采集点。
121.具体的,如前所述,用户可以在目标空间中的至少一个采集点对目标空间进行数据采集,每个采集点均对应有点云数据以及全景图,点云数据用于构建对应的空间户型图,而全景图则用于构建空间实景图(即全景图),则当用户在同一个目标空间中的多个采集点对目标空间进行数据采集时,由于不同的采集点可以对应不同的采集视角,同时不同采集点基于对应的采集视角所采集的全景图可能存在重叠的部分,如两个不同的采集点所对应
的采集视角均可以采集到同一面墙所对应的全景图,在这种情况下,当对这面墙所对应的墙体结构元素进行编辑时,终端可以从所涉及的两个采集点中选择相对于该墙的最佳采集点,从而当确定了空间户型图中需要编辑的第一结构元素之后,终端可以基于“全景图-第一结构元素-采集点”之间的关系,推导出相对第一结构元素最佳的采集点,然后获取该采集点对应的全景图,并从所获取的全景图中提取能够覆盖第一结构元素所对应的第一介质的图像区域作为需要展示的目标全景图。可以理解的是,基于上述描述,为了能够充分展示需要编辑的结构元素所对应的图像区域,在对空间户型图进行编辑的过程中,该空间户型图可以是基于采集点

获取的点云数据a所构建的,在对该空间户型图中的结构元素进行编辑时,示例性地,通过上述最佳采集点的确定方法,确定出采集点

是相对于该结构元素对应的介质的最佳采集点,那么调用采集点

对应的全景图b,根据全景图b获取至少覆盖部分结构元素对应的介质的图像区域,以获取目标全景图进行展示,上述方案呈现与所要编辑的结构元素相对匹配的目标全景图,减少反复调试的时间,提高内容显示的针对性,进而提高信息编辑的效率。
122.此外,基于上述方案终端在展示目标全景图的同时,可以获取与当前观察视角对应的目标观察点以及目标观察点对应的目标观察区域,目标观察点可以为上述采集点

在空间户型图中的映射点,目标观察区域为目标全景图在空间户型图里的映射区域,示例性地,可以上述采集点

在空间户型图中的映射点为中心,以扇形区域表示映射区域;在图形用户界面中展示与目标全景图对应的空间户型图,并在空间户型图中展示目标观察点以及目标观察区域,从而在图形用户界面中同时展示包括至少覆盖部分结构元素对应的介质的图像区域的空间实景图以及目标空间的空间户型图,将两者进行联动,提高在户型图编辑过程中信息显示的丰富度,实现了“空间实景图的标记 空间户型图的显示”之间的联动,采用空间实景图辅助编辑空间户型图,能够直观地呈现出户型图编辑过程中标记的结果,且能够提高对目标空间的标记内容进行全局感知。可选地,在展示空间户型图以及空间实景图的过程中,终端还可以展示与所述空间户型图中观察点对应的点位列表;响应于针对所述空间点位列表中的点位标识或所述空间户型图中的观察点的选择操作,确定第二观察点并获取所述第二观察点对应的第二观察视角,在所述空间户型图中展示所述第二观察点以及所述第二观察区域。
123.其中,对于观察点,其可以为位于空间户型图中的观察点位,每一个观察点在空间户型图中均对应有相应的第一采集点(和/或第二采集点),例如,假设空间户型图中包括位于客厅的采集点

与采集点

、位于厨房的采集点

、位于卧室的采集点

以及位于卫生间的采集点

,则当对客厅区域所对应的结构元素进行编辑时,终端一方面可以展示客厅区域所对应的空间实景图,另一方面可以显示客厅区域所对应的空间户型图,在该空间户型图中可以包括与采集点

对应的观察点ⅰ以及与采集点

对应的观察点ⅱ。相应地,终端可以基于采集点所对应的图像数据构建与该采集点对应的空间实景图,而该空间实景图可以为支持360
°
环视的全景图,受限于终端图形用户界面显示,在展示的过程中并不能完整的展示360
°
的全景图,而是仅展示能够覆盖所要编辑的第一结构元素所对应的介质对应的部分图像区域,对此基于该部分图像区域在整体全景图中的位置,终端可以在显示观察点的同时,显示其所对应的观察区域,该观察区域即可以为目标全景图在空间户型图中的映射区域,随着观察视角的切换,终端所展示的空间实景图随之变化,同样的,空间轮廓图中
的观察区域也会随之变化,实现了“空间实景图的标记 空间轮廓图的显示”之间的联动,基于空间轮廓图的联动,能够直观地呈现出户型图编辑过程中标记的结果,且能够提高对目标空间的标记内容进行全局感知。
124.在一种示例中,参照图3,示出了本发明实施例中提供的空间户型图和目标全景图的示意图,终端在展示当前观察视角所对应的目标全景图310的同时,可以在图形用户界面中同时显示目标全景图310对应的空间户型图320,并基于所确定的目标观察点以及目标观察区域,在空间户型图320中选中对应的观察点330以及显示该观察点330对应的观察区域340(图中扇形区域),随着用户对空间实景图310的观察视角的变化,观察区域340也可以随着图形用户界面中所显示的空间实景图的变化而进行动态变化,实现房屋信息内容呈现的联动。
125.进一步地,上述通过自动方式获取了包括第一结构元素(示例性的墙体)的空间户型图,由于门窗是在墙体上面的,而是否可以在全景中进一步识别出门窗取决于全景图的质量。接下来以全景图中的门窗图像作为示例性的目标介质图像做进一步说明。
126.步骤102,响应于获取到所述目标全景图中存在至少一个目标介质图像,在所述空间户型图对应生成所述目标介质图像对应的第二结构元素;
127.在这里当全景图的质量较好,可以根据全景图获得质量较好的目标全景图,可以通过对所述目标全景图执行图像识别处理,若获取到的识别结果为所述目标全景图存在所述至少一个目标介质图像,则在所述空间户型图对应生成所述目标介质图像对应的第二结构元素;
128.具体对门窗的识别的过程和前述墙体的过程相似,由于前述已经获取了空间户型图的第一采集点采集的三维点云数据之间的映射关系,得到第二采集点全景图的三维点云坐标;同时也将第二采集点的全景图的三维点云坐标映射到空间户型图的平面中,得到了第二采集点采集的全景图(示例性的目标全景图)和空间户型图之间的映射关系;
129.此时,若在目标全景图中识别到门窗图像(示例性的目标介质的图像),由于该目标全景图中包括门窗图像(示例性的目标介质的图像),的数据,即可对应获取到空间户型图中存在的门窗图像(示例性的目标介质的图像),在对应空间户型图中的映射,此处不多赘述。
130.而当全景图的质量不太好,仅仅可以支持识别出墙体,那么接下来在目标全景图中识别到门窗图像就只能依靠人工识别了。
131.具体地,可以通过人工操作对所述目标全景图存在的所述至少一个目标介质图像的标记操作,若获取到的标记结果为所述目标全景图存在所述至少一个目标介质图像,则在所述空间户型图对应生成所述目标介质图像对应的第二结构元素。
132.在前面介绍了自动化识别处理,在空间户型图上对应生成了目标介质图像对应的墙体(示例性地第一结构元素),但是无法进一步在对空间户型图中生成门窗(示例性的目标介质)对应的第二结构元素时,需要更换为人工识别方式,对目标全景图以人工识别的方式进行识别,当识别到目标全景图中存在至少一个目标介质图像,则表示获取到对目标全景图中存在至少一个目标介质图像,可以基于所获取到的目标介质图像对空间户型图进行编辑。在本发明实施例中,对目标全景图以机器自动识别的方式进行识别本发明的实施例给出对应实现方式的说明:
133.在具体实现中,目标全景图目标全景图通过人工操作对所述目标全景图存在的所述至少一个目标介质图像的标记操作,若获取到的标记结果为所述目标全景图存在所述至少一个目标介质图像,则在所述空间户型图对应生成所述目标介质图像对应的第二结构元素。可选地,对目标全景图执行人工的图像识别处理,既可以是在终端上执行,也可以是由服务器执行图像识别,然后将获取到的识别结果发送给终端,具体的识别处理方法在此不多赘述。
134.在一种优选方式中,终端通过上述自动和/或人工识别的方式在目标全景图中获取到至少一个目标介质图像,在获取目标介质图像对应的第二结构元素的同时,还可以在目标全景图中显示针对至少一个目标介质图像识别后的目标标记元素,通过可视化地展示对应目标标记元素,一方面方便用户查看终端所识别出的目标介质图像,另一方面方便用户通过对目标标记元素进行编辑实现对目标介质图像的标记,进而以便用户通过对空间实景图进行标记实现对空间户型图的展示,提高了户型图编辑的便利性。
135.对于目标标记元素,其可以是终端在获取到的识别结果为目标全景图存在至少一个目标介质图像,在目标全景图中对目标介质图像添加的标记元素,不同的目标介质图像可以对应于显示不同的标记元素,例如,假设目标介质图像为门体介质图像,则可以显示门体标记元素;假设目标介质图像为窗体介质图像,则可以显示窗体标记元素等,本发明对此不作限制。
136.可选地,可以根据目标介质图像获取到该目标介质在其对应的全景图中的全景像素坐标,其中,全景图作为示例性地第二图像采集数据,在目标空间的第二采集点采集;也可以将目标介质的全景像素坐标映射至目标空间的三维点云图像的坐标系中得到三维点云坐标,其中,三维点云图像作为示例性地第一图像采集数据,在在目标空间的第一采集点采集,本发明对此不作限制。
137.可选地,用户根据实际情况判断需要对目标全景图中标记元素进行人工编辑时,还可以通过终端所提供的编辑控件组进行手动编辑,其中标记元素用于标识出目标全景图中的门窗(示例性的目标介质图像)。
138.通过上述的人工操作对目标全景图存在的至少一个目标介质图像的标记操作,此时获取到的标记结果为所述目标全景图存在所述至少一个目标介质图像,此时根据前述的第二采集点采集的全景图(示例性的目标全景图)和空间户型图之间的映射关系,可以在所述空间户型图对应生成所述目标介质图像对应的第二结构元素。
139.由于前述已经获取了空间户型图的第一采集点采集的三维点云数据之间的映射关系,得到第二采集点全景图的三维点云坐标;同时也将第二采集点的全景图的三维点云坐标映射到空间户型图的平面中,得到了第二采集点采集的全景图(示例性的目标全景图)和空间户型图之间的映射关系;
140.此时,若通过人工识别方式在目标全景图中识别到门窗图像(示例性的目标介质的图像),由于该目标全景图中包括门窗图像(示例性的目标介质的图像),的数据,即可对应获取到空间户型图中存在的门窗图像(示例性的目标介质的图像),在对应空间户型图中的映射,此处不多赘述。
141.具体的,终端还可以显示显示针对所述目标标记元素的编辑控件组,编辑控件组可以包括端点控件以及移动控件,在具体实现中,可以通过人工操作针对至少一个所述端
点控件的触发,在端点控件执行第一编辑操作完成后,终端可以根据第一编辑操作的区域获取所述目标标记元素在所述目标全景图中的目标显示尺寸;和/或,通过人工操作针对所述移动控件的触发,在移动控件执行第二编辑操作完成后,终端可以根据第二编辑操作的位置获取所述目标标记元素在所述目标全景图中的目标显示位置。其中,对于标记元素,其可以为在空间实景图上“覆盖”对应图像区域的元素,则可以通过获取标记元素在空间实景图上所“覆盖”的图像区域所对应的全景像素坐标,并基于上下、左右两端的全景像素坐标即可确定标记元素所对应的显示尺寸,同理,基于标记元素所对应的全景像素坐标可以确定标记元素在空间实景图中对应的显示位置,进一步地,对于显示尺寸与显示位置均与全景像素坐标对应,则基于显示尺寸与显示位置可以实现将标记元素映射至空间户型图中,以在空间户型图上显示与所标记的目标介质图像对应的结构元素。此外,编辑控件组还可以包括切换控件,则还可以通过人工操作针对至少一个所述切换控件的触发,在切换控件在执行第三编辑操作完成后,终端可以在目标全景图中将当前显示的目标标记元素切换为表征另一介质的另一标记元素。
142.在实景空间图中显示对应的目标标记元素后,并且提供了对目标标记元素的编辑功能,使得终端可以实时在空间户型图中的目标标记元素通过编辑控件组中的任一控件对目标标记元素进行调整,以更加准确地显示与目标标记元素对应的结构元素(如在对应的墙体结构元素上添加表征其他空间结构的结构元素),从而在对房屋信息进行编辑的过程,实现了“空间实景图的标记和空间户型图的显示”之间的联动,一方面满足了对实景内容的标记,另一方面在标记过程中,基于空间户型图的联动,能够直观地呈现出标记的结果,且能够提高对目标空间的标记内容进行全局感知。
143.在具体实现中,标记元素所对应的显示位置可以为全景像素坐标,可以基于上述映射关系,将标记元素所对应的全景像素坐标映射为三维点云坐标,然后在空间户型图中显示对应的第二结构元素,而对于所显示的第二结构元素的尺寸、结构标识,则可以基于标记元素所对应的显示尺寸进行映射,同时根据结构标识确定需要显示何种第二结构元素,从而根据所构建的空间实景图与空间户型图之间的映射关系,使得通过在空间实景图中对相应的介质进行标记即可实现对空间户型图的展示,大大简化了户型图编辑的流程,不仅提高了编辑的便利性,而且提高了编辑的效率以及结合所呈现的实景内容进行标记可以提高户型图呈现内容的准确性。
144.通过上述方式确定了第二结构元素后,可以从目标全景图中识别出目标介质图像对应映射到空间户型图中第一结构元素上的位置,并将该位置作为第二结构元素在第一结构元素上的映射位置。具体的,第一结构元素在目标全景图中同样存在对应的介质图像,则通过图像识别的方式,可以从目标全景图中识别出第一结构元素所对应的第一介质在目标全景图中的第一介质图像,以及第二结构元素所对应的第二介质在目标全景图中的目标介质图像,然后基于第一介质图像与目标介质图像之间的图像重叠关系,可以得到第二结构元素在第一结构元素上的映射位置,以便根据该映射位置在对空间户型图进行更新。
145.需要说明的是,在上述过程中,所涉及的在空间户型图对应生成第二结构元素,其是在全景编辑界面中的空间结构图上生成对应的第二结构元素,此时对于全局的空间户型图尚未完成更新,因此,在全景编辑界面中的空间结构图上生成对应的第二结构元素后,通过获取其对应的映射位置,可以为全局的空间户型图上进行户型图的更新。
146.在一种示例中,参照图4,示出了本发明实施例中提供的空间实景图的示意图,以人工编辑为例,终端可以通过图形用户界面显示对应的实景编辑界面40,并在实景编辑界面40中可以显示当前观察视角下目标空间对应的目标全景图410、以及显示空间户型图420、并在空间户型图420中显示出当前观察视角的目标观察点和目标观察区域。
147.通过图形用户界面还显示有工具栏430,在工具栏430中可以包括窗体标记控件4301(示例性的结构标记控件,表征实体窗体的窗体标记)、第一类门体标记控件4302(示例性的结构标记控件,表征实体门体的门体标记)以及第二类门体标记控件4303(示例性的结构标记控件,表征开放门体的门体标记)。
148.当获取到对空间户型图420的某一表示墙体边界的墙体结构元素440(示例性的第一结构元素)的输入指令,输入指令既可以是用户通过对所展示的空间户型图420中的某一墙体结构元素440执行的选择操作的输入指令,也可以是机器自动识别出空间户型图420中的某一墙体结构元素440需要进行编辑,所触发的输入指令,获取到输入指令表示需要对该墙体结构元素440执行编辑操作,此时需要配套展示目标空间在当前观察视角下对应的目标全景图410,空间户型图410可以是是根据在目标空间的第一采集点所获取的点云数据构建的,第一采集点可以为所述目标空间的至少一个采集点中的任一采集点,空间实景图410为根据在所述目标空间中的第二采集点所采集的全景图中,所获取的至少覆盖部分墙体结构元素440(示例性的第一结构元素)对应的墙体的图像区域,优先地,第二采集点为目标空间的至少一个采集点中相对于墙体结构元素440(示例性的第一结构元素)对应的墙体的最佳采集点。
149.在终端人工和/或自动化编辑的过程中,用户还可以通过终端提供的标记控件进行手动补充标记,具体的,当用户通过第一类门体标记控件4302在空间实景图中添加对应的门体标记元素450(示例性的目标标记元素)时,终端可以同时显示针对门体标记元素450的编辑控件组460(示例性的编辑控件组)用户可以通过编辑控件组460中的端点控件对门体标记元素450进行编辑,响应于端点控件的触发,使得端点控件在执行对门体标记元素450的第一编辑操作完成后,根据第一编辑操作的区域(图示为灰色线标识的范围),可以获取门体标记元素450在空间实景图410中的显示尺寸;在空间实景图中显示了针对门体图像执行标记操作后的门体标记元素450,则表示识别到空间实景图410存在门体介质图像。此时,在空间户型图420对应生成门体介质图像对应于的门体结构元素470(示例性的第二结构元素,灰色线段);采用门体结构元素470调整墙体结构元素440(示例性的第一结构元素),示例性地,在墙体结构元素440(示例性的第一结构元素,黑色线段)上添加门体结构元素470,以更新空间户型图以用于展示,通过将空间实景图的标记内容映射至二维平面的空间户型图,直观地为用户呈现所标记的内容在目标空间的哪个位置,提高用户对目标空间的全局感知。
150.此外,参照图5,示出了本发明实施例中提供的空间实景图的示意图,终端可以通过图形用户界面显示对应的实景编辑界面50,在实景编辑界面50中可以显示目标空间对应的空间实景图510以及空间轮廓图520,在空间轮廓图中可以包括若干个观察点5201以及当前观察点对应的观察区域5202,则用户可以通过空间点5201对所显示的空间实景图进行切换,以实现在同一个目标空间或不同目标空间所对应的空间实景图之间的切换,以及随着在同一个观察点进行观察视角的切换,观察区域5202可以随着所显示的空间实景图的切换
而动态变化。此外,在实景编辑界面50中,当目标空间存在多个采集点时,终端还可以在实景编辑界面50中显示各个采集点对应的采集点标签530,如“客厅1”、“客厅2”以及“客厅3”等,使得用户除了可以通过空间轮廓图520中的空间点位实现空间实景图切换外,还可以通过采集点标签530实现切换,提高了用户编辑过程中的便利性。
151.步骤103,根据所述第二结构元素更新展示所述目标空间对应的空间户型图。
152.在本发明实施例中,通过上述各个采集点采集的数据,可以对空间实景图以及空间户型图之间的关系进行映射,在对户型图进行编辑之前,终端可以先获取目标房屋中各功能空间对应的空间实景图和空间户型图,空间户型图由各功能空间对应的点云数据所构建,空间实景图中包括各功能空间的墙体、门体和/或窗体,空间户型图中包括各墙体对应的轮廓线;针对各功能空间中的目标空间位置,从空间实景图中确定对应的第一全景像素坐标,以及从点云数据中确定对应的第一三维点云坐标;根据获取空间实景图和点云数据的设备之间的相对位姿关系,将第一全景像素坐标映射为三维点云坐标系下的第二三维点云坐标,以及将第一三维点云坐标映射为全景像素坐标系下的第二全景像素坐标;根据映射前后的全景像素坐标和三维点云坐标,分别校正各功能空间的墙体、门体和/或窗体在空间实景图中的位置信息,以及空间户型图中的轮廓线;根据校正后的空间实景图和空间户型图,将空间实景图中各功能空间的门体和/或窗体映射到空间户型图中对应的轮廓线上,得到包含门体轮廓和窗体轮廓的空间户型图;以及对映射到空间户型图上的门体轮廓和窗体轮廓进行标记,并将标记后的空间户型图作为目标房屋对应的户型图。
153.需要说明的是,基于上述所构建的空间实景图与空间户型图之间的映射关系,可以实现当在空间实景图对门体和/或窗体等空间结构进行标记时,空间户型图中所对应的轮廓线上可以相应显示对应的门体和/或窗体,因此,在本发明中,可以将空间户型图上的轮廓线定义为墙体结构元素,当在空间实景图中对门体和/或窗体等空间结构进行标记时,基于在空间实景图中所标记的标记元素,终端可以将标记元素映射至墙体结构元素上,并在墙体结构元素上显示门体结构元素和/或窗体结构元素等,从而在户型图的展示过程中,通过在空间实景图中对相关空间结构进行标记,实现对户型图的展示。
154.在本发明实施例中,在对户型图进行人工和/或自动化编辑的过程中,终端可以先展示目标空间的空间户型图以及在当前观察视角下的目标全景图,同时在终端的人工和/或自动化编辑过程中,终端可以响应于获取到目标全景图中存在至少一个目标介质图像,在空间户型图对应生成目标介质图像对应的第二结构元素,并根据第二结构元素自动更新展示目标空间对应的空间户型图,从而在对户型图进行人工和/或自动化编辑的过程中,基于“空间实景图的标记 空间户型图的显示”之间的联动,通过对实景内容的标记即可实现对户型图的人工和/或自动化编辑,不仅简化了户型图编辑的流程,而且基于实景进行编辑提高了户型图编辑的灵活性,可以有效地提高编辑效率,同时基于终端根据空间户型图与空间实景图之间的映射关系对户型图进行人工和/或自动化编辑,降低了户型图的绘制门槛,使得用户即便对目标空间的现场环境不够理解,也可以实现对户型图的绘制。
155.需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施
例所必须的。
156.参照图6,示出了本发明实施例中提供的一种户型图的展示装置的结构框图,具体可以包括如下模块:
157.全景图展示模块601,用于展示目标空间的空间户型图以及在当前观察视角下的目标全景图,所述空间户型图包括基于户型轮廓图生成的第一结构元素,所述空间轮廓图是根据在目标空间的第一采集点所获取的第一图像采集数据和/或第二图像采集数据构建的,所述第一采集点为所述目标空间的至少一个采集点中的任一采集点;所述目标全景图为根据在所述目标空间的第二采集点所获取的第二图像采集数据中所获取的至少部分覆盖待编辑的第一结构元素对应介质的图像区域;
158.结构元素生成模块602,用于响应于获取到所述目标全景图中存在至少一个目标介质图像,在所述空间户型图对应生成所述目标介质图像对应的第二结构元素;
159.户型图更新模块603,用于根据所述第二结构元素更新展示所述目标空间对应的空间户型图。
160.在一种可选实施例中,还包括:
161.观察信息获取模块,用于获取与所述当前观察视角对应的目标观察点以及所述目标观察点对应的目标观察区域,所述目标观察点为所述第二采集点在所述空间户型图中的映射点,所述目标观察区域为所述目标全景图在所述空间户型图里的映射区域;
162.观察信息展示模块,用于在所述空间户型图中展示所述目标观察点以及所述目标观察区域。
163.在一种可选实施例中,所述第二采集点为所述目标空间的至少一个采集点中所述第一结构元素对应的介质的最佳采集点,所述装置还包括:
164.采集点确定模块,用于在所述目标空间的至少一个采集点中选择离第一结构元素对应的介质距离最近的采集点为最佳采集点,作为所述第二采集点;或,在所述目标空间的至少一个采集点中选择接近第一结构元素对应的介质的正向拍摄方向的采集点为最佳采集点,作为第二采集点。
165.在一种可选实施例中,还包括:
166.第一户型图确定模块,用于根据第一空间轮廓图获取所述空间户型图,所述第一空间轮廓图是根据在目标空间的第一采集点所采集的第一图像采集数据构建的,所述第一采集点为所述目标空间的至少一个采集点中的任一采集点;
167.第二户型图确定模块,用于根据第二空间轮廓图获取所述空间户型图,所述第二空间户型图是根据在目标空间的所述第一采集点所采集的第二图像采集数据构建的;或,
168.第三户型图确定模块,用于根据所述第一空间轮廓图和所述第二空间轮廓图获取所述空间户型图。
169.在一种可选实施例中,所述结构元素生成模块602具体用于:
170.响应于通过对所述目标全景图执行图像识别处理,若获取到的识别结果为所述目标全景图存在所述至少一个目标介质图像,则在所述空间户型图对应生成所述目标介质图像对应的第二结构元素;和/或
171.响应于通过人工操作对所述目标全景图存在的所述至少一个目标介质图像的标记操作,若获取到的标记结果为所述目标全景图存在所述至少一个目标介质图像,则在所
述空间户型图对应生成所述目标介质图像对应的第二结构元素。
172.在一种可选实施例中,所述结构元素生成模块602还具体用于:
173.响应于通过对所述目标全景图执行图像识别处理或标记操作,若获取到的识别结果为所述目标全景图存在所述至少一个目标介质图像,在所述空间户型图对应生成所述目标介质图像对应的第二结构元素,以及在所述目标全景图中显示针对所述至少一个目标介质图像识别后的目标标记元素。
174.在一种可选实施例中,还包括:
175.控件组显示模块,用于显示针对所述目标标记元素的编辑控件组,其中所述编辑控件组至少包括端点控件以及移动控件;
176.显示尺寸确定模块,用于响应于通过人工操作针对至少一个所述端点控件的触发,使得所述端点控件在执行第一编辑操作完成后,根据所述第一编辑操作的区域获取所述目标标记元素在所述目标全景图中的第一显示尺寸;
177.显示位置确定模块,用于响应于通过人工操作针对所述移动控件的触发,使得所述移动控件在执行第二编辑操作完成后,根据所述第二编辑操作的位置获取所述目标标记元素在所述目标全景图中的目标显示位置。
178.在一种可选实施例中,所述编辑控件组还包括切换控件,所述装置还包括:
179.标记元素切换模块,用于响应于通过人工操作针对至少一个所述切换控件的触发,使得所述切换控件在执行第三编辑操作完成后,在所述目标全景图中将当前显示的目标标记元素切换为表征另一介质的另一标记元素。
180.在一种可选实施例中,所述目标显示参数至少包括目标显示位置以及第一显示尺寸,所述目标显示位置为全景像素坐标,所述结构元素生成模块602具体用于:
181.将目标标记元素对应的全景像素坐标映射为三维点云坐标,以及根据预设比例映射关系将所述第一显示尺寸映射为第二显示尺寸;
182.从所述空间轮廓图中定位所述三维点云坐标对应的目标轮廓元素以及在所述目标轮廓元素上的轮廓位置;
183.在所述空间轮廓图的所述目标轮廓元素的所述轮廓位置上显示所述目标标记元素对应的第二结构元素。
184.对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
185.另外,本发明实施例还提供了一种电子设备,包括:处理器,存储器,存储在存储器上并可在处理器上运行的计算机程序,该计算机程序被处理器执行时实现上述户型图的展示方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
186.本发明实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述户型图的展示方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,如只读存储器(read-only memory,简称rom)、随机存取存储器(random access memory,简称ram)、磁碟或者光盘等。
187.图7为实现本发明各个实施例的一种电子设备的硬件结构示意图。
188.该电子设备700包括但不限于:射频单元701、网络模块702、音频输出单元703、输
入单元704、传感器705、显示单元706、用户输入单元707、接口单元708、存储器709、处理器710、以及电源711等部件。本领域技术人员可以理解,图7中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。在本发明实施例中,电子设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。
189.应理解的是,本发明实施例中,射频单元701可用于收发信息或通话过程中,信号的接收和发送,具体的,将来自基站的下行数据接收后,给处理器710处理;另外,将上行的数据发送给基站。通常,射频单元701包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外,射频单元701还可以通过无线通信系统与网络和其他设备通信。
190.电子设备通过网络模块702为用户提供了无线的宽带互联网访问,如帮助用户收发电子邮件、浏览网页和访问流式媒体等。
191.音频输出单元703可以将射频单元701或网络模块702接收的或者在存储器709中存储的音频数据转换成音频信号并且输出为声音。而且,音频输出单元703还可以提供与电子设备700执行的特定功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等等)。音频输出单元703包括扬声器、蜂鸣器以及受话器等。
192.输入单元704用于接收音频或视频信号。输入单元704可以包括图形处理器(graphics processing unit,gpu)7041和麦克风7042,图形处理器7041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元706上。经图形处理器7041处理后的图像帧可以存储在存储器709(或其它存储介质)中或者经由射频单元701或网络模块702进行发送。麦克风7042可以接收声音,并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元701发送到移动通信基站的格式输出。
193.电子设备700还包括至少一种传感器705,比如光传感器、运动传感器以及其他传感器。具体地,光传感器包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板7061的亮度,接近传感器可在电子设备700移动到耳边时,关闭显示面板7061和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;传感器705还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等,在此不再赘述。
194.显示单元706用于显示由用户输入的信息或提供给用户的信息。显示单元706可包括显示面板7061,可以采用液晶显示器(liquid crystal display,lcd)、有机发光二极管(organic light-emitting diode,oled)等形式来配置显示面板7061。
195.用户输入单元707可用于接收输入的数字或字符信息,以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地,用户输入单元707包括触控面板7071以及其他输入设备7072。触控面板7071,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板7071上或在触控面板7071附近的操作)。触控面板7071可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测
装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器710,接收处理器710发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板7071。除了触控面板7071,用户输入单元707还可以包括其他输入设备7072。具体地,其他输入设备7072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
196.进一步的,触控面板7071可覆盖在显示面板7061上,当触控面板7071检测到在其上或附近的触摸操作后,传送给处理器710以确定触摸事件的类型,随后处理器710根据触摸事件的类型在显示面板7061上提供相应的视觉输出。虽然在图7中,触控面板7071与显示面板7061是作为两个独立的部件来实现电子设备的输入和输出功能,但是在某些实施例中,可以将触控面板7071与显示面板7061集成而实现电子设备的输入和输出功能,具体此处不做限定。
197.接口单元708为外部装置与电子设备700连接的接口。例如,外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(i/o)端口、视频i/o端口、耳机端口等等。接口单元708可以用于接收来自外部装置的输入(例如,数据信息、电力等等)并且将接收到的输入传输到电子设备700内的一个或多个元件或者可以用于在电子设备700和外部装置之间传输数据。
198.存储器709可用于存储软件程序以及各种数据。存储器709可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器709可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
199.处理器710是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器709内的软件程序和/或模块,以及调用存储在存储器709内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。处理器710可包括一个或多个处理单元;优选的,处理器710可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器710中。
200.电子设备700还可以包括给各个部件供电的电源711(比如电池),优选的,电源711可以通过电源管理系统与处理器710逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
201.另外,电子设备700包括一些未示出的功能模块,在此不再赘述。
202.需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
203.通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方
法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
204.上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本发明的保护之内。
205.本领域普通技术人员可以意识到,结合本发明实施例中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
206.所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
207.在本技术所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
208.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
209.另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
210.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
211.以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
再多了解一些

本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献