基于Hadoop平台的地理实体空间数据的处理方法及存储介质与流程

基于hadoop平台的地理实体空间数据的处理方法及存储介质
技术领域
1.本技术涉及数据处理技术领域，具体涉及一种基于hadoop平台的地理实体空间数据的处理方法及存储介质。


背景技术：

2.随着信息技术的应用，全球数据量呈几何级数增长。过去几年间的数据总量超过了人类历史上的数据总和。芯片、摄像头、各自传感器遍布世界各个角落，各类数据监测应用（以北斗为例）正在向室内、水底和深空的pnt（定位、导航和授时）方向不断发展。其中，在商城、医院以及城市轨道交通等非暴露空间更是拥有极其广泛的用途。
3.当前，为满足智慧城市和智慧交通对于精确定位技术的迫切需求，以地铁为代表的非暴露空间为例，对数据的精准要求达到了精确到秒的程度。随着城市的地铁路线条数修筑越多，数据来源也变得更加广泛，大量数据正在飞速增长，并且硬件更新的速度远远跟不上目前数据采集和使用的速度，导致地理实体空间数字化数据存储和处理难度一再上升，导致高并发用户对于地理实体空间数字化数据的访问效率不高。


技术实现要素：

4.为解决现有数据存取效率低与数据处理难度较大的问题，本技术提出一种基于hadoop平台的地理实体空间数据的处理方法及存储介质。
5.第一方面，本技术提供一种基于hadoop平台的地理实体空间数据的处理方法，包括：获取多个待处理的源数据，所述源数据包括bim数据、点云数据、cad线划图数据以及全系影像数据；通过预先构建的数据仓库接收所述源数据并作存储与任务处理，得到目标源数据处理结果，所述数据仓库包括贴源层、原子层、汇总层以及数据集市层；当有多个用户终端需要读取所述目标源数据处理结果时，所述数据仓库通过服务接口将所述目标源数据处理结果传输至所述用户终端。
6.通过采用上述技术方案，接收获取到多个待处理的源数据；然后将源数据输入构建好的数据仓库中进行存储与任务处理，得到目标源数据处理结果；最后将目标源数据处理结果传输至用户终端，以供用户分析处理后的目标源数据处理结果。提高了数据的存储效率，针对较为复杂的数据也能快速处理，也提高了数据访问时的检索效率，并且处理后的数据质量也能得到保证。
7.优选的，所述数据仓库在接收到所述源数据进行存储与任务处理的具体步骤，包括：通过所述贴源层对所述源数据作数据清洗与过滤后，得到第一源数据；将所述第一源数据传输至所述原子层进行存储，得到第三源数据；通过所述汇总层对存储在所述原子层的第三源数据进行汇总，得到第四源数据；
将所述第四源数据输入所述数据集市层作并行计算处理，得到所述目标源数据处理结果。
8.通过采用上述技术方案，将源数据进入数据仓库中的贴源层作清洗与过滤处理后，还可直接将清洗后的第一源数据直接传输盒子汇总层作数据汇总处理，得到第四源数据，然后将第四源数据输入数据集市层作并行计算处理，得到目标源数据处理结果。使得目标源数据处理结果的计算过程更加简单，提高了数据处理的效率。
9.优选的，所述数据仓库在接收到所述源数据进行存储与任务处理的具体步骤，还包括：通过所述贴源层对所述源数据作数据清洗与过滤后，得到第一源数据；通过所述汇总层直接对所述第一源数据进行汇总，得到第四源数据；将所述第四源数据输入所述数据集市层作并行计算处理，得到所述目标源数据处理结果。
10.通过采用上述技术方案，首先将源数据输入数据仓库中的贴源层作清洗与过滤处理，并将清洗后的第一源数据输入原子层作存储处理，得到第三源数据，然后通过汇总层对存储在原子层的第三源数据进行汇总，得到第四源数据，最后将第四源数据输入数据集市层作并行计算处理，得到目标源数据处理结果，使得目标源数据处理结果的计算过程简单，且不易出现误差。
11.优选的，通过所述贴源层对所述源数据作数据清洗与过滤的具体步骤，包括：按照预设规则对源数据进行清洗与过滤；将符合预设规则的源数据设为第一源数据，并将所述第一源数据存储在hadoop平台；将不符合预设规则的源数据设为第二源数据，并将所述第二源数据存储在hbsae平台。
12.通过采用上述技术方案，按照预设规则在贴源层对获取到的源数据作清洗与过滤处理，将符合预设规则的源数据设为第一源数据，并将其存储在hadoop平台；将不符合预设规则的源数据设为第二源数据，并将其存储在hbsae平台，用于保持数据的原始性与完整性。
13.优选的，将所述第一源数据传输至所述原子层进行存储的具体步骤，包括：将所述第一源数据中同一性质的物体分为一类；根据每种源数据的数据属性获取其地理位置属性；建立每种源数据之间的拓扑关系，所述拓扑关系包括相邻关系与相接关系；将所述第一源数据以所述数据属性的形式存储为地理实体空间数字化数据。
14.通过采用上述技术方案，对存储存在原子层的第一源数据按同一性质的物体进行分类，根据每种源数据的数据属性获取其地理位置属性，并建立每种源数据之间的拓扑关系，最终以数据属性的形式存储为地理实体空间数字化数据，提高了数据存储读取的效率。
15.优选的，所述汇总层对源数据进行汇总的具体步骤，包括：根据所述地理位置属性，对所述贴源层与所述原子层的源数据进行汇总并作反范处理；将所述地理实体空间数字化数据与所述贴源层与所述原子层的源数据进行汇总。
16.通过采用上述技术上方案，能够通过地理位置属性，将所述地理实体空间数字化数据与贴源层与原子层的源数据进行汇总，保证了所有数据均能在汇总层得到汇总，不会造成其他数据的遗失，且数据更具有直观性，能够让业务用户通过数据直观了解到所需要的信息。
17.优选的，所述汇总层对源数据进行汇总的具体步骤，还包括：根据所述数据集市层的查询需求，对所述贴源层与所述原子层的源数据进行汇总。
18.通过采用上述技术上方案，还可根据数据集市层的查询需求，对所述贴源层与所述原子层的源数据进行汇总，增加了数据汇总途径的多样性，还能能适应添加更多数据源、支持更多分析的需求，能支持进一步的更新和升级，具有足够的灵活性。
19.优选的，所述数据集市层根据不同的业务环境及用户需求，将所述汇总层汇总的数据作并行计算处理，得到所述目标源数据处理结果。
20.通过采用上述技术方案，实现了海量数据通过网络接口快速发送至用户终端。
21.优选的，将所述目标源数据处理结果作可视化处理，当有多个用户终端需要读取所述目标源数据处理结果时，所述数据仓库通过所述服务接口将所述目标源数据处理结果传输至所述用户终端，以供用户观察分析。
22.通过采用上述技术方案，将目标源数据处理结果作可视化处理，使得用户观察分析处理结果能够能更加清楚明晰。
23.第二方面，本技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述基于hadoop平台的地理实体空间数据的处理方法的步骤。
24.通过采用上述技术方案，将上述数据处理方法以计算机可读代码的形式呈现并存储于存储器内，在处理器运行存储器内的计算机可读代码时，执行上述数据处理方法的步骤以获取高质量的地理实体空间数据的处理结果，同时提升了地理实体空间数据处理的效率。
25.本技术带来了以下有益效果：本技术所述的一种基于hadoop平台的地理实体空间数据的处理方法及存储介质，包括获取多个待处理的源数据，所述源数据包括bim数据、点云数据、cad线划图数据以及全系影像数据；构建数据仓库，将所述源数据输入所述数据仓库进行存储与任务处理，得到目标源数据处理结果，所述数据仓库包括贴源层、原子层、汇总层以及数据集市层；将所述目标源数据处理结果传输至用户终端。通过本技术解决了现有数据存取效率低与数据处理难度较大的问题，提升了地理实体空间数据存储读取的效率，使得数据具有能够方便地存取信息、使用一致的形式展示信息以及能够适应变化和能够及时展示信息的特点，实现了高并发用户对海量数据的高效访问。
附图说明
26.图1为本技术提供的基于hadoop平台的地理实体空间数据的处理方法的概括流程图；图2为本技术提供的基于hadoop平台的地理实体空间数据的处理方法的流程图之
一；图3为本技术提供的基于hadoop平台的地理实体空间数据的处理方法的流程图之二；图4为本技术提供的源数据进入贴源层进行数据清洗与过滤的流程图；图5为本技术提供的源数据输入原子层进行存储的流程图；图6为本技术提供的源数据在汇总层层进行汇总的流程图；图7为本技术提供的基于hadoop平台的地理实体空间数据的处理方法的具体流程图。
具体实施方式
27.以下结合附图对本技术的技术方案请作进一步详细说明。
28.本具体实施例仅仅是对本技术的解释，其并不是对本技术的限制，本领域技术人员在阅读完说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本技术的权利要求范围内都受到专利法的保护，为使本技术实施例的目的、技术方案和有点更加清楚、下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完成地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
29.本技术一实施例提供一种基于hadoop平台的地理实体空间数据的处理方法，如图1所示，包括：步骤s10，获取多个待处理的源数据，所述源数据包括bim数据、点云数据、cad线划图数据以及全系影像数据。
30.这里的多个待处理源数据包括bim数据、点云数据、cad线划图数据以及全系影像数据，其中，源数据的输入格式包括rvt文件、ifc文件、clm文件、las文件以及csv等文件。以rvt文件格式与ifc文件格式为例，作举例说明，已知上述两种文件格式均为bim模型的数据格式，其中，rvt的英文全称为revit，revit项目文件的内容集成与数据编纂规范均用专有的autodesk和revit应用程序，而这些revit项目文件也实施与编码标准agian专有autodesk和用于rvt文件格式。ifc文件格式是用industry foundation classes文件格式创建的模型文件，可以实用bim成熟打开流程，ifc文件格式包括三维建筑物或设施，也包括空间的元素、材料和形状。主要是面向建筑工程领域，主要是在工业与民用建筑上，且ifc的标准是公开且开放的，还是数据交换的标准，能够用于异质系统交换和共享数据。
31.步骤s20，通过预先构建的数据仓库接收所述源数据并作存储与任务处理，得到目标源数据处理结果，所述数据仓库包括贴源层、原子层、汇总层以及数据集市层。
32.当多个待处理的源数据输入数据仓库后，首先在贴源层对源数据的数据进行清理，这里的贴源层相当于源数据进入数据仓库的数据缓冲区，但并不是说贴源层的数据就与原来的一模一样不变了，且数据清洗是贯穿整个数据仓库的全流程的，并不是仅仅停留在贴源层。然后将清洗后的源数据的数据输入原子层进行分类存储，并在汇总层进行数据汇总。或者不经过原子层，直接将贴源层清洗后数据直接传输至汇总层作汇总处理，最后通过数据集市层对汇总后的数据作并行计算处理，得到目标源数据处理结果。
33.步骤s30，当有多个用户终端需要读取所述目标源数据处理结果时，所述数据仓库通过服务接口将所述目标源数据处理结果传输至所述用户终端。
34.当获取到的多个待处理的源数据输入数据仓库处理后，得到目标源数据处理结果，然后对将海量的目标源数据处理结果作可视化处理，得到可视化的处理结果，使得数据结果更加清楚明晰，数据仓库通过服务接口将目标源数据处理结果传输至用户终端，以供用户分析判断。
35.如图2所示，所述数据仓库在接收到所述源数据进行存储与任务处理的具体步骤，包括：步骤s202，通过所述贴源层对所述源数据作数据清洗与过滤后，得到第一源数据。
36.步骤s204，将所述第一源数据传输至所述原子层进行存储，得到第三源数据。
37.步骤s206，通过所述汇总层对存储在所述原子层的第三源数据进行汇总，得到第四源数据。
38.步骤s208，将所述第四源数据输入所述数据集市层作并行计算处理，得到所述目标源数据处理结果。
39.在本实施例中，当将获取到的待处理源数据输入至数据仓库时，首先需要进入数据参考的贴源层进行数据清洗与过滤，得到第一源数据；然后将第一源数据传输至原子层，以体为对象进行存储，得到第三源数据。当第三源数据完成在原子层的数据存储后，再通过汇总层对存储在原子层的第三源数据作汇总处理，得到第四源数据。最后再将第四源数据输入数据集市层作并行处理，得到目标源数据处理结果。
40.进一步地，将所述源数据输入所述数据仓库进行存储与任务处理的具体步骤，如图3所示，还包括：步骤s202，通过所述贴源层对所述源数据作数据清洗与过滤后，得到第一源数据。
41.步骤s203，通过所述汇总层直接对所述第一源数据进行汇总，得到第四源数据。
42.步骤s208，将所述第四源数据输入所述数据集市层作并行计算处理，得到所述目标源数据处理结果。
43.在本实施例中，还可将经贴源层清洗处理后的第一源数据直接传输至汇总层作汇总处理，得到第四源数据。最后再将第四源数据输入数据集市层作并行处理，得到目标源数据处理结果。在实际操作中，可以根据源数据复杂程度以及存储需求，决定源数据在数据仓库中的处理流程。
44.进一步地，通过所述贴源层对所述源数据作数据清洗与过滤的具体步骤，如图4所示，步骤s202包括：步骤s2021，按照预设规则对源数据进行清洗与过滤。
45.步骤s2022，将符合预设规则的源数据设为第一源数据，并将所述第一源数据存储在hadoop平台。
46.步骤s2023，将不符合预设规则的源数据设为第二源数据，并将所述第二源数据存储在hbsae平台。
47.在本实施例中，首先对进入贴源层的源数据按照预设规则进行清洗与过滤，将清洗过后符合预设规则的源数据设为第一源数据，并将其存储在hadoop平台。需要说明的是，此处的预设规则是将获取到的源数据中一些低级错误清除掉，但为了保持数据的原始性和
完整性，仍需将清洗过滤后不符合预设规则的源数据设为第二源数据，并将其存储在hbsae平台。
48.进一步地，将所述第一源数据传输至所述原子层进行存储的具体步骤，如图5所示，步骤s204包括：步骤s2041，将所述第一源数据中同一性质的物体分为一类；步骤s2042，根据每种源数据的数据属性获取其地理位置属性；步骤s2043，建立每种源数据之间的拓扑关系，所述拓扑关系包括相邻关系与相接关系；步骤s2044，将所述第一源数据以所述数据属性的形式存储为地理实体空间数字化数据。
49.需要说明的是，地理实体是地理数据库中的实体，是指在现实世界中再也不能划分为同类现象的现象，是一种与现实的地理世界保持一定相似性的实体模型。当被清洗后的第一源数据传输至原子层后，首先将源数据中同一性质的物体分为一类，以非暴露空间的实体模型的中栏杆、门、天花板、墙、楼梯、支撑柱、座椅以及闸门等为例，将不同类别下的现实中的物体进行分类归纳，然后根据每种数据的数据属性获得其地理位置属性，如天花板的设置位置与其合理的离地高度，以及楼梯的台阶数与整体高度等相关数据属性。还可以将相关数据属性输入三维坐标系，即x、y、z坐标中，同时确立每个数据间的拓扑关系，例如相邻、相接等关系，最后按照属性表的形式储存为地理实体空间数字化数据，使得数据更加清晰，不再是抽象的实物数据。
50.进一步地，所述汇总层对源数据进行汇总的具体步骤，如图6所示，步骤s206包括：步骤s2061，根据所述地理位置属性，对所述贴源层与所述原子层的源数据进行汇总并作反范处理；步骤s2062，将所述地理实体空间数字化数据与所述贴源层与所述原子层的源数据进行汇总。
51.步骤s2063，根据所述数据集市层的查询需求，对所述贴源层与所述原子层的源数据进行汇总。
52.在本实施例中，可以根据数据集市层的数据需求，查询需要的相关数据，对贴源层与原子层的源数据进行汇总，或者根据地理位置属性，对贴源层与原子层的源数据进行汇总以及适当的反范，还可将地理实体空间数字化数据与贴源层与原子层的源数据进行汇总，用于保障原子层与贴源层的数据均得到汇总，最后将汇总后的数据传输至数据集市层作并行计算处理。
53.具体来说，数据集市层根据不同的业务环境及用户需求，将所述汇总层汇总的数据作并行计算处理，得到所述目标源数据处理结果。然后将所述目标源数据处理结果作可视化处理，当有多个用户终端需要读取所述目标源数据处理结果时，所述数据仓库通过所述服务接口将所述目标源数据处理结果传输至所述用户终端，以供用户分析处理后的数据结果。实现了海量数据通过各类服务接口快速发送至用户终端，使得分析数据更具有直观性。
54.综上所述，如图7所示，首先对非暴露空间的地理实体进行三维数字化处理，得到数量庞大的空间数据且庞大的空间数据以rvt、ifc、clm、las以及csv等文件格式存储在源
数据，然后获取多个源数据并将其传输至数据仓库中，并首先进入贴源层进行数据清洗与过滤，同时将三维数字处理明显错误的数据清洗过滤，得到清洗后的bim数据、点云数据以及cad线图数据等。然后将清洗后的源数据传输至原子层，并以体为对象，按照物体的同一性质进行分类，以非暴露空间中的栏杆、门、天花板、墙、楼梯、支撑柱、座椅以及闸门等为例，将不同类别下的现实中的物体进行分类归纳，最后以属性表的形式储存为地理实体空间数字化数据。然后将原子层存储之后的数据传输至汇总层作汇总处理；或者直接将贴源层处理后的数据直接传输至汇总层作汇总处理，以空间数字化数据所对应的四惠站、复兴门、呼家楼、王府井以及宋家庄等为例，将不同空间下的数据作汇总收集，使得数据处理效率更高。最后将汇总后的数据传输至数据集市层作并行计算处理，得到目标源数据处理结果，同时对目标源数据处理结果作可视化处理，当有多个用户终端需要读取所述目标源数据处理结果时，所述数据仓库通过所述服务接口将所述目标源数据处理结果传输至所述用户终端，以供用户观察分析。通过本技术提高了数据访问时的检索效率，使得海量地理实体空间数字化数据高并发访问能够实现。
55.基于上述同一发明构思，本技术实施例提供一种计算机可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行基于hadoop平台的地理实体空间数据的处理方法的步骤。
56.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
57.另外，在本技术实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本技术中的具体含义。
58.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read
‑
only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
59.在本技术的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本技术的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
60.最后应说明的是：以上所述实施例，仅为本技术的具体实施方式，用以说明本技术的技术方案，而非对其限制，本技术的保护范围并不局限于此，尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻
易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本技术实施例技术方案的精神和范围，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应所述以权利要求的保护范围为准。