基于Hadoop平台的地理实体空间数据的处理方法及存储介质与流程

技术特征：
1.一种基于hadoop平台的地理实体空间数据的处理方法，其特征在于，包括：获取多个待处理的源数据，所述源数据包括bim数据、点云数据、cad线划图数据以及全系影像数据；通过预先构建的数据仓库接收所述源数据并作存储与任务处理，得到目标源数据处理结果，所述数据仓库包括贴源层、原子层、汇总层以及数据集市层；当有多个用户终端需要读取所述目标源数据处理结果时，所述数据仓库通过服务接口将所述目标源数据处理结果传输至用户终端。2.根据权利要求1所述的基于hadoop平台的地理实体空间数据的处理方法，其特征在于，所述数据仓库在接收到所述源数据进行存储与任务处理的具体步骤，包括：通过所述贴源层对所述源数据作数据清洗与过滤后，得到第一源数据；将所述第一源数据传输至所述原子层进行存储，得到第三源数据；通过所述汇总层对存储在所述原子层的第三源数据进行汇总，得到第四源数据；将所述第四源数据输入所述数据集市层作并行计算处理，得到所述目标源数据处理结果。3.根据权利要求2所述的基于hadoop平台的地理实体空间数据的处理方法，其特征在于，所述数据仓库在接收到所述源数据进行存储与任务处理的具体步骤，还包括：通过所述贴源层对所述源数据作数据清洗与过滤后，得到第一源数据；通过所述汇总层直接对所述第一源数据进行汇总，得到第四源数据；将所述第四源数据输入所述数据集市层作并行计算处理，得到所述目标源数据处理结果。4.根据权利要求3所述的基于hadoop平台的地理实体空间数据的处理方法，其特征在于，通过所述贴源层对所述源数据作数据清洗与过滤的具体步骤，包括：按照预设规则对源数据进行清洗与过滤；将符合预设规则的源数据设为第一源数据，并将所述第一源数据存储在hadoop平台；将不符合预设规则的源数据设为第二源数据，并将所述第二源数据存储在hbsae平台。5.根据权利要求2所述的基于hadoop平台的地理实体空间数据的处理方法，其特征在于，将所述第一源数据传输至所述原子层进行存储的具体步骤，包括：将所述第一源数据中同一性质的物体分为一类；根据每种源数据的数据属性获取其地理位置属性；建立每种源数据之间的拓扑关系，所述拓扑关系包 括相邻关系与相接关系；将所述第一源数据以所述数据属性的形式存储为地理实体空间数字化数据。6.根据权利要求5所述的基于hadoop平台的地理实体空间数据的处理方法，其特征在于，所述汇总层对源数据进行汇总的具体步骤，包括：根据所述地理位置属性，对所述贴源层与所述原子层的源数据进行汇总并作反范处理；将所述地理实体空间数字化数据与所述贴源层与所述原子层的源数据进行汇总。7.根据权利要求6所述的基于hadoop平台的地理实体空间数据的处理方法，其特征在于，所述汇总层对源数据进行汇总的具体步骤，还包括：根据所述数据集市层的查询需求，对所述贴源层与所述原子层的源数据进行汇总。
8.根据权利要求7所述的基于hadoop平台的地理实体空间数据的处理方法，其特征在于，所述数据集市层根据不同的业务环境及用户需求，将所述汇总层汇总的数据作并行计算处理，得到所述目标源数据处理结果。9.根据权利要求1或8所述的基于hadoop平台的地理实体空间数据的处理方法，其特征在于，将所述目标源数据处理结果作可视化处理，当有多个用户终端需要读取所述目标源数据处理结果时，所述数据仓库通过所述服务接口将所述目标源数据处理结果传输至所述用户终端，以供用户观察分析。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至9任一项所述基于hadoop平台的地理实体空间数据的处理方法的步骤。

技术总结
本申请提供了一种基于Hadoop平台的地理实体空间数据的处理方法及存储介质，涉及数据处理技术领域，包括获取多个待处理的源数据，所述源数据包括BIM数据、点云数据、CAD线划图数据以及全系影像数据；通过预先构建的数据仓库接收所述源数据并作存储与任务处理，得到目标源数据处理结果，所述数据仓库包括贴源层、原子层、汇总层以及数据集市层；当有多个用户终端需要读取所述目标源数据处理结果时，所述数据仓库通过服务接口将所述目标源数据处理结果传输至用户终端。通过本申请解决了现有地理实体空间数据存取效率低与数据处理难度较大的问题，提升了地理实体空间数据存储读取的效率，实现了高并发用户对海量数据的高效访问。问。问。


技术研发人员：张开婷 李俊 周立荣 蔺陆洲 贾蔡 祝宏 邓平科 杨军 马长斗 张迪
受保护的技术使用者：全图通位置网络有限公司
技术研发日：2021.07.24
技术公布日：2021/11/4