一种基于时空体系的综合智能平台数据管理方法及系统与流程

1.本发明涉及多源异构数据融合技术领域，尤其涉及一种基于时空体系的综合智能平台数据管理方法及系统。


背景技术：

2.在目前的大数据时代，数据呈现出越来越明显的大量、低价值密度、多样、高速及真实的特性，这使得从海量的数据中获取需要的信息愈发困难，大量的数据也给其存储和传输带来诸多问题。
3.现有的多源异构数据存储系统无法做到针对多源异构数据高效地进行汇聚、融合和分析，没有从数据的角度有针对性地进行处理工作，其没有建立起一套统一的数据处理体系，无法做到对数据的高效汇聚、融合与管理。


技术实现要素：

4.本发明所要解决的是现有的多源异构数据存储系统无法做到针对多源异构数据高效地进行汇聚、融合和分析的问题，为了解决上述技术问题，本发明提供了一种基于时空体系的综合智能平台数据管理方法及系统。
5.第一个方面，提供了一种基于时空体系的综合智能平台数据管理方法，包括：
6.对原始数据进行抽取加工，形成业务数据存储在对应类型的数据库中；
7.获取用户在数据源管理页面中配置的至少一个数据源，以及每个所述数据源的ip地址、端口和类型，并将配置的所有所述数据源添加到数据汇聚列表中；
8.获取用户输入的切换指令，根据所述切换指令选取所述数据汇聚列表中的可用数据表；
9.获取用户输入的关联指令，根据所述关联指令对所述数据汇聚列表中对应的可用数据表进行关联；
10.保存关联的可用数据表的可视化视图，生成所述可视化视图的sql语句；
11.获取用户输入的查询指令，将所述sql语句发送给预设的sql解析器；
12.通过所述sql解析器对所述sql语句进行解析，将解析后的所述sql语句分割成sql语句序列；
13.通过预设的sql执行引擎逐条调用所述sql语句序列中的目标sql语句，通过预设的异构数据源连接器对与所述目标sql语句连接的数据源进行查询；
14.对查询到的数据源中的数据进行关联，将关联的数据发送给前端的显示页面进行显示。
15.在第一个方面的一种可能实现中，将关联的数据发送给前端的显示页面进行显示，具体包括：
16.将关联的数据发送给前端；
17.所述前端根据关联的数据的格式，调用对应的显示组件在显示页面显示所述关联
的数据。
18.在第一个方面的一种可能实现中，前端根据关联的数据的格式，调用对应的显示组件在显示页面显示所述关联的数据，具体包括：
19.当所述关联的数据为二维地图数据时，所述前端通过二维数据可视化组件对所述关联的数据进行展示；
20.当所述关联的数据为三维模型数据时，所述前端通过webgl组件对所述关联的数据进行展示。
21.在第一个方面的一种可能实现中，对原始数据进行抽取加工，形成业务数据存储在对应类型的数据库中，具体包括：
22.对原始数据进行抽取加工，形成业务数据；
23.根据所述业务数据的格式，将所述业务数据存储在mysql存储数据库、postgresql存储数据库、hive存储数据库或cassandra存储数据库中。
24.在第一个方面的一种可能实现中，通过所述sql解析器对所述sql语句进行解析，将解析后的所述sql语句分割成sql语句序列，具体包括：
25.通过所述sql解析器判断所述sql语句是否合法，当所述sql语句合法时，将所述sql语句转换为可执行的sql语句序列。
26.第二个方面，提供了一种基于时空体系的综合智能平台数据管理系统，包括：数据采集单元、指令获取单元、数据处理单元、sql解析单元、数据查询单元和数据关联单元，其中：
27.所述数据采集单元用于对原始数据进行抽取加工，形成业务数据存储在对应类型的数据库中；
28.所述指令获取单元用于获取用户在数据源管理页面中配置的至少一个数据源，以及每个所述数据源的ip地址、端口和类型，并将配置的所有所述数据源添加到数据汇聚列表中；
29.所述指令获取单元还用于获取用户输入的切换指令，根据所述切换指令选取所述数据汇聚列表中的可用数据表；
30.所述指令获取单元还用于获取用户输入的关联指令，根据所述关联指令对所述数据汇聚列表中对应的可用数据表进行关联；
31.所述数据处理单元用于保存关联的可用数据表的可视化视图，生成所述可视化视图的sql语句；
32.所述指令获取单元还用于获取用户输入的查询指令，将所述sql语句发送给预设的sql解析器；
33.所述sql解析单元用于通过所述sql解析器对所述sql语句进行解析，将解析后的所述sql语句分割成sql语句序列；
34.所述数据查询单元用于通过预设的sql执行引擎逐条调用所述sql语句序列中的目标sql语句，通过预设的异构数据源连接器对与所述目标sql语句连接的数据源进行查询；
35.所述数据关联单元用于对查询到的数据源中的数据进行关联，将关联的数据发送给前端的显示页面进行显示。
36.在第二方面的一种可能实现中，所述数据关联单元具体用于将关联的数据发送给前端，以使所述前端根据关联的数据的格式，调用对应的显示组件在显示页面显示所述关联的数据。
37.在第二方面的一种可能实现中，所述数据关联单元具体用于当所述关联的数据为二维地图数据时，所述前端通过二维数据可视化组件对所述关联的数据进行展示；当所述关联的数据为三维模型数据时，所述前端通过webgl组件对所述关联的数据进行展示。
38.在第二方面的一种可能实现中，所述数据采集单元具体用于对原始数据进行抽取加工，形成业务数据；根据所述业务数据的格式，将所述业务数据存储在mysql存储数据库、postgresql存储数据库、hive存储数据库或cassandra存储数据库中。
39.在第二方面的一种可能实现中，所述sql解析单元具体用于调用所述sql解析器判断所述sql语句是否合法，当所述sql语句合法时，将所述sql语句转换为可执行的sql语句序列。
40.上述各方面的方案中，通过数据整合、空间化、统一时空基准、标准规范建设等步骤将原先分散异构的数据统一汇聚管理，对多源异构数据源提供统一的访问接口，允许访问各种各样的数据，使用户无需在多个数据库存储系统间导入导出数据，大大提高了异构数据源的维护效率，实现多源异构数据的一站式管理。
41.本发明附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。
附图说明
42.图1为本发明数据管理方法的实施例提供的流程示意图；
43.图2为本发明数据管理方法的其他实施例提供的地铁服务平台结构示意图；
44.图3为本发明数据管理系统的实施例提供的系统架构示意图。
具体实施方式
45.以下结合附图对本发明的原理和特征进行描述，所举实施例只用于解释本发明，并非用于限定本发明的范围。
46.本发明通过将基础时空数据、专题数据、动态位置数据、感知数据等分散、异构的应用和信息资源进行聚合，通过统一的访问入口，实现结构化数据资源、非结构化文档和互联网资源、各种应用系统跨数据库、跨系统平台的无缝接入和集成，提供一个支持信息访问、传递、以及协作的集成化环境，实现个性化业务应用的高效开发、集成、部署与管理；并根据每个用户的特点、喜好和角色的不同，为特定用户提供量身定做的访问关键业务信息的安全通道和个性化应用界面。
47.下面结合具体实例说明。
48.如图1所示，为本发明数据管理方法的实施例提供的流程示意图，该基于时空体系的综合智能平台数据管理方法，包括：
49.s1，对原始数据进行抽取加工，形成业务数据存储在对应类型的数据库中；
50.应理解，存储过程的实现以开源hadoop技术为基础，hadoop是一个开源的分布式计算和存储框架，由apache基金会开发和维护。hadoop为庞大的计算机集群提供可靠的、可
伸缩的应用层计算和存储支持，它允许使用简单的编程模型跨计算机群集分布式处理大型数据集，并且支持在单台计算机到几千台计算机之间进行扩展。hadoop使用java开发，所以可以在多种不同硬件平台的计算机上部署和使用。其核心部件包括分布式文件系统(hadoop dfs，hdfs)和mapreduce。
51.原始数据的抽取和采集可以通过数据抽取工具从原有业务系统数据库抽取、手动数据文件导入或由采集设备直接写入相应存储数据库中。
52.采集的原始数据为异构数据，例如，可以为来自不同业务系统的结构化数据和非结构化数据。
53.此外，数据层可存取多种类型的数据，且对原有服务器硬件配置无特殊要求，极大化利用原有设备，减小设备投入。包括但不限于：
54.1、三维数据，主要为各种地理数据源。
55.2、设备数据，各设备运行所产生的数据。
56.3、人员数据，系统所在项目的使用及维护人员的各种数据。
57.4、定位数据，定位设备所采集到的数据。
58.应理解，数据层中的各类数据库均以分布式部署在服务器集群中，数据库各自独立存在互不相通；结构化数据、非结构化数据等元数据可以是数据抽取工具从原有业务系统数据库抽取过来，可以是手动数据文件导入，也可是由采集设备直接写入响应存储数据库中。
59.s2，获取用户在数据源管理页面中配置的至少一个数据源，以及每个数据源的ip地址、端口和类型，并将配置的所有数据源添加到数据汇聚列表中；
60.s3，获取用户输入的切换指令，根据切换指令选取数据汇聚列表中的可用数据表；
61.s4，获取用户输入的关联指令，根据关联指令对数据汇聚列表中对应的可用数据表进行关联；
62.s5，保存关联的可用数据表的可视化视图，生成可视化视图的sql语句；
63.s6，获取用户输入的查询指令，将sql语句发送给预设的sql解析器；
64.应理解，本发明的服务组件可以包括异构数据源连接器、sql执行引擎、sql解析器、jdbc服务和shell服务，其中：
65.异构数据源连接器用于在平台和异构数据源之间建立统一的访问连接，通过配置数据源ip地址、端口号和数据源类型，调用底层不同的数据源连接协议，与数据源之间建立数据传输通道，对数据源进行访问和操作；
66.sql执行引擎用于执行sql解析器解析出的sql语句操作序列，并返回查询的结果集；
67.sql解析器用于判断sql语句是否合法以及将sql语句序列转换为一个可执行的操作序列；
68.jdbc服务用于对应用层提供标准的符合jdbc规范的直接访问的接口服务，前台展示页面通过jdbc服务实现与后台数据的交互；
69.shell服务用于对用户提供sql语句操作查询的服务，用户以shell命令行方式直接进行数据库查询操作。
70.s7，通过sql解析器对sql语句进行解析，将解析后的sql语句分割成sql语句序列；
71.s8，通过预设的sql执行引擎逐条调用sql语句序列中的目标sql语句，通过预设的异构数据源连接器对与目标sql语句连接的数据源进行查询；
72.s9，对查询到的数据源中的数据进行关联，将关联的数据发送给前端的显示页面进行显示。
73.应理解，前端为应用层，可以包括可视化服务、系统管理、数据关联、报表统计、定时任务调度、数据审计、日志管理和二次接口服务。
74.应理解，本发明依托于数据综合服务平台实现多源异构数据的管理和查询，如图2所示，以地铁北斗定位为例，给出了示例性的数据综合服务平台，包括地铁北斗定位数据中台、地铁北斗定位服务中台、地铁北斗定位一张图应用和地铁北斗定位移动一张图应用，以地铁北斗定位数据中台为例，包括数据汇聚系统和数据管理系统，可以分别实现数据的采集和汇聚，具体步骤参考上述步骤，不再赘述。
75.本实施例提供的方法，通过数据整合、空间化、统一时空基准、标准规范建设等步骤将原先分散异构的数据统一汇聚管理，对多源异构数据源提供统一的访问接口，允许访问各种各样的数据，使用户无需在多个数据库存储系统间导入导出数据，大大提高了异构数据源的维护效率，实现多源异构数据的一站式管理。
76.可选地，在一些可能的实施方式中，将关联的数据发送给前端的显示页面进行显示，具体包括：
77.将关联的数据发送给前端；
78.前端根据关联的数据的格式，调用对应的显示组件在显示页面显示关联的数据。
79.可选地，在一些可能的实施方式中，前端根据关联的数据的格式，调用对应的显示组件在显示页面显示关联的数据，具体包括：
80.当关联的数据为二维地图数据时，前端通过二维数据可视化组件对关联的数据进行展示；
81.当关联的数据为三维模型数据时，前端通过webgl组件对关联的数据进行展示。
82.可选地，在一些可能的实施方式中，对原始数据进行抽取加工，形成业务数据存储在对应类型的数据库中，具体包括：
83.对原始数据进行抽取加工，形成业务数据；
84.根据业务数据的格式，将业务数据存储在mysql存储数据库、postgresql存储数据库、hive存储数据库或cassandra存储数据库中。
85.可选地，在一些可能的实施方式中，通过sql解析器对sql语句进行解析，将解析后的sql语句分割成sql语句序列，具体包括：
86.通过sql解析器判断sql语句是否合法，当sql语句合法时，将sql语句转换为可执行的sql语句序列。
87.本发明还提供一种基于时空体系的综合智能平台数据管理系统，包括：数据采集单元、指令获取单元、数据处理单元、sql解析单元、数据查询单元和数据关联单元，其中：
88.数据采集单元用于对原始数据进行抽取加工，形成业务数据存储在对应类型的数据库中；
89.指令获取单元用于获取用户在数据源管理页面中配置的至少一个数据源，以及每个数据源的ip地址、端口和类型，并将配置的所有数据源添加到数据汇聚列表中；
90.指令获取单元还用于获取用户输入的切换指令，根据切换指令选取数据汇聚列表中的可用数据表；
91.指令获取单元还用于获取用户输入的关联指令，根据关联指令对数据汇聚列表中对应的可用数据表进行关联；
92.数据处理单元用于保存关联的可用数据表的可视化视图，生成可视化视图的sql语句；
93.指令获取单元还用于获取用户输入的查询指令，将sql语句发送给预设的sql解析器；
94.sql解析单元用于通过sql解析器对sql语句进行解析，将解析后的sql语句分割成sql语句序列；
95.数据查询单元用于通过预设的sql执行引擎逐条调用sql语句序列中的目标sql语句，通过预设的异构数据源连接器对与目标sql语句连接的数据源进行查询；
96.数据关联单元用于对查询到的数据源中的数据进行关联，将关联的数据发送给前端的显示页面进行显示。
97.如图2所示，提供了一种示例性的系统结构架构示意图，可以分为应用层、支撑平台层、数据层和支撑层。
98.其中，支撑平台层是支撑整个系统的核心，其目的在于通过数据整合、空间化、统一时空基准、标准规范建设等步骤，统一汇聚管理多源异构数据，包括服务中台和数据中台两个部分。
99.服务中台包含两个子模块：目录服务系统及服务引擎系统。
100.目录服务系统以目录服务为核心、功能分为服务注册、服务发现、服务申请及服务审核。该模块可对于数据源服务进行增删改查等操作。
101.服务引擎系统是以可访问及操作数据为驱动的数据服务支撑引擎。该模块将数据存储设施中的数据以数据源的形式调用，同时提供一定的数据预处理能力，如矢量切片服务，对于三维模型数据的轻量化操作。提供的数据服务包括：基础时空数据、公共专题数据、动态位置数据及时空感知数据。本发明通过定制模块化的多源异构数据自适应可视化系统实现了对于多源异构数据的可视化效果，涵盖传统的数据格式及目前主流的数据格式。
102.数据中台包含两个子模块：数据汇聚系统及数据管理系统。
103.数据汇聚系统按照给定的数据分析框架，通过智能分析框架实现自动或半自动化数据汇聚。例如收集定位数据，采用定位标签配备定位基站的方式完成数据汇聚。
104.数据管理系统可展现数据概况并对数据进行管理。借助大屏可视化数据展示技术，为相关人员决策提供参考。分为人员数据管理、基站数据管理、标签数据管理及地图数据管理。
105.应用层用于通过可视化技术对业务数据进行再组织形成特定场景使用的专用数据。
106.数据层可存取多种类型的数据，数据层中的各类数据库均以分布式部署在服务器集群中，数据库各自独立存在互不相通。
107.本实施例提供的系统，通过数据整合、空间化、统一时空基准、标准规范建设等步骤将原先分散异构的数据统一汇聚管理，对多源异构数据源提供统一的访问接口，允许访
问各种各样的数据，使用户无需在多个数据库存储系统间导入导出数据，大大提高了异构数据源的维护效率，实现多源异构数据的一站式管理。
108.可选地，在一些可能的实施方式中，数据关联单元具体用于将关联的数据发送给前端，以使前端根据关联的数据的格式，调用对应的显示组件在显示页面显示关联的数据。
109.可选地，在一些可能的实施方式中，数据关联单元具体用于当关联的数据为二维地图数据时，前端通过二维数据可视化组件对关联的数据进行展示；当关联的数据为三维模型数据时，前端通过webgl组件对关联的数据进行展示。
110.可选地，在一些可能的实施方式中，数据采集单元具体用于对原始数据进行抽取加工，形成业务数据；根据业务数据的格式，将业务数据存储在mysql存储数据库、postgresql存储数据库、hive存储数据库或cassandra存储数据库中。
111.可选地，在一些可能的实施方式中，sql解析单元具体用于调用sql解析器判断sql语句是否合法，当sql语句合法时，将sql语句转换为可执行的sql语句序列。
112.应理解，上述实施方式为与在先方法实施方式对应的产品实施方式，关于产品实施方式的说明可以参考在先方法实施方式的说明，在此不再赘述。
113.应理解，在不违背本发明构思的前提下，本领域技术人员可以将上述实施方式进行任意组合，均在本发明的保护范围内。
114.读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
115.在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的方法实施例仅仅是示意性的，例如，步骤的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个步骤可以结合或者可以集成到另一个步骤，或一些特征可以忽略，或不执行。
116.上述方法如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
117.以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。