一种城市独立坐标系多源数据转换方法与流程

1.本发明涉及数据转换方法技术领域，具体涉及一种城市独立坐标系多源数据转换方法。


背景技术：

2.据不完全统计，目前全国约有千余套地方坐标系或独立坐标系(以下统称为独立坐标系)，有的城市存在多套独立坐标系统，大多数独立坐标系统都是以国家参心坐标系(1954年北京坐标系和1980西安坐标系)为基础建立的。随着国家经济建设的发展，独立坐标系测绘成果转换到国家坐标系需求不断增多，如:土地申报、全国二次土地调查、全国矿产调查等等。2000国家大地坐标系的启用，为我国建立高精度坐标系统提供平台，同时规定将逐渐淘汰落后参心坐标系统，若干年后2000国家大地坐标系将全面取代现有国家参心坐标系。独立坐标系统与国家坐标系建立联系是测绘法的明确规定。独立坐标与2000国家大地坐标系转换属于建立联系方式之一。新坐标系启用为我国建设高精度独立坐标系统提供平台和契机，基于2000国家大地坐标系建立的独立坐标系，有利于gps快速的、精确的获取高精度城市坐标和高程成果，有利于城市地理信息系统与gps有效的结合，进一步提升城市的综合服务能力。由于具有众多优越性，基于2000国家大地坐标系建立的独立系是未来发展方向。
3.由于独立坐标系是根据城市建设或工程需要而建立的，没有具体规范，存在着复杂性和多样性，向国家坐标系转换没有一个简单固定公式，应根据具体情况，选定相应的转换方法。
4.现有技术存在以下不足：由于多源数据的体量不断增大，但是其类型杂乱，使得信息提取的价值降低，且数据类型不断更新，固有的分类模式无法适应新的数据变化。


技术实现要素：

5.为此，本发明提供一种城市独立坐标系多源数据转换方法，以解决现有技术中多源数据的体量不断增大，但是其类型杂乱，使得信息提取的价值降低，且数据类型不断更新，固有的分类模式无法适应新的数据变化的问题。
6.为了实现上述目的，本发明实施例提供如下技术方案：一种城市独立坐标系多源数据转换方法，包括以下具体步骤：
7.步骤一、城市独立坐标系检测点的选取和排设数据采集设备；
8.进一步的，在步骤一中，城市独立坐标系检测点选取的步骤如下：
9.s1、使用bigemap卫星地图查看所要下载的城市图像经纬度所在的范围，对该区域图像进行编辑，输入起止经纬度，套合矢量数据，得到该城市区域的整体图像；
10.s2、选择6度带，每间隔经度6度为一个划分区域，该区域设置为一个检测点；
11.s3、在每个检测点设置数据采集设备,将数据采集设备接入物联网，数据采集设备通过监控、测量和发送数据至中央处理系统。
12.步骤二、对获取的数据进行抽取定义及分类；
13.进一步的，在步骤二中，对所需数据源的数据进行抽取和集成，从中提取出数据的实体和关系，经过关联和聚合之后采用统一定义的结构来存储这些数据，对获取的数据进行抽取定义和整合的具体步骤如下:
14.s1、预先定义的数据类或概念集的分类模型；
15.s2、从已知的数据集中选取一部分数据作为建立分类模型的训练集，而把剩余的部分作为检验集，通常会从已知数据集中选取2/3的数据项作为训练集，1/3的数据项作为检验集；
16.s3、需要使用s1中建立的模型对检验集数据元组进行分类，从而评估分类模型的预测准确率，分类器的准确率是分类器在给定测试数据集上正确分类的检验元组所占的百分比，如果认为分类器的准确率是可以接受的，则使用该分类器对类别标记未知的数据元组进行分类。
17.步骤三、数据清洗模块；
18.进一步的，在步骤三中，数据清洗模块对不符合要求的数据进行纠正，不符合要求的数据由不完整的数据、错误的数据以及冗余的数据三大类组成，数据清理模块还包括对数据一致性的检查；
19.对于不完整的数据这一类数据，数据清洗模块按缺失的内容分别写入不同excel文件向中央处理系统系统提交，补全后才写入数据仓库；
20.对于错误的数据，数据清洗模块通过预先写入的sql语句的方式找出来，然后系统自动修正写入数据仓库；
21.对于冗余的数据，数据清洗模块将所有字段导出来发送至中央处理系统等待确认，若系统给出删除指令，再进行删除操作。
22.步骤四、数据集成模块；
23.进一步的，在步骤四中，数据集成模块将零散的数据与实体之间建立联系，进而相互匹配集成，即数据封装，数据封装的过程中涉及到冗余问题，若数据集成模块检测到一个属性可以从其他属性中推演出来，则将该属性删除。
24.步骤五、数据转换模块；
25.进一步的，在步骤五中，数据转换将集成后的采用k-means聚类方法进行转换，具体转换步骤如下：
26.s1、把数据分为n类，在n类中随机选取k个数据，作为每一类的中心点；
27.s2、计算剩下n-k个样本点到每个聚类中心的距离，对于每一个样本点，将它归到和他距离最近的聚类中心所属的类；
28.s3、重新计算每个聚类中心的位置：步骤s2中得到的结果是n个点都有自己所属的类，将每一个类内的所有点取平均值，计算出新的聚类中心；
29.s4、重复步骤s2和s3的操作，直到所有的聚类中心不再改变。
30.步骤六、数据更新模块；
31.进一步的，在步骤六中，数据更新模块采用分布式计算方式，把一组计算机通过网络相互连接组成分散系统，然后接收和处理的大量数据分散成多个部分，交由分散系统内的计算机组同时计算，最后将这些计算结果合并，得到最终的结果。
32.步骤七、日志管理模块；
33.进一步的，在步骤七中，日志管理模块分为执行日志和错误日志，执行日志每执行一步的记录，每次运行每一步骤的起始时间，影响了多少行数据，以流水账形式备份，当某个模块出错的时候写入错误日志，记录每次出错的时间、出错的模块以及出错的信息。
34.本发明实施例具有如下优点：
35.1、本发明通过采用分类模型对所需数据源的数据进行抽取和集成，从中提取出数据的实体和关系，经过关联和聚合之后采用统一定义的结构来存储这些数据，对获取的数据进行抽取定义和整合，与现有技术相比，使得多源数据可快速进行分类，且提高了分类的准确性，且兼容性强，可适应当下数据多元化的发展进度；
36.2、本发明的数据更新模块采用分布式计算方式，加宽信息接收渠道的同时减轻了服务器的压力，达到高效计算效果，在数据转换前对数据进行二次清洗，与现有技术相比，缩小了数据的体量，增大了数据的价值。
附图说明
37.为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
38.本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
39.图1为本发明提供的城市独立坐标系多源数据转换流程图。
具体实施方式
40.以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
41.本发明提供了一种城市独立坐标系多源数据转换方法，包括以下具体步骤：
42.步骤一、城市独立坐标系检测点的选取和排设数据采集设备；
43.城市独立坐标系检测点选取的步骤如下：
44.s1、使用bigemap卫星地图查看所要下载的城市图像经纬度所在的范围，对该区域图像进行编辑，输入起止经纬度，套合矢量数据，得到该城市区域的整体图像；
45.bigemap基于3d地球引擎打造的一款跨时代新应用，可在线浏览多种地图，查看历史影像追溯过去，图形绘制功能，让办公更加便捷，全新的绘制方式再加上自动保存功能，防止数据丢失，并且手机和电脑端无缝链接畅快分发文件；
46.s2、选择6度带，每间隔经度6度为一个划分区域，该区域设置为一个检测点；
47.s3、在每个检测点设置数据采集设备,将数据采集设备接入物联网，数据采集设备
通过监控、测量和发送数据至中央处理系统；
48.一个城市的数据来源有三个方面：运营数据库、社交网络以及感知设备，其中运营数据库和社交网络通过发生数据交换而产生数据，数据则被网络存储，感知设备数据通过数据采集设备进行采集，定义为在线数据，而在数据交换的过程中也会产生数据，这种数据被定义为离线数据。
49.步骤二、对获取的数据进行抽取定义及分类；
50.对所需数据源的数据进行抽取和集成，从中提取出数据的实体和关系，经过关联和聚合之后采用统一定义的结构来存储这些数据，对获取的数据进行抽取定义和整合的具体步骤如下:
51.s1、预先定义的数据类或概念集的分类模型；
52.s2、从已知的数据集中选取一部分数据作为建立分类模型的训练集，而把剩余的部分作为检验集，通常会从已知数据集中选取2/3的数据项作为训练集，1/3的数据项作为检验集；
53.s3、需要使用s1中建立的模型对检验集数据元组进行分类，从而评估分类模型的预测准确率，分类器的准确率是分类器在给定测试数据集上正确分类的检验元组所占的百分比，如果认为分类器的准确率是可以接受的，则使用该分类器对类别标记未知的数据元组进行分类。
54.训练集就是将大量和任务相关的数据集来训练模型，通过模型在数据集上的误差不断迭代训练模型，得到对数据集拟合合理的模型，将训练好调整好的模型应用到真实的场景中。
55.步骤三、数据清洗模块；
56.数据清洗模块对不符合要求的数据进行纠正，不符合要求的数据由不完整的数据、错误的数据以及冗余的数据三大类组成，数据清理模块还包括对数据一致性的检查；
57.对于不完整的数据这一类数据，数据清洗模块按缺失的内容分别写入不同excel文件向中央处理系统系统提交，补全后才写入数据仓库；
58.数据仓库，英文名称为data warehouse，可简写为dw或dwh。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合,它是单个数据存储，出于分析性报告和决策支持目的而创建,为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制；
59.对于错误的数据，数据清洗模块通过预先写入的sql语句的方式找出来，然后系统自动修正写入数据仓库；
60.结构化查询语言(structured query language)简称sql，是一种特殊目的的编程语言，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统；
61.结构化查询语言是高级的非过程化编程语言，允许用户在高层数据结构上工作,它不要求用户指定对数据的存放方法，也不需要用户了解具体的数据存放方式，所以具有完全不同底层结构的不同数据库系统,可以使用相同的结构化查询语言作为数据输入与管理的接口。结构化查询语言语句可以嵌套，这使它具有极大的灵活性和强大的功能。
62.对于冗余的数据，数据清洗模块将所有字段导出来发送至中央处理系统等待确
认，若系统给出删除指令，再进行删除操作；
63.步骤四、数据集成模块；
64.数据集成模块将零散的数据与实体之间建立联系，进而相互匹配集成，即数据封装，数据封装的过程中涉及到冗余问题，若数据集成模块检测到一个属性可以从其他属性中推演出来，则将该属性删除。
65.步骤五、数据转换模块；
66.数据转换将集成后的采用k-means聚类方法进行转换，具体转换步骤如下：
67.s1、把数据分为n类，在n类中随机选取k个数据，作为每一类的中心点；
68.s2、计算剩下n-k个样本点到每个聚类中心的距离，对于每一个样本点，将它归到和他距离最近的聚类中心所属的类；
69.s3、重新计算每个聚类中心的位置：步骤s2中得到的结果是n个点都有自己所属的类，将每一个类内的所有点取平均值，计算出新的聚类中心；
70.s4、重复步骤s2和s3的操作，直到所有的聚类中心不再改变。
71.k-means算法是无监督的聚类算法，它实现起来比较简单，聚类效果也不错，因此应用很广泛。k-means算法有大量的变体。
72.步骤六、数据更新模块；
73.数据更新模块采用分布式计算方式，把一组计算机通过网络相互连接组成分散系统，然后接收和处理的大量数据分散成多个部分，交由分散系统内的计算机组同时计算，最后将这些计算结果合并，得到最终的结果。
74.分布式计算是一种计算方法，和集中式计算是相对的。随着计算技术的发展，有些应用需要非常巨大的计算能力才能完成，如果采用集中式计算，需要耗费相当长的时间来完成,分布式计算将该应用分解成许多小的部分，分配给多台计算机进行处理,这样可以节约整体计算时间，大大提高计算效率。
75.步骤七、日志管理模块；
76.日志管理模块分为执行日志和错误日志，执行日志每执行一步的记录，每次运行每一步骤的起始时间，影响了多少行数据，以流水账形式备份，当某个模块出错的时候写入错误日志，记录每次出错的时间、出错的模块以及出错的信息。
77.日志管理模块利用logging进行信息整合，logging是为应用程序和库的开发实现了一个灵活的事件日志系统。logging是java的一个标准库模块，由标准库模块提供日志记录api的关键好处是所有java模块都可以使用这个日志记录功能。
78.logging默认定义了五个日志等级，分别为debug、info、warning、error以及critical，debug用于记录最详细的日志信息，典型应用场景是问题诊断；info的信息详细程度仅次于debug，通常只记录关键节点信息，用于确认一切并按照预期工作；warning用于处理当某些不期望的事情发生时记录的信息(如磁盘可用空间较低)，但是此时应用程序还是正常运行的；error用于由于一个更严重的问题导致某些功能不能正常运行时记录的信息；critical当发生严重错误，导致应用程序不能继续运行时记录的信息。
79.logging允许开发人员自定义其他日志级别，但是这是不被推荐的，尤其是在开发供别人使用的库时，因为这会导致日志级别的混乱。
80.虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本
发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。