一种用于多源环境大数据的智能关联融合方法与流程

1.本发明涉及环保技术领域，特别涉及一种用于多源环境大数据的智能关联融合方法。


背景技术：

2.空间数据即地理实体空间数据，主要涉及生态环境空间数据，包括环境基础数据、环境专题数据、基础地理数据，表达生态环境各类数据的几何特征和实体间的空间关系。
3.业务数据即高度组织和整齐格式化的数据，可放入表格和电子表格中，主要存储在关系型数据库及分布式大数据库中，数据记录主要包括了各业务使用字段。
4.由于业务数据、空间数据分别存储于两套平台中，数据并非同步更新，缺乏有效的关联性，业务数据大量缺少几何特征，因此迫切需要研究一种高新技术解决空间数据与业务数据融合管理、关联，业务应用问题。


技术实现要素：

5.针对现有技术中环境业务数据空间属性缺失导致处理效率较低评估问题，本发明提出一种用于多源环境大数据的智能关联融合方法，通过将业务数据和空间数据进行关联，并建立自动更新机制，减少人工处理成本，提高数据处理效率。
6.为了实现上述目的，本发明提供以下技术方案：
7.一种用于多源环境大数据的智能关联融合方法，具体包括以下步骤：
8.s1：自动抓取业务系统中业务数据并保存到缓存数据库，建立业务数据表单；
9.s2：自动校验空间数据记录与业务数据记录对照关系，对空间数据进行标签标记，包括第一标签类别和第二标签类别；若标签标记为第一标签类别则进入s3，若标签标记为第二标签类别则直接删除对应的数据；
10.s3：针对标签标记后的空间数据，基于一种正地理编码的校正、匹配方法对空间数据的几何位置进行更新；
11.s4：基于空间分析方法更新带有几何位置信息的空间数据的属性信息；
12.s5：业务系统通过空间数据推送接口获取s4中更新后的空间数据，实时更新业务数据，形成空间、业务持续更新闭环。
13.优选的，所述s1中，业务数据的抓取方法包括：
14.(1)接口方式
15.通过建立标准的接口规范，根据接口规范提供相应的接口，利用java语言编写基于http协议的调用程序建立业务数据表单，再根据业务数据必要字段规范返回业务数据，接口规范具体如下：
16.规定接口通讯协议为http协议；
17.规定接口的请求方式为get请求；
18.规定请求参数为page和rows；
19.(2)数据库方式
20.通过mysql数据库建立专门的业务数据表单数据库，让业务系统通过操作业务数据表单数据库实时地对各个表单数据进行更新处理，通过alibaba druid数据库连接池与mysql数据库建立连接，利用java语言编写程序获取业务数据表单数据库中的各个表单数据。
21.优选的，所述s2中，包括以下步骤：
22.s2-1：基于“游标”遍历查询空间数据，查询方式按照空间数据主键顺序依次进行读取，读取内容包括“标识码”、“名称”、“地址”、“经度”、“纬度”属性；
23.s2-2：基于“游标”遍历查询业务数据，并与空间数据“标识码”进行依次对比判断；若空间数据有，业务数据无，则标记“删除标签”；若空间数据无，业务数据有，则标记“新增标签”；若空间数据有，业务数据有，需判断“名称”、“地址”、“经度”、“纬度”是否有变化，有则标记“更新标签”，无则不进行标签管理。
24.优选的，所述s3包括以下步骤：
25.s3-1：针对具有第一标签类别的空间数据，基于正地理编码方法，将“地址”信息转换为“经纬度”信息，即当前空间数据的几何位置信息；
26.s3-2：基于几何位置信息所在的空间位置与“行政区划界线”进行空间分析，提取当前几何位置所对应的“所属区县”、“所属乡镇”信息；
27.s3-3：将当前几何位置信息所对应的“经纬度”、“所属区县”、“所属乡镇”与业务表单数据中的“地址”、“所属区县”、“所属乡镇”进行匹配，若能匹配成功，则代表数据无异常进入s3-5，若无法匹配成功则需要进入s3-4；
28.s3-4：基于历年乡镇朔源表，朔源匹配不成功的数据并进行更新，例如查询当前地址中的历年“所属乡镇”名称，替换为当前“所属乡镇”名称，并基于更新后的数据重复步骤s3-1至s3-3；
29.s3-5：基于以上步骤，将几何位置信息写入geometry中，实现空间数据的自动校正、匹配；
30.s3-6：针对标记有第二标签类别的空间数据，则根据“标识码”字段自动删除相应数据。
31.优选的，所述s4包括：
32.s4-1：将具有几何位置信息的空间数据与“区县界”数据集、“乡镇界”、“流域”、“控制单元”数据进行空间分析，提取当前几何位置下所处的区县、乡镇、流域、控制单元信息；
33.s4-2：基于步骤s4-1中提取的区县、乡镇信息完成“所属区县”、“所属乡镇”、“所属区县编码”、“所属乡镇编码”、所属流域、所属控制单元更新。
34.优选的，所述空间数据推送接口规范如下：
35.规定接口通讯协议为http协议
36.规定接口的请求方式为get请求。
37.综上所述，由于采用了上述技术方案，与现有技术相比，本发明至少具有以下有益效果：
38.本发明通过建立空间数据与业务数据的更新机制，一是解决了尚未填报经纬度生态环境业务专题数据上图问题，且精度可以准确到乡镇级。二是通过上图后的空间关联分
析，可以补充更新校正业务数据表中的所属区县、所属乡镇、所属流域等空间属性，便于业务数据在环境管理工作中的统计分析应用。三是解决空间数据与业务数据分开管理，无法关联，业务应用难的问题。四是动态关联，实时更新，减少人工处理成本，提高数据处理效率。
附图说明：
39.图1为根据本发明示例性实施例的一种用于多源环境大数据的智能关联融合方法示意图。
40.图2为根据本发明示例性实施例的业务数据获取示意图。
具体实施方式
41.下面结合实施例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。
42.在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
43.如图1所示，本发明提供一种用于多源环境大数据的智能关联融合方法，具体包括以下步骤：
44.s1：基于配置表单，建立空间数据集名称与业务数据关联，定时自动抓取业务系统中业务数据并保存到缓存数据库(缓存数据库为中间库，存储从业务数据中抓取来的表单；缓存数据库亦存储空间数据，相互之间的关联融合在缓存数据库中进行)，建立业务数据表单，并将业务数据表单名称与空间数据集名称关联(有一张配置表，存储业务数据与空间数据的关系)，如图2所示。
45.本实施例中，基于web方式建立表单管理模块，用于管理业务系统各个业务数据表单的提供方式及地址。
46.本实施例中，业务数据(包括所属乡镇、所属区县、地址、名称、标识码等)的抓取包括以下两种：
47.(1)接口方式
48.通过建立标准的接口规范，根据接口规范提供相应的接口，利用java语言编写基于http协议的调用程序建立业务数据表单，再根据业务数据必要字段规范返回业务数据，如表1所示。
49.接口规范具体如下：
50.规定接口通讯协议为http协议
51.规定接口的请求方式为get请求
52.规定请求参数为page(页码)和rows(每页数量)
53.表1.业务数据必要字段
[0054][0055]
(2)数据库方式
[0056]
通过mysql数据库建立专门的业务数据表单数据库，让业务系统通过操作业务数据表单数据库实时地对各个表单数据进行更新处理，通过alibaba druid数据库连接池与mysql数据库建立连接，利用java语言编写程序获取业务数据表单数据库中的各个表单数据。
[0057]
s2：自动校验空间数据记录与业务数据记录对照关系，对空间数据进行标签标记，包括新增、更新、删除；若空间数据相对业务数据需新增或更新则进入s3，反之则直接删除相应记录。
[0058]
s2-1：基于“游标(cursor)”遍历查询空间数据，查询方式按照空间数据主键顺序依次进行读取，读取内容包括“标识码”(数据存储的唯一id，以业务数据为参照自动生成)、“名称”、“地址”、“经度”、“纬度”等属性，并存储至内存中；
[0059]
s2-2：基于“游标”遍历查询业务数据，并与空间数据的“标识码”进行依次对比判断；若空间数据有标识码，业务数据无标识码，则在空间数据中标记“删除标签”；若空间数据无，业务数据有，则标记“新增标签”；若空间数据有，业务数据有，需判断“名称”、“地址”、“经度”、“纬度”是否有变化，有则标记“更新标签”，无则不进行标签管理及后续步骤。
[0060]
s3：针对标签标记后的空间数据，基于一种正地理编码的校正、匹配方法对空间数
据的几何位置进行更新；
[0061]
s3-1：针对标签标记后(更新或新增)的空间数据，基于正地理编码方法，将“地址”信息转换为“经纬度”信息，即当前空间数据的几何位置信息；
[0062]
s3-2：基于几何位置信息所在的空间位置与“行政区划界线”进行空间分析，提取当前几何位置所对应的“所属区县”、“所属乡镇”信息；
[0063]
s3-3：将当前几何位置信息所对应的“经纬度”、“所属区县”、“所属乡镇”与业务表单数据中的“地址”、“所属区县”、“所属乡镇”进行匹配，若能匹配成功，则代表数据无异常进入s3-5，若无法匹配成功则需要进入s3-4；
[0064]
s3-4：基于历年乡镇朔源表，朔源匹配不成功的数据并进行更新，例如查询当前地址中的历年“所属乡镇”名称，替换为当前“所属乡镇”名称，并基于更新后的数据重复步骤s3-1至s3-3；
[0065]
s3-5：基于以上步骤，将几何位置信息写入geometry中，实现空间数据的自动校正、匹配；
[0066]
s3-6：针对标记有“删除标签”的空间数据则根据“标识码”字段自动删除相应数据。
[0067]
s4：基于空间分析方法更新带有几何位置信息的空间数据的属性信息，包括所属区县、所属区县编码、所属乡镇、所属乡镇编码、所属流域、所属控制单元、经度、纬度等；
[0068]
s4-1：将具有几何位置信息的空间数据与“区县界”数据集、“乡镇界”、“流域”、“控制单元”数据进行空间分析，提取当前几何位置下所处的区县、乡镇、流域、控制单元信息；
[0069]
s4-2：基于步骤s4-1中提取的区县、乡镇信息完成“所属区县”、“所属乡镇”、“所属区县编码”、“所属乡镇编码”、所属流域、所属控制单元等属性更新；
[0070]
s5：业务系统通过空间数据推送接口获取s4中更新后的空间数据，实时更新业务数据，形成空间、业务持续更新闭环。
[0071]
本实施例中，通过supermap iobjects for java开发包编写规范的空间数据推送接口，让业务系统调用该接口获取空间数据，实时更新业务数据。
[0072]
空间数据推送接口规范如下：
[0073]
规定接口通讯协议为http协议
[0074]
规定接口的请求方式为get请求
[0075]
表2、规定空间数据推送接口的请求参数
[0076]
字段运算符参数名type＝类型(all全部、update更新、lose缺失)name＝名称pageno＝页码pagesize＝每页数量
[0077]
表3、规定空间数据推送接口的返回参数
[0078][0079]
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。