会商生态保护红线区生态破坏问题数据的混合存储方法与流程

1.本发明涉及地理信息管理技术领域，具体涉及一种用于会商生态保护红线区生态破坏问题数据的混合存储方法。


背景技术：

2.为加强生态保护红线区生态破坏问题监管，选取重大、典型生态破坏情况进行会商，为生态修复监管提供更好的技术支撑。由于生态保护红线区空间上与国家公园、自然保护区、重点生态功能区、生物多样性优先保护区、重点流域等保护类区域存在交叉或重叠，因此，生态破坏问题数据具有业务划分复杂、数据类型多、数据来源广、字段结构不一的特点。如从业务划分和数据类型上，会商的生态破坏问题数据需要包括矢量成果数据(.shp)、报告成果数据(.pdf)、遥感影像截图数据(.jpg)、核查照片数据(.jpg)、核查视频数据(.mp4)、辅助信息数据(.pdf)等六种业务类型，四种数据类型。从数据来源上划分，包括生态保护红线区遥感监测生态破坏问题、中央生态环境保护督察问题清单等。不同数据来源，导致字段数量和命名的结构不一，如主要会商的两类生态破坏问题：生态保护红线区遥感监测生态破坏问题共计39个字段，中央生态环境保护督察问题清单共计43个字段。以生态破坏问题数据“核查二级地物类型”为例，生态保护红线区遥感监测生态破坏问题中字段名称为“hcejdwl”，中央生态环境保护督察问题清单中字段名称为“hchejlx”。
3.在业务模式上，传统会商以一次生态破坏问题监管任务为单元，开展具体图斑会商。但是监管任务以行政管理工作驱动，多为省/自治区、自然保护区、重点流域等空间跨度大的区域，与图斑差距较大。若以包含生态破坏问题图斑数量多、类型多的监管任务为会商单元，导致一次会商无重点，且一次会商耗时长，会商人员体验不佳。
4.在技术上，由于数据差异大的特点，生态保护红线区生态破坏问题空间数据处理过程包括五步：数据结构全字段规范化
→
空间数据存储
→
空间数据服务发布
→
服务地址配置
→
辅助会商，其中数据结构规范化、空间数据服务发布与服务地址配置需要大量人工参与。传统会商空间数据使用空间数据库存储空间图形及其属性信息。为解决空间数据结构不统一的问题，常用的两种解决方法是：(1)使用多个空间图层进行存储(2)将数据全部字段规范化处理后使用固定空间图层进行存储。第一种方法因为空间图层名称无法固定，导致无法自动化发布空间数据服务；且发布空间数据服务较多，空间数据服务管理及配置仍需专业人员参与。第二种方法固定空间图层名称，可以保证空间数据服务的自适应发布，但是由于数据差异大，人工将数据全部字段规范化处理耗时长。
5.因此，如何提供一种能够改进数据存储配置、改善服务发布繁琐问题的用于会商生态保护红线区生态破坏问题数据的混合存储方法是本领域技术人员亟需解决的问题。


技术实现要素：

6.有鉴于此，本发明提供了一种用于会商生态保护红线区生态破坏问题数据的混合存储方法，不限定生态保护红线区生态破坏问题数据类型、数据来源、字段结构等约束，解
决数据结构规范化、空间数据服务发布与服务地址配置需要大量人工参与的问题。
7.为了实现上述目的，本发明采用如下技术方案：
8.一种用于会商生态保护红线区生态破坏问题数据的混合存储方法，包括如下步骤：
9.s1、下载生态破坏问题空间数据和多媒体数据包，按照给定的数据组织规范进行解析，获得解析后数据；
10.s2、按照给定规范对解析后数据中的空间数据自动进行结构匹配和质量校验，得到符合校验规范和数据表结构的图斑空间数据；
11.s3、对解析后数据中的多媒体数据进行归档，使用预搭建的对象存储服务进行集中管理，得到多媒体名称对应的对象存储服务上传接口的可在线访问地址；
12.s4、根据图斑空间数据自动发布图斑空间数据服务，以及根据多媒体名称对应的对象存储服务共享地址发布文件共享服务；
13.s5、根据图斑空间数据服务和对象存储服务共享地址进行空间大数据可视化展示。
14.优选的，所述s1中，生态破坏问题空间数据和多媒体数据包中包括面状矢量数据、线状矢量数据、点状矢量数据文件夹。
15.优选的，所述s2中，包括如下步骤：
16.s21、根据数据命名字段，自动在面状矢量数据、线状矢量数据、点状矢量数据文件夹中筛选空间数据；
17.s22、对空间数据进行预设字段校验，若预设字段校验失败，则本次生态破坏问题上传提前终止；若预设字段校验成功，则进入s23；
18.s23、创建任务编号，并根据生态破坏问题的任务信息创建任务管理表；
19.s24、利用空间分析，对空间数据进行问题清单抽取与聚类，并根据问题清单创建问题管理二维表；
20.s25、使用postgis空间数据引擎存储空间数据，不同任务的空间数据根据其空间形态存储在点、线、面空间图层内，包括空间数据自带的图斑问题类型及空间信息，以及系统自动写入的图斑关联问题编号、任务编号；
21.s26、将生态破坏问题数据的二维属性结构转化为字段名称、字段值以及所属的图斑编号，分条目存储为图斑属性表。
22.优选的，所述s3包括如下步骤：
23.s31、根据数据命名字段，自动在解析后数据中筛选多媒体数据；
24.s32、使用预先搭建的对象存储服务的上传接口，将多媒体数据归档。
25.优选的，所述s4包括如下步骤：
26.s41、使用矢量瓦片将对应空间图层存储的空间数据发布为空间数据服务，并在数据更新的同时进行空间数据服务动态更新；
27.s42、多媒体数据使用对象存储，自动将多媒体数据发布为文件共享服务；将多媒体名称、上传接口返回的可在线访问地址存储在多媒体管理表中。
28.优选的，所述s5包括如下步骤：
29.s51、根据生态破坏问题包括的空间图斑的外接矩形计算相对屏幕的坐标范围；
30.s52、根据当前屏幕坐标范围及问题名称，计算、下载并解析对应空间图层的矢量瓦片数据；
31.s53、根据图斑空间数据关联的文件共享服务地址，在线查看多媒体数据。
32.经由上述的技术方案可知，与现有技术相比，本发明的有益效果包括：
33.本发明中采用postgis空间数据引擎存储生态保护红线区生态破坏问题空间数据，将传统的“数据结构全字段规范化
→
空间数据存储
→
空间数据服务发布
→
服务地址配置
→
辅助会商”工序优化为“数据结构单字段规范化
→
空间数据存储
→
自动化空间数据服务发布
→
预置服务地址配置
→
辅助会商”。数据结构规范化处理由全部四十左右个字段，减少为只需处理问题类型一个字段；由于存储空间数据的图层名称固定，仅需发布一次空间数据服务、配置一次服务地址，后续新的生态破坏问题数据入库后即可自动完成空间数据服务更新。本发明在未牺牲浏览效率、满足要求下降低数据结构规范化处理、空间数据服务发布、服务地址配置时间，无需重复服务发布与配置，人工参与工序整体缩短为传统工序的40％，提高工作效率，节省60％人员成本。
34.1)与传统使用多个空间图层存储对比，本发明仅需发布一次空间数据服务、配置一次服务地址
35.使用多个空间图层存储，共需要“空间数据存储
→
空间数据服务发布
→
服务地址配置
→
辅助会商”四步工序。由于未进行数据字段统一处理，使用空间数据集存储多类空间数据；一次生态破坏问题任务为一个空间图层，每一次会商前都要进行手动空间数据服务发布与手动服务地址配置。
36.2)与传统数据结构全字段规范化处理对比，本发明仅需处理一个字段
37.数据结构全字段规范化处理需要处理四十左右个字段，本发明仅需处理问题类型一个字段，减少规范制定和处理时间。
附图说明
38.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图；
39.图1为本发明实施例提供的一种用于会商生态保护红线区生态破坏问题数据的混合存储方法的流程图；
40.图2为本发明实施例提供的生态破坏问题空间数据和多媒体数据包组织结构图。
具体实施方式
41.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
42.本实施例公开的一种用于会商生态保护红线区生态破坏问题数据的混合存储方法，将用于会商的生态保护红线区生态破坏问题数据从业务模式上由宏观到微观划分为
“
任务
‑
问题
‑
图斑”三级，以问题为单元、聚焦具体图斑开展会商。技术上，使用结构化存储、对象存储等进行用于会商的生态保护红线区生态破坏问题数据混合存储，结合矢量瓦片和对象存储技术，自动发布为空间数据服务和文件共享服务。包含以下步骤：
43.将生态破坏问题数据分为空间数据(包括：点、线、面三种空间形态的生态破坏问题空间图斑)和多媒体数据(包括：.jpg影像截图、.jpg现场核查照片、.mp4现场核查视频、.pdf监测报告、.pdf环评报告等审批文件)两大类。使用postgis空间数据引擎存储空间图形，使用postgresql关系数据库表存储图斑属性信息；多媒体数据使用对象存储。然后基于矢量瓦片和对象存储实现空间数据服务和文件共享服务的自动发布与更新。最后以会商的生态保护红线区生态破坏问题为单元，基于webgl将数据进行可视化展示。从而实现不同结构的会商生态保护红线区生态破坏问题数据的灵活存储及快速可视化展示。
44.本实施例的具体执行过程如下：
45.步骤s001，下载按照规范组织的生态破坏问题空间数据和多媒体数据压缩包，将压缩包解压，包括：hcsp(核查视频数据)、hczp(核查照片数据)、hpwj(环评文件)、spwj(审批文件)、tbyx(遥感影像截图)、面状矢量数据、线状矢量数据、点状矢量数据文件夹以及遥感监测报告，生态破坏问题空间数据和多媒体数据压缩包的组织规范参见附图2。
46.步骤s002，根据规范对空间数据进行结构匹配与质量校验。
47.(1)根据数据命名规范，在“面状矢量数据”、“线状矢量数据”、“点状矢量数据”文件夹中找到空间数据，原始数据命名规范见下表1。
48.表1
[0049][0050][0051]
(2)检验空间数据是否包含问题类型字段且字段值域正确、空间参考是否合规等；若校验失败，则本次生态破坏问题上传提前终止。
[0052]
质量校验包括如下步骤：
[0053]
合规性检查：识别确认文件结构，并与预设文件结构进行比对；字段名称及类型与预设字段进行比对。
[0054]
空间数据检查：根据“2000国家大地坐标系(cgcs2000)”进行比对检查，以度为单
位的地理坐标；拓扑检查(同一层要素类中，线与线/面与面不能相互重叠；不能自相交等)。
[0055]
空间数据字段检查：针对问题类型进行字段识别检查。
[0056]
生态保护红线区遥感监测生态破坏问题数据字段结构如下表2所示。
[0057]
表2
[0058]
[0059][0060]
(3)质量校验通过后，在任务管理表中自动创建一个唯一任务编号，将任务名称、任务创建日期、区划代码、任务来源、常规监测区域类型、重大专项类型、是否核查等任务信息写入任务管理表，如表3所示。
[0061]
表3
[0062][0063]
(4)利用空间分析，进行问题清单抽取，将同一县级行政区内相同类型的图斑聚类为问题，得到问题名称、问题类型、问题所属行政区等信息。根据问题清单，在问题管理表中自动创建一个唯一问题编号，同时将聚合得到的问题名称、问题类型、问题所属任务编号、问题所在行政区划代码写入问题管理二维表，其中，问题清单是由业务系统生成的，在进行生态破坏问题提取和识别的过程中，系统按照预设规则自动生成任务信息，一个任务对应一个或多个生态破坏问题，如表4所示。
[0064]
表4
[0065][0066]
中央生态环境保护督察问题清单数据字段结构如下表5所示。
[0067]
表5
[0068]
[0069]
[0070][0071]
如将甘肃省玛曲县内4个采矿用地图斑，统一聚合为1个“甘肃省玛曲县矿产资源开采问题”问题。在问题管理表中新增一个记录，名称为“甘肃省玛曲县矿产资源开采问题”，问题类型为“矿产资源开采”，同时写入问题所属任务编号，即任务管理表中任务对应的id。
[0072]
(5)使用postgis空间数据引擎存储空间数据，将质检通过的面状矢量数据、线状矢量数据、点状矢量数据文件夹下的图斑空间数据写入数据库提前定义的面(polygon)、线(line)、点(point)图斑空间表内。在图斑空间表中自动创建一个唯一图斑编号，将原始图斑空间数据的问题类型字段写入库表中，同时程序自动写入图斑所属的问题编号、任务编号、图斑所属行政区划代码。图斑空间表如表5所示。
[0073]
表5
[0074][0075]
(6)使用图斑属性表存储生态破坏问题数据的全部属性信息。将原始二维属性结构转化为字段名称、字段值以及所属的图斑编号进行分条目存储。图斑属性表如表6所示。
[0076]
表6
[0077]
字段名称字段描述备注idid descname字段名称 descsvalue字段值 tbid图斑id图斑空间表对应的图斑id
[0078]
如查询图斑编号50003的生态破坏问题数据部分原始属性信息为{"rlhdtbdm":"1002","ygjyrlhdlx":"矿产资源开采问题","yswtms":"18年影像疑似为动土","
ysstphwt":"破坏地表植被","xdwlx":"采矿用地","sfxfhc":"是","bhlx":"新增"}；结构转换后，查询结果如下：
[0079]
[{"id":"4567","descname":"rlhdtbdm","descsvalue":"1002","tbid":"50003"},
[0080]
{"id":"4568","descname":"ygjyrlhdlx","descsvalue":"矿产资源开采问题","tbid":"50003"},
[0081]
{"id":"4569","descname":"yswtms","descsvalue":"18年影像疑似为动土","tbid":"50003"},
[0082]
{"id":"4570","descname":"ysstphwt","descsvalue":"破坏地表植被","tbid":"50003"},
[0083]
{"id":"4571","descname":"xdwlx","descsvalue":"采矿用地","tbid":"50003"},
[0084]
{"id":"4572","descname":"sfxfhc","descsvalue":"是","tbid":"50003"},
[0085]
{"id":"4573","descname":"bhlx","descsvalue":"新增","tbid":"50003"}]
[0086]
步骤s003，对多媒体数据进行归档，使用提前搭建好的对象存储进行集中管理。
[0087]
根据数据命名规范，在“hcsp”、“hczp”、“hpwj”、“spwj”、“tbyx”目录中找到多媒体数据，原始数据命名规范参考图2。并使用提前搭建好的对象存储服务的上传接口，将多媒体数据归档。得到多媒体管理表，如表7所示。
[0088]
表7
[0089][0090]
[0091]
步骤s004，自动发布空间数据服务与文件共享服务。
[0092]
使用提前搭建好的矢量瓦片与对象存储实现空间数据服务与文件共享服务的自动化发布。将存储空间数据的面(polygon)、线(line)、点(point)图斑空间表发布为按照问题类型渲染的矢量瓦片服务，可实现服务的自动化更新。将多媒体名称、对象存储接口返回的可在线访问地址存储在多媒体管理表中。
[0093]
步骤s005，webgl的空间大数据可视化展示。
[0094]
(1)在问题管理表中根据待会商的问题名称，查询到问题编号；在图斑空间表中查询该问题包括的空间图斑。取全部空间图斑的外接矩形为问题清单的空间范围。以问题清单外接矩形占屏幕范围80％、外接矩形中心点进行空间定位，确定屏幕坐标范围。
[0095]
(2)根据当前屏幕坐标范围，计算、下载并解析对应层级的矢量瓦片数据；
[0096]
(3)根据图斑编号在多媒体管理表中查询到关联的多媒体数据在线访问地址，即查询图斑关联表中tbid等于图斑空间表id的全部记录。
[0097]
如查询图斑50003关联的核查视频和核查照片信息如下，即可获得在线访问地址：
[0098]
[{"id":"101","name":"2021年3月29日玛曲矿产开采问题核查照片","type":"1","url":"https://ip:port/2021032901.jpg" >[0099]
(4)将查询到的多媒体对象在线查看。
[0100]
本实施例以问题为单元、聚焦具体图斑开展会商。技术上，使用结构化存储、对象存储等进行用于会商的生态保护红线区生态破坏问题数据混合存储，结合矢量瓦片和对象存储技术，自动发布为空间数据服务和文件共享服务。不限定生态保护红线区生态破坏问题数据类型、数据来源、字段结构等约束，解决数据结构规范化、空间数据服务发布与服务地址配置需要大量人工参与的问题。
[0101]
以上对本发明所提供的用于会商生态保护红线区生态破坏问题数据的混合存储方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。
[0102]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。