一种面向海量影像的智能化信息标签获取方法与流程

1.本发明属于遥感影像信息提取技术领域，特别是涉及一种面向海量影像的智能化信息标签获取方法。


背景技术：

2.遥感影像数据应用正处于由地质灾害管理、矿产资源、城市建设、海洋领域、气象等传统行业应用，向精细农业、环境评价、数字城市等新兴行业应用的拓宽发展时期，遥感技术及其影像数据产品应用，在人们的实际生产生活中发挥了越来越重要的作用。但在当前影像应用过程中，对于绝大多数影像产品用户仅能通过地理位置、行政区划等信息进行查找获取，在此过程中往往很难根据影像内容的特定需求得到针对性的影像产品，无法满足用户对于影像数据需求的多样性。
3.近年来，随着计算机视觉及模式识别等领域内图像处理技术的快速发展，影像处理方法与高效高性能的深度学习模型算法不断深入融合，为遥感影像内容信息自动化获取提供了更多的可能。同时，基于web空间检索技术，利用地理空间大数据信息能够在影像内容获取过程中提供多源多模态的地理空间信息。


技术实现要素：

4.本发明针对现有技术的不足，提供一种面向海量影像的智能化信息标签获取方法，主要包括定义影像标签数据库、提出多尺度权重分割(mwsnet)模型对遥感影像进行地物分类、提出cornmnet目标检测模型对遥感影像进行目标检测和利用web检索技术获取地标标签4个模块，可实现对影像地物、目标、地标等多级信息标签的自动化提取和对影像内容进行多角度多层次的自动化描述。
5.为了达到上述目的，本发明提供的技术方案是，包括以下步骤：
6.步骤1，定义影像标签数据库，包括影像信息、地类标签信息、目标检测标签信息与地标标签信息；
7.步骤2，对批量影像原始压缩文件进行解压，得到包括红绿蓝波段的多光谱影像和影像元文件；
8.步骤3，构建并训练多尺度权重分割模型；
9.步骤4，构建并训练cornmnet目标检测模型；
10.步骤5，利用多尺度权重分割模型获取影像智能化地物标签；
11.步骤6，利用cornmnet目标检测模型获取影像智能化目标标签；
12.步骤7，利用web检索技术获取影像智能化地标标签。
13.而且，所述步骤1中影像标签数据库是采用结构化数据库postgresql进行标签数据存储，数据库服务于标签存储与查询管理，对影像内容进行描述，也为后续信息精准服务提供数据支撑。
14.而且，所述步骤3中构建并训练多尺度权重分割模型包括以下几个步骤：
15.步骤3.1，引入espnet网络中的esp卷积结构，搭建快速特征提取结构；
16.步骤3.2，分别对步骤3.1提取到的不同尺度特征进行反卷积上采样；
17.步骤3.3，对步骤3.2不同尺度上采样后的分割特征按照不同地物类别赋予不同的权重，得到多尺度权重特征组合；
18.步骤3.4，根据步骤3.3得到的多尺度权重特征组合对影像进行分割分类；
19.步骤3.5，通过影像数据集对多尺度权重分割模型进行训练，得到模型训练参数。
20.而且，所述步骤4中构建并训练cornmnet目标检测模型包括以下几个步骤：
21.步骤4.1，采用dla网络作为模型主干网络，并在dla网络中引入mlfpn多尺度特征提取模块进行特征提取；
22.步骤4.2，通过级联角点池化和中心点池化方式生成关键热点图；
23.步骤4.3，通过寻找相邻点和计算偏移量的方法对关键点进行准确定位；
24.步骤4.4，结合目标框长宽得出目标框的准确位置；
25.步骤4.5，通过影像数据集对cornmnet目标检测模型进行训练，得到模型训练参数。
26.而且，所述步骤5中利用多尺度权重分割模型获取影像智能化地物标签包括以下几个步骤：
27.步骤5.1，对步骤2获取的多光谱影像进行裁剪分块；
28.将读入影像按照512像素
×
512像素大小自动化裁剪，生成原始影像规则大小的分块影像，进行本地缓存，同时将对应位置信息记录在文件名中，即行号_列号_.tif；
29.步骤5.2，读入分块影像的红绿蓝波段，转换为真彩色合成顺序，作为分类波段；
30.步骤5.3，对步骤5.2做完波段选择后的分块影像像素值进行归一化处理；
31.归一化计算的公式如下：
[0032][0033]
式中，x为分块影像归一化前的像素值，x
′
为分块影像归一化后的像素值；
[0034]
步骤5.4，利用步骤3训练好的多尺度权重分割模型对步骤5.3得到的经过像素值归一化处理的分块影像进行地物分类；
[0035]
步骤5.5，根据分块影像的位置信息，依次对分块影像的分类结果进行拼接，得到最终的分类结果；
[0036]
步骤5.6，根据步骤5.5得到的分类结果进行类别占比统计，并将相应信息存入标签数据库中，完成地物标签信息提取。
[0037]
而且，所述步骤6中利用cornmnet目标检测模型获取影像智能化目标标签包括以下几个步骤：
[0038]
步骤6.1，读入步骤2获取的多光谱影像的红绿蓝波段，转换为真彩色合成顺序，作为检测数据；
[0039]
步骤6.2，对影像像素值进行归一化处理，归一化计算的公式如下：
[0040][0041]
式中，x1为影像归一化前的像素值，x1′
为影像归一化后的像素值；
[0042]
步骤6.3，对归一化处理后的影像进行多尺度分块裁剪；
[0043]
步骤6.4，利用步骤4训练好的cornmnet目标检测模型对步骤6.3得到的分块影像进行目标检测；
[0044]
步骤6.5，根据裁剪大小和行列号息对步骤6.4得到的目标检测结果进行合成；
[0045]
步骤6.6，基于步骤6.5得到的目标检测结果，对影像范围内所包含目标的目标类别、坐标、个数进行信息统计，存入影像标签数据库，完成地物标签信息提取。
[0046]
而且，所述步骤6.3中对归一化处理后的影像进行多尺度分块裁剪是对影像同时采用500像素
×
500像素、2000像素
×
2000像素两种尺寸大小的组合裁剪，将多尺度分块裁剪后的分块影像保存至文件夹下，根据其裁剪时的裁剪大小、行列号对分块影像进行命名，即裁剪大小_行号_列号.tif，用于后续检测结果的处理和合并。
[0047]
而且，所述步骤6.5中是对裁剪大小为500像素
×
500像素的结果保留如储油罐、飞机、船舶这样的较小目标，对裁剪大小为2000像素
×
2000像素的结果中保留如高速公路服务站、大型桥梁、机场这样的较大目标，以此合成最终影像目标检测结果。
[0048]
而且，所述步骤7中利用web检索技术获取影像智能化地标标签包括以下几个步骤：
[0049]
步骤7.1，web检索poi信息；
[0050]
将步骤2获取的影像元文件中记录的影像范围作为检索范围，选用矩形区域检索服务，通过设置检索区域左下角和右上角坐标，检索坐标对应矩形内的poi地标信息；
[0051]
步骤7.2，对步骤7.1检索到的poi数据进行清洗；
[0052]
步骤7.3，对步骤7.2清洗后的poi信息进行统计，得到地标标签信息，存入影像标签数据库，完成地标标签信息获取。
[0053]
而且，所述步骤7.2对步骤7.1检索到的poi数据进行清洗是由于步骤7.1获取到的poi地标信息存在类别分类错误的情况，针对此类错误采用tag类别进行二次筛选，对医院、公园、体育场、火车站、加油加气站关键字，分别设置poi信息tag分类标签为综合医院、公园、体育场馆、火车站、加油加气站，过滤冗余信息，然后再根据影像范围剔除影像范围外poi的信息，仅保留影像实际范围内的poi信息。
[0054]
与现有技术相比，本发明具有如下优点：
[0055]
(1)提出适用于遥感影像地物分类的多尺度权重分割模型，采用轻量化esp卷积结构作为模型的基础单元，采用直接上样方式减少模型参数，提高了模型运行速度；针对影像地物交错分布及类间尺度差异较大等特点，增加多尺度权重模块提高了模型的分类识别能力。
[0056]
(2)提出适用于遥感影像目标检测的cormnet目标检测模型，主干网络采用dla网络，对网络的层级特征进行有效迭代与组合，丰富影像目标的层级特征信息；基于角点和中心点的提取方式来确定目标框，避免了影像范围下锚点和候选框的大量计算；采用mlfpn多级特征金字塔提取结构，可准确地在多个内外尺度上提取差异过大的目标特征。
[0057]
(3)提出一种面向海量影像的智能化信息标签获取方法，实现了对影像地物、目标、地标等多级信息标签的自动化提取和对影像内容进行多角度多层次的自动化描述。
附图说明
[0058]
图1为本发明实施例的技术路线图。
[0059]
图2为本发明实施例使用的高分遥感影像图，其中图2(a)为gf
‑
1遥感影像，图2(b)为gf
‑
2遥感影像。
[0060]
图3为本发明实施例遥感影像的分类结果示例图。
[0061]
图4为本发明实施例遥感影像的目标检测结果示例图。
[0062]
图5为本发明实施例遥感影像的检索范围示例图。
[0063]
图6为本发明实施例遥感影像的地标检索结果示例图。
[0064]
图7为本发明实施例遥感影像标签示例图。
具体实施方式
[0065]
本发明提供一种面向海量影像的智能化信息标签获取方法，主要包括4个模块：定义影像标签数据库，提出多尺度权重分割(mwsnet)模型对遥感影像进行地物分类，提出cornmnet目标检测模型对遥感影像进行目标检测，利用web检索技术获取地标标签。本发明提出的智能化信息标签获取方法可实现对影像地物、目标、地标等多级信息标签的自动化提取和对影像内容进行多角度多层次的自动化描述。
[0066]
下面结合附图和实施例对本发明的技术方案作进一步说明。
[0067]
如图1所示，本发明实施例的流程包括以下步骤：
[0068]
步骤1，定义影像标签数据库，包括影像信息、地类标签信息、目标检测标签信息与地标标签信息。
[0069]
影像标签数据库采用结构化数据库postgresql进行标签数据存储，数据库服务于标签存储与查询管理，对影像内容进行描述，也为后续信息精准服务提供数据支撑，标签存储结构如表1所示。
[0070]
表1标签存储结构表
[0071][0072]
步骤2，对批量影像原始压缩文件进行解压，得到包括红绿蓝波段的多光谱影像和影像元文件。
[0073]
步骤3，构建并训练多尺度权重分割模型，具体包括以下几个子步骤：
[0074]
步骤3.1，引入espnet网络中的esp卷积结构，搭建快速特征提取结构。
[0075]
步骤3.2，分别对步骤3.1提取到的不同尺度特征进行反卷积上采样。
[0076]
步骤3.3，对步骤3.2不同尺度上采样后的分割特征按照不同地物类别赋予不同的权重，得到多尺度权重特征组合。
[0077]
步骤3.4，对步骤3.3得到的多尺度权重特征组合进行分割分类。
[0078]
步骤3.5，通过影像数据集对多尺度权重分割模型进行训练，得到模型训练参数。
[0079]
步骤4，构建并训练cornmnet目标检测模型，具体包括以下几个子步骤：
[0080]
步骤4.1，采用dla网络作为模型主干网络，并在dla网络中引入mlfpn多尺度特征提取模块进行特征提取。
[0081]
步骤4.2，通过级联角点池化和中心点池化方式生成关键热点图。
[0082]
步骤4.3，通过寻找相邻点和计算偏移量的方法对关键点进行准确定位。
[0083]
步骤4.4，结合目标框长宽得出目标框的准确位置。
[0084]
步骤4.5，通过影像数据集对cornmnet目标检测模型进行训练，得到模型训练参数。
[0085]
步骤5，利用多尺度权重分割模型获取影像智能化地物标签。
[0086]
步骤5.1，对步骤2获取的多光谱影像进行裁剪分块。
[0087]
将读入影像按照512像素
×
512像素大小自动化裁剪，生成原始影像规则大小的分块影像，进行本地缓存，同时将对应位置信息记录在文件名中，即行号_列号_.tif。
[0088]
步骤5.2，读入分块影像的红绿蓝波段，转换为真彩色合成顺序，作为分类波段。
[0089]
步骤5.3，对步骤5.2做完波段选择后的分块影像像素值进行归一化处理。
[0090]
归一化计算的公式如下：
[0091][0092]
式中，x为分块影像归一化前的像素值，x
′
为分块影像归一化后的像素值。
[0093]
步骤5.4，利用步骤3训练好的多尺度权重分割模型对步骤5.3得到的经过像素值归一化处理的分块影像进行地物分类。
[0094]
步骤5.5，根据分块影像的位置信息，依次对分块影像的分类结果进行拼接，得到最终的分类结果。
[0095]
步骤5.6，根据步骤5.5得到的分类结果进行类别占比统计，并将相应信息存入标签数据库中，完成地物标签信息提取。
[0096]
步骤6，利用cornmnet目标检测模型获取影像智能化目标标签。
[0097]
步骤6.1，读入步骤2获取的多光谱影像的红绿蓝波段，转换为真彩色合成顺序，作为检测数据。
[0098]
步骤6.2，对影像像素值进行归一化处理，归一化计算的公式如下：
[0099][0100]
式中，x1为影像归一化前的像素值，x1′
为影像归一化后的像素值。
[0101]
步骤6.3，对归一化处理后的影像进行多尺度分块裁剪。
[0102]
为了合理保留各类目标的特征信息，对影像同时采用500像素
×
500像素、2000像素
×
2000像素两种尺寸大小的组合裁剪，将多尺度分块裁剪后的分块影像保存至文件夹下，根据其裁剪时的裁剪大小、行列号等信息对分块影像进行命名，即裁剪大小_行号_列号.tif，用于后续检测结果的处理和合并。
[0103]
步骤6.4，利用步骤4训练好的cornmnet目标检测模型对步骤6.3得到的分块影像进行目标检测。
[0104]
步骤6.5，根据裁剪大小和行列号息对步骤6.4得到的目标检测结果进行合成。
[0105]
对裁剪大小为500像素
×
500像素的结果保留较小目标(如储油罐、飞机、船舶等)，裁剪大小为2000像素
×
2000像素的结果中保留较大目标(如高速公路服务站、大型桥梁、机场等)，以此合成最终影像目标检测结果，如图4所示。
[0106]
步骤6.6，基于步骤6.5得到的目标检测结果，对影像范围内所包含目标的目标类别、坐标、个数等情况进行信息统计，存入影像标签数据库，完成地物标签信息提取。
[0107]
步骤7，利用web检索技术获取影像智能化地标标签。
[0108]
基于百度地图服务获取影像范围内指定关键字的poi数据，实施例中以医院、公园、体育场、火车站、加油加气站5类生活中常见地标为例。
[0109]
步骤7.1，web检索poi信息。
[0110]
根据步骤2获取的影像元文件中记录的影像范围作为检索范围，选用矩形区域检索服务，通过设置检索区域左下角和右上角坐标，检索坐标对应矩形内的poi地标信息。
[0111]
步骤7.2，对步骤7.1检索到的poi数据进行清洗。
[0112]
由于步骤7.1获取到的poi地标信息存在类别分类错误的情况，针对此类错误采用tag类别进行二次筛选，对医院、公园、体育场、火车站、加油加气站关键字，分别设置poi信息tag分类标签为综合医院、公园、体育场馆、火车站、加油加气站，过滤冗余信息，然后再根据影像范围剔除影像范围外poi的信息，仅保留影像实际范围内的poi信息。
[0113]
步骤7.3，对步骤7.2清洗后的poi信息进行统计，得到地标标签信息，存入影像标签数据库，完成地标标签信息获取。
[0114]
具体实施时，以上流程可采用计算机软件技术实现自动运行流程。
[0115]
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。