一种土地卫片现场举证照片智能辅助审核方法与流程

1.本发明涉及遥感地理信息系统和计算机技术领域，具体涉及一种土地卫片现场举证照片智能辅助审核方法。


背景技术：

2.2017年度卫片检查，自然资源部要求必须对卫片检查信息系统下发的卫片图斑逐一填报合法性判定结果及判定依据，对需要举证的，要进行举证。然而，卫片检查工作时间紧、任务重，且举证信息审核难以全覆盖，需要考虑利用深度学习技术辅助审核以提高效率。
3.随着深度学习技术的快速发展，图像识别技术有更好的识别效果，利用图像识别技术开展基于影像数据的土地有关自动分类研究也越来越多。基于卷积神经网络的图像分类方法，其主要思想是通过含多个隐含层的卷积神经网络提取图像的高层特征信息，可以获得更高的识别准确率，更好地解决图像识别问题。早期典型的网络有lenet、alexnet、vgg、resnet等，网络层数越深，则能提取更深的特征信息。
4.土地卫片审核检查作为一种土地资源管理的有效方式，对于土地违法行为能够及时发现、及时制止，能够强化监管土地利用情况和规范用地秩序，确保地方用地能够真正做到依法依据，切实保护耕地。所谓土地卫片审核检查主要是在卫星遥感技术的帮助下，通过科学的监测某区域在某一时间段内的土地利用、矿产资源勘查开采情况，制作成一定的遥感影像图，然后对监测前后的地块时像变化进行科学的对比，在此基础上将变化图斑确定下来，科学的判定变化图斑的土地合法性或者违法违规状态。通过这项操作，能够建立一个足够立体的土地监管体系，即“天上看、地上查、网上核”，由上而下进行发现与监管，将“天上管、地下查”的模式真正应用到违法违规用地的监察中，及时发现违规行为，确保全国一张图管理自然资源的梦想成为现实。自从开展这项检查以来，在全国范围内都极大的减少了违法用地的情况，极大的提高了社会大众依法用地的意识，进一步增强了对于耕地的保护意识，确保土地管理逐年得到好转。
5.目前土地卫片审核流程既有长足之处也有可以改进的方向。第一，工作进展失衡。在自然条件的限制下，如气候等，一些地区缺乏足够的技术力量与经费，导致工作很难顺利的推进。第二，在查处特殊用地是否涉及违法用地时存在很大的难度，不能妥善的进行处置，且在提取卫片变化图斑时难免会遇到一些技术性问题。第三，违法违规批地用地存在许多新变化，一些地方为了应付检查用一些绿网等，可谓煞费苦心，还有假拆即拆除建筑物的墙而留着地基、柱子，用土掩盖一下，等监管放开时再继续建造。为解决上述关键问题，稳步推进卫片审核检查工作，从技术层面应该应用近些年逐渐成熟的人工智能技术，用以辅助土地卫片审核过程，大量减少人工工作量，使技术人员更加着眼于关键问题与审查细节，从而提升效率与精度。因此，应用人工智能的土地卫片审核方法是走向未来的公平公正高效高质的土地卫片审核方法的必由之路。


技术实现要素：

6.有鉴于此，为了解决现有技术中的上述问题，本发明提出一种土地卫片现场举证照片智能辅助审核方法，融合现有技术与数据源的优势，利用深度学习的特征提取与模型泛化优势，实现对土地卫片的现场举证照片进行智能识别并加以辅助判断。
7.本发明通过以下技术手段解决上述问题：
8.一种土地卫片现场举证照片智能辅助审核方法，包括如下步骤：
9.步骤1：获取实验数据以及对实验数据进行类别划分；
10.步骤2：对实验数据进行数据增广以及预处理；
11.步骤3：设计与搭建神经网络模型；
12.步骤4：选择模型参数以及损失函数；
13.步骤5：对模型进行训练提取图片特征进行分类；
14.步骤6：基于分类结果对图斑进行智能识别辅助审核。
15.进一步地，步骤1中，获取实验数据以及对实验数据进行类别划分的具体步骤包括：
16.根据实际土地卫片审核需求，获取相关的现场举证照片，并保证数据量合适，能够用于后续的神经网络模型的训练与优化；
17.对获取的数据进行类别划分，并对相应的类别进行编号，在制作数据集的时候保证各个类别的数量差异小。
18.进一步地，步骤2中，对实验数据进行数据增广以及预处理的具体步骤包括：
19.数据清洗：因照片质量不一、照片效果参差不齐，且存在大量冗余照片，模型训练的数据需进行数据清洗，并优选特征明显的举证照片；
20.数据增广：采用调整灰度值、饱和度和对比度对图片进行预处理，并将图片裁剪为512*512尺寸大小，最后进行归一化处理，并随机加入高斯噪声，以增加最终训练模型的鲁棒性，达到数据增强的效果；
21.数据集强化：选用具有明显特征的照片来做“通过”样品，其他特征不明显的和实际违法的为“不通过”样本。
22.进一步地，归一化处理采用以下方法：
23.min-max标准化：根据最大值和最小值，把数据映射到[0，1]范围内，其公式如下：
[0024][0025]
其中x为原始图片，x
mih
为图片最小值，x
max
为图片最大值，为归一化后的图片；或者：
[0026]
z-score标准化方法：通过计算输入数据的均值和标准差，然后把每个数据做减均值除方差的操作；经过处理的函数符合标准正太分布；其公式如下：
[0027][0028]
其中σ是图片标准差，μ是图片均值，x为原始图片，为归一化后的图片。
[0029]
进一步地，步骤3中，设计与搭建神经网络模型的具体步骤包括：
[0030]
通过efficientnet网络模型提取图像特征，利用多尺度特征进行融合，然后将融合的特征加入到一个注意力模块中，提升特征的全局表达能力，从而提高网络模型对光学遥感图像场景的分类精度；
[0031]
efficientnet网络模型将网络深度、网络宽度、图像分辨率的不同组合转变为优化问题，如下：
[0032][0033][0034]
memory(n)≤target_memory
[0035]
flops(n)≤target_flops
[0036]
其中：n为网络模型；d、w、r是缩放网络的深度、宽度和图像分辨率的系数；i是网络模型的组件；s是组件的总个数；是预设的网络层结构；是预设的层数；和是预设的分辨率；是预设的通道数；x是将参数按缩放系数调整；memory(n)为网络的参数量；flops(n)为网络的浮点运算量；将每个组件设置为调整后的参数并搭建网络模型；target_memory为参数量的阈值；target_flpos为浮点运算量的阈值；max accuracy表示求网络模型的最大精度；
[0037]
平衡网络深度、宽度和分辨率3个维度获得更好的准确率和效率，efficientnet 使用复合系数φ对3个维度进行缩放，具体如下：
[0038]
d＝α
φ
,w＝β
φ
,r＝γ
φ
[0039]
s.t.α
·
β2·
γ2≈2
[0040]
α≥1,β≥1,γ≥1
[0041]
其中：α、β、γ是对应d、w、r运行维度的资源分配参数；φ是资源控制系数；在满足约束条件的情况下，通过神经架构搜索对各参数进行优化调整；在参数量和运算量不增加的基础上，efficientnet模型通过不断调整网络深度、网络宽度和图像分辨率的系数达到最优的精度。
[0042]
进一步地，步骤4中，选择模型参数的具体步骤包括：
[0043]
采用efficientnet为基础网络模型，根据实际效率与精度的需求，选取其中的b1作为基础分类网络模型，并在此基础上进行改进；
[0044]
使用adam优化器来进行网络参数迭代更新，迭代次数epoch设置为100，初始学习率设置为0.001，衰减系数为0.0001；adam的动量参数设置为0.9；每次训练的批次大小batchsize设置为8；整个模型利用在imagenet官方数据集训练得到的模型参数上进行迁移学习，以此提供一个预训练模型，然后再进行土地卫片识别模型的训练。
[0045]
进一步地，步骤4中，选择损失函数的具体步骤包括：
[0046]
采用的交叉熵损失函数，其表达式如下：
[0047][0048]
其中：y为样本真实标签，为样本通过网络模型得到的预测标签，n为样本数，i表示第i个样本，y(i)表示第i个真实样本，表示第i个预测样本，表示交叉熵损失函数；通过交叉熵损失函数得到样本预测标签和真实标签之间的损失值，损失值越小，预测标签越接近真实标签；损失值越大，预测标签和真实标签差距越大；通过损失值判断预测结果的优劣，从而更有效地训练网络模型。
[0049]
进一步地，步骤5中，对模型进行训练提取图片特征进行分类的具体步骤包括：
[0050]
模型训练优化过程中存在许多超参数以及优化器的选择，具体的超参数包括学习率、批次大小的参数的选择，优化器选择sgd、adam、adagrad或 rmsprop，需要根据实验效果决定超参数大小以及优化器；
[0051]
通过对图片训练提取图片特征，用于图片的分类，最终得到的类别根据实际需要进行划定，同时需要选取合适的损失函数进行优化训练，并根据实际情况采取合适的训练技巧。
[0052]
进一步地，步骤6中，基于分类结果对图斑进行智能识别辅助审核的具体步骤包括：
[0053]
由于审核不通过的图斑照片情况复杂，根据情况采取高标准的通过要求，图斑审核权重值设置为50％以上才为通过，其余皆为不通过。
[0054]
与现有技术相比，本发明的有益效果至少包括：
[0055]
本发明融合现有技术与数据源的优势，利用深度学习的特征提取与模型泛化优势，实现对土地卫片的现场举证照片进行智能识别并加以辅助判断。
[0056]
本发明可以对待审核图斑全部利用照片自动识别技术进行全面过机审核，再针对不通过的图斑，进行人工审核，这样就既提高了土地卫片审核的总量，也提高了审核工作效率。
[0057]
本发明可大幅提高内业审核率，并为人工审核缩小工作范围。
附图说明
[0058]
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0059]
图1为本发明土地卫片现场举证照片智能辅助审核方法的流程图；
[0060]
图2为本发明举证照片智能识别实验流程图；
[0061]
图3为本发明所用方法的智能识别混淆矩阵结果图；
[0062]
图4为本发明所用网络总体结构图；
[0063]
图5为本发明所用网络模块细节图。
具体实施方式
[0064]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合附图和具体的实施例对本发明的技术方案进行详细说明。需要指出的是，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0065]
如图1-5所示，本发明提供一种土地卫片现场举证照片智能辅助审核方法，包括如下步骤：
[0066]
步骤1：实验数据获取以及类别划分：
[0067]
(1)根据实际土地卫片审核需求，获取相关的现场举证照片，并保证数据量合适，能够用于后续的神经网络模型的训练与优化。
[0068]
(2)对获取的数据进行类别划分，并对相应的类别进行编号，在制作数据集的时候保证各个类别的数量差异较小。
[0069]
步骤2：对实验数据进行数据增广以及预处理：
[0070]
在模型开始训练之前，通常要对数据进行预处理。如果对原始数据直接进行特征提取，可能会导致训练结果差强人意。海量而且变化多样的数据是神经网络取得成功的重要原因之一。为了提高训练数据的多样性，每一次迭代都对数据集以一定的概率进行数据增强，包括镜像变换、垂直变换、旋转、随机裁剪、色彩抖动等，因为神经网络在训练的过程中要训练很多个epoch，每个 epoch有多次迭代，对每一次迭代的数据做轻微的变动，有助于提升数据的多样性，从而提升训练效果。除此之外，还要对输入数据进行归一化，这样是为了统一数据的分布，从而让模型更高效的训练。以下是两种常见的归一化方法：
[0071]
(1)min-max标准化(min-max normalization)，该方法的计算方式比较容易理解，根据最大值和最小值，把数据映射到[0，1]范围内。其公式如下：
[0072][0073]
其中x为原始图片，x
mih
为图片最小值，x
max
为图片最大值，为归一化后的图片。
[0074]
(2)z-score标准化方法。通过计算输入数据的均值和标准差，然后把每个数据做减均值除方差的操作。经过处理的函数符合标准正太分布。其公式如下：
[0075][0076]
其中σ是图片标准差，μ是图片均值，x为原始图片，为归一化后的图片。
[0077]
本发明所用方法中用的是第二种方法，其中σ是标准差，μ是均值。
[0078]
本发明对于数据预处理主要包括以下步骤：
[0079]
(1)数据清洗：因照片质量不一、照片效果参差不齐，且存在大量冗余照片，模型训练的数据需进行数据清洗，并优选特征明显的举证照片。
[0080]
(2)数据增广：由于举证图片的各类特征之间存在较大的相似性，且训练数据有限，本方法对划分出来的训练集数据进行数据增强，以期达到更好的学习和使用效果。对比分析多种图像增强和特征变换方法对本数据集的增强效果，最终采用调整灰度值、饱和度和对比度等技术对图片进行预处理，并将图片裁剪为512*512尺寸大小，最后进行归一化处
理，并随机加入高斯噪声，以增加最终训练模型的鲁棒性，使得模型拥有更好的泛化能力。通过以上数据预处理工作，达到数据增强的效果。
[0081]
(3)数据集强化：因为巡查的业务需要，对审核通过的准确性要求很高，所以本方法选用了具有明显特征的照片来做“通过”样品，其他特征不明显的和实际违法的为“不通过”样本。因此重点看模型判断通过的准确度。由于本方法获得的实验数据中，审核不通过的样本较少且情况比较复杂，学习数据集的挑选，“通过”样本按照高标准要求做了筛选，其余作为“不通过”样本。
[0082]
步骤3：神经网络模型的设计与搭建：
[0083]
神经网络具有强大的特征学习能力，神经网络的深度和宽度对于神经网络的学习能力具有重要影响，近年来有许多学者研究了cnn模型的宽度和深度之间的关系，如resnet、、widerresnet、densenet等，但这些网络往往只关注网络的深度或者网络的宽度，并没有在这两者之间寻找到一个平衡。随着网络搜索技术的发展，谷歌团队通过研究网络的深度、宽度以及输入图片的分辨率大小，提出了一个提出了一种有效的方法来设计参数更少但分类精度更好的cnn 模型，即efficientnet。在原始论文中，作者提出了7个这样的模型，他们将其命名为efficientnet-b0到efficientnet-b7。但是efficientnet原本设计用于自然影像的分类，对于遥感影像丰富的场景信息不能很好地处理，且通常单幅影像中的场景信息较为丰富，很容易造成神经网络的误判，为解决上述问题，本发明通过efficientnet网络模型提取图像特征，利用多尺度特征进行融合，然后将融合的特征加入到一个注意力模块中，提升特征的全局表达能力，从而提高网络模型对光学遥感图像场景的分类精度。
[0084]
efficientnet网络模型将网络深度、网络宽度、图像分辨率的不同组合转变为优化问题，如下：
[0085][0086][0087]
memory(n)≤target_memory
[0088]
flops(n)≤target_flops
[0089]
其中：n为网络模型；d、w、r是缩放网络的深度、宽度和图像分辨率的系数；i是网络模型的组件；s是组件的总个数；是预设的网络层结构；是预设的层数；和是预设的分辨率；是预设的通道数；x将参数按缩放系数调整；memory(n)为网络的参数量；flops(n)为网络的浮点运算量；将每个组件设置为调整后的参数并搭建网络模型；target_memory为参数量的阈值；target_flpos为浮点运算量的阈值；max accuracy表示求网络模型的最大精度。
[0090]
平衡网络深度、宽度和分辨率3个维度可以获得更好的准确率和效率， efficientnet使用复合系数φ对3个维度进行缩放，具体如下：
[0091]
d＝α
φ
,w＝β
φ
,r＝γ
φ
[0092]
s.t.α
·
β2·
γ2≈2
[0093]
α≥1,β≥1,γ≥1
[0094]
其中：α、β、γ是对应d、w、r运行维度的资源分配参数；φ是资源控制系数。在满足约束条件的情况下，通过神经架构搜索(neural architecture search， nas)对各参数进行优化调整。在参数量和运算量不增加的基础上，efficientnet 模型通过不断调整网络深度、网络宽度和图像分辨率的系数达到最优的精度。
[0095]
步骤4：模型参数以及损失函数的选择：
[0096]
本方法采用efficientnet为基础网络模型，根据实际效率与精度的需求，选取其中的b1作为基础分类网络模型，并在此基础上进行改进。
[0097]
本发明使用adam优化器来进行网络参数迭代更新，迭代次数epoch设置为 100，初始学习率设置为0.001，衰减系数为0.0001。adam的动量参数设置为 0.9。每次训练的批次大小batchsize设置为8。整个模型利用在imagenet官方数据集训练得到的模型参数上进行迁移学习，以此提供一个预训练模型，然后再进行土地卫片识别模型的训练。
[0098]
深度学习中用损失函数来度量网络模型得到的预测标签和数据真实标签之间的差距，损失函数可以衡量网络模型的泛化能力优劣，根据不同的应用需求，选择合适的损失函数可以使模型得到更好的训练效果。本发明针对多场景分类问题，采用更适合的交叉熵损失函数，其表达式如下：
[0099][0100]
其中：y为样本真实标签；为样本通过网络模型得到的预测标签；n为样本数；i表示第i个样本，y(i)表示第i个真实样本；表示第i个预测样本，表示交叉熵损失函数；通过交叉熵损失函数可以得到样本预测标签和真实标签之间的损失值，损失值越小，预测标签越接近真实标签；损失值越大，预测标签和真实标签差距越大。通过损失值可以判断预测结果的优劣，从而更有效地训练网络模型。
[0101]
步骤5：对模型进行训练提取图片特征进行分类：
[0102]
本方法实验是在centos7.9系统下搭建的pytorch1.7.1深度学习框架。采用 pytorch的python接口实现。如表1所示。
[0103][0104]
模型训练优化过程中存在许多超参数以及优化器的选择，具体的超参数包括学习率、批次大小等参数的选择，优化器包含sgd，adam，adagrad，rmsprop 等可以选择，需要根据实验效果决定超参数大小以及优化器。
[0105]
通过对图片训练提取图片特征，用于图片的分类，最终得到的类别根据实际需要进行划定，同时需要选取合适的损失函数进行优化训练，并根据实际情况采取合适的训练技巧。
[0106]
步骤6：基于分类结果对图斑进行智能识别辅助审核：
[0107]
土地卫片审核，一年四次，从国家下发图斑到地方举证再到省级两轮审核，每次的完成时间期限为2个星期，地方举证和省级审核有时最多达到3次。广东省自2019年以来，每种上报类型随机抽取30％进行内业审核，审核工作任务时间紧、任务重。
[0108]
由于审核不通过的图斑照片情况复杂，可以根据情况采取高标准的通过要求，图斑审核权重值设置为50％以上才为通过，其余皆为不通过。
[0109]
这样，可以对待审核图斑全部利用照片自动识别技术进行全面过机审核，再针对不通过的图斑，进行人工审核，这样就既提高了土地卫片审核的总量，也提高了审核工作效率。
[0110]
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。