测土配方施肥土壤全氮异常值检测方法及装置

1.本发明涉及作物种植领域，尤其涉及一种测土配方施肥土壤全氮异常值检测方法及装置。


背景技术：

2.测土配方施肥是破解农田肥料利用率偏低、农业面源污染的关键技术措施。测土配方施肥已经累积了数千万条的土壤测试数据，形成了规模庞大的测土配方数据库。其中，土壤全氮是测土配方土壤测试基础五项之一，是表征土壤养分的重要指标。某些地区近50%耕地面积的土壤缺氮，农业种植过程中氮肥施用量较大，因此，准确的土壤氮素数据能够为实际种植提供重要的施肥依据。测土配方施肥数据具有数据体量大、时间跨度长、人工填报汇总录入的特点，然而，因其地区田块、采集方式、测试方法、衡量标准等方面的差异，造成了数据来源复杂标准不统一、人工填报容易出错、数据缺乏校验等问题。因此，需要利用面向大数据的高效算法尤其是ai算法识别异常数据，实现阈值范围内的大数据全局、局部异常值高效捕获，提升数据可用性。
3.目前现有技术主要是针对局限特定领域数据的异常值检测，如面向交通、计算机、医疗等领域，这些类型的数据采集方式规范、阈值范围明确、时间关系清晰，具有明确的评价标准，容易通过算法检测。然而，农业中土壤要素受到作物、气象、管理等多方面复杂影响，时间序列检测等技术方法在呈现“离散采样、空间广泛、品类繁多”特点的测土配方施肥数据中无法开展应用，相关技术难以有效应用在农业大数据尤其是测土配方施肥数据的异常值检测。因此，需要针对农业测土配方施肥数据的群体特征、空间分布特点，提出针对性的数据异常值检测评价专有技术方法，通过深入挖掘数据多维度特征实现高效、准确的测土配方施肥土壤全氮数据异常值检测。


技术实现要素：

4.针对现有技术存在的问题，本发明提供一种测土配方施肥土壤全氮异常值检测方法及装置。
5.本发明提供一种测土配方施肥土壤全氮异常值检测方法，包括：获取待检测土壤全氮数据，所述待检测土壤全氮数据中包括不同时期的土壤全氮数据，根据所述待检测土壤全氮数据确定土壤全氮数据集；根据所述土壤全氮数据集，基于独立森林iforest检测模型，得到每个土壤全氮数据为合理和异常的检测结果，作为第一全氮数据集；根据所述土壤全氮数据集，基于gis空间统计分析的异常检测方法，确定每个土壤全氮数据为合理和异常的检测结果，作为第二全氮数据集；根据所述第一全氮数据集和所述第二全氮数据集中的合理和异常结果，确定土壤全氮数据集中所有数据的合理或异常检测结果。
6.根据本发明提供的一种测土配方施肥土壤全氮异常值检测方法，所述根据所述待检测土壤全氮数据，确定土壤全氮数据集，包括：将历史气象数据、环境数据、作物特征数据、管理特征数据的时序数据，输入apsim模型，得到与所述时序数据步长对应的不同时期
的辅助土壤全氮数据；根据所述辅助土壤全氮数据和所述待检测土壤全氮数据，构建所述土壤全氮数据集；其中，所述辅助土壤全氮数据量大于待检测土壤全氮数据。
7.根据本发明提供的一种测土配方施肥土壤全氮异常值检测方法，所述根据所述土壤全氮数据集，基于iforest检测模型，得到每个土壤全氮数据为合理和异常的检测结果，包括：根据所述土壤全氮数据集中随机采样的每个子集，构造iforest检测模型的每棵itree；遍历iforest中的每棵itree，计算每个全氮数据在每棵树中的路径长度，根据路径长度计算每个全氮数据的异常分数；根据所述异常分数，确定每个土壤全氮数据为合理和异常的检测结果。
8.根据本发明提供的一种测土配方施肥土壤全氮异常值检测方法，所述根据所述土壤全氮数据集中随机采样的每个子集，构造iforest检测模型的每棵itree，包括：根据所述土壤全氮数据集随机采样子集，根据子集随机选取数据作为分裂值；对于子集剩下的数据进行随机选取，若选取的数据小于分裂值，则将数据放在左子树，反之放在右子树，重复递归地构造左子树和右子树，直至满足子集中只剩下一条数据或多条相同的数据或者树达到最大高度。
9.根据本发明提供的一种测土配方施肥土壤全氮异常值检测方法，所述根据路径长度计算每个全氮数据的异常分数，包括，根据如下公式计算全氮数据的异常分数；其中，为路径长度；为数据d在多棵itree的路径长度的平均值；n表示单颗itree的样本数；为用n条数据构建的二叉树的平均路径长度。
10.根据本发明提供的一种测土配方施肥土壤全氮异常值检测方法，所述根据所述土壤全氮数据集，基于gis空间统计分析的异常检测方法，确定每个土壤全氮数据为合理和异常的检测结果，包括：采用皮尔森相关性算法分析多个辅助指标与土壤全氮的相关关系，选择具有强相关性的辅助指标进行异常判别；所述辅助指标包括土壤有效磷、有机质、速效钾和ph；对于全氮数据集和辅助指标数据集，计算k邻域的局部莫兰指数，得到每个数据点的相关性数值；若全氮数据的异常值检测结果与辅助指标数据的异常值检测结果的相关性数值高低或底高变化情况相同，则全氮数据点为合理值；若全氮数据的异常值检测结果与辅助指标数据的异常值检测结果的相关性数值高低或底高变化情况不同，则全氮数据点为异常；若全氮数据和辅助指标数据的相关性数值都存在异常但是异常点位或类型不一致，则全氮数据点为异常。
11.根据本发明提供的一种测土配方施肥土壤全氮异常值检测方法，所述计算k邻域的局部莫兰指数之前，还包括：对于每个全氮数据点周围邻近点数量，根据k值从小到大生成不同大小的邻域值；对每个邻域进行全氮数据探测，过程中根据局部莫兰指数产生异常值，确定异常值数量变化稳定的空间邻域，作为所述k邻域。
12.本发明还提供一种测土配方施肥土壤全氮异常值检测装置，包括：数据采集模块，用于获取待检测土壤全氮数据，所述待检测土壤全氮数据中包括不同时期的土壤全氮数据，根据所述待检测土壤全氮数据确定土壤全氮数据集；第一检测模块，用于根据所述土壤全氮数据集，基于iforest检测模型，得到每个土壤全氮数据为合理和异常的检测结果，作
为第一全氮数据集；第二检测模块，用于根据所述土壤全氮数据集，基于gis空间统计分析的异常检测方法，确定每个土壤全氮数据为合理和异常的检测结果，作为第二全氮数据集；综合处理模块，用于根据所述第一全氮数据集和所述第二全氮数据集中的合理和异常结果，确定土壤全氮数据集中所有数据的合理或异常检测结果。
13.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述测土配方施肥土壤全氮异常值检测方法。
14.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述测土配方施肥土壤全氮异常值检测方法。
15.本发明提供的测土配方施肥土壤全氮异常值检测方法及装置，通过基于机器学习的iforest检测模型与gis空间统计分析相融合的模式，能够充分地挖掘数据在不同维度、不同层次上的异常性，有效地避免单一方法下所造成的漏判、误判问题，极大地提升测土配方施肥土壤全氮数据的异常值检测准确度。
附图说明
16.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1是本发明提供的测土配方施肥土壤全氮异常值检测方法的流程示意图；图2是本发明提供的测土配方施肥土壤全氮异常值检测装置的结构示意图；图3是本发明提供的电子设备的结构示意图。
具体实施方式
18.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
19.目前针对专有场景的异常值检测是数据挖掘领域的研究热点，根据霍金斯对离群值（hawkins-outlier）的定义，离群值是一种与其他观测值相差甚远的观测值，以至于引起人们怀疑它是由另一种机制产生的。因此，我们可以提出定义“异常”的两个假设：1）异常数据跟样本中大多数的数据不太一样；2）异常数据在整体数据样本中占比较小。此外，地理学第一定律证明：任何事物都是与其他事物相关的，越相近的事物关联越紧密。几乎所有空间数据都具有空间依赖性或空间自相关特征，空间单元与邻近单元之间针对同一属性值存在潜在的相互依赖的特性。基于以上假设，针对测土配方土壤全氮大数据的群体和空间特点，可以从以下三个方面深入挖掘：1）通过扩展数据集的体量，使得全局异常值更加“孤立”，更易于被算法识别；2）结合高效的机器学习检测算法，挖掘测土配方全氮数据特征，快速识别全局异常值；3）利用空间异常值识别方法，挖掘空间层面的突出异常，识别空间局部异常值。因此，通过数据体量扩容、数据群体全局识别、空间局部检测多种方法项组合，能够提升
测土配方土壤全氮数据异常值识别能力。
20.本发明以测土配方施肥土壤全氮数据异常值精准检测为目标，探索结合农学机理模型、机器学习异常检测算法与gis空间数据挖掘分析算法，形成全局与局部特征相结合的异常值检测新方法。提出一种基于模型扩展的土壤全氮异常值机器学习检测方法，识别具有统计显著性的全局、局部异常值，针对数据特征，提出异常值综合判定与效果验证方法，实现测土配方施肥土壤全氮数据的高效异常值识别检测。
21.下面结合图1-图3描述本发明的测土配方施肥土壤全氮异常值检测方法及装置。图1是本发明提供的测土配方施肥土壤全氮异常值检测方法的流程示意图，如图1所示，本发明提供测土配方施肥土壤全氮异常值检测方法，包括：101、获取待检测土壤全氮数据，根据所述待检测土壤全氮数据确定土壤全氮数据集；所述数据集中包括不同时期的土壤全氮数据。
22.根据待检测土壤全氮数据，构建待检测土壤全氮数据集中进行检测，土壤全氮数据集为不同时期的土壤全氮数据序列，从中需确定异常的全氮数据。
23.102、根据所述土壤全氮数据集，基于iforest检测模型，得到每个土壤全氮数据为合理和异常的检测结果，作为第一全氮数据集。
24.本发明采用无监督机器学习方法筛选测土配方施肥土壤全氮全局异常数据。以步骤101获取的数据集为基础，通过带入机器学习异常检测算法，判别异常值。
25.本发明提出基于无监督机器学习异常值检测方法采用iforest算法设计，该方法利用异常值数据的两个特征：1）异常数据占数据集总体规模的比重较小；2）异常数据相比正常数据的属性值存在明显的差异。
26.本发明所提出的基于无监督学习的测土配方全氮全局数据异常值检测方法在于，在仅包含数值类型的训练集中，对数据进行递归的划分，直至隔离树itree将每个数据与其他数据区别开来。全局异常值对隔离具有较强的敏感性，因此异常数据更接近于树的根节点，而正常数据离根节点较远，通过这种思路实现全局异常值监测。
27.103、根据所述土壤全氮数据集，基于gis空间统计分析的异常检测方法，确定每个土壤全氮数据为合理和异常的检测结果，作为第二全氮数据集。
28.另一方面，本发明还采用基于gis的空间统计分析异常识别方法，其思路在于：通过利用gis技术中的局部莫兰指数（）统计量方法，识别出区域内具有统计显著性的热点、冷点，进而判定出局部空间异常值。可选地，可结合如测土配方基础五项中的另外四项指标作为辅助指标，开展土壤全氮数据局部时空自相关分析。
29.104、根据所述第一全氮数据集和所述第二全氮数据集中的合理和异常结果，确定土壤全氮数据集中所有数据的合理或异常检测结果。
30.本发明通过基于机器学习的无监督数据全局异常检测和基于gis空间分析的局部异常值检测相结合的方法，分别挖掘大数据下的内部特征实现准确异常值判定。
31.进一步，整合机器学习和空间分析所得出的异常值判定结果，筛选所有数据中标签为
“”
的数据，结合机器学习异常识别方法所得出的结果/（合理/异常）与空间分析得出的结果/（合理/异常）。判定规则把包括：若结果组合为 ，则数据
判定为正常值；若结果组合为 ，则判定数据为异常值；若结果组合为 或 ，则判定数据为疑似异常值。其中，正常值表示具有较准确性高置信度的数据，被认为是准确可靠的数据；异常值表示明确具有异常特征的数据，被认为是需要被剔除和修正的数据；疑似异常值数据表示在某个层面出现了异常特征，但又符合某种现实逻辑，根据实际数据应用场景及数据准确性要求程度进行判别归类。
32.针对本发明所提出的测土配方土壤全氮数据异常值检测方法的效果识别，提出“盲样法”进行验证，即在数据集中手动添加n个异常值（），进而根据识别结果验证效果。正确率（accuracy）的计算方法可以表达为：式中，tp表示被准确识别出的盲样异常值个数；tn表示未被识别出的盲样异常值个数。正确率越高，异常值检测方法效果越好。
33.本发明提供的测土配方施肥土壤全氮异常值检测方法，通过基于机器学习的iforest检测模型与gis空间统计分析相融合的模式，能够充分地挖掘数据在不同维度、不同层次上的异常性，有效地避免单一方法下所造成的漏判、误判问题，极大地提升测土配方施肥土壤全氮数据的异常值检测准确度。
34.在一个实施例中，所述根据所述待检测土壤全氮数据，确定土壤全氮数据集，包括：将历史气象数据、环境数据、作物特征数据、管理特征数据的时序数据，输入apsim模型，得到与所述时序数据步长对应的不同时期的辅助土壤全氮数据，根据所述辅助土壤全氮数据和所述待检测土壤全氮数据，构建所述土壤全氮数据集。
35.本发明提出采用农学机理模型构建扩展数据集为后续智能模型训练提供充足“素材”的思路，采用apsim模型作为底层核心农学机理模型基础，其中，气候数据是apsim模型的基础驱动要素，模型在逐日气象要素的驱动下，对作物生理生态、土壤剖面水肥动态和土壤侵蚀量等过程进行数值模拟，实现土壤氮素演化变化模拟。
36.本发明采用的农学机理模型apsim所需的气象驱动要素包括：逐日太阳辐射量（mj/m2）、逐日最高气温（℃）、逐日最低气温（℃）、逐日降水量（mm）、纬度（十进制度）、月平均气温（℃）和月均温变化（℃）等参数项。此外，需要初始化种植环境信息，包含初始土壤氮含量、初始土壤磷含量、初始土壤含水量、初始土壤ph等，为了进一步精准模拟土壤氮素的演变，需要记录种植管理过程信息包括：施肥情况、灌溉情况等。
37.针对土壤全氮的演化模拟，apsim模型中氮在作物中的吸收规律取决于土壤的供氮能力、作物需氮量和作物的实际含氮量的变化。其中，针对土壤全氮的组分，土壤供氮的变化是模拟无机氮通过质流和扩散被作物吸收的总和，吸收氮素的公式表达为：变化是模拟无机氮通过质流和扩散被作物吸收的总和，吸收氮素的公式表达为：式中，和分别是通过质流和扩散途径被作物吸收的硝氮量；代表土壤溶液中硝氮的浓度；作物从该土层的吸水量。是土壤有效水占土壤总含
水量的比例；是该土层中的硝态氮含量。
38.其中，作物需氮模拟作物吸收氮素与氮素迁移规律的过程表现，其模拟过程机理是作物生长发育的任何一天作物的需氮量是当日作需氮量与前日作物需氮亏缺量的加和，而作物当日需氮量由当日作物潜在生物量的增量与作物各部分器官的含氮百分数决定，潜在生物量的增量由作物的光合作物固定的有机物来决定。因此，作物需氮亏缺量是作物含氮量与含氮临界值之间的差，该过程可以表达为：氮量与含氮临界值之间的差，该过程可以表达为：式中，是当日的作物需氮量，是生物量，是当日生物量的增量，是每日潜在的干物质积累量，和是作物实际的含氮量和作物含氮量的临界值。是作物光能利用率，是作物冠层截获的光能。
39.本发明所提出的数据集构建方法在于，通过所收集的长时序逐日历史气象、环境、作物、管理数据，带入apsim模型进行模拟，记录逐日的土壤氮素变化结果。其中，初始指标通过随机选择方式选取，土壤全氮选取范围为[0.3g/kg, 6g/kg]，有效磷选取范围为[3mg/kg, 100mg/kg]，有机质选取范围为[3g/kg, 45g/kg]，速效钾选取范围为[30mg/kg, 300mg/kg]，ph选取范围为[4, 9]，土壤含水量选取范围为[40%, 80%]。根据本发明所提出的基于模型的扩展方法，将模型计算所生成的逐日土壤全氮值进行记录。原始数据标记数据类型为“ori”，所有模型生成的扩展数据标记类型为“gen”。
[0040]
最终，将基于apsim模型的土壤全氮数据作为辅助，和待检测的土壤全氮数据一起构建为土壤全氮数据集。其中的历史气象数据、环境数据、作物特征数据、管理特征数据的时序数据，可以为待检测土壤全氮数据相同情况下的历史气象数据、环境数据、作物特征数据、管理特征数据的时序数据。同时，辅助土壤全氮数据量大于待检测土壤全氮数据，如大于可以为两倍以上，或者十倍百倍。
[0041]
本发明实施例的测土配方施肥土壤全氮异常值检测方法，通过对待检测土壤全氮数据进行大量扩充，可以避免仅依据少量待检测土壤全氮数据进行检测时准确度不高的问题，同时通过apsim模型生成海量的可靠全氮数据，对待检测土壤全氮数据进行海里数据扩充，进一步提高检测精度。
[0042]
在一个实施例中，所述根据所述土壤全氮数据集，基于iforest检测模型，得到每个土壤全氮数据为合理和异常的检测结果，包括：根据所述土壤全氮数据集中随机采样的每个子集，构造iforest检测模型的每棵itree；遍历iforest中的每棵itree，计算每个全氮数据在每棵树中的路径长度，根据路径长度计算每个全氮数据的异常分数；根据所述异常分数，确定每个土壤全氮数据为合理和异常的检测结果。
[0043]
本发明所采用的方法通过构造一定数目的itree来组成iforest。随机采样提取土壤全氮数据集的子集来构造每棵itree，以保证itree的多样性。通过遍历iforest中的每棵itree，计算土壤全氮数据集中数据d在每棵树中的路径长度，然后根据其路径长度计算d的异常分数，从而判断d是否异常。
[0044]
在一个实施例中，所述根据所述土壤全氮数据集中随机采样的每个子集，构造
iforest检测模型的每棵itree，包括：根据所述土壤全氮数据集随机采样子集，根据子集随机选取数据作为分裂值；对于子集剩下的数据进行随机选取，若选取的数据小于分裂值，则将数据放在左子树，反之放在右子树，重复递归地构造左子树和右子树，直至满足子集中只剩下一条数据或多条相同的数据或者树达到最大高度。
[0045]
iforest算法的核心在于构建由itree组成的森林（iforest）。其中，itree定义为令t是一棵二叉树，n是t的节点，若n是叶子节点，则称其为外部节点，若n是一个具有两个子节点，则称其为内部节点。itree从数据集中随机地选择属性a和分裂值p，然后按照a的值（记为）对每个数据进行划分。如果，则将数据放在左子树，反之放在右子树。以此递归地构造左子树和右子树，直至满足下列条件之一：1）d中只剩下一条数据或多条相同的数据；2）树达到最大高度。此外，路径长度定义为在一棵itree中，从根节点到外部节点所经历边的数目称为路径长度，记为。由于itree与二叉查找树的结构等价，因此包含d的叶子节点的路径长度等于二叉查找树中失败查询的路径长度。给定数据集d，二叉查找树中失败查询的路径长度：其中，，为欧拉常数；为叶子节点数；为给定时的平均值，用以标准化。
[0046]
本发明所采用的方法通过构造一定数目的itree来组成iforest。随机采样提取的子集来构造每棵itree，以保证的多样性。通过遍历iforest中的每棵itree，计算数据在每棵树中的路径长度，然后根据其路径长度计算的异常分数，从而判断是否异常。
[0047]
在一个实施例中，所述根据路径长度计算每个全氮数据的异常分数，包括，根据如下公式计算全氮数据的异常分数；其中，为路径长度；为数据d在多棵 itree 的路径长度的平均值；n表示单颗 itree的样本数；为用n条数据构建的二叉树的平均路径长度。
[0048]
当时，s=0.5，即当所有数据均返回的s≈0.5时，全部样本中没有明显的异常值；当时，s=1，即当数据返回的s非常接近于1时，它们是异常值；当时，s=0，即当数据返回的s远小于0.5时，它们有很大的可能为正常值。
[0049]
本步骤所提出的基于无监督学习的机器学习全局异常值检测方法，通过上述步骤完成对测土配方土壤全氮扩展数据集的异常值筛选，将每条数据分类为“合理”和“异常”两类，筛选结果被记录入数据库，用于后续步骤的综合判别，其中，基于无监督机器学习异常值检测判定为合理的点标记为，判定为异常的点标记为。
[0050]
本发明的测土配方施肥土壤全氮异常值检测方法，通过采用高性能的无监督学习算法的异常值检测方法，实现面向大体量数据的全局异常值识别，立足大数据环境，进一步改进算法提升异常值识别效率，结合随机投影策略加速运行框架改进iforest算法，有效提升大体量、具体化场景下全局异常值检测的性能。
[0051]
在一个实施例中，所述根据所述土壤全氮数据集，基于gis空间统计分析的异常检测方法，确定每个土壤全氮数据为合理和异常的检测结果，包括：采用皮尔森相关性算法分析多个辅助指标与土壤全氮的相关关系，选择具有强相关性的辅助指标进行异常判别；所述辅助指标包括土壤有效磷、有机质、速效钾和ph；对于全氮数据集和辅助指标数据集，计算k邻域的局部莫兰指数，得到每个数据点的相关性数值；若全氮数据的异常值检测结果与辅助指标数据的异常值检测结果的相关性数值高低或底高变化情况相同，则全氮数据点为合理值；若全氮数据的异常值检测结果与辅助指标数据的异常值检测结果的相关性数值高低或底高变化情况不同，则全氮数据点为异常；若全氮数据和辅助指标数据的相关性数值都存在异常但是异常点位或类型不一致，则全氮数据点为异常。
[0052]
本发明以空间自相关理论中的局部莫兰指数方法进行异常值判定，分析观测值的高值或低值聚集、高低或低高异常值分布。最终，基于相关性分析和辅助指标识别测土配方施肥土壤全氮数据异常点。
[0053]
为提高莫兰指数判断异常数据后，检测数据异常或正常的准确度。本发明选择测土配方土壤有效磷、有机质、速效钾和ph作为土壤全氮指标的辅助指标，采用皮尔森相关性算法分析多个辅助指标与土壤全氮的相关关系，选择具有强相关性的辅助指标进行异常判别：如果检测指标数据的异常值检测结果与辅助指标数据的异常值检测结果相同，即莫兰指数计算得到的相关性数值均表现为高低“h-l”型或者低高“l-h”型，则认为该点属于合理范畴非异常值；如果检测指标数据的异常值检测结果与辅助指标数据的异常值检测结果不同，即检测指标存在异常而辅助指标不存在异常，或者两者都存在异常但是异常点位或类型不一致，则认为该点明确存在异常。其中，基于gis空间统计分析异常识别判定为合理的点标记为，判定为异常的点标记为。
[0054]
在一个实施例中，所述计算k邻域的局部莫兰指数之前，还包括：对于每个全氮数据点周围邻近点数量，根据k值从小到大生成不同大小的邻域值；对每个邻域进行全氮数据探测，过程中根据局部莫兰指数产生异常值，确定异常值数量变化稳定的空间邻域，作为所述k邻域。
[0055]
首先要设定每个点周围制定的合理的k个临近点，该参数为后续计算莫兰指数的关键参数，过大和过小都会导致无法准确计算异常数据。考虑到本发明涉及的空间异常值分析面向的海量数据且分布区域广，作为可选实施例，设定k的取值范围为[10，m/5]的整数，m为全氮数据集的样本总数。
[0056]
为了得到合适的k邻域，进一步提高莫兰指数查找异常数据的准确度。本发明实施例通过迭代方法寻找准确的k值。
[0057]
k值由小到大逐一迭代，每次迭代分布带入局部莫兰指数对全部数据运算产生异常值结果，通过持续迭代，能够产生连续、稳定数量的异常值判断结果的k值。最终，在生成的空间权重矩阵中，临近的个点在矩阵中的结果为。局部莫兰指数依次利用各个
值生成的权重矩阵对空间点分布重新定义，生成不同权重矩阵对应下的异常值分布情况。其中，局部莫兰指数计算表达式如下：其中，局部莫兰指数计算表达式如下：其中，局部莫兰指数计算表达式如下：式中：为局部空间自相关指数值；是某一变量在空间单位上的实测值；是变量的均值；为空间单元属性观测值的标准化值；是变量观测值总数，单位为个；是空间单元与之间的空间权重。
[0058]
本发明所提出的方法立足大数据多维度数据挖掘分析，其本质决定了数据体量巨大、运算量庞大，为了提升针对测土配方土壤全氮异常值检测的效率，本发明能够有效提升模型识别的鲁棒性，避免过模型拟合所导致的误分类，配合iforest等基于树的模型所天然具备的并行计算能力，极大地提升土壤全氮的异常值识别效率。
[0059]
下面对本发明提供的测土配方施肥土壤全氮异常值检测装置进行描述，下文描述的测土配方施肥土壤全氮异常值检测装置与上文描述的测土配方施肥土壤全氮异常值检测方法可相互对应参照。
[0060]
图2是本发明提供的测土配方施肥土壤全氮异常值检测装置的结构示意图，如图2所示，该测土配方施肥土壤全氮异常值检测装置包括：数据采集模块201、第一检测模块202、第二检测模块203和综合处理模块204。其中，数据采集模块201用于获取待检测土壤全氮数据，所述待检测土壤全氮数据中包括不同时期的土壤全氮数据，根据所述待检测土壤全氮数据确定土壤全氮数据集；第一检测模块202用于根据所述土壤全氮数据集，基于iforest检测模型，得到每个土壤全氮数据为合理和异常的检测结果，作为第一全氮数据集；第二检测模块203用于根据所述土壤全氮数据集，基于gis空间统计分析的异常检测方法，确定每个土壤全氮数据为合理和异常的检测结果，作为第二全氮数据集；综合处理模块204用于根据所述第一全氮数据集和所述第二全氮数据集中的合理和异常结果，确定土壤全氮数据集中所有数据的合理或异常检测结果。
[0061]
本发明实施例提供的装置实施例是为了实现上述各方法实施例的，具体流程和详细内容请参照上述方法实施例，此处不再赘述。
[0062]
本发明实施例所提供的测土配方施肥土壤全氮异常值检测装置，其实现原理及产生的技术效果和前述测土配方施肥土壤全氮异常值检测方法实施例相同，为简要描述，测土配方施肥土壤全氮异常值检测装置实施例部分未提及之处，可参考前述测土配方施肥土壤全氮异常值检测方法实施例中相应内容。
[0063]
图3是本发明提供的电子设备的结构示意图，如图3所示，该电子设备可以包括：处理器(processor)301、通信接口(communications interface)302、存储器(memory)303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信。处理器301可以调用存储器303中的逻辑指令，以执行测土配方施肥土壤全氮异常值检测方法，该方法包括：获取待检测土壤全氮数据，所述待检测土壤全氮数据中包括不同时期的土壤全氮数据，根据所述待检测土壤全氮数据确定土壤全氮数据集；根据所述土壤全氮数据集，基于iforest检测模型，得到每个土壤全氮数据为合理和异常的检测结果，作为第一全氮数据集；根据所述土壤全氮数据集，基于gis空间统计分析的异常检测方法，确定每个土壤全氮数据为合理和异常的检测结果，作为第二全氮数据集；根据所述第一全氮数据集和所述第二全氮数据集中的合理和异常结果，确定土壤全氮数据集中所有数据的合理或异常检测结果。
[0064]
此外，上述的存储器303中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
[0065]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的测土配方施肥土壤全氮异常值检测方法，该方法包括：获取待检测土壤全氮数据，所述待检测土壤全氮数据中包括不同时期的土壤全氮数据，根据所述待检测土壤全氮数据确定土壤全氮数据集；根据所述土壤全氮数据集，基于iforest检测模型，得到每个土壤全氮数据为合理和异常的检测结果，作为第一全氮数据集；根据所述土壤全氮数据集，基于gis空间统计分析的异常检测方法，确定每个土壤全氮数据为合理和异常的检测结果，作为第二全氮数据集；根据所述第一全氮数据集和所述第二全氮数据集中的合理和异常结果，确定土壤全氮数据集中所有数据的合理或异常检测结果。
[0066]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0067]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
[0068]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。