一种基于密度距离综合决策的电力调度监控数据异常检测方法与流程

技术特征：
1.一种基于密度距离综合决策的电力调度监控数据异常检测方法，其特征在于，包括如下步骤：(1)计算数据样本的局部可达核密度，具体为：将电力调度监控系统采集到的与电力调度系统业务相关的进程实时资源占用数据作为电力调度监控历史数据集输入，记为x＝{x1,x2,x3,...,x
n
}，其中x
n
∈r
u
，r代表实数集，u＝6代表数据的维度，具体包括进程cpu占用率、内存占用率、磁盘io、网络io、线程个数、网络连接数；输入数据集x的总样本数目为n；计算第i个样本x
i
到x中所有样本的欧式距离d(x
i
,x
j
)，x
j
∈x，并取距离x
i
最近的k个样本，记为knn(x
i
)；计算x
i
到knn(x
i
)中的所有样本的局部可达距离：d
k
‑
reach
(x
i
,x
j
)＝max{d
k
‑
dis
(x
j
),d(x
i
,x
j
)},x
j
∈knn(x
i
)其中，j＝1,2,...k；d
k
‑
dis
(x
j
)为x
j
到其第k个最近邻的欧式距离；使用高斯核函数与局部可达距离对x
i
进行核密度估计：其中，h(x
j
)为高斯核函数在x
j
处的带宽，取值为d
k
‑
dis
(x
j
)；i＝1,2,...n,n表示输入数据集x的总样本数目；(2)计算样本的局部密度比，具体为：基于步骤(1)中计算的局部可达核密度ρ(x
i
)，使用自然对数函数ln(x 1)作为缩放函数，计算输入样本集x中每个样本x
i
的局部密度比：其中，j＝1,2,...k；|knn(x
i
)|代表x
i
的k最近邻数量；(3)计算样本的密度提升距离，具体为：对于样本x
i
，基于步骤(1)中计算的局部可达核密度ρ(x
i
)，寻找核密度比x
i
大的样本并计算它们到x
i
的欧式距离，找到其中距离x
i
最近的k
d
个样本，将它们到x
i
的距离记为δd
m
(x
i
)，m＝1,2,...k
d
；计算其中每个样本的权重ω
m
：根据δd
m
(x
i
)与权重ω
m
，计算输入样本集x中每个样本x
i
的密度提升距离δd(x
i
)：(4)根据步骤(2)计算的输入样本集x中每个样本的局部密度比与步骤(3)计算的对应的密度提升距离，计算最终异常分数并检测异常，具体为：通过norm()标准化函数对输入样本集x中每个样本x
i
的δρ(x
i
)与δd(x
i
)进行最大最小标准化后，计算x
i
的最终异常分数：dgof(x
i
)＝norm(δρ(x
i
))
·
norm(δd(x
i
))
其中标准化函数norm()的定义如下：根据计算的异常分数dgof(x
i
)对数据样本进行排序，分数最高的前t％样本将被判定为异常，实现电力调度监控数据异常检测。2.根据权利要求1所述的一种基于密度距离综合决策的电力调度监控数据异常检测方法，其特征在于，所述步骤(1)中，k的取值为6log(n)，其中n为输入数据集x的总样本数目。3.根据权利要求1所述的一种基于密度距离综合决策的电力调度监控数据异常检测方法，其特征在于，所述步骤(3)中，k
d
的取值为3log(n)，其中n为输入数据集x的总样本数目。4.根据权利要求1所述的一种基于密度距离综合决策的电力调度监控数据异常检测方法，其特征在于，所述步骤(4)中，将排序后分数最高的前t％个样本判定为异常，取5≤t≤20。

技术总结
本发明实施例提出了一种基于密度距离综合决策的电力调度监控数据异常检测方法，包括：将电力调度监控历史数据作为输入数据集，通过局部可达距离与核密度估计来计算样本的局部密度；使用自然对数函数作为缩放函数，计算每个样本与其近邻的密度比；通过欧式距离找到每个样本密度比自身大的近邻，计算密度提升距离；将局部密度比与密度提升距离标准化后计算乘积，得到最终的异常分数，并判定数据中的异常样本。本发明实施例提供的技术方案，能够提升电力调度监控数据异常检测的准确率。提升电力调度监控数据异常检测的准确率。提升电力调度监控数据异常检测的准确率。


技术研发人员：高欣 李康生 刘治宇 贾欣 薛冰 傅世元 黄旭 黄子健
受保护的技术使用者：北京邮电大学
技术研发日：2021.08.23
技术公布日：2021/11/5