一种边缘计算架构物联网入侵检测方法和系统与流程

1.本发明属于物联网技术领域，更具体地，涉及一种边缘计算架构物联网入侵检测方法和系统。


背景技术：

2.随着近几年物联网应用技术的更新发展，如今的各个行业领域如民生、工商以及军事等受到物联网技术的影响日益增大，因此其安全性问题愈发得到重视。在面对隐私暴露、身份冒充以及恶意程序等恶意网络攻击行为时，迫切需要建立安全的物联网安全防护体系。物联网入侵检测系统作为一种主动防御的技术，能在恶意程序入侵物联网时发出警告并采取合适的入侵防御动作，以此来保证物联网系统的安全性、私密性和完整性。然而，入侵检测系统通常需要消耗大量的计算资源，这给物联网入侵检测系统部署入侵检测代理带来了问题。
3.边缘计算作为一种新的计算模型，向下接受物联网设备的接入，向上和云端对接，通过提供具备较强网络、计算、存储、应用等能力的边缘服务器，能提供智能感知、安全隐私保护、数据分析、智能计算、过程优化和实时控制等时间敏感服务。边缘计算模式的出现，为物联网应用提供了更多优势，比如减小物联网应用程序中的延迟问题，提高物联网网络性能，降低物联网营运成本，保证物联网资源的合理使用等。对原来很难在物联网设备上部署物联网入侵检测代理的问题，可将这些入侵检测代理部署到边缘计算服务器中，从而解决入侵检测系统需要消耗大量计算资源的问题，因此，边缘计算为物联网入侵检测系统的应用带来了新思路。


技术实现要素：

4.针对现有技术的以上缺陷或改进需求，本发明提供了一种边缘计算架构物联网入侵检测方法和系统，其目的在于通过布设在边缘计算节点上的基于增强学习的物联网检测方法及系统，针对当前环境，基于此环境建立一个马尔可夫决策过程，通过增强学习的学习者与环境交互学习，得到最优动作策略，可调用云服务器进行环境检测，在边缘计算节点上完成动作决策，可显著的缩短物联网入侵检测的时间，并且随着不断的使用过程，决策能力提高而不会额外增加决策时间，由此解决现有的入侵检测系统需要消耗大量计算资源、决策时间长的技术问题。
5.为实现上述目的，按照本发明的一个方面，提供了1.一种边缘计算架构物联网入侵检测方法，其特征在于，在当前动作周期t的检测时刻t，进行以下步骤：
6.s1、对于待检测的物联网节点，进行漏洞扫描获得物联网节点所包含的漏洞集合，根据漏洞评分系统获得漏洞集合中每一漏洞i的访问向量α
i
、访问复杂度β
i
、以及授权值γ
i
，i＝1，2，...，k，其中k为扫描到的漏洞数量，即漏洞集合的大小
7.s2、根据步骤s1的漏洞扫描结果、历史记录的物联网节点状态s
t
、边缘计算设备采取动作n
t
、物联网系统统计的成本收益矩阵、以及当前检测时刻t物联网节点的状态s
t
，计算
当前时刻对物联网节点采取行动n
t
的系统收益v(t)；其中t＝1，2，...；
8.s3、根据步骤s2的计算结果，获取使得系统收益v(t)最大的边缘计算设备的动作n
t
，当t时刻与t
‑
1时刻的系统收益差异小于预设阈值ω，则接受该结果，将动作n
t
作为边缘计算设备对待检测物联网节点的动作否则，进入下一检测时刻t 1，重复步骤s1至s3。
9.优选地，所述边缘计算架构物联网入侵检测方法，其步骤s1边缘计算设备调用云计算设备的安全扫描系统对待检测物联网节点进行漏洞扫描。
10.优选地，所述边缘计算架构物联网入侵检测方法，其物联网节点状态s
t
、当前检测时刻t物联网节点的状态s
t
∈s，s表示物联网节点的状态空间，s＝{s1，s2}，其中，s1表示正常状态，s2表示异常状态，并且正常和异常状态只和当前环境有关，与之前的环境无关。
11.优选地，所述边缘计算架构物联网入侵检测方法，其边缘计算设备采取动作n
t
、当前时刻对物联网节点采取行动n
t
∈n，n表示动作空间，边缘计算设备通过选择动作n∈n处理来源于物联网节点的入侵信息。
12.优选地，所述边缘计算架构物联网入侵检测方法，其所述系统收益v(t)按照如下方法计算：
[0013][0014]
其中y(s
t
，n
t
)为当前检测时刻t物联网节点处于状态s
t
且边缘计算设备采取动作n
t
的奖励，ζ为折扣系数，为互联网节点状态转换的概率，为物联网节点处于状态且边缘计算设备采取动作n
t
的系统收益。
[0015]
优选地，所述边缘计算架构物联网入侵检测方法，其所述系统收益v(t)按照如下方法计算：
[0016][0017]
其中，v(t
‑
1)为检测时刻t
‑
1计算的系统收益，优选按照如下方法迭代计算：
[0018][0019]
优选地，所述边缘计算架构物联网入侵检测方法，其当前检测时刻t物联网节点处于状态s
t
且边缘计算设备采取动作n
t
的奖励y(s
t
，n
t
)，按照如下方法计算：
[0020][0021]
其中，k(s1|s2)为从异常状态s2转移到正常状态s1的概率函数，k(s1|s2)∈k，k(s2|s1)为从正常状态s1转移到异常状态s2的概率函数，k(s2|s1)∈k，l
attack
表示恶意程序成功攻击物联网节点给边缘计算架构物联网造成的损失，c
detect
表示边缘计算设备检测恶意程序的成本，b
detect
表示边缘计算设备成功检测恶意程序的收益，以上数据读取自成本收益矩阵。
[0022]
优选地，所述边缘计算架构物联网入侵检测方法，其从异常状态s2转移到正常状
态s1的概率函数k(s1|s2)为边缘计算设备的入侵检测系统的检出率δ，即：
[0023]
k(s1|s2)＝δ
[0024]
从正常状态s1转移到异常状态s2的概率函数k(s2|s1)，根据为物联网节点漏洞被攻击导致物联网节点处于异常状态的概率：
[0025][0026]
其中k(s2|s1)i表示漏洞i被攻击导致物联网节点处于异常状态的概率，按照如下经验公式估算：
[0027]
k(s2|s1)
i
＝2
×
α
i
×
β
i
×
γ
i
[0028]
其中，α
i
表示边缘计算架构物联网漏洞i的访问向量，β
i
表示边缘计算架构物联网漏洞i的访问复杂度，γ
i
表示边缘计算架构物联网漏洞i的授权值，α
i
、β
i
、γ
i
的值根据行业公开的通用漏洞评分系统cvss中给出的漏洞可利用性指标来确定。
[0029]
为互联网节点状态转换的概率，即k(s2|s1)、k(s1|s2)。
[0030]
优选地，所述边缘计算架构物联网入侵检测方法，其物联网节点处于状态s且边缘计算架构物联网入侵检测系统采取动作n的系统收益函数v(s，n)，定义如下：
[0031][0032]
其中，e(
·
)表示期望值；ζ表示折扣系数，意味着未来的奖励相对于当前奖励的重要程度；t为检测时刻。
[0033]
按照本发明的另一个方面，提供了一种边缘计算架构物联网入侵检测系统，其包括云服务器、以及边缘计算节点；其中：
[0034]
所述云服务器，具有高性能计算能力，用于被边缘计算节点调用运行安全扫描系统，对待检测物联网节点进行漏洞扫描；
[0035]
所述边缘计算设备，用于执行本发明提供的边缘计算架构物联网入侵检测方法，对待检测的物联网节点进行检测并采取相应动作。
[0036]
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
[0037]
本发明提出了一种基于增强学习的边缘计算架构物联网入侵检测方法和系统。首先基于增强学习原理，建立边缘计算架构物联网入侵检测系统的马尔科夫决策过程，使用迭代算法得到最优动作策略。通过这种方法优化边缘计算架构物联网入侵检测策略，提高入侵检测准确率并减少误报率。同时，因为使用边缘计算设备实现入侵检测的核心工作任务，有效降低了系统时延，提高了整个边缘计算架构物联网入侵检测系统的效率，使得系统耗能减少，速度变快。
具体实施方式
[0038]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明
进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0039]
增强学习技术是一种基于奖励的学习，依赖于与环境的交互作用。其中，学习者根据来自环境的反馈来学习其行为，并尝试改进自身行为。增强学习最重要的一点是从基础开始寻找一种从状态映射到行动的策略，并不断地累积从而达到最大化的输出映射奖励。目前，物联网入侵检测系统的发展更多侧重于追求主动防御技术，结合边缘计算和增强学习技术，可以为物联网入侵检测系统提供更高效和精准的检测技术。
[0040]
本文给出一种基于增强学习的边缘计算架构物联网入侵检测方法。首先对边缘计算架构物联网入侵检测环境建模，并基于此环境建立一个马尔可夫决策过程。通过增强学习的学习者与环境交互学习，得到最优动作策略。具体实施时，采用基于折扣的累积奖励策略，通过迭代算法来获得边缘计算架构物联网入侵检测系统最优动作解。
[0041]
本发明提供的边缘计算架构物联网入侵检测方法，在当前动作周期t的检测时刻t，进行以下步骤：
[0042]
s1、对于待检测的物联网节点，进行漏洞扫描获得物联网节点所包含的漏洞集合，根据漏洞评分系统获得漏洞集合中每一漏洞i的访问向量α
i
、访问复杂度β
i
、以及授权值γ
i
，i＝1，2，...，k，其中k为扫描到的漏洞数量，即漏洞集合的大小。
[0043]
优选，边缘计算设备调用云计算设备的安全扫描系统对待检测物联网节点进行漏洞扫描。
[0044]
s2、根据步骤s1的漏洞扫描结果、历史记录的物联网节点状态s
t
、边缘计算设备采取动作n
t
、物联网系统统计的成本收益矩阵、以及当前检测时刻t物联网节点的状态s
t
，计算当前时刻对物联网节点采取行动n
t
的系统收益v(t)；其中t＝1，2，...；物联网节点状态s
t
、当前检测时刻t物联网节点的状态s
t
∈s，s表示物联网节点的状态空间，s＝{s1，s2}，其中，s1表示正常状态，s2表示异常状态，并且正常和异常状态只和当前环境有关，与之前的环境无关；边缘计算设备采取动作n
t
、当前时刻对物联网节点采取行动n
t
∈n，n表示动作空间，边缘计算设备通过选择动作n∈n处理来源于物联网节点的入侵信息。
[0045]
所述系统收益v(t)按照如下方法计算：
[0046][0047]
其中y(s
t
，n
t
)为当前检测时刻t物联网节点处于状态s
t
且边缘计算设备采取动作n
t
的奖励，ζ为折扣系数，为互联网节点状态转换的概率，为物联网节点处于状态且边缘计算设备采取动作n
t
的系统收益。具体而言：
[0048]
当前检测时刻t物联网节点处于状态s
t
且边缘计算设备采取动作n
t
的奖励y(s
t
，n
t
)，按照如下方法计算：
[0049][0050]
其中，k(s1|s2)为从异常状态s2转移到正常状态s1的概率函数，k(s1|s2)∈k，k(s2|
s1)为从正常状态s1转移到异常状态s2的概率函数，k(s2|s1)∈k，l
attack
表示恶意程序成功攻击物联网节点给边缘计算架构物联网造成的损失，c
detect
表示边缘计算设备检测恶意程序的成本，b
detect
表示边缘计算设备成功检测恶意程序的收益，以上数据读取自成本收益矩阵。
[0051]
从异常状态s2转移到正常状态s1的概率函数k(s1|s2)为边缘计算设备的入侵检测系统的检出率δ，即：
[0052]
k(s1|s2)＝δ
[0053]
从正常状态s1转移到异常状态s2的概率函数k(s2|s1)，根据为物联网节点漏洞被攻击导致物联网节点处于异常状态的概率：
[0054][0055]
其中k(s2|s1)
i
表示漏洞i被攻击导致物联网节点处于异常状态的概率，按照如下经验公式估算：
[0056]
k(s2|s1)
i
＝2
×
α
i
×
β
i
×
γ
i
[0057]
其中，α
i
表示边缘计算架构物联网漏洞i的访问向量，β
i
表示边缘计算架构物联网漏洞i的访问复杂度，γ
i
表示边缘计算架构物联网漏洞i的授权值，α
i
、β
i
、γ
i
的值根据行业公开的通用漏洞评分系统cvss中给出的漏洞可利用性指标来确定。
[0058]
为互联网节点状态转换的概率，即k(s2|s1)、k(s1|s2)。
[0059]
物联网节点处于状态s且边缘计算架构物联网入侵检测系统采取动作n的系统收益函数v(s，n)，定义如下：
[0060][0061]
其中，e(
·
)表示期望值；ζ表示折扣系数，意味着未来的奖励相对于当前奖励的重要程度；t检测时刻；v(t
‑
1)为检测时刻t
‑
1计算的系统收益，优选按照如下方法迭代计算：
[0062][0063]
s3、根据步骤s2的计算结果，获取使得系统收益v(t)最大的边缘计算设备的动作n
t
，当t时刻与t
‑
1时刻的系统收益差异小于预设阈值ω，则接受该结果，将动作n
t
作为边缘计算设备对待检测物联网节点的动作记作：
[0064][0065]
否则，进入下一检测时刻t 1，重复步骤s1至s3。
[0066]
本发明提供的边缘计算架构物联网入侵检测系统，包括云服务器、以及边缘计算节点；其中：
[0067]
所述云服务器，具有高性能计算能力，用于被边缘计算节点调用运行安全扫描系统，对待检测物联网节点进行漏洞扫描；
[0068]
所述边缘计算设备，用于执行本发明提供的边缘计算架构物联网入侵检测方法，对待检测的物联网节点进行检测并采取相应动作。
[0069]
以下为实施例：
[0070]
在目前的入侵检测方法中，行为正常与否的阈值相对难以确定。同时也存在着误报、漏报率过高和建模时间较长等问题。基于此，本发明提供的边缘计算架构物联网入侵检测方法，基于增强学习和马尔可夫决策过程并使用边缘设备执行该物联网入侵检测方法，从而在较短的时间内，进行无模型判断，并随着使用时间的推移，提高检测精度。
[0071]
具体思想如下：将增强学习引入边缘计算架构物联网入侵检测系统中，在入侵检测中设置增强学习中的四要素：学习者、奖励函数、环境和策略。通过建立边缘计算架构物联网入侵检测系统的马尔可夫决策过程，最终得到边缘计算架构物联网入侵检测系统价值函数的最优动作解。
[0072]
定义边缘计算架构物联网入侵检测系统的马尔可夫决策过程：
[0073]
(1)边缘计算架构物联网入侵检测系统中的边缘计算设备为学习者。
[0074]
(2)s表示物联网节点的状态空间，s＝{s1，s2}，其中，s1表示正常状态，s2表示异常状态，并且正常和异常状态只和当前环境有关，与之前的环境无关。
[0075]
(3)n表示动作空间，学习者通过选择动作n∈n用于分析来源于物联网节点的入侵信息，动作例如放行、隔离、修复等等。
[0076]
(4)表示物联网节点状态转移概率，对从正常状态s1转移到异常状态s2的概率函数k(s2|s1)∈k，以及从异常状态s2转移到正常状态s1的概率函数k(s1|s2)∈k，定义为：
[0077]
k(s2|s1)
i
＝2
×
α
i
×
β
i
×
γ
i
[0078]
k(s2|s1)＝1
‑
π(1
‑
k(s2|s1)
i
)
[0079]
k(s1|s2)＝δ
[0080]
其中，α
i
表示边缘计算架构物联网漏洞i的访问向量，β
i
表示边缘计算架构物联网漏洞i的访问复杂度，γ
i
表示边缘计算架构物联网漏洞i的授权值，α
i
、β
i
、γ
i
的值根据行业公开的通用漏洞评分系统cvss中给出的漏洞可利用性指标来确定；δ表示边缘计算架构物联网入侵检测系统的检测率。
[0081]
(5)表示奖励，在时间t物联网节点处于状态s
t
且边缘计算架构物联网入侵检测系统采取动作n
t
的奖励函数y
t
(s
t
，n
t
)∈y定义为
[0082][0083]
其中，l
attack
表示恶意程序成功攻击物联网节点给边缘计算架构物联网造成的损失，c
detect
表示边缘计算架构物联网检测恶意程序的成本，b
detect
表示边缘计算架构物联网成功检测恶意程序的收益。
[0084]
求解边缘计算架构物联网入侵检测系统的马尔可夫决策过程：
[0085]
(1)定义价值函数v(s
t
，n
t
)
[0086]
物联网节点处于状态s且边缘计算架构物联网入侵检测系统采取动作n的价值函数v(s
t
，n
t
)定义为
[0087][0088]
其中，e(
·
)表示期望值；ζ表示折扣系数，意味着未来的奖励相对于当前奖励的重要程度。
[0089]
(2)计算边缘计算架构物联网入侵检测系统在时间t采取的最优动作
[0090][0091]
基于以上分析，本实施例提供的边缘计算架构物联网入侵检测方法，采用迭代算法获取当前检测时刻t时刻的边缘计算设备对待检测设备的最优动作，在当前动作周期t的检测时刻t进行以下步骤：
[0092]
s1、边缘计算设备调用云计算设备的安全扫描系统对待检测物联网节点进行漏洞扫描，根据漏洞评分系统获得漏洞集合中每一漏洞i的访问向量α
i
、访问复杂度β
i
、以及授权值γ
i
，i＝1，2，...，k，其中k为扫描到的漏洞数量，即漏洞集合的大小。
[0093]
s2、根据步骤s1的漏洞扫描结果、上一检测时刻系统收益v(t
‑
1)，物联网系统统计的成本收益矩阵、以及当前检测时刻t物联网节点的状态s
t
，计算当前时刻对物联网节点采取行动n
t
的系统收益v(t)；
[0094]
所述系统收益v(t)按照如下方法计算：
[0095][0096]
其中y(s
t
，n
t
)为t时刻物联网节点处于状态s
t
且边缘计算设备采取动作n
t
的奖励，ζ为折扣系数，为互联网节点状态转换的概率。
[0097]
当前检测时刻t物联网节点处于状态s
t
且边缘计算设备采取动作n
t
的奖励y(s
t
，n
t
)，按照如下方法计算：
[0098][0099]
其中，k(s1|s2)为从异常状态s2转移到正常状态s1的概率函数，k(s1|s2)∈k，k(s2|s1)为从正常状态s1转移到异常状态s2的概率函数，k(s2|s1)∈k，l
attack
表示恶意程序成功攻击物联网节点给边缘计算架构物联网造成的损失，c
detect
表示边缘计算设备检测恶意程序的成本，b
detect
表示边缘计算设备成功检测恶意程序的收益，以上数据读取自成本收益矩阵。
[0100]
从异常状态s2转移到正常状态s1的概率函数k(s1|s2)为边缘计算设备的入侵检测系统的检出率δ，即：
[0101]
k(s1|s2)＝δ
[0102]
从正常状态s1转移到异常状态s2的概率函数k(s2|s1)，根据为物联网节点漏洞被攻击导致物联网节点处于异常状态的概率：
[0103][0104]
其中k(s2|s1)
i
表示漏洞i被攻击导致物联网节点处于异常状态的概率，按照如下经验公式估算：
[0105]
k(s2|s1)
i
＝2
×
α
i
×
β
i
×
γ
i
[0106]
其中，α
i
表示边缘计算架构物联网漏洞i的访问向量，β
i
表示边缘计算架构物联网漏洞i的访问复杂度，γ
i
表示边缘计算架构物联网漏洞i的授权值，α
i
、β
i
、γ
i
的值根据行业公开的通用漏洞评分系统cvss中给出的漏洞可利用性指标来确定。
[0107]
为互联网节点状态转换的概率，即k(s2|s1)、k(s1|s2)。
[0108]
s3、根据步骤s2的计算结果，获取使得系统收益v(t)最大的边缘计算设备的动作n
t
，当t时刻与t
‑
1时刻的系统收益差异小于预设阈值ω，则接受该结果，将动作n
t
作为边缘计算设备对待检测物联网节点的动作记作：
[0109][0110]
否则，进入下一检测时刻t 1，重复步骤s1至s3。
[0111]
以上过程可表示为以下伪代码：
[0112]
[0113][0114]
至此，得到的边缘计算架构物联网入侵检测系统动作表示边缘计算架构物联网入侵检测系统在时间t可采取的最优动作，此时边缘计算架构物联网入侵检测系统将获得最优的长期价值。
[0115]
应用本实施例提供的入侵检测方法的边缘计算架构物联网入侵检测系统，包括云服务器、以及边缘计算节点；其中：
[0116]
所述云服务器，具有高性能计算能力，用于被边缘计算节点调用运行安全扫描系统，对待检测物联网节点进行漏洞扫描；
[0117]
所述边缘计算设备，用于执行本发明提供的边缘计算架构物联网入侵检测方法，对待检测的物联网节点进行检测并采取相应动作。
[0118]
云服务器和边缘计算设备构成设备层，其中边缘计算设备的主要任务是从物联网中收集相关的信息数据(入侵样本)。入侵检测服务由多个入侵检测云服务器提供，其与物联网设备层通过边缘计算设备连接。
[0119]
边缘计算设备提供入侵检测服务层，通过入侵检测服务器构建采用边缘计算架构的学习系统，根据边缘计算架构物联网入侵检测方法学习边缘计算架构物联网入侵检测系统的最优动作。
[0120]
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。