一种基于CW攻击对智能单交叉口的对抗扰动生成方法与流程

一种基于cw攻击对智能单交叉口的对抗扰动生成方法
技术领域
1.本发明属于智能交通的强化学习算法与模型的安全研究领域，具体涉及一种基于cw攻击对智能单交叉口的对抗扰动生成方法。


背景技术：

2.随着人工智能技术的飞速发展，ai技术被应用到越来越多的方面。深度强化学习作为人工智能方面的一个新兴技术，由于其巨大的潜力，开始受到了学者和技术人员们越来越多的关注。强化学习在机器学习，智能交通，知识感知等方面都取得了一系列的成果。
3.在智能交通领域，因为近些年来我国的机动车保有量不断上升，导致车辆拥堵问题成为交通管理面临的巨大挑战，而现有的基础道路设施由于经济、环境等原因而难以全面的改造，所以将深度强化学习技术应用于交通灯的优化控制成为解决交通拥堵问题的一条有效途径，通过交通灯的自适应控制，可以优化区域网络的交通，减少拥堵。
4.尽管深度强化学习算法在很多任务中表现出了出色的性能，但它们和神经网络一样极易受到对抗性攻击，例如：引诱攻击、策略定时攻击、嗅探攻击、基于值函数的对抗攻击、木马攻击等。但是，针对使用深度强化学习优化的交通灯的对抗攻击，目前仍是一个开放的问题，尚未得到充分的探讨和研究。


技术实现要素：

5.为了克服已有技术的不足，本发明提出一种基于cw攻击对智能单交叉口的对抗扰动生成方法，可以对智能交通灯进行定向的攻击。
6.本发明解决其技术问题所采用的技术方案是：
7.一种基于cw攻击对智能单交叉口的对抗扰动生成方法，包括以下步骤：
8.步骤1：使用开源交通仿真软件sumo建立一个单交叉口网络，将sumo建立的单交叉口结合强化学习中的dqn算法建模为单智能体交通灯模型，对模型进行训练，当智能交通灯模型最后的总回报相对稳定时，保存模型参数，模型训练完成；
9.步骤2：采集单交叉口中相应路段车辆的空间分布输入状态，将当前时刻状态输入到智能交通灯模型中，生成对应动作的q值，根据动作偏好函数衡量当前状态下策略对动作的偏好程度，偏好程度高即攻击该时刻成功后会在更大程度上扰乱交通，当偏好程度超过设定的阈值，则使用cw攻击算法对输入状态进行攻击，生成对抗扰动，将对抗扰动与原始状态相结合生成中间状态；智能交通灯模型根据中间状态选取动作，若所选动作与原始状态的q值向量中最小项对应的动作相同，则中间状态即为对抗状态，否则使用cw攻击算法对中间状态进行攻击再次生产对抗扰动，直到产生对抗状态；
10.步骤3：为了对扰动的大小进行限制，需要对攻击成功后产生的对抗状态进行判定，若添加的扰动超过阈值则舍弃对抗状态，将原始状态输入智能交通灯模型；
11.步骤4：将状态输入智能交通灯模型，智能交通灯根据当前状态选取动作，即交通灯的相位，在sumo中对交通流量进行控制。
12.进一步，所述步骤1的过程如下：
13.1.1：在单交叉口上使用强化学习算法训练智能交通灯模型，强化学习算法包含三个最基本的要素：环境状态、智能体动作、环境奖励，对t时刻单交叉口的车辆分布进行离散化编码，将单交叉口中i路段入口处至停车线处按等距离划分k份；
14.根据i＝(1,2
……
p))，得到i路段的位置矩阵将此路口路段s
i
(t)(i＝1,2
……
p)的位置矩阵按照s
t
＝[s1(t),s2(t),
……
s
p
(t)]结合得到这个单交叉口所有车辆的位置矩阵，即t时刻的环境状态s
t
；
[0015]
十字交叉路口中，定义一组交通灯的相位作为动作空间a＝{a1,a2,a3,a4}，其中：a1为东西方向绿灯，a2为东西方向左转绿灯，a3为南北方向绿灯，a4为南北方向左转绿灯，在运行时设a
i
的相位的初始时长为m，黄灯相位时长为n，在t时刻将当前状态s
t
输入到智能交通灯模型中，智能交通灯选择相位a
i
，当a
i
相位执行完毕后，智能交通灯从环境中采集t 1时刻的状态s
t 1
，然后选择相位a
j
，若a
i
≠a
j
则a
i
相位执行时间不再延长，即a
i
相位结束，在a
i
相位结束后智能交通灯执行黄灯相位，在黄灯相位结束后，执行a
j
相位；若a
i
＝a
j
，则a
i
相位执行时间延长m；将奖励设置为两个连续动作的车辆总累积延迟之差，如公式(1)所示：
[0016]
r
t
＝d
t
‑
d
t 1
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0017]
其中d
t
和d
t 1
分别为当前时刻和前一时刻的车辆总累积延迟，若r
t
为正奖励表示智能交通灯采取的相位减少了总累积延迟，负奖励则表示增加了延迟；
[0018]
所使用的模型为：dqn，神经网络的组成为：第一层为卷积层，卷积层的数学表达式为：
[0019][0020]
其中c
out
为经过卷积层产生的矩阵，s
t
为被卷积的状态输入矩阵，h为卷积核，s
t
(m,n)为输入矩阵中被卷积的点，w(m,n)为卷积核中各个点的权值，b(m,n)为卷积核中各个点的偏置；
[0021]
第二层为最大池化层，最大池化层的数学表达式为：
[0022]
p
out
＝max
p*p
(c
out
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0023]
其中p
out
为经过最大池化的输出，max
p*p
表示使用大小为p*p的池化核对c
out
进行最大池化；
[0024]
第三层至第六层为全连接层，全连接层的数学表达式为：
[0025]
z
outi
＝w
t
p
out
b
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0026]
其中z
outi
为第i层全连接层的输出，w
t
为神经元权重矩阵，b为神经元偏置，其中第一层至第五层使用整流非线性函数relu作为激活函数，第六层即输出层使用线性激活函数；
[0027]
第六层全连接层为最终输出层输出z
out6
即一个q值向量，每个向量项对应于状态s
t
下动作a∈a的q值q(s
t
,a；θ)，其中θ为模型参数；
[0028]
对智能交通灯模型进行训练，使用损失函数：
[0029][0030]
其中γ为代表奖励的折扣因子，r
t
为t时刻的奖励，s
t
和s
t 1
分别为t时刻和t 1时刻的状态，θ
′
代表目标网络的参数，θ代表估计网络的参数，在不同的交通流量下进行训练，训练完成后获得总回报若智能体于环境的交互至t时刻终止，其中r
j
为训练过程中获得的所有奖励r
t
(t＝1,2
……
t)中为负值的部分，总回报r的绝对值越小，即智能交通灯在这一轮中对交通流进行自适应调控所产生的延迟最小，当总回报r相对稳定时，认为训练完成。
[0031]
再进一步，所述步骤2的过程如下：
[0032]
2.1：在t时刻从sumo中得到原始状态s
t
；
[0033]
2.2：将原始状态输入模型中输出所有动作的q值函数，称为最优动作，即在t时刻交通灯执行最优动作所表示的相位可以在最大程度上减少拥堵情况的发生；为最差动作，即在t时刻交通灯执行最差动作所表示的相位会在最大程度上导致拥堵情况的发生；
[0034]
2.3：对q值进行归一化处理，计算公式为：
[0035][0036]
其中q(st,a
i
)为在状态s
t
是选择动作a
i
的q值，π(s
t
,a
i
)为q(s
t
,a
i
)归一化的值；
[0037]
根据动作偏好函数：
[0038][0039]
其中π(s
t
,a
max
)为最优动作的q值q(s
t
,a
max
)归一化的值，π(s
t
,a
i
)为最差动作的q值q(s
t
,a
min
)归一化的值，计算当前状态下策略对最优动作的偏好程度c(s
t
)，c(s
t
)越高则认为t时刻攻击成功后，所产生的攻击效果越好，则设常数β(0＜β＜1)为阈值，若c(s
t
)＞β，则认为当前状态有攻击价值，进行攻击；若c(s
t
)≤β，则不进行攻击；
[0040]
2.4：使用cw攻击算法计算扰动，计算公式为:
[0041][0042][0043]
其中s
t
为t时刻状态，对状态s
t
添加扰动之后的中间状态，为中间状态对于动作对于动作为对抗扰动，通过调整κ控制发生误分类的置信度，公式(8)的前半部分优化使扰动更小，后半部分优化使攻击向指定的状态改变，两个部分不可以同时实现的，所以使用c作为超参数，用来权衡式子中前后两部分的关系，使用二分法进行确定；
[0044]
根据扰动的绝对值大小对扰动进行排序，设扰动在矩阵|
w
t
|中索引为h
tj
，扰动的绝对值越大，则h
tj
在t时刻的排序矩阵h
t
中的索引越小，由此得到排序矩阵h
t
＝[h
t1
,h
t1
......h
t1
]；
[0045]
2.5：顺序读取排序矩阵h
t
，根据排序矩阵中h
ti
读取扰动w
t
中因为状态s
t
为车辆的在相应路段的空间分布，具有离散性，需要对进行离散化处理其中ε＝0.5，sign表示取的符号，将与原始状态s
t
的第h
ti
位进行比较，若且扰动的索引h
ti
未被记录则认为扰动是有效的，将有效扰动的索引记录在索引矩阵k
t
中，索引矩阵k
t
的作用是记录有效的扰动，防止攻击陷入震荡；然后将的值赋给原始状态s
t
的第hi位得到中间状态若或扰动的索引h
ti
已经被记录索引矩阵kt中，则认为此时的扰动是无效的，则重复执行步骤2.5，直至扰动有效；
[0046]
2.6：将中间状态输入模型中，模型输出的最优动作若其中为状态输入模型中对应的q值输出，a
min
为原始状态的最差动作，即中间状态的最优动作与原始状态的最差动作为同一动作，则认为攻击成功，此时中间状态即为对抗状态s
t
'；
[0047]
2.7：若a'
max
≠a
min
，则将中间状态作为新的状态输入模型，直至找到对抗状态，重复执行步骤2.2
‑
步骤2.6，遍历排序矩阵h后仍然未达到目标，则认为攻击失败；
[0048]
2.8：若攻击成功记录对抗状态，以及根据原始状态及对抗状态计算扰动ρ：然后根据二分法对步骤2.4中的c值进行更改；
[0049]
2.9：重复执行步骤2.2
‑
步骤2.8设定次数，获取在不同c值下的对抗状态，目的是找出最合适的c值，使得在扰动最小的情况下，攻击成功，在所有攻击成功的对抗状态中选择改变量最小的对抗状态。
[0050]
所述步骤3的过程如下：
[0051]
得到对抗状态及其扰动ρ，设扰动的阈值为α，若ρ＜α，则认为扰动在限制范围之内，将对抗状态输入模型中，否则认为扰动过大，将原始状态输入到模型中。
[0052]
更进一步，所述步骤4的过程如下：
[0053]
4.1：将t时刻的状态输入到模型中模型会选择最优的交通灯相位控制路口车流量，并计算t时刻单交叉口的排队长度l
t
以及等待时间w
t
，l
t
和w
t
越小代表单交叉口越流畅模型性能越好；
[0054]
4.2：在sumo运行结束后得到攻击后的回报攻击后总回报与无攻击的正常回报对比发现：|r'|>|r|，若智能体于环境的交互至t'时刻终止,其中r
j
'为有攻击的情况下获得的所有奖励r
t
'(t＝1,2
……
t')中为负值的部分，r'为攻击之后的总回报，r为正常情况下的总回报。
[0055]
本发明的技术构思为：根据现有的深度强化学习中的dqn算法训练控制单交叉口的自适应的智能交通灯模型，根据智能交通灯模型对当前相位的偏好程度判断当前状态是否具有攻击价值，利用基于cw攻击结合优化梯度排序以及输入状态(即车辆在相应路段的空间分布)的离散性生成对抗样本，最后通过在sumo中交通流的流畅程度，车辆队列长度以及总体等待时间的变化检验攻击效果。
[0056]
本发明的有益效果主要体现在：利用策略定时攻击根距当前状态生成对抗状态，可以实现对交通灯的定向攻击，与一般的攻击相比，攻击次数少，减少了攻击被发现的概率，且攻击效果好，此外结合输入状态(即车辆在相应路段的空间分布)的离散性对策略定时攻击进行改进，可以在攻击具有实际物理意义且较小扰动下攻击成功。
附图说明
[0057]
图1是标准单交叉口示意图。
[0058]
图2是路段的空间离散化示意图。
[0059]
图3是强化学习示意图。
[0060]
图4是cw攻击生成对抗扰动总体流程图。
[0061]
图5是车辆等待队列长度对比图。
[0062]
图6是交车辆等待时间对比图。
具体实施方式
[0063]
下面结合附图对本发明作进一步描述。
[0064]
参照图1～图6，一种基于cw攻击对智能单交叉口的对抗扰动生成方法，包括以下步骤：
[0065]
步骤1：在单交叉口上使用强化学习算法训练智能交通灯模型，标准单交叉口如图1所示，强化学习是一种和环境进行交互进而互相影响的算法，如图3所示，综合而言强化学习算法包含三个最基本的要素：环境状态、智能体动作、环境奖励，对t时刻单交叉口的车辆分布进行离散化编码，将单交叉口中i路段入口处至停车线处按等距离划分k份，如图2所示；
[0066]
根据i＝(1,2
……
p))，得到i路段的位置矩阵将此路口路段s
i
(t)的位置矩阵按照s
t
＝[s1(t),s2(t),
……
s
p
(t)]结合得到这个单交叉口所有车辆的位置矩阵，即t时刻的环境状态s
t
；
[0067]
以典型十字交叉路口为例进行说明，定义一组交通灯的相位作为动作空间a＝{a1,a2,a3,a4}，其中：a1为东西方向绿灯，a2为东西方向左转绿灯，a3为南北方向绿灯，a4为南北方向左转绿灯，在运行时设a
i
的相位的初始时长为m，黄灯相位时长为n。在t时刻将当前状态s
t
输入到智能交通灯模型中，智能交通灯选择相位a
i
，当a
i
相位执行完毕后，智能交通灯从环境中采集t 1时刻的状态s
t 1
，然后选择相位a
j
。若a
i
≠a
j
则a
i
相位执行时间不再延长，即a
i
相位结束，在a
i
相位结束后智能交通灯执行黄灯相位，在黄灯相位结束后，执行a
j
相
位；若a
i
＝a
j
，则a
i
相位执行时间延长m；将奖励设置为两个连续动作的车辆总累积延迟之差，如公式(1)所示：
[0068]
r
t
＝d
t
‑
d
t 1
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0069]
其中d
t
和d
t 1
分别为当前时刻和前一时刻的车辆总累积延迟，若r
t
为正奖励表示智能交通灯采取的相位减少了总累积延迟，负奖励则表示增加了延迟；
[0070]
所使用的模型为：deep q network(dqn)，神经网络的组成为：第一层为卷积层，卷积层的数学表达式为：
[0071][0072]
其中c
out
为经过卷积层产生的矩阵，s
t
为被卷积的状态输入矩阵，h为卷积核，s
t
(m,n)为输入矩阵中被卷积的点，w(m,n)为卷积核中各个点的权值，b(m,n)为卷积核中各个点的偏置；
[0073]
第二层为最大池化层，最大池化层的数学表达式为：
[0074]
p
out
＝max
p*p
(c
out
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0075]
其中p
out
为经过最大池化的输出，max
p*p
表示使用大小为p*p的池化核对c
out
进行最大池化；
[0076]
第三层至第六层为全连接层，全连接层的数学表达式为：
[0077]
z
outi
＝w
t
p
out
b
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0078]
其中z
outi
为第i层全连接层的输出，w
t
为神经元权重矩阵，b为神经元偏置，其中第一层至第五层使用整流非线性函数(relu)作为激活函数，第六层即输出层使用线性激活函数；
[0079]
第六层全连接层为最终输出层输出z
out6
即一个q值向量，每个向量项对应于状态s
t
下动作a∈a的q值q(s
t
,a；θ)，其中θ为模型参数；
[0080]
对智能交通灯模型进行训练，使用损失函数：
[0081][0082]
其中γ为代表奖励的折扣因子，r
t
为t时刻的奖励，s
t
和s
t 1
分别为t时刻和t 1时刻的状态，θ
′
代表目标网络的参数，θ代表估计网络的参数，在不同的交通流量下进行训练，训练完成后获得总回报若智能体于环境的交互至t时刻终止，其中r
j
为训练过程中获得的所有奖励r
t
(t＝1,2
……
t)中为负值的部分，总回报r的绝对值越小，即智能交通灯在这一轮中对交通流进行自适应调控所产生的延迟最小，当总回报r相对稳定时，认为训练完成；
[0083]
步骤2从sumo中获取t时刻位于相应路段(车辆进入路口的道路)的所有车辆的空间分布，通过网格化道路将车辆的空间分布离散化为模型的输入状态s
t
，如图4所示，将输入状态输入到智能交通灯模型中生成对应的输出动作a
i
即交通灯相位，利用cw攻击算法，得到对抗状态，过程如下：
[0084]
2.1：在t时刻从sumo中得到原始状态s
t
；
[0085]
2.2：将原始状态输入模型中输出所有动作的q值函数，称为最
优动作，即在t时刻交通灯执行最优动作所表示的相位可以在最大程度上减少拥堵情况的发生；为最差动作，即在t时刻交通灯执行最差动作所表示的相位会在最大程度上导致拥堵情况的发生；
[0086]
2.3：对q值进行归一化处理，计算公式为：
[0087][0088]
其中q(s
t
,a
i
)为在状态s
t
是选择动作a
i
的q值，π(s
t
,a
i
)为q(s
t
,a
i
)归一化的值；
[0089]
根据动作偏好函数：
[0090][0091]
其中π(s
t
,a
max
)为最优动作的q值q(s
t
,a
max
)归一化的值，π(s
t
,a
i
)为最差动作的q值q(s
t
,a
min
)归一化的值，计算当前状态下策略对最优动作的偏好程度c(s
t
)，c(s
t
)越高则认为t时刻攻击成功后，所产生的攻击效果越好，则设常数β(0＜β＜1)为阈值，若c(s
t
)＞β，则认为当前状态有攻击价值，进行攻击；若c(s
t
)≤β，则不进行攻击；
[0092]
2.4：使用cw攻击算法计算扰动，计算公式为:
[0093][0094][0095]
其中s
t
为t时刻状态，对状态s
t
添加扰动之后的中间状态，为中间状态对于动作的q值，为对抗扰动，通过调整κ控制发生误分类的置信度。公式(8)的前半部分优化使扰动更小，后半部分优化使攻击向我们指定的状态改变，两个部分不可以同时实现的，所以使用c作为超参数，用来权衡式子中前后两部分的关系，在实验中使用二分法进行确定；
[0096]
根据扰动的绝对值大小对扰动进行排序，设扰动在矩阵|w
t
|中索引为h
tj
，扰动的绝对值越大，则h
tj
在t时刻的排序矩阵h
t
中的索引越小。由此得到排序矩阵h
t
＝[h
t1
,h
t1
......h
t1
]；
[0097]
2.5：顺序读取排序矩阵h
t
，根据排序矩阵中h
ti
读取扰动w
t
中因为状态s
t
为车辆的在相应路段的空间分布，具有离散性，需要对进行离散化处理其中ε＝0.5，sign表示提取取的符号。将与原始状态s
t
的第h
ti
位进行比较，若且扰动的索引h
ti
未被记录则认为扰动是有效的，将有效扰动的索引记录在索引矩阵k
t
中，索引矩阵k
t
的作用是记录有效的扰动，防止攻击陷入震荡。然后将的值赋给原始状态s
t
的第hi位得到中间状态若或扰动的索引h
ti
已经被记录索引矩阵kt中，则认为此时的扰动是无效的，则重复执行步骤2.5，直至扰动有效；
[0098]
2.6：将中间状态输入模型中，模型输出的最优动作若其中为状态输入模型中对应的q值输出，a
min
为原始状态的最差动作，即中间状态的最优动作与原始状态的最差动作为同一动作，则认为攻击成功，此时中间状态即为对抗状态s
t
'；
[0099]
2.7：若a'
max
≠a
min
，则将中间状态作为新的状态输入模型，直至找到对抗状态，重复执行步骤2.2
‑
步骤2.6，遍历排序矩阵h后仍然未达到目标，则认为攻击失败；
[0100]
2.8：若攻击成功记录对抗状态，以及根据原始状态及对抗状态计算扰动ρ：然后根据二分法对步骤2.4中的c值进行更改；
[0101]
2.9：重复执行步骤2.2
‑
步骤2.8设定次数，获取在不同c值下的对抗状态，目的是找出最合适的c值，使得在扰动最小的情况下，攻击成功，在所有攻击成功的对抗状态中选择改变量最小的对抗状态；
[0102]
步骤3：为了对扰动的大小进行限制，需要对攻击成功后产生的对抗状态进行判定，若添加的扰动超过阈值则舍弃对抗状态，将原始状态输入智能交通灯模型，过程如下：得到对抗状态及其扰动ρ，设扰动的阈值为α，若ρ＜α，则认为扰动在限制范围之内，将对抗状态输入模型中，否则认为扰动过大，将原始状态输入到模型中；
[0103]
步骤4：将对抗状态即输入模型中，智能交通灯模型根据当前状态选取动作即交通灯相位，在sumo中对交通流进行控制，过程如下：
[0104]
4.1：将t时刻的状态输入到模型中模型会选择最优的交通灯相位控制路口车流量，并计算t时刻单交叉口的排队长度l
t
以及等待时间w
t
，l
t
和w
t
越小代表单交叉口越流畅模型性能越好；
[0105]
4.2：在sumo运行结束后得到攻击后的回报攻击后总回报与无攻击的正常回报对比发现：|r'|>|r|，若智能体于环境的交互至t'时刻终止,其中r
j
'为有攻击的情况下获得的所有奖励r
t
'(t＝1,2
……
t')中为负值的部分，r'为攻击之后的总回报，r为正常情况下的总回报。
[0106]
实例：实际实验中的数据，过程如下：
[0107]
(1)选取实验数据
[0108]
实验中使用的神经网络结构包括:1个卷积层，1个池化层，4个全连接层。
[0109]
其中卷积层的输入为100*8，卷积核大小为3*3，卷积核数目为16，池化层使用最大池化，池化核大小为2*2，全连接层的大小分别为：1000、400、400、4。
[0110]
实验数据是由sumo上的单交叉口随机生成的100辆汽车，按照韦伯分布确定出发进入路口的时间，各辆汽车大小、生成位置距离单交叉口的距离和汽车从生成到通过路口的速度都是相同的。单交叉口交通灯相位的初始时长为绿灯10秒，黄灯4秒，当单交叉口有一个行驶方向为绿灯或黄灯时，其他方向为红灯禁止通行。从停车线开始长度700的道路i
(i＝1，2，3，4)按照每隔l米划分一个离散单元，共划分为k个的离散单元，在当车辆头部位于某个离散单元时，则车辆位置矩阵对应位置为0.5，否则为
‑
0.5，其中l的取值要适中，l值过大则不能完全表述车辆的空间分布，l值过小会导致车辆状态多次检测造成计算量增大。在本次实验中考虑到车辆长度以及车辆在行驶时的跟车距离，选择将长度为700道路i按照l＝10等距离划分，划分的离散单元数量k＝100，最终得到状态s
t
为100*8的二维矩阵，记录车辆在相应路段的空间分布。在本次实验中取α＝0.2，即扰动的大小ρ＜20％时，认为扰动是可以接受的。
[0111]
(2)实验结果
[0112]
在实验的结果分析中，我们的实验场景设置为为规则的单交叉口，使用强化学习中的dqn算法训练智能交通灯模型，采用cw攻击算法结合智能交通灯模型输入状态的离散性，生成对抗状态，对单交叉口交通灯采集的车辆的空间分布进行改变，导致智能交通灯错误调节相位，使得单交叉口拥堵。在实验中我们采取了有攻击和无攻击情况下的对比结果，实验结果如图5，图6所示。
[0113]
本说明书的实施例所述的内容仅仅是对发明构思的实现形式的列举，仅作说明用途。本发明的保护范围不应当被视为仅限于本实施例所陈述的具体形式，本发明的保护范围也及于本领域的普通技术人员根据本发明构思所能想到的等同技术手段。