一种区域交通信号灯协同方法、装置、设备及其介质

抑制数据计算对应的激发抑制比；
10.将所述激发抑制比与预设值进行比较处理，生成对应的评价指标；
11.根据所述评价指标，对交叉口信号灯个体的状态进行调整。
12.优选地，调用训练好的区域交通信号灯协同模型对所述交通状态进行预处理，生成对应的激发抑制比，具体为：
13.当判断所述交通状态为拥堵状态时，根据所述交通信息，计算所述激发-抑制数据的个数，其中，所述激发-抑制数据包括激发剂、内部抑制剂以及外部抑制剂；
14.根据公式计算对应激发抑制比，其中，h为激发抑制比，a
ij
为所述激发剂，j
ij
为所述外部抑制剂。
15.优选地，调用训练好的区域交通信号灯协同模型对所述交通状态进行预处理，生成对应的激发抑制比，还包括：
16.当判断所述交通状态为畅通状态时，获取该交叉口信号灯个体的绿波带群体数，并判断相邻交叉口信号灯个体是否可以加入所述绿波带群体；
17.当判断有绿波带群体可以加入时，加入所述绿波带群体；
18.当判断无绿波带群体可以加入时，发出绿波带广播，生成绿波带群体；
19.加入所述绿波带群体，生成对应激发-抑制数据，并计算所述激发-抑制数据的个数，其中，所述激发-抑制数据包括激发剂、内部抑制剂以及外部抑制剂；
20.根据公式公式计算对应激发抑制比，其中，h为激发抑制比，a
ij
为所述激发剂，j
ij
为所述外部抑制剂。
21.优选地，根据所述评价指标，对交叉口信号灯个体的状态进行调整，具体为：
22.当判断所述交通状态为拥堵状态时，根据公式对交叉口信号灯个体的绿灯时间进行调整，其中，所述t
ij
,j＝1,2,3,4为该交叉口信号灯个体的四个相位的绿灯时间，h为激发抑制比，h
high
为预设的最大激发抑制比值，h
low
为预设的最小激发抑制比值，other为其他最大激发抑制比值。
23.优选地，根据所述评价指标，对交叉口信号灯个体的状态进行调整，还包括：
24.当判断所述交通状态为畅通状态时，根据公式对交叉口信号灯个体的交通状态进行调整，其中，h为激发抑制比，h
high
为预设的最大激发抑制比值，h
low
为预设的最小激发抑制比值，other为其他最大激发抑制比值。
25.本发明还提供了一种区域交通信号灯协同装置，包括：
26.交通状态获取单元，用于获取交叉口信号灯个体当前的交通信息，根据所述交通信息判断交叉口的交通状态为拥堵状态还是畅通状态；
27.数据处理单元，用于调用训练好的区域交通信号灯协同模型对所述交通状态进行预处理，生成对应的激发抑制比，其中，当判断所述交通状态为拥堵状态时，获取该交叉口信号灯个体的激发-抑制数据，根据所述激发-抑制数据计算对应的激发抑制比，当判断所述交通状态为畅通状态时，获取该交叉口信号灯个体的绿波带群体数，进行增加处理，并根据处理得到的激发-抑制数据计算对应的激发抑制比；
28.数据比较单元，用于将所述激发抑制比与预设值进行比较处理，生成对应的评价指标；
29.调整单元，用于根据所述评价指标，对交叉口信号灯个体的状态进行调整。
30.本发明还提供了一种区域交通信号灯协同设备，包括处理器、存储器以及存储在所述存储器中且被配置由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上任意一项所述的一种区域交通信号灯协同方法。
31.本发明还提供了一种可读存储介质，存储有计算机程序，所述计算机程序能够被该存储介质所在设备的处理器执行，以实现如上任意一项所述的一种区域交通信号灯协同方法。
32.综上所述，本实施例提供的一种区域交通信号灯协同方法、装置、设备及其介质，获取当前交叉口信号灯个体的交通信息，并进行状态判断，若判断为拥堵状态时，根据获取到的激发-抑制数据计算激发抑制比，若判断为畅通状态时，根据获取到的绿波带群体数，计算激发-抑制数据得到对应激发抑制比，根据激发抑制比比较得到对应评价指标，可根据评价指标对交叉口信号灯个体的状态进行调整，从而解决现有技术中的异区域协调控制方案存在产生维数灾难，难以适应大规模的区域路网协同，以及当面对路网车流量变动较大，干线难以确定的情形时，鲜有方法考虑在计算绿波协调参数的同时对绿波带的自动组群方法进行深入研究，协调效果差的问题。
附图说明
33.图1是本发明实施例提供的区域交通信号灯协同方法的流程示意图。
34.图2是本发明实施例提供的区域交通信号灯协同方法的算法流程示意图。
35.图3是本发明实施例提供的区域交通信号灯协同方法的四相位示意图。
36.图4是本发明实施例提供的区域交通信号灯协同方法在拥堵状态下的四相位示意图。
37.图5是本发明实施例提供的区域交通信号灯协同方法在空闲状态下的四相位示意图。
38.图6是本发明实施例提供的区域交通信号灯协同装置的模块示意图。
具体实施方式
39.为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要
求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
40.以下结合附图对本发明的具体实施例做详细说明。
41.请参阅图1至图2，本发明的第一实施例提供了一种区域交通信号灯协同方法，其可由区域交通信号灯协同设备(以下简称协同设备)来执行，特别的，由协同设备内的一个或者多个处理器来执行，以实现如下步骤：
42.s101，获取交叉口信号灯个体当前的交通信息，根据所述交通信息判断交叉口的交通状态为拥堵状态还是畅通状态；
43.s102，调用训练好的区域交通信号灯协同模型对所述交通状态进行预处理，生成对应的激发抑制比，其中，当判断所述交通状态为拥堵状态时，获取该交叉口信号灯个体的激发-抑制数据，根据所述激发-抑制数据计算对应的激发抑制比，当判断所述交通状态为畅通状态时，获取该交叉口信号灯个体的绿波带群体数，进行增加处理，并根据处理得到的激发-抑制数据计算对应的激发抑制比；
44.需要说明的是，在已有的区域协调控制研究中，根据适用的交通流状态的不同可以分为：面向非饱和交通流(畅通状态)的区域协调控制，以及面向饱和交通流(拥堵状态)的区域协调控制。一般来说，绿波带控制方法比较适用于非饱和交通流下的协调控制，瓶颈区域的协调控制适用于饱和交通流下的协调，目前基于强化学习的方法优化信号灯配时在饱和交通流交通状况下也有较多新的研究进展。
45.绿波带控制方法主要由干线绿波控制扩展而来，通过优化路网中的若干条主干道上的交通信号灯配时策略，减少车辆的停行车延误及停车次数，从而提升整个路网的运行效率。绿波协调控制目的是使行驶在主干道上的车辆，可以不遇红灯或者少遇红灯而通过协调控制系统中的各交叉口；从出行者的行驶体验来看，这种控制方式可以达到“绿灯像波浪一样向前推进”的体验，故称为“绿波带”控制。关于绿波带控制方法，国内外已有广泛研究，早在1964年，由little首次提出干道双向最大绿波带宽协调控制算法，并在此基础之上开发了著名的基于带宽最大化的干道协调控制软件包maxband；基于maxband的控制逻辑，gartner等[3]针对不同路段速度条件以及带宽条件，提出了著名的输出可变带宽的干线绿波模型multiband。而现有的绿波协调控制模型普遍都是以确定的干线道路为基础进行研究，当面对路网车流量变动较大，干线难以确定的情形时，鲜有方法考虑在计算绿波协调参数的同时对绿波带的自动组群方法进行深入研究。
[0046]
针对饱和交通流状态，目前人工智能算法应用到区域交通信号灯协调已有较多的研究，闻育针对城市交通控制实时滚动优化的混合整数规划模型，将滚动优化各阶段的控制变量映射为一个层状构造图，并定义局部启发信忠和信息素更新公式，从而应用蚁群算法搜索各路口的最优信号灯相位序列。首艳芳研究了子区交叉口群智能协调控制，给出一个控制子区内多交叉口总协调率计算公式，并运用遗传模拟退火算法对协调控制参数进行优化。同时，目前基于强化学习的方法优化信号灯配时也有较多新的研究进展，戈军针对现有交通灯控制器缺乏过去经验的学习能力，导致其无法适应实际交通环境的动态变化，提出了一种基于sarsa(状态-动作-回报-状态-动作)的实时交通信号控制模型，并采用强化学习算法，得出交通控制的最优调度策略。wei提出一种基于深度q-learning的独立强化学
习方法,该方法在模型基础上设计了一种以最大压力(max-pressure)为理论基础的奖励函数，通过减小路口交通压力的方法达到了治理交通拥堵的目的，同时也实现了智能体之间的协同控制。wang提出了一种时空多智能体强化学习方法，利用长短期记忆网络来提取路口车辆的历史时序信息，并利用图神经网络在空间上实现智能体间的信息传递与融合，通过时空两个层面的建模保证了信号灯的协同控制过程。现有基于强化学习的信号灯配时方法可以划分为独立强化学习和联合强化学习，独立强化学习无法实现智能体之间的协同；而联合强化学习智能体的q值空间将随智能体数量、状态空间及动作空间的增加呈指数级增长，产生维数灾难，难以适应大规模的区域路网协同。
[0047]
请参阅图3至图5，具体地，在本实施例中，当判断所述交通状态为拥堵状态时，根据所述交通信息，计算所述激发-抑制数据的个数，其中，所述激发-抑制数据包括激发剂、内部抑制剂以及外部抑制剂；
[0048]
根据公式计算对应激发抑制比，其中，h为激发抑制比，a
ij
为所述激发剂，j
ij
为所述外部抑制剂。
[0049]
当判断所述交通状态为畅通状态时，获取该交叉口信号灯个体的绿波带群体数，并判断相邻交叉口信号灯个体是否可以加入所述绿波带群体；
[0050]
当判断有绿波带群体可以加入时，加入所述绿波带群体；
[0051]
当判断无绿波带群体可以加入时，发出绿波带广播，生成绿波带群体；
[0052]
加入所述绿波带群体，生成对应激发-抑制数据，并计算所述激发-抑制数据的个数，其中，所述激发-抑制数据包括激发剂、内部抑制剂以及外部抑制剂；
[0053]
根据公式公式计算对应激发抑制比，其中，h为激发抑制比，a
ij
为所述激发剂，j
ij
为所述外部抑制剂。
[0054]
具体地，在本实施例中，将每个交叉口的交通信号灯看做族群中的每个个体，每个个体按相位顺序进行生理发育，在每个生理年龄阶段(相位)，个体会根据目前交通的拥堵程度和所处的相位，受到相应的激发剂和抑制剂的作用，根据激发抑制比决定该相位的时间加长、缩短或维持不变，对应于个体该生理年龄阶段的延迟发育、加速发育、正常发育。c＝{c1,c2,
……
,cq}:区域交通网中的交叉口集合，对应于蜂群中的个体；ki＝{ki1,ki2,ki3,ki4}:交叉口ci的四个相位，即个体的四个生理阶段；ti＝{ti1,ti2,ti3,ti4}:交叉口ci的四个相位的绿灯时间，即个体的四个生理阶段时间。
[0055]
具体地，在本实施例中，在拥堵状态下，激发剂为该相位车道的停车数量，停车数量越大，该相位的时长应该越长，内部抑制剂为该相位结束后仍没有通过该路口相位的车辆数，该变量不会影响当前相位的时间长短，但会抑制该相位来源车道相通的若干交叉口放行过来的车辆数量。相应的某个交叉口接收到的外部抑制剂对应于相关相位的下游交叉口的拥堵情况，若下游交叉口拥堵，则减小相应相位时间以减少向其放行的车辆。
[0056]
其中，拥堵状态下基于激发—抑制模型区域信号灯协同算法的若干定义和算法描述为，aij为交叉口ci进入相位kij生理阶段时的接收到的激发剂，对应于该相位开始时停车数量；iij:为交叉口ci在相位kij生理阶段结束时该相位仍滞留的车辆数，对应于个体的
内部抑制剂，该抑制剂不会影响当前相位的时间长短，但会抑制该相位来源车道相通的若干交叉口相应相位时长，减少放行过来的车辆数量；jij＝ipm iqn:为交叉口ci在进入相位kij生理阶段时接收到的外部抑制剂，等于与该相位相连的下游交叉口产生的内部抑制剂之和，表示下游交叉口相应相位的拥堵程度。其中交叉口cp的相位kpm和交叉口cq的相位kqn是交叉口ci的相位kij相连的下游交叉口相应相位。
[0057]
具体地，在本实施例中，在畅通状态下，将每个交叉口的交通信号灯看做族群中的每个个体，每个个体按相位顺序进行生理发育，在每个生理年龄阶段(相位)，个体会根据目前交通的拥堵程度和所处的相位，受到相应的激发剂和抑制剂的作用，根据激发抑制比决定该相位的时间加长、缩短或维持不变，对应于个体该生理年龄阶段的延迟发育、加速发育、正常发育。
[0058]
其中，畅通状态基于激发—抑制模型区域信号灯协同算法的若干定义和算法描述为，aij为激发剂，相邻交叉口所属绿波带群体个体数，数量越多越能吸引个体加入形成较长绿波带；iij为内部抑制剂，与相邻绿波交叉口对应相位停车次数，该抑制剂不会影响当前相位加入绿波带的选择，但会抑制其它相位引导个体加入其它绿波带；jij:为外部抑制剂，与相邻绿波交叉口对应相位之外其它相位停车次数之和，外部抑制剂越大，说明加入绿波带影响了其它相位车流的通行，致使其它相位拥堵，进而会阻碍个体加入当前绿波带。
[0059]
s103，将所述激发抑制比与预设值进行比较处理，生成对应的评价指标；
[0060]
具体地，在本实施例中，在拥堵状态下，激发剂aij和抑制剂jij的相对水平表示为激发抑制比h，h将决定蜜蜂的行为发育是按照正常速度还是被加速、延迟或逆转，对应于相位按照正常速度转变，还是被加速或延迟。在畅通状态下，激发剂aij和抑制剂jij的相对水平表示为激发抑制比h，h将决定蜜蜂的行为发育是按照正常速度还是被加速、延迟或逆转，对应于加入该绿波带、退出该绿波带，维持现状。其中，绿波带会对多个交叉口进行同一控制，依据车流的实际情况，对各个点的信号周期、绿信比、相位差进行调节，从而完成交通信号协同控制任务。
[0061]
s104，根据所述评价指标，对交叉口信号灯个体的状态进行调整。
[0062]
具体地，在本实施例中，当判断所述交通状态为拥堵状态时，根据公式对交叉口信号灯个体的绿灯时间进行调整，其中，所述t
ij
,j＝1,2,3,4为该交叉口信号灯个体的四个相位的绿灯时间，h为激发抑制比，h
high
为预设的最大激发抑制比值，h
low
为预设的最小激发抑制比值，other为其他最大激发抑制比值。当判断所述交通状态为畅通状态时，根据公式对交叉口信号灯个体的交通状态进行调整，其中，h为激发抑制比，h
high
为预设的最大激发抑制比值，h
low
为预设的最小激发抑制比值，other为其他最大激发抑制比值。
[0063]
具体地，在本实施例中，所述区域交通信号灯协同方法将“激发—抑制”劳动分工算法应用到区域交通网信号灯协同配时上，达到群智涌现的效果。畅通状态下，将绿波带看
做群体，交叉口信号灯看做个体，个体在激发-抑制机制的作用下，动态的决定是否加入某个绿波带群体，由此实现绿波带的涌现；拥堵状态下，将每个交叉口的交通信号灯看做族群中的每个个体，每个个体按相位顺序进行生理发育，在每个生理年龄阶段(相位)，个体会根据目前交通的拥堵程度和所处的相位，受到相应的激发剂和抑制剂的作用，使其做出相应的帕累托改进，以缓解交通网的整体拥堵情况。可以让个体根据个体间的交互、个体与环境的交互，自主的调节各相位时间、各信号灯的信号周期，各智能体不需要联合决策，避免了联合强化学习方法的维数灾难，且在没有一个全局的控制中心的情况下，通过个体间交互最终表现出整体路网通畅的智能涌现效果，适用于大规模区域路网信号的协同。且在计算绿波协调参数的同时对绿波带的自动组群方法进行阐述说明，绿波带的自动组群在面对路网车流量变动较大，干线难以确定的情形有较好的效果。
[0064]
请参阅图6，本发明第二实施例提供了一种区域交通信号灯协同装置，包括：
[0065]
交通状态获取单元201，用于获取交叉口信号灯个体当前的交通信息，根据所述交通信息判断交叉口的交通状态为拥堵状态还是畅通状态；
[0066]
数据处理单元202，用于调用训练好的区域交通信号灯协同模型对所述交通状态进行预处理，生成对应的激发抑制比，其中，当判断所述交通状态为拥堵状态时，获取该交叉口信号灯个体的激发-抑制数据，根据所述激发-抑制数据计算对应的激发抑制比，当判断所述交通状态为畅通状态时，获取该交叉口信号灯个体的绿波带群体数，进行增加处理，并根据处理得到的激发-抑制数据计算对应的激发抑制比；
[0067]
数据比较单元203，用于将所述激发抑制比与预设值进行比较处理，生成对应的评价指标；
[0068]
调整单元204，用于根据所述评价指标，对交叉口信号灯个体的状态进行调整。
[0069]
本发明的第三实施例提供了一种区域交通信号灯协同设备，包括处理器、存储器以及存储在所述存储器中且被配置由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上任意一项所述的一种区域交通信号灯协同方法。
[0070]
本发明的第四实施例提供了一种可读存储介质，存储有计算机程序，所述计算机程序能够被该存储介质所在设备的处理器执行，以实现如上任意一项所述的一种区域交通信号灯协同方法。
[0071]
示例性地，本发明第三实施例和第四实施例中所述的计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述实现一种区域交通信号灯协同设备中的执行过程。例如，本发明第二实施例中所述的装置。
[0072]
所称处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述一种区域交通信号灯协同方法的控制中心，利用各种接口和线路连接整个所述实现对一种区域交通信号灯协同方法的各个部分。
[0073]
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现一种区域交通信号灯协同方法的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、文字转换功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、文字消息数据等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘、智能存储卡(smart media card,smc)、安全数字(secure digital,sd)卡、闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0074]
其中，所述实现的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一个计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
[0075]
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0076]
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。