一种路口信号控制模型的确定方法和相关装置与流程

技术特征：
1.一种路口信号控制模型的确定方法，其特征在于，所述方法包括：确定目标路网区域，所述目标路网区域包括m个路口，所述目标路网区域被配置有分别对所述目标路网区域进行交通仿真的n个仿真器，n>1，m>1；获取分别对应所述n个仿真器的信号灯控制指令集，所述信号灯控制指令集包括分别对应所述m个路口的信号灯控制指令；通过所述n个仿真器，分别根据对应的信号灯控制指令集生成对所述目标路网区域的n组仿真交通数据和n组奖励参数，所述仿真交通数据和所述奖励参数分别用于标识所对应仿真器在通过所述信号灯控制指令集的仿真控制后，所述m个路口的路口车辆状态参数和路口车辆等待参数；根据所述n组仿真交通数据和所述n组奖励参数对初始模型进行强化学习，得到用于对所述目标路网区域进行实际信号灯控制的网络模型。2.根据权利要求1所述的方法，其特征在于，所述强化学习包括多个强化学习阶段，所述方法还包括：基于所述初始模型，通过所述多个强化学习阶段的前j个强化学习阶段得到第一中间模型，并将所述第一中间模型作为指令生成模型，j≥1；针对所述交通仿真中的第k次信号灯控制指令集，所述获取分别对应所述n个仿真器的信号灯控制指令集，包括：根据所述n个仿真器第k
‑
1次生成的n组仿真交通数据，通过所述指令生成模型得到第k次信号灯控制指令集，所述第k
‑
1次生成的n组仿真交通数据用于标识所述n个仿真器在通过第k
‑
1次信号灯控制指令集的仿真控制后，所述m个路口的路口车辆状态参数。3.根据权利要求2所述的方法，其特征在于，针对所述m个路口中的第i个路口，所述根据所述n个仿真器第k
‑
1次生成的n组仿真交通数据，通过所述指令生成模型得到第k次信号灯控制指令集，包括：根据所述第i个路口在所述n个仿真器第k
‑
1次生成的n组仿真交通数据中分别标识的信号灯状态，通过所述指令生成模型得到在信号灯相位序列中的概率分布，所述信号灯相位序列包括根据所述第i个路口的路口类型确定的多个信号灯相位；根据所述概率分布，从所述多个信号灯相位中确定目标信号灯相位，并基于所述目标信号灯相位生成所述第k次信号灯控制指令集中对应所述第i个路口的信号灯控制指令。4.根据权利要求2所述的方法，其特征在于，所述方法还包括：通过第j 1个强化学习阶段，对所述第一中间模型进行参数调整得到第二中间模型；将所述第二中间模型更新为所述指令生成模型。5.根据权利要求4所述的方法，其特征在于，所述通过第j 1个强化学习阶段，对所述第一中间模型进行参数调整得到第二中间模型包括：在第j 1个强化学习阶段，根据在目标时间周期内所述n个仿真器生成的仿真交通数据和奖励参数生成经验数据包；通过所述经验数据包对所述第一中间模型进行强化学习，得到所述第二中间模型。6.根据权利要求5所述的方法，其特征在于，所述在第j 1个强化学习阶段，根据在目标时间周期内所述n个仿真器生成的仿真交通数据和奖励参数生成经验数据包，包括：在第j 1个强化学习阶段，根据在目标时间周期内所述n个仿真器生成的仿真交通数据
和奖励参数，以及所述第一中间模型生成的信号灯控制指令集生成所述经验数据包。7.根据权利要求5所述的方法，其特征在于，所述方法还包括：将所述经验数据包放入用于排列经验数据包的学习队列中；所述通过所述经验数据包对所述第一中间模型进行强化学习，得到所述第二中间模型，包括：基于多个学习线程从所述学习队列中提取经验数据包，通过所述经验数据包对所述第一中间模型进行强化学习，得到所述第二中间模型；所述方法还包括：将所述n个仿真器生成的所述n组仿真交通数据和所述n组奖励参数加入到推断队列中；所述根据所述n个仿真器第k
‑
1次生成的n组仿真交通数据，通过所述指令生成模型得到第k次信号灯控制指令集，包括：基于多个推断线程从所述推断队列中提取所述n个仿真器第k
‑
1次生成的n仿真交通数据，通过所述指令生成模型得到第k次信号灯控制指令集。8.根据权利要求1
‑
7任意一项所述的方法，其特征在于，针对所述m个路口中的第i个路口，在仿真器通过所述信号灯控制指令集中对应所述第i个路口的信号灯控制指令的仿真控制后，所述方法还包括：根据所述第i个路口的信号灯状态，以及根据处于所述第i个路口的车队长度、车辆等待时间或平均车速中的至少一项确定所述第i个路口在所述仿真交通数据中对应的子仿真数据；根据处于所述第i个路口的车队长度或车辆等待时间中的至少一项确定所述第i个路口在所述奖励参数中对应的子参数。9.根据权利要求8所述的方法，其特征在于，所述方法还包括：根据所述目标路网区域的路网拓扑，确定所述第i个路口的相邻路口，并将所述第i个路口和所述相邻路口确定为第i个路口集合；所述根据所述第i个路口的信号灯状态，以及根据处于所述第i个路口的车队长度、车辆等待时间或平均车速中的至少一项确定所述第i个路口在所述仿真交通数据中对应的子仿真数据，包括：根据所述第i个路口的信号灯状态，以及根据所述第i个路口集合的车队长度、车辆等待时间或平均车速中的至少一项确定所述第i个路口的所述子仿真数据；所述根据处于所述第i个路口的车队长度或车辆等待时间中的至少一项确定所述第i个路口在所述奖励参数中对应的子参数，包括：根据处于所述第i个路口集合的车队长度或车辆等待时间中的至少一项确定所述第i个路口在所述奖励参数中对应的子参数。10.根据权利要求1
‑
7任意一项所述的方法，其特征在于，所述确定目标路网区域，包括：确定待控制的大路网区域；根据划分规则对所述大路网区域进行子区域划分得到多个路网子区域，并将所述多个路网子区域中的任意一个作为所述目标路网区域。
11.根据权利要求1
‑
7任意一项所述的方法，其特征在于，所述网络模型具有m个，与所述m个路口为一一对应关系。12.一种路口信号控制模型的确定装置，其特征在于，所述装置包括确定单元、获取单元、生成单元和训练单元：所述确定单元，用于确定目标路网区域，所述目标路网区域包括m个路口，所述目标路网区域被配置有分别对所述目标路网区域进行交通仿真的n个仿真器，n>1，m>1；所述获取单元，用于获取分别对应所述n个仿真器的信号灯控制指令集，所述信号灯控制指令集包括分别对应所述m个路口的信号灯控制指令；所述生成单元，用于通过所述n个仿真器，分别根据对应的信号灯控制指令集生成对所述目标路网区域的n组仿真交通数据和n组奖励参数，所述仿真交通数据和所述奖励参数分别用于标识所对应仿真器在通过所述信号灯控制指令集的仿真控制后，所述m个路口的路口车辆状态参数和路口车辆等待参数；所述训练单元，用于根据所述n组仿真交通数据和所述n组奖励参数对初始模型进行强化学习，得到用于对所述目标路网区域进行实际信号灯控制的网络模型。13.一种计算机设备，其特征在于，所述设备包括处理器以及存储器：所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；所述处理器用于根据所述程序代码中的指令执行权利要求1
‑
11中任意一项所述的路口信号控制模型的确定方法。14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行权利要求1
‑
11中任意一项所述的路口信号控制模型的确定方法。

技术总结
本申请实施例公开了一种路口信号控制模型的确定方法和相关装置，通过确定出的路口信号控制模型可以应用于智慧交通、车路协同、地图等领域，以提供实际路网中路口信号灯的自动化控制。针对需要进行自动化信号灯控制的目标路网区域，可以基于该目标路网区域封装成n个仿真器，分别独立的通过信号灯控制指令集进行目标路网区域中的交通仿真，实现m个路口进行同步仿真，提高了单个仿真器的交通仿真效率，而且可以消除各路口异步决策带来的干扰。由于不同的仿真器都是独立进行交通仿真的，相当于并行了n次交通仿真，加快了仿真数据的生成，可以快速得到用于对所述目标路网区域进行实际信号灯控制的网络模型，提高了对目标路网区域的自动化控制进程。的自动化控制进程。的自动化控制进程。


技术研发人员：由长喜
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：2021.08.12
技术公布日：2021/9/9