一种将人工智能应用于智慧交通的交通违法行为识别方法与流程

1.本发明涉及智慧交通和人工智能领域，尤其涉及一种将人工智能应用于智慧交通的交通违法行为识别方法。


背景技术：

2.人工智能时代不仅深刻地改变和影响消费领域，也会深刻彻底地改变产业。目前，各行业面临的痛点有所不同，在颠覆性技术的强烈冲击下，技术和人、系统及环境等进行交互，各行业都需要做出相应调整。
3.随着人工智能产业的发展逐渐渗透到日常生活，在很多领域中，人们的工作效率确实得到了提升。人工智能的应用能够加速社会经济的发展，促进整体转型升级，在道路交通管理领域也发挥着越来越重要的作用。
4.现有电子警察系统、视频监控系统往往只针对车辆进行检测，能对闯红灯违法行为进行有效的取证和处罚，而不具备行人检测功能，对机动车人行横道右转不礼让行人的现象难以做到非现场、自动违法检测。


技术实现要素：

5.有鉴于此，本发明提供了一种将人工智能应用于智慧交通的交通违法行为识别方法包括：
6.基于接收到的多源域和多视角的多个第一交通监管视频进行数据融合生成第二交通监管视频，将所述多个第一交通监管视频的视频时间轴映射到实际时间轴以生成第二交通监管视频的时空状态数据，并将其作为第一时空状态数据；
7.从数据库获取交通灯的时空状态数据，并将其作为第二时空状态数据；基于所述第一时空状态数据和第二时空状态数据识别第二交通监管视频的若干个处于交通礼让状态的监控时区，并截取第二交通监管视频中与所述第二交通监管视频的每个处于交通礼让状态的监控时区对应的视频片段以生成若干个交通监管视频片段；
8.将所述交通监管视频片段按照第一预设步长进行切割以生成若干个第二交通监管图像，并将所有的第二交通监管图像按照时间顺序进行排列以生成与所述交通监管视频片段对应的第二交通监管图像序列；
9.基于所述第二交通监管图像序列确定在交通礼让状态时机动车的行驶轨迹以生成第一轨迹数据，并基于所述第二交通监管图像序列确定在交通礼让状态时行人的步行轨迹以生成第二轨迹数据；
10.将从数据库获取的所有训练数据进行随机排序，并将所述随机排序后的训练数据按照排列顺序平均分成若干个训练数据组；
11.将每个训练数据分解为输入训练数据和输出训练数据，并初始化智能交通监管模型的网络结构和所有的第一神经网络连接权值，然后基于所述所有的第一神经网络连接权值生成第一神经网络权值矩阵；
12.基于所述若干个训练数据组的输入训练数据和输出训练数据更新所述第一神经网络权值矩阵以得到第一网络模型权值矩阵，并将所述第一网络模型权值矩阵进行矩阵转置处理以生成第二神经网络权值矩阵，然后基于所述若干个训练数据组的输出训练数据和输入训练数据更新所述第二神经网络权值矩阵以得到第二网络模型权值矩阵；
13.将第二网络模型权值矩阵进行矩阵转置处理以生成智能交通监管模型权值矩阵，并基于所述智能交通监管模型权值矩阵更新智能交通监管模型以得到训练好的智能交通监管模型，然后将第一轨迹数据和第二轨迹数据输入训练好的智能交通监管模型以输出交通监管数据。
14.根据一个优选实施方式，基于若干个训练数据组的输入训练数据和输出训练数据更新第一神经网络权值矩阵得到第一网络模型权值矩阵包括：
15.遍历所有的训练数据组，并将正在遍历的训练数据组作为目标训练数据组，基于所述目标训练数据组的输入训练数据和输出训练数据计算智能交通监管模型的第一均值误差；
16.基于所述第一均值误差更新第一神经网络权值矩阵，并基于所述更新后的第一神经网络权值矩阵更新智能交通监管模型，将下一个训练数据组作为目标训练数据组，直到将所有的训练数据组遍历完成以生成第一网络模型权值矩阵。
17.根据一个优选实施方式，基于若干个训练数据组的输出训练数据和输入训练数据更新第二神经网络权值矩阵得到第二网络模型权值矩阵包括：
18.遍历所有的训练数据组，并将正在遍历的训练数据组作为目标训练数据组，基于所述目标训练数据组的输出训练数据和输入训练数据计算智能交通监管模型的第二均值误差；
19.基于所述第二均值误差更新第二神经网络权值矩阵，并基于所述更新后的第二神经网络权值矩阵更新智能交通监管模型，将下一个训练数据组作为目标训练数据组，直到将所有的训练数据组遍历完成以生成第二网络模型权值矩阵。
20.根据一个优选实施方式，基于所述第二交通监管图像序列确定在交通礼让状态时机动车的行驶轨迹生成第一轨迹数据包括：
21.按照时间顺序遍历第二交通监管图像序列中的每个第二交通监管图像，并将正在遍历的第二交通监管图像作为目标图像，然后识别所述目标图像中的所有机动车并为每个机动车设置车辆编号；
22.设置标准参照物，并以标准参照物的重心为原点建立标准三维坐标系，并确定在目标图像中每个机动车与标准参照物的相对位置数据；
23.基于在目标图像中每个机动车与标准参照物的相对位置数据将每个机动车的位置数据映射到标准三维坐标系以得到每个机动车在标准三维坐标系中的位置数据；
24.获取目标图像的时间数据，并基于所述时间数据与每个机动车在标准三维坐标系中的位置数据进行数据融合以得到每个机动车在标准三维坐标系中的时空数据，然后基于所述每个机动车在标准三维坐标系中的时空数据获取每个机动车在标准三维坐标系中的时空位置点；
25.将标准三维坐标系中车辆编号相同的时空位置点根据时间顺序进行连接以得到相应机动车的行驶轨迹，并基于所有机动车的行驶轨迹生成第一轨迹数据。
26.根据一个优选实施方式，确定第二交通监管图像中每个机动车与标准参照物的相对位置数据包括：
27.将所述第一交通监管视频按照第一预设步长进行切割以生成若干个第一交通监管图像，并将所有的第一交通监管图像按照时间顺序进行排列以生成与所述第一交通监管视频对应的第一交通监管图像序列，然后基于所有的第一交通监管视频生成若干个第一交通监管图像序列；
28.遍历第二交通监管图像序列中所有的第二交通监管图像，并将正在遍历的第二交通监管图像作为目标图像，然后从每个第一交通监管图像序列中选取与所述目标图像的时间数据一致的第一交通监管图像作为所述目标图像的优化图像，直到将第二交通监管图像序列中的第二交通监管图像遍历完成以得到每个第二交通监管图像的若干个优化图像。
29.根据一个优选实施方式，确定第二交通监管图像中每个机动车与标准参照物的相对位置数据包括：
30.获取目标图像中的所有机动车识别点，并将每个机动车识别点以第二预设步长在三维空间中沿着每个机动车识别点的切平面进行扩展以得到每个机动车识别点在三维空间的第一空间位置和第一空间方向；
31.为所述目标图像的每个机动车识别点在所述目标图像的每个优化图像中选取对应的机动车识别点作为每个机动车识别点的优化识别点；
32.根据每个机动车识别点的所有优化识别点对每个机动车识别点进行优化匹配得到每个机动车识别点在三维空间的第二空间位置和第二空间方向；
33.对目标图像的所有机动车识别点的第二空间位置和第二空间方向进行拟合以获取目标图像中每个机动车在三维空间中的重心；
34.根据目标图像中每个机动车的重心和标准参照物的重心的相对位置数据得到目标图像中每个机动车与标准参照物的相对位置数据。
35.根据一个优选实施方式，基于所述第二交通监管图像序列确定在交通礼让状态时行人的步行轨迹生成第二轨迹数据包括：
36.按照时间顺序遍历第二交通监管图像序列中的每个第二交通监管图像，并将正在遍历的第二交通监管图像作为目标图像，然后识别所述目标图像中的所有行人并为每个行人设置行人编号；
37.设置标准参照物，并以标准参照物的重心为原点建立标准三维坐标系，并确定在目标图像中每个行人与标准参照物的相对位置数据；
38.基于在目标图像中每个行人与标准参照物的相对位置数据将每个行人的位置数据映射到标准三维坐标系以得到每个行人在标准三维坐标系中的位置数据；
39.获取目标图像的时间数据，并基于所述时间数据与每个行人在标准三维坐标系中的位置数据进行数据融合以得到每个行人在标准三维坐标系中的时空数据，然后基于所述每个行人在标准三维坐标系中的时空数据获取每个行人在标准三维坐标系中的时空位置点；
40.将标准三维坐标系中行人编号相同的时空位置点根据时间顺序进行连接以得到相应行人的步行轨迹，并基于所有行人的步行轨迹生成第二轨迹数据。
41.根据一个优选实施方式，所述多源域和多视角的第一交通监管视频为设置在交通
灯路口的不同监控设备在不同角度拍摄的交通监管视频。所述第一神经网络连接权值为从输入层到输出层的神经网络间的权值；所述第二神经网络连接权值为从输出层到输入层的神经网络间的权值。
42.根据一个优选实施方式，所述第一轨迹数据为机动车的轨迹数据，所述第二轨迹数据为行人的轨迹数据。所述第一时空状态数据为第二交通监管视频的时空状态数据，所述第二时空状态数据为交通灯的时空状态数据，所述时空状态数据用于指示时间与状态的映射关系。所述交通礼让状态为机动车的交通灯为红灯状态，人行道的交通灯为绿灯状态，所述车辆编号用于对机动车进行唯一标识，所述行人编号用于对行人进行唯一标识。
43.本发明具有以下有益效果：本发明通过人工智能模型对机动车不礼让行人的违法行为进行识别以实现提高识别违法行为的准确度。此外，本发明通过人工智能自动对机动车不礼让行人的违法行为进行识别处理，提高了处理效率的同时也减少了人力物力成本。
附图说明
44.图1为一示例性实施例提供的一种将人工智能应用于智慧交通的交通违法行为识别方法的流程图。
具体实施方式
45.为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
46.参见图1，在一个实施例中，一种将人工智能应用于智慧交通的交通违法行为识别方法可以包括：
47.s1、基于接收到的多源域和多视角的多个第一交通监管视频进行数据融合生成第二交通监管视频，将所述多个第一交通监管视频的视频时间轴映射到实际时间轴以生成第二交通监管视频的时空状态数据，并将其作为第一时空状态数据；从数据库获取交通灯的时空状态数据，并将其作为第二时空状态数据。
48.视频时间轴为依据时间顺序把构成视频的所有图像帧串联起来形成完整的视频，实际时间轴用于记录实际的时间。多源域和多视角的第一交通监管视频为设置在交通灯路口的不同监控设备不同角度拍摄的交通监管视频。
49.第一时空状态数据为第二交通监管视频的时空状态数据，第二时空状态数据为交通灯的时空状态数据，时空状态数据指示时间与状态的映射关系。
50.第一时空状态数据用于指示交通监管视频片段与时间信息的映射关系；第二时空状态数据为用于指示各个时间段交通灯的状态；交通灯的状态包括：红灯状态、绿灯状态和黄灯状态。
51.若干个第一交通监管视频进行数据融合以生成一个第二交通监管视频。
52.s2、基于所述第一时空状态数据和第二时空状态数据识别第二交通监管视频的若干个处于交通礼让状态的监控时区，并截取第二交通监管视频中与所述第二交通监管视频的每个处于交通礼让状态的监控时区对应的视频片段以生成若干个交通监管视频片段。
53.交通礼让状态为在机动车所面对的交通灯为红灯状态，行人所面对的交通灯为绿灯状态。
54.根据第二时空状态数据获取交通灯的状态从而得到交通礼让状态时的时间数据以得到若干个处于交通礼让状态的监控时区，根据交通礼让状态的监控时区从第二交通监管视频中截取若干个处于交通礼让状态时的视频片段以生成若干个交通监管视频片段。
55.s3、将所述交通监管视频片段按照第一预设步长进行切割以生成若干个第二交通监管图像，并将所有的第二交通监管图像按照时间顺序进行排列以生成与所述交通监管视频片段对应的第二交通监管图像序列。
56.第一预设步长为根据轨迹识别精度进行预先设置，每个第二交通监管图像具有相应的时间数据。第二交通监管图像序列为若干个根据时间顺序排列的第二交通监管图像。
57.s4、基于所述第二交通监管图像序列确定在交通礼让状态时机动车的行驶轨迹以生成第一轨迹数据，并基于所述第二交通监管图像序列确定在交通礼让状态时行人的步行轨迹以生成第二轨迹数据。
58.第一轨迹数据为机动车的轨迹数据，第二轨迹数据为行人的轨迹数据。
59.在一个实施例中，基于所述第二交通监管图像序列确定在交通礼让状态时机动车的行驶轨迹生成第一轨迹数据包括：
60.按照时间顺序遍历第二交通监管图像序列中的每个第二交通监管图像，并将正在遍历的第二交通监管图像作为目标图像，然后识别所述目标图像中的所有机动车并为每个机动车设置车辆编号；
61.设置标准参照物，并以标准参照物的重心为原点建立标准三维坐标系，并确定在目标图像中每个机动车与标准参照物的相对位置数据；
62.基于在目标图像中每个机动车与标准参照物的相对位置数据将每个机动车的位置数据映射到标准三维坐标系以得到每个机动车在标准三维坐标系中的位置数据；
63.获取目标图像的时间数据，并基于所述时间数据与每个机动车在标准三维坐标系中的位置数据进行数据融合以得到每个机动车在标准三维坐标系中的时空数据，然后基于所述每个机动车在标准三维坐标系中的时空数据获取每个机动车在标准三维坐标系中的时空位置点；
64.将标准三维坐标系中车辆编号相同的时空位置点根据时间顺序进行连接以得到相应机动车的行驶轨迹，并基于所有机动车的行驶轨迹生成第一轨迹数据。
65.在一个实施例中，基于所述第二交通监管图像序列确定在交通礼让状态时行人的步行轨迹生成第二轨迹数据包括：
66.按照时间顺序遍历第二交通监管图像序列中的每个第二交通监管图像，并将正在遍历的第二交通监管图像作为目标图像，然后识别所述目标图像中的所有行人并为每个行人设置行人编号；
67.设置标准参照物，并以标准参照物的重心为原点建立标准三维坐标系，并确定在目标图像中每个行人与标准参照物的相对位置数据；
68.基于在目标图像中每个行人与标准参照物的相对位置数据将每个行人的位置数据映射到标准三维坐标系以得到每个行人在标准三维坐标系中的位置数据；
69.获取目标图像的时间数据，并基于所述时间数据与每个行人在标准三维坐标系中
的位置数据进行数据融合以得到每个行人在标准三维坐标系中的时空数据，然后基于所述每个行人在标准三维坐标系中的时空数据获取每个行人在标准三维坐标系中的时空位置点；
70.将标准三维坐标系中行人编号相同的时空位置点根据时间顺序进行连接以得到相应行人的步行轨迹，并基于所有行人的步行轨迹生成第二轨迹数据。
71.在一个实施例中，确定第二交通监管图像中每个机动车与标准参照物的相对位置数据包括：
72.将所述第一交通监管视频按照第一预设步长进行切割以生成若干个第一交通监管图像，并将所有的第一交通监管图像按照时间顺序进行排列以生成与所述第一交通监管视频对应的第一交通监管图像序列，然后基于所有的第一交通监管视频生成若干个第一交通监管图像序列；
73.遍历第二交通监管图像序列中所有的第二交通监管图像，并将正在遍历的第二交通监管图像作为目标图像，然后从每个第一交通监管图像序列中选取与所述目标图像的时间数据一致的第一交通监管图像作为所述目标图像的优化图像，直到将第二交通监管图像序列中的第二交通监管图像遍历完成以得到每个第二交通监管图像的若干个优化图像。
74.在一个实施例中，确定第二交通监管图像中每个机动车与标准参照物的相对位置数据包括：
75.获取目标图像中的所有机动车识别点，并将每个机动车识别点以第二预设步长在三维空间中沿着每个机动车识别点的切平面进行扩展以得到每个机动车识别点在三维空间的第一空间位置和第一空间方向；
76.为所述目标图像的每个机动车识别点在所述目标图像的每个优化图像中选取对应的机动车识别点作为每个机动车识别点的优化识别点；
77.根据每个机动车识别点的所有优化识别点对每个机动车识别点进行优化匹配得到每个机动车识别点在三维空间的第二空间位置和第二空间方向；
78.对目标图像的所有机动车识别点的第二空间位置和第二空间方向进行拟合以获取目标图像中每个机动车在三维空间中的重心；
79.根据目标图像中每个机动车的重心和标准参照物的重心的相对位置数据得到目标图像中每个机动车与标准参照物的相对位置数据。
80.车辆编号用于对机动车进行唯一标识，行人编号用于对行人进行唯一标识。时空位置点为指示时间信息和位置信息的坐标点。
81.机动车识别点为识别机动车的关键像素点，行人识别点为识别行人的关键像素点，第二预设步长为根据机动车的识别精度预先设置的。
82.s5、将从数据库获取的所有训练数据进行随机排序，并将所述随机排序后的训练数据按照排列顺序平均分成若干个训练数据组；将每个训练数据分解为输入训练数据和输出训练数据，并初始化智能交通监管模型的网络结构和所有的第一神经网络连接权值，然后基于所述所有的第一神经网络连接权值生成第一神经网络权值矩阵。
83.第一神经网络权值矩阵包括智能交通监管模型中从输入层到输出层的所有连接网络的连接权值。第二神经网络权值矩阵包括智能交通监管模型中从输出层到输入层的所有连接网络的连接权值。
84.第一神经网络连接权值为从输入层到输出层的神经网络间的权值，第二神经网络连接权值为从输出层到输入层的神经网络间的权值。
85.s6、基于所述若干个训练数据组的输入训练数据和输出训练数据更新所述第一神经网络权值矩阵以得到第一网络模型权值矩阵，并将所述第一网络模型权值矩阵进行矩阵转置处理以生成第二神经网络权值矩阵，然后基于所述若干个训练数据组的输出训练数据和输入训练数据更新所述第二神经网络权值矩阵以得到第二网络模型权值矩阵。
86.在一个实施例中，基于若干个训练数据组的输入训练数据和输出训练数据更新第一神经网络权值矩阵得到第一网络模型权值矩阵包括：
87.遍历所有的训练数据组，并将正在遍历的训练数据组作为目标训练数据组，基于所述目标训练数据组的输入训练数据和输出训练数据计算智能交通监管模型的第一均值误差；
88.基于所述第一均值误差更新第一神经网络权值矩阵，并基于所述更新后的第一神经网络权值矩阵更新智能交通监管模型，将下一个训练数据组作为目标训练数据组，直到将所有的训练数据组遍历完成以生成第一网络模型权值矩阵。
89.在一个实施例中，基于若干个训练数据组的输出训练数据和输入训练数据更新第二神经网络权值矩阵得到第二网络模型权值矩阵包括：
90.遍历所有的训练数据组，并将正在遍历的训练数据组作为目标训练数据组，基于所述目标训练数据组的输出训练数据和输入训练数据计算智能交通监管模型的第二均值误差；
91.基于所述第二均值误差更新第二神经网络权值矩阵，并基于所述更新后的第二神经网络权值矩阵更新智能交通监管模型，将下一个训练数据组作为目标训练数据组，直到将所有的训练数据组遍历完成以生成第二网络模型权值矩阵。
92.s7、将第二网络模型权值矩阵进行矩阵转置处理以生成智能交通监管模型权值矩阵，并基于所述智能交通监管模型权值矩阵更新智能交通监管模型以得到训练好的智能交通监管模型，然后将第一轨迹数据和第二轨迹数据输入训练好的智能交通监管模型以输出交通监管数据。
93.智能交通监管模型权值矩阵包括最终训练好的智能交通监管模型的从输入层到输出层的所有神经网络间的权值。
94.交通监管数据包括哪些机动车在交通礼让状态下没有礼让行人，具体包括机动车的车牌和时间信息。
95.本发明通过人工智能模型对机动车不礼让行人的违法行为进行识别以实现提高识别违法行为的准确度。此外，本发明通过人工智能自动对机动车不礼让行人的违法行为进行识别处理，提高了处理的效率的同时也减少了人力物力成本。
96.另外，虽然上面参考特定模块讨论了特定功能，但是应当注意，本文讨论的各个模块的功能可以分为多个模块，和/或多个模块的至少一些功能可以组合成单个模块。另外，本文讨论的特定模块执行动作包括该特定模块本身执行动作，或者替换地该特定模块调用或以其他方式访问执行该动作的另一个组件或模块(或结合该特定模块一起执行动作)。因此，执行动作的特定模块可以包括执行动作的特定模块本身和/或执行动作的该特定模块调用或以其他方式访问的另一模块。
97.需要理解的是，尽管第一、第二、第三等术语在本文中可以用来描述各种设备、元件、部件或元素，但是这些设备、元件、部件或元素不应当由这些术语限制。这些术语仅用来将一个设备、元件、部件或元素与另一个设备、元件、部件或元素相区分。
98.尽管已经结合一些实施例描述了本发明，但是其不旨在被限于在本文中所阐述的特定形式。相反，本发明的范围仅由所附权利要求来限制。特征在权利要求中的次序不暗示特征必须以其工作的任何特定次序。此外，在权利要求中，词“包括”不排除其它元件，并且不定冠词“一”或“一个”不排除多个。
99.以上所述内容仅是本发明的一个实例的实施方式，主要用于帮助解释说明内容，并不能以此限制发明权益，该技术领域的任何人员都可以在不脱离本发明技术原理的基础上，对本发明做出若干改进及应用场景拓展，但这些变化和改进都应视为本发明的保护范围。