城市道路交叉口交通流量的识别方法、系统、装置和介质与流程

1.本技术涉及智慧交通领域技术领域，特别是涉及一种城市道路交叉口交通流量的识别方法、系统、电子装置和存储介质。


背景技术：

2.城市交通网络交通拥堵情况时，需要分析交叉路口的交通流量，给出相应的交通信号控制方案，目前的方式为由信号控制工程师观察通过交通视频监控系统观察交通状况并分析拥堵原因，人工计算出交通流量，并给出通信号控制方案，这种方式虽然可以缓解交通拥堵，但是这种方式还需要安装其他的专用的交通态势识别或视频检测设备，因此，经济成本投入过高，而且人工分析交通流量的方式不仅耗时长工作效率低，而且由于人工分析具有有一定的主观性，也无法保证分析交通流量的准确性。
3.如今，虽然视频检测技术已经非常成熟，但是由于视频检测技术也存在诸多问题一直无法用于计算交通拥堵时的流量，一方面，常规的目标检测为水平框，例如，对于自然图像，目标多为垂直水平分布，但是，对于从安装其他的专用的交通态势识别或视频检测设备的俯视角度获取的图像，目标(车辆)会以角度的形式呈现，导致目标图像不是水平垂直的旋转的运动框，因此，水平框往往不能满足此类目标的精确检测，尤其对于长宽比相差较大且目标密集分布的情况，水平检测框之间相互重叠且冗余的检测区域过多时，常规的视频检测技术将难以满足需求，另一方面，由于城市道路交叉口的视频数据具有目标小、图像密集、方向任意、检测对象移动速度随机等特点，城市道路检测视频无法大规模运用、利用率低；
4.目前针对相关技术中通过人工分析城市道路交叉口交通流量、导致效率低、城市道路交叉口交通拥堵的问题，尚未提出有效的解决方案。


技术实现要素：

5.本技术实施例提供了一种城市道路交叉口交通流量的识别方法、系统、电子装置和存储介质，以至少解决通过人工分析流量、导致效率低、城市道路交叉口交通拥堵的问题。
6.第一方面，本技术实施例提供了一种城市道路交叉口交通流量的识别方法，所述方法包括以下步骤：
7.获取城市道路交叉口的俯视角度视频图像；
8.将所述俯视角度视频图像输入车辆识别模型，在识别出车辆的运动框之后，确定每一运动框的旋转外接矩形框的数据集，基于所述旋转外接矩形框的数据集对相邻帧运动框的旋转外接矩形框进行相似度检测，得到相似度检测结果，其中，所述数据集包括所述旋转外接矩形框的长边、短边、中心位置的坐标以及长边与水平方向的夹角；
9.根据所述相似度检测结果，对检测到最相似的旋转外接矩形框对应的运动框设置相同编号，并跟踪相同编号的运动框，生成运动轨迹；
10.根据所述运动轨迹上所述运动框的旋转外接矩形框的初始方向角度和结束方向角度判断该车辆的流向；
11.统计预设时间内属于同一流向的车辆的流量。
12.在其中一些实施例中，所述运动框的旋转外接矩形框通过将包围所述运动框的最小水平外接矩形框进行旋转得到，其中，旋转角度为所述运动框与水平方向的夹角角度。
13.在其中一些实施例中，所述基于所述旋转外接矩形框的数据集对相邻帧运动框的旋转外接矩形框进行相似度检测，得到相似度检测结果包括：
14.对上一帧各运动框的旋转外接矩形框的数据集和当前帧各运动框的旋转外接矩形框的数据集归一化处理；
15.确定上一帧任一运动框对应的当前帧目标运动框，其中，所述目标运动框的数量根据交叉口历史流量的单方向均值确定；
16.通过所述旋转外接矩形框的距离相似度和交并比计算上一帧运动框与当前帧目标运动框的相似度，其中，所述旋转外接矩形框的距离相似度为上一帧运动框的旋转外接矩形框和当前帧目标运动框的旋转外接矩形框的欧式距离和中心点距离的比值；
17.通过上一帧某一运动框与其当前帧目标运动框的相似度建立相似度矩阵，基于所述相似度矩阵得到所述相似度检测结果。
18.在其中一些实施例中，所述通过所述旋转外接矩形框的距离相似度和交并比计算上一帧运动框与当前帧目标运动框的相似度的计算公式如下：
19.s(i，j)＝αl(i，j) (1-α)d(i，j)
20.其中，i表示上一帧运动框，j表示当前帧目标运动框，s(i，j)表示上一帧运动框的旋转外接矩形框与当前帧目标运动框的旋转外接矩形框的相似度，l(i，j)表示上一帧运动框i的旋转外接矩形框与当前帧目标运动框j的旋转外接矩形框的交并比，d(i，j)表示上一帧运动框i的旋转外接矩形框与当前帧目标运动框j的旋转外接矩形框的距离相似度，α表示交并比的权值；
21.所述距离相似度的计算公式如下：
[0022][0023]
其中，d(i，j)表示上一帧运动框i的旋转外接矩形框与当前帧目标运动框j的旋转外接矩形框的欧式距离，distance(i，j)表示上一帧运动框i的旋转外接矩形框与当前帧目标运动框j的旋转外接矩形框的中心点距离，j的范围为[1，n]，n表示根据交叉口历史流量的单方向均值确定的目标运动框的数量，li表示上一帧运动框i的旋转外接矩形框归一化后的长边，lj表示当前帧目标运动框j的旋转外接矩形框归一化后的长边，si表示上一帧运动框i的旋转外接矩形框归一化后的短边，sj表示当前帧目标运动框j的旋转外接矩形框归一化后的短边，βai表示上一帧运动框i的旋转外接矩形框归一化后的角度，βaj表示当前帧目标运动框j的旋转外接矩形框归一化后的角度，xci表示上一帧运动框i的旋转外接矩形框的中心点的横坐标，xcj表示当前帧目标运动框j的旋转外接矩形框的中心点的横坐标，yci表示上一帧运动框i的旋转外接矩形框的中心点的纵坐标，ycj表示当前帧目标运动框j的旋转外接矩形框的纵坐标。
[0024]
在其中一些实施例中，所述车辆识别模型的训练方式如下：
[0025]
将训练集中的俯视角度视频图像输入所述车辆识别模型，得到车辆的预测的运动框；
[0026]
通过所述预测的运动框的旋转外接矩形框和真实的运动框的旋转外接矩形框计算旋转交并比；
[0027]
在所述旋转交并比的置信度最大时，得到训练好的车辆识别模型。
[0028]
在其中一些实施例中，所述同一流向的车辆的流量包括：转向级别的流量、车道级别的流量、相位级别的流量和路线级别的流量。
[0029]
第二方面，本技术实施例提供了一种城市道路交叉口交通流量的识别系统，所述系统包括：
[0030]
俯视角度视频获取模块，用于获取城市道路交叉口的俯视角度视频图像；
[0031]
相似度检测模块，用于将所述俯视角度视频图像输入车辆识别模型，在识别出车辆的运动框之后，确定每一运动框的旋转外接矩形框的数据集，基于所述旋转外接矩形框的数据集对相邻帧运动框的旋转外接矩形框进行相似度检测，得到相似度检测结果，其中，所述数据集包括所述旋转外接矩形框的长边、短边、中心位置的坐标以及长边与水平方向的夹角；
[0032]
编号模块，用于根据所述相似度检测结果，对检测到最相似的旋转外接矩形框对应的运动框设置相同编号；
[0033]
运动轨迹生成模块，用于跟踪相同编号的运动框，生成运动轨迹；
[0034]
流向判断模块，用于根据所述运动轨迹上所述运动框的旋转外接矩形框的初始方向角度和结束方向角度判断该车辆的流向；
[0035]
流量统计模块，用于统计预设时间内属于同一流向的车辆的流量。
[0036]
在其中一些实施例中，所述相似度检测模块包括：
[0037]
归一化模块，用于对上一帧各运动框的旋转外接矩形框的数据集和当前帧各运动框的旋转外接矩形框的数据集归一化处理；
[0038]
确定模块，用于确定上一帧任一运动框对应的当前帧的目标运动框，其中，所述目标运动框的数量根据交叉口历史流量的单方向均值确定；
[0039]
计算模块，用于通过所述旋转外接矩形框的距离相似度和交并比计算上一帧运动框与当前帧目标运动框的相似度，其中，所述旋转外接矩形框的距离相似度为上一帧运动框的旋转外接矩形框和当前帧目标运动框的旋转外接矩形框的欧式距离和中心点距离的比值；
[0040]
建立模块，用于通过上一帧某一运动框与其当前帧目标运动框的相似度建立相似度矩阵，基于所述相似度矩阵得到所述相似度检测结果。
[0041]
第三方面，本技术实施例提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序时实现如上述第一方面所述的城市道路交叉口交通流量的识别方法。
[0042]
第四方面，本技术实施例提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时实现如上述第一方面所述的城市道路交叉口交通流量的识别方法。
[0043]
相比于相关技术，本技术实施例提供的一种城市道路交叉口交通流量的识别方法，通过车辆识别模型不仅可以识别出俯视角度视频中车辆的运动框及其旋转外接矩形框，解决现有技术中水平外接矩形框容易重叠难以精确检测的问题；而且在对相邻帧的旋转外接矩形框进行相似度检测的过程中考虑到了旋转外接矩形框的长边与水平方向的夹角(即旋转的角度)，从而使得到相似度检测结果更准确，接着，根据相似度检测结果，对检测到最相似的旋转外接矩形框对应的运动框设置相同编号，并跟踪相同编号的运动框，生成运动轨迹，如此，提高了轨迹识别的准确性，根据运动轨迹上运动框的初始方向角度和结束方向角度判断该车辆的流向，统计预设时间内属于同一流向的车辆的流量，本实施例无需人工参与，可以方便的统计城市道路交叉口交通流量，提高了工作效率，同时有效的将城市道路交叉口的俯视角度视频利用起来，也提高了视频的利用率，解决了通过人工分析流量导致效率低、城市道路交叉口交通拥堵的问题。
附图说明
[0044]
此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
[0045]
图1是本技术实施例的一种城市道路交叉口交通流量的识别方法的第一流程示意图；
[0046]
图2是本技术实施例的现有技术一车辆识别模型识别的运动框的水平外接矩形框的一示意图；
[0047]
图3是本技术实施例的本实施例中车辆识别模型识别的运动框的旋转外接矩形框的一示意图；
[0048]
图4是本技术实施例的一将检测到相似的运动框设置相同编号过程的一示意图；
[0049]
图5是本技术实施例的预测运动框的旋转外接矩形框与真实运动框的旋转外接矩形框的面积的交集一示意图；
[0050]
图6是本技术实施例的余杭塘路-蒋墩路渠化图；
[0051]
图7是本技术实施例的余杭塘路-蒋墩路交叉口视频图像的一示意图；
[0052]
图8是本技术实施例的余杭塘路-蒋墩路的相位方案的一示意图；
[0053]
图9是根据本技术实施例的一种城市道路交叉口交通流量的识别系统的结构框图；
[0054]
图10是根据本技术实施例的相似度检测模块的结构框图；
[0055]
图11是根据本技术实施例的电子设备的内部结构示意图。
具体实施方式
[0056]
为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。基于本技术提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本技术公开的内容相关的本领域的普通技术人员而言，在本技术揭露的技术内容的基础上进行的一些设计，制造
或者生产等变更只是常规的技术手段，不应当理解为本技术公开的内容不充分。
[0057]
在本技术中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本技术所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
[0058]
除非另作定义，本技术所涉及的技术术语或者科学术语应当为本技术所属技术领域内具有一般技能的人士所理解的通常意义。本技术所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本技术所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本技术所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本技术所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。本技术所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
[0059]
本发明提出一种城市道路交叉口交通流量的识别方法。
[0060]
图1是本技术实施例的一种城市道路交叉口交通流量的识别方法的第一流程示意图，参照图1，在本发明一实施例中，本发明提出的城市道路交叉口交通流量的识别方法，该方法包括以下步骤：
[0061]
步骤s101，获取城市道路交叉口的俯视角度视频图像；其中，城市道路交叉口的俯视角度视频图像可以是高点摄像头或无人机拍摄的城市道路交叉口的全景视频，也可以是通过遥感技术拍摄的清晰的俯视角度视频；
[0062]
需要说明的是，无人机拍摄的城市道路交叉口的俯视角度视频为来自允许飞行区域的交通治堵无人机巡航过程中的拍摄视频；
[0063]
步骤s102，将俯视角度视频图像输入车辆识别模型，在识别出车辆的运动框之后，确定每一运动框的旋转外接矩形框的数据集，基于旋转外接矩形框的数据集对相邻帧运动框的旋转外接矩形框进行相似度检测，得到相似度检测结果，其中，数据集包括旋转外接矩形框的长边、旋转外接矩形框的短边、旋转外接矩形框的中心位置的坐标以及旋转外接矩形框的长边与水平方向的夹角；易于理解的是，由于实际车辆类型、型号、行驶位置不同，其识别的旋转外接矩形框的长边、旋转外接矩形框的短边、旋转外接矩形框的中心位置的坐标以及旋转外接矩形框的长边与水平方向的夹角是不同；
[0064]
在本实施例中，车辆识别模型采用yolo视频检测框架自带的车辆识别模型来实现，将俯视角度视频图像输入yolo视频检测框架自带的车辆识别模型，其识别效果好，其中，yolo视频检测框架的版本包括但不限制于yolov1、yolov2、yolov3、yolov4和yolov5视频检测框架的版本；当然在一些其他实施例中，车辆识别模型不仅可以采用基于rcnn视频检测框架自带的车辆识别模型、fast rcnn视频检测框架自带的车辆识别模型、faster rcnn视频检测框架自带的车辆识别模型或者fast yolo视频检测框架自带的车辆识别模型
来实现，还可以采用卷积神经网络、改进的深度神经网络改进的r-dfpn神经网络、改进的rrpn神经网络等来实现，即只要是能根据输入的俯视角度视频图像识别出车辆的运动框的车辆识别模型都可以，此处不做具体限定；另外，本实施例中通过deepsort算法跟踪运动框，基于所述旋转外接矩形框的数据集对相邻帧运动框的旋转外接矩形框进行相似度检测，得到相似度检测结果，当然在一些其他实施例中，还可以采用eamtt算法、poi算法、sort算法或其他目标跟踪算法来跟踪运动框，此处不做具体限定；
[0065]
此外，由于本领域技术人员知晓上述yolo视频检测框架、rcnn视频检测框架、fast rcnn视频检测框架、faster rcnn视频检测框架、fast yolo视频检测框架、卷积神经网络、改进的深度神经网络改进的r-dfpn神经网络、改进的rrpn神经网络、deepsort算法、eamtt算法、poi算法以及sort算法的工作原理，此处不在一一赘述。
[0066]
图2是本技术实施例的现有技术一车辆识别模型识别的运动框的水平外接矩形框的一示意图，参照图2，现有技术中的视频的角度为常规的正向俯视拍摄，因此，检测车辆在视频中为水平角度，图3是本技术实施例的本实施例中车辆识别模型识别的运动框的旋转外接矩形框的一示意图，参照图3，本实施例的运动框标注为矩形框，存在长边和短边，由于机动车车辆的存在变换车道的行为，且视频的角度为非常规的正向俯视拍摄，因此使得待检测车辆在视频中为非水平角度，所以将俯视角度视频输入图像识别模型识别出车辆的运动框为完全包围车辆的旋转框。
[0067]
本实施例的运动框的旋转外接矩形框通过将完全包围运动框的最小水平外接矩形框进行指定角度旋转得到，其中，旋转角度为运动框与水平方向的夹角角度。如图3所示，以防止在检测目标比较密集时的漏检、“误杀”问题。
[0068]
步骤s103，根据相似度检测结果，对检测到最相似的旋转外接矩形框对应的运动框设置相同编号，并跟踪相同编号的运动框，生成运动轨迹；如此，提高了轨迹识别的准确性；当然识别到的车辆不同，其编号也不同；图4是本技术实施例的一将检测到相似的运动框设置相同编号过程的一示意图，参照图4，例如，将检测第一车辆的所有相似的运动框的均设置相同编号1，将检测第二车辆的所有相似的运动框的均设置相同编号2，
……
，以此类推，此处不在一一赘述。
[0069]
步骤s104，根据运动轨迹上运动框的旋转外接矩形框的初始方向角度和结束方向角度判断该车辆的流向；本领域技术人员易于理解的是，流向为进口道方向车辆可能存在的行驶方向。
[0070]
步骤s105，统计预设时间内属于同一流向的车辆的流量。
[0071]
其中，预设时间根据用户需要设定，可以是10分钟、20分钟、30分钟或其他，此处不做具体限定。
[0072]
通过上述步骤s101至步骤s105，本实施例通过车辆识别模型不仅可以识别出俯视角度视频中车辆的运动框及其旋转外接矩形框，解决现有技术中水平外接矩形框容易重叠难以精确检测的问题；而且在对相邻帧的旋转外接矩形框进行相似度检测的过程中考虑到了旋转外接矩形框的长边与水平方向的夹角(即旋转的角度)，从而使得到相似度检测结果更准确，接着，根据相似度检测结果，对检测到最相似的旋转外接矩形框对应的运动框设置相同编号，并跟踪相同编号的运动框，生成运动轨迹，如此，提高了轨迹识别的准确性，根据运动轨迹上运动框的初始方向角度和结束方向角度判断该车辆的流向，统计预设时间内属
于同一流向的车辆的流量，本实施例无需人工参与，可以方便的统计城市道路交叉口交通流量，提高了工作效率，同时有效的将城市道路交叉口的俯视角度视频利用起来，也提高了视频的利用率，解决了通过人工分析流量导致效率低、城市道路交叉口交通拥堵的问题。
[0073]
在一实施例中，在将俯视角度视频图像输入车辆识别模型识别出车辆的运动框之前，该方法还包括对俯视角度视频进行预处理，其预处理的具体步骤如下：
[0074]
对俯视角度视频进行预处理包括对俯视角度视频图像进行了数据增强、自适应锚框计算和自适应图片缩放以及确定每一帧视频图像的中心点c坐标、宽、高和正北方向角θ；例如，将俯视角度视频图像的宽和高通过yolov5视频检测算法缩放至预设图片的大小，并将视频图像外侧的黑边缩小至与预设大小的图片相匹配的大小后，添加在预设图片外侧后输入至车辆识别模型，当然在一些其他实施例中，对俯视角度视频进行预处理的步骤也可以相应调整，此处不做具体限定，具体根据用户需求设定；需要说明的是，本实施例中，正北方向角θ的范围为(-180，180)。
[0075]
在一实施例中，车辆识别模型的训练方式如下：
[0076]
将训练集中的俯视角度视频输入车辆识别模型，得到车辆的预测的运动框框；
[0077]
通过预测的运动框和真实的运动框框计算旋转外接矩形框的交并比(intersection over union，iou)；
[0078]
在旋转外接矩形框的交并比的置信度最大时，得到训练好的车辆识别模型。
[0079]
现有目标检测算法设计正向外接矩形计算交并比，本技术使用坐标标记交集位置，添加角度计算，增加数据维度，使用旋转外接矩形框计算交并比，相比于现有技术，以获得更加准确的车辆识别模型。
[0080]
车辆识别模型还包括对车辆分类，分类车辆包括小型车辆、中型车辆如公交车等和大型车辆如大货车；可以用于后续的特定场景下的信号控制，包括公交优先控制，货车右转停车再起步控制等。
[0081]
参照图5，在一实施例中，通过预测的旋转框和真实的旋转框计算旋转运动框的交并比的计算公式如下：
[0082][0083]
其中，iou为旋转外接矩形框的交并比，s
inter
为预测的运动框的旋转外接矩形框和真实的运动框的旋转外接矩形框交集的面积，s
union
为预测的运动框的旋转外接矩形框和真实的运动框的旋转外接矩形框并集的面积，x1、x2、x3和x4分别为预测的运动框的旋转外接矩形框和真实的运动框的旋转外接矩形框交点的横坐标，y1、y2、y3和y4分别为预测的运动框的旋转外接矩形框和真实的运动框的旋转外接矩形框交点的纵坐标，βa表示预测的运动框的旋转外接矩形框的长边与水平方向夹角，βb表示真实的运动框的旋转外接矩形框的长边与水平方向夹角，la表示预测的运动框的旋转外接矩形框的长边，sa表示预测的运动框的旋转外接矩形框的短边，lb表示真实的运动框的旋转外接矩形框的长边，sb表示真实的运动框的旋转外接矩形框的短边。
[0084]
本实施例中，将计算交集的面积(即不规则四边形的面积)，拆分为计算2个直角三角形的面积，方便计算交并比，提高车辆识别模型的准确性。
[0085]
在一可选实施中，将俯视角度视频图像输入车辆识别模型，在识别出车辆的运动框之后，确定每一运动框的旋转外接矩形框的数据集，基于旋转外接矩形框的数据集对相邻帧运动框的旋转外接矩形框进行相似度检测，得到相似度检测结果，包括如下步骤：
[0086]
对上一帧各运动框的旋转外接矩形框的数据集和当前帧各运动框的旋转外接矩形框的数据集归一化处理；上一帧某一运动框i的旋转外接矩形框的数据表达集合为xi＝[xci，yci，li，si，βi]，当前帧的某一运动框j的旋转外接矩形框的数据表达集合为xj＝[xcj，ycj，lj，sj，βj]。其中，xci、yci表示上一帧某一运动框i的旋转外接矩形框的中心点的横坐标、纵坐标，li、si表示上一帧某一运动框i的旋转外接矩形框的长边的长度和短边的长度，βi表示上一帧某一运动框i的旋转外接矩形框的长边与水平方向的夹角。xcj、yci表示当前帧某一运动框j的旋转外接矩形框的中心点的横坐标、纵坐标，lj、sj表示当前帧某一运动框j的旋转外接矩形框的长边的长度和短边的长度，βj表示当前帧某一运动框j的旋转外接矩形框的长边与水平方向的夹角。
[0087]
另外，数据归一化方法，由于数据集既包含表示距离的数据又包含表示角度的数据，所以数据必须进行归一化处理，转换为[0，1]距离数据的归一化的方法主要为取数据的模，角度的数据归一化方法为与平角(180)的比。
[0088]
对于上一帧某一运动框，确定上一帧任一运动框对应的当前帧目标运动框，其中，所述目标运动框的数量根据交叉口历史流量的单方向均值确定；
[0089]
易于理解的是，数量的确定是动态的，通过交叉口历史的流量数据计算交叉口的单方向的平均值确定，单方向的平均值为一个简单的估值，如
‘
十字路口’单方向的均值为路口流量的1/4，
‘
t字路口’单方向的均值为路口流量的1/3等。数量确定后随机选定进行相似度计算的目标运动框。
[0090]
通过所述旋转外接矩形框的距离相似度和交并比计算上一帧运动框与当前帧目标运动框的相似度，其中，所述旋转外接矩形框的距离相似度为上一帧运动框的旋转外接矩形框和当前帧目标运动框的旋转外接矩形框的欧式距离和中心点距离的比值；
[0091]
需要说明的是，本实施例中交并比的目的为通过与旋转外接矩形框的距离相似度相配合综合计算上一帧运动框与当前帧目标运动框的相似度(即通过所述旋转外接矩形框的距离相似度和交并比计算上一帧运动框与当前帧目标运动框的相似度)，而在上述车辆识别模型训练过程中用到交并比的目的为通过预测的运动框和真实的运动框框计算旋转外接矩形框的交并比，在旋转外接矩形框的交并比的置信度最大时，得到训练好的车辆识别模型，二者虽然的作用不同，但是交并比的计算方法一致，即都是拆分为计算2个直角三角形的面积，计算交集的面积(即不规则四边形的面积)实现交并比的计算，由于交并比的计算公式在车辆识别模型的训练过程中已经介绍过，因此，此处不在一一赘述。
[0092]
通过上一帧某一运动框与其当前帧目标运动框的相似度建立相似度矩阵，基于所述相似度矩阵得到所述相似度检测结果。其中，该相似度关联矩阵的公式为：
[0093]
s＝[s(i，1)，s(i，2)，...s(i，j)，...s(i，n)]
[0094]
其中，s为相似度矩阵，易于理解的是，计算过程中i一定是上一帧确定的目标，从而，相似度关联矩阵的维度为1*n；
[0095]
考虑到实际运行的车辆不可能出现过度的距离突变，本实施例使用欧式距离与中心点距离的比值与交并比综合表征图像之间的距离相似度主要优势在于：一是将两帧运动
框的旋转外接矩形框的中心点距离考虑至相似度的判断中，准确的表达视频两帧图像间的动态特征，对于捕捉和识别为同一辆车在直线距离方向有直接的效果，并将坐标数据、角度数据(即旋转运动框的长边与水平方向的夹角)添加至距离数据计算矩阵中，由于数据集包括旋转外接矩形框的长边、旋转外接矩形框的短边、旋转外接矩形框的中心位置的坐标以及旋转外接矩形框的长边与水平方向的夹角，因此多维数据在归一化后的数值变化更敏感，能准确的表达数据相似的程度。二是将图像面积比考虑至相似度计算过程过，相交的特性对表达图像相似度有直接的明确的效果。
[0096]
在一实施例中，所述通过所述旋转外接矩形框的距离相似度和交并比计算上一帧运动框与当前帧目标运动框的相似度的计算公式如下：
[0097]
s(i，j)＝αl(i，j) (1-α)d(i，j)
[0098]
其中，i表示上一帧运动框，j表示当前帧目标运动框，s(i，j)表示上一帧运动框的旋转外接矩形框与当前帧目标运动框的旋转外接矩形框的相似度，l(i，j)表示上一帧运动框i的旋转外接矩形框与当前帧目标运动框j的旋转外接矩形框的交并比，d(i，j)表示上一帧运动框i的旋转外接矩形框与当前帧目标运动框j的旋转外接矩形框的距离相似度，α表示交并比的权值；同理(1-α)表示为距离相似度在旋转框相似度计算中所占的权重，另外，α为一个可设定的值，具体根据实际需求不同，此处不做具体限定；
[0099]
在一实施例中，距离相似度计算公式如下：
[0100][0101]
其中，d(i，j)表示目标运动框i的旋转外接矩形框与目标运动框j的旋转外接矩形框的欧式距离，distance(i，j)表示目标运动框i的旋转外接矩形框与目标运动框j的旋转外接矩形框的中心点距离，j的范围为[1，n]，n表示根据交叉口历史流量的单方向均值确定的目标运动框的数量，li表示上一帧运动框i的旋转外接矩形框归一化后的长边，lj表示相邻帧目标运动框j的旋转外接矩形框归一化后的长边，si表示上一帧运动框i的旋转外接矩形框归一化后的短边，sj相邻帧目标运动框j的旋转外接矩形框归一化后的短边，βai表示上一帧运动框i的旋转外接矩形框归一化后的角度，βai表示相邻帧目标运动框j的旋转外接矩形框归一化后的角度，xci表示上一帧运动框i的旋转外接矩形框的中心点的横坐标，xci表示相邻帧目标运动框j的旋转外接矩形框的中心点的横坐标，yci表示上一帧运动框i的旋转外接矩形框的中心点的纵坐标，ycj表示相邻帧目标运动框j的旋转外接矩形框的纵坐标。
[0102]
本领域技术人员易于理解的是上一帧的运动框i(即目标运动框i的旋转外接矩形框)是确定的，则表示相似度矩阵的维度确定，即i＝1，进行相似度判断的第j个目标(目标运动框j的旋转外接矩形框)的范围存在一定条件限制的，即j的范围是[1，n]，表示相似度关联矩阵的维度n(即上文的根据交叉口历史流量的单方向均值确定的目标运动框的数量)，即相似度矩阵的维度为1*n。
[0103]
由于城市中的大部分交叉路口存在拥堵的情况，为了获得有效的交口控制信号方案，防止路段拥堵，在一实施例中，在统计预设时间内属于同一流向的车辆的流量之后，方法还包括：
[0104]
通过韦伯斯特方法和人工智能推荐算法根据流量输出单路口的交通信号控制方案；其中，交通信号控制方案包括包括周期、相位及该控制方案执行的时间等，其中，相位表达为绿信比，本领域技术人员知道绿信比是指交通灯一个周期内可用于车辆通行的比例时间，即某相位有效绿灯时间和周期时长的比值。
[0105]
本实施例的好处为无需人工参与，可以方便的获得流率输出单路口的交通信号控制方案，相较于之前通过人工分析交通流量，进而得到交通信号控制方案的方式，不仅提高了工作效率，而且降低了人力投入成本。其中，韦伯斯特方法和人工智能推荐算法为现有算法，且本领域技术人员知道韦伯斯特方法和人工智能推荐算法的工作原理，因此，此处不在一一赘述。
[0106]
和/或，通过opencv显示车辆的流量，如此，方便查看。
[0107]
具体地，图6是本技术实施例的余杭塘路-蒋墩路渠化图，图7是本技术实施例的余杭塘路-蒋墩路交叉口视频图像的一示意图；参照6和图7，余杭塘路-蒋墩路交叉口承担了进入城西紫荆港科技园大部分的流量，该路口东西方向为杭州市的重要干道余杭塘路，承担了主城区至城西的主要流量，南北方向为杭州城市的主要干道，且目前南北方向无有效的替代道路。特别是早晚高峰期间，余杭塘路-蒋墩路的有序高效的安全的运转于杭州西湖区至关重要，为了缓解余杭塘路-蒋墩路的交通拥堵情况，在统计预设时间内属于同一流向的车辆的流量、流率和相位级别流量之后，以余杭塘路-蒋墩路交叉口视频图像为例进行说明，该方法还包括如下步骤：
[0108]
通过韦伯斯特方法和人工智能推荐算法根据流量和流率，周期性输出输出单路口的交通信号控制方案，其中，交通信号控制方案包括包括周期、相位及该控制方案执行的时间等。
[0109]
图8是本技术实施例的余杭塘路-蒋墩路的相位方案的一示意图，如图8所示，该路口共有7个相位方案，其中，a相位表达为东西方向直行 东口右转，则组成a相位的转向关系东口直行、东口右转和西口直行；d相位表达为东西左转，则组成d相位的转向关系为东口左转、西口左转；以此类推，则b相位表达为东口直行 左转和右转，则组成b相位转向关系为东口直行 东口左转 东口右转；c相位表达为西口直行 西口左转，则组成c相位转向关系为西口直行和西口左转；g相位表达为南北方向左转 东口右转，则组成g相转向关系为南口左转、北口左转和东口右转；f相位表达为北口直行 左转 东口右转，则组成f相转向关系为北口直行、北口左转和东口右转；e相位表达为南北方向直行，则组成e相转向关系为南口直行和北口直行。
[0110]
其中，表1为单路口的交通信号控制方案，表1的如下：
[0111]
表1交叉口控制方案
[0112][0113]
其中，本实施例在7:30至8:00的时间段通过上述方法得输出单路口的交通信号控制方案为：主周期为160秒，先执行a相序20秒，在执行d相序15秒，接着执行e相序20秒，接着执行f相序25秒，最后执行g相序20秒；在8:00至8:30的时间段通过上述方法得输出单路口的交通信号控制方案为：主周期为160秒，先执行a相序30秒，在执行d相序20秒，接着执行e相序20秒，接着执行f相序20秒，最后执行g相序10秒；
……
，在9:00至9:30的时间段通过上述方法得输出单路口的交通信号控制方案为：主周期为160秒，先执行a相序20秒，在执行d相序20秒，接着执行e相序24秒，接着执行f相序21秒，最后执行g相序15秒，本实施例的交通信号控制方案与人工经验方案相比输出端控制的时间差别很小，但是输出控制方案的时间更短，因此提高了工作效率。
[0114]
需要说明的是，路口相位的设计与路口的流量关系、路口形状、早晚平峰有关，是随时间动态变化的，获取路口的实时相位数据必须与路口信号设备进行通信，如此，方便解决交通拥堵的问题。
[0115]
在一实施例中，根据运动轨迹上运动框的旋转外接矩形框的初始方向角度和结束方向角度判断该车辆的流向包括如下步骤：
[0116]
计算旋转外接矩形框的初始方向角度和结束方向角的角度差；
[0117]
需要说明，在计算旋转外接矩形框的初始方向角度和结束方向角的角度差之前，该方法还包括：分别获得旋转外接矩形框的初始方向角度和结束方向角的角度；其中，
[0118]
旋转外接矩形框的初始方向角度根据车辆起始的m个编号连线中点的切线与正北方向的夹角再减去视频图像的偏转角θ进行判断，该角度记为α；
[0119]
旋转外接矩形框的结束方向角度根据车辆结束时间前n个编号连线中点的切线与正北方向的夹角再减去视频图像的偏转角θ的进行判断，该角度记为β，另外，n和m的范围在[10-20]，且n和m的取值与路口的形状、视频拍摄的范围、视频的角度等有关。
[0120]
具体地，根据旋转外接矩形框的初始方向角度和结束方向角度可以判断车辆的进口车道方向和出口车道方向；例如，当夹角α或者β属于[0，45)和[315，360]之间时，判断车辆的进口道或出口车道方向为“北路口”；当夹角α或者β属于[45，135)之间时，判断车辆的进口道或出口车道方向为“东路口”；当夹角α或者β属于[135，225)之间时，判断车辆的进口道或出口车道方向为“西路口”；当夹角α或者β属于[225，31)之间时，判断方向为判断车辆的进口道或出口车道方向为“南路口”；
[0121]
综上，在旋转外接矩形框的初始方向角度为α，在旋转外接矩形框的结束方向角度
为β时，计算运动框的初始方向角度和结束方向角的角度差为δ_angle。
[0122]
对角度差校正，根据校正后的角度差判断转向流向。
[0123]
具体地，对角度差校正，根据校正后的角度差判断转向流向包括如下步骤：
[0124]
首先，对角度差校正，校正公式如下：
[0125][0126]
然后，根据校正后的角度差判断转向流向，具体地，当角度差δ_angle属于(30，150)范围内时，判断为左转流向；当角度差δ_angle属于(-150，-30)范围内时，判断为右转流向；当角度差δ_angle属于(-30，30)范围内时，判断为直行流向；当角度差δ_angle属于(-180，-150)或者(150，180)范围内时，判断掉头流向。
[0127]
在一实施例中，同一流向的车辆的流量包括：转向级别的流量、车道级别的流量、相位级别的流量和路线级别的流量。
[0128]
其中，统计预设时间内转向级别的流量、流率和相位级别流量包括如下步骤：
[0129]
将预设时间内属于同一交叉口转向的车辆进行累加，计算出属于同一交叉口转向的车辆的流量；其中，预设时间可以按照路口的周期cycle，也可以按照3min、5min、15min等方式进行统计，此处不做具体限定；本实施例中预设时间内属于同一交叉口转向的车辆进行累加的公式如下：
[0130]
v＝σ
tv[0131]
根据预设时间和流量，计算出属于同一交叉口转向的车辆的流率；
[0132]
v＝σ
t
v/t
[0133]
根据路口的实时相位关系，统计相位级流量，其中，该相位级流量的计算公式如下：
[0134]
v＝∑m∑
tv[0135]
其中，v表示相位级流量，m表示组成该相位的转向，t表示预设时间，v表示属于同一流向的车辆的流量。
[0136]
在一些其他实施例中，车道级别流量，需要识别到车道标志标线的模型，区分车道；路线级别流量，需要识别路线包含路段，统计进入路段与流出路段的车辆流量；
[0137]
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0138]
本实施例还提供了一种城市道路交叉口交通流量的识别系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
[0139]
图9是根据本技术实施例的城市道路交叉口交通流量的识别系统的结构框图，如图9所示，该系统包括：
[0140]
俯视角度视频获取模块91，用于获取高点摄像头或无人机拍摄的城市道路交叉口的俯视角度视频图像；
[0141]
相似度检测模块92，用于将俯视角度视频图像输入车辆识别模型，在识别出车辆的运动框之后，确定每一运动框的旋转外接矩形框的数据集，基于旋转外接矩形框的数据集对相邻帧运动框的旋转外接矩形框进行相似度检测，得到相似度检测结果，其中，数据集包括旋转外接矩形框的长边、短边、中心位置的坐标以及长边与水平方向的夹角；
[0142]
编号模块93，用于根据相似度检测结果，对检测到最相似的旋转外接矩形框对应的运动框设置相同编号；
[0143]
运动轨迹生成模块94，用于跟踪相同编号的运动框，生成运动轨迹；
[0144]
流向判断模块95，用于根据运动轨迹上运动框的旋转外接矩形框的初始方向角度和结束方向角度判断该车辆的流向；
[0145]
流量统计模块96，用于统计预设时间内属于同一流向的车辆的流量。
[0146]
本实施例通过车辆识别模型不仅可以识别出俯视角度视频中车辆的运动框及其旋转外接矩形框，解决现有技术中水平外接矩形框容易重叠难以精确检测的问题；而且在对相邻帧运动框的旋转外接矩形框进行相似度检测的过程中考虑到了旋转外接矩形框的长边与水平方向的夹角(即旋转的角度)，从而使得到相似度检测结果更准确，接着，根据相似度检测结果，对检测到最相似的旋转外接矩形框对应的运动框设置相同编号，并跟踪相同编号的运动框，生成运动轨迹，如此，提高了轨迹识别的准确性，根据运动轨迹上运动框的初始方向角度和结束方向角度判断该车辆的流向，统计预设时间内属于同一流向的车辆的流量，本实施例无需人工参与，可以方便的统计城市道路交叉口交通流量，提高了工作效率，同时有效的将城市中高点摄像头或无人机拍摄的城市道路交叉口的俯视角度视频利用起来，也提高了视频的利用率，解决了通过人工分析流量导致效率低、城市道路交叉口交通拥堵的问题。
[0147]
参照图10，在其中一些实施例中，相似度检测模块92包括：
[0148]
归一化模块1001，用于对上一帧各运动框的旋转外接矩形框的数据集和当前帧各运动框的旋转外接矩形框的数据集归一化处理；
[0149]
确定模块1002，用于确定上一帧任一运动框对应的当前帧的目标运动框，其中，所述目标运动框的数量根据交叉口历史流量的单方向均值确定；
[0150]
计算模块1003，用于通过所述旋转外接矩形框的距离相似度和交并比计算上一帧运动框与当前帧目标运动框的相似度，其中，所述旋转外接矩形框的距离相似度为上一帧运动框的旋转外接矩形框和当前帧目标运动框的旋转外接矩形框的欧式距离和中心点距离的比值；
[0151]
建立模块1004，用于通过上一帧某一运动框与其当前帧目标运动框的相似度建立相似度矩阵，基于所述相似度矩阵得到所述相似度检测结果。
[0152]
本实施例考虑到实际运行的车辆不可能出现过度的距离突变，本实施例使用欧式距离与中心点距离的比值表征图像之间的距离相似度主要优势在于：一是将两帧中心点距离考虑至相似度的判断中，准确的表达视频两帧图像间的动态特征，对于捕捉和识别为同一辆车在直线距离方向有直接的效果，并将坐标数据、角度数据(即旋转运动框的长边与水平方向的夹角)添加至距离数据计算矩阵中，由于数据集包括旋转外接矩形框的长边、旋转外接矩形框的短边、旋转外接矩形框的中心位置的坐标以及旋转外接矩形框的长边与水平方向的夹角，因此多维数据在归一化后的数值变化更敏感，能准确的表达数据相似的程度。
二是将图像面积比考虑至相似度计算过程过，相交的特性对表达图像相似度有直接的明确的效果。
[0153]
本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
[0154]
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
[0155]
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
[0156]
步骤s101，获取城市道路交叉口的俯视角度视频；
[0157]
步骤s102，将俯视角度视频输入车辆识别模型，在识别出车辆的运动框之后，确定每一运动框的旋转外接矩形框的数据集，基于旋转运动框的数据集对相邻帧运动框的旋转外接矩形框进行相似度检测，得到相似度检测结果，其中，数据集包括旋转外接矩形框的长边、短边、中心位置的坐标以及长边与水平方向的夹角；
[0158]
步骤s103，根据相似度检测结果对检测到最相似的旋转外接矩形框对应的运动框设置相同编号，并跟踪相同编号的运动框，生成运动轨迹；
[0159]
步骤s104，根据运动轨迹上运动框的旋转外接矩形框的初始方向角度和结束方向角度判断该车辆的流向；
[0160]
步骤s105，统计预设时间内属于同一流向的车辆的流量。
[0161]
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
[0162]
另外，结合上述实施例中的城市道路交叉口交通流量的识别方法，本技术实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种城市道路交叉口交通流量的识别方法。
[0163]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种城市道路交叉口交通流量的识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0164]
在一个实施例中，图11是根据本技术实施例的电子设备的内部结构示意图，如图11所示，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图11所示。该电子设备包括通过内部总线连接的处理器、网络接口、内存储器和非易失性存储器，其中，该非易失性存储器存储有操作系统、计算机程序和数据库。处理器用于提供计算和控制能力，网络接口用于与外部的终端通过网络连接通信，内存储器用于为操作系统和计算机程序的运行提供环境，计算机程序被处理器执行时以实现一种城市道路交叉口交通流量的识别方法，数据库用于存储数据。
[0165]
本领域技术人员可以理解，图11中示出的结构，仅仅是与本技术方案相关的部分
结构的框图，并不构成对本技术方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0166]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0167]
本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0168]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。