一种基于人工智能的道路掉落物识别方法及系统与流程

1.本发明涉及人工智能技术领域，具体涉及一种基于人工智能的道路掉落物识别方法及系统。


背景技术：

2.在城市中存在许多建设施工项目，每天都会产生大量建筑垃圾，对于这些建筑垃圾的处理，目前主要依靠运渣车向建筑垃圾处理地运输。运渣车会在政府规定的时间和固定路线进行物料运输。
3.在运输过程中，由于运渣车车厢密封不严或冒尖装载等因素，导致建筑垃圾掉落散落路面，严重影响交通通行，给车辆行驶带来极大安全隐患。现有技术中，针对于这些建筑垃圾的识别，主要依靠市民的热心反映或是相关部门的公路巡视，不能做到实时或短期内响应清理，这增加了交通事故的发生概率，同时不能准确确定掉落物的清理紧急程度。


技术实现要素：

4.为了解决上述技术问题，本发明的目的在于提供一种基于人工智能的道路掉落物识别方法及系统，所采用的技术方案具体如下：
5.本发明提出了一种基于人工智能的道路掉落物识别方法，所述方法包括：
6.获取道路图像；提取所述道路图像中的掉落物和掉落区域；
7.根据所述掉落物的面积和所述掉落区域的位置获得影响程度；
8.获取当前道路的路段类型；所述路段类型包括直道、弯道或交叉路口；根据所述车辆轨迹的轨迹长度和路段类型复杂度指标分别构建不同所述路段类型的复杂度特征向量；所述路段类型复杂度指标包括在所述路段类型为所述直道时的车辆加速度和绕过所述掉落物的绕行次数、在所述路段类型为所述弯道时的车辆加速度和转弯突变时长、或者在所述路段类型为所述交叉路口时的交叉影响程度；所述交叉影响程度根据所述交叉路口中所有车辆的所述绕行次数和所述转弯突变时长获得；
9.根据所述影响程度和所述复杂度特征向量获得所述掉落物的清理紧急程度。
10.进一步地，所述提取所述道路图像中的掉落物和掉落区域包括：
11.通过预先处理好的语义分割网络处理所述道路图像，获得所述掉落物和所述掉落区域。
12.进一步地，所述根据所述掉落物的面积和所述掉落区域的位置获得影响程度包括：
13.沿道路方向将道路分为多个子区域，对每个子区域分配位置权值；所述子区域越靠近道路中心，所述位置权值越大；
14.获取所述掉落区域在所述子区域上对应的位置权值，根据所述位置权值和所述掉落物的面积获得影响程度。
15.进一步地，所述根据所述位置权值和所述掉落物的面积获得影响程度包括：通过
影响程度公式计算所述影响程度，所述影响程度公式为：
[0016][0017]
其中，α为所述影响程度，s
i
为第i个所述子区域内的所述掉落物的面积，w
i
为第i个所述子区域的所述位置权值，n为所述子区域数量，s为所述掉落物的面积。
[0018]
进一步地，所述根据所述车辆轨迹获得所述绕行次数为：
[0019]
获得所述车辆轨迹中相邻两个车辆关键点之间的斜率；以所述斜率变化次数作为所述绕行次数。
[0020]
进一步地，所述转弯突变时长包括：
[0021]
计算相邻两帧所述斜率的差，获得斜率差值序列；将所述斜率差值序列送入预先训练好的时间卷积网络中，获得所述转弯突变时长。
[0022]
进一步地，所述根据所有车辆的所述绕行次数和所述转弯突变程度获得交叉影响程度包括：通过交叉影响程度公式计算所述交叉影响程度，所述交叉影响程度公式包括：
[0023]
n3＝ω1*n1 ω2*n2[0024]
其中，n3为所述交叉影响程度，ω1为绕行次数权重，n1为所述绕行次数，ω2为转弯突变程度权重，n2为所述转弯突变程度。
[0025]
进一步地，所述根据所述影响程度和所述复杂度特征向量获得所述掉落物的清理紧急程度包括：
[0026]
将所述影响程度和所述复杂度特征向量输入至支持向量机中，输出所述清理紧急程度。
[0027]
本发明还提出了一种基于人工智能的道路掉落物识别系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如所述以一种基于人工智能的道路掉落物识别方法任意一项的步骤。
[0028]
本发明具有如下有益效果：
[0029]
1.本发明实施例通过将掉落物信息与掉落区域的位置结合获得影响程度，又通过道路类别和道路上车辆的状态获得复杂度特征向量，通过影响程度和复杂度特征向量全面的分析当前掉落物的清理紧急程度，通过清理紧急程度及时通知工作人员进行处理。
[0030]
2.本发明实施例通过道路类别和道路上的车辆轨迹分析复杂度特征向量。直道、转弯和交叉路口三个道路类别对应三种构建复杂度特征向量方法，更准确的分析掉落物对道路上车辆的影响。
附图说明
[0031]
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
[0032]
图1为本发明一个实施例所提供的一种基于人工智能的道路掉落物识别方法流程图。
具体实施方式
[0033]
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于人工智能的道路掉落物识别方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
[0034]
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
[0035]
下面结合附图具体的说明本发明所提供的一种基于人工智能的道路掉落物识别方法及系统的具体方案。
[0036]
请参阅图1，其示出了本发明一个实施例提供的一种基于人工智能及cim的运渣车掉落物识方法流程图，该方法包括：
[0037]
步骤s1：获取道路图像；提取道路图像中的掉落物和掉落区域。
[0038]
因为运渣车在城市中的运输路线和时间都是规定的，通过cim模型调用各个建设施工地出口处和城市道路处的监控摄像机，通过目标检测、车牌识别等技术识别运渣车，利用无人机上部署的相机采集目标运渣车运输轨迹的图像，获得范围较大，特征明显的道路图像。道路图像不仅包含完整的道路区域信息还保证得到清晰的掉落物、车辆等信息。
[0039]
利用预先训练好的语义分割网络提取道路图像中的掉落物和掉落物区域。语义分割网络具体包括：
[0040]
1)以无人机拍摄的包含道路、掉落物、车辆、其他类的图像作为训练数据。将道路标注为1，掉落物标注为2，车辆标注为3，其他标注为0。将训练数据的80％进行训练，20％作为验证集。
[0041]
2)语义分割网络采用编码
‑
解码结构，通过编码器提取特征获得特征图，解码器对特征图进行采样输出获得语义分割图。以语义分割图中掉落物所占的面积区域作为掉落区域。
[0042]
3)采用交叉熵损失函数进行训练。
[0043]
步骤s2:根据掉落物的面积和掉落区域的位置获得影响程度。
[0044]
掉落物的面积和掉落区域的位置直接反映了掉落物对当前道路的影响程度。获取影响程度具体包括：
[0045]
沿道路方向将道路分为多个子区域，对每个子区域分配位置权值。因为道路中间区域的车辆通行密集，两侧区域通行较少，因此子区域越靠近道路中心，位置权值越大。获取掉落区域在子区域上对应的位置权值，根据所述位置权值和所述掉落物的面积获得影响程度具体通过影响程度公式计算所述影响程度，影响程度公式为：
[0046][0047]
其中，α为影响程度，s
i
为第i个子区域内的掉落物的面积，w
i
为第i个子区域的位置权值，n为子区域数量，s为掉落物的面积。
[0048]
在本发明实施例中，将道路沿着道路横向方向划分为5个子区域，权重依次分别为0.1、0.25、0.3、0.25、0.1。
[0049]
步骤s3：获得当前道路的车辆轨迹，根据道路类别和车辆轨迹构建复杂度特征向量。
[0050]
当掉落物在道路上影响通行时，道路上车辆会因为掉落物的存在减速、绕行等行驶方式，这些行驶方式都可以通过车辆轨迹获得。在本发明实施例中，车辆轨迹的获取方法具体包括：
[0051]
通过预先训练好的车辆关键点检测网络检测出道路图像中的车辆关键点。获得车辆关键点热图。将车辆关键点热图基于遗忘算法进行叠加，获得车辆轨迹。具体叠加方法为：
[0052]
x＝bx (1
‑
b)x
′
[0053]
其中，x为当前帧结果，x
′
为之前帧的叠加计算结果，x为包含当前帧的叠加计算结果，(1
‑
)为遗忘系数，在本发明实施例中b的取值为0.05。
[0054]
车辆关键点检测网络的训练过程具体包括：
[0055]
1)以无人机拍摄的连续多帧的道路图像作为训练数据，将车辆进行标注后归一化处理，获得处理好的训练数据和标签数据。
[0056]
2)车辆关键点检测网络采用编码
‑
解码结构，车辆关键点检测编码器对输入数据进行特征提取，输出特征图。车辆关键点检测解码器对特征图进行上采样操作输出通过单通道输出与原图等大的车辆关键点热图。
[0057]
3)采用交叉熵损失函数进行训练。
[0058]
在本发明实施例中，为了更准确分析车辆的轨迹，获取掉落区域的最小外接矩形，以最小外界矩形中心点为中心，以四倍的最小外接矩形的长宽构建感兴趣区域。在该感兴趣区域内分析车辆轨迹。
[0059]
通过车辆轨迹的长度和路段类型复杂度指标分别构建不同路段类型的复杂度特征向量。
[0060]
当掉落物所在的道路类型不同时，掉落物对车辆轨迹的影响形式也不同。针对不同道路类型，识别的具体过程为：
[0061]
将道路图像送入预先训练好的道路类型判断网络中，输出道路类型。道路类型判断网络具体训练过程为：以包含不同道路类型的图像作为训练数据，将直道标注为1，弯道标注为2，交叉路口标注为3；采用交叉熵损失函数训练网络。
[0062]
当道路类型为直道时：
[0063]
1)根据车辆轨迹获得轨迹长度。轨迹长度的计算公式为：
[0064][0065]
其中，l1为轨迹长度，n为车辆轨迹中车辆关键点的数量，(x
p 1
,y
p 1
)为车辆轨迹中第p 1个车辆关键点的坐标，(x
p
,y
p
)为车辆轨迹中第p个车辆关键点的坐标。
[0066]
2)根据车辆轨迹获得车辆加速度。车辆加速度的计算方法为：
[0067]
通过相邻车辆关键点的距离和叠加时间获得车辆行驶速度：
[0068]
[0069]
其中，v
p
为第p个车辆关键点的车辆行驶速度，t为叠加时间。在本发明实施例中叠加时间为0.1s。
[0070]
通过车辆行驶速度计算车辆关键点加速度：
[0071][0072]
其中，a
p
为第p个车辆关键点加速度，v
p 1
为第p 1个车辆关键点的车辆行驶速度。
[0073]
获得车辆轨迹每个车辆关键点加速度，为了获得掉落物影响较大的加速度数据，去除小于加速度阈值的数据，获得加速度集合。以加速度集合的均值作为车辆加速度。
[0074]
3)通过车辆轨迹获得车辆的绕行次数。因为掉落物在道路上会影响车辆通行，通过车辆绕过掉落物的绕行次数可以表示掉落物对车辆行驶方向的影响。获得车辆轨迹中同一车辆的相邻两个车辆关键点之间的斜率。以斜率的变化次数作为绕行次数。以车辆加速度和绕行次数n1作为直道的路段类型复杂度指标。
[0075]
4)以轨迹长度l1、车辆加速度和绕行次数n1构建复杂度特征向量
[0076]
当道路类型为弯道时：
[0077]
1)以同样方法通过车辆轨迹获得轨迹长度和车辆加速度。
[0078]
2)计算每个车辆关键点之间的斜率，获得斜率序列。根据斜率序列计算相邻关键点斜率的差值，获得斜率差值序列。将斜率差值序列送入预先训练好的时间卷积网络中，获得转弯突变时长n2。以车辆加速度和转弯突变时长n2作为弯道的路段类型复杂度指标。
[0079]
3)以轨迹长度l2、车辆加速度和转弯突变时长n2构建复杂度特征向量构建复杂度特征向量
[0080]
当道路类型为交叉路口时：
[0081]
1)通过车辆轨迹获得轨迹长度。因为交叉路口车速较慢，因此忽略车辆加速度的影响。
[0082]
2)根据车辆轨迹判断车辆是直行还是转弯。在本发明实施例中，若前五个车辆关键点的平均斜率等于后五个关键点平均斜率则认为车辆为直行，否则为转弯。计算直行车辆的绕行次数和转弯车辆的转弯突变时长，根据所有车辆的绕行次数和转弯突变时长获得交叉影响程度。以交叉影响程度作为交叉路口的路段类型复杂度指标。具体地，通过交叉影响程度公式计算所述交叉影响程度，交叉影响程度公式包括：
[0083]
n3＝ω1*n1 ω2*n2[0084]
其中，n3为交叉影响程度，ω1为绕行次数权重，n1为绕行次数，ω2为转弯突变程度权重，n2为转弯突变程度。在发明实施例中，ω1＝ω2＝0.5。
[0085]
3)以轨迹长度l3和交叉影响程度n3构建所述复杂度特征向量β3＝[l3,n3]。
[0086]
步骤s4：根据影响程度和复杂度特征向量获得掉落物的清理紧急程度。
[0087]
通过将影响程度和复杂度特征向量输入至支持向量机中，输出清理紧急程度。通过掉落物的清理紧急程度及时指导工作人员对掉落物进行处理。
[0088]
综上所述：本发明实施例通过掉落物和掉落区域的位置初步确定了影响程度。通过道路的车辆轨迹分析不同路段类型中掉落物对车辆的影响，结合车辆轨迹长度、车辆加
速度、绕行次数和转弯突变时长获得不同道路类型的复杂度特征向量。通过影响程度和复杂度特征向量获得掉落物的清理紧急程度。
[0089]
一种基于人工智能的道路掉落物识别系统包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如以一种基于人工智能的道路掉落物识别方法任意一项的步骤。
[0090]
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0091]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
[0092]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。