基于公交车辆移动感知的城市道路病害与设施智能识别系统的制作方法

本发明涉及智能交通与计算机视觉，尤其涉及基于公交车辆移动感知的城市道路病害与设施智能识别系统。

背景技术：

1、智能交通与计算机视觉技术领域通常围绕道路交通场景中的车辆、道路、交通设施及图像数据开展采集、传输、识别、定位、判断、存储和显示，常由车载摄像装置、定位设备、车辆终端、无线通信链路及服务器配合，对车辆行驶过程中获取的道路图像、视频帧、位置坐标和时间信息进行关联处理，并依据图像特征、目标类别及空间位置记录识别结果。城市道路病害与设施智能识别是指针对路面破损及道路附属设施进行图像识别和位置记录的系统，通常由公交车辆搭载摄像装置和定位设备连续采集道路场景图像及车辆位置，将图像与时间、坐标信息关联后传送至车载终端或服务器，由程序对路面裂缝、坑槽以及交通标志、护栏等对象的外观特征进行提取、比对和类别判定，并将识别类别、对应位置及图像记录存入数据库，供终端查询和显示。

2、现有技术中的城市道路病害与设施识别依赖公交车辆连续采集道路图像并结合定位信息形成识别记录，车辆行驶过程中采集视点随位置和航向变化，同一道路对象在连续图像中的位置尺度及透视形态随之变化，按单幅图像特征进行识别时容易形成重复候选或位置偏差，路面病害与立体道路设施在图像中的边界形态还会受到观察角度影响，连续观测结果之间缺少稳定的空间对应关系，识别类别与道路位置的关联一致性受到限制。

技术实现思路

1、本发明的目的在于提供基于公交车辆移动感知的城市道路病害与设施智能识别系统，针对公交车辆行驶过程中道路图像采集视点随车辆位置及航向发生变化，使同一道路对象在连续道路图像中的位置、尺度及透视形态发生变化的问题，通过建立车辆位移、等距观测图像、候选目标道路坐标及连续观测结果之间的对应关系，对道路病害与道路设施进行区分及类别识别，使生成的识别记录具有对应的类别、道路坐标及代表图像。

2、为了实现上述目的，本发明提供基于公交车辆移动感知的城市道路病害与设施智能识别系统，包括：道路摄像装置、卫星定位设备、车载计算终端、无线通信设备和服务器；

3、道路摄像装置采集道路图像，卫星定位设备采集车辆位置、航向和定位误差；

4、车载计算终端利用连续采集的车辆位置计算累计位移，并结合安装参数确定基准采样距离，在累计位移达到基准采样距离时，从道路图像中确定等距观测图像；

5、车载计算终端提取等距观测图像中相邻像素之间的灰度差异，将达到边缘判定条件的像素连接形成候选边界，并由候选边界确定候选目标以及候选目标的整体边界、下端边界和上部轮廓；

6、基于等距观测图像对应的车辆位置、航向和安装参数，将候选目标的整体边界、下端边界和上部轮廓分别转换为整体道路坐标、下端道路坐标和上部轮廓道路坐标，利用整体道路坐标确定候选目标在后一等距观测图像中的预测位置，并按照预测位置匹配同一候选目标；

7、车载计算终端分别对连续三次等距观测图像中同一候选目标的整体道路坐标和下端道路坐标进行比较，确定整体道路坐标偏差和下端道路坐标偏差，并由定位误差确定允许投影偏差；

8、当整体道路坐标偏差不超过允许投影偏差，且候选目标的边界尺度在连续三次观测中保持稳定时，确定道路病害候选；

9、当下端道路坐标偏差不超过允许投影偏差，且上部轮廓道路坐标在连续三次观测中保持同向偏移时，确定道路设施候选；

10、车载计算终端对道路病害候选和道路设施候选进行类别识别，确定对应的道路坐标及代表图像，生成包含类别、道路坐标和代表图像的识别记录，并通过无线通信设备将识别记录发送至服务器。

11、进一步地，车载计算终端确定基准采样距离时，读取道路摄像装置的安装高度、安装俯角、焦距和图像纵向像素数量，利用安装高度、安装俯角和焦距确定各纵向像素行在道路平面上对应的前向距离，以能够映射至道路平面的纵向有效成像范围所对应前向距离区间的上限值与下限值之间的道路长度作为纵向有效道路观测长度，将纵向有效道路观测长度划分为四个等长区段，并以单个等长区段对应的道路长度作为基准采样距离。

12、进一步地，车载计算终端按照道路图像的采集时刻，将相邻两次采集的车辆位置之间的位置增量分配至对应采集时刻，确定各道路图像对应的车辆位置；以前一等距观测图像对应的车辆位置为累计起点，对连续车辆位置之间的行驶距离进行累计，当累计位移首次达到基准采样距离时，选择与达到基准采样距离时刻的时间差最小的道路图像作为下一等距观测图像，并以下一等距观测图像对应的车辆位置作为新的累计起点。

13、进一步地，车载计算终端读取等距观测图像中各像素的颜色通道亮度并转换为灰度值，分别计算每一像素与相邻像素之间的灰度差值，从每一像素对应的灰度差值中确定最大灰度差值；

14、将同一等距观测图像内的最大灰度差值按照数值顺序排列，选取预设排列位置对应的最大灰度差值作为边缘判定阈值，将达到边缘判定阈值且位置连续的像素进行连接，形成候选边界。

15、进一步地，车载计算终端按照像素位置的连续关系对候选边界进行区域划分，将属于同一连续区域的边界像素确定为一个候选目标，记录候选目标在等距观测图像中的横向边界位置和纵向边界位置，并由纵向边界位置确定下端边界；

16、以候选目标的纵向范围中点为分界位置，将位于分界位置以上的边界像素确定为上部轮廓，由横向边界位置和纵向边界位置共同确定整体边界。

17、进一步地，车载计算终端读取等距观测图像对应的车辆位置、航向和安装参数，利用整体边界、下端边界和上部轮廓中各边界像素的纵向像素位置，结合安装高度、安装俯角和焦距确定各边界像素对应的前向道路距离，并利用各边界像素相对于图像中心线的横向像素偏移确定对应的横向道路距离；

18、以车辆位置和航向为转换基准，将前向道路距离和横向道路距离转换至道路坐标系，分别形成整体道路坐标、下端道路坐标和上部轮廓道路坐标。

19、进一步地，车载计算终端读取后一等距观测图像对应的车辆位置、航向和安装参数，将整体道路坐标相对于后一等距观测图像对应的车辆位置和航向进行逆向转换，确定整体道路坐标在后一等距观测图像中的预测位置；

20、以预测位置为中心确定搜索区域，从搜索区域内形成的候选边界中计算各候选边界中心与预测位置之间的位置差，选择位置差满足预设匹配范围且边界范围与前一等距观测图像中的候选目标相对应的候选边界，作为同一候选目标的连续观测结果。

21、进一步地，车载计算终端分别确定连续三次等距观测图像中同一候选目标的整体道路坐标中心和下端道路坐标中心，计算对应整体道路坐标中心之间的道路平面距离以及对应下端道路坐标中心之间的道路平面距离，并分别作为整体道路坐标偏差和下端道路坐标偏差；

22、将定位误差与图像中央道路区域相邻像素对应的道路长度进行换算，确定允许投影偏差。

23、进一步地，车载计算终端连续取得同一候选目标在连续三次等距观测图像中的整体道路坐标、下端道路坐标和上部轮廓道路坐标，当各整体道路坐标之间的偏差均不超过允许投影偏差，且候选目标的边界尺度在连续三次观测中保持稳定时，将同一候选目标确定为道路病害候选；

24、当各下端道路坐标之间的偏差均不超过允许投影偏差，且上部轮廓道路坐标沿连续观测顺序保持同一偏移方向时，将同一候选目标确定为道路设施候选。

25、进一步地，车载计算终端针对道路病害候选，利用整体边界对应的延伸关系、闭合关系和边界内部灰度差异确定道路病害类别；

26、针对道路设施候选，利用下端边界对应的道路坐标稳定关系、上部轮廓的纵向延伸关系和横向延伸关系确定道路设施类别；

27、对同一候选目标对应的各等距观测图像计算整体道路坐标偏差，选取整体道路坐标偏差数值排序首位对应的等距观测图像作为代表图像，并将类别、道路坐标和代表图像写入识别记录。

28、本发明的工作原理及优点在于：

29、本发明中，通过利用连续车辆位置计算累计位移，并以安装参数确定基准采样距离，使道路图像按车辆实际行驶距离形成等距观测图像，减少车速变化对连续观测间隔的影响，将候选目标的整体边界、下端边界和上部轮廓转换为对应道路坐标，以整体道路坐标确定后一等距观测图像中的预测位置，可保持同一候选目标在连续观测中的对应关系，通过整体道路坐标偏差与下端道路坐标偏差结合允许投影偏差进行判定，并结合上部轮廓道路坐标的连续同向偏移区分道路病害候选与道路设施候选，使类别识别结果与道路坐标及代表图像形成对应的识别记录。