基于相对坐标定位算法的智能压实全过程可视化控制方法与流程

1.本发明涉及路基路面工程技术领域，具体是将图像识别与相对坐标定位方法应用到高速公路智能压实过程中，识别路基土摊铺过程中存在的异物(超尺寸颗粒)，解决异物对于压实质量的影响以及卫星定位误差大的问题，实现路基压实全过程全路段管控。


背景技术：

2.路基压实是路基施工中重要一环，能够减小土颗粒之间的空隙，使土颗粒重新排列，密度增大，同时增大土颗粒间的黏聚力和摩擦力，提高路基稳定性。如果路基压实度不满足要求，在车辆的重复荷载作用下，容易出现路基沉降等病害，进而产生路面裂缝、车辙、坑槽等病害，加速路面破损，使用寿命缩短，导致养护成本增加。
3.集料的级配对碾压后所能达到的密实度有明显影响。实践证明，单一级配或级配不连续都会产生空隙，难以碾压密实。土中含有未经打碎的大土块是路基沉陷的原因之一。传统的压实过程中，采用抽检的方法将施工现场的土带回实验室进行检测，检测结果具有随机性。并且，在进行室内击实试验时，实验人员会将异物挑出进行实验，而施工现场不能及时发现摊铺过程中存在的异物，不能客观评价压实质量。
4.随着人工智能的兴起，大量成果应用于粒径识别场景中，取得了良好的成果，但仍存在以下问题：1.现有粒径识别方法将图像采集装置设于压路机上实现路基异物的全路段识别，但由于压路机存在大振幅施工属性，导致拍摄图像失真，不能够准确识别集料粒径。2.现有专利大多针对于粒径识别算法、拍摄装置进行改进，并未对数据库建立及存储、质量追溯进行创新，缺乏系统性的全过程的施工方案，不具有实际工程意义。3.在实时定位问题上现有方案通过gps、北斗等卫星进行实时定位，但采用卫星定位具有较大的误差，并未给出具体的解决方案。


技术实现要素：

5.针对现有技术的不足，本发明拟解决的技术问题是，提供一种基于相对坐标定位算法的智能压实全过程全路段可视化控制方法，该控制方法能够解决压路机大振幅属性造成的图像采集装置采集的图像失真，不能很好的应用于深度学习神经网络的训练、预测过程中，且神经网络训练时，存在数据量较小，准确性较低等问题。同时该方法避免了路基压实施工过程中异物存在对压实质量的影响，获取全路段路面图像，采用深度学习神经网络识别异物，通过相对坐标定位算法获取准确的异物定位，发出预警并能实时调取异物图像、提供压实信息，形成可靠的质量追溯体系。解决卫星定位误差较大、平地机与压路机路径难以拟合的问题，实时调整路基压实参数。
6.本发明解决所述技术问题的技术方案是：
7.一种基于相对坐标定位算法的智能压实全过程可视化控制方法，该控制方法包括以下内容：
8.利用平地机采集全路段的路面图像，全路段的路面图像按照桩号进行处理存储，
构成图像集；
9.将该图像集通过深度学习神经网络中的segnet网络输出的带有异物标签的图像集；
10.将带有异物标签的图像集经相对坐标定位算法转换为带异物外接圆且圆心在整段公路坐标上的实际距离的图像集，简称道路全段异物图像集；
11.将道路全段异物图像集通过深度学习神经网络中的cnn网络进行处理，识别压路机行驶条带下各条带图像，判断是否存在异物；
12.根据异物情况确定预警信息，指导压实作业。
13.利用平地机采集全路段的路面图像，全路段的路面图像按照桩号进行处理存储，构成图像集的具体过程是：
14.在平地机尾部安装有三轴机械防抖云台，在云台上安装有多个摄像机，负责当前道路条带路面的拍摄，摄像机镜头垂直向下，摄像机跟随平地机按照条带方式运动过程中对路面进行录制，录制结束后将视频导入监控中心对视频进行裁剪，使每个摄像头所拍摄的单条带视频的开始时间、停止时间均与整段公路的起点、终点相对应；
15.裁剪后的视频通过比例尺实际长度和比例尺像素长度及摄像机屏幕分辨率的宽度获得视频中照片所对应的实际道路的长度，再根据平地机的行驶速度和摄像机的帧率获得图片能首尾相接形成整段公路长度时的相邻两个照片之间的间隔帧数；
16.对视频图像按照所确定的间隔帧数截取图片的方式对视频中的图片进行截取，所截取到的图片构成图像集，输出所截取到的图片的相对公路原点的相对坐标，将一个视频序列中所截取到的所有图片进行首尾相接，获得一个条带长度的图像，多个摄像机采集的多个视频序列拼接后能形成一个条带的整个公路长度的图像，所有条带的整个公路长度的图像联合拼接后获得覆盖全路段的图像；图片进行首尾相接时，图片宽度和长度分别对应实际公路中的宽度和桩号，记录每张图片的图像原点相对公路原点的相对坐标，实现相应桩号信息的记录，获得图像集。
17.所述相对坐标定位算法的具体过程是：
18.带有异物标签的图像集中会保存图像原点的坐标信息，当识别出异物时，输出图像坐标系下的异物外接圆圆心像素点坐标，代入公式(4)，得到异物距图像原点的实际距离信息x2；再通过公式(5)与图像原点坐标信息x3进行计算，得到异物外接圆圆心在整段公路坐标上的实际距离，包含圆心的横坐标和纵坐标；
[0019][0020]
x4＝x2 x3ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0021]
s1：比例尺实际距离；
[0022]
x2：异物距图像原点实际距离；
[0023]
p1：比例尺像素长度；
[0024]
p'1：图像坐标系下的异物外接圆圆心像素点坐标；
[0025]
x3：异物所在图片在公路原点的相对坐标信息；
[0026]
x4：异物在全公路坐标的实际距离；
[0027]
公式(4)、(5)以横坐标x为例进行计算，纵坐标y的计算过程相同。
[0028]
所述根据异物情况确定预警信息的具体过程是：
[0029]
预警信息的计算：若有异物，则根据公式(6)计算出异物在压路机条带的纵坐标位置信息：
[0030][0031]
s2：道路全路段异物图像比例尺实际长度；
[0032]
p2：道路全路段异物图像比例尺像素长度；
[0033]
y5：异物在压路机条带上的纵坐标实际距离，即行驶距离，单位为m；
[0034]
p'2：异物在压路机条带上的纵坐标像素点数；
[0035]
在得出异物在压路机条带的纵坐标位置信息后，根据公式(7)计算出预警时间：
[0036]
t2＝(y5‑
0.5)/v2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0037]
t2：预警时间；
[0038]
v2：压路机行驶速度；
[0039]
通过预警信息的计算，实时将行驶距离和预警时间发送至监控中心，监控中心和压路机端通过无线方式进行通讯，发出预警，同时提醒监控中心、压路机端存在异物，会影响压实质量，应进行相应操作以解决问题；若无异物，则不产生预警，预警信息的计算会向监控中心发送道路正常信息。
[0040]
一种基于相对坐标定位算法的智能压实全过程可视化控制系统，其特征在于，包括图像采集处理模块、三维绘图模块、深度学习神经网络模块、数据库模块、计算模块；
[0041]
所述图像采集处理模块主要用于利用平地机尾部的摄像机采集图像并进行图像处理，平地机上安装以下设备：平地机钢架、三轴机械防抖云台、摄像机、无线实时传输装置；
[0042]
所述图像处理的过程是：对视频图像按照所确定的间隔帧数截取图片的方式对视频中的图片进行截取，所截取到的图片进行首尾相接能形成整个公路长度的图像，并能记录每张图片的图像原点相对公路原点的相对坐标，实现相应桩号信息的记录，构成图像集；
[0043]
所述三维绘图模块在监控中心使用三维图形软件建立初始道路模型、绘制虚拟相机，平地机上安装的无线实时传输装置和监控中心的无线实时传输装置通过无线传输，使得平地机实际检测场景能够在初始道路模型中实时同步，并投放于监控中心的显示屏上；初始道路模型接收来自图像采集处理模块的图像集、数据流(x、y、z、t)，其中，x为图像原点横坐标，y为图像原点纵坐标，z为相机高度，t为图像采集时刻，图像集根据图像原点坐标依次填入初始道路模型中，实现道路实际场景在监控中心重现；
[0044]
道路模型再接收通过相对坐标之间的换算获得的异物坐标数据流(x’、y’)，其中，x’为公路坐标系下的异物外接圆圆心横坐标，y’为公路坐标系下的异物外接圆圆心纵坐标，对异物位置信息进行实时标注；
[0045]
道路模型设有多个参数接口，能接入填筑体参数、压路机控制参数、实时参数，以上道路模型接收的各种参数数据将集成数据流与图像集合共同存入云存储单元，形成三维重现模型；点击三维重现模型中的道路图片或输入定位坐标能随时放大图片、调取参数信息，实现路基压实全过程监管、控制、压实质量追溯；
[0046]
所述深度学习神经网络模块用于输出带有异物标签的图像，并判断压路机条带下
图像是否为异物；
[0047]
所述数据库模块用于存储更新训练深度学习神经网络模块的相应图像集；
[0048]
所述计算模块用于相对坐标之间的换算和预警信息的计算。
[0049]
所述数据库模块包括第一数据库和第二数据库，第一数据库内存储有图像采集处理模块输出的图像集；第二数据库内存储有确定带有异物标签的图像集中异物外接圆圆心在整段公路坐标上的实际距离的图像集，简称道路全段异物图像集。上述两个数据库中均包括训练相应网络用的大数据和实时采集的当前数据。
[0050]
与现有技术相比，本发明的有益效果在于：
[0051]
1)本发明使用安装在平地机尾部的设备进行道路信息采集，采用视频间隔一定帧数的方法截取全路幅道路图像，提高了摄像效率与覆盖率，并且平地机具有振动幅度小的优点，可有效避免压路机大振幅属性造成的拍摄图像质量低、易失真的特点。
[0052]
2)本发明通过监督学习的方式构建了标准化、统一化且数据量巨大的数据库，大大提升了模型预测的准确性及泛化能力，减少过拟合问题的出现。每次识别后的图像将直接存入数据库，用于数据库的扩充，提升数据量，实现数据库的自我更新。
[0053]
3)本发明将图像采集处理模块输出的图片按相应位置拼入三维重现模型，实现道路实景可视化，同时，三维重现模型不断接收来自segnet网络输出的带有异物标签的图像，替换相应位置的图片，使三维重现模型显示异物标签。并且，三维重现模型还将各参数予以显示，建立道路模型(包括异物的大小、尺寸形状)(而非数学建模)，实时更新压实施工状况，实现施工全过程可视化，显示实际场景。模型设有多个参数接口，以数据流的形式输入道路模型，与图像集共同存入云存储单元。监控中心可随时通过时间(或坐标定位)调取图像与参数，并通过4g传输至压路机端，建立完整的质量追溯体系。
[0054]
4)本发明纵观、统筹压实施工全过程的工艺工法，于平地机尾部安装钢架，固定搭载云台的摄像机，获取路面图像。通过4g无线传输实时向监控中心传输道路图像数据，同时建立三维可视化模型(三维重现模型)。采用经数据库训练后的深度学习神经网络与相对坐标全局对应的定位算法识别路基摊铺过程中的异物，进行准确定位，通过相对坐标算法，实时发出预警、调取异物图像。
[0055]
5)本发明通过相对坐标计算的方式实现异物的准确定位，克服了卫星定位误差大、平地机与压路机路径难以拟合的问题，从成本上来说，相对坐标定位的方式远低于安装卫星定位设备。
[0056]
6)综上，本发明将摄像装置置于平地机，消除压路机振动幅度大的影响，能将路基土异物识别全过程全路段监管、控制、质量追溯，建立三维可视化模型，实现铺设全路段的路基填料质量实时检测(旧方法采用抽样检测)，由于能实时监测能够解决室内击实试验用料与施工现场用料不同的问题，建立大型的不断更新的数据库用于图像识别，提升识别准确率，采用相对坐标换算的方式准确定位异物位置，全过程指摊铺
‑
压实
‑
运营
‑
养护；全路段指整个摊铺路面都能够检测到，主体是路基土异物识别。
附图说明
[0057]
图1为本发明方法的流程示意图；
[0058]
图2为本发明工作流程图；
[0059]
图3为钢架的三视图；其中(a)为钢架的主视结构示意图，(b)为钢架的侧视结构示意图；(c)为钢架的俯视结构示意图。
[0060]
图4为平地机携带钢架的侧视结构示意图。
[0061]
图5为本发明segnet网络结构图；
[0062]
图6为本发明平地机条带摄影图；
[0063]
图7为本发明压路机条带图。
具体实施方式
[0064]
下面给出本发明的具体实施例。具体实施例仅用于进一步详细说明本发明，不限制本技术的保护范围。
[0065]
路基施工过程：在清理路表后，在地表用白灰画出方格网，运输车辆根据路基填筑试验段确定的松铺厚度进行卸土。采用平地机先后进行路基土的初步推平与精细整平。路基土在精细整平后，压路机进场对路基土进行压实，此过程无任何其他干扰，精平后的路基土颗粒分布即为压实的颗粒分布。因此，本技术创造性地将摄像机置于平地机以消除压路机振动对图像采集的干扰。
[0066]
本技术能够通过相对坐标定位的方式实现异物的准确定位及较高的工作效率。平地机铲子的宽度与压路机钢轮宽度不同导致平地机在道路表面行驶的条带与压路机行驶条带不同，若采用gps定位则需要复杂的计算公式，工作效率低。采用相对坐标定位的方式能够根据简单的公式推算出异物的相对位置，极大提高工作效率。并且，这种方法能够实现对平地机条带与压路机条带的切换。本技术要做的是检测异物，向监控中心和压路机端进行反馈，为压实过程提供相应参数，不需要得出异物的绝对位置，相当于公路桩号的作用。
[0067]
本发明为一种利用深度学习神经网络识别路基压实过程中的异物并实时准确定位与反馈的方法，可用于智能压实的前端，提供稳定的路基填料状况参数以指导智能压实过程并提供反馈。
[0068]
本发明方法所使用的智能压实全过程可视化控制系统包括图像采集处理模块、三维绘图模块、深度学习神经网络模块、数据库模块、计算模块；
[0069]
所使用到的硬件设备主要包含三个组成部分：平地机、监控中心、压路机。所述平地机上安装有拍摄钢架、三轴机械防抖云台、gopro hero9 black、4g实时传输装置；监控中心包括数据库、计算中心、4g实时传输装置、显示屏；压路机包括4g实时传输装置、显示屏。路基压实过程中先用平地机将土摊铺平整，再使用压路机进行碾压，由于压路机工作时振幅较大，影响图像采集质量，故将摄像装置置于平地机尾部，经识别异物后使用压路机压实。
[0070]
一、图像采集处理模块
[0071]
所述图像采集处理模块主要用于利用平地机尾部的摄像机采集图像并进行图像处理，平地机上安装以下设备：平地机钢架、三轴机械防抖云台、gopro hero9 black摄像机、4g实时传输装置。
[0072]
在平地机尾部固定安装钢架，如图4所示，所述钢架整体呈三角形，钢架由多根杆件构成，其中一根杆件呈水平固定在平地机尾部，另一根倾斜固定在平地机尾部，这两根杆件一端固定在平地机的上下位置，且二者另一端相交，交汇点处远离平地机的一端安装有
三轴机械防抖云台，云台用于减震，使用螺丝固定在交汇点处，也就是图3中标记1的位置，在云台上安装有多个摄像机，负责当前道路条带路面的拍摄，摄像机镜头垂直向下，本实施例中摄像机数量为2个，两个摄像机能拍摄一条完整条带图像。云台搭载gopro hero9 black摄像机，摄像机参数为：视频分辨率(res)1080p、fps(60hz/50hz)24/24、屏幕分辨率1920
×
1080、纵横比16：9。
[0073]
摄像机跟随平地机按照条带方式运动过程中对路面进行录制，录制结束后将视频导入监控中心，监控中心的计算中心中安装有视频处理软件，如premiere pro cc2019软件。
[0074]
premiere pro cc2019软件对视频进行裁剪，使每个摄像头所拍摄的单条带视频的开始时间、停止时间均与整段公路的起点、终点相对应。
[0075]
裁剪后的视频通过比例尺实际长度和比例尺像素长度及摄像机屏幕分辨率的宽度获得视频中照片所对应的实际道路的长度，再根据平地机的行驶速度和摄像机的帧率获得图片能首尾相接形成整段公路长度时的相邻两个照片之间的间隔帧数；
[0076]
所述间隔帧数根据摄像机高度、分辨率、帧率及平地机行驶速度确定，不同施工情况下这些参数不同，需根据实际情况计算。
[0077]
本实施例中裁剪后的视频，通过公式(1)
‑
(3)计算图片能首尾相接形成整段公路长度时的相邻两个照片之间的间隔帧数。
[0078][0079][0080]
帧数＝t1×
24
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0081]
s1：视频比例尺实际长度；
[0082]
p1：视频比例尺像素长度；
[0083]
x1：照片所对应的实际道路的长度；
[0084]
t1：时间间隔；
[0085]
v1：平地机行驶速度；
[0086]
1080为本实施例中屏幕的宽度。
[0087]
对视频图像按照所确定的间隔帧数截取图片的方式对视频中的图片进行截取，每张图片像素为：1920
×
1080p，所截取到的图片为图像集中的图片，输出所截取到的图片的相对公路原点的相对坐标，将一个视频序列中所截取到的所有图片进行首尾相接，获得半个条带的整个公路长度的图像，所有条带的整个公路长度的图像联合拼接后获得覆盖全路段的图像。图片进行首尾相接时，图片宽度和长度分别对应实际公路中的宽度和桩号，以宽度为x轴，以桩号为y轴，建立公路坐标系，对应地则在图像坐标中图片的宽度为x轴和图片的长度为y轴。
[0088]
人工智能算法根据上述的公式(1)
‑
(3)按照间隔帧数截取图片，并能记录每张图片的图像原点相对公路原点的相对坐标，实现相应桩号信息的记录。
[0089]
二、三维绘图模块
[0090]
三维绘图模块在监控中心使用三维图形软件建立初始道路模型、绘制虚拟相机，平地机上安装的4g实时传输装置和监控中心的4g实时传输装置通过4g无线传输，使得平地
机实际检测场景能够在初始道路模型中实时同步，并投放于监控中心的显示屏上。
[0091]
初始道路模型接收来自图像采集处理模块的图像集、数据流(x、y、z、t)，其中，x为图像原点横坐标，y为图像原点纵坐标，z为相机高度，t为图像采集时刻。图像集根据图像原点坐标依次填入初始道路模型中，实现道路实际场景在监控中心重现。
[0092]
道路模型再接收深度学习神经网络模块的segnet网络输出的带有异物标签的异物图像集，根据异物图像集中的图像原点坐标实时更新道路模型。
[0093]
道路模型再接收通过相对坐标之间的换算获得的异物坐标数据流(x'、y')，其中，x'为公路坐标系下的异物外接圆圆心横坐标，y'为公路坐标系下的异物外接圆圆心纵坐标。对异物位置信息进行实时标注。
[0094]
道路模型设有多个参数接口，可接入填筑体参数(含水率、异物识别)、压路机控制参数(摊铺厚度、振动频率、行驶方向、行驶速度)、实时参数(icmv、温度)。
[0095]
以上道路模型接收的各种参数数据(包括参数接口获得的数据，也包括异物坐标数据)将集成数据流与图像集合(三维重现模型经不断更新的图像集(带有异物标签的)，即原图像集中无异物部分 带异物标签的异物图像集)共同存入云存储单元，形成三维重现模型。点击三维重现模型中的道路图片(或输入定位坐标)可随时放大图片、调取参数信息，实现路基压实全过程监管、控制、压实质量追溯。
[0096]
三、深度学习神经网络模块
[0097]
深度学习神经网络模块包括segnet网络和cnn网络两部分，segnet网络是一个单独运行的网络，包括mobilenet encoder部分与segnet decoder部分。cnn是另一个单独运行的网络。
[0098]
1、构建基于mobilenet模型的segnet网络。
[0099]
所述segnet网络是基于mobilenet模型的segnet网络，主要结构为encoder
‑
decoder结构，segnet网络结构如图5所示。结构可分为mobilenet encoder部分与segnet decoder部分。
[0100]
mobilenet encoder的核心是depthwise separable convolution(深度可分离卷积)，depthwise separable convolution是将一个完整的卷积运算分解为两步进行，即depthwise convolution(深度卷积)与pointwise convolution(逐点卷积)。不同于常规卷积操作，depthwise convolution的一个卷积核只负责一个通道，并且，每次卷积的卷积核层数等于输入的depth数。depthwise convolution没有有效利用不同通道在相同空间位置上的特征信息。pointwise convolution则将对上一步的图在深度方向上进行加权组合，生成新的特征图。
[0101]
本发明通过大量模型训练得出设置了5个卷积层，每个卷积层进行多次压缩、提取特征。激活函数为relu函数，图中depthwise_conv_block中包括depthwise convolution和pointwise convolution，depthwise convolution卷积核大小设为3
×
3，步长设为1
×
1，pointwise convolution卷积核大小设为1
×
1，步长设为1
×
1。最终，利用经多次提取特征的f4进行处理，导入segnet decoder结构。
[0102]
在segnet decoder结构中利用upsampling2d函数进行三次上采样，得到输出层。
[0103]
深度学习神经网络在使用前需要先进行大量的数据进行训练，将经过截取获得的图像集经过相应的图像预处理操作后，训练网络，将训练好的网络保存为模型。在进行图像
识别时，直接将实时的图像采集处理模块输出的图像集导入训练好的模型即可。
[0104]
保存训练好的segnet网络及权重，用于后续图像识别，输出的带有异物标签的图像，对训练好的segnet网络模型接入图像预处理操作，包括：图像二值化、阈值去噪、异物膨胀、异物腐蚀。
[0105]
2、构建cnn网络。
[0106]
本发明用到的cnn网络一共13层，包括：1个输入层、4个卷积层、4个池化层、3个全连接层、1个输出层。
[0107]
输入层：输入尺寸为100*100且为3通道的图像。
[0108]
卷积层：用于通过卷积运算执行特征图的特征提取，其中卷积核的大小为5*5，激活函数为relu函数。
[0109]
池化层：采用最大池化方法，用来对图片进行压缩降维，减少参数，防止过拟合。
[0110]
全连接层：对特征图处理，方便输出层输出。使用dropout函数防止或减轻过拟合问题。其中dropout函数的舍弃比例为0.5。
[0111]
输出层：使用softmax函数进行输出。
[0112]
cnn网络训练过程中需要人工设定的参数为超参数，本发明包含的超参数为：epoch,batch_size,学习率，使用l2正则化，初始参数设置为0.0001。使用遗传算法对cnn超参数进行优化。
[0113]
保存训练好的cnn网络，用于后续预测。经segnet网络输出的带有异物标签的图像，提取异物信息，使用相对坐标之间的换算绘制新的图片，将新的图片投入cnn网络进行识别。
[0114]
四、数据库模块
[0115]
大规模的有标签数据集对于深度学习是至关重要的，大型的数据集可以使任务表现成对数函数增长。
[0116]
数据库模块能扩充数据量，建立大型的不断更新的数据库，提高识别准确率，包括第一数据库和第二数据库，第一数据库内存储有图像采集处理模块输出的图像集(包括训练网络用的大数据和实时采集的当前数据)；第二数据库内存储有确定带有异物标签的图像集中异物外接圆圆心在整段公路坐标上的实际距离的图像集(简称道路全段异物图像集)(包括训练网络用的大数据和实时采集的当前数据)。
[0117]
对图像采集处理模块输出的图像集建立第一数据库(这个数据库的初始数据就是平地机截取后的图片)，采取以下图像预处理操作：
[0118]
1.图像乱序：使用shuffle函数对图像进行打乱，提高模型泛化能力；
[0119]
2.图像标签：使用labelme对输出的图像集进行标签，使用标签对需要识别的部分(异物)进行标注，目的是使异物找出来，并将其轮廓标记，用不同颜色显示，方便查看，观测明显，此处标签作用是用于segnet网络的训练；
[0120]
3.图像裁剪：将图片裁剪为高416，宽416，通道数设为3；
[0121]
4.图像归一化：使用normalization函数对图像进行归一化处理；
[0122]
5.图像插值：采用bicubic(双立方插值技术)放大图像得到高分辨率图像；
[0123]
6.存入第一数据库：将处理后的图像进行二八分类，80％的数据用于网络训练，20％的数据用于验证，分别将文件夹命名为：train和val，用于segnet网络训练。
[0124]
对道路全段异物图像集建立第二数据库，进行图像预处理操作：
[0125]
1.图像乱序：使用shuffle函数对图像进行打乱，提高模型泛化能力；
[0126]
2.图像裁剪：将图像裁剪为高100，宽100，通道数设为3；
[0127]
3.图像归一化：使用normalization函数对图像进行归一化处理；
[0128]
4.图像标签：文件夹命名为：0，表示图像无异物；文件夹命名为：1，表示图像有异物；这里标签的作用是分为两个文件夹按照是否有异物分别存入，只需将图像进行分类分别存入对应文件夹即可；
[0129]
5.存入第二数据库：将处理后的图像进行二八分类，80％的数据用于网络训练，20％的数据用于验证，分别将文件夹命名为：train和val，用于cnn网络训练。
[0130]
两个数据库都是用来训练网络，工作之前先用相应数据库对相应网络进行训练。
[0131]
五、计算模块计算模块的作用是进行相对坐标之间的换算及预警信息的计算。
[0132]
1.相对坐标之间的换算：图像采集处理模块输出的图像集中的图片经segnet网络输出各图片的相对坐标，有异物的同时输出异物的外接圆圆心像素点坐标p'1，对异物进行标注，获得带有异物标签的图像集。
[0133]
通过公式(4)：
[0134][0135]
s1：比例尺实际距离；
[0136]
x2：异物距图像原点实际距离；
[0137]
p1：比例尺像素长度；
[0138]
p'1：图像坐标系下的异物外接圆圆心像素点坐标；
[0139]
根据公式(4)计算出异物外接圆圆心像素点与图像原点的实际距离x2，代入图像原点坐标信息得异物在公路原点坐标轴(以检测路段的起始桩号路面左下角为原点)上的位置x4。如图6所示，
①②
...
⑤
代表平地机驶过的一个条带，
□
代表相机拍摄范围，代表异物。图片在经过图像采集处理模块的裁剪后，会保存图像原点的坐标信息，当识别出异物时，输出图像坐标系下的异物外接圆圆心像素点坐标，代入上述公式(4)，得到异物距图像原点的实际距离信息x2。再将上述信息通过公式(5)与图像原点坐标信息x3进行计算，得到异物外接圆圆心在整段公路坐标上的实际距离(包含圆心的横坐标和纵坐标)。
[0140]
x4＝x2 x3ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0141]
x3：异物所在图片在公路原点的相对坐标信息；
[0142]
x4：异物在全公路坐标的实际距离；
[0143]
公式(4)、(5)以横坐标x为例进行计算，均有相对应的纵坐标y。
[0144]
换算结束后，使用matplotlib(算法打包放在计算模块中)绘制带异物外接圆圆心在整段公路坐标上的实际距离的图像集(简称道路全段异物图像集)。
[0145]
2.将道路全段异物图像集传入cnn网络，cnn网络按压路机行驶条带对道路全段异物图像集中的图像进行分割，如图7所示。
①②
...
⑦
代表压路机条带，代表异物。利用cnn网络对识别各条带的图像，判断是否有异物存在，并输出异物在压路机条带上的坐标p'2。
[0146]
预警信息的计算：若有异物，则根据公式(6)计算出异物在压路机条带的纵坐标位置信息：
[0147][0148]
s2：道路全路段异物图像比例尺实际长度；
[0149]
p2：道路全路段异物图像比例尺像素长度；
[0150]
y5：异物在压路机条带上的纵坐标实际距离，单位为m；
[0151]
p'2：异物在压路机条带上的纵坐标像素点数；
[0152]
在得出异物在压路机条带的纵坐标位置信息后，根据公式(7)计算出预警时间：
[0153]
t2＝(y5‑
0.5)/v2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0154]
t2：预警时间；
[0155]
v2：压路机行驶速度
[0156]
通过预警信息的计算，计算出压路机自条带原点至异物的行驶距离y5和压路机自条带原点至异物前0.5m的行驶时间，作为预警时间，计算模块实时将行驶距离和预警时间发送至监控中心，监控中心和压路机端通过无线方式进行通讯，发出预警，同时提醒监控中心、压路机端存在异物，会影响压实质量，应进行相应操作以解决问题。若无异物，则不产生预警，计算模块中的预警信息的计算会向监控中心发送道路正常信息。
[0157]
本发明的工作原理和工作流程是：
[0158]
一、工作原理
[0159]
摄像机在固定高度对路基摊铺信息录制视频，通过截取视频、分割视频等处理，将视频截取成首尾相接的图片，实现对路基摊铺面的全覆盖。将处理好的图像通过深度学习神经网络分别提取信息，深度学习神经网络包括segnet网络和cnn网络，segnet网络提取信息包括：输入segnet网络的原图像、含有异物标签的图像及异物外接圆圆心坐标；cnn网络提取信息包括：输入cnn网络的原图像、异物像素点坐标p'2，再通过监控中心中的计算模块实现平地机、异物、压路机位置信息的准确定位，避免了由于卫星定位误差较大而造成的平地机、异物、压路机位置信息无法准确拟合的问题，将精度控制在厘米级，提高工作效率。数据库则提高了深度学习神经网络模型的准确性，提升深度学习神经网络模型泛化能力，防止过拟合问题出现。三维重现模型将道路材料信息进行可视化处理，无线传输、存储至施工管理平台，指导后续碾压过程，便于实时调整碾压速度、频率、遍数等施工参数，从填料性质方面对完工后质量追溯提供依据，实现了压实全过程监视、控制、调取、质量追溯。
[0160]
二、工作流程
[0161]
1、数据采集与标准化：在平地机尾部安装钢架、三轴机械防抖云台，搭载gopro hero9 black相机，垂直摄影。使用标准录像模式，以每秒24帧(fps)的速率拍摄1080p视频。将视频实时传输到监控中心，利用premiere pro cc2019软件对视频进行裁剪，使第一张图片对准公路原点。一个摄像机行走一次过程中仅拍摄一个道路长度，根据摄像机的拍摄范围本实施例设置两个摄像机，两个摄像机一起跟随平地机录制，平地机行走一次，两个摄像机所拍摄的视频序列构成一个条带，对摄像机的视频进行截取，再利用人工智能算法对视频图像按照设定的固定间隔帧数截取图片的方式进行截取，图像像素为：1920
×
1080p，这个间隔的帧数对应的就是桩号，截取后，每张图片对应一个桩号，输出截取后的每张图片的原点相对坐标(以宽度为x轴，以桩号为y轴)，上述固定间隔截取固定大小图片的方式为标准化过程，经标准化的道路图片首尾相接，则能覆盖全路面。
[0162]
2、建立三维重现模型：三维图形软件建立道路模型(三维模型)、绘制虚拟相机，接收来自图像采集处理模块的图像集、数据流(x、y、z、t)，其中，x为图像原点横坐标，y为图像原点纵坐标，图像原点横纵坐标在整个过程中是不断变化的，因为每张图像对应的道路位置不同，坐标的变化在人工智能算法中已设置好，输出图像时会自动输出，z为相机高度，t为图像采集时刻。图像集根据坐标依次填入道路模型中，复现道路实际场景。同时，图像及数据流存入云存储单元。
[0163]
3、图像识别异物：将经图像采集处理模块处理后的图像导入已经训练好的segnet神经网络模型中。segnet网络可分为mobilenet encoder部分与segnet decoder部分。经segnet网络对图像进行了图像二值化、阈值去噪、异物膨胀、异物腐蚀、添加外接圆形等操作。输出导入segnet网络的原图像，即图像采集处理模块处理后的图像至第一数据库，用于后续segnet网络模型的更新训练，输出异物外接圆圆心像素点至计算模块。输出含有异物标签的图像及坐标至道路模型，根据坐标更新道路模型图像，并显示异物标签，实现异物在道路模型中的可视化。标有异物标签的图像存入云存储单元，云存储单元用于保存输入的图像及信息。
[0164]
4、异物坐标信息计算：计算模块在接收segnet网络输出的信息后，进行相对坐标之间的换算，通过公式(5)得出异物在公路原点坐标系上的坐标(x'，y')，其中，x'为在公路坐标下异物外接圆圆心横坐标，x'＝x4；y'为在公路坐标下异物外接圆圆心纵坐标，y'＝y4。在得出本路段所有异物坐标信息后，以道路宽度为x轴，以长度桩号为y轴，使用matplotlib绘制道路全段异物图像(整个道路的一张图，仅显示异物，后再进行压路机的分割)，即获得道路全段异物图像集。同时，道路模型接收计算模块的输出的在公路坐标下异物外接圆圆心横纵坐标的数据流(x'、y')，对异物位置信息进行实时标注，并将数据流存入云存储单元。
[0165]
5、图像识别异物：将分割的算法打包至cnn网络中，将道路全段异物图像集导入已经训练好的cnn网络模型中。cnn网络一共13层，包括：1个输入层、4个卷积层、4个池化层、3个全连接层、1个输出层。经cnn网络对道路全段异物图像集中的图像进行图像二值化、阈值去噪、异物膨胀、异物腐蚀等操作，完成异物的识别，并将道路全段异物图像集输出至第二数据库，用于cnn后续的训练，输出异物像素点至计算模块，cnn网络模型是不断更新的，不断扩充数据量，提升识别准确率。未检测到异物的图片则向计算模块发送无异物信息。
[0166]
6、预警信息计算：计算模块的预警信息计算部分在接收cnn网络输出的信息后，若有异物，通过公式(6)得出压路机自条带原点至异物的行驶距离，通过公式(7)得出压路机行驶至异物前0.5m的时间，将预警信息发送至监控中心并保存。
[0167]
7、预警及反馈：监控中心接收计算模块输出的信息(是否存在异物、异物的实际位置、预警时间)。若有异物，监控中心发出预警并发送预警信息、调取三维绘图模块中异物图片，并发送至压路机端。若无异物，则不产生预警，计算模块中的预警信息的计算会向监控中心发送道路正常信息。将监控中心的异物预警信息复制一份发给压路机端，使压路机驾驶员能够知悉前方情况，采取相应操作，具体操作本发明不涉及。
[0168]
8、全局可视化：点击三维重现模型中的道路图片(或输入定位坐标)可随时放大图片、调取参数信息，实现路基压实全过程监管、控制、压实质量追溯。
[0169]
本发明未述及之处适用于现有技术。