一种融合目标识别的车载式智能巡检方法及系统与流程

1.本发明涉及人工智能和摄影测量领域，尤其涉及一种融合目标识别的车载式智能巡检方法。


背景技术：

2.城市基础设施的安全运行事关城市的发展和市民的生活，传统的市政设施巡检主要采用“人工巡检”的方式，这种方式不仅存在效率低、周期长、易漏检等问题，还由于样本图片采集的非连续性，导致巡检数据不完整，无法对漏检、误检进行追溯。利用车载式巡检技术，能够极大提高市政设施巡检的工作效率。
3.现有的车载式智能巡检系统虽然利用相机获取巡检的视频、图像等数据，但通常需要人工完成巡检结果判读，不仅工作量较大，还容易产生误判，并且常规的巡检通常只针对某一种对象，效率较低。另外，现有车载巡检技术只能对车辆进行gnss(global navigation satellite system，全球导航卫星系统)定位，无法知道巡检目标的空间具体位置，难以为异常目标的维护抢修提供精确的位置信息。


技术实现要素：

4.本发明实施例提供一种融合目标识别的车载式智能巡检方法及系统，实现城市基础设施、缺陷及异常事件等目标的智能巡检与精确定位。
5.根据本发明实施例的第一方面，提供一种融合目标识别的车载式智能巡检方法，包括：
6.s1，利用车载式巡检设备实时采集巡检过程中的双目图像数据、imu惯导数据和gnss定位数据；
7.s2，根据预先构建的目标识别模型对左相机图像中的巡检目标进行目标识别，获得目标识别结果；其中，目标识别结果包括目标类型、目标大小和目标像素信息；
8.s3，计算双目相机的视差和景深，得到视差图和景深图；
9.s4，根据所述景深图和所述目标像素信息，计算目标图像在相机坐标系下的三维坐标；
10.s5，利用所述gnss定位数据以及所述目标图像在相机坐标系下的三维坐标，结合imu惯导数据进行融合计算，得到巡检目标的经纬度坐标。
11.优选的，在步骤s2之前，所述方法还包括：构建基于yolov5的目标识别模型；构建所述目标识别模型的步骤包括：数据收集：收集包含各类巡检目标的样本图像；数据处理：对收集的样本图像进行打标处理生成目标样本，得到目标数据集；数据分类：将目标数据集分为训练集、验证集和测试集；模型训练：利用训练集数据对所述目标识别模型进行训练，直至满足收敛条件，得到训练完成的目标识别模型。
12.优选的，步骤s3中，计算双目相机的视差和景深，得到视差图和景深图，包括：利用sgbm(semi-global block matching，半全局块匹配)立体匹配算法计算双目相机同一像素
点的视差，得到视差图；根据双目相机内外参、焦距和基线距离，利用相似三角形原理计算每个像素点与双目相机的距离，得到景深图。
13.优选的，所述利用sgbm立体匹配算法计算双目相机同一像素点的视差，得到视差图，具体包括：采用水平sobel算子对双目相机左右图像进行处理后，对双目相机左右图像的像素点进行映射，得到双目相机左右图像的梯度信息；对梯度信息和原图像选择采样的方式获取梯度代价和sad代价，将两个代价在sad窗口内进行计算；利用动态规划算法，计算得到双目相机左右图像中同一像素点的视差值d，得到视差图。
14.优选的，所述利用相似三角形原理计算每个像素点与双目相机的距离，具体包括：像素点与双目相机的距离z的计算公式为：
[0015][0016]
其中，f为双目相机的焦距，d为双目相机左右图像中同一像素点的视差值，p
l
(u
l
,v
l
)和pr(ur,vr)分别为像素点p在左右镜头成像平面的投影点，t为左右镜头光心之间的距离。
[0017]
优选的，步骤s4中，根据所述景深图和所述目标像素信息，计算目标图像在相机坐标系下的三维坐标，具体包括：在目标识别区域内随机取n个像素点，将n个像素点的位置取平均，得到目标图像的位置信息；每个像素点的三维坐标计算公式为：
[0018][0019]
其中，xw，yw，zw分别为像素点在相机坐标系三个方向的坐标，z为像素点与双目相机的距离，f为双目相机的焦距，t为双目相机左右镜头光心之间的距离，d为双目相机左右图像中同一像素点的视差值。
[0020]
优选的，步骤s5中，利用所述gnss定位数据以及所述目标图像在相机坐标系下的三维坐标，结合imu惯导数据进行融合计算，得到巡检目标的经纬度坐标，具体包括：
[0021]
s51，基于步骤s1采集的imu惯导数据，根据惯导位姿积分公式计算双目相机的位姿。
[0022]
s52，利用车辆前后两点的gnss坐标计算车辆的行进方向，得到车辆行进方向和正北方向的夹角α。
[0023]
s53，根据步骤s51计算得到的相机位姿，将相机坐标系转换至世界坐标系，得到巡检目标在世界坐标系下的三维空间坐标(x,y,z)。
[0024]
s54，计算巡检目标和相机之间的真实距离巡检目标和车辆行进方向之间的夹角
[0025]
s55，计算巡检目标和正北方向的夹角γ＝α β，并结合当前相机的gnss坐标及巡检目标与当前相机的真实空间距离计算得到巡检目标的经纬度坐标。
[0026]
根据本发明实施例的第二方面，还提供一种融合目标识别的车载式智能巡检系统，包括：
[0027]
数据采集模块，用于利用车载式巡检设备实时采集巡检过程中的双目图像数据、imu惯导数据和gnss定位数据；
[0028]
目标识别模块，用于根据预先构建的目标识别模型对左相机图像中的巡检目标进行目标识别，获得目标识别结果；其中，目标识别结果包括目标类型、目标大小和目标像素信息；
[0029]
视差景深计算模块，用于计算双目相机的视差和景深，得到视差图和景深图；
[0030]
相机坐标计算模块，用于根据所述景深图和所述目标像素信息，计算目标图像在相机坐标系下的三维坐标；
[0031]
经纬度计算模块，用于利用所述gnss定位数据以及所述目标图像在相机坐标系下的三维坐标，结合imu惯导数据进行融合计算，得到巡检目标的经纬度坐标。
[0032]
根据本发明实施例的第三方面，提供了一种电子设备，包括处理器、存储器、通信接口和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行第一方面实施例提供的融合目标识别的车载式智能巡检方法。
[0033]
根据本发明实施例的第四方面，提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机程序，该计算机程序被处理器执行时实现以执行第一方面实施例提供的融合目标识别的车载式智能巡检方法。
[0034]
本发明实施例提供的融合目标识别的车载式智能巡检方法及系统，通过人工智能实现巡检目标的识别，大幅提升了市政设施巡检效率，保证了巡检结果的准确性，节约了大量的人力成本；双目相机的摄影测量融合gnss、惯导定位技术，实现巡检目标的高精度定位，为异常事件的快速处置提供了精确的经纬度信息。本发明实现城市基础设施、缺陷及异常事件等目标的智能巡检与精确定位。
附图说明
[0035]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0036]
图1为本发明实施例提供的融合目标识别的车载式智能巡检方法流程示意图；
[0037]
图2为本发明实施例提供的像素点p在双目相机左右镜头成像的示意图；
[0038]
图3为本发明实施例提供的融合目标识别的车载式智能巡检系统结构示意图；
[0039]
图4为本发明实施例提供的电子设备的结构示意图。
具体实施方式
[0040]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例
中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0041]
目前，现有的车载式智能巡检系统虽然利用相机获取巡检的视频、图像等数据，但通常需要人工完成巡检结果判读，不仅工作量较大，还容易产生误判，并且常规的巡检通常只针对某一种对象，效率较低。另外，现有车载巡检技术只能对车辆进行gnss定位，无法知道巡检目标的空间具体位置，难以为异常目标的维护抢修提供精确的经纬度信息。
[0042]
针对现有技术的上述问题，本发明实施例提供了一种融合目标识别的车载式智能巡检方法，实现市政基础设施、缺陷及异常事件等目标的智能巡检与精确定位。以下将结合附图通过多个实施例进行展开说明和介绍。
[0043]
图1为本发明实施例提供的融合目标识别的车载式智能巡检方法流程示意图，如图1所示，本发明实施例提供的融合目标识别的车载式智能巡检方法包括但不限于以下步骤：
[0044]
步骤s1，利用车载式巡检设备实时采集巡检过程中的双目图像数据、imu惯导数据和gnss定位数据；
[0045]
步骤s2，根据预先构建的目标识别模型对左相机图像中的巡检目标进行目标识别，获得目标识别结果；其中，目标识别结果包括目标类型、目标大小和目标像素信息；
[0046]
作为一种可能的实施方式，在步骤s2之前，所述方法还包括：构建基于yolov5的目标识别模型。具体地，构建所述目标识别模型的步骤包括：
[0047]
数据收集：收集包含各类巡检目标的样本图像；其中，巡检目标包括：设施(路面、井盖、消防栓、工程车等)；缺陷(路面裂缝、坑洼、井盖破裂、缺失、消防栓变形、喷水等)；事件(爆管、漏水、入侵等)。
[0048]
数据处理：对收集的样本图像进行打标处理生成目标样本，得到目标数据集；
[0049]
数据分类：将目标数据集分为训练集、验证集和测试集；
[0050]
模型训练：利用训练集数据对所述目标识别模型进行训练，直至满足收敛条件，得到训练完成的目标识别模型。
[0051]
步骤s3，计算双目相机的视差和景深，得到视差图和景深图；
[0052]
作为一种可能的实施方式，步骤s3具体可以包括以下步骤s31～s32：
[0053]
s31，利用sgbm立体匹配算法计算双目相机同一像素点的视差，得到视差图；步骤s31具体包括以下步骤s311～s313：
[0054]
s311，采用水平sobel算子对双目相机左右图像进行处理后，对双目相机左右图像的像素点进行映射，得到双目相机左右图像的梯度信息；
[0055]
s312，对梯度信息和原图像选择采样的方式获取梯度代价和sad代价，将两个代价在sad窗口内进行计算；
[0056]
s313，利用动态规划算法，计算得到双目相机左右图像中同一像素点的视差值d，得到视差图。
[0057]
s32，根据双目相机内外参、焦距和基线距离，利用相似三角形原理计算每个像素点与双目相机的距离，得到景深图。
[0058]
图2为本发明实施例提供的像素点p在双目相机左右镜头成像的示意图。参照图2，
像素点与双目相机的距离z的计算公式为：
[0059][0060]
其中，o
l
和or分别为双目相机左右镜头光圈的中心，定义其在成像平面的坐标为原点，f为双目相机的焦距，d为双目相机左右图像中同一像素点的视差值，p
l
(u
l
,v
l
)和pr(ur,vr)分别为像素点p在左右镜头成像平面的投影点，t为左右镜头光心之间的距离。
[0061]
步骤s4，根据所述景深图和所述目标像素信息，计算目标图像在相机坐标系下的三维坐标。
[0062]
具体地，本实施例在目标识别区域内随机取n个像素点，将n个像素点的位置取平均，得到目标图像的位置信息；每个像素点的三维坐标计算公式为：
[0063][0064]
其中，xw，yw，zw分别为像素点在相机坐标系三个方向的坐标，z为像素点与双目相机的距离，f为双目相机的焦距，t为双目相机左右镜头光心之间的距离，d为双目相机左右图像中同一像素点的视差值。
[0065]
步骤s5，利用所述gnss定位数据以及所述目标图像在相机坐标系下的三维坐标，结合imu惯导数据进行融合计算，得到巡检目标的经纬度坐标。
[0066]
作为一种可能的实施方式，步骤s5具体包括：
[0067]
s51，基于步骤s1采集的imu惯导数据，根据惯导位姿积分公式计算双目相机的位姿。
[0068]
s52，利用车辆前后两点的gnss坐标计算车辆的行进方向，得到车辆行进方向和正北方向的夹角α。
[0069]
s53，根据步骤s51计算得到的相机位姿，将相机坐标系转换至世界坐标系，得到巡检目标在世界坐标系下的三维空间坐标(x,y,z)。
[0070]
s54，计算巡检目标和相机之间的真实距离巡检目标和车辆行进方向之间的夹角
[0071]
s55，计算巡检目标和正北方向的夹角γ＝α β，并结合当前相机的gnss坐标及巡检目标与当前相机的真实空间距离计算得到巡检目标的经纬度坐标。
[0072]
在步骤s5之后，该方法还包括：
[0073]
步骤s6，将得到的巡检结果生成综合巡检报告；巡检结果包括巡检目标的目标类型、目标大小和目标经纬度坐标等信息。
[0074]
本发明实施例提供的融合目标识别的车载式智能巡检方法，通过人工智能实现巡
检目标的识别，大幅提升了市政设施巡检效率，保证了巡检结果的准确性，节约了大量的人力成本；双目相机的摄影测量融合gnss、惯导定位技术，实现巡检目标的高精度定位，为异常事件的快速处置提供了精确的经纬度信息。本发明实现了市政基础设施、缺陷及异常事件等目标的智能巡检与精确定位。
[0075]
在一个实施例中，本发明实施例还提供一种融合目标识别的车载式智能巡检系统，如图3所示，包括：
[0076]
数据采集模块，用于利用车载式巡检设备实时采集巡检过程中的双目图像数据、imu惯导数据和gnss定位数据；
[0077]
目标识别模块，用于根据预先构建的目标识别模型对左相机图像中的巡检目标进行目标识别，获得目标识别结果；其中，目标识别结果包括目标类型、目标大小和目标像素信息；
[0078]
视差景深计算模块，用于计算双目相机的视差和景深，得到视差图和景深图；
[0079]
相机坐标计算模块，用于根据所述景深图和所述目标像素信息，计算目标图像在相机坐标系下的三维坐标；
[0080]
经纬度计算模块，用于利用所述gnss定位数据以及所述目标图像在相机坐标系下的三维坐标，结合imu惯导数据进行融合计算，得到巡检目标的经纬度坐标。
[0081]
参照图3，数据采集模块分别与目标识别模块、视差景深计算模块和经纬度计算模块连接。相机采集模块分别连接所述目标识别模块、视视差景深计算模块和经纬度计算模块。
[0082]
可以理解的是，本发明提供的一种融合目标识别的车载式智能巡检系统与前述各实施例提供的融合目标识别的车载式智能巡检方法相对应，具体的如何利用该系统进行融合目标识别的车载式智能巡检，可以参照前述实施例中融合目标识别的车载式智能巡检方法的相关技术特征，本实施例在此不再赘述。
[0083]
在一个实施例中，本发明实施例提供了本发明实施例提供了一种电子设备，如图4所示，该电子设备可以包括：处理器(processor)401、通信接口(communications interface)402、存储器(memory)303和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信。处理器401可以调用存储器403中的逻辑指令，以执行上述各实施例提供的融合目标识别的车载式智能巡检方法的步骤，例如包括：s1，利用车载式巡检设备实时采集巡检过程中的双目图像数据、imu惯导数据和gnss定位数据；s2，根据预先构建的目标识别模型对左相机图像中的巡检目标进行目标识别，获得目标识别结果；其中，目标识别结果包括目标类型、目标大小和目标像素信息；s3，计算双目相机的视差和景深，得到视差图和景深图；s4，根据所述景深图和所述目标像素信息，计算目标图像在相机坐标系下的三维坐标；s5，利用所述gnss定位数据以及所述目标图像在相机坐标系下的三维坐标，结合imu惯导数据进行融合计算，得到巡检目标的经纬度坐标。
[0084]
在一个实施例中，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的融合目标识别的车载式智能巡检方法的步骤，例如包括：s1，利用车载式巡检设备实时采集巡检过程中的双目图像数据、imu惯导数据和gnss定位数据；s2，根据预先构建的目标识别模型对左相机图像中的巡检目标进行目标识别，获得目标识别结果；其中，目标识别结果包括目标类
型、目标大小和目标像素信息；s3，计算双目相机的视差和景深，得到视差图和景深图；s4，根据所述景深图和所述目标像素信息，计算目标图像在相机坐标系下的三维坐标；s5，利用所述gnss定位数据以及所述目标图像在相机坐标系下的三维坐标，结合imu惯导数据进行融合计算，得到巡检目标的经纬度坐标。
[0085]
综上所述，本发明实施例提供了一种融合目标识别的车载式智能巡检方法及系统，通过人工智能实现巡检目标的识别，大幅提升了市政设施巡检效率，保证了巡检结果的准确性，节约了大量的人力成本；双目相机的摄影测量融合gnss、惯导定位技术，实现巡检目标的高精度定位，为异常事件的快速处置提供了精确的经纬度信息。本发明实现了市政基础设施、缺陷及异常事件等目标的智能巡检与精确定位。
[0086]
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
[0087]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0088]
本发明是参照根据本发明实施例的方法、设备(方法)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的方法。
[0089]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令方法的制造品，该指令方法实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0090]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0091]
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0092]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。