一种挖掘机运动监测方法、系统和设备与流程

1.本发明涉及挖掘机运动监测技术领域，尤其涉及一种挖掘机运动监测方法、系统和设备。


背景技术：

2.随着经济的不断发展，城市基础设施的不断改进，原来的大部分的架空电缆都逐渐改线，深埋地下，以免影响市容市貌。但是，深埋地下的线缆由于不可见性，或者图纸和具体位置的缺失，经常会被施工人员不经意间操作挖掘机挖断电缆，造成大面积停电，给附近的经济活动和居民生活带来巨大影响。
3.目前的技术主要是针对视频的行人、车辆等常见目标，在人类活动场所展开的活动，活动背景干扰少、干净，且运动规则性强。而野外条件复杂、无运动规则，挖掘机体型巨大、运动缓慢、受其他地物影响较少，难以在野外及时跟踪挖掘机的运动轨迹，导致存在操作人员操作挖掘机时挖断电缆的风险。


技术实现要素：

4.本发明提供了一种挖掘机运动监测方法、系统和设备，解决了目前的技术主要是针对视频的行人、车辆等常见目标，在人类活动场所展开的活动，活动背景干扰少、干净，且运动规则性强。而野外条件复杂、无运动规则，挖掘机体型巨大、运动缓慢、受其他地物影响较少，难以在野外及时跟踪挖掘机的运动轨迹，导致存在操作人员操作挖掘机时挖断电缆的风险的技术问题。
5.本发明第一方面提供的一种挖掘机运动监测方法，包括：获取待监测区域的监控视频并逐帧提取挖掘机所处的环境图像；按照预设规格划分所述环境图像，得到待互换图像和环状区域图像；将相邻两帧环境图像对应的待互换图像进行互换，结合对应的所述环状区域图像构建监测图像对并输入目标检测网络；通过所述目标检测网络提取所述监测图像对的挖掘机特征，并关联全部所述挖掘机特征，形成所述挖掘机的目标轨迹；根据所述目标轨迹预测所述挖掘机的运行动作，对所述运行动作进行异常判断，根据判断结果生成预警信息并输出。
6.可选地，所述将相邻两帧环境图像对应的待互换图像进行互换，结合对应的所述环状区域图像构建监测图像对并输入目标检测网络的步骤，包括：将相邻两帧环境图像对应的待互换图像互换至对应的所述环状区域图像，得到相邻两帧分别对应的初始监测图像；检测所述待互换图像是否贴合所述环状区域图像的内边框；若是，则采用相邻两帧所述初始监测图像构建监测图像对；若否，则按照所述待互换图像与所述内边框之间的距离差值调整所述待互换图像
后，采用相邻两帧所述初始监测图像构建监测图像对。
7.可选地，所述目标检测网络包括第一卷积层、第二卷积层和第一全连接层；所述通过所述目标检测网络提取所述监测图像对的挖掘机特征，并关联全部所述挖掘机特征，形成所述挖掘机的目标轨迹的步骤，包括：通过所述第一卷积层将所述监测图像对进行卷积，生成对应的第一卷积特征并输入所述第二卷积层；通过所述第二卷积层对所述第一卷积特征进行卷积，生成多个第二卷积特征图；采用全部所述第二卷积特征图进行串联，生成第一多维特征图并输入所述第一全连接层；采用全部所述待互换图像对应的第二卷积特征图进行串联，生成第二多维特征图并输入所述第一全连接层；通过所述第一全连接层对所述第一多维特征图和所述第二多维特征图进行分类，得到所述第一多维特征图对应的图像前景一致性特征和所述第二多维特征图对应的表观相似性特征；根据所述表观相似性特征，判断当前帧环境图像对应的挖掘机的行动轨迹是否属于目标挖掘机的局部轨迹，并根据判断结果与所述图像前景一致性特征关联全部局部轨迹，形成所述挖掘机的目标轨迹。
8.可选地，所述根据所述表观相似性特征，判断当前帧环境图像对应的挖掘机的行动轨迹是否属于目标挖掘机的局部轨迹，并根据判断结果与所述图像前景一致性特征关联全部局部轨迹，形成所述挖掘机的目标轨迹的步骤，包括：根据所述表观相似性特征，判断当前帧环境图像对应的挖掘机是否属于目标挖掘机；若是，则将所述挖掘机的行动轨迹判定为目标挖掘机的局部轨迹；根据所述图像前景一致性特征，关联全部所述局部轨迹，形成所述挖掘机的目标轨迹；若否，则从剩余的帧环境图像中选取一帧环境图像作为当前帧环境图像，跳转执行所述根据所述表观相似性特征，判断当前帧环境图像对应的挖掘机是否属于目标挖掘机的步骤，直至不存在剩余的帧环境图像。
9.可选地，所述根据所述图像前景一致性特征，关联全部所述局部轨迹，形成所述挖掘机的目标轨迹的步骤，包括：将全部所述局部轨迹映射到判别性投影空间；根据所述图像前景一致性特征的位置相似性特征、尺寸相似性特征和颜色表观相似性特征识别各个所述局部轨迹；按照预设排列顺序关联全部所述局部轨迹，形成所述挖掘机的目标轨迹。
10.可选地，还包括：按照线性运动模型推理判断所述目标轨迹是否形成完整的行动轨迹；若是，则将所述目标轨迹确定为所述目标挖掘机的行动轨迹；若否，则按照非线性运动模型的轨迹填充策略与所述表观相似性特征填补所述目标轨迹的空缺轨迹，形成新的目标轨迹，并跳转执行所述按照线性运动模型推理判断所述
目标轨迹是否形成完整的行动轨迹的步骤，直至所述目标轨迹形成完整的行动轨迹。
11.可选地，所述目标检测网络还包括第二全连接层和第三全连接层，还包括：采用全部所述第二卷积特征图进行并行，生成第三多维特征图；将所述第三多维特征图依次输入所述第二全连接层和所述第三全连接层，生成第一目标偏移量和第二目标偏移量。
12.可选地，根据预设结构相似性，比较所述初始监测图像对应的环状区域图像与待互换图像的协调程度；若所述协调程度小于目标阈值时，则按照预设权值调整所述目标检测网络，并跳转执行所述将相邻两帧环境图像对应的待互换图像进行互换，结合对应的所述环状区域图像构建监测图像对并输入目标检测网络的步骤，直至所述协调程度大于或等于所述目标阈值。
13.本发明第二方面提供的是一种挖掘机运动监测系统，包括：环境图像模块，用于获取待监测区域的监控视频并逐帧提取挖掘机所处的环境图像；待互换图像模块，用于按照预设规格划分所述环境图像，得到待互换图像和环状区域图像；目标检测网络模块，用于将相邻两帧环境图像对应的待互换图像进行互换，结合对应的所述环状区域图像构建监测图像对并输入目标检测网络；目标轨迹模块，用于通过所述目标检测网络提取所述监测图像对的挖掘机特征，并关联全部所述挖掘机特征，形成所述挖掘机的目标轨迹；预警信息模块，用于根据所述目标轨迹预测所述挖掘机的运行动作，对所述运行动作进行异常判断，根据判断结果生成预警信息并输出。
14.本发明第三方面提供的一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述任一项所述的挖掘机运动监测方法的步骤。
15.从以上技术方案可以看出，本发明具有以下优点：本发明通过获取待监测区域的监控视频并逐帧提取挖掘机所处的环境图像，按照预设规格划分环境图像，得到待互换图像和环状区域图像；将相邻两帧环境图像对应的待互换图像进行互换，结合对应的环状区域图像构建监测图像对并输入目标检测网络；通过目标检测网络提取监测图像对的挖掘机特征，并关联全部挖掘机特征，形成挖掘机的目标轨迹；根据目标轨迹预测挖掘机的运行动作，对运行动作进行异常判断，根据判断结果生成预警信息并输出。解决了目前的技术主要是针对视频的行人、车辆等常见目标，在人类活动场所展开的活动，活动背景干扰少、干净，且运动规则性强。而野外条件复杂、无运动规则，挖掘机体型巨大、运动缓慢、受其他地物影响较少，难以在野外及时跟踪挖掘机的运动轨迹，导致存在操作人员操作挖掘机时挖断电缆的风险的技术问题。本发明利用埋地线缆附近架设的监控相机，实时拍摄线缆附近的生产活动，特别是挖掘机等重型施工机械，智能分析检测出其中的挖掘机，跟踪其运动规律，当其靠近、跨越、碾压线缆等危险动作时给出及时的预警。
附图说明
16.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
17.图1为本发明实施例一提供的一种挖掘机运动监测方法的步骤流程图；图2为本发明实施例二提供的一种挖掘机运动监测方法的步骤流程图；图3为本发明实施例二提供的目标挖掘机的目标轨迹关联的流程示意图；图4为本发明实施例二提供的目标挖掘机的轨迹片段关联的流程示意图；图5为本发明实施例三提供的一种挖掘机运动监测系统的结构框图。
具体实施方式
18.本发明实施例提供了一种挖掘机运动监测方法、系统和设备，用于解决目前的技术主要是针对视频的行人、车辆等常见目标，在人类活动场所展开的活动，活动背景干扰少、干净，且运动规则性强。而野外条件复杂、无运动规则，挖掘机体型巨大、运动缓慢、受其他地物影响较少，难以在野外及时跟踪挖掘机的运动轨迹，导致存在操作人员操作挖掘机时挖断电缆的风险的技术问题。
19.为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
20.请参阅图1，图1为本发明实施例一提供的一种挖掘机运动监测方法的步骤流程图。
21.本发明提供的一种挖掘机运动监测方法，包括以下步骤：步骤101、获取待监测区域的监控视频并逐帧提取挖掘机所处的环境图像。
22.需要说明的是，待监测区域指的是监控相机拍摄的埋地线缆所处的环境区域；环境图像指的是监控视频拍摄到的挖掘机周边环境的图像。
23.在具体实施例中，获取待监控区域的一段监控视频，一般为30帧左右，具体地，可视实际情况获取监控视频的时长帧数；为了提取挖掘机的运动特征，按照监控视频的帧数顺序提取每一帧监控视频里关于挖掘机所处的环境图像。
24.步骤102、按照预设规格划分环境图像，得到待互换图像和环状区域图像。
25.需要说明的是，待互换图像指的是需要与相邻帧环境图像进行互换的图像；环状区域图像指的是环境图像划分出待互换图像所剩余的部分图像。
26.在具体实施例中，按照一定的大小规格在环境图像上以挖掘机为中心构建一个图像框，该图像框框住的部分图像就是待互换图像，图像框以外剩余的环境图像为环状区域图像。具体地，图像框预设为一个正方形框，预设规格实际大小可视情况而定。
27.步骤103、将相邻两帧环境图像对应的待互换图像进行互换，结合对应的环状区域图像构建监测图像对并输入目标检测网络。
28.需要说明的是，监测图像对指的是一对相邻两帧互换过待互换图像的监测图像；目标检测网络为yolov5等目标检测网络，yolov5等目标检测网络有大、小等不同规模的模型，适用于高精度、高实时性等各种不同场合，完全可以用于本发明的初始目标检测。
29.在具体实施例中，将相邻两帧环境图像对应的待互换图像进行互换，但是每帧的待互换图像大小不一定一样，互换后，可按照实际规格调整大小，便于互换后的待互换图像刚好镶嵌在对应的环状区域图像的内边框内，两帧互换待互换图像后，构建监测图像对输入目标检测网络。
30.步骤104、通过目标检测网络提取监测图像对的挖掘机特征，并关联全部挖掘机特征，形成挖掘机的目标轨迹。
31.需要说明的是，挖掘机特征包括表观相似性特征和图像前景一致性特征，其中表观相似性特征用于判定同一挖掘机以及该挖掘机的行动轨迹，而图像前景一致性特征用于区分同一环境图像下的挖掘机，以及该挖掘机所处的图像变化，便于分辨上下帧图像，使各个帧图像能连接起来为一个视频监控。
32.在具体实施例中，目标检测网络提取出监测图像对的挖掘机的表观相似性特征和图像前景一致性特征，根据图像前景一致性特征关联所有的表观相似性特征，形成挖掘机的目标轨迹。
33.步骤105、根据目标轨迹预测挖掘机的运行动作，对运行动作进行异常判断，根据判断结果生成预警信息并输出。
34.在具体实施例中，通过目标轨迹获取挖掘机的准确运动规律，跟踪挖掘机的运动，对可能存在的埋地线缆附近危险运动进行预警，包括跨越、碾压等，一旦生成预警信息，立即发出警报声，或发送简讯至相关人员抵达现场进行驱赶或维修。
35.本发明通过获取待监测区域的监控视频并逐帧提取挖掘机所处的环境图像，按照预设规格划分环境图像，得到待互换图像和环状区域图像；将相邻两帧环境图像对应的待互换图像进行互换，结合对应的环状区域图像构建监测图像对并输入目标检测网络；通过目标检测网络提取监测图像对的挖掘机特征，并关联全部挖掘机特征，形成挖掘机的目标轨迹；根据目标轨迹预测挖掘机的运行动作，对运行动作进行异常判断，根据判断结果生成预警信息并输出。解决了目前的技术主要是针对视频的行人、车辆等常见目标，在人类活动场所展开的活动，活动背景干扰少、干净，且运动规则性强。而野外条件复杂、无运动规则，挖掘机体型巨大、运动缓慢、受其他地物影响较少，难以在野外及时跟踪挖掘机的运动轨迹，导致存在操作人员操作挖掘机时挖断电缆的风险的技术问题。本发明利用埋地线缆附近架设的监控相机，实时拍摄线缆附近的生产活动，特别是挖掘机等重型施工机械，智能分析检测出其中的挖掘机，跟踪其运动规律，当其靠近、跨越、碾压线缆等危险动作时给出及时的预警。
36.请参阅图2-4，图2为本发明实施例二提供的一种挖掘机运动监测方法的步骤流程图。
37.本发明提供的一种挖掘机运动监测方法，包括以下步骤：步骤201、获取待监测区域的监控视频并逐帧提取挖掘机所处的环境图像。
38.在本发明实施例中，步骤201的具体实施过程与步骤101类似，在此不再赘述。
39.步骤202、按照预设规格划分环境图像，得到待互换图像和环状区域图像。
40.在本发明实施例中，步骤202的具体实施过程与步骤102类似，在此不再赘述。
41.步骤203、将相邻两帧环境图像对应的待互换图像互换至对应的环状区域图像，得到相邻两帧分别对应的初始监测图像。
42.需要说明的是，初始监测图像指的是互换过待互换图像的待互换图像和环状区域图像的结合图。
43.在本发明实施例中，将相邻两帧环境图像，如第1帧环境图像对应的待互换图像换到第2帧环境图像对应的环状区域图像的内边框里，同理，第2帧环境图像对应的待互换图像换到第1帧环境图像对应的环状区域图像的内边框里。就可以得到相邻两帧分别对应的初始监测图像。
44.步骤204、检测待互换图像是否贴合环状区域图像的内边框。
45.在本发明实施例中，相邻两帧环境图像对应的待互换图像面积大小不一定相等，故互换过待互换图像后，进行检测待互换图像有没有贴合环状区域图像的内边框。
46.步骤205、若是，则采用相邻两帧初始监测图像构建监测图像对。
47.在具体实施例中，如果待互换图像贴合环状区域图像的内边框，则采用相邻两帧初始监测图像构建监测图像对。
48.步骤206、若否，则按照待互换图像与内边框之间的距离差值调整待互换图像后，采用相邻两帧初始监测图像构建监测图像对。
49.在具体实施例中，如果待互换图像不贴合环状区域图像的内边框，先比对相邻两帧待互换图像的面积，按照双方的面积差进行调整，如第1帧待互换图像的面积为42，而第二帧待互换图像的面积为52，计算两帧待互换图像的面积差，并按照该面积差进行调整对应的待互换图像。当调整完后，采用相邻两帧初始监测图像构建监测图像对。
50.步骤207、通过目标检测网络提取监测图像对的挖掘机特征，并关联全部挖掘机特征，形成挖掘机的目标轨迹。
51.可选地，目标检测网络包括第一卷积层、第二卷积层和第一全连接层；步骤207包括以下步骤s11-s16：s11、通过第一卷积层将监测图像对进行卷积，生成对应的第一卷积特征并输入第二卷积层；s12、通过第二卷积层对第一卷积特征进行卷积，生成多个第二卷积特征图；s13、采用全部第二卷积特征图进行串联，生成第一多维特征图并输入第一全连接层；s14、采用全部待互换图像对应的第二卷积特征图进行串联，生成第二多维特征图并输入第一全连接层；s15、通过第一全连接层对第一多维特征图和第二多维特征图进行分类，得到第一多维特征图对应的图像前景一致性特征和第二多维特征图对应的表观相似性特征；s16、根据表观相似性特征，判断当前帧环境图像对应的挖掘机的行动轨迹是否属于目标挖掘机的局部轨迹，并根据判断结果与图像前景一致性特征关联全部局部轨迹，形成挖掘机的目标轨迹。
52.需要说明的是，目标检测网络的输入为被缩放为224x224像素大小的监测图像对，骨干网络基于resnet60，在目标分类方面表现良好，首先通过共享conv1~conv4权重的网络
进行特征提取；然后，特征图f-conv4（14x14x1024）是对应 conv5卷积层的输入，监测图像对的特征图所对应的卷积层conv5层共享权重，同时两帧待互换图像所对应的卷积层conv5层共享权重，卷积层conv5层生成了2048维的四个特征图 f-conv5。将监测图像对的特征图f-conv5串联起来，构成2048x2 = 4096维特征图f-fccls。再然后，特征图f-fccls通过一个全连接层来获得2-分类结果，而图像前景一致性特征是2-分类结果softmax的结果。
53.两帧待互换图像的分支构造了相同的网络结构，但2-分类的softmax结果是第1帧待互换图像中的挖掘机与第2帧待互换图像中的挖掘机之间的表观相似性特征。
54.具体地，可按照表观相似性特征，判断当前帧环境图像对应的挖掘机是否属于目标挖掘机，从而判断该挖掘机的行动轨迹是否属于目标挖掘机的局部轨迹，再按照判断结果与图像前景一致性特征关联全部局部轨迹，形成挖掘机的目标轨迹。
55.可选地，步骤s16包括以下步骤s161-s164：s161、根据表观相似性特征，判断当前帧环境图像对应的挖掘机是否属于目标挖掘机；s162、若是，则将挖掘机的行动轨迹判定为目标挖掘机的局部轨迹；s163、根据图像前景一致性特征，关联全部局部轨迹，形成挖掘机的目标轨迹；s164、若否，则从剩余的帧环境图像中选取一帧环境图像作为当前帧环境图像，跳转执行根据表观相似性特征，判断当前帧环境图像对应的挖掘机是否属于目标挖掘机的步骤，直至不存在剩余的帧环境图像。
56.需要说明的是，通过交换前后帧的挖掘机所处环境的待互换图像，进一步提取了挖掘机的序贯图像前景一致性特征，有效地实现了连续两帧的目标挖掘机的关联，特别是在挖掘机姿态由于颠簸所致的表观特征发生较大变化，或者野外场景的背景杂物发生了变化情形的情况下。
57.在具体实施例中，以提取出的表观相似性特征为参照物，去判断当前帧环境图像对应的挖掘机是不是目标挖掘机，如果是目标挖掘机，就将该挖掘机的行动轨迹列为目标挖掘机的轨迹片段，也就是生成局部轨迹，按照图像前景一致性特征，可以分辨出各帧之间的联系，将所有的局部轨迹关联起来，形成挖掘机的目标轨迹。如果不是目标挖掘机，从剩余的帧环境图像中再选取一帧环境图像作为新的当前帧图像，再重复执行上一步步骤，也就是重新判断当前帧环境图像对应的挖掘机是不是目标挖掘机，直到将全部的帧环境图像循环结束。
58.可选地，步骤s163包括以下步骤s1631-s1633：s1631、将全部局部轨迹映射到判别性投影空间；s1632、根据图像前景一致性特征的位置相似性特征、尺寸相似性特征和颜色表观相似性特征识别各个局部轨迹；s1633、按照预设排列顺序关联全部局部轨迹，形成挖掘机的目标轨迹。
59.需要说明的是，判别性投影空间指的是依据样本投影后的近邻关系（目标空间的近邻关系）设定目标函数中的权值矩阵，并采用迭代过程求解，其基本思想是使目标空间中的同类近邻样本尽量紧凑，目标空间中的异类近邻样本尽量分开。
60.在具体实施例中，如图3所示，挖掘机目标轨迹关联可以分为两个部分，上部为局部轨迹关联，主要是利用上述实施例提到的序贯前后帧环境图像前景网络，进行挖掘机目
标特征的鲁棒提取，消除前后帧环境图像背景的干扰，得到两相邻连续的目标挖掘机的动作行为，形成挖掘机的轨迹片段。图3中除了上部的局部轨迹之外，下部是局部轨迹片段的关联过程，将碎片化的局部轨迹片段连接起来，并且填补空缺片段及目标挖掘机，得到最终全局稳定的修正后目标挖掘机的目标轨迹。轨迹片段关联主要是将目标检测后获得的多个短小的轨迹片段进行多个层次的关联，最终获得目标挖掘机的连续、平滑的行动轨迹。
61.轨迹片段关联的关键之处在于轨迹间相似性度量与划分，即针对轨迹片段间的相似度来判别轨迹的所属目标。这里，位置相似性和尺寸相似性采用的是gaussian高斯距离，颜色表观相似性采用的rgb颜色距离。
62.在野外复杂场景中具有相似的表观相似性特征的挖掘机目标，很容易导致错误的数据关联。像这种复杂场景模式的跟踪应用，要求目标片段轨迹关联不仅有能力针对新输入的帧环境图像要具有较高的判别能力，同时在连续帧环境图像中，目标挖掘机也应该具有较为稳定的表观特性。本发明通过将轨迹的表观模型投影到判别性投影空间中，使轨迹的表观相似性特征更具区别性，实现对全部轨迹片段的关联，形成挖掘机的目标轨迹。
63.步骤208、根据目标轨迹预测挖掘机的运行动作，对运行动作进行异常判断，根据判断结果生成预警信息并输出。
64.在本发明实施例中，步骤208的具体实施过程与步骤105类似，在此不再赘述。
65.可选地，此方法还包括以下步骤s21-s23：s21、按照线性运动模型推理判断目标轨迹是否形成完整的行动轨迹；s22、若是，则将目标轨迹确定为目标挖掘机的行动轨迹；s23、若否，则按照非线性运动模型的轨迹填充策略与表观相似性特征填补目标轨迹的空缺轨迹，形成新的目标轨迹，并跳转执行按照线性运动模型推理判断目标轨迹是否形成完整的行动轨迹的步骤，直至目标轨迹形成完整的行动轨迹。
66.在具体实施例中，在轨迹生成的后续阶段，为了最终获得完整且平滑的轨迹，本发明采用了一种基于非线性运动模型的轨迹填充策略，使部分没有满足线性运动模型推理的残缺轨迹进行关联，填补轨迹片段间空缺。将视频中检测到的目标挖掘机关联成局部轨迹片段，在初步关联与局部轨迹生成过程中，结合了基于特征和基于区域跟踪方法的优点。然后将轨迹片段关联成所要跟踪目标挖掘机的长轨迹，将表观相似性特征代入到全局轨迹的更新迭代计算中，捕捉目标挖掘机的表观相似性特征变化；最后，针对轨迹片段关联结果，进行轨迹片段间的空缺填补。实现对视频流中目标挖掘机的持续跟踪，形成完整的行动轨迹。目标挖掘机的轨迹片段关联的详细过程如图4所示。
67.可选地，目标检测网络还包括第二全连接层和第三全连接层；此方法还包括以下步骤s31-s32：s31、采用全部第二卷积特征图进行并行，生成第三多维特征图；s32、将第三多维特征图依次输入第二全连接层和第三全连接层，生成第一目标偏移量和第二目标偏移量。
68.在具体实施例中，四个图像（监测图像对和两帧待互换图像）对应的特征图f-conv5被并行地组合在一起，以2
×2×
2048维构造特征图f-convref。此特征图通过卷积层conv6生成2048维的特征图f-conv6。检测偏移量
∆
x，
∆
y是在将特征图f-conv6通过两个全连接层之后生成的。
69.可选地，此方法还包括以下步骤s41-s42：s41、根据预设结构相似性，比较初始监测图像对应的环状区域图像与待互换图像的协调程度；s42、若协调程度小于目标阈值时，则按照预设权值调整目标检测网络，并跳转执行将相邻两帧环境图像对应的待互换图像进行互换，结合对应的环状区域图像构建监测图像对并输入目标检测网络的步骤，直至协调程度大于或等于目标阈值。
70.在具体实施例中，将当前帧的待互换图像与下一帧的待互换图像进行交换，利用原始环状区域图像和互换后的待互换图像之间的变化作为相关性度量，提取初始监测图像信息，通过结构相似性测度（ssim）度量初始监测图像信息一致性，判断目标挖掘机检测与初始监测图像环境的协调程度，并指导目标检测网络进行反向误差传播，直至协调程度优于至少95%。由于同一个目标挖掘机在两个相邻帧之间应该有相似或相关的信息，可以将检测到的目标挖掘机放在相应的环境图像中，计算一致性程度ssim，据此驱动目标检测网络学习前后帧环境图像信息序贯一致的目标挖掘机的关联特征。
71.具体地，由于目标挖掘机的原始环境图像背景区域是最和谐的背景区域，因此将交换目标挖掘机的初始监测图像中构建的待互换图像与原始背景区域进行比较，以判断检测到的目标候选挖掘机与目标挖掘机背景区域的协调程度。因此，不仅可以利用背景置换网络来学习图像前景一致性，用以衡量目标挖掘机检测与背景区域的协调程度，而且同时还可以利用学习获得的检测候选挖掘机和目标挖掘机原始背景区域，生成检测候选挖掘机与目标挖掘机的微小偏移量，得到更好的跟踪结果。
72.需要说明的是，目标候选挖掘机与目标挖掘机有可能是同一挖掘机，也有可能不是同一挖掘机，具体可视实际检测情况为准。
73.本发明通过获取待监测区域的监控视频并逐帧提取挖掘机所处的环境图像，按照预设规格划分环境图像，得到待互换图像和环状区域图像；将相邻两帧环境图像对应的待互换图像进行互换，结合对应的环状区域图像构建监测图像对并输入目标检测网络；通过目标检测网络提取监测图像对的挖掘机特征，并关联全部挖掘机特征，形成挖掘机的目标轨迹；根据目标轨迹预测挖掘机的运行动作，对运行动作进行异常判断，根据判断结果生成预警信息并输出。解决了目前的技术主要是针对视频的行人、车辆等常见目标，在人类活动场所展开的活动，活动背景干扰少、干净，且运动规则性强。而野外条件复杂、无运动规则，挖掘机体型巨大、运动缓慢、受其他地物影响较少，难以在野外及时跟踪挖掘机的运动轨迹，导致存在操作人员操作挖掘机时挖断电缆的风险的技术问题。本发明利用埋地线缆附近架设的监控相机，实时拍摄线缆附近的生产活动，特别是挖掘机等重型施工机械，智能分析检测出其中的挖掘机，跟踪其运动规律，当其靠近、跨越、碾压线缆等危险动作时给出及时的预警。
74.请参阅图5，图5为本发明实施例三提供的一种挖掘机运动监测系统的结构框图。
75.本发明提供的一种挖掘机运动监测系统，包括：环境图像模块501，用于获取待监测区域的监控视频并逐帧提取挖掘机所处的环境图像；待互换图像模块502，用于按照预设规格划分环境图像，得到待互换图像和环状区域图像；
目标检测网络模块503，用于将相邻两帧环境图像对应的待互换图像进行互换，结合对应的环状区域图像构建监测图像对并输入目标检测网络；目标轨迹模块504，用于通过目标检测网络提取监测图像对的挖掘机特征，并关联全部挖掘机特征，形成挖掘机的目标轨迹；预警信息模块505，用于根据目标轨迹预测挖掘机的运行动作，对运行动作进行异常判断，根据判断结果生成预警信息并输出。
76.可选地，目标检测网络模块503包括：初始监测图像子模块，用于将相邻两帧环境图像对应的待互换图像互换至对应的环状区域图像，得到相邻两帧分别对应的初始监测图像；内边框子模块，用于检测待互换图像是否贴合环状区域图像的内边框；第一构建监测图像对子模块，用于若是，则采用相邻两帧初始监测图像构建监测图像对；第二构建监测图像对子模块，用于若否，则按照待互换图像与内边框之间的距离差值调整待互换图像后，采用相邻两帧初始监测图像构建监测图像对。
77.可选地，目标检测网络包括第一卷积层、第二卷积层和第一全连接层；目标轨迹模块504包括：第二卷积层子模块，用于通过第一卷积层将监测图像对进行卷积，生成对应的第一卷积特征并输入第二卷积层；第二卷积特征图子模块，用于通过第二卷积层对第一卷积特征进行卷积，生成多个第二卷积特征图；第一全连接层子模块，用于采用全部第二卷积特征图进行串联，生成第一多维特征图并输入第一全连接层；输入第一全连接层子模块，用于采用全部待互换图像对应的第二卷积特征图进行串联，生成第二多维特征图并输入第一全连接层；表观相似性特征子模块，用于通过第一全连接层对第一多维特征图和第二多维特征图进行分类，得到第一多维特征图对应的图像前景一致性特征和第二多维特征图对应的表观相似性特征；目标轨迹子模块，用于根据表观相似性特征，判断当前帧环境图像对应的挖掘机的行动轨迹是否属于目标挖掘机的局部轨迹，并根据判断结果与图像前景一致性特征关联全部局部轨迹，形成挖掘机的目标轨迹。
78.可选地，目标轨迹子模块包括：目标挖掘机子模块，用于根据表观相似性特征，判断当前帧环境图像对应的挖掘机是否属于目标挖掘机；局部轨迹子模块，用于若是，则将挖掘机的行动轨迹判定为目标挖掘机的局部轨迹；关联全部局部轨迹子模块，用于根据图像前景一致性特征，关联全部局部轨迹，形成挖掘机的目标轨迹；帧环境图像子模块，用于若否，则从剩余的帧环境图像中选取一帧环境图像作为当前帧环境图像，跳转执行根据表观相似性特征，判断当前帧环境图像对应的挖掘机是否
属于目标挖掘机的步骤，直至不存在剩余的帧环境图像。
79.可选地，关联全部局部轨迹子模块包括：判别性投影空间子模块，用于将全部局部轨迹映射到判别性投影空间；识别局部轨迹子模块，用于根据图像前景一致性特征的位置相似性特征、尺寸相似性特征和颜色表观相似性特征识别各个局部轨迹；预设排列顺序子模块，用于按照预设排列顺序关联全部局部轨迹，形成挖掘机的目标轨迹。
80.可选地，此系统还包括：完整的行动轨迹子模块，用于按照线性运动模型推理判断目标轨迹是否形成完整的行动轨迹；确定行动轨迹子模块，用于若是，则将目标轨迹确定为目标挖掘机的行动轨迹；行动轨迹子模块，用于若否，则按照非线性运动模型的轨迹填充策略与表观相似性特征填补目标轨迹的空缺轨迹，形成新的目标轨迹，并跳转执行按照线性运动模型推理判断目标轨迹是否形成完整的行动轨迹的步骤，直至目标轨迹形成完整的行动轨迹。
81.可选地，目标检测网络还包括第二全连接层和第三全连接层；此系统还包括：第三多维特征图子模块，用于采用全部第二卷积特征图进行并行，生成第三多维特征图；第二目标偏移量子模块，用于将第三多维特征图依次输入第二全连接层和第三全连接层，生成第一目标偏移量和第二目标偏移量。
82.可选地，此系统还包括：协调程度子模块，用于根据预设结构相似性，比较初始监测图像对应的环状区域图像与待互换图像的协调程度；目标阈值子模块，用于若协调程度小于目标阈值时，则按照预设权值调整目标检测网络，并跳转执行将相邻两帧环境图像对应的待互换图像进行互换，结合对应的环状区域图像构建监测图像对并输入目标检测网络的步骤，直至协调程度大于或等于目标阈值。
83.本发明实施例四还提供了一种电子设备，电子设备包括：存储器及处理器，存储器中储存有计算机程序；计算机程序被处理器执行时，使得处理器执行如上述任一实施例的挖掘机运动监测方法。
84.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
85.在本技术所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
86.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目
的。
87.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
88.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
89.以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。