一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

道路监控设备位置判断方法、装置、存储介质及设备与流程

2022-06-08 16:57:42 来源:中国专利 TAG:


1.本技术涉及人工智能-计算机技术领域,尤其涉及一种道路监控设备位置判断方法、装置、计算机设备、存储介质及设备。


背景技术:

2.在地图各类要素中,监控设备是重要要素之一,监控设备负责违章监控、区间测速、礼让行人等多种功能。因此判断监控设备的位置关系属性,在地图自动化过程中非常关键,监控设备是指道路场景中的各种类型监控摄像头。
3.目前针对监控设备的位置关系判断,大部分需要通过地图要素作业员在地图中对监控设备的位置进行标注,即由作业员根据道路图像数据人工附上监控设备的位置关系属性,需要花费大量人力和时间才能完成道路监控设备的位置标注过程,进而导致成本较高且效率较低。


技术实现要素:

4.本技术实施例所要解决的技术问题在于,提供一种道路监控设备位置判断方法、装置、存储介质及设备,可以提高道路监控设备位置判断的效率以及降低人工成本。
5.本技术实施例一方面提供一种道路监控设备位置判断方法,包括:
6.获取道路图像数据,在道路图像数据中获取包含监控设备的第一图像区域,在道路图像数据中获取候选支撑杆对应的第二图像区域;
7.获取道路图像数据中的目标形状特征,根据目标形状特征,生成道路图像数据对应的掩码图像;掩码图像用于表征道路图像数据中所包含的候选支撑杆和道路分别对应的轮廓;
8.根据第一图像区域、第二图像区域以及掩码图像,在候选支撑杆中确定用于支撑监控设备的目标支撑杆;
9.根据目标支撑杆对应的属性信息,确定监控设备在所述道路中所监控的目标车道。
10.其中,在道路图像数据中获取包含监控设备的第一图像区域,在道路图像数据中获取候选支撑杆对应的第二图像区域,包括:
11.采用第一样本窗口对道路图像数据中所包含的像素点进行遍历,得到与监控设备相关联的m个第一候选区域;m为正整数;
12.获取m个第一候选区域分别对应的设备属性特征,根据设备属性特征,在m个第一候选区域中确定监控设备对应的第一图像区域;
13.采用第二样本窗口对道路图像数据中所包含的像素点进行遍历,得到与候选支撑杆相关联的n个第二候选区域;n为正整数;
14.在n个第二候选区域中,将与第一图像区域具有重叠区域的第二候选区域,确定为候选支撑杆对应的第二图像区域。
15.其中,目标形状特征包括候选支撑杆的形状特征以及道路的形状特征;
16.获取道路图像数据中的目标形状特征,根据目标形状特征,生成道路图像数据对应的掩码图像,包括:
17.将道路图像数据输入分割模型,在分割模型中获取候选支撑杆的形状特征,对支撑杆的形状特征进行像素编码,得到候选支撑杆对应的掩码特征;
18.在分割模型中获取道路的形状特征,对道路的形状特征进行像素编码,得到道路对应的掩码特征;
19.根据候选支撑杆对应的掩码特征以及道路对应的掩码特征,对道路图像数据进行分割,生成掩码图像。
20.其中,目标支撑杆包括第一支撑杆,候选支撑杆的数量为多个,一个候选支撑杆对应一个第二图像区域;
21.根据第一图像区域、第二图像区域以及掩码图像,在候选支撑杆中确定用于支撑监控设备的目标支撑杆,包括:
22.获取第一图像区域分别与多个候选支撑杆所对应的第二图像区域之间的重叠区域;
23.获取第一图像区域分别与多个候选支撑杆所对应的第二图像区域之间的合并区域;
24.获取重叠区域和合并区域之间的比值,将最大的比值所对应的第二图像区域,确定为第一支撑杆对应的目标图像区域;
25.根据目标图像区域,在掩码图像中的多个候选支撑杆确定用于支撑监控设备的第一支撑杆。
26.其中,属性信息包括第一支撑杆的类别信息;
27.根据目标支撑杆对应的属性信息,确定监控设备在道路中所监控的目标车道,包括:
28.在掩码图像中确定第一支撑杆对应的位置区域,根据位置区域与道路对应的轮廓之间的位置关系,确定第一支撑杆的类别信息;
29.当类别信息为第一侧类别时,将第一侧类别对应的车道,确定为监控设备在道路中所监控的目标车道;
30.当类别信息为第二侧类别时,将第二侧类别对应的车道,确定为监控设备在道路中所监控的目标车道;第一侧类别对应的车道与第二侧类别对应的车道具有相反的行驶方向。
31.其中,目标支撑杆包括第二支撑杆和第三支撑杆,候选支撑杆的数量为多个;
32.根据第一图像区域、第二图像区域以及掩码图像,在候选支撑杆中确定用于支撑监控设备的目标支撑杆,包括:
33.获取第一图像区域,分别与多个候选支撑杆所对应的第二图像区域之间的重叠区域以及合并区域;
34.根据重叠区域和合并区域,在多个候选支撑杆所对应的第二图像区域中确定第二支撑杆对应的目标图像区域;
35.根据目标图像区域,在掩码图像的多个候选支撑杆中确定第二支撑杆;
36.在掩码图像中,获取第二支撑杆分别与多个候选支撑杆之间的连接区域;
37.获取第二支撑杆的目标端与连接区域之间的距离,将最短的距离所属的连接区域对应的候选支撑杆,确定为用于支撑第二支撑杆的第三支撑杆;目标端是指第二支撑杆上远离监控设备的一端。
38.其中,属性信息包括第三支撑杆的高度信息;
39.根据目标支撑杆对应的属性信息,确定监控设备在道路中所监控的目标车道,包括:
40.获取第三支撑杆的高度信息,根据第三支撑杆的高度信息确定监控设备的高度信息;
41.根据监控设备的高度信息,将第一图像区域向道路进行投影,得到监控设备在道路中的投影位置;
42.根据投影位置,确定监控设备在道路中所监控的目标车道。
43.本技术实施例一方面提供一种道路监控设备位置判断装置,包括:
44.获取模块,用于获取道路图像数据,在道路图像数据中获取包含监控设备的第一图像区域,在道路图像数据中获取候选支撑杆对应的第二图像区域;
45.生成模块,用于获取道路图像数据中的目标形状特征,根据目标形状特征,生成道路图像数据对应的掩码图像;掩码图像用于表征道路图像数据中所包含的候选支撑杆和道路分别对应的轮廓;
46.第一确定模块,用于根据第一图像区域、第二图像区域以及掩码图像,在候选支撑杆中确定用于支撑监控设备的目标支撑杆;
47.第二确定模块,用于根据目标支撑杆对应的属性信息,确定监控设备在所述道路中所监控的目标车道。
48.其中,获取模块包括:
49.第一遍历单元,用于采用第一样本窗口对道路图像数据中所包含的像素点进行遍历,得到与监控设备相关联的m个第一候选区域;m为正整数;
50.第一确定单元,用于获取m个第一候选区域分别对应的设备属性特征,根据设备属性特征,在m个第一候选区域中确定监控设备对应的第一图像区域;
51.第二遍历单元,用于采用第二样本窗口对道路图像数据中所包含的像素点进行遍历,得到与候选支撑杆相关联的n个第二候选区域;n为正整数;
52.第二确定单元,用于在n个第二候选区域中,将与第一图像区域具有重叠区域的第二候选区域,确定为候选支撑杆对应的第二图像区域。
53.其中,目标形状特征包括候选支撑杆的形状特征以及道路的形状特征;
54.生成模块包括:
55.第一像素编码单元,用于将道路图像数据输入分割模型,在分割模型中获取候选支撑杆的形状特征,对候选支撑杆的形状特征进行像素编码,得到候选支撑杆对应的掩码特征;
56.第二像素编码单元,用于在分割模型中获取道路的形状特征,对道路的形状特征进行像素编码,得到道路对应的掩码特征;
57.生成单元,用于根据候选支撑杆对应的掩码特征以及道路对应的掩码特征,对道
路图像数据进行分割,生成掩码图像。
58.其中,目标支撑杆包括第一支撑杆,候选支撑杆的数量为多个,一个候选支撑杆对应一个第二图像区域;
59.第一确定模块包括:
60.第一获取单元,用于获取第一图像区域分别与多个候选支撑杆所对应的第二图像区域之间的重叠区域;
61.第二获取单元,用于获取第一图像区域分别与多个候选支撑杆所对应的第二图像区域之间的合并区域;
62.第三获取单元,用于获取重叠区域和合并区域之间的比值,将最大的比值所对应的第二图像区域,确定为第一支撑杆对应的目标图像区域;
63.第三确定单元,用于根据目标图像区域,在掩码图像中的多个候选支撑杆确定用于支撑监控设备的第一支撑杆。
64.其中,属性信息包括第一支撑杆的类别信息;
65.第二确定模块包括:
66.第四确定单元,用于在掩码图像中确定第一支撑杆对应的位置区域,根据位置区域与道路对应的轮廓之间的位置关系,确定第一支撑杆的类别信息;
67.第五确定单元,用于当类别信息为第一侧类别时,将第一侧类别对应的车道,确定为监控设备在道路中所监控的目标车道;
68.第六确定单元,用于当类别信息为第二侧类别时,将第二侧类别对应的车道,确定为监控设备在道路中所监控的目标车道;第一侧类别对应的车道与第二侧类别对应的车道具有相反的行驶方向。
69.其中,目标支撑杆包括第二支撑杆和第三支撑杆,候选支撑杆的数量为多个;
70.第一确定模块包括:
71.第三获取单元,用于获取第一图像区域,分别与多个候选支撑杆所对应的第二图像区域之间的重叠区域以及合并区域;
72.第八确定单元,用于根据重叠区域和合并区域,在多个候选支撑杆所对应的第二图像区域中确定第二支撑杆对应的目标图像区域;
73.第九确定单元,用于根据目标图像区域,在掩码图像的多个候选支撑杆中确定第二支撑杆;
74.第四获取单元,用于在掩码图像中,获取第二支撑杆分别与多个候选支撑杆之间的连接区域;
75.第十确定单元,用于获取第二支撑杆的目标端与连接区域之间的距离,将最短的距离所属的连接区域对应的候选支撑杆,确定为用于支撑第二支撑杆的第三支撑杆;目标端是指第二支撑杆上远离监控设备的一端。
76.其中,属性信息包括第三支撑杆的高度信息;
77.第二确定模块包括:
78.第五获取单元,用于获取第三支撑杆的高度信息,根据第三支撑杆的高度信息确定监控设备的高度信息;
79.投影单元,用于根据监控设备的高度信息,将第一图像区域向道路进行投影,得到
监控设备在道路中的投影位置;
80.第十一确定单元,用于根据投影位置,确定监控设备在道路中所监控的目标车道。
81.本技术一方面提供了一种计算机设备,包括:处理器及存储器;
82.其中,存储器用于存储计算机程序,处理器用于调用上述计算机程序,以执行如下步骤:
83.获取道路图像数据,在道路图像数据中获取包含监控设备的第一图像区域,在道路图像数据中获取候选支撑杆对应的第二图像区域;
84.获取道路图像数据中的目标形状特征,根据目标形状特征,生成道路图像数据对应的掩码图像;掩码图像用于表征道路图像数据中所包含的候选支撑杆和道路分别对应的轮廓;
85.根据第一图像区域、第二图像区域以及掩码图像,在候选支撑杆中确定用于支撑监控设备的目标支撑杆;
86.根据目标支撑杆对应的属性信息,确定监控设备在所述道路中所监控的目标车道。
87.本技术实施例一方面提供了一种计算机可读存储介质,上述计算机可读存储介质存储有计算机程序,该计算机程序适于由处理器加载并执行如下步骤:
88.获取道路图像数据,在道路图像数据中获取包含监控设备的第一图像区域,在道路图像数据中获取候选支撑杆对应的第二图像区域;
89.获取道路图像数据中的目标形状特征,根据目标形状特征,生成道路图像数据对应的掩码图像;掩码图像用于表征道路图像数据中所包含的候选支撑杆和道路分别对应的轮廓;
90.根据第一图像区域、第二图像区域以及掩码图像,在候选支撑杆中确定用于支撑监控设备的目标支撑杆;
91.根据目标支撑杆对应的属性信息,确定监控设备在所述道路中所监控的目标车道。
92.本技术一方面提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述一方面中的方法。
93.本技术实施例中,获取道路图像数据,在道路图像数据中获取包含监控设备的第一图像区域,在道路图像数据中获取候选支撑杆对应的第二图像区域,获取道路图像数据中的目标形状特征,根据目标形状特征,生成道路图像数据对应的掩码图像。根据第一图像区域、第二图像区域以及掩码图像,在候选支撑杆中确定用于支撑监控设备的目标支撑杆,根据目标支撑杆对应的属性信息,确定监控设备在道路中所监控的目标车道。可见,在道路监控设备的位置判断过程中,无需人工参与就可以从道路图像数据中自动地检测监控设备,以及用于支撑该监控设备的目标支撑杆,进而可以基于目标支撑杆快速确定监控设备所属的目标车道,进而可以降低人工进行监控设备位置标注而带来的成本和时间,从而可以提高道路中监控设备位置判断的效率。
附图说明
94.为了更清楚地说明本技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
95.图1是本技术实施例提供的一种道路监控设备位置判断系统的架构示意图;
96.图2是本技术实施例提供的一种道路监控设备位置判断方法的流程示意图;
97.图3是本技术实施例提供的一种道路图像数据对应的掩码图像的示意图;
98.图4是本技术实施例提供的一种确定用于支撑监控设备的第一支撑杆的示意图;
99.图5是本技术实施例提供的一种确定用于支撑监控设备的第一支撑杆的示意图;
100.图6是本技术实施例提供的一种根据第一支撑杆的类别信息确定监控设备所监控的目标车道的示意图;
101.图7是本技术实施例提供的一种道路监控设备位置判断方法的示意图;
102.图8是本技术实施例提供的一种确定第三支撑杆的示意图;
103.图9是本技术实施例提供的一种确定监控设备所属的目标车道的示意图;
104.图10是本技术实施例提供的一种确定监控设备的目标车道的示意图;
105.图11是本技术实施例提供的一种采用多任务学习模型对支撑杆和道路进行分割的示意图;
106.图12是本技术实施例提供的一种道路监控设备位置判断装置的结构示意图;
107.图13是本技术实施例提供的一种计算机设备的结构示意图。
具体实施方式
108.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
109.人工智能(artificial intelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
110.其中,计算机视觉技术(computer vision,cv)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多
维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、ocr、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。在本技术中,可以利用计算机视觉技术在道路图像数据获取包含监控设备的第一图像区域、候选支撑杆对应的第二图像区域以及道路图像数据对应的掩码图像,根据第一图像区域与第二图像区域以及掩码图像,在候选支撑杆中确定用于支撑监控设备的目标支撑杆,然后根据目标支撑杆对应的属性信息,确定监控设备在道路中所监控的目标车道。以此可以不用再人工确定监控设备所属的目标车道,降低人工成本以及提高监控设备位置判断的效率。
111.请参见图1,图1是本技术实施例提供的一种道路监控设备位置判断系统的结构示意图。如图1所示,该道路监控设备位置判断系统可以包括服务器10和用户终端集群。该用户终端集群可以包括一个或者多个用户终端,这里将不对用户终端的数量进行限制。如图1所示,具体可以包括用户终端100a、用户终端100b、用户终端100c、

、用户终端100n。如图1所示,用户终端100a、用户终端100b、用户终端100c、

、用户终端100n可以分别与上述服务器10进行网络连接,以便于每个用户终端可以通过该网络连接与服务器10进行数据交互。
112.其中,该用户终端集群中的每个用户终端均可以包括:智能手机、平板电脑、笔记本电脑、桌上型电脑、可穿戴设备、智能家居、头戴设备等具有监控设备位置判断功能的智能终端。应当理解,如图1所示的用户终端集群中的每个用户终端均可以安装有目标应用(即应用客户端),当该应用客户端运行于各用户终端中时,可以分别与上述图1所示的服务器10之间进行数据交互。
113.其中,如图1所示,服务器10可以用于在道路图像数据获取包含监控设备的第一图像区域、候选支撑杆对应的第二图像区域以及道路图像数据对应的掩码图像,根据第一图像区域与第二图像区域以及掩码图像,在候选支撑杆中确定用于支撑监控设备的目标支撑杆,然后根据目标支撑杆对应的属性信息,确定监控设备在道路中所监控的目标车道。该服务器10可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。
114.为便于理解,本技术实施例可以在图1所示的多个用户终端中选择一个用户终端作为目标用户终端。例如,本技术实施例可以将图1所示的用户终端100a作为目标用户终端,该目标用户终端中可以集成有具备该监控设备位置判断功能的目标应用(即应用客户端)。此时,该目标用户终端可以通过该应用客户端对应的业务数据平台与服务器10之间实现数据交互。如目标用户终端可以将道路图像数据发送至服务器10,服务器10可以根据道路图像数据,确定监控设备在所述道路中所监控的目标车道,将监控设备所属的目标车道发送至目标用户终端。
115.请参见图2,图2是本技术实施例提供的一种道路监控设备位置判断方法的流程示意图。该道路监控设备位置判断方法可由计算机设备来执行,该计算机设备可以为服务器(如上述图1中的服务器11),或者用户终端(如上述图1的用户终端集群中的任一用户终端),或者为服务器和用户终端组成的系统,本技术对此不做限定。如图2所示,该道路监控
设备位置判断方法可以包括步骤s101-s104。
116.s101,获取道路图像数据,在道路图像数据中获取包含监控设备的第一图像区域,在道路图像数据中获取候选支撑杆对应的第二图像区域。
117.具体的,计算机设备可以获取道路对应的道路图像数据,该道路图像数据可以是指对道路进行拍摄得到的视频中的任一视频帧,也可以是指对道路进行拍摄得到的照片。得到道路图像数据后,计算机设备可以对该道路图像数据进行目标检测,对道路图像数据中所包含的监控设备以及候选支撑杆进行定位,以得到包含监控设备的第一图像区域和包含候选支撑杆的第二图像区域。其中,该监控设备是指道路场景中的各种类型监控摄像头,具有违章监控、区间测速、礼让行人监控等多种功能。候选支撑杆是指在道路图像数据中满足预设目标形状的物体,该预设目标形状可以是矩形形状,该候选支撑杆可以是指道路图像数据中的杆状物体,如位于道路上方且与道路相连的竖杆,以及与竖杆和监控设备相连的横杆。第一图像区域与第二图像区域的形状可以是规则的形状,如长方形或正方形等,也可以是不规则的形状,如根据监控设备的轮廓或者候选支撑杆的轮廓所确定的形状等等;可以理解地,第一图像区域的尺寸与监控设备在道路图像数据的显示尺寸相关联,第二图像区域的尺寸与候选支撑杆在道路图像数据中的显示尺寸相关联。
118.可选的,道路图像数据中可以包含监控设备,也可以不包含监控设备。当道路图像数据中包含监控设备时,计算机设备对道路图像数据进行目标检测后,可以得到包含监控设备的第一图像区域和包含候选支撑杆的第二图像区域;当道路图像数据中不包含监控设备时,计算机设备对道路图像数据进行目标检测时,无法得到包含监控设备的第一图像区域,即可以停止对该道路图像数据的后续处理,进而可以获取新的道路图像数据重新进行目标检测,可以提高道路图像数据的处理效率。
119.可选的,在道路图像数据中获取包含监控设备的第一图像区域,以及在道路图像数据中获取包含候选支撑杆的第二图像区域时,可以采用第一样本窗口对道路图像数据中所包含的像素点进行遍历,得到与监控设备相关联的m个第一候选区域,m为正整数。获取m个第一候选区域分别对应的设备属性特征,根据设备属性特征,在m个第一候选区域中确定监控设备对应的第一图像区域,采用第二样本窗口对道路图像数据中所包含的像素点进行遍历,得到与候选支撑杆相关联的n个第二候选区域,n为正整数。在n个第二候选区域中,将与第一图像区域具有重叠区域的第二候选区域,确定为候选支撑杆对应的第二图像区域。
120.具体的,计算机设备可以采用第一样本窗口对道路图像数据中所包含的像素点进行遍历,得到与监控设备相关联的m个第一候选区域,该m为正整数。其中,第一样本窗口的大小可以随机调整,与监控设备相关联的m个第一候选区域是指第一样本窗口在道路图像数据所包含的像素点中,所覆盖到的包含监控设备的像素点的区域。与监控设备相关联的m个第一候选区域中均包含了道路图像数据中监控设备的像素点,可能是包含了监控设备对应的全部像素点,也可能是包含了监控设备对应的部分像素点。具体的,计算机设备采用第一样本窗口对道路图像数据中所包含的像素点进行遍历时,会得到i个第一候选区域,该i为正整数。对i个第一候选区域中每个第一候选区域进行特征提取,得到i个第一候选区域中每个第一候选区域对应的特征信息。根据i个第一候选区域中每个第一候选区域对应的特征信息,从i个第一候选区域中确定与监控设备相关联的m个第一候选区域,即根据i个第一候选区域中每个第一候选区域对应的特征信息,确定i个第一候选区域中每个第一候选
区域中是否包含监控设备的像素点信息,若包含监控设备的像素点信息,则确定为与监控设备相关联的第一候选区域。
121.计算机设备获得与监控设备相关联的m个第一候选区域后,可以获取m个第一候选区域分别对应的设备属性特征,根据设备属性特征,在m个第一候选区域中确定监控设备对应的第一图像区域。该设备属性特征可以是指m个第一候选区域中每个第一候选区域所包含监控设备的像素点对应的比例信息,即m个第一候选区域中每个第一候选区域所包含的监控设备的像素点占完整监控设备的像素点的比例。若该比例为预设阈值,则将比例为预设阈值所对应的第一候选区域,确定为监控设备对应的第一图像区域。其中,预设阈值可以为100%,即第一候选区域中完全包含监控设备的所有像素点,也可以低于100%,由于可能存在道路图像数据的像素较差,导致第一像素区域中不能完全包含监控设备的全部像素点,因此预设阈值可以具体情况具体设置。其中,在得到完全覆盖监控设备的全部像素点的第一图像区域后,该完全覆盖监控设备的第一图像区域的大小可能不一样,有的第一图像区域可能比较大,有的第一图像区域可能比较小。由于在输出包含监控设备的第一图像区域时,会将包含监控设备的第一图像区域设置一定尺度输出,可以在设置成一定尺度后的第一图像区域中,确定图像清晰度最高的第一图像区域。将清晰度最高的第一图像区域输出作为监控设备对应的第一图像区域。
122.同样的,在道路图像数据中获取候选支撑杆对应的第二图像区域时,计算机设备可以采用第二样本窗口对道路图像数据中所包含的像素点进行遍历,得到与候选支撑杆相关联的n个第二候选区域,n为正整数,具体内容可以参看在道路图像数据中获取包含监控设备的第一图像区域的方法。第二样本窗口的大小也可以随机调整,对第二样本窗口在道路图像数据中所覆盖的q个第二候选区域进行特征提取,从q个第二候选区域获得与候选支撑杆相关联的n个第二候选区域,q为正整数。与候选支撑杆相关联可以是指覆盖了候选支撑杆的所有像素点。得到与候选支撑杆相关联的n个第二候选区域后,在n个第二候选区域中,将与第一图像区域具有重叠区域的第二候选区域,确定为候选支撑杆对应的第二图像区域。即在在n个第二候选区域中,确定与包含监控设备的第一图像区域有重叠部分的第二候选区域,并将与第一图像区域具有重叠区域的第二候选区域,确定为候选支撑杆对应的第二图像区域。
123.s102,获取道路图像数据中的目标形状特征,根据目标形状特征,生成道路图像数据对应的掩码图像。
124.具体的,在生成道路图像数据对应的掩码图像时,计算机设备可以将道路图像数据输入分割模型,在分割模型中获取道路图像数据对应的目标形状特征。对道路图像数据中的目标形状特征进行像素编码,获得道路图像数据对应的掩码特征,根据道路图像数据对应的掩码特征,对道路图像数据进行分割,得到道路图像数据对应的掩码图像。其中,目标形状特征包括候选支撑杆的形状特征以及道路的形状特征,掩码图像用于表征道路图像数据中所包含的候选支撑杆和道路分别对应的轮廓。换言之,在道路图像数据中识别出候选支撑杆与道路的轮廓,并进行像素编码凸显候选支撑杆与道路,将候选支撑杆和道路与其他物体区分。其中,本技术实施例中的分割模型也可以称为多任务学习模型,多任务学习可以是指迁移学习算法的一种,通过共享相关任务之间的表征,可以使多任务学习模型更好地概括原始任务。由于候选支撑杆的属性类别与道路的属性类别有紧密的语义性关联,
因此采用多任务学习能够通过共享候选支撑杆分割任务和道路分割任务之间的特征表达,使得多任务学习模型优于单独进行单个任务(候选支撑杆语义分割任务或者道路实例分割任务)的性能,同时提升网络的泛化性。另外,多任务学习模型同时学习两种任务:候选支撑杆语义分割和道路实例分割,相比于分别单独进行候选支撑杆语义分割和道路实例分割的网络更加高效。
125.如图3所示,图3是本技术实施例提供的一种道路图像数据对应的掩码图像的示意图,如图3所示,获取道路图像数据后,将道路图像数据输入分割模型,在分割模型中获取道路图像数据对应的目标形状特征。如图3所示,该目标形状特征包括候选支撑杆的形状特征以及道路的形状特征,候选支撑杆的形状特征可以是指与道路相连竖直向上的竖杆和位于道路上方的横杆,道路的形状特征可以是指道路中车辆行驶车道。对候选支撑杆的形状特征以及道路的形状特征进行像素编码,获得道路图像数据对应的掩码特征,根据道路图像数据对应的掩码特征,对道路图像数据进行分割,得到道路图像数据对应的掩码图像。如图3所示,该掩码图像用于表征所述道路图像数据中所包含的所述候选支撑杆和道路分别对应的轮廓。如图3所示,由于支撑杆上可能会附属路牌、电箱等物体,因此在对道路图像数据中支撑杆进行分割的时候会存在截断的情况,为了保证支撑杆的完整性以及后续确保在确定监控设备在道路中所监控的目标车道的准确性,可以采用形态学闭运算连接断开的支撑杆。
126.s103,根据第一图像区域、第二图像区域以及掩码图像,在候选支撑杆中确定用于支撑监控设备的目标支撑杆。
127.具体的,由于道路图像数据对应的是平面图像,可能会由于角度的问题导致道路图像数据中存在多个候选支撑杆与监控设备相连,而在实际中只有一个支撑杆与监控设备相连,因此需要在候选支撑杆确定用于支撑监控设备的目标支撑杆。若在道路图像数据中显示只有一个候选支撑杆与监控设备相连,则候选支撑杆的数量为一个,则该候选支撑杆则为用于支撑监控设备的目标支撑杆。若在道路图像数据中显示有多个候选支撑杆与监控设备相连,则该候选支撑杆的数量为多个,则需要从多个候选支撑杆中确定用于支撑监控设备的目标支撑杆。
128.可选的,目标支撑杆包括第一支撑杆,若候选支撑杆的数量为多个,一个候选支撑杆对应一个第二图像区域,可以从多个候选支撑杆中确定用于支撑监控设备的第一支撑杆,当支撑该监控设备的支撑杆仅为固定于道路的竖杆时,此时的竖杆可以称为第一支撑杆;当支撑该监控设备的支撑杆包括固定于道路的竖杆以及与该竖杆相互支撑的横杆时,此时的横杆可以称为第一支撑杆。
129.其中,确定第一支撑杆的具体过程可以包括:计算机设备可以获取第一图像区域分别与多个候选支撑杆所对应的第二图像区域之间的重叠区域,以及获取第一图像区域分别与多个候选支撑杆所对应的第二图像区域之间的合并区域。获取重叠区域和合并区域之间的比值,将最大的比值所对应的第二图像区域,确定为第一支撑杆对应的目标图像区域,根据目标图像区域,在掩码图像中的多个候选支撑杆确定用于支撑监控设备的第一支撑杆。
130.可选的,当候选支撑杆的数量为多个时,计算机设备可以获取包含监控设备的第一图像区域分别与多个候选支撑杆对应的第二图像区域之间的重叠区域,即获取第一图像
区域与每个候选支撑杆对应的第二图像区域之间的重叠区域。其中,一个候选支撑杆对应一个第二图像区域。进而可以获取第一图像区域分别与多个候选支撑杆对应的第二图像区域之间的合并区域,该合并区域是指第一图像区域与候选支撑杆对应的第二图像区域之间的并集所对应的区域。获取每个候选支撑杆对应的重叠区域与合并区域之间的比值,即重叠区域的面积与合并区域的面积之间的比值,将最大比值所对应的第二图像区域,确定为第一支撑杆对应的目标图像区域。根据目标第二图像区域,在掩码图像中的多个候选支撑杆确定用于支撑监控设备的第一支撑杆。
131.其中,在获取重叠区域与合并区域之间的比值时,可以采用如下公式(1)进行计算。
132.iou=(a∩b)/(a∪b)
ꢀꢀ
(1)
133.其中,公式(1)中的iou用于表示重叠区域与合并区域之间的比值,a用于表示第一图像区域,b用于表示第二图像区域,a∩b用于表示第一图像区域与第二图像区域之间的重叠区域,a∪b用于表示第一图像区域与第二图像区域的合并区域。
134.如图4所示,图4是本技术实施例提供的一种确定用于支撑监控设备的第一支撑杆的示意图,如图4所示,黑色区域表示的是包含监控设备的第一图像区域,灰色区域表示的是候选支撑杆对应的第二图像区域,该候选支撑杆的形状特征为道路中位于路面上方的横杆,即监控设备吸附在横杆上时,从多个候选横杆中确定用于支撑监控设备的目标横杆。如图4所示,候选支撑杆1对应的第二图像区域401、候选支撑杆2对应的第二图像区域402以及候选支撑杆3对应的第二图像区域403均与监控设备的图像区域有相交部分,则获取候选支撑杆1对应的第二图像区域401,与包含监控设备的第一图像区域之间的重叠区域与合并区域,以及获取该候选支撑杆1对应的重叠区域与合并区域之间的比值1。同样的,获取候选支撑杆2对应的重叠区域与合并区域之间的比值2以及候选支撑杆3对应的重叠区域与合并区域之间的比值3。如图4所示,候选支撑杆2对应的重叠区域与合并区域之间的比值2大于候选支撑杆1对应的重叠区域与合并区域之间的比值1,以及大于候选支撑杆3对应的重叠区域与合并区域之间的比值3,因此将候选支撑杆2确定为用于支撑监控设备的第一支撑杆。
135.如图5所示,图5是本技术实施例提供的一种确定用于支撑监控设备的第一支撑杆的示意图,如图5所示,黑色区域表示的是包含监控设备的第一图像区域,灰色区域表示的是候选支撑杆对应的第二图像区域,该候选支撑杆的形状特征为竖直向上且与道路相连的竖杆,即监控设备吸附在竖杆上时,从多个候选竖杆中确定用于支撑监控设备的目标竖杆。如图5所示,候选支撑杆4对应的第二图像区域501、候选支撑杆5对应的第二图像区域502以及候选支撑杆6对应的第二图像区域503均与监控设备的图像区域有相交部分,则获取候选支撑杆4对应的第二图像区域501,与包含监控设备的第一图像区域之间的重叠区域与合并区域之间的比值4。同样的,获取候选支撑杆5对应的重叠区域与合并区域之间的比值5,以及候选支撑杆5对应的重叠区域与合并区域之间的比值6。如图4所示,候选支撑杆5对应的重叠区域与合并区域之间的比值5大于比值4和比值6,因此将候选支撑杆5确定为用于支撑监控设备的第一支撑杆。
136.s104,根据目标支撑杆对应的属性信息,确定监控设备在道路中所监控的目标车道。
137.具体的,确定用于支撑监控设备的目标支撑杆后,可以根据目标支撑杆的属性信
息,确定监控设备在道路中所监控的目标车道。其中,目标支撑杆的属性信息可以是目标支撑杆的类别信息以及目标支撑杆的高度信息等等,目标车道可以是指一个车辆行驶车道,也可以是指多个车辆行驶车道。在本技术实施例中,可以将车道分为本侧车道和非本侧车道,目标车道可以是本侧车道和非本侧车道中的任意一个车道。如可以根据车辆行驶方向进行划分,车辆行驶方向可以包括第一方向(靠道路右侧的车辆前进方向)和第二方向(靠道路左侧的车辆前进方向),第一方向和第二方向对应的车辆前进方向相反。如图3所示,若当前车辆的行驶方向为第一方向(如靠道路右侧的车辆前进方向),即灰色区域对应的车辆行驶方向,则灰色区域为本侧车道,非本侧车道可以是指除本侧车道之外的其他地方,如对侧道路(白色区域对应的车道)、路口、斑马线、本侧非机动车道、对侧非机动车道等等。若当前车辆的行驶方向为第二方向(如靠道路左侧的车辆前进方向),即白色区域对应的车辆行驶方向,则白色区域为本侧车道,非本侧车道可以是指除本侧车道之外的其他地方,如对侧道路(灰色区域对应的车道)、路口、斑马线、本侧非机动车道、对侧非机动车道等等。
138.可选的,若目标支撑杆为第一支撑杆时,目标支撑杆的属性信息包括第一支撑杆的类别信息,在多个候选支撑杆中确定用于支撑监控设备的第一支撑杆后,可以根据第一支撑杆的类别信息,确定监控设备在道路中所监控的目标车道。具体的,计算机设备可以在掩码图像中确定第一支撑杆对应的位置区域,根据位置区域与道路对应的轮廓之间的位置关系,确定第一支撑杆的类别信息。当类别信息为第一侧类别时,将第一侧类别对应的车道,确定为监控设备在道路中所监控的目标车道;当类别信息为第二侧类别时,将第二侧类别对应的车道,确定为监控设备在道路中所监控的目标车道,第一侧类别对应的车道与第二侧类别对应的车道具有相反的行驶方向。
139.具体的,计算机设备可以在掩码图像中确定第一支撑杆的位置区域,根据该位置区域与道路对应的轮廓之间的位置关系,确定第一支撑杆的类别信息,即判断第一支撑杆位于道路的哪侧。具体的,可以将第一支撑杆的位置区域与道路对应的轮廓之间的位置关系输入类别判断模型中,输出第一支撑杆的类别信息,该类别判断模型可以预先进行训练,得到能够进行支撑杆类别判断的类别判断模型。具体的,在训练得到类别判断模型时,可以获取候选模型,以及样本支撑杆与样本道路之间的位置关系,以及样本支撑杆对应的标注类别。将样本支撑杆与样本道路之间的位置关系输入候选模型中,对样本支撑杆的类别进行预测,得到预测类别,根据样本支撑杆对应的标注类别和预测类别确定候选模型的损失值。若候选模型的损失值不满足收敛条件,则根据损失值对候选模型中的参数进行调整,得到类别判断模型,若候选模型的损失值满足收敛条件,则将候选模型作为类别判断模型。
140.第一支撑杆的类别信息包括第一侧类别和第二侧类别,第一侧类别对应的车道与第二侧类别对应的车道具有相反的行驶方向,如第一侧类别的杆可以是指位于道路本侧的杆,第二类别的杆可以是指位于道路对侧的杆。当第一支撑杆的类别信息为第一侧类别时,将第一侧类别对应的车道,确定为监控设备在道路中所监控的目标车道。如当第一支撑杆的类别信息为第一侧类别时,第一侧类别对应的车道为本侧车道,则将本侧车道确定为监控设备在道路中所监控的目标车道。当类别信息为第二侧类别时,将第二侧类别对应的车道,确定为监控设备在所述道路中所监控的目标车道,如当第一支撑杆的类别信息为第二侧类别时,第二侧类别对应的车道为非本侧车道,则将非本侧车道确定为监控设备在道路中所监控的目标车道。如图6所示,图6为本技术实施例提供的一种根据第一支撑杆的类别
信息确定监控设备所监控的目标车道的示意图,如图6所示,若第一支撑杆的类别信息为第一侧类别(即为第一侧支撑杆)时,第一侧类别对应的车道为本侧车道,则可以确定监控设备在道路中所监控的目标车道为本侧车道。若第一支撑杆的类别信息为第二侧类别(即为第二侧支撑杆)时,第二侧类别对应的车道为非本侧车道中的对侧车道,则监控设备的在道路中所监控的目标车道为对侧车道。在本技术实施例,由于支撑杆与道路的关联密切,因此通过支撑杆的类别信息确定监控设备所监控的目标车道,可以提高道路监控设备位置判断的准确性。
141.可选的,本实施例可以适用于车辆行驶过程中地图导航中的监控设备提醒,如车道在道路的一侧行驶的过程中,当车辆与监控设备的距离满足预设距离条件时,则进行语音提醒。如车辆与距离监控设备100米,就会提示车辆前方100米有测速监控,请控制车速。但是当车辆与监控设备的距离满足预设距离条件,若不对该监控设备所监控的目标车道进行判断时,则会出现导航系统检测到车辆与对侧车道的监控设备满足预设距离条件时,就进行语音提醒,但是车辆行驶的车道前方并没有监控设备,则会存在误报的情况。因此,在本技术实施例中,当导航系统检测到车辆与监控设备的距离满足预设距离条件,则确定监控设备在道路中所监控的目标车道(本侧车道或者非本侧车道),判断监控设备所监控的目标车道与当前车辆行驶的车道是否为同一侧(即是否为本侧),若为本侧车道侧进行语音提醒,若为非本侧,则不进行语音提醒。
142.在本技术实施例中,通过获取道路图像数据,在道路图像数据中获取包含监控设备的第一图像区域,在道路图像数据中获取候选支撑杆对应的第二图像区域,获取道路图像数据中的目标形状特征,根据目标形状特征,生成道路图像数据对应的掩码图像。根据第一图像区域、第二图像区域以及掩码图像,在候选支撑杆中确定用于支撑监控设备的目标支撑杆,根据目标支撑杆对应的属性信息,确定监控设备在道路中所监控的目标车道。可见,在道路监控设备的位置判断过程中,无需人工参与就可以从道路图像数据中自动地检测监控设备,以及用于支撑该监控设备的目标支撑杆,进而可以基于目标支撑杆快速确定监控设备所属的目标车道,进而可以降低人工进行监控设备位置标注而带来的成本和时间,从而可以提高道路中监控设备位置判断的效率。
143.如图7所示,图7为本技术实施例提供的一种道路监控设备位置判断方法的示意图,该方法可由计算机设备来执行,该方法可由计算机设备来执行,该计算机设备可以为服务器(如上述图1中的服务器11),或者用户终端(如上述图1的用户终端集群中的任一用户终端),或者为服务器和用户终端组成的系统,本技术对此不做限定。如图7所述,该另一种道路监控设备位置判断方法的步骤包括s201-206。
144.s201,获取道路图像数据,在道路图像数据中获取包含监控设备的第一图像区域,在道路图像数据中获取候选支撑杆对应的第二图像区域。
145.s202,获取道路图像数据中的目标形状特征,根据目标形状特征,生成道路图像数据对应的掩码图像。
146.本技术实施例中步骤s201-202的具体实现方式可以参看图2所对应实施例中的描述,本技术实施例在此不再累述。
147.s203,根据第一图像区域、第二图像区域以及掩码图像,在候选支撑杆中确定用于支撑监控设备的目标支撑杆。
148.具体的,目标支撑杆包括第二支撑杆和第三支撑杆,候选支撑杆的数量为多个,可以从多个候选支撑杆中确定第二支撑杆和第三支撑杆,第二支撑杆与第三支撑杆相连,共同用于支撑监控设备,例如,道路中可以使用固定于道路的竖杆,以及与该竖杆互相连接的横杆,来支撑监控设备,此时用于支撑监控设备的横杆可以称为第二支撑杆,用于支撑监控设备的竖杆可以称为第三支撑杆。具体的,计算机设备可以获取第一图像区域,分别与多个候选支撑杆所对应的第二图像区域之间的重叠区域以及合并区域。根据重叠区域和合并区域,在多个候选支撑杆所对应的第二图像区域中确定第二支撑杆对应的目标图像区域,根据目标图像区域,在掩码图像的多个候选支撑杆中确定第二支撑杆。在掩码图像中,获取第二支撑杆分别与多个候选支撑杆所之间的连接区域,获取第二支撑杆的目标端与连接区域之间的距离,将最短的距离所属的连接区域对应的候选支撑杆,确定为用于支撑第二支撑杆的第三支撑杆,目标端是指第二支撑杆上远离监控设备的一端。
149.具体的,第二支撑杆可以是指用于支撑监控设备的横杆,第三支撑杆可以是指用于支撑监控设备和第二支撑杆的竖杆,可以在多个候选支撑杆中确定第二支撑杆和第三支撑杆。其中,确定第二支撑杆的具体实现方式可以参看图2所对应实施例中确定第一支撑杆的描述,即计算机设备获取第一图像区域,分别与多个候选支撑杆所对应的第二图像区域之间的重叠区域以及合并区域,根据重叠区域和合并区域。在多个候选支撑杆所对应的第二图像区域中确定第二支撑杆对应的目标图像区域,根据目标图像区域,在掩码图像的多个候选支撑杆中确定第二支撑杆。同样的,由于道路图像数据对应的是平面图像,并不能直接确定与第二支撑杆相连的候选支撑杆就是第三支撑杆,因为可能会由于角度的问题导致道路图像数据中存在多个候选支撑杆与第二支撑杆相连,而在实际中只有一个第三支撑杆与第二支撑杆相连,因此需要在候选支撑杆确定用于支撑第二支撑杆的第三支撑杆。同样的,与第二支撑杆相连的候选支撑杆的数量可能为1,也可能为多个。若与第二支撑杆相连的候选支撑杆的数量为1个,则将该候选支撑杆确定为第三支撑杆。若与第二支撑杆相连的候选支撑杆的数量为多个,则在多个候选支撑杆中确定第三目标支撑杆。
150.其中,计算机设备在确定第三支撑杆的过程中,可以在掩码图像中,获取第二支撑杆分别与多个候选支撑杆之间的连接区域,然后获取第二支撑杆的目标端与多个候选支撑杆分别对应的连接区域之间的距离,将最短的距离所属的连接区域对应的候选支撑杆,确定为用于支撑所述第二支撑杆的第三支撑杆;目标端是指第二支撑杆上远离监控设备的一端。
151.如图8所示,图8是本技术实施例提供的一种确定第三支撑杆的示意图,如图8所示,杆1和杆2是指在掩码图像中显示与第二支撑杆相连(即存在重叠部分)的候选支撑杆,正方形区域501内的为包含监控设备的第一图像区域,与监控设备对应的第一图像区域相连的横杆是第二支撑杆,矩形区域502是指杆1与第二支撑杆的连接区域,矩形区域503是指杆2与第二支撑杆的连接区域。如图5所示,存在多个候选支撑杆(即杆1与杆2)与第二支撑杆相连,需要从多个候选支撑杆中确定第三支撑杆。因此可以获取连接区域502与第二支撑杆的目标端之间的第一距离,以及获取连接区域503与第二支撑杆的目标端之间的第二距离,该目标端是指第一目标支撑杆上远离监控设备的一端如图5所示,第二支撑杆的目标端是指靠近杆2的一端。如图5所示,连接区域503与第二支撑杆的目标端之间的第二距离最短,因此可以将第二距离所属的连接区域503所对应的杆2确定为用于支撑第二支撑杆的第
三支撑杆。
152.s204,获取目标支撑杆的高度信息,根据目标支撑杆的高度信息确定监控设备的高度信息。
153.具体的,计算机设备可以获取目标支撑杆中第三支撑杆的高度信息,根据第三支撑杆的高度信息确定监控设备的目标车道。具体的,获取到第三支撑杆的高度信息后,可以将第三支撑杆的高度信息作为监控设备的高度信息。也可以获取第三支撑杆远离地面的一端(即第三支撑杆的顶点)与监控设备在第一方向上的距离,该第一方向可以是指垂直于地面且竖直向上的方向,对在第一方向上的距离与第三支撑杆的高度进行求和,获得监控设备的高度信息。
154.s205,根据监控设备的高度信息,将第一图像区域向道路进行投影,得到监控设备在道路中的投影位置。
155.s206,根据投影位置,确定监控设备在道路中所监控的目标车道。
156.具体的,在得到监控设备的高度信息后,计算机设备可以根据监控设备的高度信息,将第一图像区域向道路进行投影,得到监控设备在道路中的投影位置。根据投影位置,确定监控设备在道路中所监控的目标车道,若投影位置在本侧车道,则确定监控设备所监控的目标车道为本侧车道;若投影位置在非本侧车道(如对侧车道),则确定监控设备所监控的目标车道为非本侧车道。计算机设备根据监控设备的高度信息对监控设备进行投影,可以避免直接对监控设备进行投影时,因道路图像数据所对应的平面图形中因角度错位而导致误差,导致得到的投影位置不准确,可以提高道路监控设备位置判断的准确性。
157.如图9所示,图9是本技术实施例提供的一种确定监控设备所属的目标车道的示意图,如图9所示,计算机设备在道路图像数据中获取包含监控设备的第一图像区域,以及确定用于支撑第三支撑杆后,可以获取第三支撑杆的高度信息,根据第三支撑杆的高度信息确定监控设备的高度信息。根据监控设备的高度信息,将监控设备向道路进行投影,得到监控设备在道路上的投影区域。根据投影区域所属的车道确定监控设备所属的目标车道。根据监控设备的高度信息对监控设备进行投影,可以增加得到的监控设备所属的目标车道的准确度,避免直接对监控进行投影时,由于道路图像数据中角度错位问题使得到的投影区域不准确。
158.具体的,如图10所示,图10是本技术实施例提供的一种确定监控设备的目标车道的示意图,如图10所示,获得道路图像数据后,计算机设备会对道路图像数据进行目标检测,在道路图像数据中获取包含监控设备的第一图像区域,以及在道路图像数据中获取包含候选支撑杆的第二图像区域。如图10所示,第一图像区域为包含监控设备的实线矩形框所对应的区域,第二图像区域为包含候选支撑杆的虚线矩形框所对应的区域。如图10所示,计算机设备还会对道路图像数据中的道路进行分割,获得道路图像中四个车道对应的掩码图像,即图10中所示的车道1、车道2、车道3、车道4。计算机设备还会对道路图像数据中的候选支撑杆进行实例分割,获得道路图像数据中候选支撑杆对应的掩码图像。然后根据监控设备对应的第一图像区域与候选支撑杆对应的第二图像区域,确定第二支撑杆。再根据第二支撑杆确定第三支撑杆。最后根据第三支撑杆的高度信息确定监控设备的高度信息,根据监控设备的高度信息对监控设备进行投影,得到投影位置,如图10所示,得到的投影位置在车道2上,因此可以将投影位置所在的车道2作为监控设备所监控的目标车道。
159.可选的,可以对道路图像数据中的道路进行划分,获得至少两个车辆行驶车道,目标车道可以是指该至少两个车辆行驶车道中的任意一个。因此可以根据监控设备在道路中的投影位置中的投影位置,确定监控设备在至少两个车辆行驶车道中的目标车辆行驶车道。如图11所示,图11为本技术实施例提供的一种采用多任务学习模型对支撑杆和道路进行分割的示意图,如图11所示,计算机设备可以通过目标检测模型,在道路图像数据中获取包含监控设备的第一图像区域,以及获取包含候选支撑杆的第二图像区域。同时,可以根据多任务学习模型,对道路图像数据中的候选支撑杆进行语义分离,对道路图像数据中的道路进行实例分割,得到道路图像数据对应的掩码图像;其中,该多任务学习模型可以用于对道路图像数据执行候选支撑杆语义分割任务和道路实例分割任务,因此本技术实施例中的多任务学习模型也可以称为分割模型;上述掩码图像可以包含候选支撑杆的轮廓,以及道路中的至少两个车辆行驶车道分别对应的轮廓。
160.其中,采用多任务学习模型对道路以及候选支撑杆进行分割时,可以采用多尺度(如1/4、1/8、1/16、1/32)的特征金字塔对道路图像数据进行特征提取,得到各尺度对应的特征信息,将根据各尺度得到的特征信息融合为1/4尺度进行输出。然后将各尺度输出的特征信息进行求和,再进行1*1卷积操作,得到道路图像数据中道路的掩码特征以及候选支撑杆的掩码特征。根据第一图像区域与第二图像区域,以及候选支撑杆的掩码图像,确定第三支撑杆后,根据第三支撑杆的高度信息确定监控设备的高度信息。根据监控设备的高度信息对监控设备进行投影,得到在至少两个车辆行驶车道中的投影位置后,将投影位置所在的车辆行驶车道确定为监控设备所属的目标车道。这样通过确定投影位置在至少两个车辆行驶车道的车辆行驶车道后,将投影位置所在的车辆行驶车道确定为监控设备所属的目标车道,可以提高道路中监控设备位置判断的准确性。
161.在本技术实施例中,通过获取道路图像数据,在道路图像数据中获取包含监控设备的第一图像区域,在道路图像数据中获取候选支撑杆对应的第二图像区域,获取道路图像数据中的目标形状特征,根据目标形状特征,生成道路图像数据对应的掩码图像。根据第一图像区域、第二图像区域以及掩码图像,在候选支撑杆中确定用于支撑监控设备的目标支撑杆,根据目标支撑杆对应的属性信息,确定监控设备在道路中所监控的目标车道。可见,在道路监控设备的位置判断过程中,无需人工参与就可以从道路图像数据中自动地检测监控设备,以及用于支撑该监控设备的目标支撑杆,进而可以基于目标支撑杆快速确定监控设备所属的目标车道,进而可以降低人工进行监控设备位置标注而带来的成本和时间,从而可以提高道路中监控设备位置判断的效率。同时,可以避免直接对监控设备进行投影时,因道路图像数据所对应的平面图形中因角度错位而导致误差,导致得到的投影位置不准确,可以提高道路中监控设备位置判断的准确性。
162.请参见图12,图是本技术实施例提供的一种道路监控设备位置判断装置的结构示意图。上述道路监控设备位置判断装置可以是运行于计算机设备中的一个计算机程序(包括程序代码),例如该测试装置为一个应用软件;该装置可以用于执行本技术实施例提供的道路监控设备位置判断方法中的相应步骤。如图12所示,该道路监控设备位置判断装置可以包括:获取模块11、生成模块12、第一确定模块13、第二确定模块14。
163.获取模块11,用于获取道路图像数据,在道路图像数据中获取包含监控设备的第一图像区域,在道路图像数据中获取候选支撑杆对应的第二图像区域;
164.生成模块12,用于获取道路图像数据中的目标形状特征,根据目标形状特征,生成道路图像数据对应的掩码图像;掩码图像用于表征道路图像数据中所包含的候选支撑杆和道路分别对应的轮廓;
165.第一确定模块13,用于根据第一图像区域、第二图像区域以及掩码图像,在候选支撑杆中确定用于支撑监控设备的目标支撑杆;
166.第二确定模块14,用于根据目标支撑杆对应的属性信息,确定监控设备在所述道路中所监控的目标车道。
167.其中,获取模块11包括:
168.第一遍历单元1101,用于采用第一样本窗口对道路图像数据中所包含的像素点进行遍历,得到与监控设备相关联的m个第一候选区域;m为正整数;
169.第一确定单元1102,用于获取m个第一候选区域分别对应的设备属性特征,根据设备属性特征,在m个第一候选区域中确定监控设备对应的第一图像区域;
170.第二遍历单元1103,用于采用第二样本窗口对道路图像数据中所包含的像素点进行遍历,得到与候选支撑杆相关联的n个第二候选区域;n为正整数;
171.第二确定单元1104,用于在n个第二候选区域中,将与第一图像区域具有重叠区域的第二候选区域,确定为候选支撑杆对应的第二图像区域。
172.其中,目标形状特征包括候选支撑杆的形状特征以及道路的形状特征;
173.生成模块12包括:
174.第一像素编码单元1201,用于将道路图像数据输入分割模型,在分割模型中获取候选支撑杆的形状特征,对候选支撑杆的形状特征进行像素编码,得到候选支撑杆对应的掩码特征;
175.第二像素编码单元1202,用于在分割模型中获取道路的形状特征,对道路的形状特征进行像素编码,得到道路对应的掩码特征;
176.生成单元1203,用于根据候选支撑杆对应的掩码特征以及道路对应的掩码特征,对道路图像数据进行分割,生成掩码图像。
177.其中,目标支撑杆包括第一支撑杆,候选支撑杆的数量为多个,一个候选支撑杆对应一个第二图像区域;
178.第一确定模块13包括:
179.第一获取单元1301,用于获取第一图像区域分别与多个候选支撑杆所对应的第二图像区域之间的重叠区域;
180.第二获取单元1302,用于获取第一图像区域分别与多个候选支撑杆所对应的第二图像区域之间的合并区域;
181.第三获取单元1303,用于获取重叠区域和合并区域之间的比值,将最大的比值所对应的第二图像区域,确定为第一支撑杆对应的目标图像区域;
182.第三确定单元1304,用于根据目标图像区域,在掩码图像中的多个候选支撑杆确定用于支撑监控设备的第一支撑杆。
183.其中,属性信息包括第一支撑杆的类别信息;
184.第二确定模块14包括:
185.第四确定单元1401,用于在掩码图像中确定第一支撑杆对应的位置区域,根据位
置区域与道路对应的轮廓之间的位置关系,确定第一支撑杆的类别信息;
186.第五确定单元1402,用于当类别信息为第一侧类别时,将第一侧类别对应的车道,确定为监控设备在道路中所监控的目标车道;
187.第六确定单元1403,用于当类别信息为第二侧类别时,将第二侧类别对应的车道,确定为监控设备在道路中所监控的目标车道;第一侧类别对应的车道与第二侧类别对应的车道具有相反的行驶方向。
188.其中,目标支撑杆包括第二支撑杆和第三支撑杆,候选支撑杆的数量为多个;
189.第一确定模块13包括:
190.第三获取单元1305,用于获取第一图像区域,分别与多个候选支撑杆所对应的第二图像区域之间的重叠区域以及合并区域;
191.第八确定单元1306,用于根据重叠区域和合并区域,在多个候选支撑杆所对应的第二图像区域中确定第二支撑杆对应的目标图像区域;
192.第九确定单元1307,用于根据目标图像区域,在掩码图像的多个候选支撑杆中确定第二支撑杆;
193.第四获取单元1308,用于在掩码图像中,获取第二支撑杆分别与多个候选支撑杆之间的连接区域;
194.第十确定单元1309,用于获取第二支撑杆的目标端与连接区域之间的距离,将最短的距离所属的连接区域对应的候选支撑杆,确定为用于支撑第二支撑杆的第三支撑杆;目标端是指第二支撑杆上远离监控设备的一端。
195.其中,属性信息包括第三支撑杆的高度信息;
196.第二确定模块14包括:
197.第五获取单元1404,用于获取第三支撑杆的高度信息,根据第三支撑杆的高度信息确定监控设备的高度信息;
198.投影单元1405,用于根据监控设备的高度信息,将第一图像区域向道路进行投影,得到监控设备在道路中的投影位置;
199.第十一确定单元1406,用于根据投影位置,确定监控设备在道路中所监控的目标车道。
200.本技术实施例中的具体实现方式可以参看图2或者图7所对应实施例中的描述,本技术实施例在此不再累述。其中,当第一获取单元1301与第二获取单元1302、第三获取单元1303以及第三确定单元1304执行相应操作时,第三获取单元1305、第八确定单元1306、第九确定单元1307、第四获取单元1308以及第十确定单元1309暂停执行相应操作。当第三获取单元1305、第八确定单元1306、第九确定单元1307、第四获取单元1308以及第十确定单元1309执行相应操作时,第一获取单元1301与第二获取单元1302、第三获取单元1303以及第三确定单元1304暂停执行相应操作。
201.根据本技术的一个实施例,图2或者图7所示的道路监控设备位置判断方法所涉及的步骤可由图12所示的道路监控设备位置判断装置中的各个模块来执行。例如,图2中所示的步骤s101可由图12中的获取模块11来执行,图2中所示的步骤s102可由图12中的生成模块12来执行;图2中所示的步骤s103可由图12中的第一确定模块13来执行;图2中所示的步骤s104可由图12中的第二确定模块14来执行等等。
202.根据本技术的一个实施例,图12所示的道路监控设备位置判断装置中的各个模块可以分别或全部合并为一个或若干个单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个子单元,可以实现同样的操作,而不影响本技术的实施例的技术效果的实现。上述模块是基于逻辑功能划分的,在实际应用中,一个模块的功能也可以由多个单元来实现,或者多个模块的功能由一个单元实现。在本技术的其它实施例中,测试装置也可以包括其它单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可以由多个单元协作实现。
203.根据本技术的一个实施例,可以通过在包括中央处理单元(cpu)、随机存取存储介质(ram)、只读存储介质(rom)等处理元件和存储元件的例如计算机的通用计算机设备上运行能够执行如图2或者图7中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码),来构造如图12中所示的测试装置,以及来实现本技术实施例的测试方法。上述计算机程序可以记载于例如计算机可读记录介质上,并通过计算机可读记录介质装载于上述计算设备中,并在其中运行。
204.在本技术实施例中,通过获取道路图像数据,在道路图像数据中获取包含监控设备的第一图像区域,在道路图像数据中获取候选支撑杆对应的第二图像区域,获取道路图像数据中的目标形状特征,根据目标形状特征,生成道路图像数据对应的掩码图像。根据第一图像区域、第二图像区域以及掩码图像,在候选支撑杆中确定用于支撑监控设备的目标支撑杆,根据目标支撑杆对应的属性信息,确定监控设备在道路中所监控的目标车道。可见,在道路监控设备的位置判断过程中,无需人工参与就可以从道路图像数据中自动地检测监控设备,以及用于支撑该监控设备的目标支撑杆,进而可以基于目标支撑杆快速确定监控设备所属的目标车道,进而可以降低人工进行监控设备位置标注而带来的成本和时间,从而可以提高道路中监控设备位置判断的效率。同时,可以避免直接对监控设备进行投影时,因道路图像数据所对应的平面图形中因角度错位而导致误差,导致得到的投影位置不准确,可以提高道路中监控设备位置判断的准确性。
205.请参见图13,图13是本技术实施例提供的一种计算机设备的结构示意图。如图13所示,上述计算机设备1000可以包括:处理器1001,网络接口1004和存储器1005,此外,上述计算机设备1000还可以包括:用户接口1003,和至少一个通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。其中,用户接口1003可以包括显示屏(display)、键盘(keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1005可以是高速ram存储器,也可以是非易失性的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图13所示,作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
206.在图13所示的计算机设备1000中,网络接口1004可提供网络通讯功能;而用户接口1003主要用于为用户提供输入的接口;而处理器1001可以用于调用存储器1005中存储的设备控制应用程序,以实现:
207.可选的,处理器1001可以用于调用存储器1005中存储的设备控制应用程序,以实现:
208.获取道路图像数据,在所述道路图像数据中获取包含监控设备的第一图像区域,在所述道路图像数据中获取候选支撑杆对应的第二图像区域;
209.获取所述道路图像数据中的目标形状特征,根据所述目标形状特征,生成所述道路图像数据对应的掩码图像;所述掩码图像用于表征所述道路图像数据中所包含的所述候选支撑杆和道路分别对应的轮廓;
210.根据所述第一图像区域、所述第二图像区域以及所述掩码图像,在所述候选支撑杆中确定用于支撑所述监控设备的目标支撑杆;
211.根据所述目标支撑杆对应的属性信息,确定所述监控设备在所述道路中所监控的目标车道。
212.在本技术实施例中,通过获取道路图像数据,在道路图像数据中获取包含监控设备的第一图像区域,在道路图像数据中获取候选支撑杆对应的第二图像区域,获取道路图像数据中的目标形状特征,根据目标形状特征,生成道路图像数据对应的掩码图像。根据第一图像区域、第二图像区域以及掩码图像,在候选支撑杆中确定用于支撑监控设备的目标支撑杆,根据目标支撑杆对应的属性信息,确定监控设备在道路中所监控的目标车道。可见,在道路监控设备的位置判断过程中,无需人工参与就可以从道路图像数据中自动地检测监控设备,以及用于支撑该监控设备的目标支撑杆,进而可以基于目标支撑杆快速确定监控设备所属的目标车道,进而可以降低人工进行监控设备位置标注而带来的成本和时间,从而可以提高道路中监控设备位置判断的效率。同时,可以避免直接对监控设备进行投影时,因道路图像数据所对应的平面图形中因角度错位而导致误差,导致得到的投影位置不准确,可以提高道路中监控设备位置判断的准确性。
213.应当理解,本技术实施例中所描述的计算机设备1000可执行前文图2或者图7所对应实施例中对上述道路监控设备位置判断方法的描述,也可执行前文图12所对应实施例中对上述测试装置的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
214.根据本技术的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备可执行前文图2或者图7所对应实施例中对道路监控设备位置判断方法的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
215.作为示例,上述程序指令可被部署在一个计算机设备上执行,或者被部署位于一个地点的多个计算机设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算机设备上执行,分布在多个地点且通过通信网络互连的多个计算机设备可以组成区块链网络。
216.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,上述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,上述的存储介质可为磁盘、光盘、只读存储器(read-only memory,rom)或随机存储器(random access memory,ram)等。
217.以上所揭露的仅为本技术较佳实施例而已,当然不能以此来限定本技术之权利范
围,因此依本技术权利要求所作的等同变化,仍属本技术所涵盖的范围。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献