相机倾斜检测方法、装置、电子装置和存储介质与流程

1.本技术涉及交通监控技术领域，特别是涉及相机倾斜检测方法、装置、电子装置和存储介质。


背景技术：

2.目前视频相机具有速度检测的功能，且检测速度的技术已经成熟，但是受限于拍摄角度，还是会有部分误抓现象。因为视频相机受重量或者风力以及其他因素的影响，比如撞击、拖拽等外力的影响，造成相机与地面之间的角度发生变化，造成相机不在正对车道或者相机在左右或者上下有所倾斜，这样就会导致测量结果不准确，对测量结果引入系统误差，比如，经过一段时间的使用，相机发生倾斜，导致相机与地面之间的角度比初始标定角度小，若车辆以同样的速度行驶，相机在标定角度下测出来的车速未超速，在倾斜后的角度测出的车速有可能会超速，导致正常车速行驶的车辆被错误的评判为超速行驶的车辆，给车辆驾驶人员的带来不便，进而，也可能造成其他交通事件的误判，比如车间距检测存在偏差导致的对事故责任人的误判。
3.相关技术1中，采用yolov3检测框架，完成从原始图像的输入到物体位置和类别的输出，通过对人工标注的图像进行训练，获取yolov3的检测模型。使用该模型对信号灯灯杆和人行横道线进行目标检测，对检测出的信号灯灯杆和人行横道线目标物区域进行灰度变换获取灰度图像，对灰度图像进行canny边缘检测，通过形态学处理进行区域连通，提取人行横道线和信号灯灯杆目标物的霍夫变换直线，对直线进行极坐标角度计算获取直线夹角，对人行横道线和信号灯灯杆的夹角判断是否超出合理阈值范围，据此来判断信号灯杆是否存在倾斜现象。但是相关技术中未考虑因相机本身出现倾斜角度导致测量结果不准确的问题。
4.相关技术2中，还可以通过相邻两帧视频画面中同一运动物体转化到路面坐标系后的坐标移动距离除以相邻两帧视频画面的时间差即可得出路面上的运动物体的时速。同样，此相关技术中，也没考虑因相机本身出现倾斜角度导致测量结果不准确的问题。
5.针对相关技术中存在的因相机本身出现倾斜导致的测量结果不准确的问题，目前还没有提出有效的解决方案。


技术实现要素：

6.在本实施例中提供了一种相机倾斜检测方法、装置、电子装置和存储介质，以解决相关技术中存在的拍摄相机在自身存在倾斜时导致的测量结果不准确的问题。
7.第一个方面，在本实施例中提供了一种相机倾斜检测方法，包括：
8.获取第一图片，在所述第一图片内筛选出标志物，提取所述标志物在所述第一图片内的位置信息，并将所述标志物在所述第一图片内的位置设为定标位置；
9.获取第二图片，提取所述标志物在所述第二图片内的位置信息，并将所述标志物在所述第二图片内的位置设为当前位置；
10.将所述当前位置与所述定标位置保存到同一坐标系内；
11.在所述坐标系内计算所述当前位置与所述定标位置之间的位移差值，并判断所述位移差值是否大于预设阈值，在所述位移差值大于预设阈值时，确定所述相机倾斜。
12.在其中的一些实施例中，提取所述标志物在所述第一图片内的位置信息，并将所述标志物在所述第一图片内的位置设为定标位置，包括：
13.获取所述标志物在所述第一图片内的检测框，提取所述检测框的坐标值，将所述检测框的坐标值设定为定标位置。
14.在其中的一些实施例中，在所述坐标系内计算所述当前位置与所述定标位置之间的位移差值，并判断所述位移差值是否大于预设阈值，在所述位移差值大于预设阈值时，确定所述相机倾斜，包括：
15.获取所述定标位置的坐标值以及获取所述当前位置的坐标值；
16.计算所述当前位置的坐标值与所述定标位置的坐标值在行方向的位移差值；
17.判断所述行方向的位移差值是否大于第一预设阈值，在所述行方向的位移差值大于第一预设阈值时，确定所述相机在行方向倾斜。
18.在其中的一些实施例中，在所述坐标系内计算所述当前位置与所述定标位置之间的位移差值，并判断所述位移差值是否大于预设阈值，在所述位移差值大于预设阈值时，确定所述相机倾斜，包括：
19.获取所述定标位置的坐标值以及获取所述当前位置的坐标值；
20.计算所述当前位置的坐标值与所述定标位置的坐标值在列方向的位移差值；
21.判断所述列方向的位移差值是否大于第二预设阈值，在所述列方向的位移差值大于第二预设阈值时，确定所述相机在列方向倾斜。
22.在其中的一些实施例中，在确定所述相机倾斜后，所述方法还包括：
23.将所述当前图片保存。
24.在其中的一些实施例中，所述方法还包括：
25.输出所述相机倾斜的偏移值。
26.在其中的一些实施例中，所述方法还包括：获取所述相机倾斜的偏移值，对倾斜的相机作出补偿。
27.第二个方面，在本实施例中提供了一种相机倾斜检测装置，包括：
28.第一获取模块：用于获取所述标志物在第一图片内的定标位置信息；
29.第二获取模块：用于获取所述标志物在第二图片内的当前位置信息；
30.判断模块：用于获取在同一坐标系内所述当前位置和所述定标位置之间的位移差值是否大于预设阈值；
31.输出模块：用于根据所述判断结果，获取相机出现倾斜的偏移量，并将偏移量输出；
32.补偿模块：用于根据相机倾斜的偏移量对相机倾斜作出补偿。
33.第三个方面，在本实施例中提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一个方面所述的相机倾斜检测方法。
34.第四个方面，在本实施例中提供了一种存储介质，其上存储有计算机程序，该程序
被处理器执行时实现上述第一个方面所述的相机倾斜检测方法。
35.与相关技术相比，在本实施例中提供的相机倾斜检测方法，通过获取第一图片，在所述第一图片内筛选出标志物，提取所述标志物在所述第一图片内的位置信息，并将所述标志物在所述第一图片内的位置设为定标位置；获取第二图片，提取所述标志物在所述第二图片内的位置信息，并将所述标志物在所述第二图片内的位置设为当前位置；将所述当前位置与所述定标位置保存到同一坐标系内；在所述坐标系内计算所述当前位置与所述定标位置之间的位移差值，并判断所述位移差值是否大于预设阈值，在所述位移差值大于预设阈值时，确定所述相机倾斜，解决了相关技术中存在的因相机本身出现倾斜导致的测量结果不准确的问题，在相机用于测量的应用场景中提高了测量结果的精准性，有效避免了误判的情况发生。
36.本技术的一个或多个实施例的细节在以下附图和描述中提出，以使本技术的其他特征、目的和优点更加简明易懂。
附图说明
37.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
38.图1是本技术其中一个实施例的相机倾斜检测方法的流程图；
39.图2是本技术其中一个实施例抓拍到的第一图片的示意图；
40.图3是本技术其中一个实施例抓拍到的第二图片的示意图；
41.图4是本技术其中一个实施例中相机出现左右倾斜的状态示意图；
42.图5是本技术其中一个实施例中相机出现上下倾斜的状态示意图；
43.图6是本技术其中一个优选实施例的相机倾斜检测方法的流程图；
44.图7是本实施例的信号识别装置的结构框图；
45.图8是本优选实施例的信号识别装置的结构框图。
具体实施方式
46.为更清楚地理解本技术的目的、技术方案和优点，下面结合附图和实施例，对本技术进行了描述和说明。
47.除另作定义外，本技术所涉及的技术术语或者科学术语应具有本技术所属技术领域具备一般技能的人所理解的一般含义。在本技术中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制，它们可以是单数或者复数。在本技术中所涉及的术语“包括”、“包含”、“具有”及其任何变体，其目的是涵盖不排他的包含；例如，包含一系列步骤或模块(单元)的过程、方法和系统、产品或设备并未限定于列出的步骤或模块(单元)，而可包括未列出的步骤或模块(单元)，或者可包括这些过程、方法、产品或设备固有的其他步骤或模块(单元)。在本技术中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接，而可以包括电气连接，无论是直接连接还是间接连接。在本技术中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。通常情况下，字符“/”表示前后关联的对象是一种“或”的关系。在本技术中所涉及的术语“第一”、“第
二”、“第三”等，只是对相似对象进行区分，并不代表针对对象的特定排序。
48.在本实施例中提供了一种相机倾斜检测方法，图1是本实施例的相机倾斜检测方法的流程图，如图1所示，该流程包括如下步骤：
49.步骤s101：获取第一图片，在第一图片内筛选出标志物，提取标志物在第一图片内的位置信息，并将标志物在第一图片内的位置设为定标位置。
50.第一图片可以是相机直接拍摄的图片，也可以是相机拍摄后经过优化处理的图片，在第一图片内先筛选出标志物，标志物的选取时要选取不易被遮挡的物体，且选取的标志物是固定不动的物体，或者是不易被挪动的物体，比如，高速道路中的标定杆、车道线等。在本实施例中，以车道线作为标志物为例，先检测车道线在第一图片中的位置信息，并把车道线在第一图片中的位置作为基准位置。其中，车道线在第一图片中的位置信息可以是车道线在第一图片内的坐标值，车道线在第一图片中的位置信息还可以是车道线占第一图片的像素值。
51.步骤s102：获取第二图片，提取标志物在第二图片内的位置信息，并将标志物在第二图片内的位置设为当前位置。
52.需要说明的是，若步骤s101中获取的是车道线在第一图片内的坐标值，对应的，标志物在第二图片内的位置信息是车道线在第二图片内的坐标值，若步骤s101中获取的是车道线占第一图片的像素值，对应的，标志物在第二图片内的位置信息是车道线在第二图片内的像素值。
53.步骤s103：将当前位置与定标位置保存到同一坐标系内。
54.需要说明的是，在本实施例中，坐标系指的是平面直角坐标系，将当前位置与定标位置保存到同一坐标系内是指将第二图片的坐标原点和第一图片的坐标原点均放置在平面直角坐标系的坐标原点处。
55.步骤s104：在坐标系内计算当前位置与定标位置之间的位移差值，并判断位移差值是否大于预设阈值，在位移差值大于预设阈值时，确定相机倾斜。
56.随着时间的流逝，环境因素对相机是否倾斜的影响逐渐变大，相机会慢慢的倾斜，比如，相机受重量或者风力以及其他因素的影响，比如撞击、拖拽等外力的影响，造成相机与地面之间的角度发生变化，当相机的倾斜角度变化时，计算车道线在第二图片内的坐标值与标志物在第一图片内的坐标值之间的差值，为防止相机倾斜，提高测量结果的准确性，预先设置预设阈值，当车道线在第二图片内的坐标值与标志物在第一图片内的坐标值之间的差值大于预设阈值时，确定相机倾斜。
57.通过上述步骤，可以根据相机抓拍的第二图片中标志物的坐标值与定标图片中标志物的坐标值之间的位移差值，并判断该位移差值是否大于预设阈值，若该位移差值大于预设阈值，则判断该相机已经发生了倾斜，标志着该相机的测量结果已经不准确。与相关技术相比，本技术将相机本身是否发生倾斜的因素考虑在内，提高了测量结果的准确性。解决了相关技术中存在的因相机本身出现倾斜导致的测量结果不准确的问题，在相机用于测量的应用场景中提高了测量结果的精准性，有效避免了误判的情况发生。
58.在其中的一些实施例中，提取标志物在第一图片内的位置信息，并将标志物在第一图片内的位置设为定标位置，包括：获取标志物在第一图片内的检测框，提取检测框的坐标值，将检测框的坐标值设定为定标位置。
59.图2是本实施例抓拍到的第一图片的示意图，如图2所示，将地标指示标识作为标志物，获取地标指示标识的检测框，提取检测框的坐标值，在本实施例中，即获取x0，y0，a0，b0的值。并将检测框的坐标值(x0，y0)和(a0，b0)作为定标位置。
60.在其中的一些实施例中，在坐标系内计算当前位置与定标位置之间的位移差值，并判断位移差值是否大于预设阈值，在位移差值大于预设阈值时，确定相机倾斜，包括：获取定标位置的坐标值以及获取当前位置的坐标值；计算当前位置的坐标值与定标位置的坐标值在行方向的位移差值；判断行方向的位移差值是否大于第一预设阈值，在行方向的位移差值大于第一预设阈值时，确定相机在行方向倾斜。
61.图3是本实施例抓拍到的第二图片的示意图，如图3所示，从相机抓拍的图片中，筛选出一张图片，即当前图片，获取当前图片中的地标指示标识的检测框，提取检测框的坐标值，在本实施例中，即获取x1，y1，a1，b1的值。
62.将当前位置坐标与定标位置坐标保存到同一坐标系内，计算出当前位置坐标与定标位置坐标之间的在行方向的差值。在本实施例中，在行方向的差值即δy＝y1
‑
y0，δb＝b1
‑
b0，若δy和δb均大于第一预设阈值，则确定相机在行方向有倾斜的状况发生。
63.若δy和δb均为正值，则确定相机在行方向上向右倾斜，若δy和δb均为负值，则确定相机在行方向上向左倾斜，图5是相机在行方向发生倾斜后的位置状态图，如图4所示，相机在行方向上向左右两个方向各倾斜10
°
的示意图。
64.在其中的一些实施例中，在坐标系内计算当前位置与定标位置之间的位移差值，并判断位移差值是否大于预设阈值，在位移差值大于预设阈值时，确定相机倾斜，包括：获取定标位置的坐标值以及获取当前位置的坐标值；计算当前位置的坐标值与定标位置的坐标值在列方向的位移差值；判断列方向的位移差值是否大于第二预设阈值，在列方向的位移差值大于第二预设阈值时，确定相机在列方向倾斜。
65.如图3所示，从相机抓拍的图片中，筛选出一张图片，即当前图片，获取当前图片中的地标指示标识的检测框，提取检测框的坐标值，在本实施例中，即获取x1，y1，a1，b1的值。
66.将当前位置坐标与定标位置坐标保存到同一坐标系内，计算出当前位置坐标与定标位置坐标之间的在行方向的差值。在本实施例中，在列方向的差值即δx＝x1
‑
x0，δa＝a1
‑
a0，若δx和δa均大于第二预设阈值，则确定相机在列方向有倾斜的状况发生。
67.若δx和δa均为正值，则确定相机在列方向上向上倾斜，若δx和δa均为负值，则确定相机在列方向上向下倾斜，图5是相机在列方向发生倾斜后的位置状态图，如图5所示，相机在列方向上向上下两个方向各倾斜10
°
的示意图。
68.在其中的一些实施例中，在确定相机倾斜后，相机倾斜检测方法还包括：将当前图片保存。
69.保存当前图片，是指保存包含有标志物坐标信息的图片，用于工作人员能够通过保存的图片知晓相机是否已经存在倾斜以及相机具体倾斜的方向。
70.在其中的一些实施例中，相机倾斜检测方法还包括：输出相机倾斜的偏移值。
71.在本实施例中，相机倾斜的偏移值是指δx，δy，δa和δb。
72.在其中的一些实施例中，相机倾斜检测方法还包括：获取相机倾斜的偏移值，对倾斜的相机作出补偿。
73.获取相机倾斜的偏移值δx，δy，δa和δb的信息，对已发生倾斜的相机作出补偿，在
本实施例中可以通过硬件方法对倾斜的相机进行调整，具体的调整包括：对相机的角度的调整以及相机的内部组件的调整，使得相机倾斜的偏移值δx，δy，δa和δb小于预设阈值。在其他实施例中，也可以通过软件的方法对已倾斜的相机进行补偿处理。
74.在其中的一些实施例中，相机倾斜检测方法也可以应用于视频的分析，视频的分析可以在相机本体上实现，也可以将视频或图片上传在后台服务器上，在后台服务器上进行分析。
75.图6是本优选实施例的相机倾斜检测方法的流程图。如图6所示，该流程包括如下步骤：
76.步骤s601：采集视频图像。
77.步骤s602：检测图像中是否包含有待测信息。
78.步骤s603：在图像中选出标定物，并将标定物的像素点确定为定标像素点。
79.步骤s604：采集当前图像。
80.步骤s605：基于同一坐标系内，比较当前图像中的标定物的像素点与定标像素点的差异。
81.步骤s606：判断当前图像中的标定物的像素点与定标像素点之间的差异是否大于阈值。
82.步骤s607：若当前图像中的标定物的像素点与定标像素点之间的差是否大于阈值，则判定相机的倾斜在正常范围内。
83.步骤s608：若当前图像中的标定物的像素点与定标像素点之间的差是否大于阈值，则判定相机的倾斜超出正常范围内，记录相机的倾斜超出正常范围的值以及将当前图片保存。
84.通过上述步骤，可以根据相机抓拍的当前图片中标定物的像素点与定标像素点之间的差，并判断该差值是否大于阈值，若该像素点的差值大于阈值，则判断该相机已经发生了倾斜，标志着该相机的测量结果已经不准确。与相关技术相比，本实施例将相机本身是否发生倾斜的因素考虑在内，提高了测量结果的准确性。解决了相关技术中存在的因相机本身出现倾斜导致的测量结果不准确的问题，在相机用于测量的应用场景中提高了测量结果的精准性，有效避免了误判的情况发生。
85.在本实施例中还提供了一种相机倾斜检测装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
86.图7是本实施例的相机倾斜检测装置的结构框图，如图7所示，该装置包括：
87.第一获取模块10：用于获取标志物在第一图片内的定标位置信息；
88.第二获取模块20：用于获取标志物在第二图片内的当前位置信息；
89.判断模块30：用于获取在同一坐标系内当前位置和定标位置之间的位移差值是否大于预设阈值；
90.输出模块40：用于根据判断结果，获取相机出现倾斜的偏移量，并将偏移量输出；
91.补偿模块50：用于根据相机倾斜的偏移量对相机倾斜作出补偿。
92.图8是本实施例的相机倾斜检测装置的优选结构框图，如图8所示，该装置包括：
93.解码和检测模块：解码视频或图片，并检测其中的目标。且编码图片交由存储处理。
94.设定标定模块：选择能检测出的固定物体并设置为标定物，且设置偏差阈值。
95.生成标准模块：生成倾斜报警的标准。(需要上报的偏移范围，对应倾斜角度)
96.目标信息处理模块：获取检测到的目标信息，在图片中的位置和大小。
97.偏差判断处理模块：判断标定物在水平和垂直的倾斜角变换是否超限，以判断相机是否需要处理。
98.存储模块：保存图片，用作检测倾斜情况的记录。当图片不需要作为记录保存时，可以定期清理。
99.合成检测结果模块：偏移标准，偏移值、标准图片、检测图片等。
100.检测结果记录模块：检测结果与对应图片等数据保存和上报，支持查询。
101.需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
102.在本实施例中还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
103.可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
104.可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
105.s1，获取第一图片，在第一图片内筛选出标志物，提取标志物在第一图片内的位置信息，并将标志物在第一图片内的位置设为定标位置。
106.s2，获取第二图片，提取标志物在第二图片内的位置信息，并将标志物在第二图片内的位置设为当前位置。
107.s3，将当前位置与定标位置保存到同一坐标系内。
108.s4，在坐标系内计算当前位置与定标位置之间的位移差值，并判断位移差值是否大于预设阈值，在位移差值大于预设阈值时，确定相机倾斜。
109.需要说明的是，在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，在本实施例中不再赘述。
110.此外，结合上述实施例中提供的相机倾斜检测方法，在本实施例中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种相机倾斜检测方法。
111.应该明白的是，这里描述的具体实施例只是用来解释这个应用，而不是用来对它进行限定。根据本技术提供的实施例，本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例，均属本技术保护范围。
112.显然，附图只是本技术的一些例子或实施例，对本领域的普通技术人员来说，也可以根据这些附图将本技术适用于其他类似情况，但无需付出创造性劳动。另外，可以理解的是，尽管在此开发过程中所做的工作可能是复杂和漫长的，但是，对于本领域的普通技术人员来说，根据本技术披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术
手段，不应被视为本技术公开的内容不足。
[0113]“实施例”一词在本技术中指的是结合实施例描述的具体特征、结构或特性可以包括在本技术的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例，也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是，本技术中描述的实施例在没有冲突的情况下，可以与其它实施例结合。
[0114]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对专利保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。