从2D图像获得3D特征汽车底盘投影框的方法及其应用与流程

从2d图像获得3d特征汽车底盘投影框的方法及其应用
技术领域
1.本发明涉及智能停车技术领域，具体涉及从2d图像获得3d特征汽车底盘投影框的方法及其应用。


背景技术：

2.近年来，随着城镇化的快速发展、机动车保有量的迅速增长，需要建设更多的停车位以满足停车的需求。鉴于此，多数城市都将部分道路两侧的地带划分出来作为路边临时停车路段以缓解停车压力。有别于封闭式停车场，路边停车路段没有特定的入口与出口，行经车辆可自由停放于空车位，停放车辆也可以自由离开。对于入场和出场时间的确认，一般是通过安排一名停车管理员，由停车管理员进行拍照取证，进而计算出相关费用。目前的这种方法具有明显的缺点，即自动化程度较低，需要耗费大量的人力成本。
3.为了解决该问题，目前已有一些机构研发出智能识别的技术，如公开号为：cn112560814a的中国发明专利公开了一种车辆进出停车位的识别方法，该方法通过计算车辆与停车位的重合面积，根据坐标交集面积和车辆面积的比例，计算车辆与停车位坐标集合的重合度，并从连续多帧图像中重合度的变化趋势判断车辆的状态。该方法不需要在现场配置管理人员，能够大大降低人力管理成本，具有更高的识别效率。但该方法计算的车辆与停车位的重合度是通过判断每个现场图像中车辆二维坐标是否与停车位坐标集合具有交点，识别交点坐标中的所有拐点坐标，获得坐标交集，并计算出坐标交集面积，即车辆与停车位的重合面积。而现实中，由于摄像头的安装角度带来的视觉误差，会出现一些情况：如车辆的检测框只有一半在对应的车位框内，另一半在另一个车位框，参见图1中的第一辆车；或者车辆停在车位旁，而车辆的检测框有一部分在车位框内，这样计算的重合度，使车辆入位的检测精确度不够，容易出现误判。
4.因此，本发明提供一种从2d图像获得3d特征汽车底盘投影框的方法，用于获得汽车底盘投影在地面的投影框，通过计算汽车底盘投影框与停车位的重合面积，从而保证停车入位判断的准确性。


技术实现要素：

5.本发明的发明目的在于：针对上述存在的问题，提供从2d图像获得3d特征汽车底盘投影框的方法及其应用，本发明通过对比底盘框在地面的投影框和实际车位框的交集面积来计算重合度，该方法比现有的计算方法更加科学合理，比现有的重合度计算方法有更高的准确性，更有利用汽车初入位的准确判断，更好地为无人值守智能停车提供基础技术保障。
6.为了实现上述目的，本发明采用的技术方案如下：
7.从2d图像获得3d特征汽车底盘投影框的方法，所述方法为：
8.s1建立车位框倾斜角度-汽车检测框截取高度关系模型：
9.s1.1收集大量含有停车位和车辆的2d平面图像，在获取的2d平面图像中获得车辆
的汽车检测框和真实的车位框；选择车位框中的其中一个角作为计算倾斜角度的参考角；收集的图像中的车位框的倾斜角度尽可能不同以获得更多的可靠基础数据，记录车位框的倾斜角度a＝{a1,a2,....an}；
10.s1.2将汽车检测框用截取分界线截为上半部分矩形框和下半部分矩形框，截取分界线以下半部分矩形框与车位框有大面积重合为标准，记录上半部分矩形框的高度oh＝{h1,h2,...hn}；
11.s1.3倾斜角度a与上半部分矩形框的高度oh的取值一一对应，拟合得到a和oh的关系公式；
12.s2汽车底盘在地面的投影框坐标的计算：
13.获取待分析的2d平面图像，获得图像中车辆的汽车检测框和真实的车位框，设汽车检测框4个点坐标为左上(x1,y1)，左下(x2,y2)，右下(x3,y3)，右上(x4,y4)，汽车检测框宽度为w＝x4-x1＝x3-x2，高度为height＝y3-y4＝y2-y1，上半部分矩形框的高度为oh，oh通过车位框的倾斜角度a来计算，汽车底盘在地面上的汽车底盘投影框同样以平行四边形描述；
14.s2.1当车位框左上角的夹角为锐角时，通过以下方式计算汽车底盘投影框的坐标:
15.a底盘投影框左上角的横坐标以汽车检测框的x1或x2的基础上右移一定比例wlpara定位到图像中左上位置轮胎附近为标准计算，底盘投影框左上角的纵坐标为汽车检测框y1或y4下移oh得到；
16.b底盘投影框左下角的横坐标以汽车检测框x2或x1的基础上右移一段距离nh定位到图像中左下位置轮胎附近为标准计算；底盘投影框左下角的纵坐标为汽车检测框的y2或y3；
17.c底盘投影框右下角的横坐标以汽车检测框x3或x4的基础上左移一定比例wlpara定位到图像中右下位置轮胎附近为标准计算；底盘投影框右下角的纵坐标以nh与汽车检测框宽度w的比例wpara进行修正后计算，底盘投影框右下角的纵坐标为汽车检测框右下纵坐标上移height*wpara的距离，wpara＝nh/w，height为汽车检测框高度；
18.d底盘投影框右上角点坐标与底盘投影框右下角点坐标连线平行于底盘投影框左上角和底盘投影框左下角点连线，底盘投影框右上角与底盘投影框左上角坐标连线平行于底盘投影框左下角和底盘投影框右下角坐标点连线，根据这两个条件及其它3个坐标点可计算底盘投影框右上角坐标点；
19.s2.2当车位框左上角的夹角为钝角时，通过以下方式计算汽车底盘投影框的坐标:
20.a底盘投影框右上角的横坐标以汽车检测框x4的基础上左移一定比例wlpara定位到图像中右上位置轮胎附近为标准计算，纵坐标以汽车检测框y1或y4下移oh得到；
21.b底盘投影框右下角的横坐标以汽车检测框x1的基础上右移一段距离nh定位到图像中右下位置轮胎附近为标准计算，底盘投影框右下角的纵坐标为汽车检测框的右下纵坐标；
22.c底盘投影框左下角点的横坐标以汽车检测框x2的基础上右移一定比例wlpara定位到图像中左下位置轮胎附近为标准计算，底盘投影框左下角点的纵坐标以nh与汽车检测
框宽度w的比例wpara进行修正后计算，底盘投影框左下角点的纵坐标汽车检测框左下纵坐标上移height*wpara的距离，wpara＝nh/w，height为汽车检测框高度；
23.d底盘投影框右上角点坐标与底盘投影框右下角点坐标连线平行于左上角和左下角点连线，底盘投影框右上角与底盘投影框左上角坐标连线平行于左下角和右下角坐标点连线，根据这两个条件及其它3个坐标点即可计算当前坐标点。
24.作为优选，本发明选择车位框中的左上角的夹角作为计算倾斜角度的参考角，以3个角点的坐标计算倾斜角度，其中，左上角点作为角点，左下角点和右上角点作为其余2个点计算倾斜角度。
25.作为优选，本发明中，当车位框左上角的夹角为锐角时，所述截取分界线是以汽车检测框左边线与车位框位于图像上方的横线所在的直线之间的交点为基准，水平画出的线段；当车位框左上角的夹角为钝角时，所述截取分界线是以汽车检测框的右边线与车位框位于图像上方的横线所在的直线之间的交点为基准，水平画出的线段。
26.作为优选，本发明中，步骤s4中wlpara为设定的比例常数。
27.作为优选，本发明中，步骤s4中wlpara＝0.06。
28.作为优选，本发明中，步骤s2中nh的值等于上半部分矩形框的高度oh为基准进行增减后得到，具体方法为：
29.预先进行训练，收集大量含有停车位和不同高度车辆的图片，人工获取上半部分矩形框高度oh
校正
以及汽车检测框高宽比wch，高宽比变化范围为0.5-1；通过δh＝oh
校正-oh计算每个截取高度中需要增减的高度，oh通过车位框的倾斜角度a计算得到；计算每个截取高度中需要增减的高度δh与高度oh的比例值，设为aipara，aipara＝δh/oh，aipara取值与高宽比一一对应，得到两个数据集合，拟合得到aipara和wch两个变量的关系公式；待分析的2d平面图像计算底盘投影框时，步骤s4中nh取值为nh＝oh oh*aipara。
30.本发明还提供从2d图像获得3d特征汽车底盘投影框的方法在计算汽车与停车位重合度中的应用。具体应用方法为：在获得汽车底盘区域在地面上的底盘投影框后，计算底盘投影框与车位框的交集面积，即为汽车与地面车位重合度。
31.综上所述，由于采用了上述技术方案，本发明的有益效果是：
32.1、本发明采用2d图像推演3d特征，从平面图像中的汽车检测框、车位框，推演获得汽车底盘在地面的投影框，该技术是未来机器视觉的方向，采用该方法，在现实情况中不需要每段道路都配备全套角度的多机位摄像头以联合捕获3d特征，即可以获得图像中的3d特征，所以本发明更适用于国内的一般道路的实际情况。
33.2、本发明将计算得到的车位框倾斜角度结合汽车检测框经过数学模型演算后获得在2d图像中不存在的z轴向图像中虚拟xoy平面的投影，就得到了车辆3d特征中的底盘投影框，计算所依赖的参数为车位框倾斜角度和汽车检测框的坐标，参数容易获得，还通过数学模型进行演算，适应不同的车位框角度和车辆尺寸，即无论摄像头安装角度如何、车辆型号尺寸如何，能做到自适应减少人工干预，计算的结果准确性高，适于推广应用。
34.3、本发明通过对比底盘框在地面的投影框和实际车位框的交集面积来计算重合度，该方法比现有的计算方法更加科学合理，比现有的重合度计算方法有更高的准确性，更有利用汽车初入位的准确判断，更好地为无人值守智能停车提供基础技术保障。
附图说明
35.图1为车位框左上角的夹角为锐角时的实景效果图；
36.图2为车位框左上角的夹角为锐角时的计算模型示意图；
37.图3为车位框左上角的夹角为锐角时的车位框、汽车检测框和底盘投影框的示意图；
38.图4为车位框左上角的夹角为钝角时的实景效果图；
39.图5为车位框左上角的夹角为钝角时的计算模型示意图；
40.图6为车位框左上角的夹角为钝角时的车位框、汽车检测框和底盘投影框的示意图
41.其中1-汽车检测框；2-车位框，3-底盘投影框。
具体实施方式
42.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
43.不同于现有技术计算车辆与停车位的重合度是通过判断每个现场图像中车辆二维坐标是否与停车位坐标集合具有交点，均是在2d层面进行计算，会出现误判，本发明提供一种从2d图像获得3d特征汽车底盘投影框的方法，从2d的汽车检测框和车位框等信息中获得3d特征汽车底盘投影框，并用于汽车与停车位的重合度计算中，能够提高重合度计算的准确性和保证停车入位判断的准确性。
44.从2d图像获得3d特征汽车底盘投影框的方法，所述方法为：
45.s1建立车位框倾斜角度-汽车检测框截取高度关系模型：
46.s1.1收集大量含有停车位和车辆的2d平面图像，在获取的2d平面图像中获得车辆的汽车检测框1和真实的车位框2；选择车位框2中的其中一个角作为计算倾斜角度的参考角；收集的图像中的车位框2的倾斜角度尽可能不同以获得更多的可靠基础数据，保证拟合结果的可靠性；记录车位框2的倾斜角度a＝{a1,a2,....an}；
47.该步骤中，2d平面图像的获取可以是通过设置在停车场景下的摄像头拍摄获得的照片或视频流中的图像帧。
48.该步骤中，汽车检测框1通过现有的目标检测模型得到，该技术为本领域的成熟技术，汽车检测框1一般为矩形框；真实的车位框2按照地面上实际的白色车位线画出。
49.该步骤中，倾斜角度a通过3个角点的坐标来计算，例如，参见图2，如果选择车位框2中的左上角的夹角作为计算倾斜角度的参考角，则以左上角点作为角点，左下角点和右上角点作为其余2个点计算倾斜角度，在图形处理软件中，找到3个点的坐标，即可得到倾斜角度的大小；依次类推，车位框2的每个角都可以作为计算倾斜角度的参考角，本领域技术人员可以通过本发明描述的技术方案进行相应的调整，同样也可以解决本发明的技术问题，选择不同的参考角，均在本发明的保护范围之内。
50.s1.2将汽车检测框1用截取分界线截为上半部分矩形框和下半部分矩形框，截取
分界线以下半部分矩形框与车位框2有大面积重合为标准，记录上半部分矩形框的高度oh＝{h1,h2,...hn}；
51.该步骤中，当车位框2左上角的夹角为锐角时，截取分界线是以汽车检测框1左边线与车位框2位于图像上方的横线所在的直线之间的交点为基准，水平画出的线段；当车位框2左上角的夹角为钝角时，截取分界线是以汽车检测框1的右边线与车位框2位于图像上方的横线所在的直线之间的交点为基准，水平画出的线段；建模过程中，截取分界线可以是人工根据截取标准绘出，实际应用时，截取分界线无需画出，根据倾斜角度a进行计算对应值即可。
52.s1.3倾斜角度a与上半部分矩形框的高度oh的取值一一对应，且呈现一定的规律，因此，拟合得到a和oh的关系公式；具体地，倾斜角度a的取值范围为0-180
°
，可以将其归一化为0-1.8，再进行公式拟合。
53.s2汽车底盘在地面的投影框坐标的计算：
54.获取待分析的2d平面图像，获得图像中车辆的汽车检测框1和真实的车位框2，设汽车检测框4个点坐标为左上(x1,y1)，左下(x2,y2)，右下(x3,y3)，右上(x4,y4)，汽车检测框宽度为w＝x4-x1＝x3-x2，上半部分矩形框的高度为oh，oh通过车位框2的倾斜角度a，利用a和oh的关系公式来计算获得，该步骤中不用再绘制截取分界线，从而适应在不同的角度环境中截取不同的高度，做到自适应减少人工干预，汽车底盘在地面上的汽车底盘投影框3同样以平行四边形描述；
55.s2.1当车位框2左上角的夹角为锐角时，通过以下方式计算汽车底盘投影框3的坐标:
56.a底盘投影框3左上角的横坐标以汽车检测框1的x1或x2的基础上右移一定比例wlpara定位到图像中左上位置轮胎附近为标准计算，底盘投影框3左上角的纵坐标为汽车检测框y1或y4下移oh得到；
57.b底盘投影框3左下角的横坐标以汽车检测框x2或x1的基础上右移一段距离nh定位到图像中左下位置轮胎附近为标准计算；底盘投影框3左下角的纵坐标为汽车检测框的y2或y3；
58.c底盘投影框3右下角的横坐标以汽车检测框x3或x4的基础上左移一定比例wlpara定位到图像中右下位置轮胎附近为标准计算；底盘投影框3右下角的纵坐标以nh与汽车检测框宽度w的比例wpara进行修正后计算，底盘投影框3右下角的纵坐标为汽车检测框1右下纵坐标上移height*wpara的距离，wpara＝nh/w，height为汽车检测框1高度；
59.d底盘投影框3右上角点坐标与底盘投影框3右下角点坐标连线平行于底盘投影框3左上角和底盘投影框3左下角点连线，底盘投影框3右上角与底盘投影框3左上角坐标连线平行于底盘投影框3左下角和底盘投影框3右下角坐标点连线，根据这两个条件及其它3个坐标点可计算底盘投影框3右上角坐标点；
60.s2.2当车位框2左上角的夹角为钝角时，通过以下方式计算汽车底盘投影框3的坐标:
61.a.底盘投影框3右上角的横坐标以汽车检测框x4的基础上左移一定比例wlpara定位到图像中右上位置轮胎附近为标准计算，纵坐标以汽车检测框y1或y4下移oh得到；
62.b.底盘投影框3右下角的横坐标以汽车检测框x1的基础上右移一段距离nh定位到
图像中右下位置轮胎附近为标准计算，底盘投影框3右下角的纵坐标为汽车检测框的右下纵坐标；
63.c.底盘投影框3左下角点的横坐标以汽车检测框x2的基础上右移一定比例wlpara定位到图像中左下位置轮胎附近为标准计算，底盘投影框3左下角点的纵坐标以nh与汽车检测框宽度w的比例wpara进行修正后计算，底盘投影框3左下角点的纵坐标为汽车检测框1左下纵坐标上移height*wpara的距离，wpara＝nh/w，height为汽车检测框1高度；
64.d.底盘投影框3右上角点坐标与底盘投影框3右下角点坐标连线平行于左上角和左下角点连线，底盘投影框3右上角与底盘投影框3左上角坐标连线平行于左下角和右下角坐标点连线，根据这两个条件及其它3个坐标点即可计算当前坐标点。
65.上述步骤中，步骤s4中wlpara为设定的比例常数，根据数学模型计算其可取值为0.06。步骤s2中nh的值等于上半部分矩形框的高度oh为基准进行增减后得到，具体方法为：
66.预先进行训练，收集大量含有停车位和不同高度车辆的图片，人工获取上半部分矩形框高度oh
校正
以及汽车检测框1高宽比wch，高宽比变化范围为0.5-1；通过δh＝oh
校正-oh计算每个截取高度中需要增减的高度，高度oh通过车位框2的倾斜角度a计算得到；计算每个截取高度中需要增减的高度δh与高度oh的比例值，设为aipara，aipara＝δh/oh，aipara取值与高宽比一一对应，得到两个数据集合，拟合得到aipara和wch两个变量的关系公式；当实际待分析的2d平面图像计算底盘投影框3时，步骤s4中nh取值为nh＝oh oh*aipara，根据实际图像中wch值，可以得到aipara值，进一步得到nh，wch值很容易得到，从而使计算得以简化。
67.本发明实际应用时，获得的a和oh的关系公式为：
68.oh＝height*(1-jpara)＝height*{1-【a0 a1*cos(a*d) b1*sin(a*d)】}；
69.其中，a0＝0.4237，a1＝-0.1549，b1＝-0.08825，d＝3.741，a为倾斜角度，height为汽车检测框高度；
70.依据不同的高度和宽度比，对截取到的不同高度的做修正，计算修正参数aipara和高度和宽度比的关系公式和计算数值如下：
71.车辆检测框的高度和宽度比wch为：0.50,0.55,0.60,0.65,0.70,0.75,0.80,0.85,0.90,0.95,1
72.aipara为:0.54,0.40,0.30,0.22,0.10,-0.05,-0.25,-0.48,-0.69,-0.84,-0.87；
73.拟合得到aipara与wch的关系公式为：
74.aipara＝a0 a1*cos(wch*d) b1*sin(wch*d) a2*cos(2*wch*d) b2*sin(2*wch*d)
75.其中a0＝0.3336，a1＝-0.06742，b1＝1.051,d＝5.32，a2＝-0.07465，b2＝0.3566。
76.底盘投影框3的坐标分别为：
77.s4.1当车位框2左上角的夹角为锐角时，参见图2中所示的情形；
78.a底盘投影框3左上角的坐标为(x1 w*wlpara，y1 oh)；
79.b底盘投影框3左下角的坐标为(x2 nh，y2)；
80.c底盘投影框3右下角的坐标为(x3-w*wlpara，y3-(y3-y4)*wpara*aipara)。
81.经过对图1实际场景图像的计算，得到的坐标值分别见图2所示，根据坐标值可以得到四边形的底盘投影框3。在图1中，第一辆车占用了2个车位，可以计算出投影框有一部分在车位框2之外，因此，本发明能分辨出车辆是否跨车位停车；图2中有一辆车的一部分在车位框2外部，通过nh的修正，也能准确得出底盘框的坐标在车位框2外的部分，可见采用了本发明的数学模型，能获得较为准确的汽车底盘投影框3。
82.当车位框2左上角的夹角为钝角时，参见图4中所示的情形；
83.a底盘投影框3右上角的坐标为(x4-w*wlpara,y4 oh)；
84.b底盘投影框3右下角的坐标为(x3-nh,y3)；
85.c底盘投影框3左下角的坐标为(x2 w*wlpara,y2-(y2-y1)*wpara*aipara)
86.经过对图3实际场景图像的计算，得到的坐标值分别见图4所示，根据坐标值可以得到四边形的底盘投影框3。
87.本发明从2d图像获得3d特征汽车底盘投影框3的方法可以用在计算汽车与停车位重合度，计算方法为，在获得汽车底盘区域在地面上的底盘投影框3后，计算底盘投影框3与车位框2的交集面积，即为汽车与地面车位重合度。本发明通过对比底盘框在地面的投影框和实际车位框2的交集面积来计算重合度，该方法比现有的计算方法更加科学合理，比现有的重合度计算方法有更高的准确性，更有利用汽车初入位的准确判断，更好地为无人值守智能停车提供基础技术保障。
88.上述说明是针对本发明较佳可行实施例的详细说明，但实施例并非用以限定本发明的专利申请范围，凡本发明所提示的技术精神下所完成的同等变化或修饰变更，均应属于本发明所涵盖专利范围。