斜度估计装置及其操作方法与流程

斜度估计装置及其操作方法
1.相关申请的交叉引用
2.本技术要求于2020年6月1日在韩国知识产权局提交的韩国专利申请no.10
‑
2020
‑
0066066的权益，该申请的公开内容通过引用全部并入本文中。
技术领域
3.本发明构思涉及一种用于估计前方道路的斜度的装置以及该装置的操作方法，更具体地，涉及一种用于基于通过相机获得的图像来估计前方道路的斜度的装置以及该装置的操作方法。


背景技术：

4.使用图像传感器的图像拍摄设备可以包括在各种类型的电子设备中，所述各种类型的电子设备例如是智能手机、个人计算机(pc)、监视相机和车辆，或者均可以用作一个独立的电子设备。
5.在启用自动驾驶的车辆中，可以通过图像传感器来识别到周边车辆的距离，并且基于到周边车辆的距离，可以通过控制车辆来执行稳定的行驶。然而，关于前方目标的常规距离识别包括如下假设：驾驶车辆和前方区域的周边车辆位于同一平面上，因此存在难以将常规距离识别应用于具有斜度的道路(例如，上坡道路或下坡道路)的问题。
6.此外，除了在直线道路上行驶的环境之外，车辆实际行驶的环境还可以包括在弯曲道路上行驶的环境。在弯曲道路上，消失点无法被定义为一个点，因此存在无法基于消失点来估计驾驶车辆的俯仰角的问题。


技术实现要素：

7.本发明构思提供了一种用于通过水平划分通过至少一个相机获得的图像来估计前方道路的斜度的装置以及该装置的操作方法。
8.根据本发明构思的一方面，提供了一种包括至少一个相机在内的斜度估计装置的操作方法，该操作方法包括：通过至少一个相机获得相对于包括斜度估计装置的容纳车辆的前方图像，检测包括在前方图像中的车道，在水平方向上将前方图像划分为多个较小区域，识别包括在多个较小区域中的每一个中的多个车道段，获得形成多个车道段中的每一个的多个坐标值，并且基于所获得的多个坐标值，获得多个较小区域中的每一个的俯仰角。
9.根据本发明构思的另一方面，提供了一种斜度估计装置，包括：至少一个相机，被配置为在包括斜度估计装置的容纳车辆正在行驶的情况下获得相对于容纳车辆的前方图像；以及图像信号处理器，被配置为：检测包括在前方图像中的车道，在水平方向上将前方图像划分为多个较小区域，识别包括在多个较小区域中的每一个中的多个车道段，获得形成多个车道段中的每一个的多个坐标值，并且基于所获得的多个坐标值来获得多个较小区域中的每一个的俯仰角。
10.根据本发明构思的另一方面，提供了一种容纳车辆设备，包括：至少一个相机，被
配置为在容纳车辆正在行驶的情况下获得相对于容纳车辆的前方图像；图像信号处理器，被配置为：检测包括在前方图像中的车道，在水平方向上将前方图像划分为多个较小区域，识别包括在多个较小区域中的每一个中的多个车道段，获得形成多个车道段中的每一个的多个坐标值，基于所获得的多个坐标值来获得多个较小区域中的每一个的俯仰角，从前方图像的下端识别多个较小区域，识别包括在多个较小区域中的每一个中的车道段，基于形成所识别的车道段的多个坐标值来获得与多个较小区域中的每一个相对应的俯仰角，并且基于所获得的俯仰角来将前方图像的坐标转换为世界坐标的坐标值；以及车辆控制器，被配置为基于世界坐标的坐标值来控制悬架的强度和/或容纳车辆的速度。
附图说明
11.根据以下结合附图的具体实施方式，将更清楚地理解本发明构思的示例实施例，在附图中：
12.图1是根据示例实施例的斜度估计装置的框图；
13.图2是根据示例实施例的包括斜度估计装置的容纳车辆的侧视图；
14.图3示出了根据示例实施例的道路坐标的示例；
15.图4示出了根据示例实施例的图像坐标与道路坐标之间的相互关系；
16.图5a是示出了根据示例实施例的斜度估计装置的操作方法的流程图；
17.图5b示出了根据示例实施例的前方车道和前方图像的检测结果的示例；
18.图5c示出了根据示例实施例的将前方图像划分为多个较小区域的示例；
19.图5d示出了根据示例实施例的与一个较小区域相对应的道路坐标和图像平面；
20.图6示出了根据示例实施例的用于测量容纳车辆的俯仰角的流程图；
21.图7a示出了根据示例实施例的用于生成竖直道路轮廓的流程图；
22.图7b示出了根据示例实施例的相邻的较小区域之间的连续性的示例；
23.图7c示出了根据示例实施例的竖直道路轮廓的示例；
24.图7d示出了根据示例实施例的从前方图像的下端顺序地计算较小区域的竖直高度的示例；
25.图8示出了根据示例实施例的检测减速带的竖直高度的示例实施例；
26.图9示出了根据示例实施例的使用平视显示器(hud)的示例实施例；以及
27.图10示出了根据示例实施例的测量前方道路的侧倾的示例实施例。
具体实施方式
28.在下文中，将参照附图来详细描述示例实施例。在提供具体实施方式之前，以下将描述术语。
29.容纳车辆可以表示包括根据示例实施例的斜度估计装置的车辆。斜度估计装置可以电连接到或物理地连接到容纳车辆。斜度估计装置可以嵌入到容纳车辆中，或者可以附接到容纳车辆的外部。可以将容纳车辆称为各种术语，包括自身车辆、自车辆和自动驾驶车辆。
30.图像平面可以表示通过距离估计装置的相机将真实世界投影到的二维(2d)区域。例如，当相机是针孔相机时，真实世界可以在上部和下部之间颠倒并且左部和右部之间颠
倒的状态下被投影，因此可以将真实世界显示为图像平面。
31.图像平面可以是2d区域，因此可以包括以像素为单位划分的坐标。坐标可以被称为图像坐标。例如，当图像平面的左上端被设置为原点时，右方向可以被表示为u轴，而向下方向可以被表示为v轴。
32.世界坐标可以表示用于表示与距离估计装置的相机的外部环境相对应的真实世界的坐标。根据一些示例实施例，当斜度估计装置的相机被设置为原点时，世界坐标可以被称为相机坐标。将斜度估计装置的相机设置为原点的相机坐标或世界坐标可以具有x轴、y轴和z轴。例如，x轴可以对应于相机聚焦的前方，y轴可以对应于相对于相机的前方的左方向，并且z轴可以对应于相对于相机的前方的向上方向。换句话说，相机坐标的z轴(以下称为z
c
轴)可以对应于世界坐标的x轴，相机坐标的y轴(以下称为y
c
轴)可以对应于世界坐标的z轴，并且相机坐标的x轴(以下称为x
c
轴)可以对应于世界坐标的y轴。
33.道路坐标可以表示用于计算置于前方道路上的任意区域的斜度的虚拟坐标。例如，关于置于前方道路上的两个不同的点，道路坐标可以对应于这样的世界坐标，在该世界坐标中，两个不同的点设置在x轴上并且相机设置在z轴上。
34.图1是根据示例实施例的斜度估计装置100的框图。
35.参考图1，斜度估计装置100可以包括相机110和图像信号处理器(isp)120。
36.相机110可以嵌入到容纳车辆中并且可以识别容纳车辆的外部环境。例如，相机110可以将与前方或各个方向上的外部环境相对应的光转换为电能以生成图像，并且可以将所生成的图像传送到isp 120。
37.相机110可以嵌入到电子设备中，或者可以被实现为电子设备。例如，电子设备可以被实现为个人计算机(pc)、物联网(iot)设备或者便携式电子设备。便携式电子设备可以包括膝上型计算机、移动电话、智能电话、平板pc、个人数字助理(pda)、企业数字助理(eda)、数码相机、数码摄像机、音频设备、便携式多媒体播放器(pmp)、个人导航设备(pnd)、mp3播放器、手持式游戏控制台、电子书、可穿戴设备等。
38.isp 120可以基于通过相机110获得的图像(在下文中称为前方图像)检测前方道路的车道并且可以获得前方道路的俯仰角和竖直高度。俯仰角可以表示相对于支撑容纳车辆的平面的仰角。例如，俯仰角可以被称为各种术语，例如仰角和俯仰角。竖直高度可以表示在竖直方向上与支撑容纳车辆的平面间隔的距离。以下将描述获得俯仰角和竖直高度的操作。
39.isp 120可以将前方图像划分成多个较小的(例如，预定义的)区域。例如，isp 120可以在水平方向上将前方图像划分为多个较小区域。所划分的多个较小区域之一可以包括所检测的车道的一部分。车道的包括在所述一个较小区域中的部分可以被称为车道段。例如，第一区域可以包括第一车道段的图像，并且第二区域可以包括第二车道段的图像。当第一区域和第二区域在竖直方向上彼此相邻时，第一车道段和第二车道段可以连成一条线。
40.isp 120可以基于包括在多个较小区域中的每个较小区域中的车道段来估计与一个较小区域相对应的俯仰角。例如，isp 120可以通过使用单应性和道路坐标来估计所划分的区域的斜度。单应性可以表示用于在2d和三维(3d)之间转换的算法。以下将详细描述通过使用isp 120估计斜度的操作。
41.图2是根据示例实施例的包括斜度估计装置在内的容纳车辆200的侧视图。省略与
图1的描述相同或相似的描述。
42.参照图1和图2，容纳车辆200可以包括斜度估计装置100和车辆控制器210。
43.车辆控制器210可以控制容纳车辆200的整体行驶。车辆控制器210可以从斜度估计装置100获得前方道路上的任意点的俯仰角、和关于到该任意点的距离的距离信息。例如，任意点可以对应于设置有减速带的点。车辆控制器210可以基于关于到减速带的距离的距离信息在更靠近减速带的方向上降低容纳车辆200的速度。为此，车辆控制器210可以生成指示减速的控制信号，并且可以将该控制信号传送到制动系统。另外，车辆控制器210可以在容纳车辆200通过减速带时增加悬架的强度。悬架可以是将容纳车辆200的车轮和底盘相连的设备，并且可以是用于吸收来自路面的冲击的设备。车辆控制器210可以在容纳车辆200通过减速带时增加悬架的强度，因此可以减小乘客的竖直运动并且可以提供稳定的乘坐质量。
44.本文公开的元件中的任一个可以包括处理电路或在处理电路中实现，该处理电路例如是包括逻辑电路的硬件；诸如执行软件的处理器之类的硬件/软件组合；或两者的组合。例如，处理电路更具体地可以包括但不限于中央处理单元(cpu)、算术逻辑单元(alu)、数字信号处理器、微型计算机、现场可编程门阵列(fpga)、片上系统(soc)、可编程逻辑单元、微处理器、专用集成电路(asic)等。
45.图3示出了根据示例实施例的道路坐标的示例。
46.参照图3，容纳车辆200可以沿前方车道行驶，并且图3可以对应于行驶状况的侧视图。参照图3，上坡道路可以在相对于容纳车辆200的前方视图中。前方视图的上坡道路上的两个点可以分别称为第一点p'1和第二点p'2。第一点p'1和第二点p
’2的z轴分量可以具有不同的值。即，在世界坐标中，第一点p'1和第二点p'2的竖直高度可以不同。
47.根据一些示例实施例，可以假设这样的道路坐标，在该道路坐标中，第一点p'1和第二点p'2在平坦表面上。在道路坐标中，第一点p'1和第二点p'2的z轴(以下称为z'轴)分量均可以对应于0。即，第一点p'1和第二点p'2可以在道路坐标的x轴(以下称为x'轴)上。此外，可以假设相机110在道路坐标的z
′
轴上。即，在道路坐标中，相机110的x'轴分量可以是0。
48.第一点p'1的世界坐标可以是(x1，y1，z1)，并且第一点p'1的道路坐标可以是(x'1，y'1，0)。第二点p'2的世界坐标可以是(x2，y2，z2)，并且第二点p'2的道路坐标可以是(x'2，y'2，0)。
49.如上所述，可以看出相机坐标是相对于世界坐标表示的，此外，道路坐标相对于世界坐标升高了俯仰角。因此，可以相对于道路坐标表示相机坐标。相机坐标和道路坐标之间的相互关系可以表示为以下等式1。
50.[等式1]
[0051][0052]
在一个实施例中，h可以表示相机与道路坐标上的x
′
轴之间的间隔，即，可以对应于相机在道路坐标中的z
′
轴分量值，并且θ可以对应于代表道路坐标相对于世界坐标的升高程度的俯仰角。
[0053]
相机坐标中的对象可以通过相机110被投影，因此前方图像可以包括与对象相对
应的图像。即，相机坐标可以与用于表达图像平面的图像坐标(或像素坐标)相关。相机坐标和图像坐标之间的相互关系可以表示为以下等式2。
[0054]
[等式2]
[0055][0056]
在一个实施例中，f
x
和f
y
可以表示焦距，并且c
x
和c
y
均可以表示主点。相机的内部参数c
x
和c
y
均可以具有预定的值或备选地期望的值，该预定的值或期望的值用于校正图像平面中的坐标中心的移动位移。
[0057]
如上所述，在道路坐标中，因为假定第一点p'1和第二点p'2在平坦表面上，所以第一点p'1和第二点p'2的z'分量可以为0。因此，当在等式2中用0替换z
′
时，可以计算出以下等式3。
[0058]
[等式3]
[0059]
x
′
·
(u
·
cosθ
‑
c
x
·
cosθ) γ
′
·
f
x
＝
‑
u
·
h
·
sinθ c
x
·
h
·
sinθ
[0060]
x
′
·
(f
y
·
sinθ υ
·
cosθ
‑
c
y
·
cosθ)＝
‑
v
·
h
·
sinθ f
y
·
h
·
cosθ c
y
·
h
·
sinθ
[0061]
在一个实施例中，通过对等式3使用一阶泰勒级数进行逼近，道路坐标的任意点(x’，y’)可以表示为以下等式4。
[0062]
[等式4]
[0063][0064][0065]
参照等式4，道路坐标的任意点(x’，y’)可以表示为均与图像坐标中的该任意点相对应的坐标(u，v)和俯仰角，并且可以表示为道路坐标中的相机高度。
[0066]
图4示出了根据示例实施例的图像坐标与道路坐标之间的相互关系。
[0067]
参照图4，左图像可以对应于图像平面。即，左图像可以对应于通过包括在正在道路上行驶的容纳车辆200中的斜度估计装置100中的相机110看到的图像。
[0068]
参照图像平面，可以看到两条线彼此不平行。像图像平面的两条线那样，世界坐标中的平行线可能彼此不平行，并且可能面向一个点。这一个点可以被称为消失点。
[0069]
可以通过图像平面的两条线设置具有相同v分量的两个点。例如，当第一坐标是(u1，v1)并且第三坐标是(u3，v3)时，v1和v3可以具有相同的值。作为另一示例，当第二坐标是(u2，v2)并且第四坐标是(u4，v4)时，v2和v4可以具有相同的值。即，在图像平面中，当在水平方向上绘制两条平行虚拟线时，与对应于车道的线相交的四个点可以分别被称为第一坐标至第四坐标。
[0070]
根据一些示例实施例，右图像可以对应于世界坐标的鸟瞰图。即，第一坐标至第四坐标可以是前方道路上的点，因此第一坐标至第四坐标的z’分量均可以为0。当在相机聚焦的图像平面中将第一坐标转换为世界坐标时，第一坐标可以是(x’1，y’1，0)。其他第二坐标至第四坐标如上所述。
[0071]
根据一些示例实施例，容纳车辆200正在行驶的车道的宽度可以是恒定的，并且这
可以等同地应用于弯曲道路。即，在道路坐标中，第三坐标和第一坐标之间的y
′
分量差可以与第四坐标和第二坐标之间的y
′
分量差相同。即，假设车道的宽度是恒定的，则车道的宽度可以表示为以下等式5。
[0072]
[等式5]
[0073][0074][0075]
在一个实施例中，参考等式5，可以获得对应于俯仰角的三次方程，并且俯仰角可以表示为以下等式6。
[0076]
[等式6]
[0077][0078]
在一个实施例中，u和v可以表示图像平面的坐标值，并且f
y
和c
y
可以表示被定义为相机的内部参数的值。即，当识别出由于在图像平面的前方图像中被检测为车道的两条线与在水平方向上彼此平行的两条线相交而生成的四个点的坐标值时，可以计算俯仰角。
[0079]
图5a是根据示例实施例的斜度估计装置的操作方法的流程图。
[0080]
参照图5a，在操作s110中，isp 120可以获得前方图像。当容纳车辆200正沿道路行驶时，相机110可以获得相对于容纳车辆200的前方视图的图像(以下称为前方图像)，并且可以将所获得的图像传送到isp 120。
[0081]
在操作s120中，isp 120可以检测包括在所获得的前方图像中的车道。isp 120可以对所获得的前方图像执行对象检测算法。
[0082]
例如，isp 120可以首先过滤黄色或白色对象，并且在过滤之后，isp 120可以检查对象中的每个对象的形状是否是线性形状，从而仅检测车道。作为另一示例，容纳车辆200可以进一步包括基于人工智能(ai)的神经网络知识产权(ip)。神经网络ip可以包括一个或多个加速器，并且可以快速地执行对象检测算法。
[0083]
在包括以下讨论的那些实施例的一些实施例中，神经网络ip可以利用各种人工神经网络组织和处理模型，例如卷积神经网络(cnn)、反卷积神经网络、递归神经网络(rnn)(其可选地包括长短期存储器(lstm)单元和/或门控递归单元(gru))、堆叠神经网络(snn)、状态空间动态神经网络(ssdnn)、深度信念网络(dbn)、生成对抗网络(gan)和/或受限玻尔兹曼机(rbm)。
[0084]
备选地或附加地，这种神经网络ip可以包括其他形式的机器学习模型，例如线性和/或逻辑回归、统计聚类、贝叶斯分类、决策树、降维(例如主成分分析)和专家系统；和/或其组合(包括集群(ensemble)，例如随机森林)。
[0085]
参照图5a和图5b，上部图像可以对应于通过相机获得的前方图像，并且下部图像可以对应于基于对象检测算法完成了车道检测的图像。参考下部图像，可以检查出对象(包括前方视图中行驶的车辆、建筑物以及除了车道之外的树木)已经被过滤。
[0086]
在操作s130中，isp 120可以在水平方向上将前方图像划分为多个较小区域。参照图5a和图5c，isp 120可以在水平方向上将车道检测完成后的前方图像(以下称为车道检测图像)划分为多个较小区域。
[0087]
参照图5c，多个较小区域在竖直方向上的像素长度(以下称为竖直像素长度)可以相同。即，在水平方向上彼此平行的多个点之间的间隔可以相同。例如，像素长度可以对应于等于5的像素长度，但是示例实施例不限于此，并且可以使用具有小数点单位的像素长度。竖直像素长度可以基于前方图像的复杂性、容纳车辆200的速度以及isp120的过载而灵活地变化。
[0088]
根据一些示例实施例，多个较小区域的竖直像素长度可以不同。例如，isp 120可以减小前方图像的多个下部较小区域中的每一个的竖直像素长度。即，在接近容纳车辆200的距离的前方道路中，其俯仰角可以被更精确地测量，因此可以用作容纳车辆200的俯仰角。作为另一示例，isp 120可以减小前方图像的多个上部较小区域中的每一个的竖直像素长度。前方图像的上部较小区域可以对应于远离容纳车辆200的区域。这是因为即使区域远离容纳车辆200，当容纳车辆200的速度大于阈值速度或isp 120的负载等于或大于预定的阈值或备选地等于或大于期望的阈值时，需要在靠近该区域之前预先计算俯仰角。
[0089]
在操作s140中，isp 120可以识别包括在多个较小区域中的每一个中的车道段，并且可以获得形成车道段的点的坐标。参照图5a和图5d，左图像可以代表多个较小区域之一。
[0090]
车道段可以对应于在操作s120中检测到的车道的至少一部分。例如，当在水平方向上将前方图像划分为多个较小区域的情况下，可以将在操作s120中检测到的车道划分为多个车道段。即，车道段可以表示包括在多个较小区域中的每一个中的车道。
[0091]
isp 120可以获得形成车道段的点的坐标值。例如，参考图5c，当一个较小区域是区域510时，车道段可以表示多条线510和520。在一个实施例中，形成车道段的多个点可以包括左线510的两个端点和右线520的两个端点。即，参照图4，形成车道段的多个点可以包括第一坐标至第四坐标。形成左线510的两个端点可以包括第一坐标(u1，v1)和第二坐标(u2，v2)，并且形成右线520的两个端点可以包括第三坐标(u3，v3)和第四坐标(u4，v4)。
[0092]
在操作s150中，isp 120可以基于所获得的坐标来获得多个较小区域中的每一个的俯仰角。
[0093]
isp 120可以通过使用等式6基于所获得的坐标值来获得与任意较小区域相对应的俯仰角。例如，参考等式6，可以通过输入包括在图像平面中的第一坐标(u1，v1)至第四坐标(u4，v4)和相机110的内部参数来计算图5c的较小区域510的俯仰角。
[0094]
根据一些示例实施例，isp 120可以根据前方图像的下部较小区域中的每一个来计算俯仰角。前方图像的下部较小区域中的每一个可以是与接近容纳车辆200的距离相对应的区域，因此可以被假定为相对于容纳车辆200具有平坦道路的区域。因此，isp 120可以计算下部较小区域中的每一个的俯仰角，并且可以将计算出的俯仰角设置为容纳车辆200的俯仰角。因此，isp 120可以在容纳车辆200的行驶过程中实时反映容纳车辆200的俯仰角。
[0095]
图6示出了根据示例实施例的用于测量容纳车辆的俯仰角的流程图。
[0096]
参照图6，isp 120可以从前方图像的下端识别预定的多个较小区域或备选地识别期望的多个较小区域。例如，isp 120可以从前方图像的下端识别五个较小区域。预定的数
量或备选地期望的数量可以基于容纳车辆200的速度和isp 120的过载而灵活地变化。
[0097]
即，isp 120可以设置多个较小区域中的至少一些，从而提高靠近容纳车辆200的区域的俯仰角的可靠性。例如，凹凸部分可以在相对于容纳车辆200的前方道路上。例如，当isp 120仅识别出一个较小区域并且将计算出的俯仰角设置为容纳车辆200的俯仰角时，可能会出现错误。例如，这是因为当识别出的一个较小区域是包括凹凸部分的区域时，尽管正在行驶的容纳车辆200的俯仰角为0，但是可能将具有较高值的俯仰角设置为容纳车辆200的俯仰角。当将宽区域的俯仰角设置为容纳车辆200的俯仰角时，即使凹凸部分部分地设置在前方道路上，也可能将前方道路的总俯仰角设置为容纳车辆200的俯仰角。
[0098]
在操作s220中，isp 120可以检测包括在前方图像的识别出的区域中的车道段。isp 120可以检测设置在多个较小区域中的车道。例如，竖直像素长度为1的区域的车道段的长度可以较短以表示前方道路的俯仰角，但是竖直像素长度为10的区域的车道段的长度可以足够长以表示前方道路的俯仰角。
[0099]
在操作s230中，isp 120可以基于检测到的车道段来估计识别出的区域的俯仰角。即，isp 120可以获得形成检测到的车道段的四个坐标值，并且可以将获得的坐标值代入等式6中以获得识别出的区域的俯仰角。其描述与图5a的操作s140和s150的描述相同或相似，因此被省略。
[0100]
图7a示出了根据示例实施例的用于生成竖直道路轮廓的流程图。竖直道路轮廓可以表示与容纳车辆200正在沿其行驶的前方车道的竖直高度有关的信息。
[0101]
参照图7a，在操作s310中，isp 120可以获得前方图像的最下面的较小区域的俯仰角。例如，结合图7b参考图7a，最下面的较小区域可以是较小区域h0。最下面的较小区域可以表示前方图像中包括的多个较小区域中最接近容纳车辆200的较小区域。可以理解，最下面的较小区域h0是具有与正在行驶的容纳车辆200的竖直高度相同的竖直高度的较小区域。即，最下面的较小区域h0可以表示相对于容纳车辆200正在行驶的地面的平坦区域。获得最下面的较小区域h0的俯仰角的过程的描述与图5a中的获得俯仰角的操作的描述相同或相似，因此将被省略。
[0102]
在操作s320中，isp 120可以将最下面的较小区域h0起始的高度设置为0，并且可以计算最下面的较小区域h0结束的竖直高度。
[0103]
根据一些示例实施例，通过使用等式2和等式4，isp 120可以获得道路坐标中的z
′
值，并且另外基于道路坐标中的z
′
值与世界坐标中的z值之间的相互关系，isp 120可以获得任意较小区域的z值，即，可以获得任意较小区域中的竖直高度的变化。竖直高度的变化可以表示为以下等式7。
[0104]
[等式7]
[0105][0106]
在一个实施例中，hc可以表示相机110的高度参数，并且可以对应于相机110在世界坐标中的竖直高度。
[0107]
参照图4，最下面的较小区域起始的点可以包括第二坐标(u2，v2)和第四坐标(u4，v4)，并且最下面的较小区域结束的点可以包括第一坐标(u1，v1)和第三个坐标(u3，v3)。这是
因为在容纳车辆200沿车道行驶的情况下，容纳车辆200首先通过包括第二坐标(u2，v2)和第四坐标(u4，v4)在内的点，然后通过包括第一坐标(u1，v1)和第三坐标(u3，v3)在内的点。
[0108]
即，通过第二坐标(u2，v2)和第四坐标(u4，v4)的线可以被假定为第一线710，并且通过第一坐标(u1，v1)和第三坐标(u3，v3)的线可以被假定为第二线720。最下面的较小区域起始的点可以对应于第一线710，并且最下面的较小区域结束的点可以对应于第二线720。
[0109]
如上所述，第一线710可以是足够接近容纳车辆200的点，因此竖直高度可以相对于容纳车辆200不改变。即，均包括在第一线710中的第二坐标(u2，v2)和第四坐标(u4，v4)的z值可以被假定为0。基于在等式7中最下面的较小区域的z值为0(例如，i＝0)的特征，相机110在道路坐标中针对最下面的较小区域的高度可以表示为以下等式8。
[0110]
[等式8]
[0111][0112]
根据一些示例实施例，在竖直方向上彼此相邻的多个较小区域可以是连续的。这是因为与从前方图像划分而来的最下面的较小区域h0向上相邻的较小区域h1形成一个前方道路，并且该前方道路是连续的。即，前方道路的连续性可以表示为以下等式9。
[0113]
[等式9]
[0114][0115]
即，通过将等式7和等式8代入等式9，可以获得对应于任意较小区域的竖直高度，并且可以将该竖直高度表示为以下等式10。
[0116]
[等式10]
[0117][0118]
根据一些示例实施例，可以执行道路坐标和世界坐标之间的转换，并且这可以表示为以下等式11。
[0119]
[等式11]
[0120][0121]
参照等式11，可以基于任意较小区域的起始点的z值、相机110在世界坐标中的高度和任意较小区域的俯仰角来检查任意较小区域结束的点的z值。即，可以计算作为任意较小区域的z值变化的竖直高度。例如，通过代入i＝0，可以获得前方图像的最下面的较小区域h0的z值变化。
[0122]
在操作s330中，isp 120可以基于竖直相邻的较小区域之间的连续性来顺序地计算多个较小区域的竖直高度。
[0123]
参照图7b和图7d，第一较小区域h0结束的点的z值可以与第二较小区域h1起始的点的z值相同。如上所述，这是因为前方道路的高度是连续的。例如，凹凸部分可以在前方道路上，因此z值可能会突然增大。即，即使当z值由于凹凸部分而迅速改变时，isp 120也可以非
常精细地将图像划分为多个较小区域，因此竖直相邻的较小区域的z值可以相同。
[0124]
isp 120可以从最下面的较小区域h0沿朝向上部的方向顺序地计算较小区域的z值变化。如上所述，可以将第一较小区域h0的z值变化设置为第二较小区域h1的起始点的z值。isp 120可以基于第二较小区域h1的俯仰角来计算第二较小区域h1结束的点的z值，并且可以将计算出的z值设置为第三较小区域(未示出)的起始点的z值。第三较小区域(未示出)可以表示与第二较小区域h1向上相邻的区域。isp 120可以重复计算直到前方图像的最上面的较小区域，以计算竖直高度的变化。
[0125]
在操作s340中，isp 120可以基于计算出的z值变化来生成竖直道路轮廓，在该竖直道路轮廓中，反映了相对于容纳车辆200的前方视图中的竖直高度的变化。
[0126]
参照图7c，isp 120可以生成竖直道路轮廓。横轴可以与容纳车辆200的行驶方向相同。纵轴可以表示相对于容纳车辆200的竖直高度的变化。isp 120可以从前方图像的下端顺序地获得多个较小区域的z值变化直到前方图像的上端，并且在竖直道路轮廓中，随着容纳车辆200沿横轴行驶，可以通过累加z值变化来显示纵轴。
[0127]
图8示出了根据示例实施例的检测减速带的竖直高度的示例实施例。
[0128]
参照图8，根据示例实施例，isp 120可以识别设置在前方视图中的减速带。isp 120可以基于从相机110传送来的前方图像来检测车道。容纳车辆200前方的减速带可以包括这样的形状，即，该形状对应于与容纳车辆200正在沿其行驶的车道不同的方向。即，当使用车道检测算法时，由于印刷在减速带中的不同方向的形状，因此isp 120可以检测面向与行驶车道不同的方向的长度较短的车道。当从前方图像检测到面向不同方向的车道时，isp 120可以确定减速带在前方视图中。
[0129]
在上述示例实施例中，已经描述了基于检测到不同方向的车道来识别减速带，但是本发明构思不限于此。isp 120可以通过使用神经网络ip的对象检测算法来更快地识别减速带。
[0130]
根据示例实施例，isp 120可以生成与前方图像相对应的竖直道路轮廓。如上所述，isp 120可以在水平方向上将前方图像划分为多个较小区域，并且可以从前方图像的最下面的较小区域沿朝向上端的方向计算俯仰角和z值的变化。例如，在与减速带相对应的较小区域中，isp 120可以根据基于印刷在减速带中的图案所生成的车道段而不是基于容纳车辆200正在行驶的车道段来计算俯仰角和z值的变化。这是因为在基于容纳车辆200正在行驶的车道段执行计算的情况下，基于减速带的竖直高度的变化没有反映在竖直道路轮廓中。
[0131]
根据一些示例实施例，isp 120可以在水平方向上更精确地划分与识别出的减速带相对应的多个较小区域。例如，假设isp 120在水平方向上每隔竖直像素长度的5倍划分前方图像，则isp 120可以每隔竖直像素长度的1倍划分与减速带相对应的区域。isp 120可以仅在包括不同方向的车道的区域中减小对区域进行划分的间隔，因此可以更精确地划分与减速带相对应的区域。
[0132]
在示例实施例中，isp 120可以基于前方图像中包括的多个较小区域中的每个较小区域的z值变化来生成竖直道路轮廓。在竖直道路轮廓的前方区域的与减速带相对应的区域中，isp 120可以使用根据基于印刷在减速带中的图案生成的车道段所计算出的z值变化。
[0133]
图9示出了根据示例实施例的使用平视显示器(hud)的示例实施例。
[0134]
参考图9，容纳车辆200还可以包括hud(未示出)。hud可以是在容纳车辆200的前窗上显示行驶车道和诸如容纳车辆200的行驶速度等的附加信息的设备。
[0135]
根据示例实施例，isp 120可以生成关于虚拟车道的信息。虚拟车道可以通过使用hud来指示相对于容纳车辆200的前方道路。例如，isp 120可以生成关于与图4的鸟瞰图所示的车道平行且在y
′
轴方向上的宽度较窄的车道的信息。
[0136]
根据示例实施例，isp 120可以在所生成的关于虚拟车道的信息中反映竖直道路轮廓。即，图4的鸟瞰图所示的车道可以是z值为0的道路坐标中的车道，因此isp 120可以基于包括关于z值的变化的信息在内的竖直道路轮廓来生成虚拟车道中的车道的世界坐标的坐标值。
[0137]
根据示例实施例，isp 120可以基于等式11的转换关系来计算与虚拟车道的图像平面相对应的坐标值。随后，hud可以基于与图像平面相对应的坐标值来显示虚拟车道。例如，虚拟车道可以包括关于竖直道路轮廓的z值变化的信息，因此即使前方道路中存在不平坦部分，hud实际上可以显示不平坦部分。因此，容纳车辆200的驾驶员可以预先识别与前方道路的凹凸部分和减速带有关的信息。
[0138]
图10示出了根据示例实施例的测量前方道路的侧倾的示例实施例。
[0139]
参照图10，前方图像1000可以包括包含多个车道的图像。在下文中，为了便于描述，可以将容纳车辆200沿其行驶的车道b称为第二车道，可以将第二车道左侧的车道a称为第一车道，并且可以将第二车道右侧的车道c称为为第三车道。
[0140]
根据示例实施例，isp 120可以计算第一车道至第三车道的z值变化。即，isp 120可以在水平方向上将包括第一车道至第三车道在内的前方图像划分为多个较小区域。随后，isp 120可以从第一车道至第三车道中的每一个的任意较小区域检测车道段，并且可以基于形成车道段的四个坐标值来检测z值的变化。
[0141]
例如，在任意较小区域中，第一车道的z值变化可以是
‑
10mm，第二车道的z值变化可以是10mm，并且第三车道的z值变化可以是20mm。isp 120可以基于第一车道至第三车道中的每一个的z值变化来计算前方道路的侧倾角。根据示例实施例，isp 120可以基于第一车道和第三车道中的每一个的z值变化来计算前方道路的侧倾角。即，isp 120可以基于30mm来计算前方道路的侧倾角，该30mm是前方道路的左区域和右区域之间的竖直高度差。根据示例实施例，isp 120可以计算第一侧倾角和第二侧倾角，并且基于第一侧倾角和第二侧倾角，isp 120可以计算前方道路的侧倾角。可以基于第一车道和第二车道之间的竖直高度差来确定第一侧倾角，并且可以基于第二车道和第三车道之间的竖直高度差来确定第二侧倾角。isp 120可以获得第一侧倾角和第二侧倾角中的每一个，并且可以将第一侧倾角和第二侧倾角的平均值确定为前方道路的侧倾角。
[0142]
尽管已参考本发明构思的示例实施例详细示出和描述了本发明构思，但是应当理解，在不脱离所附权利要求的精神和范围的情况下，可以在形式和细节上进行各种改变。