自动驾驶控制装置及控制方法与流程

自动驾驶控制装置及控制方法
1.相关申请的交叉引用
2.本技术要求于2021年6月7日提交的申请号为10-2021-0073544的韩国专利申请的优先权，该韩国专利申请的全部内容通过引用并入本文以用于全部目的。
技术领域
3.本发明涉及一种自动驾驶控制装置及控制方法，更具体地，涉及一种用于控制自动驾驶车辆的装置和方法。


背景技术：

4.自动驾驶车辆需要自适应地应对在驾驶时实时变化的周围情况的能力。
5.为了量产和激活自动驾驶车辆，首先需要可靠的判断控制功能。
6.最近上市的半自动驾驶车辆基本上代替驾驶员执行驾驶、制动和转向，以减少驾驶员的疲劳。
7.与完全自动驾驶不同，在半自动驾驶的情况下，驾驶员应始终专注于驾驶，例如持续地握住方向盘。
8.近来，出售的半自动驾驶车辆装载有高速公路驾驶辅助(highway driving assist，hda)功能、判断诸如困倦或视线偏离的驾驶员疏忽以及状态异常并通过组合仪表等输出警告警报的驾驶员状态警告(driver status warning，dsw)功能、通过前视摄像头判断车辆是否越线并进行不稳定驾驶的驾驶员意识警告(driver awareness warning，daw)功能、当感测到正面碰撞时执行紧急制动的前方防撞辅助系统(forward collision-avoidance assist，fca)或主动紧急制动系统(active emergency brake system，aebs)功能等。
9.由于在大雨、大雪、大雾等恶劣天气的情况下，传统的自动驾驶车辆可能会错误地识别或无法识别自动驾驶车辆周围的物体，或者由于路面湿滑，自动驾驶车辆难以维持驾驶性能。
10.在本背景技术部分中公开的内容仅用于增强对本发明的总体背景的理解，并且不能被视为承认或以任何形式暗示该内容形成本领域技术人员已知的现有技术。


技术实现要素：

11.本发明的各方面提供一种根据天气控制自动驾驶车辆的装置和方法。
12.本发明的各方面提供一种在感测到恶劣天气并判断不可能保持自动驾驶功能时请求驾驶员切换控制权限以提高自动驾驶系统的稳定性的自动驾驶控制装置及控制方法。
13.本发明的各方面提供一种在感测到恶劣天气时限制自动驾驶车辆在自动驾驶模式下的速度或加速度以降低事故风险并防止大事故以确保驾驶员安全的自动驾驶控制装置及控制方法。
14.本发明的各方面提供一种在感测到恶劣天气时执行最小风险策略(mrm)以向自动
驾驶车辆的乘客提供安全功能的自动驾驶控制装置及控制方法。
15.本发明的各方面提供一种当感测到恶劣天气时利用附加装置或自动驾驶车辆的显示装置向驾驶员或其它车辆提供与恶劣天气有关的信息以增加驾驶员或其它车辆的用户的安全性和便利性的自动驾驶控制装置及控制方法。
16.本发明的各种示例性实施例要解决的技术问题不限于上述问题，并且本发明的各种示例性实施例所属领域的技术人员将从以下描述中清楚地理解本文中未提及的任何其它技术问题。
17.根据本发明的各方面，一种自动驾驶控制装置可以包括：感测装置，其设置在自动驾驶车辆中，以获得自动驾驶车辆的车辆信息和自动驾驶车辆周围的天气信息中的至少一种；恶劣天气判断装置，基于自动驾驶车辆的车辆信息和自动驾驶车辆周围的天气信息中的至少一种判断气候状态是否为恶劣天气状态；以及自动驾驶模式判断装置，其根据气候状态是否为恶劣天气状态来确定自动驾驶车辆的自动驾驶模式。
18.在本发明的各种示例性实施例中，车辆信息可以包括自动驾驶车辆周围的图像、自动驾驶车辆的激光雷达(lidar)的感测信息、自动驾驶车辆的雨水传感器的感测信息、自动驾驶车辆的刮水器的操作状态、自动驾驶车辆的加速度和自动驾驶车辆的车轮传感器信息中的至少一种。天气信息可以包括通过车辆到一切事物(v2x)通信获得的天气信息。
19.在本发明的各种示例性实施例中，当恶劣天气判断装置判断气候状态为恶劣天气状态并且自动驾驶车辆正在执行自动驾驶时，自动驾驶模式判断装置限制自动驾驶车辆的速度和加速度中的至少一个或者请求用户切换自动驾驶车辆的控制权限，并且当恶劣天气判断装置判断气候状态为恶劣天气状态并且自动驾驶车辆未执行自动驾驶时，自动驾驶模式判断装置禁止自动驾驶车辆的自动驾驶被激活。
20.在本发明的各种示例性实施例中，自动驾驶控制装置可以进一步包括：控制器，当恶劣天气判断装置判断气候状态为恶劣天气状态时，控制器通过v2x通信将对应于恶劣天气的信号发送到外部装置，在自动驾驶车辆的显示器上显示与恶劣天气有关的信息，或者操作自动驾驶车辆的刮水器。
21.在本发明的各种示例性实施例中，恶劣天气判断装置可以通过先前学习的基于机器学习的学习模型分析自动驾驶车辆周围的图像以判断气候状态是否为恶劣天气状态，图像包括自动驾驶车辆前方的图像、自动驾驶车辆后方的图像、自动驾驶车辆的预定侧面处的图像和地面方向的图像中的至少一种。
22.在本发明的各种示例性实施例中，恶劣天气判断装置可以通过先前学习的基于机器学习的学习模型分析自动驾驶车辆的lidar的感测信息以判断气候状态是否为恶劣天气状态，或者基于对应于lidar的感测信息的噪声分量的值是否大于预定的噪声分量阈值来判断气候状态是否为恶劣天气状态。
23.在本发明的各种示例性实施例中，恶劣天气判断装置可以根据通过对由lidar感测到的点进行聚类而获得的组的形心分量的位置变化、聚类组的数量或聚类组的数量变化中的至少一个来检测噪声分量。
24.在本发明的各种示例性实施例中，恶劣天气判断装置可以基于由雨水传感器感测到的发射到自动驾驶车辆的挡风玻璃的光的反射率和反射率的变化中的至少一个来判断气候状态是否为恶劣天气状态。
25.在本发明的各种示例性实施例中，当整个挡风玻璃的反射率大于预定的第一阈值反射率或当挡风玻璃的一部分的反射率大于预定的第二阈值反射率时，恶劣天气判断装置判断气候状态为恶劣天气状态。
26.在本发明的各种示例性实施例中，当自动驾驶车辆的刮水器在高状态下操作大于预定阈值时间时，恶劣天气判断装置判断气候状态为恶劣天气状态。
27.在本发明的各种示例性实施例中，当基于自动驾驶车辆的加速度和车轮传感器信息中的至少一种确定的自动驾驶车辆的打滑程度大于预定的打滑阈值时，恶劣天气判断装置判断气候状态为恶劣天气状态。
28.在本发明的各种示例性实施例中，当对应于自动驾驶车辆周围的图像的参数值、对应于自动驾驶车辆的激光雷达(lidar)的感测信息的参数值、对应于自动驾驶车辆的雨水传感器的感测信息的参数值、对应于自动驾驶车辆的刮水器的操作状态的参数值、对应于通过v2x通信获得的气候信息的参数值和对应于自动驾驶车辆的加速度和车轮传感器信息中的至少一种的参数值中的一个以上的值大于为每个参数预设的预定第一阈值时或者当两个以上的参数值大于为每个参数预设的预定第二阈值时，恶劣天气判断装置判断气候状态为恶劣天气状态。
29.根据本发明的各方面，一种自动驾驶控制方法可以包括：设置在自动驾驶车辆中的感测装置获得自动驾驶车辆的车辆信息和自动驾驶车辆周围的天气信息中的至少一种；恶劣天气判断装置基于自动驾驶车辆的车辆信息和自动驾驶车辆周围的天气信息中的至少一种判断气候状态是否为恶劣天气状态；以及自动驾驶模式判断装置根据气候状态是否为恶劣天气状态来确定自动驾驶车辆的自动驾驶模式。
30.在本发明的各种示例性实施例中，自动驾驶模式判断装置根据气候状态是否为恶劣天气状态来确定自动驾驶车辆的自动驾驶模式可以包括：当恶劣天气判断装置判断气候状态为恶劣天气状态并且自动驾驶车辆正在执行自动驾驶时，自动驾驶模式判断装置限制自动驾驶车辆的速度和加速度中的至少一个或者请求用户切换自动驾驶车辆的控制权限；以及当恶劣天气判断装置判断气候状态为恶劣天气状态并且自动驾驶车辆未执行自动驾驶时，自动驾驶模式判断装置禁止自动驾驶车辆的自动驾驶被激活。
31.在本发明的各种示例性实施例中，自动驾驶控制方法可以进一步包括：当气候状态被恶劣天气判断装置判断为恶劣天气状态时，控制器通过v2x通信将对应于恶劣天气的信号发送到外部装置，在自动驾驶车辆的显示器上显示与恶劣天气有关的信息，或者操作自动驾驶车辆的刮水器。
32.在本发明的各种示例性实施例中，恶劣天气判断装置判断气候状态是否为恶劣天气状态可以包括：恶劣天气判断装置通过先前学习的基于机器学习的学习模型分析自动驾驶车辆周围的图像以判断气候状态是否为恶劣天气状态，图像包括自动驾驶车辆前方的图像、自动驾驶车辆后方的图像、自动驾驶车辆的预定侧面处的图像和地面方向的图像中的至少一种。
33.在本发明的各种示例性实施例中，恶劣天气判断装置判断气候状态是否为恶劣天气状态可以包括：恶劣天气判断装置通过先前学习的基于机器学习的学习模型分析自动驾驶车辆的lidar的感测信息，以判断气候状态是否为恶劣天气状态，或者恶劣天气判断装置基于对应于lidar的感测信息的噪声分量的值是否大于预定的噪声分量阈值来判断气候状
态是否为恶劣天气状态。
34.在本发明的各种示例性实施例中，恶劣天气判断装置判断气候状态是否为恶劣天气状态可以包括：恶劣天气判断装置基于由雨水传感器感测到的发射到自动驾驶车辆的挡风玻璃的光的反射率和反射率的变化中的至少一个来判断气候状态是否为恶劣天气状态。
35.在本发明的各种示例性实施例中，恶劣天气判断装置判断气候状态是否为恶劣天气状态可以包括：当自动驾驶车辆的刮水器在高状态下操作大于预定阈值时间时，恶劣天气判断装置判断气候状态为恶劣天气状态。
36.在本发明的各种示例性实施例中，恶劣天气判断装置判断气候状态是否为恶劣天气状态可以包括：当基于自动驾驶车辆的加速度和车轮传感器信息中的至少一种确定的自动驾驶车辆的打滑程度大于预定的打滑阈值时，恶劣天气判断装置判断气候状态为恶劣天气状态。
37.本发明的方法和装置具有其它特征和优点，这些特征和优点将从一起用于解释本发明的某些原理的并入本文的附图和以下具体实施方式中显而易见或在附图和具体实施方式中更详细地阐述。
附图说明
38.图1是定义自动驾驶车辆的自动化级别的表格；
39.图2是示出根据本发明的各种示例性实施例的自动驾驶控制装置的框图；
40.图3是示出根据本发明的各种示例性实施例的自动驾驶控制装置的框图；
41.图4是示出根据本发明的各种示例性实施例的自动驾驶控制装置基于激光雷达(lidar)的噪声分量来判断恶劣天气的示图；
42.图5是示出根据本发明的各种示例性实施例的自动驾驶控制装置基于雨水传感器的感测信息来判断恶劣天气的示图；
43.图6是示出根据本发明的各种示例性实施例的自动驾驶控制装置判断恶劣天气并控制自动驾驶车辆的过程的流程图；
44.图7是示出根据本发明的各种示例性实施例的自动驾驶控制方法的流程图；以及
45.图8是示出根据本发明的各种示例性实施例的自动驾驶控制方法的流程图。
46.可以理解的是，附图不一定按比例绘制，而是呈现了说明本发明基本原理的各种特征的稍微简化的表示。本公开所包括的本发明的具体设计特征，包括例如具体尺寸、取向、位置和形状，将部分地由特别预期的应用和使用环境确定。
47.在附图中，附图标记在多幅附图中指代本发明的相同或等同部分。
具体实施方式
48.现在将详细参考在附图中示出并在下面描述的本发明的各种示例性实施例。尽管将结合本发明的示例性实施例来描述本发明，但是将理解的是，本公开并不旨在将本发明限制于那些示例性实施例。另一方面，本公开旨在不仅涵盖本发明的示例性实施例，而且涵盖可以包括在如所附权利要求书所限定的本发明的思想和范围内的各种替代、修改、等同形式和其它实施例。
49.在下文中，将参照示例性附图详细描述本发明的一些示例性实施例。在对各附图
的组件添加附图标记时，应当注意的是，即使在相同或等同的组件显示在其它附图中时，它们也由相同的附图标记表示。此外，在描述本发明的示例性实施例时，将省略公知特征或功能的详细描述，以免不必要地使本发明的主旨模糊。
50.在描述根据本公开的实施例的组件时，可以使用诸如“第一”、“第二”、“a”、“b”、“(a)”、“(b)”等术语。这些术语仅旨在将一个组件与另一组件区分开，并且这些术语不限制构成组件的性质、顺序或次序。除非不同地定义，否则本文中使用的包括技术或科学术语的所有术语具有与本发明的各种示例性实施例所属领域的技术人员通常理解的含义相同的含义。诸如在通用词典中定义的那些术语应该被解释为具有与相关技术领域中的上下文含义相同的含义，并且除非在本技术中明确地定义为具有理想或过于形式化的含义，否则不应如此解释。
51.在下文中，将参照图1、图2、图3、图4、图5、图6、图7和图8详细描述本发明的实施例。
52.图1是定义自动驾驶车辆的自动化级别的表格。
53.自动驾驶车辆是指自行识别驾驶环境以判断风险、控制其行驶路线以最小化驾驶员的驾驶操纵并自行驾驶的车辆。
54.总之，自动驾驶车辆是指在不受人影响的情况下能够执行驾驶、转向和停车的车辆，并且是作为自动驾驶车辆的核心基础的自动驾驶技术(即，在没有驾驶员的主动控制或监控的情况下操作车辆的能力)被开发到最高程度的车辆。
55.参照图1，在自动化级别为级别0至2时，由驾驶员监控驾驶环境。另一方面，在自动化级别为级别3至5时，由自动驾驶系统监控驾驶环境。
56.然而，目前市场上的自动驾驶车辆概念可以包括通往完全自动驾驶车辆，并且可以对应于以完全自动驾驶车辆的量产和商业化为前提的面向目标的概念。
57.根据本发明示例性实施例的自动驾驶控制方法适用于与图1所示的自动驾驶自动化级别中的级别2(部分自动化)和级别3(条件自动化)对应的自动驾驶车辆，但不限于此，并且适用于支持多种自动化级别的自动驾驶车辆。
58.汽车工程师协会(sae)将自动驾驶车辆的自动化级别按照图1的表进行分类。
59.图2是示出根据本发明的各种示例性实施例的自动驾驶控制装置的框图。
60.参照图2，自动驾驶控制装置200可以包括感测装置210、恶劣天气判断装置220和自动驾驶模式判断装置230。
61.作为示例，自动驾驶控制装置200可以与车辆一体地配置或者可以以安装/附接到车辆的形式实现为单独的配置。可选地，自动驾驶控制装置200的一部分可以与车辆一体地配置，并且其余部分可以以安装/附接到车辆的形式实现为单独的配置。
62.感测装置210可以设置在自动驾驶车辆中以获得自动驾驶车辆的车辆信息和自动驾驶车辆周围的天气信息中的至少一种。
63.作为示例，车辆信息可以包括自动驾驶车辆周围的图像、自动驾驶车辆的激光雷达(light detection and ranging，lidar)的感测信息、自动驾驶车辆的雨水传感器的感测信息、自动驾驶车辆的刮水器的操作状态、自动驾驶车辆的加速度和自动驾驶车辆的车轮传感器信息中的至少一种。
64.作为示例，天气信息可以包括通过车辆到一切事物(vehicle to everything，
v2x)通信获得的天气信息。作为示例，感测装置210可以连接到设置在自动驾驶车辆中的摄像头，以通过摄像头获得自动驾驶车辆周围的图像。
65.具体地，感测装置210可以通过设置在自动驾驶车辆中的全车监控(around view monitoring，avm)摄像头、全景监控(surround view monitor，svm)摄像头、行车视频记录系统(dvrs)摄像头、摄像头监控系统(cms)摄像头、盲点视图监控(bvm)摄像头或线检测摄像头中的至少一种来获得自动驾驶车辆周围的图像。
66.作为示例，感测装置210可以连接到自动驾驶车辆的lidar，以通过lidar获得lidar的感测信息。
67.作为示例，感测装置210可以连接到自动驾驶车辆的雨水传感器，以通过雨水传感器获得雨水传感器的感测信息。
68.作为示例，感测装置210可以连接到自动驾驶车辆的刮水器系统，以通过自动驾驶车辆的刮水器系统获得与刮水器的操作状态相关的信息。
69.作为示例，感测装置210可以连接到自动驾驶车辆的v2x通信模块，以通过v2x通信模块从服务器或行人的通信终端获得在自动驾驶车辆的相应区域中公布的气候信息，或者从其它车辆获得由其它车辆判断的气候信息。
70.作为示例，感测装置210可以连接到自动驾驶车辆的加速度传感器或车轮传感器，以通过加速度传感器或车轮传感器获得自动驾驶车辆的加速度或车轮传感器信息。
71.作为示例，感测装置210可以通过无线或有线通信直接或间接连接到恶劣天气判断装置220，以向恶劣天气判断装置220发送包括自动驾驶车辆周围的图像、lidar的感测信息、雨水传感器的感测信息、刮水器的操作状态、通过v2x通信获得的气候信息、加速度和车轮传感器信息中的至少一种的信息。
72.恶劣天气判断装置220和自动驾驶模式判断装置230可以以硬件的形式实现，可以以软件的形式实现，或者可以以组合硬件和软件的形式实现。恶劣天气判断装置220和自动驾驶模式判断装置230可以实施为但不限于微处理器。此外，恶劣天气判断装置220和自动驾驶模式判断装置230可以执行下述各种数据处理、计算等。
73.恶劣天气判断装置220可以基于自动驾驶车辆的车辆信息和自动驾驶车辆周围的天气信息中的至少一种判断气候状态是否为恶劣天气状态。
74.作为示例，恶劣天气判断装置220可以基于包括自动驾驶车辆周围的图像、lidar的感测信息、雨水传感器的感测信息、刮水器的操作状态、通过v2x通信获得的天气信息、加速度和车轮传感器信息中的至少一种的信息来判断气候状态是否为恶劣天气状态。
75.作为示例，恶劣天气判断装置220可以判断自动驾驶车辆所在位置的气候状态是否为恶劣天气状态。
76.作为示例，恶劣天气判断装置220可以通过先前学习的基于机器学习的学习模型分析包括自动驾驶车辆前方的图像、自动驾驶车辆后方的图像、自动驾驶车辆侧面的图像和地面方向的图像中的至少一种的自动驾驶车辆周围的图像，以判断气候状态是否为恶劣天气状态。
77.作为示例，恶劣天气判断装置220可以通过将先前学习的基于机器学习的学习模型对自动驾驶车辆周围的图像进行分析的结果作为判断因素来判断气候状态是否为恶劣天气状态。
78.因为在被判断为正常状态的气候状态下的自动驾驶车辆周围的图像与被判断为恶劣天气状态的气候状态下的自动驾驶车辆周围的图像之间可能存在由于雨、雪、雾等原因的差异，因此恶劣天气判断装置220可以将经学习以通过图像的像素值等来检测在恶劣天气状态下拍摄的图像的基于机器学习的学习模型应用到获得的自动驾驶车辆周围的图像，以判断恶劣天气状态。
79.作为示例，经学习以通过图像判断恶劣天气的学习模型可以包括自动驾驶车辆单独学习的学习模型或管理自动驾驶车辆的每个服务器学习多个车辆的图像的学习模型。
80.作为本发明的各种示例性实施例，经学习以通过图像判断恶劣天气的学习模型可以包括在自动驾驶车辆的开发阶段学习的学习模型。
81.作为示例，恶劣天气判断装置220可以通过先前学习的基于机器学习的学习模型分析lidar的感测信息，以判断气候状态是否为恶劣天气状态，或者可以基于对应于lidar的感测信息的噪声分量的值是否大于预定的噪声分量阈值来判断气候状态是否为恶劣天气状态。
82.作为示例，恶劣天气判断装置220可以将先前学习的基于机器学习的学习模型对lidar的感测信息进行分析的结果或对应于lidar的感测信息的噪声分量作为判断因素来判断气候状态是否为恶劣天气状态。
83.在恶劣天气状态下lidar发射光，感测从目标反射的反射光，以感测从自动驾驶车辆到目标的距离的过程中，可能由于雨、雪、雾等而发生意外错误。
84.因此，因为在恶劣天气状态下感测到的到目标的距离或关于反射光有关的信息与在正常气候状态下的距离或反射光有关的信息之间可能存在差异，所以恶劣天气判断装置220可以将经学习以通过到感测的目标的距离有关的信息或与感测到的反射光有关的信息来检测在恶劣天气状态下感测到的lidar感测信息的学习模型应用到获得的lidar感测信息以判断恶劣天气状态。
85.作为示例，恶劣天气判断装置220可以基于lidar的感测信息检测噪声分量，并且可以在检测到的噪声分量具有阈值以上的值时判断气候状态为恶劣天气状态。
86.具体地，恶劣天气判断装置220可以基于通过对由lidar感测到的点进行聚类(clustering)而获得的组的形心(centroid)分量的位置变化、聚类组的数量和聚类组的数量变化中的至少一个来检测噪声分量。
87.将详细描述恶劣天气判断装置220基于通过对由lidar感测到的点进行聚类而获得的组的形心分量的位置变化、聚类组的数量和聚类组的数量变化中的至少一个来检测噪声分量的内容。
88.作为示例，恶劣天气判断装置220可以基于由雨水传感器感测到的发射到自动驾驶车辆的挡风玻璃的光的反射率和反射率的变化中的至少一个来判断气候状态是否为恶劣天气状态。
89.作为示例，恶劣天气判断装置220可以通过将由雨水传感器感测到的发射到自动驾驶车辆的挡风玻璃的光的反射率和反射率的变化中的至少一个作为判断因素来判断气候状态是否为恶劣天气状态。
90.自动驾驶车辆的雨水传感器可以向挡风玻璃发射光并且可以感测从挡风玻璃反射的反射光以获得与确定的反射率有关的信息。
91.作为示例，恶劣天气判断装置220可以在由雨水传感器感测到的光的反射率或光的反射率的变化大于预定阈值时判断气候状态为恶劣天气状态。
92.作为示例，当整个挡风玻璃的反射率大于预定的第一阈值反射率或当挡风玻璃的一部分的反射率大于预定的第二阈值反射率时，恶劣天气判断装置220可以判断气候状态为恶劣天气状态。
93.作为示例，第一阈值反射率可以被设置为低于第二阈值反射率。
94.当在挡风玻璃的全部或一部分上存在异物时，在恶劣天气状态和正常气候状态下的反射率或反射率的变化之间可能会出现差异，因此恶劣天气判断装置220可以基于大于第一阈值反射率的范围是否是挡风玻璃的整个范围或者挡风玻璃中大于第二阈值反射率的范围是否大于参考范围来判断气候状态是否为恶劣天气状态。
95.作为示例，当刮水器在高(high)状态下操作大于预定阈值时间时，恶劣天气判断装置220可以判断气候状态为恶劣天气状态。
96.作为示例，恶劣天气判断装置220可以通过将刮水器在高状态下操作的时间作为判断因素来判断气候状态为恶劣天气状态。
97.自动驾驶车辆的刮水器可以在以高速操作的高状态下或者在以低速操作的低(low)状态下操作。
98.当气候状态为恶劣天气状态时，由于自动驾驶车辆的刮水器能够在高状态下手动或自动操作，因此恶劣天气判断装置220可以判断刮水器是否在高状态下操作大于预定阈值时间来判断气候状态是否为恶劣天气状态。
99.作为示例，通过v2x通信获得的天气信息可以包括通过v2x通信接收的在自动驾驶车辆的区域中公布的天气信息和由自动驾驶车辆周围的其它车辆判断的天气信息中的至少一种。
100.作为示例，恶劣天气判断装置220可以通过将通过v2x通信获得的天气信息作为判断因素来判断气候状态是否为恶劣天气状态。
101.作为示例，恶劣天气判断装置220可以基于通过自动驾驶车辆的v2x通信模块从服务器获得的自动驾驶车辆所在区域中公布的天气信息或者通过自动驾驶车辆的v2x通信模块从其它车辆获得的由自动驾驶车辆周围的其它车辆判断的天气信息来判断气候状态是否为恶劣天气状态。
102.作为示例，恶劣天气判断装置220可以在公布的天气信息是雨、雪、雾等时判断气候状态为恶劣天气状态，并且可以在由自动驾驶车辆周围的其它车辆判断的气候信息为恶劣天气状态时判断气候状态为恶劣天气状态。
103.作为示例，当基于加速度和车轮传感器信息中的至少一种判断的自动驾驶车辆的打滑程度大于预定的打滑阈值时，恶劣天气判断装置220可以判断气候状态为恶劣天气状态。
104.作为示例，恶劣天气判断装置220可以通过将基于加速度和车轮传感器信息中的至少一种判断的自动驾驶车辆的打滑程度作为判断因素来判断气候状态是否为恶劣天气状态。
105.此外，恶劣天气判断装置220可以通过由设置在自动驾驶车辆的轮罩附近或自动驾驶车辆的车顶上的被配置为感测雪或雨的单独的其它传感器感测到的信息来判断气候
状态是否为恶劣天气状态。
106.作为示例，恶劣天气判断装置220可以通过由加速度传感器获得的自动驾驶车辆的加速度与基于车轮传感器信息获得的信息确定的加速度之间的差来判断自动驾驶车辆的打滑程度，并且可以基于判断的打滑程度是否大于预定阈值来判断气候状态是否为恶劣天气状态。
107.作为示例，当对应于自动驾驶车辆周围的图像的参数值、对应于lidar的感测信息的参数值、对应于雨水传感器的感测信息的参数值、对应于刮水器的操作状态的参数值、对应于通过v2x通信获得的气候信息的参数值和对应于加速度和车轮传感器信息中的至少一种的参数值中的一个以上的参数值大于为每个参数预设的预定第一阈值时，或者当两个以上的参数值大于为每个参数预设的预定第二阈值时，恶劣天气判断装置220可以判断气候状态为恶劣天气状态。
108.作为示例，可以将第一阈值设置为高于第二阈值。
109.恶劣天气判断装置220可以判断多个判断因素中的任意一个的参数大于高阈值(第一阈值)的条件和两个以上的参数大于低阈值(第二阈值)的条件，以判断气候状态是否为恶劣天气状态。
110.当气候状态被判断为恶劣天气状态并且自动驾驶车辆正在执行自动驾驶时，自动驾驶模式判断装置230可以限制自动驾驶车辆的速度和加速度中的至少一个，或者可以请求用户切换控制权限。
111.作为示例，自动驾驶模式判断装置230可以连接到自动驾驶车辆的自动驾驶系统以接收与自动驾驶车辆是否正在执行自动驾驶有关的信息。
112.作为示例，当自动驾驶车辆在图1的自动驾驶的级别3至5中的任意一个级别的环境下执行自动驾驶时，可以通过自动驾驶模式判断装置230限制自动驾驶车辆的速度和加速度中的至少一个。当自动驾驶车辆在图1的自动驾驶的级别3和4中的任意一个级别的环境下执行自动驾驶时，可以请求用户切换控制权限。
113.作为示例，自动驾驶模式判断装置230可以通过自动驾驶车辆的自动驾驶系统来限制自动驾驶车辆的速度和加速度中的至少一个。
114.作为示例，自动驾驶模式判断装置230可以通过自动驾驶车辆的avn等上的语音或屏幕输出来请求用户切换控制权限。
115.当气候状态被判断为恶劣天气状态并且自动驾驶车辆未执行自动驾驶时，自动驾驶模式判断装置230可以禁止自动驾驶车辆的自动驾驶被激活。
116.作为示例，自动驾驶模式判断装置230可以通过自动驾驶车辆的自动驾驶系统禁止自动驾驶车辆的自动驾驶被激活。
117.图3是示出根据本发明的各种示例性实施例的自动驾驶控制装置的框图。
118.参照图3，自动驾驶控制装置300可以包括感测装置310、恶劣天气判断装置320、自动驾驶模式判断装置330和控制器340。
119.因为感测装置310、恶劣天气判断装置320和自动驾驶模式判断装置330与图2的感测装置210、恶劣天气判断装置220和自动驾驶模式判断装置230相同，因此本文将省略对其的详细描述。
120.作为示例，当通过恶劣天气判断装置320判断气候状态为恶劣天气状态时，自动驾
驶模式判断装置330可以生成控制车辆(速度和加速度)、控制刮水器、控制在显示器上显示恶劣天气信息或控制通过v2x通信模块向外部装置传输信息的命令。
121.作为示例，自动驾驶模式判断装置330可以将生成的用于控制车辆(速度和加速度)、控制刮水器或控制通过v2x通信模块向外部装置传输信息的命令发送到控制器340。
122.作为示例，控制器340可以连接到自动驾驶系统并且可以通过自动驾驶系统控制自动驾驶车辆的驾驶系统以限制自动驾驶车辆的速度和加速度中的至少一个不超过预定的参考值。
123.作为示例，控制器340可以通过自动驾驶车辆的音频视频导航(avn)、组合仪表(cluster)、平视显示器(hud)等上的视觉或听觉通知来请求用户切换控制权限。
124.当气候状态被判断为恶劣天气状态并且自动驾驶车辆未执行自动驾驶时，控制器340可以禁止自动驾驶车辆的自动驾驶被激活。
125.作为示例，当气候状态被判断为恶劣天气状态并且自动驾驶车辆未执行自动驾驶时，尽管自动驾驶激活信号被输入到自动驾驶系统上，但控制器340可以控制使得自动驾驶不被激活，并可以向用户提供自动驾驶未激活的通知。
126.当气候状态被判断为恶劣天气状态时，控制器340可以通过v2x通信将对应于恶劣天气的信号发送到外部装置，可以在自动驾驶车辆的显示器上显示与恶劣天气有关的信息，或者可以操作自动驾驶车辆的刮水器。
127.作为示例，控制器340可以连接到自动驾驶车辆的v2x通信模块，并且当气候状态被判断为恶劣天气状态时，可以通过v2x通信模块将对应于恶劣天气的信号发送到其它车辆、服务器、行人的通信终端等。
128.作为示例，当气候状态被判断为恶劣天气状态时，控制器340可以在自动驾驶车辆的avn、组合仪表、hud等上显示与恶劣天气有关的信息。
129.作为示例，控制器340可以连接到自动驾驶车辆的刮水器系统，以在气候状态被判断为恶劣天气状态时操作刮水器。
130.图4是示出根据本发明的各种示例性实施例的自动驾驶控制装置基于激光雷达(lidar)的噪声分量来判断恶劣天气的示图。
131.参照图4，自动驾驶车辆的lidar可以向自动驾驶车辆的周边发射光并且可以感测从目标反射的反射光以检测判断存在反射目标的特定点401。
132.图2的自动驾驶控制装置200可以基于通过对由lidar感测到的点411进行聚类而获得的组403的形心402分量的位置变化、聚类组403的数量和聚类组403的数量变化中的至少一个来检测噪声分量。
133.作为示例，自动驾驶控制装置200可以确定由lidar感测到的点401之间的欧几里得距离，并且可以将欧几里得距离小于参考距离的点聚类到一个组中以生成聚类组403。
134.此时，可以生成多个聚类组403。
135.作为示例，聚类组403的形心402的位置可以根据实时采集的lidar的感测信息而发生变化。当聚类组403的形心402在阈值时间内位置变化大于阈值距离时，自动驾驶控制装置200可以将感测到的点401或聚类组403判断为噪声分量。
136.作为示例，当聚类组403的数量大于第一阈值数量时，或者当在阈值时间内聚类组403的数量变化大于第二阈值数量时，自动驾驶控制装置200可以将感测到的点401或聚类
组403判断为噪声分量。
137.在气候状态为恶劣天气状态时，由于雪、雨、雾等原因导致聚类组403的形心402在阈值时间内位置变化大于阈值距离，或者由于聚类组403的数量较大，或者由于阈值时间内聚类组403的数量变化较大，因此自动驾驶控制装置200可以通过lidar的感测信息来检测噪声，以判断气候状态是否为恶劣天气状态。
138.图5是示出根据本发明的各种示例性实施例的自动驾驶控制装置基于雨水传感器的感测信息来判断恶劣天气的示图。
139.参照图5，雨水传感器501可以包括发光二极管(led)502和光学传感器503。
140.雨水传感器501可以通过发光二极管(led)502向自动驾驶车辆的挡风玻璃504发射光。
141.在发射光之后，雨水传感器501可以通过光学传感器503感测从挡风玻璃504反射的反射光。
142.雨水传感器501可以基于光学传感器503感测到的反射光的强度与通过led502发射的光的强度之比来确定光的反射率。
143.自动驾驶控制装置200可以从雨水传感器501接收与反射率有关的信息。
144.基于从雨水传感器501接收的反射率，当整个挡风玻璃的反射率大于预定的第一阈值反射率时或当挡风玻璃的一部分的反射率大于预定的第二阈值反射率时，自动驾驶控制装置200可以判断气候状态为恶劣天气状态。
145.当挡风玻璃上存在由雪或雨产生的水滴时，自动驾驶控制装置200可以在上述方法中利用反射率的变化以判断恶劣天气状态。
146.图6是示出根据本发明的各种示例性实施例的自动驾驶控制装置判断恶劣天气并控制自动驾驶车辆的过程的流程图。
147.参照图6，在s601中，图2的自动驾驶车辆200可以获得感测信息。
148.作为示例，对于具有级别3以上的自动驾驶功能的自动驾驶车辆，自动控制装置200可以获得包括自动驾驶车辆周围的图像、自动驾驶车辆的激光雷达(lidar)的感测信息、自动驾驶车辆的雨水传感器的感测信息、自动驾驶车辆的刮水器的操作状态、通过v2x通信获得的气候信息、自动驾驶车辆的加速度和自动驾驶车辆的车轮传感器信息中的至少一种的感测信息。
149.在s601中获得感测信息之后，在s602中，自动驾驶控制装置200可以识别气候状态是否被判断为恶劣天气状态。
150.作为示例，自动驾驶控制装置200可以基于包括自动驾驶车辆周围的图像、lidar的感测信息、雨水传感器的感测信息、刮水器的操作状态、通过v2x通信获得的气候信息、加速度和车轮传感器信息中的至少一种的感测信息来判断气候状态是否为恶劣天气状态。
151.在s602中识别气候状态是否被判断为恶劣天气状态之后，当识别出气候状态未被判断为恶劣天气状态时，在s603中，自动驾驶控制装置200可以控制自动驾驶车辆通过普通驾驶或自动驾驶行驶。
152.作为示例，当识别气候状态未被判断为恶劣天气状态时，自动驾驶控制装置200可以在自动驾驶车辆正在通过普通驾驶行驶时控制自动驾驶车辆按原样通过普通驾驶行驶，并且可以在自动驾驶车辆执行自动驾驶时控制自动驾驶车辆按原样执行自动驾驶。
153.在s602中识别出气候状态是否被判断为恶劣天气状态后，当识别气候状态被判断为恶劣天气状态时，在s604中，自动驾驶控制装置200可以识别自动驾驶车辆是否正在执行自动驾驶。
154.作为示例，自动驾驶控制装置200可以连接到自动驾驶车辆的自动驾驶系统，以通过自动驾驶系统识别自动驾驶车辆是否正在执行自动驾驶。
155.在s604中识别自动驾驶车辆是否正在执行自动驾驶之后，当识别自动驾驶车辆未执行自动驾驶时，在s605中，自动驾驶控制装置200可以禁止自动驾驶被激活。
156.作为示例，在识别自动驾驶车辆未执行自动驾驶的情况下，在气候状态被判断为恶劣天气状态时，尽管在自动驾驶系统上输入了自动驾驶激活信号，但自动驾驶控制装置200可以控制使得自动驾驶不被激活，并且可以通过avn、组合仪表、hud等向用户提供自动驾驶未被激活的通知。
157.在s605中禁止自动驾驶被激活之后，在s606中，自动驾驶控制装置200可以控制自动驾驶车辆通过普通驾驶行驶。
158.作为示例，自动驾驶控制装置200可以禁止自动驾驶车辆进入自动驾驶模式，并且可以根据普通驾驶环境控制自动驾驶车辆以通过普通驾驶行驶。
159.在s606中控制自动驾驶车辆通过普通驾驶行驶之后，在s607中，自动驾驶控制装置200可以在显示器上显示信息，可以操作刮水器，并且可以将恶劣天气信息发送到外部装置。
160.作为示例，自动驾驶控制装置200可以在诸如avn、组合仪表或hud的显示器上输出与恶劣天气有关的信息。
161.此外，自动驾驶控制装置200可以通过刮水器系统操作刮水器以获得自动驾驶车辆的视野。
162.自动驾驶控制装置200可以通过自动驾驶车辆的v2x通信模块将与恶劣天气有关的信息发送到自动驾驶车辆周围的其它车辆、服务器或自动驾驶车辆周围的行人的终端。
163.在s604中识别自动驾驶车辆是否执行自动驾驶之后，当识别自动驾驶车辆正在执行自动驾驶时，在s608中，自动驾驶控制装置200可以请求自动驾驶车辆的驾驶员切换控制权限，可以限制自动驾驶车辆的速度/加速度，并且可以生成与恶劣天气有关的显示信息。
164.作为示例，当识别自动驾驶车辆正在执行自动驾驶时，自动驾驶控制装置200可以通过avn、组合仪表、hud等请求驾驶员切换控制权限。
165.作为示例，自动驾驶控制装置200可以通过自动驾驶车辆的自动驾驶系统限制自动驾驶车辆的速度或加速度不超过参考值。
166.作为示例，自动驾驶控制装置200可以生成与恶劣天气有关的信息、与由于恶劣天气而以受限制的状态执行自动驾驶的内容有关的信息或与请求切换控制权限的内容有关的信息。
167.在s608中请求自动驾驶车辆的驾驶员切换控制权限、限制自动驾驶车辆的速度/加速度并生成与恶劣天气有关的显示信息之后，在s609中，自动驾驶控制装置200可以控制自动驾驶车辆通过受限制的自动驾驶行驶。
168.作为示例，自动驾驶控制装置200可以控制自动驾驶车辆在速度或加速度受到限制的状态下执行受限制的自动驾驶。
169.在s609中控制自动驾驶车辆通过受限制的自动驾驶行驶之后，在s607中，自动驾驶控制装置200可以在显示器上显示信息，可以操作刮水器，并且可以将恶劣天气信息发送到外部装置。
170.图7是示出根据本发明的各种示例性实施例的自动驾驶控制方法的流程图。
171.参照图7，自动驾驶控制方法可以包括获得自动驾驶车辆的车辆信息和自动驾驶车辆周围的天气信息中的至少一种(s710)、基于自动驾驶车辆的车辆信息和自动驾驶车辆周围的天气信息中的至少一种判断气候状态是否为恶劣天气状态(s720)、以及通过考虑气候状态是否为恶劣天气状态来确定自动驾驶车辆的自动驾驶模式(s730)。
172.可以由图2的感测装置210执行获得自动驾驶车辆的车辆信息和自动驾驶车辆周围的天气信息中的至少一种(s710)。
173.可以由图2的恶劣天气判断装置220执行基于自动驾驶车辆的车辆信息和自动驾驶车辆周围的天气信息中的至少一种判断气候状态是否为恶劣天气状态(s720)。
174.作为示例，由恶劣天气判断装置220判断气候状态是否为恶劣天气状态(s720)可以包括恶劣天气判断装置220通过先前学习的基于机器学习的学习模型分析包括自动驾驶车辆前方的图像、自动驾驶车辆后方的图像、自动驾驶车辆侧面的图像和地面方向的图像中的至少一种的自动驾驶车辆周围的图像以判断气候状态是否为恶劣天气状态。
175.作为示例，由恶劣天气判断装置220判断气候状态是否为恶劣天气状态(s720)可以包括恶劣天气判断装置220通过先前学习的基于机器学习的学习模型分析自动驾驶车辆的lidar的感测信息来判断气候状态是否为恶劣天气状态，或者恶劣天气判断装置220基于对应于lidar的感测信息的噪声分量值是否大于预定的噪声分量阈值来判断气候状态是否为恶劣天气状态。
176.作为示例，恶劣天气判断装置220判断气候状态是否为恶劣天气状态(s720)可以包括恶劣天气判断装置220基于由自动驾驶车辆的雨水传感器感测的发射到自动驾驶车辆的挡风玻璃的光的反射率和反射率的变化中的至少一种判断气候状态是否为恶劣天气状态。
177.作为示例，恶劣天气判断装置220判断气候状态是否为恶劣天气状态(s720)可以包括当自动驾驶车辆的刮水器在高状态下操作大于预定阈值时间时恶劣天气判断装置220判断气候状态为恶劣天气状态。
178.作为示例，恶劣天气判断装置220判断气候状态是否为恶劣天气状态(s720)可以包括当基于自动驾驶车辆的加速度和车轮传感器信息中的至少一种确定的自动驾驶车辆的打滑程度大于预定的打滑阈值时恶劣天气判断装置220判断气候状态为恶劣天气状态。
179.可以由图2的自动驾驶模式判断装置230执行通过考虑气候状态是否为恶劣天气状态来确定自动驾驶车辆的自动驾驶模式(s730)。
180.作为示例，自动驾驶模式判断装置230通过考虑气候状态是否为恶劣天气状态来确定自动驾驶车辆的自动驾驶模式(s730)可以包括当气候状态被判断为恶劣天气状态并且自动驾驶车辆执行自动驾驶时，自动驾驶模式判断装置230限制自动驾驶车辆的速度和加速度中的至少一种或者自动驾驶模式判断装置230请求用户切换控制权限，以及当气候状态被判断为恶劣天气状态并且自动驾驶车辆未执行自动驾驶时，自动驾驶模式判断装置230禁止自动驾驶车辆的自动驾驶被激活。
181.图8是示出根据本发明的各种示例性实施例的自动驾驶控制方法的流程图。
182.参照图8，自动驾驶控制方法可以包括获得与恶劣天气相关的外部环境的信息(s810)、基于获得的信息判断气候状态是否为恶劣天气状态(s820)、基于判断的恶劣天气确定自动驾驶车辆的自动驾驶模式和控制命令(s830)、以及基于所确定的信息控制自动驾驶车辆和包括在自动驾驶车辆中的装置(s840)。
183.获得与恶劣天气相关的外部环境的信息(s810)可以包括由图2的感测装置210通过摄像头获得自动驾驶车辆周围的图像、由感测装置210通过lidar获得lidar的感测信息、由感测装置210通过雨水传感器获得雨水传感器的感测信息、由感测装置210通过刮水器系统获得刮水器的操作状态、由感测装置210通过v2x通信模块获得气候信息、由感测装置210通过加速度传感器获得自动驾驶车辆的加速度、以及由感测装置210通过车轮传感器获得车轮传感器信息。
184.基于获得的信息判断气候状态是否为恶劣天气状态(s820)可以包括由图2的恶劣天气判断装置220通过先前学习的基于机器学习的学习模型分析自动驾驶车辆周围的图像、由恶劣天气判断装置220通过先前学习的基于机器学习的学习模型分析lidar的感测信息、由恶劣天气判断装置220识别对应于lidar的感测信息的噪声分量的值是否大于预定的噪声分量阈值、由恶劣天气判断装置220分析由雨水传感器感测的发射到自动驾驶车辆挡风玻璃的光的反射率和反射率的变化中的至少一种、由恶劣天气判断装置220识别刮水器是否在高状态下操作大于预定阈值、由恶劣天气判断装置220分析包括在自动驾驶车辆的区域中公布的天气信息或由自动驾驶车辆周围的其它车辆判断的气候状态的天气信息、以及由恶劣天气判断装置220识别基于加速度和车轮传感器信息中的至少一种确定的自动驾驶车辆的打滑程度是否大于预定的打滑阈值中的至少一个。
185.基于判断的恶劣天气确定自动驾驶车辆的自动驾驶模式和控制命令(s830)可以包括由图2的自动驾驶模式判断装置230确定用于限制自动驾驶车辆的速度和加速度中的至少一个的控制命令、由自动驾驶模式判断装置230确定用于请求用户切换控制权限的控制命令、由自动驾驶模式判断装置230确定用于禁止自动驾驶车辆的自动驾驶被激活的控制命令、由自动驾驶模式判断装置230确定用于通过v2x通信将对应于恶劣天气的信号发送到外部装置的控制命令、以及确定操作自动驾驶车辆的刮水器的控制命令中的至少一个。
186.作为示例，基于所确定的信息控制自动驾驶车辆和包括在自动驾驶车辆中的装置(s840)可以包括当气候状态被判断为恶劣天气状态并且自动驾驶车辆正在执行自动驾驶时，由图3的控制器340限制自动驾驶车辆的速度和加速度中的至少一个，或者由控制器340请求用户切换控制权限。
187.作为示例，基于所确定的信息控制自动驾驶车辆和包括在自动驾驶车辆中的装置(s840)可以包括当气候状态被判断为恶劣天气状态并且自动驾驶车辆未执行自动驾驶时，由控制器340禁止自动驾驶车辆的自动驾驶被激活。
188.作为示例，基于所确定的信息控制自动驾驶车辆和包括在自动驾驶车辆中的装置(s840)可以包括当气候状态被判断为恶劣天气状态时，由控制器340通过v2x通信将对应于恶劣天气的信号发送到外部装置，在自动驾驶车辆的显示器上显示与恶劣天气有关的信息，或者可以操作自动驾驶车辆的刮水器。
189.结合本公开包括的示例性实施例描述的方法或算法的操作可以直接体现在由处
理器执行的硬件、软件模块或其组合中。软件模块可以驻留在诸如ram、闪存、rom、eprom、eeprom、寄存器、硬盘、可移动磁盘和cd-rom的存储介质(即存储器/或存储装置)上。
190.示例性存储介质可以联接到处理器，并且处理器可以从存储介质中读取信息并且可以在存储介质中记录信息。可选地，存储介质可以与处理器集成。处理器和存储介质可以驻留在专用集成电路(asic)中。asic可以驻留在用户终端内。在另一种情况下，处理器和存储介质可以作为单独的组件驻留在用户终端中。
191.将描述根据本发明的各种示例性实施例的自动驾驶控制装置及控制方法的效果。
192.根据本发明的至少一个实施例，可以提供根据天气控制自动驾驶车辆的装置和方法。
193.此外，根据本发明的至少一个实施例，自动驾驶控制装置及控制方法可以检测恶劣天气并在判断不可能保持自动驾驶功能时请求驾驶员切换控制权限，从而提高自动驾驶系统的稳定性。
194.此外，根据本发明的至少一个实施例，自动驾驶控制装置及控制方法可以在感测到恶劣天气时限制自动驾驶车辆在自动驾驶模式下的速度或加速度，降低事故风险，防止大事故，确保驾驶员安全。
195.此外，根据本发明的至少一个实施例，自动驾驶控制装置及控制方法可以在感测到恶劣天气时执行最小风险策略(minimum risk maneuver，mrm)，以向自动驾驶车辆的乘客提出安全功能。
196.此外，根据本发明的至少一个实施例，自动驾驶控制装置及控制方法可以在感测到恶劣天气时，利用附加装置或自动驾驶车辆的显示装置向驾驶员或其它车辆提供与恶劣天气有关的信息，以增加驾驶员或其它车辆的用户的安全性和便利性。
197.此外，本发明可以提供直接或间接确定的各种效果。
198.在上文中，尽管已经参照示例性实施例和附图描述了本发明，但是本发明不限于此，并且本发明的各种示例性实施例所属领域的技术人员可以在不背离所附权利要求中要求保护的本发明的思想和范围的情况下进行各种修改和改变。
199.为了方便解释和准确限定所附权利要求，参照示例性实施例的特征在图中显示的位置，利用术语“上部的”、“下部的”、“内部的”、“外部的”、“上”、“下”、“向上”、“向下”、“前”、“后”、“后面”、“内侧”、“外侧”、“向内”、“向外”、“内部”、“外部”、“之内”、“之外”、“向前”和“向后”来描述这些特征。将进一步理解的是，术语“连接”或其派生词既指直接连接又指间接连接。
200.为了说明和描述的目的，公开了本发明的特定示例性实施例的前述描述。这些描述并非旨在穷举本发明或将本发明限制为所公开的特定形式，并且显然，根据以上教导，许多修改和变化是可能的。所选择和描述的示例性实施例用以解释本发明的某些原理及其实际应用，以使本领域的其他技术人员能够实施和利用本发明的各个示例性实施例及其各种替代形式和修改形式。本发明的范围旨在由所附权利要求书及其等同内容来限定。