用于辅助车辆驾驶员的视觉的方法及装置与流程

用于辅助车辆驾驶员的视觉的方法及装置
1.相关申请的交叉引用
2.本技术要求于2020年12月10日向韩国知识产权局提交的韩国专利申请第10-2020-0172014号的优先权和权益，其全部内容通过引用并入本文。
技术领域
3.本公开涉及车辆驾驶员的驾驶员辅助系统(das)，更具体地，涉及用于辅助车辆驾驶员的视觉的方法和装置。


背景技术：

4.一般来说，车辆是指以化石燃料、电力等为动力源，在公路或铁路上行驶的移动工具或运输工具。车辆主要可以使用安装在车体中的一个或多个车轮移动到多个位置。此类车辆可以包括在铁路上的铁轨或轨道上行驶的三轮车辆或四轮车辆、两轮车辆(诸如摩托车等)、建筑机械、自行车、以及火车。
5.近年来，对配备高级驾驶员辅助系统(adas)的车辆进行了积极研究，该系统主动提供关于车辆状态、驾驶员状态、以及周围环境的信息，以减轻驾驶员的负担并提升车辆驾驶员的便利性。
6.车辆上提供的adas的示例包括：前向防撞(fca)、自主紧急制动(aeb)或驾驶员注意警告(daw)。
7.在本背景部分中披露的上述信息仅是为了加强对披露背景的理解。因此，背景部分可以包含不构成本领域普通技术人员已知的现有技术的信息。


技术实现要素：

8.本公开致力于提供一种用于辅助车辆驾驶员的视觉的方法和装置。该方法和装置基于通过比较拍摄车辆的前方的红外热相机的图像与相机的图像所获得的数据、车辆与位于车辆前方的对象之间的距离、对象的速度、以及热相机的图像来生成图像，该车辆在由于雨或雪的紧急天气状况下行驶。因此，可以将图像提供给车辆的驾驶员以防止交通事故。
9.本公开的实施例提供了一种用于辅助车辆驾驶员的视觉的方法。该方法包括：由控制器根据车辆驾驶员的设定从导航装置接收指示天气信息是紧急天气信息的信号；并且响应于该信号，打开包括在车辆中的车辆驾驶员的视觉辅助装置。该方法还包括：由控制器获得视觉辅助装置的红外热相机的图像，该红外热相机在车辆行驶时拍摄车辆的前方。该方法还包括获得视觉辅助装置的另一相机的图像，该另一相机在车辆行驶时拍摄车辆的前方。该方法还包括：由控制器控制视觉辅助装置的图像处理器，以确定红外热相机的图像数据与该另一相机的图像数据之间的匹配率是否小于或等于第一阈值。该方法还包括：当匹配率小于或等于第一阈值时，由控制器使用车辆在行驶时与位于车辆前方、后方和侧面的各个对象之间的距离、由车辆驾驶员的视觉辅助装置的雷达传感器检测到的各个对象的速度、以及拍摄车辆前方的红外热相机的图像来生成包括距离和速度的车辆的周围状态图
像。
10.该方法还可以包括由控制器控制平视显示器(hud)装置以在车辆的挡风玻璃上显示车辆的周围状态图像。
11.方法还可以包括：由控制器基于距离和速度生成警告消息，该警告消息包括在车辆的周围状态图像中；并且由控制器控制平视显示器(hud)装置在车辆的挡风玻璃上显示该警告消息。
12.该方法还可以包括：当匹配率小于或等于第一阈值时，由控制器打开包括在视觉辅助装置中的应急灯开关，并且打开车辆的应急灯。
13.该方法还可以包括：由控制器通过视觉辅助装置的通信器从位于车辆外部的服务器接收车辆所在位置的天气信息。
14.紧急天气信息可以包括：下雨或下雪的天气信息。
15.图像处理器可以将红外热相机的图像数据和另一相机的图像数据分别转换成灰度图像，并且比较转换后的图像数据以计算匹配率。
16.本公开的另一实施例提供了一种用于辅助车辆驾驶员的视觉的方法。该方法包括：由控制器根据车辆驾驶员的设定从导航装置接收指示天气信息是紧急天气信息的信号；并且响应于该信号，打开包括在车辆中的车辆驾驶员的视觉辅助装置。该方法还包括：由控制器获得视觉辅助装置的红外热相机的图像，该红外热相机在车辆行驶时拍摄车辆的前方，并且获得视觉辅助装置的另一相机的图像，该另一相机在车辆行驶时拍摄车辆的前方。该方法还包括：由控制器控制视觉辅助装置的图像处理器，以确定红外热相机的图像数据与该另一相机的图像数据之间的匹配率是否大于第一阈值且小于或等于第二阈值。该方法还包括：当匹配率大于第一阈值且小于或等于第二阈值时，由控制器确定控制器是否从导航装置接收到指示需要使用视觉辅助装置的信号。该方法还包括：当接收到指示需要使用车辆驾驶员的视觉辅助装置的信号时，由控制器使用车辆在行驶时与位于车辆的前方、后方和侧面的各个对象之间的距离、由视觉辅助装置的雷达传感器检测到的各个对象的速度、以及拍摄车辆前方的红外热相机的图像来生成包括该距离和该速度的车辆的周围状态图像。
17.该方法还可以包括：由控制器控制平视显示器(hud)装置以在车辆的挡风玻璃上显示车辆的周围状态图像。
18.该方法还可以包括：由控制器基于距离和速度生成警告消息，该警告消息包括在车辆的周围状态图像中；并且由控制器控制平视显示器(hud)装置在车辆的挡风玻璃上显示警告消息。
19.该方法还可以包括：当接收到指示需要使用视觉辅助装置的信号时，由控制器打开包括在视觉辅助装置中应急灯开关，并且打开车辆的应急灯。
20.该方法还可以包括：由控制器通过视觉辅助装置的通信器从位于车辆外部的服务器接收车辆所在位置的天气信息。
21.紧急天气信息可以包括：下雨或下雪的天气信息。
22.图像处理器可以将红外热相机的图像数据和另一相机的图像数据分别转换成灰度图像，并且比较转换后的图像数据以计算匹配率。
23.本公开的又一实施例提供了一种用于辅助车辆驾驶员视觉的装置。该装置包括：
红外热相机，在车辆行驶时拍摄所述车辆的前方；另一相机，在车辆行驶时拍摄所述车辆的前方；以及控制器，根据车辆驾驶员的设定，从导航装置接收指示天气信息是紧急天气信息的信号，并且响应于该信号打开包括在车辆中的该用于辅助车辆驾驶员的视觉的装置。该控制器获得红外热相机的图像和另一相机的图像。控制器控制该用于辅助车辆驾驶员的视觉的装置的图像处理器，以确定红外热相机的图像数据与另一相机的图像数据之间的匹配率是否小于或等于第一阈值。当匹配率小于或等于第一阈值时，控制器使用车辆在行驶时与位于车辆的前方、后方和侧面的各个对象之间的距离、由该用于辅助车辆驾驶员的视觉的装置的雷达传感器检测到的各个对象的速度、以及红外热相机的图像来生成包括距离和速度的车辆的周围状态图像。
24.控制器可以控制平视显示器(hud)装置在车辆的挡风玻璃上显示车辆的周围状态图像。
25.控制器可以基于距离和速度生成警告消息，该警告消息包括在车辆的周围状态图像中。控制器可以控制平视显示器(hud)装置在车辆的挡风玻璃上显示警告消息。
26.当匹配率小于或等于第一阈值时，控制器可以打开包括在该用于辅助车辆驾驶员的视觉的装置中的应急灯开关，并且可以打开车辆的应急灯。
27.控制器可以通过该用于辅助车辆驾驶员的视觉的装置的通信器从位于车辆外部的服务器接收车辆所在位置的天气信息。
28.图像处理器可以将红外热相机的图像数据和另一相机的图像数据分别转换成灰度图像，并且比较转换后的图像数据以计算匹配率。
29.根据本公开的实施例，一种用于辅助车辆驾驶员视觉的方法和装置，基于通过比较拍摄车辆(该车辆在由于下雨或下雪导致的紧急天气状况下行驶)前方的红外热相机和另一相机的图像获得的数据、该车辆与车辆前方对象之间的距离、对象的速度、以及热相机的图像来生成多个图像。该方法和装置向车辆驾驶员提供该多个图像以防止交通事故。
30.此外，根据本公开的实施例，为了驾驶员的安全行驶，可以通过使用从诸如用于车辆外部状况的相机的传感器接收的可靠信息来提供用于紧急天气状况的图像。
附图说明
31.为了更充分地理解在本公开的详细描述中使用的附图，提供了每附图的简要描述。
32.图1是用于描述根据本公开的实施例的用于辅助车辆驾驶员视觉的方法的流程图。
33.图2是用于描述根据本公开的另一实施例的用于辅助车辆驾驶员视觉的方法的流程图。
34.图3是用于描述用于辅助车辆驾驶员视觉的装置的框图，该装置应用了图1或图2中所示的用于辅助车辆驾驶员视觉的方法。
具体实施方式
35.为了充分理解通过本发明概念和本公开的实施例实现的目的，应该参考示出本公开的实施例的附图和附图中公开的内容。
36.在下文中，通过参照附图描述本公开的实施例来详细描述本公开。在下面的描述中，已经省略了相关的已知配置或功能的详细说明，以避免模糊本公开的主题。本说明书中使用的术语仅用于描述特定实施例，并不旨在限制本公开。
37.如果上下文中没有明显相反的意思，单数形式可以包括复数形式。在本说明书中，应当理解，术语“包括”或“具有”指示存在说明书中描述的特征、数字、步骤、操作、组件、部件或它们的组合。这些术语不排除预先存在或添加一个或多个其他特征、数字、步骤、操作、组件、部件或其组合的可能性。
38.在整个说明书中，当描述一个部件与另一个部件“连接”时，它意味着该特定部件可以与另一个部件“直接连接”，或者这些部件彼此“电连接或机械连接”，并且在它们之间还插入第三个元件。
39.如果没有相反的定义，本文中使用的包括技术或科学术语的所有术语具有与本领域普通技术人员通常理解的术语相同的含义。在一般使用的词典中定义的术语应被解释为具有与相关技术上下文中的含义相同的含义，并且除非在本说明书中明确定义，否则不应被解释为具有理想的含义或过度正式的含义。当将本公开的组件、装置、元件等描述为具有目的或执行操作、功能等时，在此应将组件、装置或元件视为“被配置为”满足该目的或执行该操作或功能。
40.无论天气如何，汽车(车辆)都是最常用的移动或行驶工具。然而，下雨或下雪天气会对驾驶员产生不利影响，与晴天时车辆驾驶员视觉形成鲜明对比。由于雨滴直接落在车辆的挡风玻璃上，车辆前方的对象可能无法正常可见。因此，驾驶员应该比平时更关心确保他们的视觉。在下雨或下雪的情况下，交通事故的发生率很高。
41.根据相关技术的车辆的视频系统在车辆夜间行驶期间没有外部照明的环境中使用红外相机，以确保车辆驾驶员安全驾驶所需的宽视野。然而，车辆的视频系统不可以通过反射车辆外部的各种环境(例如，天气信息)来向驾驶员提供车辆周围状况的适当视觉视图。
42.图1是用于描述根据本公开的实施例的用于辅助车辆驾驶员的视觉的方法的流程图。图2是用于描述根据本公开的另一实施例的用于辅助车辆驾驶员的视觉的方法的流程图。图3是用于描述用于辅助车辆驾驶员的视觉的装置的框图，该装置应用了图1或图2中所示的用于辅助车辆驾驶员的视觉的方法。
43.参照图1和图3，在接收步骤100中，控制器330可以通过通信器300从安装于(位于)车辆外部的服务器(例如，远程信息处理服务器)接收车辆所在位置的天气信息。远程信息处理服务器可以向车辆提供包括天气信息和交通信息的移动通信服务信息。
44.用于辅助车辆驾驶员视觉的装置可以包括：通信器300、红外热相机或红外相机305、相机(包括在车辆的驾驶视频记录系统(或黑匣子)中的普通相机，该相机是车辆内置的驾驶视频记录装置)310、图像处理器315、雷达传感器320、平视显示器(hud)装置325、以及控制器330。
45.作为电子控制单元(ecu)的控制器330可以控制视觉辅助装置的整体操作。控制器330可以是例如一个或多个微处理器，其通过包括微处理器的程序(控制逻辑)或硬件(例如，微型计算机)进行操作。该程序可以包括一系列指令，用于执行根据本公开的实施例的用于辅助车辆驾驶员视觉的方法。
46.指令可以存储在视觉辅助装置或控制器330的存储器中。
47.根据步骤105，当车辆的驾驶员确认天气信息是包括下雨或下雪天气信息的紧急天气信息时，控制器330可以打开除控制器之外的视觉辅助装置。例如，车辆驾驶员可以在包括于视觉辅助装置中的音视频导航(avn)装置(或导航装置)的用户设定模式(usm)下打开视觉辅助装置。控制器330可以从导航装置接收指示天气信息是下雨或下雪天气信息的信号。
48.根据步骤110，控制器330可以从红外热相机获得在车辆行驶时拍摄车辆前方的红外热相机305的图像，并且从另一相机获得在车辆行驶时拍摄车辆前方的相机310的图像。
49.根据步骤115，控制器330可以控制图像处理器315以确定红外热相机305的图像数据与相机310的图像数据之间的匹配率是否小于或等于第一阈值(阈值1)。例如，图像处理器315可以将红外热相机305的图像数据和相机310的图像数据分别转换为灰度图像，并且比较转换后的图像数据(例如，亮度值)以计算匹配率。第一阈值是用于驱动视觉辅助装置的值，可以通过测试(或实验)来确定。
50.当匹配率小于或等于第一阈值时，视觉辅助方法可以进行到步骤120。
51.根据步骤120，控制器330可以打开包括在视觉辅助装置中的应急灯开关，并且自动打开车辆的应急灯(例如，车辆前部的应急灯或车辆后部的应急灯)。在本公开的另一实施例中，步骤120可以省略。
52.根据步骤125，在步骤120之后，控制器330使用车辆在行驶时与位于车辆的前方、后方和侧面的各个对象(例如，车辆)之间的距离。控制器330还使用由雷达传感器320使用电磁波检测的各个对象的速度。控制器330还使用拍摄车辆前方的红外热相机305的图像。因此，在步骤125，可以生成车辆的包括距离和速度的周围状态图像(例如，热图像)。控制器330可以基于距离和速度生成包括在车辆的周围状态图像中的警告消息。例如，当距离为50m或更长且速度没有变化时，警告消息可以是“保持车辆当前速度”的信息。当距离大于或等于50m、并且车速发生变化时，警告消息可以是“前方车辆的车速为x km/h，注意车速”的信息。为了使车辆的驾驶员查看车辆的周围状态图像或警告消息，控制器330可以控制hud装置325在车辆的挡风玻璃(或车辆前玻璃(挡风玻璃))上显示车辆的周围状态图像或警告消息。
53.在本公开的另一实施例中，步骤120和步骤125可以同时执行(进行)。
54.参照图2和图3，在接收步骤200中，控制器330可以通过通信器300从安装(位于)车辆外部的服务器(例如，远程信息处理服务器)接收车辆所在位置的天气信息。
55.根据步骤205，当车辆的驾驶员确认天气信息是包括下雨或下雪天气信息的紧急天气信息时，控制器330可以打开除控制器之外的视觉辅助装置。例如，车辆驾驶员可以在包括于视觉辅助装置中的音视频导航(avn)装置(或导航装置)的用户设定模式(usm)下打开视觉辅助装置。控制器330可以从导航装置接收指示天气信息是下雨或下雪天气信息的信号。
56.根据步骤210，控制器330可以从红外热相机获得在车辆行驶时拍摄车辆的前方的红外热相机305的图像，并且从相机获得在车辆行驶时拍摄车辆的前方的相机310的图像。
57.根据步骤215，控制器330可以控制图像处理器315以确定红外热相机305的图像数据与相机310的图像数据之间的匹配率是否大于第一阈值并且小于或等于第二阈值。该第
二阈值是用于车辆驾驶员选择性地驱动车辆驾驶员的视觉辅助装置的值，该第二阈值可以通过测试(或实验)来确定。
58.当匹配率大于第一阈值且小于或等于第二阈值时，视觉辅助方法可以进行到步骤220。
59.根据步骤220，控制器330可以确定控制器是否从导航装置接收到指示需要使用视觉辅助装置的信号。例如，车辆的驾驶员可以配置是否需要在导航装置中使用视觉辅助装置。
60.根据步骤225，当确定需要使用视觉辅助装置时，控制器330可以自动打开应急灯开关(打开车辆的应急灯开关)。在本公开的另一实施例中，可以省略步骤225。
61.根据步骤230，在步骤225之后，控制器330使用车辆在行驶时与位于车辆的前方、后方和侧面的各个对象(例如，车辆)之间的距离。控制器330还使用由雷达传感器320检测到的各个对象的速度。控制器330还使用拍摄车辆前方的红外热相机305的图像。因此，在步骤230，可以生成包括距离和速度的车辆的周围状态图像(例如，热图像)。控制器330可以基于距离和速度生成包括在车辆的周围状态图像中的警告消息。例如，当距离为50m或更长、并且速度没有变化时，警告消息可以是“保持车辆当前速度”的信息。当距离大于或等于50m、并且车速发生变化时，警告消息可以是“前方车辆的车速为x km/h，注意车速”的信息。为了使车辆的驾驶员查看车辆的周围状态图像或警告消息，控制器330可以控制hud装置325在车辆的挡风玻璃上显示车辆的周围状态图像或警告消息。
62.在本公开的另一实施例中，步骤225和230可以同时执行(进行)。
63.在本公开的实施例中使用的组件(例如“单元”)或框或模块可以被实现为诸如任务、类、子例程、过程、对象、执行线程和在存储器或诸如现场可编程门阵列(fpga)或专用集成电路(asic)的硬件上的预定区域中执行的程序等软件。在本公开的实施例中使用的构成元件，例如“...单元”、框或模块，可以通过组合软件和硬件来实现。组件或“单元”可以包括在计算机可读存储介质(即，非瞬时存储介质)中，并且一些组件或“单元”可以分散地分布在多个计算机中。
64.如上所述，在附图和说明书中公开了该实施例。尽管这里使用了特定术语，但这些术语仅用于描述本公开的目的，而不应用于限制权利要求中定义的本公开的含义或范围。因此，本领域的普通技术人员应当理解，可以根据本公开进行各种变型例和等效实施例。因此，本公开的真正技术范围应该由所附权利要求的技术精神来定义。
65.附图标记列表
66.300：通信器
67.305：红外热相机
68.310：另一相机
69.315：图像处理器
70.320：雷达传感器
71.325：hud装置
72.330：控制器。