用于辅助车辆驾驶的电子设备和方法与流程

1.本公开涉及一种电子设备及其操作方法，并且更具体地，涉及一种用于辅助车辆驾驶的电子设备和方法。


背景技术：

2.随着信息通信技术和车辆产业的融合，车辆的智能化快速发展。根据这种智能化，车辆已经从简单的机械装置演变为智能汽车。特别地，自动驾驶作为智能汽车的核心技术受到关注。
3.自动驾驶是指在没有驾驶员操作方向盘、加速踏板、制动器等的情况下自主到达目的地的技术。
4.近来，已经开发了与自动驾驶相关的各种附加功能，并且需要研究一种能够通过经由使用各种数据识别和确定驾驶环境来控制车辆从而向乘客提供安全的自动驾驶体验的方法。


技术实现要素：

5.对问题的解决方案
6.提供了一种用于辅助车辆驾驶的电子设备和方法。
附图说明
7.根据以下结合附图的描述，本公开的特定实施例的以上和其他方面、特征和优点将更加明显，其中：
8.图1示出了根据实施例的操作用于辅助车辆驾驶的电子设备的示例；
9.图2是根据实施例的电子设备的操作方法的流程图；
10.图3是根据实施例的确定对象是否是真实事物的方法的流程图；
11.图4示出了根据实施例的从图像识别对象的示例；
12.图5示出了根据实施例的计算构成对象的平面区域的数量的示例；
13.图6是根据实施例的判定掩蔽区域的方法的流程图；
14.图7示出了根据实施例的判定掩蔽区域的方法；
15.图8是根据实施例的确定对象是否是包括在另一对象中的图像的方法的流程图；
16.图9示出了根据实施例的确定对象是否是包括在另一对象中的图像的方法；
17.图10是根据实施例的电子设备的操作方法的流程图；
18.图11示出了根据实施例的从图像中识别包括道路区域的对象的示例；
19.图12示出了根据实施例的确定对象是否是真实道路的方法；
20.图13是根据实施例的确定对象是否是真实道路的方法的流程图；
21.图14示出了根据实施例的确定对象是否是真实道路的方法；
22.图15是根据实施例的判定掩蔽区域的方法的流程图；
23.图16示出了根据实施例的判定掩蔽区域的方法；
24.图17是根据实施例的电子设备的框图；
25.图18是根据实施例的电子设备的详细框图；以及
26.图19是根据实施例的车辆的框图。
具体实施方式
27.提供了一种用于辅助车辆驾驶的电子设备和方法。
28.另外的方面将部分地在下面的描述中阐述，并且将部分地从描述中显而易见，或者可以通过实践所呈现的实施例而得知。
29.根据本公开的一方面，一种用于辅助车辆驾驶的电子设备包括：传感器；存储器，存储一个或更多个指令；以及处理器，被配置为执行存储在存储器中的一个或更多个指令以执行以下操作：经由传感器获得车辆的周围环境图像，从获得的周围环境图像确定对象，获得确定的对象的三维(3d)坐标信息，基于与对象对应的3d坐标信息确定构成对象的平面区域的数量，基于确定的构成对象的平面区域的数量确定对象是否是真实对象，并且基于确定对象是否是真实对象的结果来控制车辆的驾驶操作。
30.处理器还可以被配置为执行一个或更多个指令以执行以下操作：基于确定的构成对象的平面区域的数量为1来确定对象不是真实对象。
31.处理器还可以被配置为执行一个或更多个指令，以基于所述对象被确定为不是真实对象来执行以下操作：将周围环境图像中的对象确定为掩蔽区域；以及将关于掩蔽区域的信息发送到被配置为控制车辆的驾驶操作的一个或更多个模块。
32.处理器还可以被配置为执行一个或更多个指令，以基于确定的构成对象的平面区域的数量为1来确定对象是否是包括在另一对象中的图像。
33.处理器还可以被配置为执行一个或更多个指令以执行以下操作：基于确定的构成对象的平面区域的数量为1，根据与对象对应的3d坐标信息和与被确定为真实对象的另一对象对应的3d坐标信息之间的比较，确定对象是否是包括在另一对象中的图像。
34.根据本公开的另一方面，一种用于辅助车辆驾驶的电子设备包括：传感器；存储器，存储一个或更多个指令；以及处理器，被配置为执行存储在存储器中的一个或更多个指令以执行以下操作：经由传感器获得车辆的周围环境图像，从获得的周围环境图像检测包括被确定为道路的区域的对象，获得与对象对应的三维(3d)坐标信息，基于与对象对应的3d坐标信息确定构成对象的平面区域的数量，基于确定的构成对象的平面区域的数量为1，根据构成对象的平面区域的梯度来确定对象是否是真实道路，并且基于确定对象是否是真实道路的结果来控制车辆的驾驶操作。
35.处理器还可以被配置为执行一个或更多个指令以执行以下操作：基于与对象对应的3d坐标信息确定对象与车辆正在行驶的地面之间的间隔距离；以及基于间隔距离确定对象是否为真实道路。
36.处理器还可以被配置为执行一个或更多个指令，以基于所述对象被确定为不是真实道路来执行以下操作：将周围环境图像中的对象确定为掩蔽区域；以及将关于掩蔽区域的信息发送到被配置为控制车辆的驾驶操作的一个或更多个模块。
37.处理器还可以被配置为执行一个或多个指令，以基于确定的构成对象的平面区域
的数量为1来执行以下操作：确定对象的平面区域的梯度；以及基于确定对象的平面区域的梯度与在车辆的行驶方向上的地面的梯度相差至少预定阈值，确定对象不是真实道路。
38.根据本公开的另一方面，一种辅助车辆驾驶的方法包括：获得车辆的周围环境图像；从获得的周围环境图像确定对象；获得确定的对象的三维(3d)坐标信息；基于与对象对应的3d坐标信息，确定构成对象的平面区域的数量；基于确定的构成对象的平面区域的数量来确定对象是否是真实对象；以及基于确定对象是否是真实对象的结果来控制车辆的驾驶操作。
39.确定对象是否是真实对象的步骤可以包括：基于确定的构成对象的平面区域的数量为1来确定对象不是真实对象。
40.控制车辆的驾驶操作的步骤可以包括：基于对象被确定为不是真实对象来执行以下操作：将周围环境图像中的对象确定为掩蔽区域；以及将关于掩蔽区域的信息发送到被配置为控制车辆的驾驶操作的一个或更多个模块。
41.所述方法还可以包括：基于确定的构成对象的平面区域的数量为1来确定对象是否是包括在另一对象中的图像。
42.所述方法还可以包括：基于确定的构成对象的平面区域的数量为1，根据与对象对应的3d坐标信息和与被确定为真实对象的另一对象对应的3d坐标信息之间的比较，确定对象是否是包括在另一对象中的图像。
43.根据本公开的另一方面，一种辅助车辆驾驶的方法包括：获得车辆的周围环境图像；从获得的周围环境图像检测包括被确定为道路的区域的对象；获得与对象对应的三维(3d)坐标信息；基于与对象对应的3d坐标信息，确定构成对象的平面区域的数量；基于确定的构成对象的平面区域的数量为1，根据构成对象的平面区域的梯度来确定对象是否是真实道路；以及基于确定对象是否是真实道路的结果来控制车辆的驾驶操作。
44.确定对象是否为真实道路的步骤可包括：基于与对象对应的3d坐标信息确定对象与车辆正在行驶的地面之间的间隔距离；以及基于间隔距离确定对象是否为真实道路。
45.控制车辆的驾驶操作的步骤可以包括基于对象被确定为不是真实道路来执行以下操作：将周围环境图像中的对象确定为掩蔽区域；以及将关于掩蔽区域的信息发送到被配置为控制车辆的驾驶操作的一个或更多个模块。
46.确定对象是否是真实道路的步骤可以包括基于确定的构成对象的平面区域的数量为1来执行以下操作：确定对象的平面区域的梯度；以及基于确定对象的平面区域的梯度与车辆的行驶方向上的地面的梯度相差至少预定阈值来确定对象不是真实道路。
47.根据本公开的另一方面，一种非暂时性计算机可读记录介质，其上记录有用于执行辅助车辆驾驶的方法中的至少一种方法的程序。
48.根据本公开的另一方面，一种用于辅助驾驶车辆的电子设备包括：存储器，存储一个或更多个指令；以及处理器，被配置为执行存储在存储器中的一个或更多个指令以执行以下操作：获得车辆的周围环境图像，根据获得的周围环境图像确定对象，确定构成对象的平面区域的数量，基于确定的构成对象的平面区域的数量来确定对象是否是真实对象，以及基于确定对象是否是真实对象的结果来控制车辆的驾驶操作。
49.处理器还可以被配置为执行一个或更多个指令以执行以下操作：基于确定的构成对象的平面区域的数量为1来确定对象不是真实对象。
50.处理器还可以被配置为执行所述一个或更多个指令，以基于对象被确定为不是真实对象来执行以下操作：将周围环境图像中的对象确定为掩蔽区域；以及将关于掩蔽区域的信息发送到被配置为控制车辆的驾驶操作的一个或更多个模块。
51.处理器还可以被配置为执行一个或多个指令以执行以下操作：基于确定的构成对象的平面区域的数量为1来确定对象是否是包括在另一对象中的图像。
52.处理器还可以被配置为执行一个或多个指令以执行以下操作：基于确定的构成对象的平面区域的数量为1，根据以下中的至少一项来确定对象是否是真实道路：构成对象的平面区域的梯度、以及对象与车辆正在行驶的地面之间的间隔距离。
53.在具体实施方式中使用的术语可以是本领域当前广泛使用的通用术语，但是也可以根据本领域普通技术人员的意图、先例或本领域的新技术而变化。此外，指定的术语可以由申请人选择，并且可以在具体实施方式中详细定义。因此，说明书中使用的术语应不被理解为简单的名称，而是基于术语的含义和总体描述被理解。
54.在整个说明书中，还应当理解，当组件“包括”元件时，除非另有明确说明，否则应当理解，该组件不排除另一元件，而是还可以包括另一元件。另外，诸如
“…
单元”、
“…
模块”等术语是指执行至少一个功能或操作的单元，并且这些单元可以被实现为硬件或软件或者硬件和软件的组合。
55.在下文中，将参照附图详细描述本公开的实施例，使得本领域普通技术人员可以容易地实现本公开。然而，本公开可以以许多不同的形式实现，并且不应被解释为限于这里阐述的实施例。
56.在整个公开中，诸如“a、b和c中的至少一个”的表述指示仅a、仅b、仅c、a和b两者、a和c两者、b和c两者、a、b和c中的全部或其变形。
57.图1示出了根据实施例的操作用于辅助车辆1的驾驶的电子设备100的示例。
58.在本说明书中，车辆1(参见图19)(在下文中，车辆1或自动驾驶车辆1)可以包括用于辅助或控制车辆1的驾驶的电子设备100(参见图17和图18)(在下文中，电子设备100)。根据实施例，电子设备100可以安装在车辆1上并且操作使得车辆1可以自动行驶或自动控制驾驶操作的一部分。例如，车辆1可以被实现为执行自动驾驶系统或高级驾驶员辅助系统(adas)功能。
59.能够自动驾驶或自动控制至少一些功能的车辆可以在车辆行驶时通过使用各种传感器来识别车辆周围的对象，从而提供安全的驾驶环境。
60.根据实施例，对象指示在车辆行驶时从车辆的周围(前方向、后方向、侧方向等)感测到的对象。对象可以例如包括行人、另一车辆、行驶路径上的障碍物等，但不限于此。
61.根据实施例，安装在车辆1上的电子设备100可以针对从车辆1的周围识别的每个对象标识边界框，并且通过考虑被标识为边界框的对象来控制车辆1的驾驶操作。
62.根据实施例，电子设备100可以针对每个识别的对象生成一个边界框，以便包括识别的对象的至少一部分。
63.例如，可以以能够紧密地(例如，最紧密地)包括识别的对象的四边形形式生成边界框。在这种情况下，四边形形式的纵横比不是预定的，并且可以生成边界框以包括对象的所有边缘。可选地，例如，可以在包括识别的对象的宽度的最大或最小长度的情况下以四边形形式的特定比率生成边界框，但不限于此。根据实施例，电子设备100可以预设或改变与
将被生成以包含识别对象的边界框的生成相关的标准。
64.参照图1，电子设备100可以在车辆1正在行驶时通过使用图像传感器228(参见图18)来捕获周围环境图像101。根据实施例的周围环境图像可以是包括车辆1的周围区域的图像。根据实施例，电子设备100可以通过从车辆1行驶时捕获的周围环境图像101识别车辆1周围的对象(例如，另一移动车辆、附近的人等)来安全地控制驾驶操作。
65.如图1的示例所示，电子设备100可以识别包括在周围环境图像101中的一个或更多个对象102、103和104。根据实施例，电子设备100可以针对识别的对象102、103和104生成各自的边界框，并且基于生成的边界框来控制车辆1的驾驶操作。例如，电子设备100可以从周围环境图像101识别第一车辆(例如，出租车)102、第二车辆(例如，卡车)103和人104。电子设备100可以针对识别的第一车辆(例如，出租车)102、第二车辆(例如，卡车)103和人104生成各自的边界框，并且基于生成的边界框来控制车辆1的驾驶操作。
66.同时，包括在图1所示的周围环境图像101中的人104是显示在第二车辆103的后表面上的图像。然而，当电子设备100觉得从周围环境图像101识别的人104是真人而不是显示在第二车辆103的后表面上的图像时，电子设备100可能在车辆1避开人104的方向上控制车辆1的驾驶操作，从而导致不正确的驾驶操作。
67.例如，显示在车辆的一个表面上的广告或促销图像、由于反射效果而出现在镀铝车辆的一个表面上的另一车辆的图像等、显示在设置于车辆的一个表面的屏幕上的图像等不是独立的真实对象，而仅仅是显示在另一对象上的图像。根据实施例，电子设备100可以确定不是真实的或物理上独立的事物而是显示在另一对象上的图像不是真实的事物。
68.根据本实施例，电子设备100可以在从周围环境图像101识别的对象102、103和104中将显示在另一真实对象上的图像与真实对象相区分。电子设备100可以通过计算多少平面区域构成从周围环境图像101识别的对象并基于计算结果确定对象是否是真实事物，控制准确和安全的驾驶。
69.平面区域可以指示当对象的一个外表面在x轴、y轴和z轴的三维(3d)坐标系上构成平面时的对应区域。
70.当计算出识别的对象由一个平面区域组成时，电子设备100可以确定识别的对象不是真实对象而是显示在另一对象上的图像。在图1的示例中，电子设备100可以确定从周围环境图像101识别出的人104仅仅是显示在另一对象103上的图像。
71.下面参照附图更详细地描述根据实施例的电子设备100的更具体的操作。
72.应当理解，图1的示例示出了一个实施例，并且一个或更多个其他实施例不限于此。
73.图2是根据实施例的电子设备的操作方法的流程图。图3是根据实施例的确定对象是否是真实事物(或真实对象)的方法的流程图。图4示出了根据实施例的从图像识别对象的示例。图5示出了根据实施例的计算构成对象的平面区域的数量的示例。将参照图4和图5描述图2和图3的流程图。
74.参照图2，在操作s201，电子设备100可以获取车辆的周围环境图像。
75.电子设备100可以在车辆1正在行驶时通过使用图像传感器228(参见图18)来捕获周围环境图像。例如，电子设备100可以基于预设时段和/或响应于预定事件来拍摄车辆1的周围环境。
76.图像传感器228(参见图18)可以包括被配置为记录车辆1的外部环境的静态相机或视频相机。例如，图像传感器228可以包括多个相机，并且多个相机可以布置在车辆1的内部和外部的多个位置处。
77.在操作s202，电子设备100可以从获取的周围环境图像中识别至少一个对象。
78.参照图4，例如，电子设备100可以从获取的周围环境图像101识别第一车辆102、第二车辆103和人104。
79.电子设备100可以通过使用识别图像中包括的对象的对象识别技术来从捕获的图像中识别对象。
80.例如，电子设备100可以使用被训练为从图像中识别对象的人工智能算法(或机器学习模型、神经网络等)。安装在车辆1上的电子设备100可以通过使用图像传感器(包括多个相机)228拍摄周围环境，并且通过使用基于深度学习训练出的数据识别模型来执行对象检测，以从通过拍摄车辆1的周围环境而获得的多个图像帧中识别对象。
81.根据实施例，对象检测可以是用于检测图像帧中包括的对象(例如，道路上的行人、车辆等)的图像处理。
82.对象检测可以是或包括用于提取图像帧中的候选区域以检测图像帧中的对象并通过使用训练出的数据识别模型来估计候选区域中的对象的类型和位置的图像处理。例如，对象检测可以使用基于卷积神经网络(cnn)等的数据识别模型。
83.电子设备100可以通过使用特定对象识别技术从图像中识别图像中包括的对象，并且不限于上述示例。
84.返回参照图2，在操作s203，电子设备100可以获取每个识别的对象的3d坐标信息。
85.根据本公开的实施例，当电子设备100通过使用感测模块110(参见图18)感测对象时，可以获取3d坐标信息。
86.3d坐标信息可以指示在x轴、y轴和z轴的3d坐标系上指示对象的外表面的一组点的数据。例如，3d坐标信息可以包括3d点云。
87.根据实施例，电子设备100可以通过使用感测模块110来感测车辆1周围的对象。例如，电子设备100可以通过使用无线电检测和测距(radar)传感器226(参见图18)和光检测和测距(lidar)传感器227(参见图18)来测量对象表面上的多个点。
88.lidar传感器227(参见图18)可以通过使用激光输出装置输出激光束并通过至少一个激光接收器获取来自对象的反射信号，感测周围对象的形状和距离、地形等。
89.radar传感器226(参见图18)可以被配置为通过使用无线电信号来感测车辆1所在的环境中的对象。另外，radar传感器226可以被配置为感测对象的速度和/或方向。
90.参照图4，例如，电子设备100可以通过使用感测模块110获取与车辆1周围的每个对象(第一车辆102、第二车辆103和人104)对应的3d坐标信息。
91.返回参照图2，在操作s204，电子设备100可以基于与对象对应的3d坐标信息来计算构成对象的平面区域的数量。
92.平面区域可以指示当对象的一个外表面在x轴、y轴和z轴的3d坐标系上构成平面时的对应区域。
93.参照图5，电子设备100可以基于与第一车辆102对应的3d坐标信息来计算或确定第一车辆102包括多个平面区域102a。另外，电子设备100可以基于与第二车辆103对应的3d
坐标信息来计算或确定第二车辆103包括多个平面区域103a。另外，电子设备100可以基于与识别出的人104对应的3d坐标信息来计算或确定人104由一个平面区域104a组成。
94.为了便于描述，示出了图5中的附图标号102a和103a，以描述对象102和对象103包括多个平面区域，并且应当理解，本公开不限于此。另外，图5中的附图标号104a被示出以描述对象104由一个平面区域组成，并且应当理解，本公开不限于此。
95.根据实施例，电子设备100可以通过使用例如随机样本一致性(ransac)算法来计算构成对象的平面区域的数量。
96.ransac算法在从与每个对象对应的一组3d点中随机选择四个或更多个点时确定选择的点是否构成一个平面。电子设备100可以通过使用ransac算法重复确定随机选择的点是否构成一个平面的处理来计算多少个平面构成每个对象。
97.返回参照图2，在操作s205，电子设备100可以基于构成对象的平面区域的数量来确定对象是否是真实事物(例如，确定对象是否是真实对象、对象是否不是对象的图像、对象是否不是另一对象上的对象的图像等)。
98.参照图3，在操作s301，电子设备100可以从车辆1的周围环境图像识别至少一个对象。在操作s302，当基于与对象对应的3d坐标信息计算或确定构成对象的平面区域的数量为1时，电子设备100可以确定对象不是真实事物。
99.在图5所示的示例中，当(或基于)基于与识别出的人104对应的3d坐标信息计算或确定人104由一个平面区域104a组成时，电子设备100可以确定人104不是真实事物。
100.另外，在图5所示的示例中，当计算或确定第一车辆102和第二车辆103分别由多个平面区域102a和103a组成时，电子设备100可以确定第一车辆102和第二车辆103是真实事物。
101.返回参照图2，在操作s206，电子设备100可以基于确定对象是否是真实事物的结果来控制车辆的驾驶操作。
102.在图5所示的示例中，电子设备100可以基于识别出的人104不是真人(即，真实对象、真实事物等)的事实(或确定)来控制车辆1的驾驶操作。
103.相应地，电子设备100可以通过从车辆1行驶时捕获的周围环境图像来确定不是真实事物的对象来提供安全且准确的驾驶控制。
104.应当理解，提供图2至图5以描述实施例，并且一个或更多个其他实施例不限于此。
105.图6是根据实施例的判定掩蔽区域的方法的流程图。图7示出了根据实施例的判定掩蔽区域的方法。将参照图7描述图6的流程图。
106.参照图6，在操作s601，电子设备100可以确定对象不是真实事物。在操作s602，电子设备100可以将被确定为不是周围环境图像中的真实事物的对象判定或确定为掩蔽区域。
107.根据实施例，掩蔽区域可以指示由图像中被确定为不是真实对象的对象占据的区域。
108.参照图7，电子设备100可以将周围环境图像101中的包括被确定为不是真实对象的人104的边界框的区域判定或确定为掩蔽区域。
109.返回参照图6，在操作s603，电子设备100可以将关于掩蔽区域的信息发送到被配置为控制车辆的驾驶操作的一个或更多个模块。
110.被配置为控制车辆的驾驶操作的一个或更多个模块可以基于关于掩蔽区域的信息来控制车辆的驾驶操作。
111.例如，被配置为控制车辆的驾驶操作的一个或更多个模块可以通过考虑掩蔽区域不是真实对象而是显示在另一真实对象上的图像来判定车辆的驾驶操作。可选地，例如，被配置为控制车辆的驾驶操作的一个或多个模块可以基于通过从周围环境图像中排除掩蔽区域而剩余的图像来判定车辆的驾驶操作。
112.应当理解，提供图6和图7以描述实施例，并且一个或更多个其他实施例不限于此。
113.图8是根据实施例的确定对象是否是包括在另一对象中的图像的方法的流程图。图9示出了根据实施例的确定对象是否是包括在另一对象中的图像的方法。将参照图9描述图8的流程图。
114.参照图8，在操作s801，电子设备100可以计算或确定构成对象的平面区域的数量为1。如上所述，当(例如，基于)计算或确定构成识别对象的平面区域的数量为1时，电子设备100可以确定识别的对象不是真实事物。根据另一实施例，电子设备100可以基于多个标准(例如，基于以下标准中的至少两个：确定构成识别的对象的平面区域的数量为1；确定对象(或对象的边界框)被包含或被包围在另一对象(或另一对象的边界框)内；确定对象与包含或包围该对象的另一对象在相同平面上等)确定识别的对象不是真实事物。
115.参照图9，例如，当基于与周围环境图像101中的对象(例如，人类图像)104对应的3d坐标信息计算出对象(例如，人类图像)104由一个平面区域组成时，电子设备100可以确定对象(例如，人类图像)104不是真实事物。
116.返回参照图8，在操作s802，电子设备100可以将与对象对应的3d坐标信息和与被确定为真实事物的另一对象对应的3d坐标信息进行比较。在操作s803，电子设备100可以判定对象是否是包括在另一对象中的图像。
117.参照图9，例如，电子设备100可以将基于与被确定为不是真实事物的对象(例如，人类图像)104对应的3d坐标信息的平面区域104a与基于与被确定为真实事物的对象(例如，卡车)103对应的3d坐标信息的平面区域103a进行比较。当确定对象(例如，人类图像)104位于与另一对象(例如，卡车)103相同的平面上时，电子设备100可以判定对象(例如，人类图像)104是包括在另一对象(例如，卡车)103中的图像。
118.应当理解，提供图8和图9以描述实施例，并且一个或更多个其他实施例不限于此。
119.图10是根据实施例的电子设备100的操作方法的流程图。图11示出了根据实施例的从图像中识别包括道路区域的对象的示例。图12示出了根据实施例的确定对象是否为真实道路的方法。将参照图11和图12描述图10的流程图。
120.在图11所示的示例中，卡车可以包括在卡车的后表面上的屏幕。可以在屏幕上显示卡车的实时前方图像。
121.参照图10，在操作s1001，电子设备100可以获取车辆的周围环境图像。根据实施例的由电子设备100获取车辆1的周围环境图像可以与上面参照图2的操作s201描述的获取周围环境图像相同或类似。
122.在操作s1002，电子设备100可以从获取的周围环境图像检测包括被识别为道路的区域的对象。
123.根据实施例，电子设备100可以通过使用从图像中检测道路的算法来从车辆1正在
行驶时获取的图像中识别道路。根据另一实施例，可以使用被训练为从图像中识别道路的机器学习模型或神经网络来从获取的图像中识别道路。
124.参照图11，例如，电子设备100可以从周围环境图像201检测包括被识别为道路的区域的第一对象202和包括被识别为道路的区域的第二对象204。
125.返回参照图10，在操作s1003，电子设备100可以获取与对象对应的3d坐标信息。根据实施例的由电子设备100获取与对象对应的3d坐标信息可以与上面参照图2的操作s203描述的获取3d坐标信息相同或相似。
126.在操作s1004中，电子设备100可以基于与对象对应的3d坐标信息来计算或确定构成对象的平面区域的数量。由根据实施例的电子设备100对构成对象的平面区域的数量的计算可以与上面参照图2的操作s204描述的计算相同或相似。
127.如图11和图12所示，电子设备100可以通过使用感测模块110(参见图18)感测第一对象202来获取第一对象202的3d坐标信息。电子设备100可以基于与第一对象202对应的3d坐标信息来计算或确定多少个平面区域构成第一对象202。
128.另外，电子设备100可以通过使用感测模块110(参见图18)感测第二对象204来获取第二对象204的3d坐标信息。电子设备100可以基于与第二对象204对应的3d坐标信息来计算或确定多少个平面区域构成第二对象204。
129.在图11和图12所示的示例中，被识别为道路的第一对象202是真实道路，并且可以计算或确定第一对象202由一个平面区域202a组成。另外，被识别为道路的第二对象204是在车辆1前方行驶的卡车的后表面上显示的图像，并且可以计算或确定第二对象204由一个平面区域204a组成。
130.返回参照图10，在操作s1005，当构成对象的平面区域的数量被计算为1时，电子设备100可以基于构成对象的平面区域的梯度来确定对象是否是真实道路。
131.在图11和图12所示的示例中，如上所述，第二对象204被从周围环境图像201识别为道路，但是第二对象204不是真实道路。相反，第二对象204是在车辆1前方行驶的卡车的后表面上显示的图像。因此，当(或基于)电子设备100通过感测模块110(参见图18)检测到第二对象204时，可以计算或确定第二对象204的平面区域的梯度与在车辆的行驶方向上的地面的梯度相差预设阈值或更大。
132.另外，电子设备100可以通过或基于构成第二对象204的平面区域与重力方向之间的角度、与车辆的间隔距离、第二对象204与真实道路之间的间隔等中的至少一个来确定第二对象204不是真实道路。
133.在图11和图12的示例中，电子设备100可以基于与第一对象202对应的3d坐标信息来确定第一对象202是车辆1正在行驶的真实道路。
134.返回参照图10，在操作s1006，电子设备100可以基于确定对象是否是真实道路的结果来控制车辆的驾驶操作。
135.在图11和图12的示例中，电子设备100可以基于从周围环境图像201识别出的第二对象204不是真实道路的事实来执行比之前更准确的对车辆1的驾驶控制。
136.应当理解，提供图10至图12以描述实施例，并且一个或更多个其他实施例不限于此。
137.图13是根据实施例的确定对象是否是真实道路的方法的流程图。图14示出了根据
实施例的确定对象是否为真实道路的方法。将参照图14描述图13的流程图。
138.参照图13，在操作s1301，电子设备100可以将构成对象的平面区域的数量计算为1。
139.参照图14，例如，电子设备100可以将构成第一对象202的平面区域的数量计算为1。另外，电子设备100可以将构成第二对象204的平面区域的数量计算为1。
140.在操作s1302，电子设备100可以基于与对象对应的3d坐标信息来确定对象与车辆1正在行驶的地面之间的间隔距离。
141.参照图14，例如，电子设备100可以基于与第二对象204对应的3d坐标信息来确定第二对象204与车辆1正在行驶的地面之间的间隔距离205。
142.返回参照图13，在操作s1303，电子设备100可以基于间隔距离来确定对象是否是真实道路。
143.根据实施例，电子设备100可以基于第二对象204与车辆1正在行驶的地面之间的间隔距离205来确定第二对象204不是真实道路。例如，当确定第二对象204与车辆1正在行驶的地面之间的间隔距离205是预设阈值或更大时，电子设备100可以确定第二对象204不是真实道路。根据另一实施例，电子设备100可以基于第二对象204与车辆1正在行驶的地面之间存在间隔来确定第二对象204不是真实道路。
144.应当理解，提供图13至图14以描述实施例，并且一个或更多个其他实施例不限于此。
145.图15是根据实施例的判定掩蔽区域的方法的流程图。图16示出了根据实施例的判定掩蔽区域的方法。将参照图16描述图15的流程图。
146.参照图15，在操作s1501，电子设备100可以确定对象不是真实道路。在操作s1502，电子设备100可以将周围环境图像中被确定为不是真实道路的对象判定为掩蔽区域。
147.参照图16，根据实施例，电子设备100可以确定第二对象204不是真实道路，并且将周围环境图像201中的第二对象204判定或确定为掩蔽区域。
148.返回参照图15，在操作s1503，电子设备100可以将关于掩蔽区域的信息发送到被配置为控制车辆的驾驶操作的一个或更多个模块。
149.参照图16，根据实施例，电子设备100可以基于第二对象204是掩蔽区域的事实(或确定)来控制车辆1的驾驶操作。
150.例如，被配置为控制车辆的驾驶操作的一个或更多个模块可以通过考虑掩蔽区域不是真实对象而是显示在另一真实对象上的图像来判定或控制车辆的驾驶操作。可选地，例如，被配置为控制车辆的驾驶操作的一个或更多个模块可以基于通过从周围环境图像中排除掩蔽区域而剩余的图像来判定或控制车辆的驾驶操作。
151.应当理解，提供图15和图16以描述实施例，并且一个或更多个其他实施例不限于此。
152.图17是根据实施例的电子设备100的框图。
153.参照图17，电子设备100可以包括感测模块110(例如，至少一个传感器)、存储器170和处理器120。应当理解，电子设备100可以包括除了图17所示的组件之外的其他组件。
154.感测模块110可以在车辆1行驶时感测车辆1的周围环境。
155.感测模块110可以包括多个传感器以感测车辆1的周围环境。例如，感测模块110可
以包括距离传感器，诸如，lidar传感器227(参见图18)、radar传感器226(参见图18)和诸如相机的图像传感器228(参见图18)。
156.另外，感测模块110可以包括被配置为校正多个传感器的位置和/或朝向的一个或更多个致动器，并且因此可以感测位于车辆1的前方向、后方向和侧方向上的对象。
157.根据实施例，感测模块110可以感测车辆1周围的对象的尺寸、形状、移动速度和移动方向、车辆1与对象之间的距离等中的至少一个。
158.处理器120可以包括至少一个处理器。
159.处理器120可以执行一个或更多个指令以通过使用或控制感测模块110来获取车辆1的周围环境图像。
160.另外，处理器120可以执行一个或更多个指令以从获取的周围环境图像中识别至少一个对象。
161.此外，处理器120可以执行一个或更多个指令以通过使用或控制至少一个传感器来获取或获得每个识别出的对象的3d坐标信息。
162.处理器120还可以执行一个或更多个指令，以基于与对象对应的3d坐标信息来计算或确定构成对象的平面区域的数量。
163.处理器120可以执行一个或更多个指令以基于构成对象的平面区域的数量来确定对象是否是真实事物。
164.另外，当(或基于)构成对象的平面区域的数量被计算或确定为1时，处理器120可以执行一个或更多个指令以确定对象不是真实事物。
165.如上所述，处理器120可以执行一个或更多个指令，以基于确定对象是否是真实事物的结果来控制车辆1的驾驶操作。
166.此外，处理器120可以执行一个或更多个指令，以在(或基于)确定对象不是真实事物时判定周围环境图像中被确定为不是真实事物的对象是掩蔽区域，并且将关于掩蔽区域的信息发送到被配置为控制车辆1的驾驶操作的一个或更多个模块。
167.当(或基于)构成对象的平面区域的数量被计算为1时，处理器120可以执行一个或更多个指令，以基于与对象对应的3d坐标信息和与被确定为真实事物的另一对象对应的3d坐标信息之间的比较来判定或确定对象是否是包括在另一对象中的图像。
168.根据另一实施例，处理器120可以执行一个或更多个指令以通过使用或控制至少一个传感器来获取车辆1的周围环境图像。
169.另外，处理器120可以执行一个或更多个指令以从获取的周围环境图像检测包括被识别为道路的区域的对象。
170.处理器120可以执行一个或更多个指令以通过使用至少一个传感器来获取与对象对应的3d坐标信息。
171.处理器120可以执行一个或更多个指令，以基于与对象对应的3d坐标信息来计算或确定构成对象的平面区域的数量。
172.此外，当(或基于)构成对象的平面区域的数量被计算为1时，处理器120可以执行一个或更多个指令以基于构成对象的平面区域的梯度来确定对象是否是真实道路。
173.另外，处理器120可执行一个或更多个指令，以基于与对象对应的3d坐标信息来确定对象与车辆1正在行驶的地面之间的间隔距离，并且基于间隔距离来确定对象是否是真
实道路。
174.处理器120还可以执行一个或更多个指令，以基于确定对象是否是真实道路的结果来控制车辆1的驾驶操作。
175.处理器120可以执行一个或更多个指令，以在(或基于)确定对象不是真实道路时将周围环境图像中被确定为不是真实道路的对象确定为掩蔽区域，并且将掩蔽区域的信息发送到被配置为控制车辆1的驾驶操作的一个或更多个模块。
176.图18是根据实施例的电子设备100的详细框图。
177.参照图18，电子设备100可以包括感测模块110(例如，至少一个传感器)、处理器120、输出器130、存储器140、输入器150和通信接口160。
178.感测模块110可以包括被配置为感测关于车辆1所在的周围环境的信息的多个传感器，并且包括被配置为校正所述多个传感器的位置和/或朝向的一个或更多个致动器。例如，感测模块110可以包括全球定位系统(gps)224、惯性测量单元(imu)225、radar传感器226、lidar传感器227、图像传感器228和里程计传感器230中的至少一个。另外，感测模块110可以包括温度/湿度传感器232、红外传感器233、大气压传感器235、接近传感器236和rgb(照度)传感器237中的至少一个，但不限于此。本领域普通技术人员可以根据其名称直观地推断出每个传感器的功能。
179.另外，感测模块110可以包括能够感测车辆1的运动的运动传感器238。运动传感器238可以包括磁性传感器229、加速度传感器231和陀螺仪传感器234。
180.gps 224可以被配置为估计车辆1的地理位置。也就是说，gps 224可以包括被配置为估计车辆1在地球上的位置的收发器。
181.imu 225可以是一组传感器，其中，该组传感器被配置为基于惯性加速度来检测车辆1的位置和方向的变化。例如，该组传感器可以包括加速度计和陀螺仪。
182.radar传感器226可以被配置为通过使用无线电信号来检测车辆1所在的环境中的对象。另外，radar传感器226可以被配置为检测对象的速度和/或方向。
183.lidar传感器227可以被配置为通过使用激光来检测车辆1所在的环境中的对象。更具体地，lidar传感器227可以包括被配置为发射激光束的激光光源和/或激光扫描仪以及被配置为检测激光束的反射的检测器。lidar传感器227可以被配置为以相干(例如，使用外差检测)或非相干检测模式操作。
184.图像传感器228可以是被配置为记录车辆1外部的环境的静态相机或视频相机。例如，图像传感器228可以包括多个相机，并且多个相机可以布置在车辆1内部和/或外部的多个位置处。
185.里程计传感器230可以估计车辆1的位置并测量车辆1的移动距离。例如，里程计传感器230可以通过使用车辆1的车轮的转数来测量车辆1的位置改变值。
186.存储器140可以包括磁盘驱动器、光盘驱动器和闪存中的至少一个。可选地(或另外地)，存储器140可以是便携式通用串行总线(usb)数据存储装置。存储器140可以存储用于执行或实现实施例的系统软件。系统软件可以存储在便携式存储介质中。
187.通信接口160可以包括用于以无线方式与另一装置通信的至少一个天线。例如，通信接口160可以用于通过wi
‑
fi或蓝牙以无线方式与蜂窝网络或另一无线协议和系统通信。由处理器120控制的通信接口160可以发送和接收无线信号。例如，处理器120可以执行存储
在存储140中的程序，使得通信接口160向蜂窝网络发送无线信号和从蜂窝网络接收无线信号。
188.输入器150指示用于输入用于控制车辆1的数据的工具或装置。例如，输入器150可以包括键盘、圆顶开关、触摸板(电容覆盖触摸板、电阻覆盖触摸板、红外(ir)光束触摸板、表面声波触摸板、集成应变仪触摸板、压电触摸板等)、滚轮、微动开关等中的至少一个，但不限于此。另外，输入器150可以包括麦克风，其中，麦克风可以被配置为从车辆1的乘客接收音频(例如，语音命令)。
189.输出器130可以输出音频信号和视频信号中的至少一个，并且输出器130可以包括显示器281和声学输出器282中的至少一个。
190.显示器281可以包括液晶显示器、薄膜晶体管液晶显示器、有机发光二极管显示器、柔性显示器、3d显示器或电泳显示器中的至少一个。根据输出器130的实现，输出器130可包括两个或更多个显示器281。
191.声学输出器282输出从通信接口160接收的或存储在存储器140中的音频数据。另外，声学输出器282可以包括扬声器、蜂鸣器等。
192.输入器150和输出器130可以包括网络接口，并且可以由触摸屏实现。
193.处理器120通常可以通过执行存储在存储器140中的程序和/或指令来控制感测模块110、通信接口160、输入器150、存储器140和输出器130。
194.图19是根据实施例的车辆1的框图。
195.根据实施例，车辆1可以包括电子设备100和驱动装置200。图19所示的车辆1包括与本实施例相关的组件。应当理解，除了图19中所示的那些组件之外，车辆1还可以包括其他组件。
196.电子设备100可以包括感测模块110和处理器120。
197.感测模块110和处理器120与上面参照图17和18描述的那些相同或相似。
198.驱动装置200可包括制动单元221、转向单元222和节流阀223。
199.转向单元222(例如，用于调节车轮方向的方向盘和机械组件)可以是被配置为调节车辆1的方向的一组机构。
200.节流阀223可以是被配置为通过控制发动机/马达的运行速度来控制车辆1的速度的一组机构。另外，节流阀223可以调节节流阀开度以调节在发动机/马达中流动的燃料空气的混合气体体积，并且可以调节节流阀开度以调节动力和推力。
201.制动单元221(例如，一个或更多个制动器)可以是被配置为使车辆1减速的一组机构。例如，制动单元221可以使用摩擦来降低车轮/轮胎的速度。
202.根据一个或更多个实施例的装置可以包括处理器、存储和执行程序数据的内存、永久存储器(诸如盘驱动器)、用于与外部装置通信的通信端口、用户接口装置(诸如触摸面板、键、按钮等)等。由软件模块或算法实现的方法可以作为在处理器中可执行的计算机可读代码或程序命令存储在非暂时性计算机可读记录介质中。这里，非暂时性计算机可读记录介质的示例包括磁性存储介质(例如，只读存储器(rom)、随机存取存储器(ram)、软盘、硬盘等)和光学记录介质(例如，cd
‑
rom或数字通用盘(dvd))等。非暂时性计算机可读记录介质还可以分布在网络连接的计算机系统上，使得计算机可读代码以分布式方式存储和执行。介质可由计算机读取，存储在存储器中，并且可以由处理器执行。
203.可以用功能块和各种处理步骤来表示本实施例。可以通过用于执行特定功能的各种数量的硬件和/或软件配置来实现这些功能块。例如，一个或更多个实施例可以采用直接电路配置(诸如存储器、处理、逻辑和查找表)，用于在一个或更多个处理器的控制下或由其他控制装置执行各种功能。类似于本实施例的组件能够利用软件程序或软件元件执行各种功能，本实施例可以通过程序或脚本语言(诸如c、c 、java或汇编程序)利用通过数据结构、进程、例程和/或其他程序组件的组合实现的各种算法来实现。功能方面可以用在一个或更多个处理器中执行的算法被实现。另外，本公开的实施例可以采用用于电子环境设置、信号处理和/或数据处理的现有技术。可以广泛使用诸如“机构”、“元件”、“装置”和“配置”的术语，并且不被限定为机械和物理配置。这些术语可以包括与处理器相关联的一系列软件例程的含义。
204.本公开中描述的具体执行是说明性的，并不限制本公开的范围。
205.本公开的上述实施例仅是说明性的，并且本领域普通技术人员将理解，在不改变本公开的技术精神和强制性特征的情况下，可以在其中进行形式和细节上的各种改变。因此，本公开的前述实施例应当仅在说明性意义上被理解，而不是为了在所有方面进行限制的目的。例如，被描述为单个类型的每个组件可以通过被分布来执行，并且同样地，被描述为分布式类型的组件也可以通过被耦合来执行。
206.在本公开中使用所有图示或说明性术语仅仅是为了详细描述本公开，并且本公开的范围不由于图示或说明性术语而受限制，除非它们受到权利要求的限制。
207.另外，当没有具体使用诸如“必需”或“重要”的术语来指代组件时，该组件可能不一定在所有实施例中都是必需的。
208.本公开的实施例所属领域的普通技术人员将理解，在不脱离本公开的基本特征的情况下，可以在其中进行形式和细节上的各种改变。
209.应当理解，本公开不限于特定实施例，而是包括在本公开的精神和技术范围内的每个修改、等同和替换。因此，本公开的实施例应仅在描述性意义上被考虑，而不是为了限制的目的。
210.权利要求的范围不是由具体实施方式限定，而是由所附权利要求限定，并且应当理解，权利要求的含义和范围以及从权利要求的等同概念推导的所有改变或修改形式都包括在本公开的范围内。
211.在说明书中使用的诸如
“…
单元”、
“…
模块”等术语是指执行至少一个功能或操作的单元，并且这些单元可以被实现为硬件或软件或者硬件和软件的组合。
212.可以由存储在可寻址存储介质中并且可由处理器执行的程序来实现“单元”和“模块”。
213.例如，可以由组件(诸如软件组件、面向对象的软件组件、类组件和任务组件)、进程、函数、属性、过程、子例程、程序代码段、驱动器、固件、微代码、电路、数据、数据库、数据结构、表、阵列和变量来实现“单元”和“模块”。