通过红绿灯路口的方法、系统、电子设备和存储介质与流程

1.本技术属于自动驾驶领域，尤其涉及通过红绿灯路口的方法、系统、电子设备和存储介质。


背景技术：

2.现有在公共道路上运行自动驾驶的车辆，在通过交通路口时需要遵循道路交通规则，对路口交通信号灯进行识别，并根据交通信号灯指示进行路口通行。现有的自动驾驶车辆对于红绿灯识别的方法通常采用单一的识别结果方案，即v2x方案或者自动驾驶摄像头识别方案。
3.在v2x（vehicle to everything，车用无线通信技术）方案中，车端控制器通过无线通信网络获取路侧端的红绿灯信息，并将红绿灯信息通过车端的总线传输给自动驾驶控制器，由自动驾驶控制器进行规划控制。基于v2x技术的方案中需要路侧设备的支持，现有交通路口并未完全实现路测设备的覆盖，会限制自动驾驶车辆的行驶路线，而且由于红绿灯信号传输通讯链路存在多设备传递，增加了通讯失联或信号延时的风险在自动驾驶摄像头识别方案中，由摄像头对前方道路中的交通信号灯信息进行采集，自动驾驶控制器对采集的图像进行红绿灯的检测和识别，最后根据识别的结果进行规划控制。基于自动解释摄像头识别的方案中，存在因为环境光照强度、摄像头和红绿灯相对角度和距离、交通路口中红路灯位置不一致以及环境灯光等因素的影响，导致红绿灯识别存在较多的漏检和误检。
4.在上述的单一识别结果方案中，都存在的场景限制或者识别误差等情况，导致自动驾驶控制器得到的红绿灯信息存在不准确的情况，增加自动驾驶车辆在公开道路上通行的风险。


技术实现要素：

5.本发明实施例的主要目的在于提供通过红绿灯路口的方法、系统、电子设备和存储介质，使得在没有obu或恶劣光影天气的情况下，可以准确的识别路口中的红绿灯，较低了对红绿灯的误检率和漏检率，提高了自动驾驶的可靠性。
6.第一方面，提供了一种通过红绿灯路口的方法，所述方法包括：根据图像识别技术获取对待通过路口中的待识别红绿灯的第一识别结果，并根据车用无线通信技术v2x获取对所述待识别红绿灯的第二识别结果；根据预设的确定策略从所述第一识别结果以及第二识别结果中确定对所述待识别红绿灯的最终识别结果；根据所述最终识别结果确定对所述待通过路口的通过策略；根据所述通过策略通过所述待通过路口。
7.在一个可能的实现方式中，所述根据预设的确定策略从所述第一识别结果以及第二识别结果中确定对所述待识别红绿灯的识别结果，包括：
如果同时接收到第一识别结果和第二识别结果，则将所述第二识别结果设置为所述最终识别结果；或者，如果只接收到第一识别结果，则将所述第一识别结果设置为所述最终识别结果；或者，如果未接收到第一识别结果和第二识别结果，则通过所述图像识别技术判断所述待通过路口是否设置有红绿灯，如果没有，则将所述最终识别结果设置为未知，如果有，则将所述最终识别结果设置为错误。
8.在另一个可能的实现方式中，所述根据所述最终识别结果确定对所述待通过路口的通过策略，包括：如果所述最终识别结果为第一识别结果或第二识别结果，则根据对应的交通法规通过所述待通过路口；或者，如果所述最终识别结果为未知，则根据绿灯对应的交通法律通过时偶数待通过路口；或者，如果所述最终识别结果为错误，则减速通过所述待通过路口。
9.在另一个可能的实现方式中，所述根据图像识别技术获取对待通过路口中的待识别红绿灯的第一识别结果，包括：根据获取的交通设备到待通过路口的距离、待识别红绿灯距离地面的高度、车载识别摄像头距离地面的高度获取所述车载识别摄像头与地面的夹角；根据所述夹角和车载摄像头视场角相对位置参数对包含所述待识别红绿灯的待识别图像进行图像分割，获取所述待识别红绿灯的区域图像；对所述区域图像进行识别，获取所述红绿灯的数据信息，所述数据信息包括：待识别红绿灯的设置方向、待识别红绿灯的设置类型，所述设置方向包括：横向设置、竖向设置，所述设置类型包括：圆灯、方向灯。
10.第二方面，提供了一种通过红绿灯路口的系统，所述系统包括：第一/第二识别结果获取模块，用于根据图像识别技术获取对待通过路口中的待识别红绿灯的第一识别结果，并根据车用无线通信技术v2x获取对所述待识别红绿灯的第二识别结果；最终识别结果确定模块，用于根据预设的确定策略从所述第一识别结果以及第二识别结果中确定对所述待识别红绿灯的最终识别结果；通过策略确定模块，用于根据所述最终识别结果确定对所述待通过路口的通过策略；路口通过模块，根据所述通过策略通过所述待通过路口。
11.在一个可能的实现方式中，所述根据预设的确定策略从所述第一识别结果以及第二识别结果中确定对所述待识别红绿灯的识别结果，包括：如果同时接收到第一识别结果和第二识别结果，则将所述第二识别结果设置为所述最终识别结果；或者，如果只接收到第一识别结果，则将所述第一识别结果设置为所述最终识别结果；或者，如果未接收到第一识别结果和第二识别结果，则通过所述图像识别技术判断所述
待通过路口是否设置有红绿灯，如果没有，则将所述最终识别结果设置为未知，如果有，则将所述最终识别结果设置为错误。
12.在另一个可能的实现方式中，所述根据所述最终识别结果确定对所述待通过路口的通过策略，包括：如果所述最终识别结果为第一识别结果或第二识别结果，则根据对应的交通法规通过所述待通过路口；或者，如果所述最终识别结果为未知，则根据绿灯对应的交通法律通过时偶数待通过路口；或者，如果所述最终识别结果为错误，则减速通过所述待通过路口。
13.在另一个可能的实现方式中，其特征在于，所述第一/第二识别结果获取模块，包括：夹角获取单元，用于根据获取的交通设备到待通过路口的距离、待识别红绿灯距离地面的高度、车载识别摄像头距离地面的高度获取所述车载识别摄像头与地面的夹角；区域图像获取单元，用于根据所述夹角和车载摄像头视场角相对位置参数对包含所述待识别红绿灯的待识别图像进行图像分割，获取所述待识别红绿灯的区域图像；红绿灯数据信息获取单元，用于对所述区域图像进行识别，获取所述红绿灯的数据信息，所述数据信息包括：待识别红绿灯的设置方向、待识别红绿灯的设置类型，所述设置方向包括：横向设置、竖向设置，所述设置类型包括：圆灯、方向灯。
14.第三方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如第一方面提供的通过红绿灯路口的方法。
15.第四方面，提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如第一方面提供的通过红绿灯路口的方法。
附图说明
16.为了更清楚地说明本技术实施例中的技术方案，下面将对本技术实施例描述中所需要使用的附图作简单地介绍。
17.图1为本发明一个实施例提供的通过红绿灯路口的方法的流程图；图2为本发明再一个实施例提供的通过红绿灯路口的方法的流程图；图3为本发明一个实施例提供的通过红绿灯路口的系统的结构图；图4为本发明再一个实施例提供的通过红绿灯路口的系统的结构图；图5为本发明一种电子设备的实体结构示意图；图6为本发明一个是实体提供的基于图像识别技术识别红绿灯的结构示意图。
具体实施方式
18.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的模块或具有相同或类似功能的模块。下面通过参考附图描述的实施例是示例性的，仅用于解释本技术，而不能解释为对本发明的限制。
19.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一
个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本技术的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、模块和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、模块、组件和/或它们的组。应该理解，当我们称模块被“连接”或“耦接”到另一模块时，它可以直接连接或耦接到其他模块，或者也可以存在中间模块。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一模块和全部组合。
20.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实现方式作进一步地详细描述。
21.下面以具体地实施例对本技术的技术方案以及本技术的技术方案如和解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本技术的实施例进行描述。
22.如图1所示为本发明一个实施例提供的通过红绿灯路口的方法的流程图，所述方法包括：步骤101，根据图像识别技术获取对待通过路口中的待识别红绿灯的第一识别结果，并根据车用无线通信技术v2x获取对所述待识别红绿灯的第二识别结果；步骤102，根据预设的确定策略从所述第一识别结果以及第二识别结果中确定对所述待识别红绿灯的最终识别结果；步骤103，根据所述最终识别结果确定对所述待通过路口的通过策略；步骤104，根据所述通过策略通过所述待通过路口。
23.在本发明实施例中，用于通过红绿灯路口的交通设备上设置有图像识别模块和v2x（vehicle to everything，车用无线通信技术）模块，通过图像识别技术对待通过路口中的待识别红绿灯进行图像识别，获取基于图像识别的红绿灯识别结果，即第一识别结果；同时通过v2x技术对待识别红绿灯的obu发送的红绿灯信号进行解析，获取基于红绿灯信号的红绿灯识别结果，即第二识别结果。
24.在交通设备上设置有确定策略，在同时接收到第一识别结果和第二识别结果的情况下，可以通过确定策略来确定对待识别红绿灯的最终识别结果。
25.交通设备中海设置有通过策略，该通过策略可以对识别结果中不同的情况分别进行对应处理。
26.其中，所述根据预设的确定策略从所述第一识别结果以及第二识别结果中确定对所述待识别红绿灯的识别结果，包括：如果同时接收到第一识别结果和第二识别结果，则将所述第二识别结果设置为所述最终识别结果；或者，如果只接收到第一识别结果，则将所述第一识别结果设置为所述最终识别结果；或者，如果未接收到第一识别结果和第二识别结果，则通过所述图像识别技术判断所述待通过路口是否设置有红绿灯，如果没有，则将所述最终识别结果设置为未知，如果有，则将所述最终识别结果设置为错误。
27.在本发明实施例中，基于v2x技术识别的第二识别结果是直接于红绿灯进行通信，第二识别结果更为精确和快速，因此，当接收到第二识别结果时，将第二识别结果设置为最
终识别结果。相对的，如果只接收到第一识别结果，则将第一识别结果设置为最终识别结果。而如果没有接收到第一识别结果和第二识别结果，则需要通过图像识别技术对待通过路口进行判断，判断该带通过路口是否设置有红绿灯，如果没有，则将最终识别结果设置为未知，如果有，则将最终识别结果设置为错误。
28.其中，所述根据所述最终识别结果确定对所述待通过路口的通过策略，包括：如果所述最终识别结果为第一识别结果或第二识别结果，则根据对应的交通法规通过所述待通过路口；或者，如果所述最终识别结果为未知，则根据绿灯对应的交通法律通过时偶数待通过路口；或者，如果所述最终识别结果为错误，则减速通过所述待通过路口。
29.本发明实施例，根据图像识别技术获取对待通过路口中的待识别红绿灯的第一识别结果，并根据车用无线通信技术v2x获取对所述待识别红绿灯的第二识别结果；根据预设的确定策略从所述第一识别结果以及第二识别结果中确定对所述待识别红绿灯的最终识别结果；根据所述最终识别结果确定对所述待通过路口的通过策略；根据所述通过策略通过所述待通过路口。使得在没有obu或恶劣光影天气的情况下，可以准确的识别路口中的红绿灯，较低了对红绿灯的误检率和漏检率，提高了自动驾驶的可靠性。
30.如图2所示为本发明再一个实施例提供的通过红绿灯路口的方法的流程图，所述根据图像识别技术获取对待通过路口中的待识别红绿灯的第一识别结果，包括：步骤201，根据获取的交通设备到待通过路口的距离、待识别红绿灯距离地面的高度、车载识别摄像头距离地面的高度获取所述车载识别摄像头与地面的夹角；步骤202，根据所述夹角和车载摄像头视场角相对位置参数对包含所述待识别红绿灯的待识别图像进行图像分割，获取所述待识别红绿灯的区域图像；步骤203，对所述区域图像进行识别，获取所述红绿灯的数据信息，所述数据信息包括：待识别红绿灯的设置方向、待识别红绿灯的设置类型，所述设置方向包括：横向设置、竖向设置，所述设置类型包括：圆灯、方向灯。
31.如图3所示为本发明一个实施例提供的通过红绿灯路口的系统的结构图，所述系统包括：第一/第二识别结果获取模块301，用于根据图像识别技术获取对待通过路口中的待识别红绿灯的第一识别结果，并根据车用无线通信技术v2x获取对所述待识别红绿灯的第二识别结果；最终识别结果确定模块302，用于根据预设的确定策略从所述第一识别结果以及第二识别结果中确定对所述待识别红绿灯的最终识别结果；通过策略确定模块303，用于根据所述最终识别结果确定对所述待通过路口的通过策略；路口通过模块304，根据所述通过策略通过所述待通过路口。
32.在本发明实施例中，用于通过红绿灯路口的交通设备上设置有图像识别模块和v2x（vehicle to everything，车用无线通信技术）模块，通过图像识别技术对待通过路口中的待识别红绿灯进行图像识别，获取基于图像识别的红绿灯识别结果，即第一识别结果；同时通过v2x技术对待识别红绿灯的obu发送的红绿灯信号进行解析，获取基于红绿灯信号
的红绿灯识别结果，即第二识别结果。
33.在交通设备上设置有确定策略，在同时接收到第一识别结果和第二识别结果的情况下，可以通过确定策略来确定对待识别红绿灯的最终识别结果。
34.交通设备中海设置有通过策略，该通过策略可以对识别结果中不同的情况分别进行对应处理。
35.其中，所述根据预设的确定策略从所述第一识别结果以及第二识别结果中确定对所述待识别红绿灯的识别结果，包括：如果同时接收到第一识别结果和第二识别结果，则将所述第二识别结果设置为所述最终识别结果；或者，如果只接收到第一识别结果，则将所述第一识别结果设置为所述最终识别结果；或者，如果未接收到第一识别结果和第二识别结果，则通过所述图像识别技术判断所述待通过路口是否设置有红绿灯，如果没有，则将所述最终识别结果设置为未知，如果有，则将所述最终识别结果设置为错误。
36.在本发明实施例中，基于v2x技术识别的第二识别结果是直接于红绿灯进行通信，第二识别结果更为精确和快速，因此，当接收到第二识别结果时，将第二识别结果设置为最终识别结果。相对的，如果只接收到第一识别结果，则将第一识别结果设置为最终识别结果。而如果没有接收到第一识别结果和第二识别结果，则需要通过图像识别技术对待通过路口进行判断，判断该带通过路口是否设置有红绿灯，如果没有，则将最终识别结果设置为未知，如果有，则将最终识别结果设置为错误。
37.其中，所述根据所述最终识别结果确定对所述待通过路口的通过策略，包括：如果所述最终识别结果为第一识别结果或第二识别结果，则根据对应的交通法规通过所述待通过路口；或者，如果所述最终识别结果为未知，则根据绿灯对应的交通法律通过时偶数待通过路口；或者，如果所述最终识别结果为错误，则减速通过所述待通过路口。
38.本发明实施例，根据图像识别技术获取对待通过路口中的待识别红绿灯的第一识别结果，并根据车用无线通信技术v2x获取对所述待识别红绿灯的第二识别结果；根据预设的确定策略从所述第一识别结果以及第二识别结果中确定对所述待识别红绿灯的最终识别结果；根据所述最终识别结果确定对所述待通过路口的通过策略；根据所述通过策略通过所述待通过路口。使得在没有obu或恶劣光影天气的情况下，可以准确的识别路口中的红绿灯，较低了对红绿灯的误检率和漏检率，提高了自动驾驶的可靠性。
39.如图4所示为本发明在一个实施例提供的通过红绿灯路口的系统的结构图，所述第一/第二识别结果获取模块301，包括：夹角获取单元401，用于根据获取的交通设备到待通过路口的距离、待识别红绿灯距离地面的高度、车载识别摄像头距离地面的高度获取所述车载识别摄像头与地面的夹角；区域图像获取单元402，用于根据所述夹角和车载摄像头视场角相对位置参数对包含所述待识别红绿灯的待识别图像进行图像分割，获取所述待识别红绿灯的区域图像；
红绿灯数据信息获取单元403，用于对所述区域图像进行识别，获取所述红绿灯的数据信息，所述数据信息包括：待识别红绿灯的设置方向、待识别红绿灯的设置类型，所述设置方向包括：横向设置、竖向设置，所述设置类型包括：圆灯、方向灯。
40.图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)501、通信接口(communications interface)502、存储器(memory)503和通信总线504，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信。处理器可以调用存储器中的逻辑指令，以执行通过红绿灯路口的方法，该方法包括：根据图像识别技术获取对待通过路口中的待识别红绿灯的第一识别结果，并根据车用无线通信技术v2x获取对所述待识别红绿灯的第二识别结果；根据预设的确定策略从所述第一识别结果以及第二识别结果中确定对所述待识别红绿灯的最终识别结果；根据所述最终识别结果确定对所述待通过路口的通过策略；根据所述通过策略通过所述待通过路口。
41.此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
42.另一方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的通过红绿灯路口的方法，该方法包括：根据图像识别技术获取对待通过路口中的待识别红绿灯的第一识别结果，并根据车用无线通信技术v2x获取对所述待识别红绿灯的第二识别结果；根据预设的确定策略从所述第一识别结果以及第二识别结果中确定对所述待识别红绿灯的最终识别结果；根据所述最终识别结果确定对所述待通过路口的通过策略；根据所述通过策略通过所述待通过路口。
43.又一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的通过红绿灯路口的方法，该方法包括：根据图像识别技术获取对待通过路口中的待识别红绿灯的第一识别结果，并根据车用无线通信技术v2x获取对所述待识别红绿灯的第二识别结果；根据预设的确定策略从所述第一识别结果以及第二识别结果中确定对所述待识别红绿灯的最终识别结果；根据所述最终识别结果确定对所述待通过路口的通过策略；根据所述通过策略通过所述待通过路口。
44.如图6所示为本发明实施例提供的基于图像识别技术识别红绿灯的示意图。
45.应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻
执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
46.以上所述仅是本发明的部分实现方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。