1.此处公开的技术涉及一种识别车辆、机器人等移动体的外部环境的装置，尤其涉及一种对示出事件发生时的外部环境的数据进行记录的技术。
背景技术：
：：2.专利文献1、2公开了与所谓的行车记录仪相关的技术。专利文献1公开了一种车载用动态图像数据记录装置。在该构成方式中，在常规行驶时，以常规画质记录摄像头所拍摄到的动态图像数据，另一方面，在事故即将发生前和刚刚发生后，以高画质记录动态图像数据。专利文献2公开了对从车辆的周边收集的多媒体数据进行保存的装置所使用的fat(fileallocationtable：文件分配表)文件系统。3.专利文献1：日本公开专利公报特开2013－80518号公报4.专利文献2：日本公开专利公报特表2017－503300号公报技术实现要素：5.‑发明要解决的技术问题‑6.例如，在车辆的自动驾驶系统中，一般设置有如下装置：该装置由设置于车辆的摄像头取得呈现车辆周边的状况的影像数据，基于所取得的影像数据，识别车辆的外部环境。除车辆以外，例如在机器人等那样的自主移动体上也设置有根据设置于移动体的摄像头的输出来识别外部环境的装置。7.在这样的装置中，能够通过在事件发生时记录影像数据来实现作为行车记录仪的功能。然而，单是长时间记录大量的摄像头的影像数据就需要大容量的记录介质，从而并不理想。8.此处公开的技术是鉴于这一点而完成的，其目的在于在移动体外部环境识别装置中通过简单的构成来实现对事件发生时的外部环境的验证。9.－用以解决技术问题的技术方案－10.具体而言，此处公开的技术涉及一种识别移动体的外部环境的装置，其包括图像处理部、识别处理部、控制部以及记录装置，所述图像处理部对设置于所述移动体的摄像头的输出执行图像处理，生成呈现所述移动体的外部环境的影像数据；所述识别处理部使用由所述图像处理部生成的影像数据，进行识别所述移动体的外部环境的处理；所述控制部使用所述识别处理部的处理结果，生成示出所述移动体的周围的物标的物标数据；所述记录装置与所述控制部连结设置，所述记录装置构成为能够记录所述物标数据，所述控制部在发生了规定的事件时，将所生成的物标数据记录于所述记录装置。11.根据该构成方式，在移动体外部环境识别装置中，生成呈现该移动体的外部环境的影像数据，使用该影像数据，生成示出该移动体的周围的物标的物标数据。此处，“物标”是指包括移动物体、固定物、环境等在内的可能存在于移动体的周围的对象物，“物标数据”是指：对物标赋予位置、种类、如果是移动物体则还赋予移动速度等信息并舍掉其他具体的信息后进行了抽象化而成的数据。在发生了规定的事件时，控制部将所生成的物标数据记录于与控制部连结设置的记录装置中。由此而能够根据记录于记录装置的物标数据来验证事件发生时的移动体的外部环境。而且，与影像数据相比，物标数据的数据量极少，因此能够减少为了事件验证而记录数据的记录装置的存储容量。12.而且，可以是这样的，所述移动体外部环境识别装置包括生成时刻信息的时刻信息生成部，所述时刻信息生成部将所生成的时刻信息赋予给在所述记录装置中记录的物标数据。13.根据该构成方式，因为对所记录的物标数据赋予时刻信息，所以能够提高事件发生时的验证的可靠性。14.进而，可以是这样的，所述时刻信息生成部同步于设置于所述移动体的致动器的控制时钟，生成所述时刻信息。15.根据该构成方式，对所记录的物标数据赋予的时刻信息是与致动器的控制时钟同步生成的，因此能够进一步提高事件发生时的验证的可靠性。16.另外，可以是这样的，所述控制部将从设置于所述移动体的传感器接收到的传感器信号和从所述移动体的外部接收到的gps数据中的至少一者与所述物标数据一起记录于所述记录装置。17.根据该构成方式，因为将传感器信号、gps数据与物标数据一起记录，所以能够提高事件发生时的验证的可靠性。18.－发明的效果－19.根据本公开，能够利用与影像数据相比数据量极少的物标数据来验证事件发生时的移动体的外部环境。因此，能够以简单的构成来实施事件验证。附图说明20.图1是实施方式的移动体外部环境识别装置的系统构成例。21.图2(a)是影像数据的例子，(b)是3d地图的例子，(c)是2d地图的例子。22.图3是图1的装置的事件发生时的动作例。23.图4是图1的装置的事件发生时的动作例。具体实施方式24.图1是示出实施方式的车辆行驶控制装置的系统构成的一例的框图。图1的车辆行驶控制装置1将与车辆相关的各种信号、数据作为输入，基于这些信号、数据，利用例如通过深度学习而生成的学习完毕模型，执行运算处理，生成车辆的行驶路径。图1的车辆行驶控制装置1是本公开的移动体外部环境识别装置的一例。25.图1的车辆行驶控制装置1包括图像处理部10、ai(人工智能)加速器20以及控制部30。图像处理部10包括输入端口11、处理器12和存储器(memory)13，所述输入端口11接受设置于车辆的摄像头的输出；所述处理器12对摄像头输出实施规定的图像处理；所述存储器13存储由处理器12生成的图像信号等。图像处理部10根据设置于车辆的摄像头的输出而生成呈现车辆的外部环境的影像数据。此处，四台摄像头a～d设置于车辆。摄像头a设置于车辆前部，拍摄车辆前方。摄像头b设置于车辆后部，拍摄车辆后方。摄像头c、d分别设置于车辆两个侧部，拍摄车辆侧方。由图像处理部10生成的影像数据经由例如pciexpress传送至ai加速器20。另外，所生成的影像数据暂时储存于存储器13。在存储器13中，常时写入影像数据，从旧数据起依次废弃，用最新的数据覆盖。26.ai加速器20利用例如通过深度学习而生成的学习完毕模型，对从图像处理部10传送过来的影像数据，执行运算处理。ai加速器20生成例如示出车辆的外部环境的3d(三维)地图。在3d地图中，例如，示出存在于车辆周围的其他车辆、自行车、行人等移动物体、交通信号灯、标志牌等固定物、道路形状、白线等。车辆、自行车、行人、交通信号灯、标志牌、道路形状、白线是移动体为车辆的情况下的物标的例子。所生成的3d地图的数据经由例如pciexpress传送至控制部30。ai加速器20是实施对车辆的外部环境进行识别的处理的识别处理部的一例。27.控制部30包括处理器31和存储器(memory)32。控制部30被输入从设置于车辆的雷达、车速传感器等传感器类5输出的信号和从gps(globalpositioningsystem：全球定位系统)6发送的gps数据。控制部30基于从ai加速器20传送来的3d地图数据，生成2d(二维)地图。控制部30基于所生成的2d地图，生成该车辆的行驶路径。然后，针对所生成的行驶路径决定该车辆的目标运动，计算用于实现所决定的目标运动的驱动力、制动力以及转向角。另外，所生成的2d地图数据至少在至行驶路径生成为止的期间，暂时存储于存储器32。在存储器32中，常时写入2d地图数据，从旧数据起依次废弃，用最新的数据覆盖。28.图2是示出图1的行驶路径控制装置1所生成的数据的例子的概念图，(a)是图像处理部10所生成的影像数据的例子，(b)是ai加速器20所生成的3d地图的例子，(c)是控制部30所生成的2d地图的例子。图2(a)的影像数据是根据设置于车辆前部的摄像头a的输出而生成的影像数据，其呈现在车道50上行驶的车辆61、62、63。在图2(b)的3d地图中，被赋予了包括车道50和车辆61、62、63在内的、各图像区域的属性数据。在图2(c)的2d地图中，示出在车道50上行驶的车辆61、62、63以及本车辆100。关于车辆61、62、63，标注相对于本车辆100的方位和距离、种类也就是车辆、以及移动速度的信息。需要说明的是，相对于影像数据，2d地图数据的数据量极少。2d地图数据是示出车辆周围的物标的物标数据的一例。29.图1的车辆行驶控制装置1还包括存储器(记录装置)15、35和时间戳生成部40。存储器(storage)15与图像处理部10连结设置，存储器15构成为能够记录由图像处理部10生成的影像数据。图像处理部10的处理器12接受来自控制部30的指示，将储存于存储器13的影像数据储存于存储器15。存储器35与控制部30连结设置，存储器35构成为能够记录由控制部30生成的2d地图数据。控制部30的处理器31在发生了规定的事件时，将储存于存储器32的2d地图数据储存于存储器35。存储器15、35例如由硬盘、闪存等构成。30.时间戳生成部40接受来自控制部30的指示，生成时间戳。这里的时间戳是示出数据制成的时刻的时刻信息的一例。时间戳生成部40例如与控制设置于车辆的致动器时所使用的时钟同步，生成时间戳。所生成的时间戳被赋予至储存于存储器15中的影像数据、储存于存储器35中的2d地图。31.此处，规定的事件是例如检测出其他车辆相对于该车辆靠近、实施紧急制动、碰撞等。规定的事件的发生是例如根据设置于该车辆的传感器类5，例如雷达、碰撞传感器、制动检测传感器等的输出进行检测的。或者，也有由控制部30在生成行驶路径的处理中检测事件的发生的情况。或者，还有根据设置于路肩、十字路口等车外的传感器的输出而检测事件的发生的情况。另外，还有通过与其他车辆的通信而检测事件的发生的情况。32.图像处理部10、ai加速器20以及控制部30例如分别由独立的半导体芯片实现。但是，也可以是图像处理部10、ai加速器20以及控制部30中的二个以上的部分由单个芯片实现。例如，也可以将图像处理部10和ai加速器20由用于识别处理的单个半导体芯片实现。另外，时间戳生成部40也可以设置于控制部内，实现为控制部30的功能的一部分。或者，时间戳生成部40也可以相对于控制部30独立设置。另外，存储器15、35可以设置为单独的硬件，还可以在共用的硬件中划分记录区域来实现。33.下面对在图1的车辆行驶控制装置1中发生了规定的事件时的动作例进行说明。34.＜动作例1＞35.图3是示出本实施方式的车辆行驶控制装置1中的事件发生时的动作例的流程图。如图3所示，若发生规定的事件，则控制部30将所生成的2d地图数据储存于存储器35(s11)。具体而言，控制部30将为了生成路径而暂时保存于存储器32的2d地图数据输出至存储器35。由此而能够从比事件的发生稍前的时机起记录2d地图数据。而且，时间戳生成部40接受来自控制部30的指示，生成时间戳。所生成的时间戳被赋予保存于存储器35中的2d地图数据(s12)。36.从事件发生到经过规定时间为止，反复执行2d地图数据的记录和时间戳的赋予(s13)。其结果是，能够将规定的事件的发生前后的2d地图数据与时间戳一起记录在存储器35中。37.需要说明的是，在该动作例1中，由于不实施对由图像处理部10生成的影像数据的记录，因此也可以从装置构成中省略存储器15。38.＜动作例2＞39.图4是示出本实施方式的车辆行驶控制装置1中的事件发生时的其他动作例的流程图。如图4所示，若发生规定的事件，则控制部30将所生成的2d地图数据储存于存储器35。并且此时，控制部30将从传感器类5接收到的传感器信号、从gps6接收到的gps数据与2d地图数据一起保存于存储器35(s21)。时间戳生成部40接受来自控制部30的指示，生成时间戳。所生成的时间戳被赋予给保存于存储器35中的2d地图数据、传感器信号以及gps数据(s22)。40.另外，控制部30对图像处理部10指示记录与记录于存储器35中的2d地图数据相对应的影像数据。此时，控制部30指定影像数据中的成为记录对象的部分(s23)。即，在该动作例2中，从影像数据切出与验证所需的重要信息相关的部分，并记录于存储器15中。与重要信息相关的部分例如是呈现其他车辆、行人、自行车等的部分或者呈现交通信号灯、标志牌的部分等。决定影像数据的记录部分时，例如参照由ai加速器20生成的3d地图数据实施即可。例如，在记录呈现其他车辆的部分的情况下，根据3d地图数据确定其他车辆所占据的区域，将影像数据中与该确定了的区域相对应的坐标的范围决定为记录部分。41.图像处理部10接受来自控制部30的指示，将所生成的影像数据保存于存储器15(s24)。具体而言，图像处理部10将暂时保存于存储器13的影像数据中的被从控制部30指定的部分保存于存储器15。由此而能够从比事件的发生稍前的时机起记录影像数据。时间戳生成部40接受来自控制部30的指示，将与对记录于存储器35中的2d地图数据赋予的时间戳相同的时间戳赋予记录于存储器15中的影像数据(s25)。42.从事件发生到经过规定时间为止，反复执行2d地图数据、传感器信号、gps数据以及影像数据的记录和时间戳的赋予(s26)。其结果是，规定的事件的发生前后的2d地图数据、传感器信号、gps数据以及影像数据与时间戳一起记录于存储器15、35。43.需要说明的是，在动作例2中，也可以仅将传感器信号和gps数据中的任一者与2d地图数据一起进行记录。44.根据本实施方式，在车辆行驶控制装置1中，生成呈现车辆的外部环境的影像数据，使用该影像数据，生成示出车辆的外部环境的2d地图数据。在发生了规定的事件时，控制部30将所生成的2d地图数据记录于与控制部30连结设置的存储器35。由此而能够根据记录于存储器35中的2d地图数据验证事件发生时的车辆的外部环境。而且，与影像数据相比，2d地图数据的数据量极少，因此能够减少为了事件验证而记录数据的存储器35的存储容量。45.(其他动作例)46.在动作例1中，对记录于存储器35中的2d地图数据赋予时间戳，在动作例2中，对记录于存储器15中的影像数据、以及记录于存储器35中的2d地图数据、传感器信号及gps数据赋予了时间戳。但是，也可以不对记录于存储器15、35中的数据赋予时间戳。在该情况下，也可以省略时间戳生成部40。47.另外，在动作例2中，从影像数据切出其一部分，并记录于存储器15中，但并不限于此，也可以记录整个影像数据。在该情况下，不需要指定影像数据中的成为记录对象的部分的动作。但是，通过记录影像数据的一部分，能够减少存储器15的记录容量。48.另外，不是一定要记录设置于车辆的全部摄像头的影像数据，也可以由控制部30指定成为记录对象的摄像头。例如，可以仅记录呈现车辆前方的摄像头a的影像数据，还可以仅记录呈现车辆前方的摄像头a和呈现车辆后方的摄像头b的影像数据。即，控制部30也可以在对图像处理部10指示记录影像数据时，指定多个摄像头中成为记录对象的摄像头，由图像处理部10将控制部30所指定的摄像头的影像数据记录于存储器15。由此而能够减少存储器15的记录容量。49.另外，也可以根据所发生的事件的内容，选择记录影像数据的摄像头。例如，可以是设定为：当有在车辆前方靠近的物体时，记录呈现车辆前方的摄像头a的影像数据，当有从车辆后方靠近的物体时，记录呈现车辆后方的摄像头b的影像数据。另外，还可以根据所发生的事件的内容，对从影像数据切出的部分进行切换。50.另外，在动作例2中，可以改变保存2d地图数据的期间和保存影像数据的期间。例如，可以是：仅记录事件发生时的重要期间(例如前后3秒)的影像数据，在该期间之前的期间、在该期间之后的期间都不记录影像数据，而仅记录2d地图数据。即，可以使记录于存储器15中的影像数据的时间范围比记录于存储器35中的2d地图数据的时间范围短。由此而能够减少存储器15的记录容量。51.(其他实施方式)52.在上述实施方式中，以生成车辆的行驶路径的车辆行驶控制装置1为例进行了说明，但本公开并不局限于进行行驶控制的装置。例如，只要是根据摄像头输出而生成影像数据、根据影像数据生成2d地图数据的装置即可。在该情况下，也可以是：其他装置用使用所生成的2d地图数据进行车辆的行驶控制。53.另外，在上述实施方式中，2d地图数据是示出车辆周围的物标的物标数据的一例，也可以记录2d地图数据以外的物标数据。例如，可以在事件发生时记录由ai加速器20生成的3d地图数据。54.另外，在上述实施方式中，应用于车辆，但本公开也能够应用于车辆以外的移动体，例如机器人、飞机、船舶等。例如，移动体为机器人的情况下，存在于机器人的周围的人、宠物、家具、墙壁、门、地板、窗等都是物标的例子。55.－附图标记说明－56.1车辆行驶控制装置(移动体外部环境识别装置)57.10图像处理部58.15存储器(记录装置)59.20ai加速器(识别处理部)60.30控制部61.35存储器(记录装置)62.40时间戳生成部(时刻信息生成部)当前第1页12当前第1页12
背景技术：
：：2.专利文献1、2公开了与所谓的行车记录仪相关的技术。专利文献1公开了一种车载用动态图像数据记录装置。在该构成方式中，在常规行驶时，以常规画质记录摄像头所拍摄到的动态图像数据，另一方面，在事故即将发生前和刚刚发生后，以高画质记录动态图像数据。专利文献2公开了对从车辆的周边收集的多媒体数据进行保存的装置所使用的fat(fileallocationtable：文件分配表)文件系统。3.专利文献1：日本公开专利公报特开2013－80518号公报4.专利文献2：日本公开专利公报特表2017－503300号公报技术实现要素：5.‑发明要解决的技术问题‑6.例如，在车辆的自动驾驶系统中，一般设置有如下装置：该装置由设置于车辆的摄像头取得呈现车辆周边的状况的影像数据，基于所取得的影像数据，识别车辆的外部环境。除车辆以外，例如在机器人等那样的自主移动体上也设置有根据设置于移动体的摄像头的输出来识别外部环境的装置。7.在这样的装置中，能够通过在事件发生时记录影像数据来实现作为行车记录仪的功能。然而，单是长时间记录大量的摄像头的影像数据就需要大容量的记录介质，从而并不理想。8.此处公开的技术是鉴于这一点而完成的，其目的在于在移动体外部环境识别装置中通过简单的构成来实现对事件发生时的外部环境的验证。9.－用以解决技术问题的技术方案－10.具体而言，此处公开的技术涉及一种识别移动体的外部环境的装置，其包括图像处理部、识别处理部、控制部以及记录装置，所述图像处理部对设置于所述移动体的摄像头的输出执行图像处理，生成呈现所述移动体的外部环境的影像数据；所述识别处理部使用由所述图像处理部生成的影像数据，进行识别所述移动体的外部环境的处理；所述控制部使用所述识别处理部的处理结果，生成示出所述移动体的周围的物标的物标数据；所述记录装置与所述控制部连结设置，所述记录装置构成为能够记录所述物标数据，所述控制部在发生了规定的事件时，将所生成的物标数据记录于所述记录装置。11.根据该构成方式，在移动体外部环境识别装置中，生成呈现该移动体的外部环境的影像数据，使用该影像数据，生成示出该移动体的周围的物标的物标数据。此处，“物标”是指包括移动物体、固定物、环境等在内的可能存在于移动体的周围的对象物，“物标数据”是指：对物标赋予位置、种类、如果是移动物体则还赋予移动速度等信息并舍掉其他具体的信息后进行了抽象化而成的数据。在发生了规定的事件时，控制部将所生成的物标数据记录于与控制部连结设置的记录装置中。由此而能够根据记录于记录装置的物标数据来验证事件发生时的移动体的外部环境。而且，与影像数据相比，物标数据的数据量极少，因此能够减少为了事件验证而记录数据的记录装置的存储容量。12.而且，可以是这样的，所述移动体外部环境识别装置包括生成时刻信息的时刻信息生成部，所述时刻信息生成部将所生成的时刻信息赋予给在所述记录装置中记录的物标数据。13.根据该构成方式，因为对所记录的物标数据赋予时刻信息，所以能够提高事件发生时的验证的可靠性。14.进而，可以是这样的，所述时刻信息生成部同步于设置于所述移动体的致动器的控制时钟，生成所述时刻信息。15.根据该构成方式，对所记录的物标数据赋予的时刻信息是与致动器的控制时钟同步生成的，因此能够进一步提高事件发生时的验证的可靠性。16.另外，可以是这样的，所述控制部将从设置于所述移动体的传感器接收到的传感器信号和从所述移动体的外部接收到的gps数据中的至少一者与所述物标数据一起记录于所述记录装置。17.根据该构成方式，因为将传感器信号、gps数据与物标数据一起记录，所以能够提高事件发生时的验证的可靠性。18.－发明的效果－19.根据本公开，能够利用与影像数据相比数据量极少的物标数据来验证事件发生时的移动体的外部环境。因此，能够以简单的构成来实施事件验证。附图说明20.图1是实施方式的移动体外部环境识别装置的系统构成例。21.图2(a)是影像数据的例子，(b)是3d地图的例子，(c)是2d地图的例子。22.图3是图1的装置的事件发生时的动作例。23.图4是图1的装置的事件发生时的动作例。具体实施方式24.图1是示出实施方式的车辆行驶控制装置的系统构成的一例的框图。图1的车辆行驶控制装置1将与车辆相关的各种信号、数据作为输入，基于这些信号、数据，利用例如通过深度学习而生成的学习完毕模型，执行运算处理，生成车辆的行驶路径。图1的车辆行驶控制装置1是本公开的移动体外部环境识别装置的一例。25.图1的车辆行驶控制装置1包括图像处理部10、ai(人工智能)加速器20以及控制部30。图像处理部10包括输入端口11、处理器12和存储器(memory)13，所述输入端口11接受设置于车辆的摄像头的输出；所述处理器12对摄像头输出实施规定的图像处理；所述存储器13存储由处理器12生成的图像信号等。图像处理部10根据设置于车辆的摄像头的输出而生成呈现车辆的外部环境的影像数据。此处，四台摄像头a～d设置于车辆。摄像头a设置于车辆前部，拍摄车辆前方。摄像头b设置于车辆后部，拍摄车辆后方。摄像头c、d分别设置于车辆两个侧部，拍摄车辆侧方。由图像处理部10生成的影像数据经由例如pciexpress传送至ai加速器20。另外，所生成的影像数据暂时储存于存储器13。在存储器13中，常时写入影像数据，从旧数据起依次废弃，用最新的数据覆盖。26.ai加速器20利用例如通过深度学习而生成的学习完毕模型，对从图像处理部10传送过来的影像数据，执行运算处理。ai加速器20生成例如示出车辆的外部环境的3d(三维)地图。在3d地图中，例如，示出存在于车辆周围的其他车辆、自行车、行人等移动物体、交通信号灯、标志牌等固定物、道路形状、白线等。车辆、自行车、行人、交通信号灯、标志牌、道路形状、白线是移动体为车辆的情况下的物标的例子。所生成的3d地图的数据经由例如pciexpress传送至控制部30。ai加速器20是实施对车辆的外部环境进行识别的处理的识别处理部的一例。27.控制部30包括处理器31和存储器(memory)32。控制部30被输入从设置于车辆的雷达、车速传感器等传感器类5输出的信号和从gps(globalpositioningsystem：全球定位系统)6发送的gps数据。控制部30基于从ai加速器20传送来的3d地图数据，生成2d(二维)地图。控制部30基于所生成的2d地图，生成该车辆的行驶路径。然后，针对所生成的行驶路径决定该车辆的目标运动，计算用于实现所决定的目标运动的驱动力、制动力以及转向角。另外，所生成的2d地图数据至少在至行驶路径生成为止的期间，暂时存储于存储器32。在存储器32中，常时写入2d地图数据，从旧数据起依次废弃，用最新的数据覆盖。28.图2是示出图1的行驶路径控制装置1所生成的数据的例子的概念图，(a)是图像处理部10所生成的影像数据的例子，(b)是ai加速器20所生成的3d地图的例子，(c)是控制部30所生成的2d地图的例子。图2(a)的影像数据是根据设置于车辆前部的摄像头a的输出而生成的影像数据，其呈现在车道50上行驶的车辆61、62、63。在图2(b)的3d地图中，被赋予了包括车道50和车辆61、62、63在内的、各图像区域的属性数据。在图2(c)的2d地图中，示出在车道50上行驶的车辆61、62、63以及本车辆100。关于车辆61、62、63，标注相对于本车辆100的方位和距离、种类也就是车辆、以及移动速度的信息。需要说明的是，相对于影像数据，2d地图数据的数据量极少。2d地图数据是示出车辆周围的物标的物标数据的一例。29.图1的车辆行驶控制装置1还包括存储器(记录装置)15、35和时间戳生成部40。存储器(storage)15与图像处理部10连结设置，存储器15构成为能够记录由图像处理部10生成的影像数据。图像处理部10的处理器12接受来自控制部30的指示，将储存于存储器13的影像数据储存于存储器15。存储器35与控制部30连结设置，存储器35构成为能够记录由控制部30生成的2d地图数据。控制部30的处理器31在发生了规定的事件时，将储存于存储器32的2d地图数据储存于存储器35。存储器15、35例如由硬盘、闪存等构成。30.时间戳生成部40接受来自控制部30的指示，生成时间戳。这里的时间戳是示出数据制成的时刻的时刻信息的一例。时间戳生成部40例如与控制设置于车辆的致动器时所使用的时钟同步，生成时间戳。所生成的时间戳被赋予至储存于存储器15中的影像数据、储存于存储器35中的2d地图。31.此处，规定的事件是例如检测出其他车辆相对于该车辆靠近、实施紧急制动、碰撞等。规定的事件的发生是例如根据设置于该车辆的传感器类5，例如雷达、碰撞传感器、制动检测传感器等的输出进行检测的。或者，也有由控制部30在生成行驶路径的处理中检测事件的发生的情况。或者，还有根据设置于路肩、十字路口等车外的传感器的输出而检测事件的发生的情况。另外，还有通过与其他车辆的通信而检测事件的发生的情况。32.图像处理部10、ai加速器20以及控制部30例如分别由独立的半导体芯片实现。但是，也可以是图像处理部10、ai加速器20以及控制部30中的二个以上的部分由单个芯片实现。例如，也可以将图像处理部10和ai加速器20由用于识别处理的单个半导体芯片实现。另外，时间戳生成部40也可以设置于控制部内，实现为控制部30的功能的一部分。或者，时间戳生成部40也可以相对于控制部30独立设置。另外，存储器15、35可以设置为单独的硬件，还可以在共用的硬件中划分记录区域来实现。33.下面对在图1的车辆行驶控制装置1中发生了规定的事件时的动作例进行说明。34.＜动作例1＞35.图3是示出本实施方式的车辆行驶控制装置1中的事件发生时的动作例的流程图。如图3所示，若发生规定的事件，则控制部30将所生成的2d地图数据储存于存储器35(s11)。具体而言，控制部30将为了生成路径而暂时保存于存储器32的2d地图数据输出至存储器35。由此而能够从比事件的发生稍前的时机起记录2d地图数据。而且，时间戳生成部40接受来自控制部30的指示，生成时间戳。所生成的时间戳被赋予保存于存储器35中的2d地图数据(s12)。36.从事件发生到经过规定时间为止，反复执行2d地图数据的记录和时间戳的赋予(s13)。其结果是，能够将规定的事件的发生前后的2d地图数据与时间戳一起记录在存储器35中。37.需要说明的是，在该动作例1中，由于不实施对由图像处理部10生成的影像数据的记录，因此也可以从装置构成中省略存储器15。38.＜动作例2＞39.图4是示出本实施方式的车辆行驶控制装置1中的事件发生时的其他动作例的流程图。如图4所示，若发生规定的事件，则控制部30将所生成的2d地图数据储存于存储器35。并且此时，控制部30将从传感器类5接收到的传感器信号、从gps6接收到的gps数据与2d地图数据一起保存于存储器35(s21)。时间戳生成部40接受来自控制部30的指示，生成时间戳。所生成的时间戳被赋予给保存于存储器35中的2d地图数据、传感器信号以及gps数据(s22)。40.另外，控制部30对图像处理部10指示记录与记录于存储器35中的2d地图数据相对应的影像数据。此时，控制部30指定影像数据中的成为记录对象的部分(s23)。即，在该动作例2中，从影像数据切出与验证所需的重要信息相关的部分，并记录于存储器15中。与重要信息相关的部分例如是呈现其他车辆、行人、自行车等的部分或者呈现交通信号灯、标志牌的部分等。决定影像数据的记录部分时，例如参照由ai加速器20生成的3d地图数据实施即可。例如，在记录呈现其他车辆的部分的情况下，根据3d地图数据确定其他车辆所占据的区域，将影像数据中与该确定了的区域相对应的坐标的范围决定为记录部分。41.图像处理部10接受来自控制部30的指示，将所生成的影像数据保存于存储器15(s24)。具体而言，图像处理部10将暂时保存于存储器13的影像数据中的被从控制部30指定的部分保存于存储器15。由此而能够从比事件的发生稍前的时机起记录影像数据。时间戳生成部40接受来自控制部30的指示，将与对记录于存储器35中的2d地图数据赋予的时间戳相同的时间戳赋予记录于存储器15中的影像数据(s25)。42.从事件发生到经过规定时间为止，反复执行2d地图数据、传感器信号、gps数据以及影像数据的记录和时间戳的赋予(s26)。其结果是，规定的事件的发生前后的2d地图数据、传感器信号、gps数据以及影像数据与时间戳一起记录于存储器15、35。43.需要说明的是，在动作例2中，也可以仅将传感器信号和gps数据中的任一者与2d地图数据一起进行记录。44.根据本实施方式，在车辆行驶控制装置1中，生成呈现车辆的外部环境的影像数据，使用该影像数据，生成示出车辆的外部环境的2d地图数据。在发生了规定的事件时，控制部30将所生成的2d地图数据记录于与控制部30连结设置的存储器35。由此而能够根据记录于存储器35中的2d地图数据验证事件发生时的车辆的外部环境。而且，与影像数据相比，2d地图数据的数据量极少，因此能够减少为了事件验证而记录数据的存储器35的存储容量。45.(其他动作例)46.在动作例1中，对记录于存储器35中的2d地图数据赋予时间戳，在动作例2中，对记录于存储器15中的影像数据、以及记录于存储器35中的2d地图数据、传感器信号及gps数据赋予了时间戳。但是，也可以不对记录于存储器15、35中的数据赋予时间戳。在该情况下，也可以省略时间戳生成部40。47.另外，在动作例2中，从影像数据切出其一部分，并记录于存储器15中，但并不限于此，也可以记录整个影像数据。在该情况下，不需要指定影像数据中的成为记录对象的部分的动作。但是，通过记录影像数据的一部分，能够减少存储器15的记录容量。48.另外，不是一定要记录设置于车辆的全部摄像头的影像数据，也可以由控制部30指定成为记录对象的摄像头。例如，可以仅记录呈现车辆前方的摄像头a的影像数据，还可以仅记录呈现车辆前方的摄像头a和呈现车辆后方的摄像头b的影像数据。即，控制部30也可以在对图像处理部10指示记录影像数据时，指定多个摄像头中成为记录对象的摄像头，由图像处理部10将控制部30所指定的摄像头的影像数据记录于存储器15。由此而能够减少存储器15的记录容量。49.另外，也可以根据所发生的事件的内容，选择记录影像数据的摄像头。例如，可以是设定为：当有在车辆前方靠近的物体时，记录呈现车辆前方的摄像头a的影像数据，当有从车辆后方靠近的物体时，记录呈现车辆后方的摄像头b的影像数据。另外，还可以根据所发生的事件的内容，对从影像数据切出的部分进行切换。50.另外，在动作例2中，可以改变保存2d地图数据的期间和保存影像数据的期间。例如，可以是：仅记录事件发生时的重要期间(例如前后3秒)的影像数据，在该期间之前的期间、在该期间之后的期间都不记录影像数据，而仅记录2d地图数据。即，可以使记录于存储器15中的影像数据的时间范围比记录于存储器35中的2d地图数据的时间范围短。由此而能够减少存储器15的记录容量。51.(其他实施方式)52.在上述实施方式中，以生成车辆的行驶路径的车辆行驶控制装置1为例进行了说明，但本公开并不局限于进行行驶控制的装置。例如，只要是根据摄像头输出而生成影像数据、根据影像数据生成2d地图数据的装置即可。在该情况下，也可以是：其他装置用使用所生成的2d地图数据进行车辆的行驶控制。53.另外，在上述实施方式中，2d地图数据是示出车辆周围的物标的物标数据的一例，也可以记录2d地图数据以外的物标数据。例如，可以在事件发生时记录由ai加速器20生成的3d地图数据。54.另外，在上述实施方式中，应用于车辆，但本公开也能够应用于车辆以外的移动体，例如机器人、飞机、船舶等。例如，移动体为机器人的情况下，存在于机器人的周围的人、宠物、家具、墙壁、门、地板、窗等都是物标的例子。55.－附图标记说明－56.1车辆行驶控制装置(移动体外部环境识别装置)57.10图像处理部58.15存储器(记录装置)59.20ai加速器(识别处理部)60.30控制部61.35存储器(记录装置)62.40时间戳生成部(时刻信息生成部)当前第1页12当前第1页12
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
