障碍物检出系统、农用作业车辆、障碍物检出程序、存储障碍物检出程序的存储介质、障碍物检出方法与流程

1.本发明涉及用于在田地中行驶并进行田地作业的农用作业车辆的障碍物检出系统。


背景技术：

2.在专利文献1中，已经公开一种收割机，该收割机具有利用由在机体配置的相机获取的拍摄图像、对田地中障碍物存在的存在区域进行推断的图像识别模块。该图像识别模块使用采用深层学习的神经网络技术来构筑。
3.现有技术文献
4.专利文献
5.专利文献1：(日本)特开2019
‑
004772号公报


技术实现要素：

6.发明所要解决的技术问题
7.在专利文献1中的障碍物检出中，将拍摄图像作为输入图像，利用采用深层学习的神经网络，进行障碍物的检出。在上述的神经网络中，利用将行驶前方作为拍摄视野的较大图像尺寸的拍摄图像作为输入图像。因此，远离相机的障碍物成为较小的拍照对象，用于障碍物检出的运算次数增多，为了在短时间内检出障碍物，需要价格昂贵的高性能运算单元。
8.因此，期待用于农用作业车辆的、性价比较高的障碍物检出系统。
9.用于解决技术问题的技术方案
10.本发明的用于农用作业车辆的障碍物检出系统具有：障碍物传感器，其对田地的障碍物进行检出；障碍物推断部，其基于来自所述障碍物传感器的检出信号，推断田地中障碍物的存在区域，输出障碍物存在区域信息；拍摄部，其对所述田地进行拍摄，并输出拍摄图像；图像预处理部，其生成通过基于所述障碍物存在区域信息与所述拍摄部的拍摄视角角度信息、包括所述障碍物的存在区域地修剪所述拍摄图像而得到的修剪图像；障碍物检测单元，其输入所述修剪图像作为输入图像，并输出包括所述障碍物的检测结果的障碍物检测信息。
11.该障碍物检出系统具有：检出田地的障碍物的障碍物传感器、以及利用拍摄图像检测障碍物的障碍物检测单元。当由障碍物传感器检出障碍物时，输出表示该障碍物的存在区域的障碍物存在区域信息。图像预处理部利用障碍物存在区域信息，确定来自拍摄部的拍摄图像中的障碍物存在区域，包括该障碍物存在区域地修剪拍摄图像。通过修剪得到的修剪图像不论是否包括障碍物(反射体)，都成为图像尺寸比原始的拍摄图像缩小的图像(像素数减少的图像)。因为该修剪图像被利用为障碍物检测单元的输入图像，所以，障碍物检测单元的运算负担、例如图像识别处理的运算负担减轻。由此，能够提高障碍物检测单元的性价比。
12.在由障碍物检测单元检出的障碍物位于农用作业车辆的行驶前方的情况下，农用作业车辆需要避开障碍物。或者即使在该障碍物未位于农用作业车辆的行驶前方的情况下，也存在障碍物接近农用作业车辆的可能性。据此，在本发明优选的一个实施方式中，基于从所述障碍物检测单元输出的所述障碍物检测信息，将所述农用作业车辆的行驶控制变更为障碍物避开控制。该障碍物避开控制优选包括农用作业车辆的减速、停止、或转弯等。
13.在本发明优选的一个实施方式中，所述障碍物传感器是使用超声波束、光束或电磁波束的扫描式传感器，构成为根据发射束由反射体反射而返回的反射束，输出所述检出信号，所述障碍物推断部构成为根据所述检出信号，将所述反射体视为所述障碍物，算出所述障碍物的三维位置，并输出包括所述三维位置的所述障碍物存在区域信息。上述扫描式传感器可以大范围、且短周期地搜索农用作业车辆的周围，也可以根据该发射束的返回时间算出与障碍物的距离。因此，障碍物推断部基于来自上述扫描式障碍物传感器的检出信号，算出障碍物的三维位置，作为障碍物存在区域信息而输出。图像预处理部可以基于障碍物的三维位置、以及对拍摄图像进行拍摄的拍摄部的拍摄视角角度信息，准确地算出拍摄图像的障碍物的位置，并且由该拍摄图像生成抽出了包括障碍物的区域的修剪图像。
14.作为将拍摄图像进行预处理而得到的图像作为输入图像的障碍物检测单元，以往已知一种使用了图形匹配的图像识别单元。此外，近年来，已知一种通过使用进行了机器学习的神经网络，也准确区分障碍物的种类(人和动物等)的障碍物检测单元。为了构筑该进行了机器学习的神经网络，需要高性能的运算单元，但通过将适当地进行了修剪的修剪图像作为输入图像，利用通用的运算单元也能够输出良好的推断结果。据此，在本发明优选的一个实施方式中，所述障碍物检测单元作为进行了机器学习的神经网络而构成，基于所述输入图像而输出的所述障碍物检测信息包括所述障碍物的种类。
15.本发明也可以应用在搭载了上述障碍物检出系统的农用作业车辆中。上述农用作业车辆具有：障碍物传感器，其检出所述农用作业车辆周边的障碍物；障碍物推断部，其基于来自所述障碍物传感器的检出信号，推断所述障碍物的存在区域，输出障碍物存在区域信息；拍摄部，其对所述农用作业车辆的周边进行拍摄，并输出拍摄图像；图像预处理部，其生成通过基于所述障碍物存在区域信息与所述拍摄部的拍摄视角角度信息、包括所述障碍物的所述存在区域地修剪所述拍摄图像而得到的修剪图像；障碍物检测单元，其输入所述修剪图像作为输入图像，并输出包括所述障碍物的检测结果的障碍物检测信息。
16.本发明的对象也包括用于农用作业车辆的障碍物检出程序。该障碍物检出程序具有：障碍物推断功能，其基于来自对所述农用作业车辆的周边的障碍物进行检出的障碍物传感器的检出信号，推断所述障碍物的存在区域，输出障碍物存在区域信息；图像预处理功能，其生成通过基于所述农用作业车辆周边的拍摄图像、对所述拍摄图像进行拍摄的拍摄部的拍摄视角角度信息、以及所述障碍物存在区域信息、包括所述障碍物的所述存在区域地修剪所述拍摄图像而得到的修剪图像；障碍物检测功能，其输入所述修剪图像作为输入图像，并输出包括所述障碍物的检测结果的障碍物检测信息。
17.本发明的对象也包括存储用于农用作业车辆的障碍物检出程序的存储介质。在该存储介质中存储的所述障碍物检出程序在计算机中实现如下的功能，即，障碍物推断功能，其基于来自对所述农用作业车辆周边的障碍物进行检出的障碍物传感器的检出信号，推断所述障碍物的存在区域，输出障碍物存在区域信息；图像预处理功能，其生成通过基于所述
农用作业车辆周边的拍摄图像、对所述拍摄图像进行拍摄的拍摄部的拍摄视角角度信息、以及所述障碍物存在区域信息、包括所述障碍物的所述存在区域地修剪所述拍摄图像而得到的修剪图像；障碍物检测功能，其输入所述修剪图像作为输入图像，并输出包括所述障碍物的检测结果的障碍物检测信息。
18.本发明的对象也包括用于农用作业车辆的障碍物检出方法。该障碍物检出方法具有：障碍物推断步骤，其基于来自对所述农用作业车辆周边的障碍物进行检出的障碍物传感器的检出信号，推断所述障碍物的存在区域，输出障碍物存在区域信息；图像预处理步骤，其生成通过基于所述农用作业车辆周边的拍摄图像、对所述拍摄图像进行拍摄的拍摄部的拍摄视角角度信息、以及所述障碍物存在区域信息、包括所述障碍物的所述存在区域地修剪所述拍摄图像而得到的修剪图像；障碍物检测步骤，其输入所述修剪图像作为输入图像，并输出包括所述障碍物的检测结果的障碍物检测信息。
19.上述本发明的障碍物检出系统的作用效果及各种实施方式也可以应用在搭载了本发明的障碍物检出系统的农用作业车辆、本发明的障碍物检出程序、存储本发明的用于农用作业车辆的障碍物检出程序的存储介质、本发明的障碍物检出方法中。
附图说明
20.图1是联合收割机的侧视图。
21.图2是联合收割机的俯视图。
22.图3是联合收割机的控制系统的功能块图。
23.图4是表示障碍物检出系统中控制的流程的示意图。
24.图5是以图像的方式表示在障碍物检出系统的各处理步骤中生成的数据的示意图。
具体实施方式
25.基于附图，针对用于实施本发明的方式进行说明。需要说明的是，在如下的说明中，在未特别说明的情况下，将图1及图2所示的箭头f的方向作为“前”、箭头b的方向作为“后”。另外，将图2所示的箭头l的方向作为“左”、箭头r的方向作为“右”。另外，将图1所示的箭头u的方向作为“上”、箭头d的方向作为“下”。
26.如图1及图2所示，作为搭载本发明的障碍物检出系统的农用作业车辆的一个方式的全喂入联合收割机具有：履带式行驶装置11、驾驶部12、脱粒装置13、谷粒箱14、收割部15、输送装置16、谷粒排出装置18、以及卫星定位模块80。联合收割机的机体10表示联合收割机的主要的结构主要部件的集合体，但根据情况，有时表示行驶装置11和收割部15等个别的结构主要部件。
27.行驶装置11配置在联合收割机的下部。另外，行驶装置11由来自发动机(未图示)的动力进行驱动。驾驶部12、脱粒装置13、谷粒箱14配置在比行驶装置11更靠近上侧。驾驶部12可搭乘对联合收割机的作业进行监管的操作人员。需要说明的是，操作人员也可以从联合收割机的机外监管联合收割机的作业。
28.谷粒排出装置18设置在比脱粒装置13及谷粒箱14更靠近上侧。另外，卫星定位模块80安装在构成驾驶部12的驾驶室的顶板上表面。卫星定位模块80接收来自人造卫星gs的
gnss(global navigation satellite system：全球导航卫星系统)的信号(包括gps信号)，获取机体位置。需要说明的是，为了补充卫星定位模块80的卫星导航，在卫星定位模块80中组装有并入了陀螺加速度传感器和磁方位传感器的惯性导航单元。当然，惯性导航单元也可以在联合收割机中配置在与卫星定位模块80不同的位置。
29.收割部15配置在联合收割机的前部。而且，输送装置16以遍及收割部15的后端部与脱粒装置13的前端部的状态进行设置。收割部15及输送装置16构成为通过未图示的液压缸的伸缩工作，可在机体横向上围绕轴芯上下摆动。
30.收割部15扒拢收割对象的种植谷杆，并且收割田地的种植谷杆。由此，收割部15收获田地的种植谷杆。联合收割机由收割部15收割田地的种植谷杆的同时通过行驶装置11进行行驶。
31.由收割部15收割的收割谷杆由输送装置16向脱粒装置13输送。在脱粒装置13中，对收割谷杆进行脱粒处理。通过脱粒处理而得到的谷粒贮存在谷粒箱14中。在谷粒箱14中贮存的谷粒根据需要，由谷粒排出装置18向机外排出。
32.如图1及图2所示，联合收割机在谷粒排出装置18的前端安装有作为扫描束式障碍物传感器的一个例子的lidar(laser imaging detection and ranging：激光成像探测与测距)21。lidar21作为扫描束而发射脉冲状激光束(发射束)，检测由障碍物等反射体反射来的反射束。基于发射束的传播时间能够算出与反射体的距离。因为lidar21能够在水平方向扫描激光束，所以通过将多台lidar21的扫描面排列在铅垂方向上，实际上也可以进行三维扫描。在该实施方式中，具有至少超过120度的水平扫描角的两台lidar21被分开配置在种植谷杆的高度以下的高度程度、以及超过种植谷杆的高度的高度程度。
33.此外，在谷粒排出装置18的前端也安装有输出田地的拍摄图像的作为拍摄部的相机22。相机22的拍摄范围为联合收割机的行驶方向前方的田地。相机22的安装位置可以调整，但在调整后被固定，其拍摄视角角度也被确定。在该实施方式中，相机22安装有广角镜头，其拍摄视角角度大致为120度。
34.图3表示联合收割机的控制系统的功能块图。该实施方式的控制系统由称为ecu的大量电子控制单元、各种工作设备、传感器组和开关组、以及进行上述部件之间的数据传送的车载lan等配线网构成。通报装置84是用于向驾驶员等通报障碍物的检出结果和作业行驶的状态等警报的装置，是蜂鸣器、警示灯、扬声器、显示器等。
35.控制单元6是该控制系统的核心主要部件，表现为多个ecu的集合体。来自卫星定位模块80的定位数据、来自相机22的拍摄图像、以及来自lidar21的检出信号通过配线网输入控制单元6。
36.控制单元6作为输入输出接口而具有输出处理部6b与输入处理部6a。输出处理部6b与车辆行驶设备组7a及作业装置设备组7b连接。车辆行驶设备组7a包括与车辆行驶相关的控制设备、例如发动机控制设备、变速控制设备、制动控制设备、操舵控制设备等。作业装置设备组7b包括收割部15、输送装置16、脱粒装置13、以及谷粒排出装置18中的动力控制设备等。
37.输入处理部6a连接有行驶状态检出传感器组82和作业状态检出传感器组83等。行驶状态检出传感器组82包括检出发动机旋转数调节件、加速器踏板、制动器踏板、变速操作件等的状态的传感器。作业状态检出传感器组83包括检出收割部15、输送装置16、脱粒装置
13、以及谷粒排出装置18中的装置状态及谷杆和谷粒的状态的传感器。
38.控制单元6具有行驶控制模块60、障碍物处理单元50、障碍物避开指令生成部65、机体位置算出部66、以及通报部67。在该实施方式中，障碍物检出系统由lidar21、相机22、机体位置算出部66、以及障碍物处理单元50构成。
39.通报部67基于来自控制单元6的各功能部的请求生成通报数据，提供给通报装置84。机体位置算出部66基于从卫星定位模块80逐次送来的定位数据，算出机体10的至少一个指定位置、例如收割部15等的地图坐标(或田地坐标)即机体位置。
40.该实施方式的联合收割机可以通过自动行驶(自动操舵)与手动行驶(手动操舵)双方进行行驶。行驶控制模块60除了行驶控制部61与作业控制部62以外，还具有行驶控制部63及行驶路径设定部64。对通过自动操舵行驶的自动行驶模式、以及通过手动操舵行驶的手动操舵模式的任意模式进行选择的行驶模式开关(未图示)设置在驾驶部12。通过对该行驶模式开关进行操作，能够从手动操舵行驶向自动操舵行驶过渡、或从自动操舵行驶向手动操舵行驶过渡。
41.行驶控制部61具有发动机控制功能、操舵控制功能、车速控制功能等，向车辆行驶设备组7a提供行驶控制信号。作业控制部62为了控制收割部15、脱粒装置13、谷粒排出装置18、输送装置16等的行为，向作业装置设备组7b提供作业控制信号。
42.行驶路径设定部64将用于自动行驶的行驶路径在存储器中展开。在存储器中展开的行驶路径作为依次自动行驶的目标行驶路径而使用。即使是手动行驶，该行驶路径也可以用于引导联合收割机沿该行驶路径行驶。
43.行驶指令部63作为自动行驶指令而生成自动操舵指令及车速指令，向行驶控制部61提供。生成自动操舵指令，以消除由行驶路径设定部64设定的行驶路径与由机体位置算出部66算出的本机位置之间的方位偏差及位置偏差。在自动行驶时，车速指令基于预先设定的车速值而生成。在手动行驶时，车速指令基于手动车速操作而生成。但是，在发生了检出障碍物等紧急事态的情况下，自动进行包括强制停止在内的车速变更和发动机停止等。
44.在已经选择自动行驶模式的情况下，基于由行驶指令部63提供的自动行驶指令，行驶控制部61对与操舵相关的车辆行驶设备组7a和与车速相关的车辆行驶设备组7a进行控制。在已经选择手动行驶模式的情况下，基于驾驶员的操作，行驶控制部61生成控制信号，对车辆行驶设备组7a进行控制。
45.障碍物处理单元50具有基于来自lidar21的检出信号、以及来自相机22的拍摄图像，对障碍物的位置(三维位置)及种类进行检测的功能。障碍物处理单元50包括图像获取部51、障碍物推断部52、图像预处理部53、以及障碍物检测单元54。接着，利用图4与图5，说明障碍物处理单元50中障碍物检测的流程。需要说明的是，在图5中，将由图4所示的各功能部生成的数据表现为图像。
46.障碍物处理单元50实际上基于使计算机工作的程序即障碍物检出程序进行工作。因此，障碍物检出程序包括障碍物推断功能(障碍物推断步骤)、图像预处理功能(图像预处理步骤)、以及障碍物检测功能(障碍物检测步骤)。在图像预处理步骤中，基于来自lidar21的检出信号，推断障碍物的存在区域，并输出障碍物存在区域信息。在图像预处理步骤中，基于相机22的拍摄视角角度信息、以及障碍物存在区域信息，对由相机22拍摄的拍摄图像进行修剪，此时，该修剪图像包括障碍物的存在区域。在障碍物检测步骤中，通过输入修剪
图像作为输入图像，输出包括障碍物的检测结果的障碍物检测信息。
47.当lidar21工作时，从lidar21输出检出信号，当相机22工作时，从相机22输出拍摄图像(图5的#01)。图像获取部51使从相机22以规定周期送来的拍摄图像与由机体位置算出部66算出的本机位置关联，并存储在存储器中。此外，图像获取部51将为了算出规定位置中拍入相机22的拍摄图像中的拍摄区域所需要的拍摄视角角度作为拍摄视角角度信息进行管理。
48.障碍物推断部52使来自lidar21的检出信号与由机体位置算出部66算出的本机位置关联并存储在存储器中，并且基于该检出信号，推断田地中障碍物所存在的障碍物存在区域，输出障碍物存在区域信息(图5的#02)。具体而言，障碍物推断部52累积从lidar21送来的检出信号，在三维空间中进行管理。由此，能够得到类似三维雷达图像的三维点群数据。构成该点群数据的各点具有三维坐标值(三维位置)。在田地不存在障碍物的情况下，能够得到基于来自种植谷杆或田地的收割面的反射束的、均匀分布的点群数据。然而，当作为发射束的反射体的障碍物存在时，由该反射束表征的该障碍物所存在的区域将表示与其它的区域不同的点群数据。由此，能够推断障碍物的存在区域。障碍物推断部52根据表示该障碍物的存在区域的点群数据，推断障碍物存在区域，并作为障碍物存在区域信息进行输出。
49.图像预处理部53具有修剪区域算出处理功能与修剪处理功能。在修剪区域算出处理中，基于从障碍物推断部52输出的障碍物存在区域信息、以及由图像获取部51管理的拍摄视角角度信息，确定障碍物推断图像中拍摄图像的区域(图5的#03)。
50.从拍摄图像的整体推断障碍物存在的障碍物推断区域被缩小。因为该障碍物推断区域的外框为针对拍摄图像的修剪框，所以生成表示该拍摄图像的修剪框位置的修剪数据(图5的#04)。
51.在修剪处理中，利用修剪框对由图像获取部51获取的拍摄图像进行修剪处理，生成拍摄图像的一部分区域即修剪图像(图5的#05)。包括被推断的障碍物的修剪图像是拍摄图像的一部分的区域。接着，该修剪图像作为像素数减少的输入图像，提供给障碍物检测单元54。
52.障碍物检测单元54由进行了机器学习的神经网络构成，使用深度学习算法。深度学习算法通常要求高性能的运算单元。然而，因为该神经网络利用对拍摄图像以包括被推断存在障碍物的区域的方式进行修剪的修剪图像作为输入图像，所以，即使不使用高性能的运算单元，也能够快速得到有效的结果。输出的障碍物检测信息包括障碍物的种类(人、动物、电线杆等)和障碍物的位置等检测结果。基于障碍物检测信息与障碍物存在区域信息，能够算出机体10至障碍物的方向及距离。障碍物检测信息被提供给通报部67，用于通报障碍物检测。
53.障碍物避开指令生成部65基于机体10至障碍物的方向及距离，进行障碍物避开控制。此时，障碍物避开指令生成部65从机体10的减速指令、停止指令、以及转弯指令等中选择最佳的指令，生成障碍物避开指令，并提供给行驶控制模块60。
54.需要说明的是，构成图3与图4所示的障碍物处理单元50的结构主要部件主要为了说明而分开，该结构主要部件的整合和该结构主要部件的分割可以自由地进行。
55.〔其它实施方式〕
56.下面，针对变更了上述实施方式的其它实施方式进行说明。在如下的各其它实施
方式中说明的事项以外的其它事项则与在上述实施方式中说明的事项相同。上述实施方式及如下的各其它实施方式在不矛盾的范围内，也可以适当进行组合。需要说明的是，本发明的范围不限于上述实施方式及如下的各其它实施方式。
57.(1)在上述实施方式中，作为扫描束式障碍物传感器(扫描式传感器)，采用了使用光束(激光束)的两台lidar21，但也可以为一台或三台以上。此外，作为扫描束式障碍物传感器，也可以采用使用超声波束的超声波传感器、使用红外线光束的红外线传感器、或使用电磁波束的雷达。
58.(2)在上述实施方式中，作为相机22，采用了安装有广角镜头的可见光相机，但也可以采用红外光相机或由可见光相机与红外光相机形成的混合相机。
59.(3)在上述实施方式中，虽然lidar21及相机22安装在谷粒排出装置18的前端，但当然可以安装在其它的部位，也可以各自安装在不同的部位。因为对行驶方向的前方进行监管非常重要，所以，优选为联合收割机的前部、例如收割部15和驾驶部12的顶板前端。
60.(4)在上述实施方式中，虽然障碍物检测单元54由使用深度学习算法进行了机器学习的神经网络构成，但当然也可以由使用深度学习算法以外的其它算法的神经网络、例如循环神经网络构成。此外，也可以采用进行了机器学习的神经网络以外的图像识别技术。
61.(5)上述实施方式中各结构主要部件的功能也可以作为由计算机实现的控制程序来构成。另外，本发明也可以作为使上述实施方式中各结构主要部件的功能在计算机中实现的控制程序所存储的存储介质而构成。另外，本发明也可以作为将在上述实施方式中由各结构主要部件进行的操作通过一个或多个步骤来进行的控制方法而构成。
62.(6)虽然在上述实施方式中，将全喂入联合收割机看作为农用作业车辆，但也可以取而代之，将半喂入联合收割机、此外拖拉机和插秧机等看作为农用作业车辆。
63.工业实用性
64.本发明可以应用在需要检出障碍物的农用作业车辆中。
65.附图标记说明
66.10机体；21lidar(障碍物传感器)；22相机(拍摄部)；50障碍物处理单元；51图像获取部；52障碍物推断部；53图像预处理部；54障碍物检测单元；6控制单元；60行驶控制模块；61行驶控制部；62作业控制部；63行驶指令部；64行驶路径设定部；65障碍物避开指令生成部；66机体位置算出部；80卫星定位模块；84通报装置。