作业车辆、障碍物检测方法、以及障碍物检测程序与流程

1.本发明涉及利用对机体周围进行拍摄的图像进行障碍物的检测的作业车辆、障碍物检测方法、以及障碍物检测程序。


背景技术：

2.行驶并进行作业的作业车辆有时在作业行驶过程中由多台相机对机体周围进行拍照，利用对机体周围进行了拍照的拍摄图像，对存在于机体周围的障碍物进行检测。障碍物的检测通过cpu或ecu等对拍摄图像进行分析来进行。
3.现有技术文献
4.专利文献
5.专利文献1：(日本)特开2019
‑
49918号公报


技术实现要素：

6.发明所要解决的技术问题
7.使用多台相机进行拍照的机体周围的拍摄图像的数据量非常大。因此，为了高精度地对上述数据量大的拍摄图像进行分析，处理器需要较高的处理能力。然而，在作业车辆上搭载的处理器处理能力有限，难以在短时间内、且高精度地对机体周围的拍摄图像进行分析。
8.本发明的目的在于，利用机体周围的拍摄图像，在短时间内且高精度地进行障碍物的检测。
9.用于解决技术问题的技术方案
10.为了实现上述目的，本发明的一个实施方式的作业车辆为进行作业行驶的作业车辆，具有：多个拍摄装置，其对机体周围进行拍照；方向检出部，其检出所述作业行驶的行进方向；图像筛选部，其获取对所述方向检出部检出的行进方向前方进行拍照的所述拍摄装置所拍照的周边图像作为检测用图像；检测部，其对所述图像筛选部获取到的所述检测用图像进行分析，来检测障碍物。
11.机体周围的障碍物有时通过对由拍摄装置拍照的图像进行图像分析来检测。另外，有时由多台相机对机体周围分割进行拍照，将进行拍照的多个周边图像合成来生成周围图像，将机体周围的状况显示为一枚图像。通过利用上述周围图像进行图像分析，也能够对机体周围的障碍物进行检测，但分析装置的性能有限，难以使用数据量巨大的周围图像高精度地进行障碍物的检测。与此相对，在上述的结构中，能够在周围图像的生成中利用的周边图像之中，选择性地利用对需要检测障碍物的行进方向的前方进行拍照的拍摄装置所拍照的周边图像作为检测用图像，来进行图像分析。因此，通过有效地优化检测用图像，利用所需最低限度的数据量的检测用图像，进行障碍物的检测，抑制数据量，从而能够在短时间内且容易地对障碍物进行高精度的检测。
12.另外，也可以具有自动行驶控制部，其对所述作业行驶进行自动行驶控制，以依次
进行预先设定的动作。
13.根据上述结构，在自动行驶中，也能够在短时间内且容易地对障碍物进行高精度的检测。
14.另外，所述自动行驶控制部优选在所述检测部检测到所述障碍物的情况下，变更预先设定的下一所述动作。
15.根据上述结构，能够避免作业车辆与障碍物碰撞等事态，继续进行适当的作业行驶。
16.另外，所述图像筛选部也可以从下一所述动作开始的规定时间之前选择性地获取对下一所述动作的行进方向前方进行拍照的所述拍摄装置所拍照的所述周边图像作为所述检测用图像。
17.根据上述结构，能够在动作过渡前预先对在下一动作的行进方向上存在的障碍物进行检测，抑制无论有否障碍物都进行动作过渡，能够避免作业车辆与障碍物碰撞等事态。
18.另外，所述图像筛选部也可以从距离下一所述动作开始的位置规定的距离之前选择性地获取对下一所述动作的行进方向前方进行拍照的所述拍摄装置所拍照的所述周边图像作为所述检测用图像。
19.根据上述结构，能够在动作过渡前预先判明障碍物的存在，抑制无论有否障碍物都进行动作过渡，避免作业车辆与障碍物碰撞等事态。
20.另外，所述自动行驶控制部优选在所述检测部对所述障碍物进行检测时，停止所述作业行驶或所述动作的过渡。
21.根据上述结构，能够可靠地避免作业车辆与障碍物碰撞等。而且，能够能够在障碍物消失后，重新开始作业行驶，或进行动作的过渡，所以能够继续进行适当的作业行驶。
22.另外，所述图像筛选部也可以与对行进方向前方进行拍照的所述周边图像一起，选择性地获取对邻接于对行进方向前方进行拍照的所述周边图像的拍照区域的所述机体侧方的区域进行拍照的所述拍摄装置所拍照的所述周边图像作为所述检测用图像。
23.根据上述结构，能够抑制检测用图像的数据量，并且有效地选择最佳范围的检测图像，能够精度更高地进行障碍物的检测。
24.另外，所述检测部也可以使用进行了机器学习的神经网络进行所述障碍物的检测。
25.根据上述结构，能够更有效且高精度地进行障碍物的检测。
26.另外，也可以具有：将多个所述拍摄装置拍照的所述周边图像合成来生成所述机体周围整个周的周围图像的图像处理部、以及对所述周围图像进行显示的显示装置。
27.根据上述结构，驾驶员和作业人员能够容易地识别机体周围的状况。
28.此外，本发明的一个实施方式的障碍物检测方法为作业人员进行作业行驶时的障碍物检测方法，具有：将机体周围拍照为多个周边图像的工序、检出所述作业行驶的行进方向的工序、获取所述周边图像之中对行进方向前方进行拍照的所述周边图像作为检测用图像的工序、以及对所述检测用图像进行分析来检测障碍物的工序。
29.另外，本发明的一个实施方式的障碍物检测程序为作业人员进行作业行驶时的障碍物检测程序，在处理器执行如下的处理，即，获取对机体周围进行拍照的多个周边图像的处理、检出所述作业行驶的行进方向的处理、选择所述周边图像之中对行进方向前方进行
拍照的所述周边图像作为检测用图像的处理、以及对所述检测用图像进行分析来检测障碍物的处理。
30.机体周围的障碍物有时通过对由拍摄装置拍照的图像进行图像分析来检测。另外，有时由多台相机对机体周围进行分割来拍照，将拍照后的多个周边图像合成来生成周围图像，将机体周围的状况显示为一枚图像。通过利用上述周围图像进行图像分析，也能够对机体周围的障碍物进行检测，但分析装置的性能有限，难以利用数据量巨大的周围图像高精度地进行障碍物的检测。与此相对，在上述的结构中，能够选择性地利用在周围图像的生成中利用的周边图像之中对需要检测障碍物的行进方向前方进行拍照的周边图像作为检测用图像来进行图像分析。因此，通过有效地优化检测用图像，能够利用所需最低限度的数据量的检测用图像进行障碍物的检测，抑制数据量，从而在短时间内且容易地进行高精度的障碍物检测。
31.另外，也可以对所述作业行驶进行自动行驶控制，以依次进行预先设定的动作。
32.根据上述结构，在自动行驶中，也能够在短时间内且容易地进行高精度的障碍物检测。
33.另外，优选在检测出所述障碍物的情况下，变更预先设定的下一所述动作。
34.根据上述结构，能够避免作业车辆与障碍物碰撞等事态，继续进行适当的作业行驶。
35.另外，也可以从下一所述动作开始的规定时间之前选择性地获取对下一所述动作的行进方向前方进行拍照的所述周边图像作为所述检测用图像。
36.根据上述结构，能够在动作过渡前预先对在下一动作的行进方向上存在的障碍物进行检测，抑制无论有否障碍物都进行动作的过渡，避免作业车辆与障碍物碰撞等事态。
37.另外，也可以从距离下一所述动作开始的位置规定的距离之前选择性地获取对下一所述动作的行进方向前方进行拍照的所述周边图像作为所述检测用图像。
38.根据上述结构，能够在动作过渡前预先判明障碍物的存在，抑制无论有否障碍物都进行动作的过渡，避免作业车辆与障碍物碰撞等事态。
39.另外，优选在对所述障碍物进行检测时，停止所述作业行驶或所述动作的过渡。
40.根据上述结构，能够可靠地避免作业车辆与障碍物碰撞等。而且，能够在障碍物消失后，重新开始作业行驶，或进行动作的过渡，所以能够继续进行适当的作业行驶。
41.另外，也可以与对行进方向前方进行拍照的所述周边图像一起，选择性地获取对邻接于对行进方向前方进行拍照的所述周边图像的拍照区域的所述机体侧方的区域进行拍照的所述周边图像作为所述检测用图像。
42.根据上述结构，能够抑制检测用图像的数据量，并且有效地选择最佳范围的检测图像，并能够精度更高地进行障碍物的检测。
43.另外，也可以使用进行了机器学习的神经网络，进行所述障碍物的检测。
44.根据上述结构，能够更有效且高精度地进行障碍物的检测。
45.另外，也可以将多个所述周边图像合成来生成所述机体周围整个周的周围图像，并显示所述周围图像。
46.根据上述结构，驾驶员和作业人员能够容易地识别机体周围的状况。
附图说明
47.图1是全喂入联合收割机的机体的右侧视图。
48.图2是全喂入联合收割机的机体的俯视图。
49.图3是全喂入联合收割机的机体的左侧视图。
50.图4是表示联合收割机的控制系统的功能块图。
51.图5是例示周围图像的图。
52.图6是对在检测用图像中检测障碍物的例子进行说明的图。
具体实施方式
53.基于附图，针对本发明的作业车辆的一个例子即全喂入联合收割机(下面也简称为联合收割机)进行说明。需要说明的是，在如下的说明中，将图1所示的箭头f的方向作为“前”、箭头b的方向作为“后”，将图1的纸面的近前方向作为“左”、进深方向作为“右”。另外，将图1所示的箭头u的方向作为“上”、箭头d的方向作为“下”。
54.[联合收割机的整体结构]
[0055]
首先，利用图1至图3，针对联合收割机的整体结构进行说明。联合收割机具有：履带式行驶装置11、驾驶部12、脱粒装置13、谷粒箱14、收割部h、输送装置16、谷粒排出装置18、以及卫星定位模块80。输送装置16、脱粒装置13及收割部h是作业装置的一个例子。
[0056]
行驶装置11配置在机体10的下部。联合收割机可利用行驶装置11自行行驶地构成。
[0057]
另外，驾驶部12、脱粒装置13、以及谷粒箱14配置在行驶装置11的上侧。驾驶部12具有驾驶座椅31、以及覆盖驾驶座椅31的驾驶室3。联合收割机的作业人员或监管作业的监管人员可搭乘在驾驶座椅31。需要说明的是，监管人员也可以从联合收割机的机外监管联合收割机的作业。驾驶部12配置有显示装置2。
[0058]
谷粒排出装置18设置在谷粒箱14的上侧。另外，卫星定位模块80安装在驾驶部12的上表面。
[0059]
收割部h配置在联合收割机的前部。而且，输送装置16设置在收割部h的后方。另外，收割部h具有切割机构15及拔禾轮17。
[0060]
由切割机构15收割的收割谷杆由输送装置16向脱粒装置13输送。在脱粒装置13中，对收割的谷杆进行脱粒处理。通过脱粒处理得到的谷粒存储在谷粒箱14中。存储在谷粒箱14中的谷粒根据需要，由谷粒排出装置18向机外排出。收割部h、行驶装置11、输送装置16及脱粒装置13由作为动力源的一个例子的发动机8进行驱动。
[0061]
联合收割机在机体10具有对机体周围进行拍照的多台相机4(相当于拍摄装置)。多台相机4各自对机体10周围的规定区域的图像(周边图像)进行拍照，将上述图像合成，生成机体10全方位的周围的图像(周围图像)。例如，作为相机4，设有前相机41(拍摄装置的一个例子)、后相机42(拍摄装置的一个例子)、右相机43(拍摄装置的一个例子)、以及左相机44(拍摄装置的一个例子)。前相机41、后相机42、右相机43、以及左相机44各自对机体10的周边进行拍照，生成周边图像，并向后面叙述的图像处理部70(参照图4)输出。需要说明的是，在本实施方式中，周边图像可以为静止图像，也可以为运动图像。另外，相机4不限于四台，可以设置能够对机体10的整个周围进行拍照的台数。
[0062]
如图1至图3所示，前相机41设置在驾驶部12的前部。详细地说，前相机41设置在驾驶室3的前上部。前相机41位于驾驶室3的机体左右方向的左侧端部附近，并位于机体10的机体左右方向的中央部。前相机41面向前斜下方，对机体10的前方进行拍照。
[0063]
后相机42设置在谷粒箱14的后端部的上部。后相机42位于谷粒箱14的机体左右方向的左侧端部附近，并位于机体10的机体左右方向的中央部。后相机42面向后斜下方，对机体10的后方进行拍照。
[0064]
右相机43设置在驾驶室3右侧的侧部上角部。右相机43位于驾驶室3的后端部，并位于机体10的机体前后方向的中央部附近。右相机43面向右斜下方，对机体10的右侧进行拍照。
[0065]
左相机44设置在脱粒装置13左侧的侧部上角部。左相机44位于脱粒装置13的机体前后方向的前端部附近，并位于机体前后方向的中央部附近。左相机44的机体前后方向的位置与右相机43的机体前后方向的位置基本相同。左相机44面向左斜下方，对机体10的左侧进行拍照。
[0066]
在驾驶部12设有显示装置2。基于前相机41、后相机42、右相机43、以及左相机44拍照到的周边图像，生成合成图像，合成图像由显示装置2显示。显示装置2配置在驾驶座椅31的左斜前方。
[0067]
[控制系统的结构]
[0068]
接着，参照图1并利用图4，对联合收割机的控制系统的结构进行说明。该实施方式的控制系统包括控制单元6，由称为ecu的大量电子控制单元(处理器)、各种动作设备、传感器组和开关组、以及进行上述部件之间的数据传输的车载lan等配线网构成。需要说明的是，控制单元6可以由上述硬件构成，但也可以由执行适当流程的软件构成一部分或全部的结构。另外，也可以利用处理器所执行的程序来实现上述结构。在该情况下，程序在联合收割机搭载的任意的存储装置中存储。
[0069]
控制单元6是该控制系统的核心主要部件，表现为多个ecu的集合体。控制单元6经由配线网与各种动作设备、传感器组和开关组等连接。此外，控制单元6经由通信部9，在可进行数据通信的状态下与在联合收割机的外部设置的各种设备连接。
[0070]
通信部9用于该联合收割机的控制系统在远程设置的云计算机系统100和移动通信终端200等之间进行数据交换。移动通信终端200在此是在作业行驶现场的监管人员(也包括驾驶员/作业人员)进行操作的平板电脑。
[0071]
来自上述卫星定位模块80的定位数据、以及来自相机4的图像数据通过配线网向控制单元6输入。
[0072]
控制单元6具有输入处理部6a与输出处理部6b来作为输入输出接口。输入处理部6a连接有行驶系统检出传感器组8a和作业系统检出传感器组8b等。行驶系统检出传感器组8a可以包括检出发动机旋转数调节件、加速器踏板、制动器踏板、变速操作件的状态的传感器等。作业系统检出传感器组8b可以包括检出收割部h、脱粒装置13、谷粒排出装置18、输送装置16的装置状态以及谷杆和谷粒的状态的传感器等。
[0073]
输出处理部6b连接有车辆行驶设备组7a和作业装置设备组7b。车辆行驶设备组7a可以包括与车辆行驶相关的控制设备、例如发动机控制设备、变速控制设备、制动控制设备、操舵控制设备等。作业装置设备组7b可以包括收割部h、脱粒装置13、谷粒排出装置18、
以及输送装置16中的动力控制设备等。
[0074]
控制单元6具有：作业行驶控制模块60、图像处理部70、障碍物检出部5、以及机体位置算出部66。
[0075]
机体位置算出部66基于从卫星定位模块80逐次送来的定位数据，算出机体10的地图坐标(或田地坐标)即机体位置。
[0076]
该实施方式的联合收割机可以通过自动行驶(自动操舵)与手动行驶(手动操舵)双方进行行驶。作业行驶控制模块60除了行驶控制部61与作业控制部62以外，还具有自动行驶控制部63及行驶路径设定部64。对通过自动操舵行驶的自动行驶模式、以及通过手动操舵行驶的手动操舵模式的任意模式进行选择的行驶模式开关(未图示)设置在驾驶部12。通过对该行驶模式开关进行操作，能够从手动操舵行驶向自动操舵行驶过渡、或从自动操舵行驶向手动操舵行驶过渡。
[0077]
行驶控制部61具有发动机控制功能、操舵控制功能、车速控制功能等，向车辆行驶设备组7a提供行驶控制信号。作业控制部62为了控制收割部h、脱粒装置13、谷粒排出装置18、输送装置16等的行为，向作业装置设备组7b提供作业控制信号。
[0078]
在已经选择手动操舵模式的情况下，基于驾驶员的操作，行驶控制部61生成控制信号，对车辆行驶设备组7a进行控制。另外，基于驾驶员的操作，作业控制部62生成控制信号，对作业装置设备组7b进行控制。在已经选择自动操舵模式的情况下，基于由自动行驶控制部63提供的自动行驶指令，行驶控制部61对与操舵相关的车辆行驶设备组7a和与车速相关的车辆行驶设备组7a进行控制。另外，基于由自动行驶控制部63提供的自动行驶指令，作业控制部62对作业装置设备组7b进行控制。
[0079]
行驶路径设定部64将由控制单元6、移动通信终端200、云计算机系统100等任一部件创建的、用于自动行驶的行驶路径在内置于行驶路径设定部64的存储器(未图示)中展开。在存储器(未图示)中展开的行驶路径作为依次自动行驶的目标行驶路径而使用。即使是手动行驶，该行驶路径也可以用于引导联合收割机沿该行驶路径行驶。在已经选择自动操舵模式的情况下，目标行驶路径与对应于目标行驶路径而依次进行的作业装置设备组7b的驱动状态作为自动行驶的动作而预先设定。
[0080]
更详细地说，自动行驶控制部63生成自动操舵指令及车速指令，向行驶控制部61提供上述指令。生成自动操舵指令，以消除由行驶路径设定部64设定的行驶路径与由机体位置算出部66算出的本车位置之间的方位偏差。车速指令基于预先设定的车速值而生成。此外，自动行驶控制部63根据本车位置和本车的行驶状态，向作业控制部62提供作业装置动作指令。
[0081]
图像处理部70获取前相机41、后相机42、右相机43、以及左相机44所拍照的各自的周边图像。具体而言，从前相机41向图像处理部70输入对机体10的前方周边进行拍照的前方周边图像，从后相机42向图像处理部70输入对机体10的后方周边进行拍照的后方周边图像，从右相机43向图像处理部70输入对机体10的右侧周边进行拍照的右侧周边图像，从左相机44向图像处理部70输入对机体10的左侧周边进行拍照的左侧周边图像。图像处理部70基于周边图像生成表示机体10的周围整个周的情况的周围图像，并将周围图像向显示装置2输出。显示装置2显示图像处理部70所输出的周围图像。
[0082]
图像处理部70具有存储部72、以及图像合成部73。
[0083]
存储部72将表示机体10的外观形状的机体数据进行存储。机体数据可以是表示机体10的俯视形状的数据，但也可以是表示机体10的立体形状的数据，例如是表示机体10的3d模型的数据。机体数据包括：表示收割部h的外观形状的数据、表示谷粒排出装置18的外观形状的数据、以及表示谷粒箱14的外观形状的数据。
[0084]
图像合成部73基于从前相机41、后相机42、右相机43、以及左相机44输入的四种周边图像、以及在存储部72中存储的机体数据，生成表示机体10与机体10的周边的图像即周围图像，并向显示装置2输出。周围图像中显示有收割部h、谷粒排出装置18、以及谷粒箱14。
[0085]
在此，参照图1、图4并利用图5，对周围图像的例子进行说明。图5是例示联合收割机在田地中前进并进行收割作业时的周围图像300的图。
[0086]
周围图像300由图像合成部73生成。首先，图像合成部73由从前相机41、后相机42、右相机43、以及左相机44输入的四种周边图像生成周边合成图像301。由图像合成部73将预先存储在存储部72的机体图像302与周边合成图像301合成，来生成周围图像300。机体图像302周围的周边合成图像301中显示有机体10的右侧及后方的已收割地p、以及机体10的左侧及前方的未收割地s。
[0087]
如图4所示，障碍物检出部5具有方向检出部51、图像筛选部52、以及检测部53。
[0088]
方向检出部51对从作业行驶控制模块60获取的作业行驶的状况、或机体位置算出部66算出的机体位置的变化、或上述两种情况进行综合判断，求出机体10的行进方向。
[0089]
图像筛选部52判断前相机41、后相机42、右相机43、及左相机44(都参照图1)中的哪一相机是对方向检出部51求出的机体10(下面都参照图1)的行进方向进行拍照的相机4。图像筛选部52获取被判断为对机体10的行进方向进行拍照的相机4的相机4所拍照的周边图像。例如，在判断机体10的行进方向为前行的情况下，图像筛选部52将前相机41(参照图1)所拍照的前方周边图像选择性地获取为检测用图像303(下面都参照图6)。获取的检测用图像303被交付给检测部53。
[0090]
检测部53对从图像筛选部52交付的检测用图像303进行分析，来检测障碍物。障碍物的检测虽然可以通过各种图像分析装置和图像分析方法来进行，但例如也可以通过利用人工智能的图像分析来进行障碍物的检测。具体而言，检测部53可以使用通过机器学习(深层学习)而进行了学习的神经网络等已学习完毕的数据来检测障碍物。检测部53将有无障碍物、或可检测情况下的障碍物的位置、种类作为检测结果，向作业行驶控制模块60发送。
[0091]
在此，参照图4并利用图6，表示机体10前进时的检测用图像303的例子，并针对障碍物的检测的具体例进行说明。
[0092]
因为是机体10前行的情况，所以检测用图像303包含比收割部h及机体10更靠近前方的田地的影像。在田地存在作物以外的异常物体的情况下，检测部53将异常物体检测为障碍物。在该检测用图像303中，人f3被检测为障碍物。
[0093]
这样，在本实施方式中，在检测障碍物时选择性地获取多台相机4所拍照的周边图像之中、相当于机体10的行进方向的周边图像，作为成为分析对象的检测用图像303。通常，当成为分析对象的图像的数据量较大时，由于分析装置等的性能，分析精度和分析速度等分析能力降低。与此相对，在本实施方式中，因为相当于机体10的行进方向的周边图像作为检测用图像303而成为分析对象，所以减轻了分析装置等的负担。其结果是，分析精度和分析速度等分析能力提高，能够在短时间内以更高的准确度检测障碍物。另外，因为检测用图
像303的范围被缩小，所以容易提高检测用图像303的分辨率，由此也能够提高障碍物的检测精度。此外，通过只利用作业行驶的行进方向的周边图像来进行障碍物的检测，能够抑制对不会成为作业行驶障碍的障碍物进行检测，并且能够对成为作业行驶障碍的可能性较高的障碍物适当地进行检测。
[0094]
此外，也可以形成为在检测出障碍物时，作业行驶控制模块60的自动行驶控制部63接收障碍物的检测结果，并根据检测结果变更已设定的动作的结构。在联合收割机自动行驶时，自动行驶控制部63进行控制，以在行驶路径设定部64设定的行驶路径上行驶，并且按照预先设定的顺序过渡控制作业装置设备组7b的动作，且进行作业行驶。而且，在检测到障碍物时，自动行驶控制部63变更该预先设定的动作。例如，当接收已检测到障碍物的内容的检测结果时，自动行驶控制部63或使行驶停止，或变更行驶路径，或使作业装置设备组7b停止，或使作业装置设备组7b的状态发生变化。
[0095]
通过如上所述在行进方向上检测到障碍物时变更自动行驶的动作，能够避免因障碍物而不能进行适当的作业行驶的事态。例如通过停止作业行驶，能够在排除障碍物之后开始作业行驶。由此，即使存在障碍物，也能够继续进行适当的作业行驶。
[0096]
[其它实施方式]
[0097]
(1)如上所述，在基于自动行驶的作业行驶中，能够从某一动作向下一动作过渡，并且依次进行预先设定的动作。此时，在所述实施方式中，选择相当于对进行某一动作时的行进方向前方进行拍照的图像的周边图像(对行进方向前方进行拍照的相机4所拍照的周边图像)作为检测用图像。也可以在动作过渡时，选择相当于在过渡之前对下一动作的行进方向前方进行拍照的图像的周边图像作为检测用图像。例如，作为动作的过渡，在直行后进行左转的情况下，在直行的最终阶段，将作为检测用图像而选择的周边图像从前相机41所拍照的前方周边图像切换为左相机44所拍照的左侧周边图像。切换时机可以是下一动作开始的规定时间之前，也可以是联合收割机到达距离下一所述动作开始的位置规定的距离之前时。如图4所示，此时，障碍物检出部5除了方向检出部51、图像筛选部52、以及检测部53以外，还具有动作开始时间检出部54。动作开始时间检出部54针对动作进行过渡的时机，检出规定时间之前、或联合收割机到达规定的距离之前的时间，并将该内容向图像筛选部52发送。然后，图像筛选部52选择并获取下一动作的行进方向前方的周边图像作为检出用图像。需要说明的是，行进方向不限于前行行驶的情况下的机体10前方，在后退行驶的情况下，机体10的后方为行进方向。另外，在左转的情况下，机体10的左向为行进方向。
[0098]
这样，在动作被过渡之前，选择对下一动作的行进方向前方进行拍照的相机4所拍照的周边图像作为检测用图像，利用该检测用图像来检测障碍物。由此，在动作进行过渡时，也能够对在从直行过渡后的行进方向前方存在的障碍物进行检测。因此，在动作过渡时，也能够适当地检测成为作业行驶障碍的障碍物。此外，在动作过渡前、于下一动作的行进方向前方发现障碍物的情况下，也能够停止作业行驶，或停止动作的过渡。由此，能够在下一动作的行进方向上的障碍物消失后进行动作的过渡，能够继续进行适当的作业行驶。
[0099]
(2)在上述各实施方式中，检测用图像除了相当于对行进方向前方进行拍照的图像的周边图像以外，也可以将相当于与对行进方向前方进行拍照的图像邻接的图像的周边图像作为检测用图像。例如，在联合收割机正在前行行驶时，选择前相机41所拍照的前方周边图像与左相机44所拍照的左侧周边图像作为检测用图像，检测障碍物。
[0100]
根据上述结构，通过不利用所有的周边图像作为检测用图像，能够高精度地检测障碍物，并且能够有效地扩大障碍物的检测范围，所以能够更适当地检测障碍物。
[0101]
(3)虽然对检测部53将障碍物的检测结果向作业行驶控制模块60发送、作业行驶控制模块60根据有无障碍物和位置、种类变更动作的情况进行了说明，但在上述各实施方式中，只要能够检测障碍物，之后的处理可以任意选择。例如，根据障碍物的检测结果，控制单元6也可以使显示有障碍物的检测用图像303或存在障碍物这样内容的信息显示在显示装置2，或在移动通信终端200显示上述检测用图像303或信息，或使未图示的通报部通报警告。
[0102]
由此，作业人员能够注意到障碍物的存在，根据需要能够通过手动进行适当的对应。由此，能够适当地继续进行作业行驶。
[0103]
(4)在上述各实施方式中，前相机41、后相机42、右相机43、及左相机44一直对周边图像进行拍照，图像筛选部52可以从上述周边图像之中选择性地获取一个或两个以上的周边图像作为检测用图像，但也可以形成为前相机41、后相机42、右相机43、以及左相机44不需要一直对周边图像进行拍照、只由至少对图像筛选部52选择的周边图像进行拍照的相机4进行拍照的结构。此外，检测用图像虽然可以以周边图像为单位进行选择，但也可以形成为在周边图像或周围图像中将需要区域的图像抽出的结构。
[0104]
(5)前相机41、后相机42、右相机43、以及左相机44的配置位置不限于上述实施方式的配置位置，前相机41，后相机42，右相机43，及左相机44只要各自能够对机体10周围的至少一部分进行拍照，可以配置在任意的位置。例如，后相机42也可以设置在脱粒装置13的上部的后端部，右相机43也可以设置在谷粒箱14的上部的右端部的前侧部分。另外，不限于相机4直接设置在机体10的情况，也可以设置在经由支柱等而可更适当地对周边图像进行拍照的位置。此外，相机4不限于四台，可以设置一台以上任意数量的相机。另外，周围图像不一定覆盖机体10周围的整个周，也可以省略周围一部分区域。
[0105]
(6)异常物体也可以是人f3以外的作物的异常，也可以将作物的异常检测为障碍物的一种。在图6所示的检测用图像303中，将杂草f1和倒伏的作物f2检测为障碍物。
[0106]
工业实用性
[0107]
本发明能够应用在以全喂入联合收割机和半喂入联合收割机为主的农业作业车辆和其它的作业车辆中。
[0108]
附图标记说明
[0109]
2显示装置；4相机(拍摄装置)；10机体；51方向检出部；52图像筛选部；53检测部；63自动行驶控制部；70图像处理部；300周围图像；303检测用图像；f1杂草(障碍物)；f2倒伏的作物(障碍物)；f3人(障碍物)。