作业机械用周边监视装置的制作方法

作业机械用周边监视装置
[技术领域]
[0001]
本发明涉及一种用于监视作业机械的周边的装置。
[

背景技术：
]
[0002]
已提出如下技术：为了使作业机械的操作者能够直观地掌握存在于作业机械的周围的人的位置，在判定为在一个监视空间(例如作业机械的右侧)中存在人的情况下，从与该一个监视空间对应的一个警报输出部(例如驾驶室内的右侧警报输出部)输出警报，在判定为在其他监视空间(例如作业机械的后方)中存在人的情况下，从与该其他监视空间对应的其他警报输出部(例如驾驶室内的后方警报输出部)输出警报(例如，参照专利文献1)。[现有技术文献]专利文献
[0003]
专利文献1：日本特开2018
‑
093501号公报
[

技术实现要素：
]
发明要解决的课题
[0004]
但是，对于作业机械的操作者而言，从决定作业机械的适当的操作方式等的观点出发，优选不仅能够直观地掌握作业机械周边的人等物体的有无，还能够直观地掌握该物体的移动。
[0005]
因此，本发明的目的在于提供一种装置，从决定作业机械的操作方式的观点出发，该装置能够使作业机械的操作者在适当的时机直观地识别出该作业机械周边的人等物体的移动。用于解决课题的手段
[0006]
本发明的作业机械用周边监视装置的特征在于，具备：第一检测元件，其检测操作者对用于使作业机械动作的操作装置的操作状态；第二检测元件，其检测存在于所述作业机械周围的物体的位置；多个输出装置，其在所述作业机械的驾驶空间中以操作者的所在位置为基准分别配置于多个方位，从而以所述作业机械为基准对应于多个对象空间各自的方位，并向该操作者输出警报；第一控制元件，其根据从由所述第一检测元件检测到的所述操作状态预测的所述作业机械的动作方式，确定所述多个对象空间中的至少一部分即第一指定对象空间；以及第二控制元件，其在由所述第一控制元件确定的所述第一指定对象空间中包含由所述第二检测元件检测到的所述物体的位置的情况下，使第一指定输出装置根据通过由所述第二检测元件检测到的所述物体的位置的时间序列而确定的所述物体相对于所述作业机械的相对位置的变化方式输出不同的警报，所述第一指定输出装置是所述多个输出装置中的、与以所述作业机械为基准的所述第一指定对象空间的方位对应地配置在所述作业机械的驾驶空间中的输出装置。[附图的简单说明]
[0007]
图1是关于作为本发明的一个实施方式的作业机械用周边监视装置的结构的说明
图。图2是作为作业机械的履带式挖土机的侧视图。图3是作为作业机械的履带式挖土机的俯视图。图4是关于驾驶室的内部空间的说明图。图5是关于对象空间的说明图。图6是关于第一实施方式的作业机械用周边监视装置的功能的说明图。图7a是关于上部回转体逆时针回转时的第一指定对象空间的说明图。图7b是关于上部回转体顺时针回转时的第一指定对象空间的说明图。图7c是关于作业机械后退时的第一指定对象空间的说明图。图8a是关于作为一例的多个环状空间和物体相对于作业机械的相对位移方式的说明图。图8b是关于作为变形例的多个环状空间的说明图。图9a是关于警报音的声压的时间变化方式的说明图。图9b是关于警报音的频率的时间变化方式的说明图。图9c是关于警报音(断续音)的周期的时间变化方式的说明图。图10a是关于物体相对于作业机械的相对速度的时间变化方式的说明图。图10b是关于警报音的声压的时间变化方式的说明图。图11是关于物体相对于作业机械的位移方式的说明图。图12是关于以作业机械为基准的物体的方位角和警报音的时间变化方式的说明图。图13是关于第二实施方式的作业机械用周边监视装置的第一功能的说明图。图14是关于第二实施方式的作业机械用周边监视装置的第二功能的说明图。图15a是关于作业机械周边的物体的分离的说明图。图15b是关于作业机械周边的物体的接近的说明图。图16a是关于作为警报输出方式的声频的时间变化方式的说明图。图16b是关于作为警报输出方式的声压级的时间变化方式的说明图。图16c是关于作为警报输出方式的光频率的时间变化方式的说明图。图16d是关于作为警报输出方式的亮度的时间变化方式的说明图。
[具体实施方式]
(结构)
[0008]
图1所示的作为本发明的一个实施方式的作业机械用周边监视装置100构成为，监视作业机械200的周边的状况，并根据该状况向通过操作装置400操作作业机械200的操作者输出警报。作业机械用周边监视装置100具备第一检测元件111、第二检测元件112、第一控制元件121、第二控制元件122以及多个输出装置130。
[0009]
作业机械200例如是履带式挖土机(建筑机械)，如图2和图3所示，具备履带式的下部行驶体210和经由回转机构230能够回转地搭载于下部行驶体210的上部回转体220。在上部回转体220的前方左侧部设置有驾驶室(驾驶舱)222。在上部回转体220的前方中央部设置有作业附件240。
[0010]
作业附件240具备：动臂241，其可起伏地安装于上部回转体220；斗杆243，其可转动地连结于动臂241的前端；以及铲斗245，其可转动地连结于斗杆243的前端。在作业附件240上安装有由可伸缩的液压缸构成的动臂缸242、斗杆缸244以及铲斗缸246。
[0011]
动臂缸242介于该动臂241与上部回转体14之间，以通过接受工作油的供给而伸缩，从而使动臂241在起伏方向上转动。斗杆缸244介于该斗杆243与该动臂241之间，以通过接受工作油的供给而伸缩，从而使斗杆243相对于动臂241绕水平轴转动。铲斗缸246介于该铲斗245与该斗杆243之间，以通过接受工作油的供给而伸缩，从而使铲斗245相对于斗杆243绕水平轴转动。
[0012]
操作装置400包括行驶用操作装置、回转用操作装置、动臂用操作装置、斗杆用操作装置以及铲斗用操作装置。各操作装置具有接受转动操作的操作杆。行驶用操作装置的操作杆(行驶杆)接受操作以使下部行驶体210工作。行驶杆也可以兼作行驶踏板。例如，也可以设置固定于行驶杆的基部或下端部的行驶踏板。回转用操作装置的操作杆(回转杆)接受操作以使构成回转机构230的液压式回转马达工作。动臂用操作装置的操作杆(动臂杆)接受操作以使动臂缸242工作。斗杆用操作装置的操作杆(斗杆杆)接受操作以使斗杆缸244工作。铲斗用操作装置的操作杆(铲斗杆)接受操作以使铲斗缸246工作。操作装置400具备无线通信装置，其用于以无线方式与搭载于作业机械200的实机侧无线通信装置进行通信。
[0013]
构成操作装置400的各操作杆设置于操作者在远程操作室中就座的座椅402的周围。例如，如图4所示，可以在座椅402的前方左右横向排列地配置与左右履带对应的左右一对行驶杆410。座椅402是带扶手的高靠背座椅那样的形态，但也可以是操作者能够就座的任意形态，例如没有头枕的低靠背座椅那样的形态、或者没有靠背的座椅那样的形态等。
[0014]
在驾驶室222中设置有：实机侧操作杆，其与设置在远程操作室中的操作杆对应；以及驱动机构或机器人，其从远程操作室接收与各操作杆的操作方式对应的信号，并基于该接收信号使实机操作杆工作。实机侧操作杆也可以由存在于驾驶室222的操作者直接操作。即，操作装置400也可以由该实机操作杆和从与操作方向对应的端口输出与该操作量对应的大小的先导压的遥控阀构成。在该情况下，操作装置400也可以构成为能够以有线方式而非无线方式与作业机械200进行通信。
[0015]
一个操作杆也可以兼作多个操作杆。例如，图4所示的设置于座椅402的右侧框架的前方的右侧操作杆420可以在沿前后方向操作的情况下作为动臂杆发挥功能，并且也可以在沿左右方向操作的情况下作为铲斗杆发挥功能。同样地，图4所示的设置于座椅402的左侧框架的前方的左侧操作杆440可以在沿前后方向操作的情况下作为斗杆杆发挥功能，并且也可以在沿左右方向操作的情况下作为回转杆发挥功能。杆模式也可以根据操作者的操作指示而任意地变更。
[0016]
第一检测元件111检测操作者对用于使作业机械200动作的操作装置400的操作状态。例如，第一检测元件111由以下部分构成：传感器，其输出与由弹簧或弹性部件构成的施力机构的变形量或位移量对应的信号，弹簧或弹性部件的作用是使操作杆恢复到与操作量0对应的原始位置和姿势；以及运算处理装置，其基于该传感器的输出信号，推定回转杆接受了操作，除此以外还推定动臂、斗杆、铲斗等接受了操作，以使上部回转体220从上方观察时沿逆时针以某一速度回转。
[0017]
第一检测元件111也可以由以下部分构成：先导压传感器，其根据与实机侧操作杆
的操作量对应的先导压输出信号；以及运算处理装置，其基于该先导压传感器的输出信号，推定回转杆接受了操作，除此以外还推定动臂、斗杆、铲斗等接受了操作，以使上部回转体220从上方观察时沿逆时针以某一速度回转。
[0018]
第二检测元件112检测存在于作业机械200周围的物体的位置。第二检测元件112由运算处理装置构成，该运算处理装置基于分别配置于上部回转体220的右侧、前侧、左侧和后侧的右侧传感器c1、前方传感器c2、左侧传感器c3和后方传感器c4以及传感器c1～c4各自的输出信号，确定位置和姿势相对于上部旋转体220固定的作业机械坐标系(x，y，z)(参照图3)中的物体的实际空间位置。传感器c1～c4分别由例如tof方式的距离图像传感器构成。除了距离图像传感器以外，传感器c1～c4也可以分别由能够感测以亮度、色彩等距离以外的物理量为像素值的图像的ccd照相机等摄像装置构成。
[0019]
基于由各传感器c1～c4得到的三维距离图像中的像素位置和像素值(距离)，确定存在于该像素位置的物体在各传感器坐标系中的三维位置。基于物体在各传感器坐标系中的三维位置，根据表示各传感器c1～c4在作业机械坐标系中的位置和姿势的坐标变换算子(旋转矩阵或四元数)，求出该物体在作业机械坐标系中的三维位置。
[0020]
传感器c1～c4分别获取分别存在于大致扇形柱状的右侧检测对象空间a1、前方检测对象空间a2、左侧检测对象空间a3和后方检测对象空间a4的物体的距离图像，这些对象空间分别向图3所示的上部回转体220的右侧、前方、左侧和后方扩展。期望右侧检测对象空间a1和左侧检测对象空间a3中的每一个与前方检测对象空间a2和后方检测对象空间a4中的每一个部分重叠，但也可以不重叠。
[0021]
例如，在上部回转体220绕z轴逆时针回转的情况下，与存在于上部回转体220的左斜前方和右斜后方的空间中的物体的接触可能性变高(参照图8a)。在上部回转体220绕z轴顺时针回转的情况下，与存在于上部回转体220的右斜前方和左斜后方的空间中的物体的接触可能性变高(参照图8b)。在作业机械200后退的情况下，与存在于作业机械200的后方的空间中的物体的接触可能性变高(参照图8c)。
[0022]
鉴于这些情况，在本实施方式中，如图5所示，将分别以上部回转体220的右斜前方、前方、左斜前方、左斜后方、后方和右斜后方为基准而扩展的大致扇形柱状的右斜前方对象空间s1、前方对象空间s2、左斜前方对象空间s3、左斜后方对象空间s4、后方对象空间s5和右斜后方对象空间s6定义为“多个对象空间”。作业机械坐标系(x，y，z)中的对象空间s1～s6各自的延伸方式(表示一个或多个边界面(平面或曲面)的方程式)保存在存储装置中。与各空间对应的大致扇形柱的上表面和下表面分别可以为水平面(与x
‑
y平面平行的平面)，也可以为倾斜面。与各空间对应的大致扇形柱的上表面和下表面各自的重心的z坐标值可以相同，也可以不同。
[0023]
多个输出装置130分别在作业机械200的驾驶空间即远程操作室(或驾驶室222的内部空间)中，以操作者就座的座椅402(操作者的所在位置)的座部为基准，作为右斜前方输出装置131、前方输出装置132、左斜前方输出装置133、左斜后方输出装置134、后方输出装置135和右斜后方输出装置136分别配置在右斜前方、前方、左斜前方、左斜后方、后方和右斜后方，从而以作业机械200为基准对应于多个对象空间s1～s3各自的方位。输出装置131～133例如由显示器等图像输出装置和扬声器等语音输出装置构成，通过图像和语音向操作者输出警报。输出装置134～136例如由扬声器等语音输出装置构成，通过语音对操作
者输出警报。
[0024]
第一控制元件121根据从由第一检测元件111检测到的操作状态预测的作业机械200的动作方式，确定多个对象空间中的至少一部分即第一指定对象空间。
[0025]
第二控制元件122在由第一控制元件121确定的第一指定对象空间中包含由第二检测元件112检测到的物体的位置的情况下，使第一指定输出装置根据通过由第二检测元件112检测到的物体的位置的时间序列而确定的物体相对于作业机械200的相对位置的变化方式输出不同的警报，上述第一指定输出装置是多个输出装置130中的、与以作业机械200为基准的第一指定对象空间的方位对应地配置在作业机械200的驾驶空间中的输出装置。
[0026]
第一控制元件121和第二控制元件122分别由共用或单独的运算处理装置(单核处理器或多核处理器或构成该处理器的处理器核)构成，从存储器等存储装置读取必要的数据和软件，以该数据为对象执行根据该软件的运算处理，由此输出该运算处理结果。(功能)
[0027]
对上述结构的作业机械用周边监视装置100的功能进行说明。(第一实施方式)
[0028]
通过第一检测元件111检测操作者对用于使作业机械200动作的操作装置400的操作状态(图6/step102)。例如，根据回转杆的操作量，检测到回转杆接受了操作以使上部回转体220从上方观察时沿逆时针或顺时针以某一速度回转。
[0029]
通过第一控制元件121，基于由第一检测元件111检测到的操作状态，预测作业机械200的动作方式(图6/step104)。例如，根据回转杆的操作状态，如图7a中白色箭头所示，作为作业机械200的动作方式，预测上部回转体220从上方观察时沿逆时针以某一速度回转。根据回转杆的操作状态，如图7b中白色箭头所示，作为作业机械200的动作方式，预测上部回转体220从上方观察时沿顺时针以某一速度回转。根据行驶杆的操作状态，如图7c中白色箭头所示，作为作业机械200的动作方式，预测下部行驶体210以某一速度后退，进而作业机械200整体以某一速度后退。
[0030]
通过第一控制元件121，基于作业机械200的动作方式的预测结果，将多个对象空间中的一部分确定为第一指定对象空间(图6/step106)。例如，在预测出上部回转体220从上方观察时沿逆时针以某一速度回转的情况下，将多个对象空间s1～s6中的上部回转体220的左斜前方对象空间s3和右斜后方对象空间s6中的至少一方确定为第一指定对象空间(参照图7a)。在预测出上部回转体220从上方观察时沿顺时针以某一速度回转的情况下，将多个对象空间s1～s6中的右斜前方对象空间s1和左斜后方对象空间s4中的至少一方确定为第一指定对象空间(参照图7b)。在预测出作业机械200以某一速度后退的情况下，将多个对象空间s1～s6中的后方对象空间s5确定为第一指定对象空间(参照图7c)。另外，也可以将多个对象空间全部确定为第一指定对象空间。
[0031]
通过第二控制元件122判定在由第一控制元件121确定的第一指定对象空间中是否包含由第二检测元件112检测到的物体的位置(图6/step108)。
[0032]
在判定为在第一指定对象空间中不包含物体的位置的情况下(图6/step108 no)，本次控制周期中的一系列处理结束。在判定为在第一指定对象空间中包含物体的位置的情况下(图6/step108 yes)，第二检测元件112使第一指定输出装置输出警报(图6/step110)。
[0033]
该警报的输出方式根据物体相对于作业机械200的相对距离、该相对距离的变化速度、物体相对于作业机械200的相对方位、以及该相对方位的变化速度中的至少一个的不同被差异化。
[0034]
如图8a所示，定义了以上部回转体220相对于下部行驶体210的回转轴线为基准点的同心圆环状的多个环状区域r11～r14。也可以是，以越是在该多个环状区域r11～r14中存在物体的环状区域接近基准点的情况下从输出装置130或第一指定输出装置输出的警报的等级(识别容易度或注意唤起力)越高的方式，控制该警报的输出方式。
[0035]
例如，如图8b所示，定义了以上部回转体220相对于下部行驶体210的回转轴线为基准点的同心矩形环状的多个环状区域r21～r23。也可以是，在作业机械200的驾驶空间即远程操作室(或驾驶室222的内部空间)中，以操作者就座的座椅402(操作者的所在位置)的座部为基准点定义多个环状区域。
[0036]
在此，对以下情况进行考察：物体q以在时刻t＝t1位于环状区域r14所包含的作业机械200的右后方位置、在时刻t＝t2位于环状区域r13所包含的作业机械200的后方位置、在时刻t＝t3位于环状区域r14所包含的作业机械200的左后方位置的方式进行了移动(参照图8a/箭头q(t＝t1)
→
q(t＝t2)和箭头q(t＝t2)
→
q(t＝t3))。即，在期间t＝t1～t2中，作业机械200与物体q的间隔逐渐变窄，在期间t＝t2～t3中，作业机械200与物体q的间隔逐渐变宽。
[0037]
在该情况下，在期间t＝t1～t2中，作业机械200与物体q的间隔逐渐变窄，与此相应地，警报等级(例如从下限值)逐渐增加。另一方面，在期间t＝t2～t3中，作业机械200与物体q的间隔逐渐变宽，与此相应地，警报等级逐渐降低(例如到下限值)。警报音的声压、频率和断续周期中的至少一个要素根据该间隔的变化方式而被控制。
[0038]
在警报等级的高低由“声压(或警报音的音量)”的高低来表现的情况下，如图9a所示，警报的声压在期间t＝t1～t2中以在中途超过基准声压的方式逐渐上升，而在期间t＝t2～t3中以在中途低于基准声压的方式逐渐降低。为了使操作者直观地识别出警报的声压的高低与物体q相对于作业机械200的相对位置的相关关系，根据作业机械200与物体q的间隔的宽窄来设定或控制警报的声压的大小。也可以设定为，在物体q存在于作业机械200中的基准点与作业附件240的前端或铲斗245的位置的最大间隔和最小间隔的中间间隔相对应的位置的情况下，以基准声压输出警报。
[0039]
在警报等级的高低由“警报音的频率”的高低来表现的情况下，如图9b所示，警报音的频率在期间t＝t1～t2中以在中途超过基准频率的方式逐渐上升，而在期间t＝t2～t3中以在中途低于基准频率的方式逐渐降低。也可以设定为，在物体q存在于作业机械200中的基准点与作业附件240的前端或铲斗245的位置的最大间隔和最小间隔的中间间隔相对应的位置的情况下，输出基准频率的警报音。
[0040]
在警报等级的高低由“警报音的断续周期”的长短来表现的情况下，如图9c所示，警报音的断续周期在期间t＝t1～t2中以在中途低于基准周期的方式逐渐变短，而在期间t＝t2～t3中以在中途超过基准周期的方式逐渐变长。也可以设定为，在物体q存在于作业机械200中的基准点与作业附件240的前端或铲斗245的位置之间的最大间隔和最小间隔的中间间隔相对应的位置的情况下，以基准周期输出警报音。
[0041]
也可以除了警报音以外或代替警报音，以从警报灯等发光器件或具有发光器件的
发光装置发出的光的方式输出警报。例如，也可以使从警报灯发出的光的波长(颜色)、亮度(明亮度)和闪烁周期(明暗的切换频度)中的至少一个要素根据作业机械200与物体q的间隔而变化。
[0042]
另外，基于物体的上次位置(上次控制周期中的检测位置)或上次以前的规定期间内的位置的位移方式和物体的本次位置的位移方式，求出该物体相对于作业机械200的相对速度v。也可以是，在额外考虑了与作业机械200的平移和上部回转体220的回转等作业机械200的动作状态对应的、世界坐标系中的作业机械坐标系的位置和姿势中的一方的相对变化方式的基础上，求出该物体相对于作业机械200的相对速度v。
[0043]
在物体q如图8a所例示的那样移动的情况下，物体q相对于作业机械200的相对速度如图10a所示那样变化。即，在期间[t1，t2]中，物体q相对于作业机械200的相对速度从负值(物体q接近作业机械200的状态)起，其大小逐渐变小而达到0。在期间[t2，t3]中，物体q相对于作业机械200的相对速度从0起，其大小逐渐变大而达到正值(物体q远离作业机械200的状态)。
[0044]
在物体q的速度如图10a所示那样变化的情况下，在期间[t1，t2]中，警报等级从最大值降低，并且其降低速度逐渐变小，而在期间[t2，t3]中，警报等级降低，并且其降低速度逐渐变大。
[0045]
在警报等级由声压表示的情况下，如图10b所示，在期间[t1，t2]中，声压从最大声压降低到基准声压，在期间[t2，t3]中，从基准声压降低到最小声压。在警报等级由声音的频率或断续音的间隔或光的频率或光的闪烁周期表示的情况下，也可以与上述同样地调节警报等级。
[0046]
另外，也可以构成为使与对象空间s1～s6对应的指定输出装置各自的警报的音色不同。例如，也可以是，在物体位于作业机械200的右侧的空间中的情况下，采用第一音色(例如：蜂鸣音)作为警报音，在物体位于作业机械200的左侧的空间中的情况下，采用第二音色(例如：哨子声)作为警报音。能够通过音色来区分物体位于哪个对象空间。此外，也可以向作业机械200的后方分配第三音色。
[0047]
也可以构成为根据由该物体相对于作业机械200的相对位置确定的相对距离来使音色不同。例如，还如图1所示，在定义了以上部回转体220相对于下部行驶体210的回转轴线为基准点的同心圆环状的多个环状区域r11～r14的情况下，能够构成为，越是在该多个环状空间中靠近基准点的环状空间中存在物体的情况下，越追加警报。例如，在物体位于比r14靠外侧时，仅通过第一音色进行警报，如果物体接近至内侧的r13，则除了第一音色以外，还叠加第二音色进行警报。能够根据音色的叠加情况对物体的接近度进行警报。
[0048]
如图11所示，在物体q沿着以上部回转体220相对于下部行驶体210的回转轴线为中心的圆弧移动的情况下，作业机械200与物体q的相对距离和相对速度不变，因此在物体q的移动速度高的情况下需要强化警报的其他手段。在该情况下，也可以调节为，根据如图12上侧所示的物体q的方位角速度的增减，警报音的声压或频率如图12下侧所示那样变化。(作用效果)
[0049]
根据基于操作者对作业机械200的操作装置400的操作状态而预测的作业机械200的动作方式，将多个对象空间中的至少一部分确定为“第一指定对象空间”(参照图6/step102～step106、图7a～图7c)。在物体的位置包含在第一指定对象空间中的情况下，由
第一指定输出装置输出警报，该警报根据作业机械200与物体的相对位置的变化方式而被差异化(参照图6/step110、图8a、图8b、图9a、图9b、图9c、图10a、图10b、图11和图12)。第一指定输出装置在作业机械200的驾驶空间中以操作者的所在位置(座椅402的位置)为基准，配置在与以作业机械200为基准的第一指定对象空间的方位对应的方位处(参照图4)。
[0050]
由此，当就座于座椅402的操作者在作业机械200的驾驶空间中对操作装置400进行了操作时，在由第一指定输出装置输出了警报的情况下，能够使操作者直观地识别出在与该操作状态对应的作业机械200的动作方向上存在物体。根据由作业机械200与物体q的相对位置确定的作业机械200与物体q的间隔的变化方式的不同，使第一指定输出装置以不同方式输出警报。由此，能够使操作者根据由第一指定输出装置输出的警报的不同，直观地识别出作业机械200与物体的间隔的变化方式、例如是相对接近还是远离的不同。
[0051]
能够设定为，在作业机械200与物体的间隔变小的情况下，提高警报等级。能够设定为，在作业机械200与物体的间隔变大的情况下，降低警报等级。
[0052]
根据该结构的作业机械用周边监视装置100，能够使操作者根据由第一指定输出装置输出的警报的变化方式的不同，直观地识别出作业机械200与物体是相对接近还是远离的不同。
[0053]
能够设定为，在物体相对于作业机械200的相对速度小(接近)的情况下，提高警报等级。能够设定为，在物体相对于作业机械200的相对速度大(远离)的情况下，降低警报等级。
[0054]
根据该结构的作业机械用周边监视装置100，能够使操作者根据作为由第一指定输出装置输出的警报的声音的变化方式的不同，直观地识别出物体相对于作业机械200的相对速度的不同。
[0055]
在上述实施方式中，对通过一个警报手段进行一种警报的方法进行了说明。通过警报音的声压、频率和间隔中的任一个进行一种警报，除此之外，存在根据警告灯的波长、亮度和周期进行另一种警报的情况。
[0056]
另一方面，也可以使用警报手段所具有的多个要素进行多个警报。例如，存在通过警报音的声压对物体相对于作业机械200的相对距离进行警报、通过警报音的频率对物体的相对速度进行警报的情况。这样，操作者能够仅通过一个警报(警报音)来识别多个警报。也可以使另一个警报手段(警报灯)负责另一个警报。另外，警报手段的警报要素与警报内容的对应关系可以适当地确定。
[0057]
在上述实施方式中，警报构成为根据距离、速度连续地变化，但也可以不连续。例如，也可以将警报限定为几个简单的警报。(第二实施方式)(功能)
[0058]
通过第一检测元件111检测操作者对用于使作业机械200动作的操作装置400的操作状态(图13/step202)。例如，根据回转杆的操作量，检测到回转杆接受了操作以使上部回转体220从上方观察时沿逆时针或顺时针以某一速度回转。
[0059]
通过第一控制元件121，基于由第一检测元件111检测到的操作状态，预测作业机械200的动作方式(图13/step204)。例如，根据回转杆的操作状态，与第一实施方式的例示同样地预测作业机械200的动作方式(参照图7a～图7c)。
[0060]
通过第一控制元件121，基于作业机械200的动作方式的预测结果，确定多个对象空间中的至少一部分即第一指定对象空间(图13/step206)。例如，与第一实施方式的例示同样地，将多个对象空间s1～s6中的至少一个对象空间确定为第一指定对象空间(参照图7a～图7c)。
[0061]
通过第二控制元件122判定在由第一控制元件121确定的第一指定对象空间中是否包含由第二检测元件112检测到的物体的位置(图13/step208)。
[0062]
在判定为在第一指定对象空间中不包含物体的位置的情况下(图13/step208 no)，本次控制周期中的一系列处理结束。在判定为在第一指定对象空间中包含物体的位置的情况下(图13/step208 yes)，通过第二控制元件122判定该物体相对于作业机械200的相对速度v是
‑
ε1≤v≤ε2、0＜ε2＜v和v＜
‑
ε1＜0中的哪一个(图13/step210)。
[0063]
在该物体相对于作业机械200的相对速度v为
“‑
ε1≤v≤ε
2”的情况下，相当于物体q相对于作业机械200几乎不移动的情况，在“ε2＜v”的情况(v大于正值ε2的情况)下，相当于物体q远离作业机械200的情况，在“v＜
‑
ε
1”的情况(v小于负值
‑
ε1的情况)下，相当于物体q接近作业机械200的情况。例如，根据关系式0≤ε1＜ε2设定ε1和ε2，ε1＝0.5km/h，ε2＝0.5km/h。
[0064]
在ε2＜v的情况下，如图15a所示，相当于处于第一指定对象范围(右斜后方对象范围s6)内的物体q与作业机械200分离的状态。在v＜
‑
ε1的情况下，如图15b所示，相当于处于第一指定对象范围(右斜后方对象范围s6)内的物体q接近作业机械200的状态。
[0065]
基于物体的上次位置(上次控制周期中的检测位置)或上次以前的规定期间内的位置的位移方式和物体的本次位置的位移方式，求出该物体相对于作业机械200的相对速度v。也可以是，在额外考虑了与作业机械200的平移和上部回转体220的回转等作业机械200的动作状态对应的、世界坐标系中的作业机械坐标系的位置和姿势中的一方的相对变化方式的基础上，求出该物体相对于作业机械200的相对速度v。
[0066]
在判定为该物体相对于作业机械200的相对速度v为
‑
ε1≤v≤ε2的情况下(图13/step210 1)，通过第二控制元件122使多个输出装置130中的第一指定输出装置输出方式“0”的警报(图13/step212)。“第一指定输出装置”是多个输出装置130中的、与以作业机械200为基准的第一指定对象空间的方位对应地配置在作业机械200的驾驶空间中的输出装置。例如，在第一指定对象空间为右斜后方对象空间s6的情况下，右斜后方输出装置136作为第一指定输出装置输出警报(参照图4和图5)。在第一指定对象空间为左斜后方对象空间s4的情况下，左斜后方输出装置134作为第一指定输出装置输出警报。在第一指定对象空间为后方对象空间s5的情况下，后方输出装置135作为第一指定输出装置输出警报。
[0067]
在判定为该物体相对于作业机械200的相对速度v为ε2＜v的情况下(图13/step210 2)，通过第二控制元件122判定该相对速度v的大小|v|是否小于v1(＞ε2)(图13/step214)。在该判定结果为肯定的情况下(图13/step214 yes)，通过第二控制元件122使第一指定输出装置输出方式“1
‑
1”的警报(图13/step216)。在该判定结果为否定的情况下(图13/step214 no)，通过第二控制元件122使第一指定输出装置输出方式“1
‑
2”的警报(图13/step218)。
[0068]
在判定为该物体相对于作业机械200的相对速度v为v＜
‑
ε1的情况下(图13/step210 3)，通过第二控制元件122判定该相对速度v的大小|v|是否小于v2(＞ε1)(图13/
step220)。在该判定结果为肯定的情况下(图13/step220 yes)，通过第二控制元件122使第一指定输出装置输出方式“2
‑
1”的警报(图13/step222)。在该判定结果为否定的情况下(图13/step220 no)，通过第二控制元件122使第一指定输出装置输出方式“2
‑
2”的警报(图13/step224)。
[0069]
方式“0”、方式“1
‑
1”、方式“1
‑
2”、方式“2
‑
1”和方式“2
‑
2”相互不同。例如，在警报中包含声音的情况(输出装置130由包括压电器件等的语音输出装置构成的情况)下，如图16a所示，方式0的声频f＝f0(t)恒定。方式“1
‑
1”、方式“1
‑
2”、方式“2
‑
1”和方式“2
‑
2”被设定为频率与方式“0”的声频f＝f0(t)不同。在图16a～图16d中，时刻t例如与警告周期对应，在每个时刻t进行警报。也可以是，在方式0以外的警报中，在警报周期中，声频在强化的情况下逐渐增加，在弱化的情况下逐渐降低。
[0070]
在该物体相对于作业机械200的相对速度v发生变化的情况下，警报变化为方式“0”、方式“1
‑
1”、方式“1
‑
2”、方式“2
‑
1”和方式“2
‑
2”中的任意一个。
[0071]
另外，在上述实施方式中，方式“1
‑
1”和“1
‑
2”、方式“2
‑
1”和“2
‑
2”分别对应两种警报等级，但也可以对应三种以上的警报等级。与通过两种警报来表现相比，能够更精细地对远近速度进行警报。
[0072]
不限于警报音的频率，警报音的声压、间隔以及警告灯的波长、亮度、周期等也同样可以设为多种警报。
[0073]
通过这样构成，仅通过方式“0”、方式“1
‑
1”、方式“1
‑
2”、方式“2
‑
1”和方式“2
‑
2”进行警报，因此能够简化警报。操作者能够通过简化后的警报容易地掌握作业机械200与物体的间隔的变化方式。
[0074]
方式1
‑
2的声频f＝f1‑2(t)的降低速度可以调节为比方式1
‑
1的声频f＝f1‑1(t)的降低速度高。方式1
‑
2的声频f＝f1‑2(t)的下限值可以调节为比方式1
‑
1的声频f＝f1‑1(t)的下限值低。方式2
‑
2的声频f＝f2‑2(t)的上升速度可以调节为比方式2
‑
1的声频f＝f2‑1(t)的上升速度高。方式2
‑
2的声频f＝f1‑2(t)的上限值可以调节为比方式2
‑
1的声频f＝f1‑1(t)的上限值高。
[0075]
如图16b所示，方式0的声压级s＝s0(t)恒定。与此相对，方式1
‑
1的声压级s＝s1‑1(t)和方式1
‑
2的声压级s＝s1‑2(t)可以以随时刻t从s＝s0(t)分别逐渐降低到不同下限值的方式变化。方式2
‑
1的声压级s＝s2‑1(t)和方式2
‑
2的声压级s＝s2‑2(t)可以以随时刻t从s＝s0(t)分别逐渐上升到不同上限值的方式变化。
[0076]
方式1
‑
2的声压级s＝s1‑2(t)的降低速度可以调节为比方式1
‑
1的声压级s＝s1‑1(t)的降低速度高。方式1
‑
2的声压级s＝s1‑2(t)的下限值可以调节为比方式1
‑
1的声压级s＝s1‑1(t)的下限值低。方式2
‑
2的声压级s＝s2‑2(t)的上升速度可以调节为比方式2
‑
1的声压级s＝s2‑1(t)的上升速度高。方式2
‑
2的声压级s＝s1‑2(t)的上限值可以调节为比方式2
‑
1的声压级s＝s1‑1(t)的上限值高。
[0077]
例如，在警报中包含可见光的情况(输出装置130由图像输出装置或led等发光器件构成的情况)下，如图16c所示，方式0的可见光频率ν＝ν0(t)恒定。与此相对，方式1
‑
1的可见光频率ν＝ν1‑1(t)和方式1
‑
2的可见光频率ν＝ν1‑2(t)可以以随时刻t从ν＝ν0(t)分别逐渐降低到不同下限值的方式变化。方式2
‑
1的可见光频率ν＝ν2‑1(t)和方式2
‑
2的可见光频率ν＝ν2‑2(t)可以以随时刻t从ν＝ν0(t)分别逐渐上升到不同上限值的方式变化。
[0078]
方式1
‑
2的可见光频率ν＝ν1‑2(t)的降低速度可以调节为比方式1
‑
1的可见光频率ν＝ν1‑1(t)的降低速度高。方式1
‑
2的可见光频率ν＝ν1‑2(t)的下限值可以调节为比方式1
‑
1的可见光频率ν＝ν1‑1(t)的下限值低。方式2
‑
2的可见光频率ν＝ν2‑2(t)的上升速度可以调节为比方式2
‑
1的可见光频率ν＝ν2‑1(t)的上升速度高。方式2
‑
2的可见光频率ν＝ν1‑2(t)的上限值可以调节为比方式2
‑
1的可见光频率ν＝ν1‑1(t)的上限值高。
[0079]
如图16d所示，方式0的亮度l＝l0(t)恒定。与此相对，方式1
‑
1的亮度l＝l1‑1(t)和方式1
‑
2的亮度l＝l1‑2(t)可以以随时刻t从l＝l0(t)分别逐渐降低到不同下限值的方式变化。方式2
‑
1的亮度l＝l2‑1(t)和方式2
‑
2的亮度l＝l2‑2(t)可以以随时刻t从l＝l0(t)分别逐渐上升到不同上限值的方式变化。
[0080]
方式1
‑
2的亮度l＝l1‑2(t)的降低速度可以调节为比方式1
‑
1的亮度l＝l1‑1(t)的降低速度高。方式1
‑
2的亮度l＝l1‑2(t)的下限值可以调节为比方式1
‑
1的亮度l＝l1‑1(t)的下限值低。方式2
‑
2的亮度l＝l2‑2(t)的上升速度可以调节为比方式2
‑
1的亮度l＝l2‑1(t)的上升速度高。方式2
‑
2的亮度l＝l1‑2(t)的上限值可以调节为比方式2
‑
1的亮度l＝l1‑1(t)的上限值高。
[0081]
在按照方式1
‑
1、1
‑
2、2
‑
1和2
‑
2输出了警报的情况下，通过第二控制元件122判定物体的位置是否在多个对象空间中从第一指定对象空间朝向其他对象空间即第二指定对象空间(该物体的移动矢量的延长线是否与其他对象空间重叠)(图14/step226)。
[0082]
在该判定结果为否定的情况下(图14/step226 no)，本次周期中的一系列处理结束。在该判定结果为肯定的情况下(图14/step226 yes)，通过第二控制元件122将该其他对象空间确定为第二指定对象空间(图14/step228)。例如，在存在于作为第一指定对象空间的后方对象空间s5中的物体正在朝向右斜后方对象空间s6移动的情况下，将右斜后方对象空间s6确定为第二指定对象空间。
[0083]
接着，通过第二控制元件122，判定实际空间位置处的物体的速度va是否小于基准速度vat(图14/step230)。在判定为实际空间位置处的物体的速度va小于基准速度vat的情况下(图14/step230 yes)，通过第二控制元件122使第二指定输出装置按照方式p
‑
1(p＝1
‑
1、1
‑
2、2
‑
1、2
‑
2)输出警报(二次警报)(图14/step232)。在判定为实际空间位置处的物体的速度va为基准速度vat以上的情况下(图14/step230 no)，通过第二控制元件122使第二指定输出装置按照方式p
‑
2输出警报(图14/step234)。
[0084]
第二指定输出装置是与以作业机械200为基准的第二指定对象空间的方位对应地配置在驾驶空间中的输出装置。例如，在将右斜后方对象空间s6确定为了第二指定对象空间的情况下，右斜后方输出装置136作为第二指定输出装置输出二次警报。
[0085]
方式p
‑
1和p
‑
2的关系与方式1
‑
1和1
‑
2的关系或方式2
‑
1和2
‑
2的关系相同(参照图16a～图16d)。(作用效果)
[0086]
根据基于操作者对作业机械200的操作装置400的操作状态而预测的作业机械200的动作方式，将多个对象空间中的至少一部分确定为“第一指定对象空间”(参照图13/step202～step206、图7a～图7c)。作业机械200的动作是除了作业机械200的整体动作以外，还包含其一部分即动作部分的动作的概念。在物体的位置包含在第一指定对象空间中的情况下，由第一指定输出装置输出警报，该警报根据作业机械200与物体的相对位置的变
化方式而被差异化(参照图13/step212、218、220、224、226，图16a～图16d)。第一指定输出装置在作业机械200的驾驶空间中以操作者的所在位置(座椅402的位置)为基准，配置在与以作业机械200为基准的第一指定对象空间的方位对应的方位处(参照图4)。“方位”不仅可以由单个方位角来确定，也可以由方位角范围来确定，进一步也可以由仰角范围来确定。
[0087]
由此，当就座于座椅402的操作者在作业机械200的驾驶空间中对操作装置400进行了操作时，在由第一指定输出装置输出了警报的情况下，能够使操作者直观地识别出在与该操作状态对应的作业机械200的动作方向上存在物体。
[0088]
第二控制元件122根据由作业机械200与物体q的相对位置确定的作业机械200与物体q的间隔的变化方式的不同，使第一指定输出装置以不同方式输出警报(参照图16a～图16d)。由此，能够使操作者根据由第一指定输出装置输出的警报的不同，直观地识别出作业机械200与物体的间隔的变化方式、例如是相对接近还是远离的不同(参照图15a和图15b)。
[0089]
第二控制元件122在作业机械200与物体的间隔变小的情况下，使第一指定输出装置输出强化的警报，在作业机械200与物体的间隔变大的情况下，使第一指定输出装置输出弱化的警报。具体而言，在作业机械200与物体的间隔变窄的情况下，使用第一指定输出装置输出频率比较高的声音作为警报(参照图13/step222、224，图16a/f2‑1(t)、f2‑2(t))。在作业机械200与物体的间隔变宽的情况下，使第一指定输出装置输出频率比较低的声音作为警报(参照图13/step216、218，图16a/f1‑1(t)、f1‑2(t))。由此，能够使操作者根据由第一指定输出装置输出的警报的变化方式的不同，直观地识别出作业机械200与物体是相对接近还是远离的不同。即，能够使操作者根据作为由第一指定输出装置输出的警报的声音的多普勒效应那样的频率的变化方式的不同，直观地识别出作业机械200与物体是相对接近还是远离的不同。
[0090]
第二控制元件122以上述作业机械与上述物体的间隔的变化速度越大则由第一指定输出装置输出的警报的强化或弱化的变化速度越大的方式进行调节。具体而言，作业机械200与物体的间隔的变化速度越大，作为由第一指定输出装置输出的警报的声音的频率的变化速度越大(参照图13/step214、216、218，step220、222、224，图16a/f1‑1(t)、f1‑2(t)、f2‑1(t)、f2‑2(t))。由此，能够使操作者根据由第一指定输出装置输出的警报的变化速度的高低，直观地识别出作业机械与物体的间隔的变化速度的高低。
[0091]
在物体的位置在多个对象空间中从第一指定对象空间朝向其他对象空间即第二指定对象空间的情况下，除了第一指定输出装置以外，还使第二指定输出装置输出警报(参照图14/step226、228、230、232、234)。例如，在存在于作为第一指定对象空间的后方对象空间s3中的物体正在朝向作为作业机械200或上部回转体220的第二指定对象空间的右侧对象空间s1移动的情况下，由后方输出装置133输出一次警报，在一次警报的输出开始后、一次警报的输出结束前或一次警报的输出结束后，由右侧输出装置131输出二次警报。此时，也可以是，第二控制元件122根据物体的移动速度的高低，改变使第二指定输出装置输出警报的期间相对于使第一指定输出装置输出警报的期间的比率。
[0092]
由此，能够使操作者根据由第一指定输出装置和第二指定输出装置输出的警报的不同，直观地识别出物体正在从第一指定对象空间朝向其他对象空间移动。能够使操作者直观地识别出物体正在从与多个输出装置131～133中先输出警报的一个输出装置(第一指
定输出装置)在驾驶空间中的配置方位对应的一个对象空间(第一指定对象空间)朝向与后输出警报的其他输出装置(第二指定输出装置)在驾驶空间中的配置方位对应的其他对象空间(第二指定对象空间)移动。(本发明的其他实施方式)
[0093]
也可以是，第一检测元件111检测从操作者与操作装置400的非相互作用状态(例如，操作者未握住或接触操作杆的状态)向相互作用状态(例如，操作者握住或接触操作杆的状态)的转变或者操作装置400在不灵敏区内被操作者操作的状态作为操作者对操作装置400的操作状态。也可以是，在检测到操作杆的操作量不为0、但其大小小于阈值的情况下，检测从操作者与操作装置400的非相互作用状态向相互作用状态的转变或者操作装置400在不灵敏区内被操作者操作的状态。进一步，也可以是，以由第一检测元件111检测到该状态为必要条件，通过第二输出装置122将输出装置130控制在可以输出警报的状态。
[0094]
根据该结构的作业机械用周边监视装置100，能够在操作者很可能有意使作业机械200动作但作业机械200还未开始动作的操作初始阶段，使该操作者直观地识别出在与操作者对操作装置400的操作对应的作业机械200的动作方向上存在物体，并且能够使操作者根据该警报的不同直观地识别出作业机械200与物体的相对位置的变化方式的不同。
[0095]
也可以是，如图10a所示，定义了以上部回转体220相对于下部行驶体210的回转轴线为基准点的同心圆环状的多个环状区域r11～r14。也可以是，如图10b所示，定义了以上部回转体220相对于下部行驶体210的回转轴线为基准点的同心矩形环状的多个环状区域r21～r23。也可以是，在作业机械200的驾驶空间即远程操作室(或驾驶室222的内部空间)中，以操作者就座的座椅402(操作者的所在位置)的座部为基准点定义多个环状区域。
[0096]
也可以搭载用于确认基准警报的功能。例如，通过搭载用于确认物体的速度v为0时的警报音频率或表示物体位于前端铲斗的基准位置时的距离的警报的模式，操作者能够确认警报的基准。
[0097]
也可以是，第二控制元件122在使第一指定输出装置输出警报后，使第二指定输出装置输出警报。
[0098]
根据该结构的作业机械用周边监视装置100，能够使操作者直观地识别出物体正在从与多个输出装置130中先输出警报的一个输出装置(第一指定输出装置)在驾驶空间中的配置方位对应的一个对象空间(第一指定对象空间)朝向与后输出警报的其他输出装置(第二指定输出装置)在驾驶空间中的配置方位对应的其他对象空间(第二指定对象空间)移动。
[0099]
也可以是，第二控制元件122根据物体的移动速度的高低，改变使第二指定输出装置输出警报的期间相对于使第一指定输出装置输出警报的期间的比率。
[0100]
根据该结构的作业机械用周边监视装置，能够如上述那样使操作者直观地识别出物体正在从一个对象空间(第一指定对象空间)朝向其他对象空间(第二指定对象空间)移动。并且，能够使操作者根据第一指定输出装置的警报输出期间与第二指定输出装置的警报输出期间的比，直观地识别出物体的该移动速度的高低。
[0101]
优选的是，第二控制元件122根据作业机械200与物体的相对位置和作业机械200与物体的间隔的变化方式各自的不同，使第一指定输出装置输出警报，其中，构成作为该警报的警报音的多个要素分别以不同方式被差异化。
[0102]
根据该结构的作业机械用周边监视装置，能够通过一个警报手段同时表现物体与作业机械200的相对位置及其变化方式，且能够使操作者直观地识别。[符号说明]100：作业机械用周边监视装置；111：第一检测元件；112：第二检测元件；121：第一控制元件；122：第二控制元件；130：输出装置；131：右斜前方输出装置；132：前方输出装置；133：左斜前方输出装置；134：左斜后方输出装置；135：后方输出装置；136：右斜后方输出装置；200：作业机械；400：操作装置；402：座椅(操作者的所在位置)；a1：右侧检测对象空间；a2：前方检测对象空间；a3：左侧检测对象空间；a4：后方检测对象空间；c1：右侧传感器；c2：前方传感器；c3：左侧传感器；c4：后方传感器；s1：右斜前方对象空间；s2：前方对象空间；s3：左斜前方对象空间；s4：左斜后方对象空间；s5：后方对象空间；s6：右斜后方对象空间。