安全监视系统的制作方法

1.本发明涉及安全监视系统。


背景技术：

2.例如，在施工现场使用的作业机械以及工程机械等中，利用摄像机拍摄周围的障碍物等，并在显示装置显示拍摄到的拍摄图像，从而操作者能够对安全进行确认。
3.专利文献1的作业机械在拍摄图像的基础上，使用距离传感器来检测周围的障碍物或者人，当通过距离传感器检测到障碍物时，则在显示装置显示在周围存在除人以外的障碍物的情况，当通过距离传感器检测到人时，则在显示装置显示在周围存在人的情况。
4.专利文献1：日本特开2020-51156号公报
5.例如，有时操作者无法一边操作工程机械一边注视显示装置，因而不会注意到障碍物或者人的存在。


技术实现要素：

6.本发明是鉴于上述课题而提出的，其目的在于提供一种能够使操作者更容易注意到处于工程机械周围的物体的安全监视系统。
7.本发明所涉及的安全监视系统具备检测装置、显示装置以及控制装置。上述检测装置检测工程机械周围的物体。上述显示装置显示拍摄到的上述工程机械的周围的图像。上述控制装置控制上述检测装置以及上述显示装置。当上述检测装置检测到上述物体时，则上述控制装置控制上述显示装置，以使上述显示装置显示对上述周围的图像实施了镶边加工而成的镶边图像。
8.根据本发明，操作者能够更容易地注意到处于工程机械的周围的物体。
附图说明
9.图1是表示作业车辆的上部旋转体的立体图。
10.图2是表示搭载了安全监视系统的作业车辆的框图。
11.图3是表示由检测装置进行的物体的检测以及镶边图像的图。
12.图4是表示由检测装置进行的与物体的距离的检测、和根据距离而显示于显示部的画面的图。
13.图5是表示由检测装置进行的人或者物的检测的图。
14.图6是表示由检测装置进行的人物的检测、和根据人物的距离而显示于显示部的画面以及从声音输出部输出的警告音的图。
15.图7是从上方观察搭载了安全监视系统的作业车辆而得到的图。
16.图8是表示安全监视系统的图。
17.图9是表示安全监视系统的框图。
18.图10是表示安全监视系统的图。
19.图11是表示本发明的实施方式所涉及的安全监视方法的流程图。
20.附图标记说明
21.1、1a、1b、1c...安全监视系统；10、10b、10l、10r...检测装置；12、12b、12l、12r...摄像机；14、14a、14b、14c、14l、14r...红外线传感器；20...操作装置；22、221、221b、221l、221r...显示部；26、261...显示控制装置；28...声音输出部；30...主控制装置；32、266、321...控制部；100...作业车辆；201、201b、201l、201r...显示装置；265、268...显示控制部；301...控制装置；e1、e1b、e3、e3b...镶边加工；l、l1、l2、la、lb、lc、ls...距离；m1、m1b、m1l、m1r、m3、m3b、m3l、m3r...警告显示；p1...人物；r1、r1b、r1l、r1r...三角锥；v1、v1b、v3、v3b...镶边图像；v2、v2l、v2r、v3l、v3r...摄像机影像。
具体实施方式
22.以下，一边参照附图一边对本发明的实施方式进行说明。此外，对图中相同或者相当的部分标注相同的附图标记且不重复说明。
23.首先，参照图1以及图2，对搭载了本发明的实施方式所涉及的安全监视系统1的作业车辆100进行说明。图1是表示作业车辆100的上部旋转体200的立体图。此外，在图1中，为了容易观察附图，省略了上部旋转体200的顶部。图2是表示搭载了安全监视系统1的作业车辆100的框图。以下，举出作业车辆100为液压挖掘机的情况为例对本实施方式进行说明。液压挖掘机是工程机械的一个例子。安全监视系统1具备检测装置、控制装置以及显示装置。
24.如图1所示，作业车辆100具备上部旋转体200。上部旋转体200能够相对于下部行驶体400(后述的图2)旋转。上部旋转体200由液压泵600(后述的图2)以及液压马达(未图示)驱动而进行旋转。在上部旋转体200安装有作业机300(后述的图2)。
25.具体而言，上部旋转体200具备操纵室205、座位210、多个操作杆220以及配置部件230。
26.在操纵室205配置有操作装置20、检测装置10、座位210、多个操作杆220以及配置部件230。操作者落座于座位210。操作者为作业车辆100的操纵者。多个操作杆220的每一个接受来自操作者的操作。操作杆220是用于操作作业车辆100的操作部件。
27.操作装置20接受来自操作者的操作，执行作业车辆100的操作、各种信息相对于作业车辆100的输入、以及与作业车辆100有关的各种信息的显示。
28.检测装置10检测作业车辆100周围的状态。例如，检测装置10具有拍摄作业车辆100的周围的摄像机12、和红外线传感器14a、14b、14c。检测装置10例如在上部旋转体200设置于座位210后方。
29.例如，在设置于座位210后方的检测装置10中，摄像机12拍摄作业车辆100的后方，并生成摄像机影像。
30.红外线传感器14a、14b、14c例如为tof(time of flight：飞行时间)传感器。具体而言，红外线传感器14a、14b、14c发出红外光。若在从红外线传感器14a、14b、14c射出的红外光的行进方向上存在物体，则射出的红外光被物体反射。被物体反射的反射红外光朝向红外线传感器14a、14b、14c前进。红外线传感器14a、14b、14c接收反射红外光。红外线传感器14a、14b、14c测定从发出红外光到接收到反射红外光的时间，并基于测定的时间来测定至物体的距离。
31.操作装置20显示各种信息，并且接受来自操作者的按压操作。另外，操作装置20显示工程机械的周围的图像。操作装置20具备显示部22和多个按钮24。显示部22例如显示作业车辆100的状态以及gui(graphical user interface：图形用户界面)等与作业车辆100有关的各种信息。另外，显示部22显示由摄像机12拍摄到的摄像机影像。摄像机影像是工程机械的周围的图像的一个例子。
32.显示部22是显示装置的一个例子，例如是液晶显示器或者有机电致发光显示器。显示部22也可以具备触摸面板。该情况下，各按钮24也可以作为gui的小部件而显示于显示部22。
33.如图2所示，作业车辆100除了操作装置20以及上部旋转体200以外，还具备作业机300、下部行驶体400、推土铲(未图示)、发动机部500、液压泵600、控制阀700以及油箱800。另外，操作装置20还具备主控制装置30。主控制装置30例如配置于上部旋转体200的内部的与操作装置20不同的位置。主控制装置30是控制装置的一个例子。
34.作业机300执行作业。具体而言，作业机300具备铲斗(未图示)、斗杆(未图示)、动臂(未图示)、以及多个液压缸(未图示)。
35.在下部行驶体400的上部，经由旋转接头(未图示)而配置有上部旋转体200。下部行驶体400进行行驶。具体而言，下部行驶体400具备一对履带(未图示)、和一对液压马达(未图示)。
36.发动机部500具备发动机501和发动机控制装置503。发动机控制装置503控制发动机501。发动机控制装置503例如为ecu(electronic control unit)。从燃料箱(未图示)对发动机501供给燃料。
37.发动机501驱动液压泵600。其结果是，液压泵600向控制阀700送出压力油。压力油是指被施加了压力的油。控制阀700根据各操作杆220的操作来控制压力油的流动。控制阀700对上部旋转体200的液压马达、作业机300的各液压缸、下部行驶体400的各液压马达、以及驱动推土铲的液压缸(未图示)供给压力油。
38.操作装置20还具备显示控制装置26和声音输出部28。显示控制装置26控制显示部22。显示控制装置26例如为ecu。声音输出部28输出声音。声音输出部28是声音输出装置的一个例子，例如为扬声器或者蜂鸣器。
39.具体而言，显示控制装置26具备控制部261和存储部263。控制部261包括cpu(central processing unit)这样的处理器。存储部263包括存储装置，存储数据以及计算机程序。具体而言，存储部263包括半导体存储器这样的主存储装置、和半导体存储器、固态驱动器以及/或者硬盘驱动器这样的辅助存储装置。存储部263也可以包括可移动媒体。存储部263相当于非暂时性的计算机可读取存储介质的一个例子。
40.控制部261根据显示部22中显示的画面的操作，向主控制装置30输出已输入或者设定的各种信息。
41.控制部261具备显示控制部265。具体而言，控制部261的处理器通过执行存储于存储部263的存储装置中的计算机程序，而作为显示控制部265发挥功能。显示控制部265控制显示部22。例如，显示控制部265根据表示按钮24a～24f是否已被按下的操作信息(开(on)信息或者关(off)信息)，来控制显示部22中显示的画面。显示控制部265的详情后述。
42.主控制装置30控制检测装置10、操作装置20以及发动机部500。主控制装置30例如
为ecu。
43.具体而言，主控制装置30具备控制部32和存储部34。控制部32包括cpu这样的处理器。存储部34包括存储装置，存储数据以及计算机程序。存储部34的硬件结构例如与存储部263的硬件结构相同。
44.控制部32从显示控制装置26的控制部261取得根据显示部22中显示的画面的操作而输入或者设定的各种信息。
45.操作者通过观察显示部22中显示的摄像机影像，能够得知作业车辆100后方的状态。然而，有时操作者无法一边操作作业车辆100一边注视显示部22，因而不会注意到显示部22中显示的摄像机影像中所包含的物体。
46.与此相对地，在本实施方式中，即使在操作者无法注视显示部22的情况下，也能够使操作者容易注意到位于作业车辆100周围的物体。
47.[物体的检测]
[0048]
具体而言，若检测装置10检测到物体，则主控制装置30控制显示部22，以使其显示对摄像机影像实施了镶边加工的镶边图像。
[0049]
接下来，参照图3，对由检测装置10进行的物体的检测以及镶边图像进行说明。图3是表示由检测装置10进行的物体的检测以及镶边图像的图。
[0050]
在图3中，将三角锥r1作为物体的一个例子而由红外线传感器14a、14b、14c综合性地检测到的状态示意性地表示为由红外线传感器14检测到。由各红外线传感器14a、14b、14c进行的检测的详情后述。
[0051]
显示部22通过主控制装置30的控制，显示由摄像机12拍摄到的摄像机影像。摄像机影像是表示作业车辆100后方的图像。在摄像机影像中，包含与位于作业车辆100后方的三角锥r1对应的物品。
[0052]
红外线传感器14发出红外光。从红外线传感器14射出的红外光到达三角锥r1并反射。被三角锥r1反射的反射红外光朝向红外线传感器14前进。红外线传感器14接收反射红外光。
[0053]
红外线传感器14若接收到反射红外光，则判定为在红外光的发光方向上存在物体。另一方面，红外线传感器14若未能接收到反射红外光，则判定为在红外光的发光方向上不存在物体。
[0054]
主控制装置30取得红外线传感器14的判定结果，根据判定结果来控制显示部22，以使其显示对摄像机影像实施了镶边加工e1的镶边图像v1。换言之，若红外线传感器14判定为在红外光的发光方向上存在物体，则显示部22显示对摄像机影像实施了镶边加工e1的镶边图像v1。
[0055]
这样，当在作业车辆100的周围(后方)存在物体的情况下，显示部22的画面整体的显示发生变化，因此操作者容易注意到物体。
[0056]
另外，例如，若红外线传感器14判定为在红外光的发光方向上存在物体，则主控制装置30控制显示部22，以使得在镶边加工e1的基础上，对摄像机影像附加警告显示m1。
[0057]
在本实施方式中，可以根据到物体的距离来变更镶边加工的颜色以及警告显示的颜色。
[0058]
接下来，参照图4，对由检测装置10进行的与物体的距离的检测进行说明。图4是表
示由检测装置10进行的与物体的距离的检测、和根据距离而显示于显示部22的画面的图。
[0059]
检测装置10测定到物体的距离。具体而言，如图4所示，红外线传感器14测定从发出红外光起至接收到被三角锥r1反射的反射红外光为止的时间，并基于测定的时间来算出到三角锥r1的距离。
[0060]
主控制装置30取得由红外线传感器14测定的到三角锥r1的距离，根据取得的距离，决定镶边加工e1以及警告显示m1的颜色。
[0061]
例如，在三角锥r1被布置为距作业车辆100比某个距离l2近的情况下，主控制装置30例如控制显示部22，以使其对摄像机影像附加“黄色”警告显示m1。显示部22通过主控制装置30的控制，显示附加了“黄色”警告显示m1的摄像机影像v2。在图4中，用无阴影表示“黄色”。
[0062]
另一方面，例如，在三角锥r1被布置为距作业车辆100比距离l1近，其中距离l1比距离l2短的情况下，主控制装置30例如控制显示部22，以使其显示对摄像机影像实施了“红色”镶边加工e1并且附加了“红色”警告显示m1的镶边图像v1。
[0063]
此外，在图4中，在三角锥r1被布置为距作业车辆100比某个距离l2近的情况下，对摄像机影像v2不实施镶边加工，但例如也可以实施“黄色”镶边加工。
[0064]
这样，根据到物体的距离，显示部22中显示的画面发生变化，从而能够使操作者对更近的物体加以注意。
[0065]
[人的检测]
[0066]
接下来，参照图5，对由检测装置10进行的人的检测进行说明。图5是表示由检测装置10进行的人或者物的检测的图。在图5中，对由红外线传感器14a、14b、14c进行的人或者物的检测详细进行说明。
[0067]
红外线传感器14a、14b、14c分别向相同的朝向以不同的角度发出红外光。例如，红外线传感器14a以仰角(俯角)α发出红外光，红外线传感器14b以仰角(俯角)β发出红外光，红外线传感器14c以仰角(俯角)γ发出红外光。此外，设为仰角(俯角)α＜仰角(俯角)β＜仰角(俯角)γ。
[0068]
从红外线传感器14a以仰角(俯角)α射出的红外光到达三角锥r1、人物p1或者地面并被反射。被任一者反射的反射红外光由红外线传感器14a接收。
[0069]
红外线传感器14a基于至接收到射出的红外光的反射红外光为止的时间，算出到红外光的反射地点的距离la。红外线传感器14a进一步基于算出的距离la和仰角(俯角)α，算出红外线传感器14a与反射地点之间的距离l。
[0070]
另外，红外线传感器14a基于算出的距离la和仰角(俯角)α，算出红外光的反射地点距地面的高度。具体而言，红外线传感器14a基于算出的距离la和仰角(俯角)α，算出射出的红外光从红外线传感器14a下降了的距离ha。红外线传感器14a通过从设定红外线传感器14a的高度ha减去算出的距离ha，能够算出红外光的反射地点距地面的高度。
[0071]
红外线传感器14b、14c与红外线传感器14a同样地，分别算出红外线传感器14b、14c与反射地点之间的距离lb、lc。红外线传感器14b基于距离lb以及仰角(俯角)β，算出距离l和反射地点距地面的高度。红外线传感器14c基于距离lc以及仰角(俯角)γ，算出距离l和反射地点距地面的高度。
[0072]
例如，红外线传感器14a、14b、14c在算出的反射地点距地面的高度大于零的情况
下，检测为在从红外线传感器14a、14b、14c离开距离l的位置存在物体。
[0073]
在本实施方式中，红外线传感器14a、14b、14c基于反射红外光的强度，来判定物体是否是人。例如，在使用作业车辆100的施工现场中，人物p1穿着红外光的反射率较高的反射背心w1。因此，被人物p1(反射背心w1)反射的反射红外光的强度变强。另一方面，被物(三角锥等)反射的反射红外光的强度与被人物p1(反射背心w1)反射的情况相比变弱。
[0074]
红外线传感器14a、14b、14c测定接收到的反射红外光的强度，在反射红外光的强度强于规定的强度的情况下，判定为反射了红外光的物体是人。另一方面，红外线传感器14a、14b、14c在反射红外光的强度弱于规定的强度的情况下，判定为反射了红外光的物体是物。
[0075]
这里，红外线传感器14a、14b、14c断续地重复红外光的发出和反射红外光的接收，在每次接收到反射红外光时测定反射红外光的强度。例如，红外线传感器14a、14b、14c算出多个反射红外光的强度的平均(平均强度)，在其强于规定的强度的情况下，判定为反射了红外光的物体是人。
[0076]
另外，例如，在三角锥r1具有与反射背心w1相同的反射率的情况下，红外线传感器14a、14b、14c会错误地判定为反射了红外光的三角锥r1是人。
[0077]
为了防止这种情况，即使是反射红外光的强度强于规定的强度的情况，在反射红外光的反射地点距地面的高度低于规定高度的情况下，红外线传感器14a、14b、14c也判定为反射了红外光的物体是物。
[0078]
例如，对红外线传感器14a、14b、14c检测到人物p1的情况、和红外线传感器14a、14b、14c检测到具有与反射背心w1相同的反射率的三角锥r1的情况进行比较来进行说明。此外，在图5中，设为人物p1和三角锥r1位于从红外线传感器14a、14b、14c离开距离l的相同位置。
[0079]
在红外线传感器14a检测到人物p1的情况下，红外线传感器14a如上述那样分别算出到反射地点的距离l、和反射地点距地面的高度h1。另外，红外线传感器14a判定为反射红外光的强度强于规定的强度。反射红外光的强度强于规定的强度，并且反射地点距地面的高度h1高于规定的高度h0，所以红外线传感器14a判定为反射了红外光的物体是人。
[0080]
另一方面，在红外线传感器14b检测到三角锥r1的情况下，红外线传感器14b与上述红外线传感器14a同样地，分别算出到反射地点的距离l、和反射地点距地面的高度h2。另外，红外线传感器14b判定为反射红外光的强度强于规定的强度。反射红外光的强度强于规定的强度，并且反射地点距地面的高度h2低于规定的高度h0，所以红外线传感器14b判定为反射了红外光的物体是物。
[0081]
这样，基于反射红外光的强度和反射了红外光的物体的高度，来判定反射了红外光的物体是人还是物，从而减少对人和物进行错误判定的可能性。
[0082]
另外，在本实施方式中，由红外线传感器14判定为是人的反射红外光的强度(阈值)也可以在检测到人物p1前和检测到人物p1后不同。
[0083]
例如，在检测到人物p1后，由于人物p1的位置以及角度等，存在反射红外光的强度下降而将人物p1错误判定为物的可能性。为了防止这种情况，红外线传感器14若检测到人物p1，则降低反射红外光的阈值。
[0084]
由此，在检测到人物p1后，红外线传感器14持续将人物p1判定为是人，直到反射红
外光的强度低于已降低的阈值为止。因此，在检测到人物p1后将人物p1错误判定为物的可能性变低。
[0085]
[警告音]
[0086]
在本实施方式中，也可以当检测装置10检测到人时使声音输出部28发出警告音。
[0087]
接下来，参照图6，对在本实施方式所涉及的安全监视系统中输出的警告音进行说明。图6是表示由检测装置10进行的人物p1的检测、和根据人物p1的距离而显示于显示部22的画面以及从声音输出部28输出的警告音的图。
[0088]
与图4所示的由检测装置10进行的三角锥r1的检测同样地，若检测装置10检测到人物p1，则主控制装置30取得由红外线传感器14测定的到人物p1的距离，并根据取得的距离来决定镶边加工e1以及警告显示m1的颜色。
[0089]
例如，在人物p1距作业车辆100远于距离l1且近于距离l2的情况下，主控制装置30例如控制显示部22，以使其对摄像机影像附加“黄色”警告显示m1。显示部22通过主控制装置30的控制，显示附加了“黄色”警告显示m1的摄像机影像v2。在图6中用无阴影表示“黄色”。
[0090]
另一方面，例如，在人物p1距作业车辆100近于距离l1的情况下，主控制装置30例如控制显示部22，以使其显示对摄像机影像实施了“红色”镶边加工e1并且附加了“红色”警告显示m1的镶边图像v1。
[0091]
另外，在人物p1近于距离l1的情况下，主控制装置30控制声音输出部28，以使其输出警告音。
[0092]
并且，主控制装置30根据到检测装置10检测到的人物p1的距离，而控制声音输出部28以使其警告音变化。例如，如图6所示，在由检测装置10测定的到人物p1的距离近于距离l1且远于距离ls的情况下，主控制装置30控制声音输出部28，以使其输出断续声音的警告音。另一方面，在到人物p1的距离近于距离ls的情况下，主控制装置30控制声音输出部28，以使其输出连续声音的警告音。
[0093]
在本实施方式中，在人物p1靠近作业车辆100的情况、和从作业车辆100远离的情况下，为距离l1、l2、ls设置迟滞。换言之，例如，从对摄像机影像v2未附加警告显示m1的第一状态变化为对摄像机影像v2附加了警告显示m1的第二状态的距离、和从第二状态变化为第一状态的距离不同。详细而言，从第二状态变化为第一状态的距离大于从第一状态变化为第二状态的距离。
[0094]
具体而言，例如，设为距离l2为10m，距离l1为5m，距离ls为3m。例如，若红外线传感器14判定为从作业车辆100到人物p1的距离超过了10m，则不对显示部22中显示的摄像机影像附加警告显示m1。
[0095]
在该状态下，若人物p1靠近作业车辆100，当红外线传感器14判定为从作业车辆100到人物p1的距离为10m时，则在显示部22显示摄像机影像v2(附加警告显示m1)。
[0096]
假设，在未设置迟滞的情况下，若从该状态人物p1从作业车辆100稍微远离，则红外线传感器14判定为从作业车辆100到人物p1的距离超过了10m，而在显示部22显示未附加警告显示m1的摄像机影像。另外，若人物p1进一步稍微靠近作业车辆100，则在显示部22显示摄像机影像v2(附加警告显示m1)。
[0097]
这样，若未设置迟滞，则在人物p1处于距离l2前后的情况下，存在显示部22的摄像
机影像眼花缭乱地变化，操作者有可能无法准确掌握作业车辆100的周围的状态。
[0098]
因此，在处于从作业车辆100起10m以内的人物p1从作业车辆100远离超过10m的情况下，主控制装置30将距离l2设定为11m。此外，对于距离l1、ls也相同。
[0099]
接下来，参照图7，对本发明的实施方式所涉及的安全监视系统1a进行说明。图7是从上方观察搭载了安全监视系统1a的作业车辆100而得到的图。
[0100]
安全监视系统1a具备检测装置10l、10b、10r、控制装置(主控制装置30)、显示装置(显示部22)。检测装置10l、10b、10r分别检测对应的方向上的物体。具体而言，检测装置10l例如在上部旋转体200设置于座位210的左侧，检测作业车辆100左侧的状态。检测装置10l具有拍摄作业车辆100左侧的摄像机12l、和红外线传感器14l。此外，将检测装置10具有的多个红外线传感器14统称为红外线传感器14l。摄像机12l拍摄作业车辆100的左侧，并生成摄像机影像。红外线传感器14l检测到位于作业车辆100左侧的三角锥r1l，并算出到三角锥r1l的距离。
[0101]
检测装置10b例如在上部旋转体200设置于座位210的后方，检测作业车辆100后方的状态。检测装置10b具有拍摄作业车辆100后方的摄像机12b、和红外线传感器14b。此外，将检测装置10具有的多个红外线传感器14统称为红外线传感器14b。摄像机12b拍摄作业车辆100的后方，并生成摄像机影像。红外线传感器14b检测到位于作业车辆100后方的三角锥r1b，并算出到三角锥r1b的距离。
[0102]
检测装置10r例如在上部旋转体200设置于座位210的右侧，检测作业车辆100右侧的状态。检测装置10r具有拍摄作业车辆100右侧的摄像机12r、和红外线传感器14r。此外，将检测装置10具有的多个红外线传感器14统称为红外线传感器14r。摄像机12r拍摄作业车辆100的右侧，并生成摄像机影像。红外线传感器14r检测到位于作业车辆100右侧的三角锥r1r，并算出到三角锥r1r的距离。
[0103]
检测装置10l、10b、10r各自的动作与安全监视系统1中的检测装置10的动作相同。
[0104]
显示部22通过主控制装置30的控制，将由摄像机12l、12b、12r分别拍摄到的每个方向上的摄像机影像显示于一个画面。
[0105]
具体而言，主控制装置30取得由摄像机12l、12b、12r分别拍摄到的摄像机影像，并控制显示部22以使其将取得的各摄像机影像并列显示在一个画面中。例如，由摄像机12l拍摄到的摄像机影像显示于显示部22中的左上部，由摄像机12b拍摄到的摄像机影像显示于显示部22中的下侧中央部，由摄像机12r拍摄到的摄像机影像显示于显示部22中的右上部。
[0106]
另外，主控制装置30在检测装置10l、10b、10r分别检测到三角锥r1l、r1b、r1r的情况下，根据到三角锥r1l、r1b、r1r的距离，对对应的摄像机影像实施镶边加工，或附加警告显示。
[0107]
具体而言，例如，在检测装置10l检测到三角锥r1l，并且到三角锥r1l的距离为距离l1以上且小于距离l2(图4)的情况下，主控制装置30控制显示部22以使其在显示部22中的左上部显示对由摄像机12l拍摄到的摄像机影像附加了“黄色”警告显示m1l的摄像机影像v2l。
[0108]
另外，例如，在检测装置10b检测到三角锥r1b，并且到三角锥r1b的距离小于距离l1(图4)的情况下，主控制装置30例如控制显示部22以使其在显示部22中的下侧中央部显示对由摄像机12b拍摄到的摄像机影像实施了“红色”镶边加工e1b并且附加了“红色”警告
显示m1b的镶边图像v1b。
[0109]
另外，例如，在检测装置10r检测到三角锥r1r，并且到三角锥r1r的距离为距离l1以上且小于距离l2(图4)的情况下，主控制装置30控制显示部22以使其在显示部22中的右上部显示对由摄像机12r拍摄到的摄像机影像附加了“黄色”警告显示m1r的摄像机影像v2r。
[0110]
这样，检测多个方向上的物体，并能够在一个画面中确认多个方向上的物体，从而能够使操作者确认周围变得更简单。
[0111]
接下来，参照图8以及图9，对本发明的实施方式所涉及的安全监视系统1b进行说明。图8是表示安全监视系统1b的图。图9是表示安全监视系统1b的框图。安全监视系统1b具备检测装置10、控制装置301、显示装置201。
[0112]
检测装置10例如搭载于作业车辆100。作业车辆100以及检测装置10与搭载了安全监视系统1的作业车辆100以及检测装置10相同。
[0113]
控制装置301例如是布置于从使用作业车辆100的施工现场远离的场所的服务器、台式个人计算机或者笔记本个人计算机等。控制装置301具备控制部321和存储部341。控制部321包括cpu这样的处理器。存储部341包括存储装置，其存储数据以及计算机程序。存储部341的硬件结构包括半导体存储器这样的主存储装置、和半导体存储器、固态驱动器以及/或者硬盘驱动器这样的辅助存储装置。存储部341也可以包括可移动媒体。
[0114]
显示装置201例如是布置于与控制装置301相同的场所或者与控制装置301不同的场所的液晶显示器或者有机电致发光显示器等。显示装置201具备显示部221、控制部266以及存储部267。
[0115]
显示部221例如显示包括由设置于作业车辆100的摄像机12拍摄到的摄像机影像在内的与作业车辆100有关的各种信息。
[0116]
存储部267包括存储装置，其存储数据以及计算机程序。具体而言，存储部263包括半导体存储器这样的主存储装置、和半导体存储器、固态驱动器以及/或者硬盘驱动器这样的辅助存储装置。存储部267也可以包括可移动媒体。
[0117]
控制部266包括cpu(central processing unit)这样的处理器。控制部266具备显示控制部268。具体而言，控制部266的处理器通过执行存储于存储部267的存储装置中的计算机程序，来作为显示控制部268发挥功能。显示控制部268控制显示部221。
[0118]
作业车辆100、控制装置301以及显示装置201例如经由有线lan(local area network)以及无线lan等网络n1来相互发送接收信息。
[0119]
例如，作业车辆100的主控制装置30向控制装置301发送表示由检测装置10(摄像机12)拍摄到的摄像机影像的摄像机影像数据、检测装置10(红外线传感器14)的检测结果以及检测装置10(红外线传感器14)测定的到物体的距离。在图8所示的例子中，设为检测装置10检测到三角锥r1，到三角锥r1的距离小于距离l1(图4)。
[0120]
控制装置301的控制部321接收从主控制装置30发送的摄像机影像数据、检测装置10(红外线传感器14)的检测结果以及检测装置10(红外线传感器14)测定的到物体的距离。
[0121]
控制部321基于接收到的摄像机影像数据、检测装置10(红外线传感器14)的检测结果以及检测装置10(红外线传感器14)测定的到物体的距离，生成对摄像机影像数据所表示的摄像机影像实施了镶边加工、或附加了警告显示的加工摄像机影像数据。在图8所示的
例子中，控制部321例如生成包括对接收到的摄像机影像实施了“红色”镶边加工e3并且附加了“红色”警告显示m3的镶边图像v3在内的加工摄像机影像数据vd。
[0122]
控制部321向显示装置201发送已生成的加工摄像机影像数据vd。
[0123]
显示装置201的显示控制部268接收从控制装置301发送的加工摄像机影像数据vd。显示控制部268控制显示部221以使其显示接收到的加工摄像机影像数据vd所表示的摄像机影像。在图8所示的例子中，显示控制部268控制显示部221以使其显示镶边图像v3。
[0124]
这样，在从使用作业车辆100的施工现场远离的场所，容易注意到作业车辆100周围的状态的变化，从而能够更可靠地对施工现场进行安全监视。
[0125]
此外，安全监视系统1b中的作业车辆100例如也可以是图7所示的搭载了安全监视系统1a的作业车辆100。该情况下，在显示装置201显示与图7所示的显示部22中显示的画面相同的画面。
[0126]
接下来，参照图10，对本发明的实施方式所涉及的安全监视系统1c进行说明。图10是表示安全监视系统1c的图。安全监视系统1b具备多个检测装置10l、10b、10r、控制装置301、多个显示装置201l、201b、201r。检测装置10l、10b、10r与图7所示的搭载了安全监视系统1a的作业车辆100中的检测装置10l、10b、10r相同。控制装置301与图8以及图9所示的控制装置301相同。显示装置201l、201b、201r的每一个与图8以及图9所示的显示装置201相同。
[0127]
显示装置201l、201b、201r分别显示包括由设置于作业车辆100的对应的摄像机12拍摄到的摄像机影像在内的与作业车辆100有关的各种信息。具体而言，显示装置201l显示包括由摄像机12l拍摄到的摄像机影像在内的与作业车辆100有关的各种信息。显示装置201b显示包括由摄像机12b拍摄到的摄像机影像在内的与作业车辆100有关的各种信息。显示装置201r显示包括由摄像机12r拍摄到的摄像机影像在内的与作业车辆100有关的各种信息。
[0128]
例如，作业车辆100的主控制装置30向控制装置301发送表示由各检测装置10(摄像机12l、12b、12r)拍摄到的摄像机影像的摄像机影像数据、各检测装置10(红外线传感器14l、14b、14r)各自的检测结果以及各检测装置10(红外线传感器14l、14b、14r)分别测定的到物体的距离。在图10所示的例子中，设为检测装置10l检测到三角锥r1l，且到三角锥r1l的距离为距离l1以上且小于距离l2(图4)，检测装置10b检测到三角锥r1b，且到三角锥r1b的距离为小于距离l1(图4)，检测装置10r检测到三角锥r1r，且到三角锥r1r的距离为小于距离l1(图4)。
[0129]
控制装置301的控制部321接收从主控制装置30发送的各摄像机影像数据、各检测装置10(红外线传感器14l、14b、14r)各自的检测结果以及各检测装置10(红外线传感器14l、14b、14r)分别测定的到物体的距离。
[0130]
控制部321基于与接收到的各摄像机影像数据对应的检测装置10(红外线传感器14)的检测结果以及检测装置10(红外线传感器14)测定的到物体的距离，生成对对应的摄像机影像数据所表示的摄像机影像实施了镶边加工、或附加了警告显示的加工摄像机影像数据。
[0131]
在图10所示的例子中，控制部321例如生成包括对接收到的各摄像机影像数据中的由摄像机12l拍摄到的摄像机影像附加了“黄色”警告显示m3l的摄像机影像v3l在内的加
工摄像机影像数据vdl。
[0132]
另外，控制部321例如生成包括对接收到的各摄像机影像数据中的由摄像机12b拍摄到的摄像机影像实施了“红色”镶边加工e3b并且附加了“红色”警告显示m3b的镶边图像v3b在内的加工摄像机影像数据vdb。
[0133]
另外，控制部321生成包括对接收到的各摄像机影像数据中的由摄像机12r拍摄到的摄像机影像附加了“黄色”警告显示m3r的摄像机影像v3r在内的加工摄像机影像数据vdr。
[0134]
控制部321将已生成的各加工摄像机影像数据分别发送至对应的显示装置201l、201b、201r。
[0135]
显示装置201l的显示控制部268接收从控制装置301发送来的加工摄像机影像数据vdl。显示控制部268控制显示部221以使其显示接收到的加工摄像机影像数据vdl所表示的摄像机影像。在图10所示的例子中，显示控制部268控制显示部221以使其显示摄像机影像v3l。
[0136]
显示装置201b的显示控制部268接收从控制装置301发送来的加工摄像机影像数据vdb。显示控制部268控制显示部221以使其显示接收到的加工摄像机影像数据vdb所表示的摄像机影像。在图10所示的例子中，显示控制部268控制显示部221以使其显示镶边图像v3b。
[0137]
显示装置201r的显示控制部268接收从控制装置301发送来的加工摄像机影像数据vdr。显示控制部268控制显示部221以使其显示接收到的加工摄像机影像数据vdr所表示的摄像机影像。在图10所示的例子中，显示控制部268控制显示部221以使其显示摄像机影像v3r。
[0138]
这样，在从使用作业车辆100的施工现场远离的场所，能够使用多个显示装置来确认作业车辆100的周围，从而例如在远程操作作业车辆100的情况等下，能够更可靠地进行安全监视。
[0139]
接下来，参照图11，对本发明的实施方式所涉及的安全监视方法进行说明。图11是表示本发明的实施方式所涉及的安全监视方法的流程图。
[0140]
检测装置10(摄像机12)拍摄周围的摄像机影像(步骤s11)。
[0141]
检测装置10(红外线传感器14)检测周围的物体(步骤s12)。在检测装置10未检测到周围的物体的情况下(步骤s12中为否)，显示部22显示由摄像机12拍摄到的摄像机影像(步骤s22)。
[0142]
在检测装置10检测到周围的物体的情况下(步骤s12中为是)，红外线传感器14测定到检测到的物体的距离l(步骤s13)。
[0143]
主控制装置30根据红外线传感器14测定的距离l，对摄像机影像实施镶边加工，或附加警告显示。主控制装置30判定距离l是否为距离l2(图4)以上(步骤s14)。
[0144]
在距离l为距离l2以上的情况下(步骤s14中为是)，显示部22显示由摄像机12拍摄到的摄像机影像(步骤s22)。
[0145]
另一方面，在距离l小于距离l2的情况下(步骤s14中为否)，主控制装置30判定距离l是否为距离l1(图4)以上(并且小于距离l2)(步骤s15)。在距离l为距离l1(图4)以上(并且小于距离l2)的情况下(步骤s15中为是)，主控制装置30例如对摄像机影像附加“黄色”警
告显示m1(步骤s16)。显示部22显示附加了“黄色”警告显示m1的摄像机影像(步骤s22)。
[0146]
另外，在距离l小于距离l1的情况下(步骤s15中为否)，主控制装置30生成对由摄像机12拍摄到的摄像机影像实施了“红色”镶边加工e1并且附加了“红色”警告显示m1的镶边图像v1(步骤s17)。
[0147]
并且，红外线传感器14基于来自检测到的物体的反射红外光的强度，判定检测到的物体是否是人(步骤s18)。在红外线传感器14检测到的物体不是人而是物的情况下(步骤s18中为否)，显示部22显示包括镶边图像v1在内的摄像机影像(步骤s22)。
[0148]
另一方面，在红外线传感器14检测到的物体是人的情况下(步骤s18中为是)，主控制装置30判定距离l是否为距离ls(图6)以上(并且小于距离l1)(步骤s19)。
[0149]
在距离l为距离ls以上的情况下(步骤s19中为是)，声音输出部28输出断续声音的警告音(步骤s20)。显示部22显示包括镶边图像v1在内的摄像机影像(步骤s22)。
[0150]
另一方面，在距离l小于距离ls的情况下(步骤s19中为否)，声音输出部28输出连续声音的警告音(步骤s21)。显示部22显示包括镶边图像v1在内的摄像机影像(步骤s22)。
[0151]
在本实施方式中，是通过使用红外光的红外线传感器14来检测物体的结构，但并不局限于此，例如，也可以是通过对摄像机影像进行图像处理来检测物体的结构。
[0152]
以上，参照附图(图1～图11)对本发明的实施方式进行了说明。其中，本发明并不限于上述实施方式，能够在不脱离其主旨的范围内在各种形态下实施。为了容易理解，附图以每一个构成要素为主体示意性地进行表示，为了附图制作的方便，图示的各构成要素的厚度、长度、个数等与实际不同。另外，用上述实施方式示出的各构成要素的材质、形状、尺寸等是一个例子，并不特别限定，能够在实质上不从本发明效果脱离的范围内进行各种变更。
[0153]
工业上的可利用性
[0154]
本发明能够利用于施工现场中的工程机械以及作业车辆等领域。