用于防止作业机械的误操作的系统、控制方法以及挖掘机与流程

1.本发明涉及用于防止作业机械的误操作的系统、控制方法以及挖掘机。


背景技术：

2.一般来说，在作业机械设有操作人员操作作业机械用的杆等操作部件。例如操作人员通过用手握住操作部件来操作操作部件。但是，在操作人员进行作业机械的操作以外的动作时，操作人员的身体、衣服有时会误接触操作部件。在该情况下，作业机械将会进行违反操作人员的意图的动作。
3.为了防止上述那样的误操作，例如专利文献1公开了误操作防止装置。在该误操作防止装置中，在操作杆的把手整个面安装有触觉传感器。在由触觉传感器检测出的压力持续规定时间时，控制器判定为检测出操作杆的把持，解除液压锁定机构。
4.现有技术文献
5.专利文献
6.专利文献1：日本特开2010－250459号公报


技术实现要素：

7.发明将要解决的课题
8.操作人员对操作部件的操作方法(例如握持方式，或者接触方式)因操作人员而各不不同。因此，在上述的误操作防止装置中，触觉传感器有可能不会准确地检测出操作人员的把持。另外，在上述的误操作防止装置中，控制器判定由触觉传感器检测出的压力是否持续了规定时间。因此，液压锁定机构的解除花费时间。由此，正常操作时的作业机械的操作性降低。
9.本公开的目的在于高精度地检测作业机械的误操作。
10.用于解决课题的手段
11.本公开的一方式的系统是用于防止作业机械的误操作的系统。该系统具备操作部件、相机及控制器。操作部件能够由操作人员操作。相机拍摄包含操作部件的至少一部分的区域的图像，生成表示图像的图像数据。控制器从相机取得图像数据。控制器基于图像，判定操作人员对操作部件的操作是有意的操作还是无意的操作。控制器在操作人员对操作部件的操作是有意的操作时，根据操作部件的操作控制作业机械。控制器在操作人员对操作部件的操作是无意的操作时，使操作部件的操作无效。
12.本公开的其他方式的方法是用于防止作业机械的误操作的控制方法。该控制方法包含以下的处理。第一处理是，取得表示包含操作部件的至少一部分的区域的图像的图像数据。第二处理是，基于图像，判定操作人员对操作部件的操作是有意的操作还是无意的操作。第三处理是，在操作人员对操作部件的操作是有意的操作时，根据操作部件的操作控制作业机械。第四处理是，在操作人员对操作部件的操作是无意的操作时，使操作部件的操作无效。
13.本公开的其他方式的挖掘机具备行驶体、回转体、工作装置、驾驶室、操作部件、相机、及控制器。回转体可回转地安装于行驶体。工作装置安装于回转体。驾驶室设于回转体。操作部件配置于驾驶室内。操作部件能够由操作人员操作，以使行驶体、回转体、及工作装置的至少一个动作。相机拍摄包含操作部件的至少一部分的区域的图像。相机生成表示图像的图像数据。控制器从相机取得图像数据。控制器基于图像，判定操作人员对操作部件的操作是有意的操作还是无意的操作。控制器在操作人员对操作部件的操作是有意的操作时，根据操作部件的操作控制行驶体、回转体、及工作装置的至少一个动作。控制器在操作人员对操作部件的操作是无意的操作时，使操作部件的操作无效。
14.发明效果
15.根据本公开，基于包含操作部件的至少一部分的区域的图像，判定操作人员对操作部件的操作是有意的操作还是无意的操作。因此，为了操作人员各自的操作方法如何，都能够高精度地检测误操作。另外，能够迅速地判定操作人员对操作部件的操作是否是正常的操作。因此，可抑制正常操作时的作业机械的操作性的降低。
附图说明
16.图1是作业机械的侧视图。
17.图2是表示作业机械的控制系统的构成的框图。
18.图3是表示驾驶室的内部的立体图。
19.图4是表示用于检测误操作的处理的流程图。
20.图5是表示ai的图像识别模型的构成的图。
21.图6是表示ai的图像识别模型的构成的图。
22.图7是表示操作状态的图像的一个例子的图。
23.图8是表示操作状态的图像的一个例子的图。
24.图9是表示操作状态的图像的一个例子的图。
25.图10是表示操作状态的图像的一个例子的图。
26.图11是表示操作状态的图像的一个例子的图。
27.图12是表示变形例的作业机械的控制系统的构成的框图。
28.图13是表示操作状态的图像的一个例子的图。
29.图14是表示操作状态的图像的一个例子的图。
30.图15是表示操作状态的图像的一个例子的图。
31.图16是表示操作状态的图像的一个例子的图。
具体实施方式
32.以下，一边参照附图一边对实施方式的作业机械1的控制系统进行说明。图1是作业机械1的侧视图。在本实施方式中，作业机械1是液压挖掘机。
33.如图1所示，作业机械1包含车辆主体2与工作装置3。工作装置3安装于车辆主体2的前部。车辆主体2包含回转体4、行驶体5、及驾驶室6。回转体4可回转地安装于行驶体5。驾驶室6配置于回转体4。行驶体5包含履带6a、6b。履带6a、6b被驱动，使得作业机械1行驶。
34.工作装置3包含动臂11、斗杆12、及铲斗13。动臂11安装成能够相对于回转体4在上
下方向上动作。斗杆12安装成能够相对于动臂11动作。铲斗13安装成能够相对于斗杆12动作。工作装置3包含动臂缸14、斗杆缸15、及铲斗缸16。动臂缸14、斗杆缸15、及铲斗缸16是液压缸，通过来自后述的液压泵22的工作油驱动。动臂缸14使动臂11动作。斗杆缸15使斗杆12动作。铲斗缸16使铲斗13动作。
35.图2是表示的作业机械1的控制系统的构成框图。如图2所示，作业机械1包含发动机21、液压泵22、动力传递装置23、及控制器24。发动机21由来自控制器24的指令信号控制。液压泵22由发动机21驱动，排出工作油。来自液压泵22排出的工作油供给到动臂缸14、斗杆缸15、及铲斗缸16。
36.作业机械1包含回转马达25。回转马达25是液压马达，由来自液压泵22的工作油驱动。回转马达25使回转体4回转。另外，在图2中，图示了一个液压泵22，但也可以设有多个液压泵。
37.液压泵22是可变容量泵。在液压泵22连接有泵控制装置26。泵控制装置26控制液压泵22的偏转角。泵控制装置26例如包含电磁阀，由来自控制器24的指令信号控制。控制器24通过控制泵控制装置26来控制液压泵22的容量。
38.作业机械1包含控制阀27。液压泵22、缸体14－16与回转马达25经由控制阀27利用液压回路连接。控制阀27由来自控制器24的指令信号控制。控制阀27控制从液压泵22向缸体14－16以及回转马达25供给的工作油的流量。控制器24通过控制控制阀27来控制工作装置3的动作。控制器24通过控制控制阀27来控制回转体4的回转。
39.动力传递装置23将发动机21的驱动力传递到行驶体5。履带6a、6b由来自动力传递装置23的驱动力驱动，使作业机械1行驶。动力传递装置23例如也可以是变矩器、或者具有多个变速齿轮的变速器。或者，动力传递装置23也可以是hst(hydro static transmission)、或者hmt(hydraulic mechanical transmission)等其他形式的变速器。
40.控制器24被编程为基于取得的数据控制作业机械1。控制器24通过控制发动机21、行驶体5与动力传递装置23而使作业机械1行驶。控制器24通过控制液压泵22与控制阀27而使工作装置3动作。控制器24通过控制液压泵22与控制阀27而使回转体4回转。
41.控制器24包含cpu等处理器31。处理器31进行作业机械1的控制用的处理。控制器24包含存储装置32。存储装置32包含ram或者rom等存储器以及hdd(hard disk drive)或者ssd(solid state drive)等辅助存储装置。存储装置32存储有作业机械1的控制用的数据以及程序。
42.作业机械1包含第一操作部件33、第二操作部件34、第三操作部件35、及第四操作部件36。图3是表示驾驶室6的内部的立体图。如图3所示，第一操作部件33、第二操作部件34、第三操作部件35、及第四操作部件36配置于驾驶室6内。在驾驶室6内配置有座椅37。第一操作部件33配置于座椅37的一侧。第二操作部件34配置于座椅37的另一侧。第一操作部件33与第二操作部件34通过操作人员的手操作。
43.第一操作部件33是杆。第一操作部件33能够从中立位置向前后左右倾动。第一操作部件33输出表示第一操作部件33的操作方向以及操作量的信号。控制器24接收来自第一操作部件33的信号。控制器24根据操作人员对第一操作部件33的操作使工作装置3动作。或者，控制器24根据操作人员对第一操作部件33的操作使回转体4回转。
44.第二操作部件34是杆。第二操作部件34能够从中立位置向前后左右倾动。第二操
作部件34输出表示第二操作部件34的操作方向以及操作量的信号。控制器24接收来自第二操作部件34的信号。控制器24根据操作人员对第二操作部件34的操作使工作装置3动作。
45.第三操作部件35配置于座椅37的前方。第三操作部件35是杆。第三操作部件35能够向前后倾动。第三操作部件35输出表示第三操作部件35的操作方向以及操作量的信号。控制器24接收来自第三操作部件35的信号。控制器24根据操作人员对第三操作部件35的操作使作业机械1行驶。
46.第四操作部件36是踏板。第四操作部件36连结于第三操作部件35。第四操作部件36与第三操作部件35一体地动作。控制器24根据操作人员对第三操作部件35、或者第四操作部件36的操作使作业机械1行驶。
47.作业机械1包含锁定部件38。锁定部件38配置于驾驶室6内。锁定部件38配置于座椅37的侧方。锁定部件38能够向锁定位置与解除位置移动。锁定部件38在锁定位置时，控制器24使第一操作部件33以及第二操作部件34的操作无效。即，锁定部件38在锁定位置时，控制器24与第一操作部件33以及第二操作部件34的操作无关地禁止工作装置3的动作。锁定部件38在锁定位置时，控制器24与第一操作部件33的操作无关地禁止回转体4的回转。
48.例如在控制阀27是电先导式的情况下，锁定部件38在锁定位置时，控制器24与第一操作部件33以及第二操作部件34的操作无关地不向控制阀27输出指令信号。或者，在控制阀27是液压先导式的情况下，锁定部件38在锁定位置时，控制器24停止先导压力向控制阀27的供给。
49.控制器24在锁定部件38为解除位置时根据第一操作部件33以及第二操作部件34的操作控制工作装置3、或者回转体4。即，控制器24在锁定部件38为解除位置时根据第一操作部件33以及第二操作部件34的操作使工作装置3动作。控制器24在锁定部件38为解除位置时根据第一操作部件33的操作使回转体4回转。
50.作业机械1包含相机39。相机39拍摄包含第一操作部件33、第二操作部件34与座椅37在内的驾驶室6内的区域的图像。另外，相机39并不局限于1台，也可以在驾驶室6配置多个相机。相机39生成表示拍摄到的图像的图像数据。相机39通过有线或者无线与控制器24进行通信。控制器24从相机39接收图像数据。图像数据所示的图像可以是静止图像，或者也可以是动态图像。
51.控制器24基于图像，检测操作人员对第一操作部件33以及第二操作部件34的误操作。以下，对控制器24用于检测误操作的处理进行说明。另外，在以下的说明中，对第一操作部件33被操作的情况进行说明。但是，关于第二操作部件34被操作的情况，也可以进行相同的处理。
52.图4是表示用于检测误操作的处理的流程图。在步骤s101中，控制器24判定锁定是否被解除。控制器24在锁定部件38位于锁定位置时判定为锁定未被解除。在锁定未被解除时，在步骤s106中，控制器24维持锁定。控制器24在锁定部件38位于解除位置时，判定为锁定被解除。在锁定被解除时，处理进入步骤s102。
53.在步骤s102中，控制器24取得图像数据。控制器24从相机39取得表示包含第一操作部件33的图像的图像数据。
54.在步骤s103中，控制器24判定是否进行了第一操作部件33的操作。控制器24通过来自第一操作部件33的信号判定是否进行了第一操作部件33的操作。在未进行第一操作部
件33的操作时，在步骤s106中维持锁定。在进行了第一操作部件33的操作时，处理进入步骤s104。
55.在步骤s104中，控制器24判定操作人员对第一操作部件33的操作是有意的操作还是无意的操作。控制器24基于图像数据所示的图像进行判定。
56.控制器24通过使用了ai(artificial intelligence)的图像识别技术，判定图像所示的操作是有意的操作还是无意的操作。如图5所示，控制器24包含学习完毕的图像识别模型41。图像识别模型41安装于控制器24。图像识别模型41是用于图像分析的人工智能模型。图像识别模型41分析所输入的图像数据d11，判定在图像数据d11所示的图像中是否包含表示特定的操作的图像。
57.图像识别模型41通过深度学习进行图像分析。图像识别模型41包含图6所示的神经网络。例如图像识别模型41包含卷积神经网络(cnn)等深度神经网络。如图6所示，神经网络120包含输入层121、中间层122以及输出层123。各层121、122、123具备一个或者多个神经元。相互邻接的层的神经元彼此结合，对各结合设定有权重。神经元的结合数也可以适当设定。对各神经元设定阈值，根据向各神经元的输入值与权重的积之和是否超过了阈值来决定各神经元的输出数据d12。
58.输入层121被输入图像数据d11。向输出层123输出表示在图像中检测出的操作的分类的输出数据d12。分类包含有意的操作与无意的操作。图像识别模型41以如下方式学习完毕：若被输入图像数据d11，则输出表示在图像中检测出的操作的分类的输出数据d12。通过学习而获得的图像识别模型41的学习完毕参数存储于控制器24。学习完毕参数例如包含神经网络的层数、各层中的神经元的个数、神经元彼此的结合关系、各神经元间的结合的权重以及各神经元的阈值。
59.如图7所示，图像识别模型41以如下方式学习完毕：针对表示操作人员100用手握住第一操作部件33的图像，输出表示有意的操作的输出数据d12。因而，在由相机39拍摄到的图像表示操作人员100用手握住第一操作部件33时，图像识别模型41输出表示有意的操作的输出数据d12。在该情况下，控制器24判定为操作人员100的操作是有意的操作。
60.另外，如图8所示，图像识别模型41以如下方式学习完毕：对于操作人员100对第一操作部件33的各种握持方式的图像，输出表示有意的操作的输出数据d12。例如图像51表示一部分手指从第一操作部件33离开、用其他手指握住第一操作部件33的状态。图像52表示用整个手握住第一操作部件33的状态。图像53表示手掌按压第一操作部件33的状态。图像54表示用指尖接触第一操作部件33的状态。因而，即使由相机39拍摄到的图像表示各种握持方式，控制器24也能够适当地判定操作人员100的操作是有意的操作。
61.另一方面，如图9至图11所示，以如下方式学习完毕：对于表示操作人员100的手以外的部分接触操作部件的图像，图像识别模型41输出表示无意的操作的输出数据d12。因而，在由相机39拍摄到的图像表示操作人员100的手以外的部分接触操作部件时，图像识别模型41输出表示无意的操作的输出数据d12。在该情况下，控制器24判定为操作人员100的操作是无意的操作。
62.例如，如图9所示，以如下方式学习完毕：对于表示操作人员100的脚与第一操作部件33接触的图像，图像识别模型41输出表示无意的操作的输出数据d12。如图10所示，以如下方式学习完毕：对于表示操作人员100的躯体与第一操作部件33接触的图像，图像识别模
型41输出表示无意的操作的输出数据d12。如图11所示，以如下方式学习完毕：对于表示操作人员100的衣服钩挂于第一操作部件33的图像，图像识别模型41输出表示无意的操作的输出数据d12。因而，在由相机39拍摄到的图像表示操作人员100的手以外的部分接触操作部件时，控制器24能够适当地判定为操作人员100的操作是无意的操作。
63.在步骤s104中，在判定为操作人员100的操作是有意的操作时，处理进入步骤s105。在步骤s105中，控制器24允许第一操作部件33的操作。即，控制器24根据第一操作部件33的操作使工作装置3、或者回转体4动作。
64.在步骤s104中，在判定为操作人员100的操作是无意的操作时，处理进入步骤s106。在步骤s106中，控制器24维持锁定。即，控制器24使第一操作部件33的操作无效，与第一操作部件33的操作无关，不使工作装置3、或者回转体4动作。
65.根据以上说明的本实施方式的作业机械1的控制系统，基于包含第一操作部件33的至少一部分的区域的图像，判定操作人员100对第一操作部件33的操作是有意的操作还是无意的操作。因此，无论操作人员100对第一操作部件33的操作方法如何，都能够高精度地检测误操作。另外，能够迅速地判定操作人员100对第一操作部件33的操作是否是正常的操作。因此，可抑制正常的操作时的作业机械1的操作性的降低。在第二操作部件34被操作的情况下，也能够得到与上述相同的效果。
66.以上，说明了本发明的一实施方式，但本发明并不限定于上述实施方式，在不脱离发明的主旨的范围内能够进行各种变更。
67.作业机械1并不局限于液压挖掘机，也可以是轮式装载机、推土机、或者机动平地机等其他种类的作业机械。作业机械1的构成不局限于上述，也可以被变更。例如回转马达25也可以是电动马达。
68.第一～第四操作部件33－36并不局限于上述的实施方式，也可以被变更。例如第一～第四操作部件33－36并不局限于杆，也可以是开关。也可以省略或者变更第一～第四操作部件33－36的一部分。或者，也可以设有方向盘等其他操作部件。控制器24也可以对方向盘执行与上述相同的用于检测误操作的处理。作业机械1也可以具有转向机构。控制器24也可以根据操作人员对操作部件的操作使作业机械1转向。
69.相机39的视场也可以仅包括第一操作部件33与第二操作部件34的一方。相机39的视场也可以不包括座椅37。也可以对第一操作部件33与第二操作部件34分别单独设置相机。相机39的视场也可以包含第三操作部件35、或者第四操作部件36。控制器24也可以对于第三操作部件35、或者第四操作部件36的操作执行与上述相同的用于检测误操作的处理。
70.控制器24也可以具备cpu、或者gpu等多个处理器。也可以由多个处理器31分散执行上述的处理。控制器24并不局限于1台，也可以由多个控制器分散执行上述的处理。例如图12是表示变形例的作业机械1的控制系统的图。
71.如图12所示，作业机械1的控制系统也可以包含第一控制器24a与第二控制器24b。第一控制器24a具有与上述的实施方式的控制器24相同的构成。第二控制器24b与第一控制器24a相同，包含处理器31b与存储装置32b。第二控制器24也可以具有适合基于ai的图像识别的处理能力。上述的处理中的基于图像识别的操作的判定处理也可以由第二控制器24b执行。第一控制器24a也可以执行向控制阀27输出指令信号等与作业机械1的控制相关的处理。
72.也可以变更上述的处理的顺序。也可以变更或者省略上述的处理的一部分。例如有意的操作与无意的操作的判定并不局限于深度学习，也可以通过支持向量机等ai的其他图像识别技术进行。或者，有意的操作与无意的操作的判定并不局限于ai，也可以通过图案匹配等基于规则的图像识别技术进行。
73.如图13所示，控制器24也可以在操作人员100将要用手握住第一操作部件33时，判定为操作人员100的操作是有意的操作。由此，能够进一步提高作业机械1的操作性。
74.如图14所示，在由相机39拍摄到的图像表示操作人员100站着握住第一操作部件33时，控制器24也可以判定为操作人员100的操作是有意的操作。例如操作人员100为了确认作业机械1的周围的状况，有时在站立的状态下操作第一操作部件33。因而，控制器24能够适当地判定为图13所示那样的操作人员的操作是有意的操作。
75.如图15所示，在操作人员100未用手握住第一操作部件33、而是手臂与第一操作部件33接触时，控制器24也可以判定为操作人员100的操作是无意的操作。如图16所示，在操作部件被操作人员100的头盔等穿戴物101遮挡而使得操作部件未表示在图像上时，控制器24也可以判定为不能判定。或者，在操作部件被操作人员100的身体遮挡而使得操作部件未表示在图像上时，控制器24也可以判定为不能判定。在该情况下，控制器24也可以维持锁定。
76.工业上的可利用性
77.根据本公开，能够高精度地检测作业机械的误操作。
78.附图标记说明
79.1 作业机械
80.24 控制器
81.33 第一操作部件
82.39 相机
83.41 图像识别模型