工程机械的数据处理系统的制作方法

1.本发明涉及一种用于削减与工程机械在作业现场的作业相关的作业数据的数据量的工程机械的数据处理系统。


背景技术：

2.以往，与工程机械在作业现场进行的作业相关的作业数据被存储在存储部（存储装置）中，作为例如用于管理上述工程机械的作业的数据而加以利用。由于上述存储部的存储容量有限，因此提出了用于削减所存储的上述作业数据的数据量的技术。
3.专利文献1公开了一种运转数据收集装置，将安装在作业设备上的多个传感器的测量数据作为运转数据接收并将其记录到运转数据存储部中。该运转数据收集装置，根据下载状况、运转数据存储部的残存容量、运转数据的信息新鲜度（information freshness），调整收集到的运转数据的记录范围和记录间隔。具体而言，在该运转数据收集装置，对于被记录在运转数据存储部的记录之中还没有被下载的记录，根据从数据记录日期起的经过天数来变更记录等级，或者，根据残存容量相对于运转数据存储部的整体容量的比率来变更记录等级。上述记录等级（recording level）是记录条件，数值越高表示记录信息量就越多（专利文献1的0050、0051段落）。
4.此外，在实际的作业现场，通常通过工程机械进行作业内容不同的多个作业。
5.然而，专利文献1的装置，与上述作业内容无关地，基于上述下载状况和上述运转数据存储部的残存容量以及上述运转数据的信息新鲜度，一律地变更上述运转数据的上述记录等级。为此，专利文献1的装置存在不能适当地保存本来应该保存的作业内容的数据的情况。
6.而且，也可以考虑不象专利文献1的装置那样将上述传感器的测量数据存储在存储部，而是按照时间序列将工程机械在作业现场的图像数据存储到存储部。由此，管理作业现场的作业的管理人员、进行作业现场的作业的操作人员等作业相关人员，可以将存储在上述存储部的上述图像数据用于管理上述工程机械的作业。然而，上述时间序列的图像数据，与上述传感器的测量数据相比，要求上述存储部具备较大的容量。因此，为了存储上述时间序列的图像数据并将该图像数据用于上述工程机械的作业的管理，削减上述图像数据的数据量显得特别重要。
7.现有技术文献专利文献专利文献1：日本专利公开公报特开2015-095069号。


技术实现要素：

8.本发明是为了解决上述问题而做出的发明，其目的在于提供一种工程机械的数据处理系统，该数据处理系统可以根据该工程机械的作业内容适当地削减包含工程机械在作业现场的图像的时间序列数据的作业数据的数据量。
9.本发明的一实施方式涉及的工程机械的数据处理系统，是用于削减与工程机械的作业相关的作业数据的数据量的数据处理系统，包括：摄像装置，用于获取包含所述工程机械在作业现场的图像的时间序列数据即时间序列图像数据；数据存储部，用于存储所述时间序列图像数据；作业内容判断部，基于所述时间序列图像数据，判断所述工程机械的至少一个作业内容；以及，数据量削减部，其中，所述数据量削减部，在通过所述作业内容判断部判断的所述至少一个作业内容包含预先设定的第一特定作业的情况下，基于预先设定的第一削减规则，对存储在所述数据存储部的所述时间序列图像数据之中的与所述第一特定作业对应的部分即第一图像数据的数据量进行削减，在通过所述作业内容判断部判断的所述至少一个作业内容包含预先设定的第二特定作业的情况下，基于预先设定的第二削减规则，对存储在所述数据存储部的所述时间序列图像数据之中的与所述第二特定作业对应的部分即第二图像数据的数据量进行削减，所述第二特定作业与所述第一特定作业不同，所述第二削减规则与所述第一削减规则不同。
附图说明
10.图1是表示实施方式涉及的数据处理系统的构成的概要图。
11.图2是表示实施方式涉及的数据处理系统的构成的方框图。
12.图3是表示工程机械的一个例子的侧视图。
13.图4是表示上述工程机械的多个特征点的一个例子的立体图。
14.图5是用于说明在上述数据处理系统用于推测上述工程机械的姿势的处理的示意图。
15.图6是表示上述数据处理系统的上述工程机械的时间序列姿势数据的示意图。
16.图7是用于说明在上述数据处理系统、根据上述工程机械的上述时间序列姿势数据判断作业内容的处理的示意图。
17.图8是表示通过上述数据处理系统的作业内容判断部判断的工程机械的作业内容的时间序列的变化的一个例子的示意图。
18.图9是表示在上述数据处理系统、针对每个作业现场而设定的削减规则的一个例子的示意图。
19.图10是表示通过上述数据处理系统的上述作业内容判断部判断的工程机械的作业内容的时间序列的变化的其它例子的示意图。
20.图11是表示作为上述数据处理系统的hmi的一个例子的显示装置的画面的示意图。
21.图12是表示作为上述数据处理系统的hmi的一个例子的显示装置的画面的示意图。
22.图13是表示作为上述数据处理系统的hmi的一个例子的显示装置的画面的示意图。
23.图14是表示基于在上述数据处理系统获取的信息生成的作业日报的一个例子的示意图。
24.图15是表示上述数据处理系统的运算处理的流程图。
具体实施方式
25.以下，参照附图对本发明的实施方式进行说明。另外，以下的实施方式只是具体化本发明的一个例子而已，并不用于限定本发明的技术保护范围。
26.图1是表示实施方式涉及的数据处理系统10的构成的概要图。图2是表示上述数据处理系统10的构成的方框图。图3是表示工程机械100的一个例子的侧视图。本实施方式涉及的数据处理系统10是用于削减与上述工程机械100在作业现场的作业相关的作业数据的数据量的系统。
27.图1所示的具体例表示多个工程机械100在上述作业现场进行作业的情况。如图1所示，上述多个工程机械100包含第一工程机械100a和第二工程机械100b。上述多个工程机械100分别由液压挖掘机构成。因为这些液压挖掘机具备相同的基本的构成，所以以下只对上述多个工程机械100之中的一个工程机械100进行说明，并省略对另一个工程机械100的说明。
28.上述工程机械100具备履带式的下部行走体101、以可绕与该行走面垂直的回转中心轴回转的方式搭载在下部行走体101上的上部回转体102、可起伏地搭载于该上部回转体102的附属装置103。
29.上述上部回转体102具有构成该上部回转体102的前部（主体前部）的驾驶室102a和构成上述上部回转体102的后部（主体后部）的配重102b。该附属装置103包含被上述上部回转体102可起伏地支撑的动臂104、可转动地连结于该动臂104的远端的斗杆105、可转动地连结于该斗杆105的远端的铲斗106（远端附属装置）。
30.所述工程机械100具备使上述动臂104相对于上述上部回转体102进行起伏动作的动臂液压缸107、使上述斗杆105相对于该动臂104进行转动动作的斗杆液压缸108、使上述远端附属装置106相对于该斗杆105进行转动动作的远端附属装置液压缸109。
31.如图1、图2所示，上述数据处理系统10具备多个传感器、工程机械控制器50、摄像装置30、相机控制器40、主控制器60、云服务器70。上述工程机械控制器50和上述相机控制器40、上述主控制器60以及上述云服务器70分别由例如具备cpu等处理器和存储器的计算机构成。
32.上述多个传感器以及上述工程机械控制器50被设置在上述工程机械100上。上述多个传感器获取作为与上述工程机械100的动作对应地变化的动作参数的时间序列数据的时间序列动作数据。通过上述多个传感器获取到的上述动作参数被输入到上述工程机械控制器50。
33.如图3所示，上述多个传感器包含动臂角度传感器21、斗杆角度传感器22、铲斗角度传感器23、回转角度传感器24、车体倾斜角度传感器25、测位传感器26以及转速传感器（rotation speed sensor）27。因此，上述动作参数包含通过这些传感器21至27分别检测出的检测值。具体内容如下所述。
34.上述动臂角度传感器21是检测用于确定上述动臂104相对于上述上部回转体102的角度即动臂角度的参数的传感器。上述动臂角度例如是与上述上部回转体102的回转中心正交的平面与沿着上述动臂104的长度方向延伸的直线之间形成的角度。沿着上述动臂104的上述长度方向延伸的上述直线例如是连接上述上部回转体102与上述动臂104的基端部之间的连结部分的转动中心（连结销的中心）和上述动臂104的远端部与上述斗杆105的
基端部之间的连结部分的转动中心（连结销的中心）的直线。
35.上述斗杆角度传感器22是检测用于确定上述斗杆105相对于上述动臂104的角度即斗杆角度的参数的传感器。上述斗杆角度例如是沿着上述动臂104的上述长度方向延伸的上述直线与沿着上述斗杆105的长度方向延伸的直线之间形成的角度。沿着上述斗杆105的长度方向延伸的上述直线例如是连接上述动臂104的远端部与上述斗杆105的基端部之间的上述连结部分的转动中心（连结销的中心）和上述斗杆105的远端部与上述铲斗106的基端部之间的连结部分的转动中心（连结销的中心）的直线。
36.上述铲斗角度传感器23是检测用于确定上述铲斗106相对于上述斗杆105的角度即铲斗角度的参数的传感器。上述铲斗角度例如是沿着上述斗杆105的长度方向延伸的直线与规定上述铲斗106的方向的预先设定的直线之间形成的角度。规定上述铲斗106的方向的上述直线例如是连接上述斗杆105的远端部与上述铲斗的基端部之间的上述连结部分的转动中心（连结销的中心）和上述铲斗的远端部（例如，上述铲斗的爪尖部分）的直线。
37.上述动臂角度传感器21、上述斗杆角度传感器22以及上述铲斗角度传感器23也可以由例如分别检测上述动臂104的倾斜角度、上述斗杆105的倾斜角度以及上述铲斗106的倾斜角度的倾斜角度传感器（例如，加速度传感器）来构成。而且，上述动臂角度传感器21、上述斗杆角度传感器22以及上述铲斗角度传感器23也可以由例如分别检测上述上部回转体102与上述动臂104的基端部之间的连结部分（连结销）的旋转角度、上述动臂104的远端部与上述斗杆105的基端部之间的上述连结部分（连结销）的旋转角度以及上述斗杆105的远端部与上述铲斗的基端部之间的上述连结部分（连结销）的旋转角度的旋转角度传感器来构成。而且，上述动臂角度传感器21、上述斗杆角度传感器22以及上述铲斗角度传感器23也可以由例如分别检测上述动臂液压缸107的行程量、上述斗杆液压缸108的行程量以及上述铲斗液压缸109的行程量的行程传感器来构成。
38.上述回转角度传感器24是检测用于确定上述上部回转体102相对于上述下部行走体101的角度即回转角度的参数的传感器。上述回转角度例如将上述下部行走体101的前进方向与上述上部回转体102的前方（上述附属装置103延伸的方向）一致的位置（相位）作为基准而被规定。作为上述回转角度传感器24例如可列举出陀螺传感器、回转编码器（rotary encoder）等。
39.上述车体倾斜角度传感器25是检测用于确定上述下部行走体101或者上述上部回转体102相对于水平面的角度即车体倾斜角度的参数的传感器。作为上述车体倾斜角度传感器25例如可以列举出双轴倾斜传感器（加速度传感器），该双轴倾斜传感器可以获取上述下部行走体101或者上述上部回转体102绕x轴的倾斜角度和上述下部行走体101或者上述上部回转体102绕y轴的倾斜角度。上述x轴和上述y轴是相互正交的水平的轴。
40.上述动臂角度传感器21、上述斗杆角度传感器22、上述铲斗角度传感器23、上述回转角度传感器24以及上述车体倾斜角度传感器25分别以规定的时间间隔周期性地检测对应的参数，所检测到的检测结果（检测信号）被依次输入到上述工程机械控制器50。角度传感器21至25的检测时机最好为同步。
41.上述测位传感器26具备例如可以接收与gps（global positioning system）相关的数据的gps传感器、可以接收与gnss（global navigation satellite system）相关的数据的gnss传感器等，用于接收卫星测位系统的测位数据（gps数据、gnss数据等）。上述测位
传感器26例如被安装在工程机械100。
42.上述转速传感器27被设置于作为工程机械100的液压回路中的液压泵的驱动源的省略图示的发动机，用于检测该发动机的转速。
43.上述工程机械控制器50具备传感数据存储部51、姿势信息生成部52、时间戳处理部53以及工程机械通信部54。
44.上述传感数据存储部51存储从上述多个传感器21至27输入的上述动作参数。
45.上述姿态信息生成部52，基于存储在上述传感数据存储部51中的上述动作参数，生成与上述工程机械100的姿势相关的姿势信息。具体而言，上述姿势信息生成部52，基于从上述动臂角度传感器21、上述斗杆角度传感器22、上述铲斗角度传感器23、上述回转角度传感器24以及上述车体倾斜角度传感器25分别输入的上述参数，分别对上述动臂角度、上述斗杆角度、上述铲斗角度、上述回转角度及上述车体倾斜角度进行运算。
46.上述时间戳处理部53对通过上述多个传感器21至27获取到的上述时间序列动作数据赋予时刻信息。具体内容如下所述。
47.上述时间戳处理部53，例如，将上述动臂角度传感器21的上述检测结果被输入到上述工程机械控制器50的时刻或者通过上述姿势信息生成部52运算上述动臂角度的时刻与被运算出的上述动臂角度（姿势信息）相互对应地进行存储。同样，上述时间戳处理部53，将上述斗杆角度传感器22、上述铲斗角度传感器23、上述回转角度传感器24以及上述车体倾斜角度传感器25各自的上述检测结果被输入到上述工程机械控制器50的时刻或者通过上述姿势信息生成部52分别运算出上述斗杆角度、上述铲斗角度、上述回转角度以及上述车体倾斜角度的时刻与所运算出的角度（姿势信息）相互对应地进行存储。
48.上述时间戳处理部53将上述测位传感器26的检测结果被输入到上述工程机械控制器50的时刻与上述检测结果相互对应地进行存储。而且，上述时间戳处理部53，将上述转速传感器27的检测结果被输入到上述工程机械控制器50的时刻与上述检测结果相互对应地进行存储。
49.上述工程机械通信部54经由网络与上述主控制器60（具体而言是后述的通信部61）之间可以接收发送数据。上述工程机械通信部54发送被赋予了上述时刻信息的上述时间序列动作数据、被赋予了上述时刻信息的上述姿势信息等。所发送的上述时间序列动作数据、上述姿势信息等的信息被输入到上述主控制器60。
50.上述网络例如可以由因特网、移动电话通信网等的远程信息通信网构成。而且，上述网络也可以由例如特定省电无线、蓝牙（注册商标）、无线lan（wireless local area network）等，可以使上述工程机械通信部54与上述通信部61在数十米至数百米左右的距离进行无线通信的通信网构成。而且，上述网络例如也可以是有线通信网。
51.上述摄像装置30获取包含在上述作业现场的至少一个工程机械100的图像的时间序列数据即时间序列图像数据。即，上述摄像装置30以规定的时间间隔周期性地拍摄上述图像。通过上述摄像装置30拍摄的上述图像被依次输入到上述相机控制器40。每个相机进行摄像的时间间隔例如被设定为1／60秒、1／30秒、1／10秒、1秒等。
52.如图1所示，在本实施方式，上述摄像装置30包含第一相机30a和第二相机30b。在上述作业现场，上述第一相机30a被配置在能够获取包含上述第一工程机械100a的图像的时间序列数据即时间序列图像数据的位置。在上述作业现场，上述第二相机30b被配置在能
够获取包含第二工程机械100b的图像的时间序列数据即时间序列图像数据的位置。
53.上述相机控制器40具备摄像数据存储部41、时间戳处理部42、相机通信部43。
54.上述摄像数据存储部41存储从上述第一相机30a以及上述第二相机30b分别输入的上述时间序列图像数据。
55.上述时间戳处理部42对上述时间序列图像数据赋予时刻信息。具体内容如下所述。上述时间戳处理部42将通过上述第一相机30a以及上述第二相机30b分别拍摄的上述图像被输入到上述相机控制器40的时刻与上述图像相互对应地进行存储。
56.上述相机通信部43经由上述网络可以与上述主控制器60（具体而言是后述的通信部61）之间接收发送数据。上述相机通信部43将上述图像与对该图像赋予的上述时刻信息相互对应地进行发送。所发送的上述图像以及上述时刻信息被输入到上述主控制器60。
57.上述主控制器60具备通信部61、数据存储部62、姿势推测部63、作业内容判断部64、数据同步部65、数据量削减部66、检索部67、hmi68、69（human machine interface）。
58.上述通信部61通过上述网络可以分别与上述工程机械控制器50以及上述相机控制器40之间接收发送数据。而且，上述通信部61经由上述网络可以与上述云服务器70（具体而言是后述的服务器通信部71）之间接收发送数据。
59.上述数据存储部62，存储从上述工程机械控制器50输入的上述时间序列动作数据，并存储从上述相机控制器40输入的上述时间序列图像数据。
60.上述姿势推测部63，基于构成上述时间序列图像数据的上述图像推测上述工程机械100的姿势，并生成与所推测出的上述姿势相关的姿势推测信息。在本实施方式，上述姿势推测信息包含上述上部回转体102相对于上述动臂104的姿势、上述斗杆105的姿势、上述铲斗106的姿势、上述下部行走体101的姿势以及上述下部行走体101或者上述上部回转体102相对于水平面的姿势。进一步具体而言，上述姿势推测信息包含上述动臂角度（动臂推测角度）、上述斗杆角度（斗杆推测角度）、上述铲斗角度（铲斗推测角度）、上述回转角度（回转推测角度）以及上述车体倾斜角度（车体倾斜推测角度）。
61.具体而言，上述姿势推测部63，基于通过上述第一相机30a获取到的上述第一工程机械100a的图像，推测上述第一工程机械100a的姿势。同样，上述姿势推测部63，基于通过上述第二相机30b获取到的上述第二工程机械100b的图像推测上述第二工程机械100b的姿势。通过上述姿势推测部63推测出的上述姿势推测信息被输入到上述作业内容判断部64。
62.具体而言，上述姿势推测部63，例如，通过将上述图像输入到通过深度学习而进行了机器学习的多层构造的神经网络（例如，卷积神经网络），提取该图像中包含的工程机械100的多个特征点。即，上述神经网络是利用与工程机械100的特征点相关的数据预先进行了学习的姿势推测算法。上述姿势推测部63所参照的上述神经网络，例如，通过表示上述工程机械100（液压挖掘机）的图像与在该图像中的上述特征点的坐标之间的对应关系的教师数据的学习处理进行学习。
63.图4表示该工程机械100的多个特征点的一个例子。在该实施方式的上述神经网络，上述工程机械100（液压挖掘机）的多个特征点包含附属装置远端（1）、附属装置底部（2）、附属装置关节（3）、斗杆关节（4）、动臂关节1（5）、动臂关节2（6）、主体前部（7）、主体右侧部（8）、主体后部（9）、主体左侧部（10）、履带右前（11）、履带右后（12）、履带左前（13）以及履带左后（14）。另外，上述附属装置远端（1）、上述附属装置底部（2）以及上述附属装置关节
（3）分别表示上述铲斗106的远端、上述铲斗106的底部以及上述铲斗106的关节。而且，在图4中，上述主体左侧部（10）没有进行图示。
64.图5是用于说明在上述数据处理系统10推测上述工程机械100的姿势的处理的示意图。如图5所示，上述神经网络（姿势推测算法）基于所输入的上述工程机械100的图像提取并输出上述多个特征点的各自的坐标。而且，上述姿势推测部63，基于从上述神经网络输出的上述多个特征点的坐标，推测上述工程机械100的姿势，具体而言，上述动臂104的姿势、上述斗杆105的姿势、上述远端附属装置106的姿势、上述下部行走体101的姿势以及上述上部回转体102的姿势。
65.上述动臂104的姿势例如通过上述动臂104相对于上述上部回转体102的角度（动臂角度）来确定。上述斗杆105的姿势例如通过上述斗杆105相对于上述动臂104的角度（斗杆角度）来确定。上述远端附属装置106的姿势例如通过上述铲斗106相对于上述斗杆105的角度（铲斗角度）来确定。上述下部行走体101的姿势以及上述上部回转体102的姿势例如通过上述上部回转体102相对于上述下部行走体101的角度（回转角度）来确定。与通过上述姿势推测部63推测出的姿势相关的数据（姿势推测信息）被输入到上述作业内容判断部64。
66.另外，上述姿势推测部63也可以利用例如openpose（注册商标）等的技术，基于通过上述摄像装置获取到的上述图像来推测上述工程机械的姿势。
67.上述作业内容判断部64，基于通过上述姿势推测部63推测出的上述第一工程机械100a的上述姿势的时间序列数据即时间序列姿势数据，判断通过该第一工程机械100a进行的作业内容。同样，上述作业内容判断部64，基于通过上述姿势推测部63推测出的上述第二工程机械100b的姿势的时间序列数据即时间序列姿势数据，判断通过该第二工程机械100b进行的作业内容。
68.具体而言，上述作业内容判断部64，例如，通过将上述姿势的时间序列数据输入到通过深度学习进行了机器学习的多层构造的神经网络（例如，递归神经网络(recurrent neural network)），提取该姿势的时间序列数据所包含的特征。即，上述神经网络是利用与上述工程机械100的特征点的活动相关的时间序列数据预先进行了学习的作业分类算法。上述作业内容判断部64参照的上述神经网络例如通过基于教师数据的学习处理进行学习，所述教师数据表示预先被定义的多个作业内容候补与上述工程机械100的标签被赋予的上述姿势的时间序列数据之间的对应关系。上述预先被定义的上述多个作业内容候补例如包含挖掘作业、整地作业、坡面整形作业、装载作业、停车、行走作业等（参照图7）。
69.上述挖掘作业是利用上述铲斗106挖掘地面的砂土的作业。上述整地作业是利用上述铲斗106对地面进行整地的作业。上述坡面整形作业是对通过砌土或者填土而形成的人工斜面即坡面进行整形的作业。上述装载作业是将被保持在上述铲斗106中的砂土等保持对象物装载到别的地方的作业。上述行走作业是在上述作业现场使上述工程机械100移动到下一个作业场所的作业。上述停车是指不进行上述装载作业、上述吊装作业、上述挖掘作业、上述整地作业、上述坡面整形作业、上述行走作业等的实际作业，而使上述工程机械100处于停止的状态。
70.图6是表示在上述数据处理系统10、上述工程机械100的上述时间序列姿势数据的示意图。图6所示的具体例子示意了与动臂角度、斗杆角度、铲斗角度以及回转角度相关的时间序列姿势数据。
71.图6所示的具体例子示意了上述工程机械100在进行上述挖掘作业时的姿势的时间序列的变化（上述姿势的时间序列数据）和工程机械100在该挖掘作业之后进行装载作业时的姿势的时间序列的变化（上述姿势的时间序列数据）。这些作业中的每一个作业，在该工程机械100的姿势这一方面，都是伴随着特有的时间序列的变化而进行。因此，上述工程机械100的姿势的时间序列的变化与上述工程机械100的上述作业内容之间具有关联性，能够成为判断该作业内容的指标。具体如下所述。
72.因为上述挖掘作业不伴随有回转动作，所以在上述挖掘作业，回转角度如图6所示为恒定。上述动臂角度以及上述斗杆角度随着从开始该挖掘作业起到结束该挖掘作业而逐渐地增加。上述铲斗角度随着从开始该挖掘作业起到该挖掘作业的中途而逐渐地增加，并在快要结束该挖掘作业时大幅地增加。
73.因为上述装载作业伴随有回转动作，所以在从上述挖掘作业切换到上述装载作业时，上述回转角度开始增加。上述回转角度以及上述动臂角度从开始该装载作业起到该装载作业的中途逐渐地增加，上述斗杆角度以及上述铲斗角度从开始该装载作业起到该装载作业的中途维持恒定。另一方面，上述回转角度以及上述动臂角度在快要结束该装载作业时恒定，上述斗杆角度以及上述铲斗角度在快要结束该装载作业时逐渐地减少。
74.图7是用于说明在上述数据处理系统10、根据上述工程机械100的上述时间序列姿势数据判断上述作业内容的处理的示意图。如图7所示，上述神经网络（作业分类算法）的输出层例如执行基于归一化函数（softmax function）的运算，输出针对上述多个作业内容候补的每个作业内容候补的得分。上述作业内容判断部64，基于从上述神经网络的输出层输出的针对上述多个作业内容候补的每个作业内容候补的得分，将得分最高的上述作业内容候补决定为上述作业内容。在图7的具体例子，上述作业内容判断部64将上述多个作业内容候补之中得分最高的“挖掘作业”判断为上述作业内容。图7所示的得分表示通过上述作业内容判断部64判断的精度的得分。
75.上述数据同步部65，基于对上述时间序列图像数据以及上述时间序列动作数据分别赋予的上述时刻信息，存储将上述时间序列图像数据和上述时间序列动作数据相互对应的对应关系。具体如下所述。
76.图8是表示通过上述作业内容判断部64判断的工程机械100进行的作业内容的时间序列的变化的一个例子的示意图。如图8所示，通过上述作业内容判断部64判断出的上述工程机械100进行的多个作业内容包括挖掘作业w11、装载作业w12、挖掘作业w13、装载作业w14、行走作业w15以及整地作业w16，图8示意了按照该顺序进行这些作业的情况。上述数据存储部62将通过上述作业内容判断部64判断的上述多个作业内容作为作业履历进行存储。
77.通过上述摄像装置30的上述第一相机30a拍摄的上述第一工程机械100a的上述时间序列图像数据包含与上述挖掘作业w11对应的第一图像数据、与上述装载作业w12对应的第二图像数据、与上述挖掘作业w13对应的第三图像数据、与上述装载作业w14对应的第四图像数据、与上述行走作业w15对应的第五图像数据、与上述整地作业w16对应的第六图像数据。
78.通过上述时间戳处理部42对上述时间序列图像数据赋予的上述时刻信息包含与上述第一图像数据对应的第一时刻信息、与上述第二图像数据对应的第二时刻信息、与上述第三图像数据对应的第三时刻信息、与上述第四图像数据对应的第四时刻信息、与上述
第五图像数据对应的第五时刻信息、与上述第六图像数据对应的第六时刻信息。
79.上述数据同步部65将存储在上述数据存储部62的上述时间序列动作数据之中的具有与上述第一时刻信息对应的时刻信息的部分即第一动作数据与上述第一图像数据相互对应地进行存储。上述数据同步部65将存储在上述数据存储部62的上述时间序列动作数据之中的具有与上述第二时刻信息对应的时刻信息的部分即第二动作数据与上述第二图像数据相互对应地进行存储。上述数据同步部65将存储在上述数据存储部62的上述时间序列动作数据之中的具有与上述第三时刻信息对应的时刻信息的部分即第三动作数据与上述第三图像数据相互对应地进行存储。以下同样，上述数据同步部65将存储在上述数据存储部62的上述时间序列动作数据之中的具有与上述第四至第六时刻信息分别对应的时刻信息的部分即第四至第六动作数据分别与上述第四至第六图像数据相互对应地进行存储。
80.图9是表示在上述数据处理系统10、针对每个作业现场设定的削减规则的一个例子的示意图。如图9所示，关于作业现场a的上述削减规则包含将存储在上述数据存储部62的上述时间序列图像数据之中的与上述挖掘作业对应的部分即挖掘图像数据的数据量以20％的削减率（变疏率(thinning rate)）进行削减的削减规则、以30％的削减率对与上述装载作业对应的部分即装载图像数据的数据量进行削减的削减规则、以40％的削减率对与上述整地作业对应的部分即整地图像数据的数据量进行削减的削减规则、以50％的削减率对与上述坡面整形作业对应的部分即坡面整形图像数据的数据量进行削减的削减规则、以60％的削减率对与上述行走作业对应的部分即行走图像数据的数据量进行削减的削减规则、以99％的削减率对与上述工程机械100处于停止的状态（停止作业）对应的部分即停止图像数据的数据量进行削减的削减规则。
81.而且，如图9所示，关于作业现场a的上述削减规则还包含以0％的削减率对存储在上述数据存储部62的上述时间序列图像数据之中的与发生了异常的作业对应的部分即异常图像数据的数据量进行削减的削减规则。即，“以0％的削减率对数据量进行削减”也就意味着使该异常图像数据的全部继续存在。上述发生了异常的作业包含例如工程机械100发生了故障的作业、进行了预先被设定为禁止操作的作业等。作为上述禁止操作例如被设定为同时进行上述挖掘作业和上述行走作业的操作。在作业相当于上述发生了异常的作业又相当于上述的其它的作业的情况下，优先与上述发生了异常的作业相关的削减规则。
82.而且，如图9所示，关于作业现场b的削减规则包含与关于作业现场a的上述削减规则不同的内容。
83.无论是在上述作业现场a还是在上述作业现场b，由于上述发生了异常的作业的重要度较高，以使与该作业相关的作业数据的削减率变小（使数据残存比率变大）的方式设定上述削减规则。而且，在上述作业现场a，由于上述挖掘作业的重要度较高，以使与该挖掘作业相关的作业数据的削减率变小的方式设定上述削减规则。另一方面，在上述作业现场b，由于上述整地作业以及上述坡面整形作业的重要度较高，以使与这些作业相关的作业数据的削减率变小的方式设定上述削减规则。
84.例如，关于作业现场a，上述数据量削减部66，基于图9所示的削减规则以20％的削减率，对存储在上述数据存储部62的上述时间序列图像数据之中的与图8所示的挖掘作业w11对应的部分即挖掘图像数据的数据量进行削减。同样，上述数据量削减部66，基于图9所示的上述削减规则以30％的削减率，对存储在上述数据存储部62的上述时间序列图像数据
之中的与图8所示的装载作业w12对应的部分即装载图像数据的数据量进行削减。对于图8所示的其它的作业，也同样对数据量进行削减。
85.上述图像数据的数据量的削减方法没有特别地限定。例如，也可以通过基于在上述削减规则所设定的削减率使帧频(frame rate)减小的方式，来削减作为削减对象的图像数据的数据量。在这种情况下，例如以使削减后的帧频变为削减前的帧频乘以0.8的值的方式，对与图8所示的挖掘作业w11对应的部分即挖掘图像数据的数据量进行削减。
86.而且，在本实施方式，上述数据量削减部66对存储在上述数据存储部62的上述时间序列动作数据之中的具有与图8所示的上述挖掘作业w11的时刻信息对应的时刻信息的部分即挖掘动作数据的数据量进行削减。同样，上述数据量削减部66对存储在上述数据存储部的上述时间序列动作数据之中的具有与图8所示的上述装载作业w12的时刻信息对应的时刻信息的部分即装载动作数据的数据量进行削减。对于图8所示的其它的作业也同样对动作数据的数据量进行削减。
87.上述动作数据的数据量的削减规则例如也可以与图9所示的图像数据的数据量的削减规则相同。在这种情况下，例如，以20％的削减率对具有与图8所示的上述挖掘作业w11的时刻信息对应的时刻信息的部分即挖掘动作数据的数据量进行削减。而且，上述动作数据的数据量的削减规则例如也可以与图9所示的图像数据的数据量的削减规则不同。具体而言，例如也可以全部删除与被削减的图像数据对应的动作数据。
88.图10是表示通过上述作业内容判断部判断的工程机械进行的作业内容的时间序列的变化的其它例子的示意图。如图10所示，通过上述作业内容判断部64判断的上述工程机械100进行的多个作业内容包含由多个挖掘作业和多个装载作业构成的反复性作业。在图10所示的具体例子，上述挖掘作业和上述装载作业的组合连续地进行多次（在图10为五次）。上述数据存储部62将通过上述作业内容判断部64判断的上述多个作业内容作为作业履历进行存储。
89.上述作业内容判断部64，在判断图10所示的多个作业w21至w30之中的每个作业内容时，如上述的图7所示输出得分。
90.上述数据量削减部66，基于上述得分，对存储在上述数据存储部62的上述时间序列图像数据之中的与上述多个挖掘作业以及上述多个装载作业对应的部分即多个挖掘图像数据以及多个装载图像数据的至少一个数据量进行削减。
91.具体而言，上述数据量削减部66，例如，可以对上述多个挖掘作业w21、w23、w25、w27、w29之中的与上述得分最低的挖掘作业对应的上述图像数据进行削减。在这种情况下，上述数据量削减部66也可以对与上述得分最低的挖掘作业组合的上述装载作业对应的上述图像数据进行削减。
92.而且，上述数据量削减部66，例如，也可以对上述多个挖掘作业w21、w23、w25、w27、w29之中的与上述得分最低的挖掘作业对应的上述图像数据和与上述得分最高的挖掘作业对应的上述图像数据进行削减。在这种情况下，上述数据量削减部66也可以对与上述得分最低的挖掘作业组合的上述装载作业对应的上述图像数据和与得分最高的挖掘作业组合的上述装载作业对应的上述图像数据进行削减。
93.上述检索部67，在输入了检索条件的情况下，从存储在上述数据存储部62的上述作业履历检索与上述检索条件对应的信息，并输出检索到的上述信息。如上所述，上述数据
存储部62将通过上述作业内容判断部64判断的上述多个作业内容作为作业履历进行存储。而且，上述数据存储部62还可以存储通过上述多个传感器获取到的上述时间序列动作数据。
94.如图1以及图2所示，上述hmi68、69包含可以让操作人员输入上述检索条件的键盘等的输入部68和输出通过上述检索部67检索到的上述信息的显示装置等的显示部69。
95.图11是表示上述操作人员输入上述检索条件时的上述显示部69的画面的一个例子的示意图。上述操作人员可以在该画面输入例如作业种类（作业内容）、日期、车辆id、传感器条件等。
96.图12是表示被输出了通过上述检索部67检索到的上述信息的上述显示部69的画面的一个例子的示意图。在图12所示的具体例子，作为检索结果，在上述显示部69显示车辆id、作业开始时间、作业时间、工程机械100的图像。
97.图13是表示被输出了通过上述检索部67检索到的上述信息的上述显示部69的画面的其它例子的示意图。在图13所示的具体例子，作为检索结果，在上述显示部69显示日期、工程机械100的图像、作业内容、通过传感器检测到的动作参数。
98.图14是表示基于在上述数据处理系统10获取到的信息生成的作业日报的一个例子的示意图。
99.如图2所示，云服务器70具备服务器通信部71、数据存储部72、检索部73。
100.上述服务器通信部71经由上述网络可与上述主控制器60的通信部61之间接收发送数据。
101.上述数据存储部72，经由上述通信部61以及上述服务器通信部71被输入上述主控制器60的上述数据存储部62存储的数据，并存储该数据。上述数据存储部72存储通过上述数据量削减部66削减的上述时间序列图像数据。而且，上述数据存储部72也可以将通过上述作业内容判断部64判断的上述多个作业内容作为作业履历进行存储。而且，上述数据存储部72还可以存储通过上述多个传感器获取到的上述时间序列动作数据。
102.上述检索部73，在输入了检索条件的情况下，从存储在上述数据存储部72的上述作业履历检索与上述检索条件对应的信息，并输出被检索到的上述信息。上述云服务器70也可以经由上述网络例如与终端80之间接收发送数据。该终端80由管理作业现场的作业的管理人员、进行作业现场的作业的操作人员等的作业相关人员使用的便携式终端机等的计算机构成。作业相关人员向上述终端80的输入部输入上述检索条件。
103.上述检索部73，在输入了检索条件的情况下，从存储在上述数据存储部72的上述作业履历检索与上述检索条件对应的信息，并输出被检索到的上述信息。所输出的上述信息被输入到上述终端80。由此，上述作业相关人员可以确认被显示在上述终端80的显示部的上述信息。
104.图15是表示上述数据处理系统10的运算处理的流程图。如图15所示，上述主控制器60的上述通信部61接收通过摄像装置30获取到的上述图像的上述时间序列图像数据（步骤s1）。而且，上述通信部61接收通过上述多个传感器获取到的上述动作参数的时间序列动作数据（步骤s2）。上述通信部61既可以分成多次接收上述时间序列图像数据，也可以一次性接收上述时间序列图像数据。同样，上述通信部61既可以分成多次接收上述时间序列动作数据，也可以一次性接收上述时间序列动作数据。
105.其次，上述数据存储部62存储上述时间序列图像数据和上述时间序列动作数据（步骤s3）。
106.其次，上述姿势推测部63以及上述作业内容判断部64，基于上述时间序列图像数据，判断多个作业内容（步骤s4）。
107.其次，上述数据同步部65判断上述时间序列图像数据和上述时间序列动作数据是否可以同步（步骤s5）。
108.在对上述时间序列图像数据赋予上述时刻信息且对上述时间序列动作数据赋予上述时刻信息的情况下（在步骤s5为“是”），上述数据同步部65，通过基于这些时刻信息让上述时间序列图像数据与上述时间序列动作数据相互对应，使这些数据同步（步骤s6）。
109.其次，上述数据量削减部66，在通过上述作业内容判断部64判断的上述多个作业内容包含预先设定的第一特定作业的情况下，基于预先设定的第一削减规则，对存储在上述数据存储部62的上述时间序列图像数据之中的与上述第一特定作业对应的部分即第一图像数据的数据量进行削减。上述数据量削减部66，在通过上述作业内容判断部64判断的上述多个作业内容包含作为预先设定的特定作业且与上述第一特定作业不同的第二特定作业的情况下，基于预先设定的与上述第一削减规则不同的第二削减规则，对存储在上述数据存储部62的上述时间序列图像数据之中的与上述第二特定作业对应的部分即第二图像数据的数据量进行削减（步骤s7）。
110.其次，上述通信部61将存储在上述数据存储部62的数据的一部分或者全部发送到上述云服务器70（步骤s8）。
111.另外，如果在没有对上述时间序列动作数据适当地赋予时刻信息等的情况下，即在上述步骤s5为不能使上述时间序列图像数据和上述时间序列动作数据同步的情况下（在步骤s5为“否”），上述主控制器60，将通过上述姿势信息生成部52生成的上述姿势信息和通过上述姿势推测部63推测出的上述姿势推测信息进行比较，检索与上述时间序列图像数据对应的上述时间序列动作数据（步骤s9）。上述数据同步部65使被检索到的上述时间序列动作数据与上述时间序列图像数据同步（步骤s6）。
112.如以上说明所述，上述数据处理系统10可以，根据该工程机械100的作业内容，对包含工程机械100在作业现场的图像的时间序列数据的作业数据的数据量进行削减。由此，可以将数据量被削减的上述时间序列图像数据存储到上述数据存储部62。而且，也可以削减在经由上述通信部接收发送数据时的通信量。
113.变形例本发明并不局限于以上说明的实施方式。本发明例如可以包含如下所述的实施方式。
114.（a）关于数据量削减部在上述实施方式，上述数据量削减部66即削减上述时间序列图像数据的上述数据量又削减上述时间序列动作数据的上述数据量，但是，上述数据处理系统并不局限于这种方式。在上述数据处理系统，上述数据量削减部也可以为削减至少上述时间序列图像数据的上述数据量的构成。在这种情况下，可以省略上述多个传感器21至27的一部分或者全部，并且可以省略上述数据同步部65。
115.（b）关于摄像装置
上述摄像装置30例如也可以由立体相机构成。
116.（c）关于云服务器在上述实施方式，上述数据处理系统10具备上述云服务器70，但是也可以省略云服务器70。
117.（d）关于时间戳处理部在上述实施方式，上述相机控制器40以及上述工程机械控制器50分别具备时间戳处理部，但是上述数据处理系统并不局限于这种方式。在上述数据处理系统，例如，上述主控制器60具备时间戳处理部，该时间戳处理部可以对上述时间序列图像数据以及上述时间序列动作数据分别赋予时间信息。在这种情况下，可以省略上述相机控制器40以及上述工程机械控制器50分别具备的时间戳处理部。
118.（e）关于工程机械上述远端附属装置并不局限于铲斗，例如也可以是抓钩、压碎机、破碎机、叉子等其它的远端附属装置。而且，上述工程机械并不局限于上述液压挖掘机，也可以是其它的工程机械。而且，在上述实施方式，上述工程机械虽然具备可行走的下部行走体101，但是本发明并不局限于此。在本发明，上述工程机械也可以是具有上部回转体102被设置在特定的场所的基台而支撑的结构的工程机械。
119.（f）关于基于图像推测工程机械的姿势在上述实施方式，上述姿势推测器63基于上述图像对上述工程机械100的姿势的推测利用预先进行了机器学习的神经网络（姿势推测算法）来进行，但是上述数据处理系统并不局限于该实施方式。在上述数据处理系统，上述工程机械的姿势的推测也可以通过利用上述神经网络的方法以外的其它的方法来进行。作为上述其它的方法例如可以例举出利用了上述神经网络的方法以外的机器学习的方法、时间序列算法等。
120.（g）其它上述实施方式涉及的数据处理系统20具备检索部67、73，但是也可以省略其中的一方或者双方。而且，上述实施方式涉及的数据处理系统20的工程机械控制器50具备姿势信息生成部52，但是也可以省略该姿势信息生成部52。
121.上述的实施方式的特征总结如下。
122.本发明的一实施方式涉及的工程机械的数据处理系统，是用于削减与工程机械的作业相关的作业数据的数据量的数据处理系统，包括：摄像装置，用于获取包含所述工程机械在作业现场的图像的时间序列数据即时间序列图像数据；数据存储部，用于存储所述时间序列图像数据；作业内容判断部，基于所述时间序列图像数据，判断所述工程机械的至少一个作业内容；以及，数据量削减部，其中，所述数据量削减部，在通过所述作业内容判断部判断的所述至少一个作业内容包含预先设定的第一特定作业的情况下，基于预先设定的第一削减规则，对存储在所述数据存储部的所述时间序列图像数据之中的与所述第一特定作业对应的部分即第一图像数据的数据量进行削减，在通过所述作业内容判断部判断的所述至少一个作业内容包含预先设定的第二特定作业的情况下，基于预先设定的第二削减规则，对存储在所述数据存储部的所述时间序列图像数据之中的与所述第二特定作业对应的部分即第二图像数据的数据量进行削减，所述第二特定作业与所述第一特定作业不同，所述第二削减规则与所述第一削减规则不同。
123.在该实施方式，由所述作业相关人员预先设定用于削减与所述第一特定作业对应的所述第一图像数据的所述数据量的第一削减规则、用于削减与所述第二特定作业对应的所述第二图像数据的所述数据量的第二削减规则，基于所述第一削减规则对所述第一图像数据的所述数据量进行削减，基于所述第二削减规则对所述第二图像数据的所述数据量进行削减。即，所述作业相关人员通过设定相互不同的所述第一削减规则和所述第二削减规则，从削减所述数据量的观点，可以对所述第一特定作业和所述第二特定作业赋予优劣。这意味着可以优先保留应该被保存的作业内容的图像数据，另一方面可以相对多地削减优先度(重要度)比该图像数据低的图像数据的数据量。由此，可以根据该工程机械的作业内容适当地削减包含工程机械在作业现场的图像的时间序列数据的作业数据的数据量。
124.在上述实施方式，也可以是，所述第一削减规则被设定为以预先设定的第一削减率对所述第一图像数据的所述数据量进行削减，所述第二削减规则被设定为以预先设定的第二削减率对所述第二图像数据的所述数据量进行削减，所述第二削减率与所述第一削减率不同。
125.在该实施方式，以使所述第一特定作业和所述第二特定作业之中重要度较高的一方的作业的削减率小于另一方的作业的削减率的方式来设定削减率。由此，可以根据作业内容的重要度对所述作业数据的所述数据量进行削减。
126.在上述实施方式，优选，所述的数据处理系统还包括：至少一个传感器，用于获取与所述工程机械的动作对应地变化的动作参数的时间序列数据即时间序列动作数据；以及，时间戳处理部，对所述时间序列图像数据以及所述时间序列动作数据分别赋予时刻信息，其中，所述数据存储部还存储所述时间序列动作数据，所述时间序列图像数据的所述时刻信息包含与所述第一图像数据对应的第一时刻信息和与所述第二图像数据对应的第二时刻信息，所述数据量削减部，在通过所述作业内容判断部判断的所述至少一个作业内容包含所述第一特定作业的情况下，对存储在所述数据存储部的所述时间序列动作数据之中的具有与所述第一时刻信息对应的时刻信息的部分即第一动作数据的数据量进行削减，在通过所述作业内容判断部判断的所述至少一个作业内容包含所述第二特定作业的情况下，对存储在所述数据存储部的所述时间序列动作数据之中的具有与所述第二时刻信息对应的时刻信息的部分即第二动作数据的数据量进行削减。
127.在该实施方式，通过所述至少一个传感器获取的所述时间序列动作数据，通过所述时间戳处理部对所述时间序列图像数据以及所述时间序列动作数据分别赋予的时刻信息，与所述时间序列图像数据相互关联。而且，所述数据量削减部，在所述至少一个作业内容包含所述第一特定作业的情况下，不仅对所述第一图像数据的所述数据量进行削减，还对与该第一图像数据相关联的所述第一动作数据的所述数据量进行削减，在所述至少一个作业内容包含所述第二特定作业的情况下，不仅对所述第二图像数据的所述数据量进行削减，还对与该第二图像数据相关联的所述第二动作数据的所述数据量进行削减。由此，可以根据该工程机械的作业内容，对通过所述摄像装置获取到的所述时间序列图像数据的所述数据量和通过所述传感器获取到的所述时间序列动作数据的所述数据量进行削减。
128.在上述实施方式，也可以是，所述作业内容判断部，在所述至少一个作业内容包含由预先设定的多个第三特定作业构成的反复性作业的情况下，输出表示所述多个第三特定作业的各自的判断精度的得分，所述数据量削减部，基于所述得分，对存储在所述数据存储
部的所述时间序列图像数据之中的与所述多个第三特定作业对应的部分即多个第三图像数据的至少一个数据量进行削减。
129.在该实施方式，基于所述得分对所述多个第三图像数据的至少一个第三图像数据的所述数据量进行削减。如果例举该实施方式的具体例则如下所示。在该实施方式，例如，所述数据量削减部以如下方式构成，即，对与所述多个第三特定作业之中得分低的所述第三特定作业对应的所述第三图像数据的所述数据量进行削减，而不对与所述多个第三特定作业之中得分高的所述第三特定作业对应的所述第三图像数据的所述数据量进行削减。而且，所述数据量削减部也可以以如下方式构成，即，与得分高的所述第三特定作业所对应的所述第三图像数据的所述数据量相比，更多地削减所述多个第三特定作业之中得分低的所述第三特定作业所对应的所述第三图像数据的所述数据量。另外，所述第三特定作业既可以与所述第一特定作业或所述第二特定作业相同，也可以与所述第一特定作业以及所述第二特定作业不同。
130.在上述实施方式，也可以是，所述数据存储部，将通过所述作业内容判断部判断的所述至少一个作业内容作为作业履历进行存储，所述数据处理系统还包括用于受理检索条件的输入的检索部，所述检索部，在被输入所述检索条件的情况下，从存储在所述数据存储部的所述作业履历检索与所述检索条件对应的信息，并输出检索到的所述信息。
131.在该实施方式，所述作业相关人员，通过输入所述检索条件，可以从存储在所述数据存储部的所述作业履历得到与所期望的作业内容相关的作业数据。
132.在上述实施方式，也可以是，所述的数据处理系统还包括：姿势推测部，基于构成所述时间序列图像数据的所述图像，推测所述工程机械的姿势，其中，所述作业内容判断部，基于通过所述姿势推测部推测出的所述姿势的时间序列数据即时间序列姿势数据，判断所述作业内容。
133.在该实施方式，可以基于所述工程机械的姿势的动态变化判断所述工程机械的所述作业内容。具体而言，所述工程机械的作业例如包含挖掘作业、整地作业、坡面整形作业、装载作业等，这些作业，在该工程机械的姿势方面，都是伴随着特有的时间序列的变化而进行。因此，所述工程机械的姿势的时间序列的变化与所述工程机械的所述作业内容之间具有关联性，能够成为判断该作业内容的指标。