施工机械设备动作实时智能识别方法及装置

1.本技术涉及智慧工地技术领域，具体涉及一种施工机械设备动作实时智能识别方法及装置。


背景技术：

2.在过去的20年中，新兴技术的进步使研究人员和从业人员在施工要素的管理领域，运用不同的技术手段，对不同层级的施工活动都进行了一定的研究，使得行业能够不断朝着智能、实时、动态管理的方向迈进，也取得巨大的进步。基于传感器的技术领域的最新发展（从硬件和软件的角度来看）已经帮助建筑经理有效地与现场的其他方进行互动，并提高了生产率和安全性能。根据实现的传感器的类型，施工要素活动自动检测和识别方法可以分为四大类，即：（1）基于运动学的方法；（2）基于计算机视觉的方法；（3）基于音频的方法；（4）其它物理传感器方法。
3.目前无论是基于哪类传感器的动作识别方法，均需要基于一个时段内的多个数据来进行判断，即需要考虑时序性，在技术上体现为通过时域滑动窗口来获取上述一个时段内的时序上下文信息。这需要通过大量时序上下文信息进行提取特征，并将大量时序信息作为一个样本输入模型框架。这种实现方式存在许多问题：1）动作起始点判断困难，导致会出现很多无效滑动窗孔；2）单个滑动窗口内就需要含有大量冗余时序信息，但是却都需要通过计算机的计算，浪费了大量算力资源；3）滑动窗口长度选取困难，对结果影响极大，很多时候需要同时设置多个滑动不同时间长度的滑动窗口，进一步导致资源浪费、效率降低、精度下降；4）增加了时间维度的数据，是一种数据升维的框架，对算力、存储资源消耗巨大；5）因为输入数据量较大，通常对应的动作识别模型也较大，不利于前端部署。


技术实现要素：

4.为了解决现有技术中存在的问题，第一方面，本技术提供一种施工机械设备动作实时智能识别方法，包括：采集待识别施工机械设备在预设时间范围内的多个时刻的运动部位信息；基于预先训练的动作识别模型分别对各时刻的所述运动部位信息进行分析，得到待识别施工机械设备在多个时刻的多个动作识别结果；所述动作识别模型是根据机械设备动作类型数据集训练得到的。
5.在一实施例中，所述施工机械设备动作实时智能识别方法还包括：利用时序信息对各时刻的所述动作识别结果进行平滑操作及结果纠正。
6.在一实施例中，所述运动部位信息为待识别施工机械设备的运动部位的图像信息；采集待识别施工机械设备在预设时间范围内的多个时刻的运动部位信息，包括：获取待识别施工机械设备在预设时间范围内的图像序列；基于图像差分法和实例分割法对所述图像序列中的各图像进行分析处理，得到待
识别施工机械设备在对应时刻的运动部位信息。
7.在一实施例中，所述基于图像差分法和实例分割法对所述图像序列中的各图像进行分析处理，得到待识别施工机械设备在对应时刻的运动部位信息，包括：通过背景差分法获取所述图像中的运动目标对应的第一像素集；在所述图像上对待识别施工机械设备进行实例分割得到第二像素集；获取所述第一像素集与所述第二像素集的交集，得到所述待识别施工机械设备的运动部位信息。
8.在一实施例中，训练所述动作识别模型的步骤包括：获取包含多个训练数据的训练数据集，各所述训练数据包括一施工机械设备的图像以及所述图像对应的语义标签；所述语义标签包括所述施工机械设备的类型及动作类别；使用所述训练数据集对初始模型进行训练，得到所述动作识别模型；所述初始模型包括机器学习模型、深度学习模型、数理统计对比模型、基于简单数理运算的特征值与阈值对比模型中的一种。
9.在一实施例中，建立所述训练数据集的步骤包括：采用机械设备模拟软件生成机械设备动作指令，并将所述机械设备动作指令施加于预设的数字机械设备；使用虚拟相机获取所述数字机械设备在多个相机位姿的图像序列；将各相机位姿的图像序列时间对齐至标准时间；对任一相机位姿的图像序列进行动作语义标准分析，得到对应的语义标签；将所述语义标签赋予各相机位姿的图像序列中对应的图像；分别根据各图像及其对应的语义标签建立所述训练数据集。
10.在一实施例中，所述施工机械设备动作实时智能识别方法还包括：采集工程现场的环境图像；对所述环境图像进行实例分割和语义分析，得到多个施工要素。
11.在一实施例中，所述施工机械设备动作实时智能识别方法还包括：获取待识别施工机械设备在多个作业工况下各作业环节的动作耗时；所述动作耗时为待识别施工机械设备执行某一动作所用的时间；基于所述动作耗时分别确定待识别施工机械设备在对应作业工况下的一个工作循环耗时；所述一个工作循环耗时为待识别施工机械设备依次执行所有动作所用的时间；根据所述动作耗时和/或所述一个工作循环耗时确定所述待识别施工机械设备在各作业工况下的工作效率信息。
12.在一实施例中，所述施工机械设备动作实时智能识别方法还包括：获取不同作业工况对应的操作指令；建立作业工况、工作效率信息以及操作指令之间的对应关系，以根据所述对应关系确定工作效率最高的作业工况及其对应的操作指令。
13.在一实施例中，所述施工机械设备动作实时智能识别方法还包括：根据所述动作识别结果以及所述施工要素确定对应的施工机械设备的交互活动、单个施工机械设备的安全信息和交互活动的安全信息；
获取施工机械设备执行所述动作识别结果时的操作指令；建立所述操作指令与所述单个施工机械设备的安全信息和交互活动的安全信息之间的对应关系。
14.在一实施例中，所述施工机械设备动作实时智能识别方法还包括：根据所述动作识别结果、所述工作效率信息、所述施工机械设备的交互活动、所述单个施工机械设备的安全信息以及所述交互活动的安全信息，生成施工机械设备的工作日志。
15.在一实施例中，所述施工机械设备动作实时智能识别方法还包括：将所述动作识别结果发送至数据展示平台进行展示；其中，所述数据展示平台可通过全息投影的立体显示方式实现所述动作识别结果的近实时数字孪生，或通过二维显示方式实现所述动作识别结果的图像模拟孪生和/或文字描述信息孪生。
16.在一实施例中，所述施工机械设备包括挖掘机、装载机、卡车、起重机、随车吊、登高车、压路机、推土机、路面摊铺机、混凝土搅拌运输车、臂架泵车、打桩机、旋挖钻机、成槽机中的一种或处于交互状态中的多种。
17.第二方面，本技术提供一种施工机械设备动作实时智能识别装置，包括：信息采集模块，用于采集待识别施工机械设备在预设时间范围内的多个时刻的运动部位信息；动作识别模块，用于基于预先训练的动作识别模型分别对各时刻的所述运动部位信息进行分析，得到待识别施工机械设备在多个时刻的多个动作识别结果；所述动作识别模型是根据机械设备动作类型数据集训练得到的。
18.在一实施例中，所述施工机械设备动作实时智能识别装置还包括结果纠正模块，用于利用时序信息对各时刻的所述动作识别结果进行平滑操作及结果纠正。
19.在一实施例中，所述运动部位信息为待识别施工机械设备的运动部位的图像信息；所述信息采集模块包括：图像序列获取单元，用于获取待识别施工机械设备在预设时间范围内的图像序列；图像分析单元，用于基于图像差分法和实例分割法对所述图像序列中的各图像进行分析处理，得到待识别施工机械设备在对应时刻的运动部位信息。
20.在一实施例中，所述图像分析单元具体用于：通过背景差分法获取所述图像中的运动目标对应的第一像素集；在所述图像上对待识别施工机械设备进行实例分割得到第二像素集；获取所述第一像素集与所述第二像素集的交集，得到所述待识别施工机械设备的运动部位信息。
21.在一实施例中，所述施工机械设备动作实时智能识别装置还包括：训练数据获取模块，用于获取包含多个训练数据的训练数据集，各所述训练数据包括一施工机械设备的图像以及所述图像对应的语义标签；所述语义标签包括所述施工机械设备的类型及动作类别；模型训练模块，用于使用所述训练数据集对初始模型进行训练，得到所述动作识
别模型；所述初始模型包括机器学习模型、深度学习模型、数理统计对比模型、基于简单数理运算的特征值与阈值对比模型中的一种。
22.在一实施例中，所述训练数据获取模块还用于：采用机械设备模拟软件生成机械设备动作指令，并将所述机械设备动作指令施加于预设的数字机械设备；使用虚拟相机获取所述数字机械设备在多个相机位姿的图像序列；将各相机位姿的图像序列时间对齐至标准时间；对任一相机位姿的图像序列进行动作语义标准分析，得到对应的语义标签；将所述语义标签赋予各相机位姿的图像序列中对应的图像；分别根据各图像及其对应的语义标签建立所述训练数据集。
23.在一实施例中，所述施工机械设备动作实时智能识别装置还包括施工要素获取模块，用于：采集工程现场的环境图像；对所述环境图像进行实例分割和语义分析，得到多个施工要素。
24.在一实施例中，所述施工机械设备动作实时智能识别装置还包括工作效率生成模块，用于：获取待识别施工机械设备在多个作业工况下各作业环节的动作耗时；所述动作耗时为待识别施工机械设备执行某一动作所用的时间；基于所述动作耗时分别确定待识别施工机械设备在对应作业工况下的一个工作循环耗时；所述一个工作循环耗时为待识别施工机械设备依次执行所有动作所用的时间；根据所述动作耗时和/或所述一个工作循环耗时确定所述待识别施工机械设备在各作业工况下的工作效率信息。
25.第三方面，本技术还提供一种电子设备，包括：中央处理器、存储器、通信模块，所述存储器中存储有计算机程序，所述中央处理器可调用所述计算机程序，所述中央处理器执行所述计算机程序时实现本技术提供的任一施工机械设备动作实时智能识别方法。
26.第四方面，本技术提供一种计算机可读存储介质，用于存储计算机程序，所述计算机程序被处理器执行时实现本技术提供的任一施工机械设备动作实时智能识别方法。
27.本技术提供的施工机械设备动作实时智能识别方法及装置，可以仅基于施工机械设备在某一时刻的运动部位信息识别得到施工机械设备在该时刻的动作，相比于现有的需要基于一个时段内的多个数据来进行动作判断的技术方案，本技术无需考虑数据的时序性，无需使用时域滑动窗口来获取上述一个时段内的时序上下文信息，进而减少了数据计算量和资源浪费，提高了动作识别效率和识别精度；同时，动作识别模型的大小也有一定程度的减小。
附图说明
28.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以
根据这些附图获得其他的附图。
29.图1为本技术提供的施工机械设备动作实时智能识别方法的一种示意图。
30.图2为本技术提供的施工机械设备动作实时智能识别方法的另一种示意图。
31.图3为本技术提供的采集运动部位信息的步骤示意图。
32.图4为本技术提供的基于图像差分法和实例分割法得到运动部位信息的步骤示意图。
33.图5为本技术提供的训练动作识别模型的步骤示意图。
34.图6为本技术提供的建立用于训练动作识别模型的训练数据集的步骤示意图。
35.图7a至图7d分别为本技术提供的挖机的装载、旋转-重载、卸载、旋转-空载动作对应的部分数据集。
36.图8为本技术提供的施工机械设备动作实时智能识别装置的一种示意图。
37.图9为本技术提供的施工机械设备动作实时智能识别装置的另一种示意图。
38.图10为本技术提供的施工机械设备动作实时智能识别装置的另一种示意图。
39.图11为本技术提供的施工机械设备动作实时智能识别装置的另一种示意图。
40.图12为本技术提供的施工机械设备动作实时智能识别装置的另一种示意图。
41.图13为本技术提供的一种电子设备的示意图。
具体实施方式
42.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
43.第一方面，本技术提供一种施工机械设备动作实时智能识别方法，如图1所示，该方法包括以下步骤s101至步骤s102：步骤s101，采集待识别施工机械设备在预设时间范围内的多个时刻的运动部位信息。其中，这里的运动部位信息可以是实时采集的，也可以预先采集到的。
44.具体地，本技术的待识别施工机械设备包括但不限于挖掘机（反铲、正铲、索产、履带、轮式等）、装载机、卡车、轮式起重机、履带式起重机、塔式起重机、随车吊、登高车、压路机、推土机、路面摊铺机、混凝土搅拌运输车、臂架泵车、打桩机、旋挖钻机、成槽机等。待识别施工机械设备可以为以上设备的一种或处于交互状态的多种，例如处于交互状态的挖掘机和卡车。这里的处于交互状态值两种或多种施工机械设备配合作业的状态，例如挖掘机正在将物料装填至卡车的作业状态。
45.本技术的运动部位信息具体指待识别施工机械设备的运动部位（发生位移的部位）的状态信息。运动部位例如：吊车的吊臂、吊钩，装载机的铲斗、机身，挖机的转台、大臂、斗杆、铲斗、履带等。
46.状态信息包括但不限于运动部位的位移（包括角位移）信息、声学信息、空间位姿信息中的一个或多个。对于挖机而言，其运动部位信息包括但不限于关节空间数据、驱动机构空间数据、位姿空间数据以及检测机构空间参数中的一种或多种。
47.本技术则主要以位移（包括角位移）信息为例展开叙述。位移（包括角位移）信息可
通过多种方式获取，例如，位移（包括角位移）信息可通过拍摄图像并进行图像实例分割、特征匹配等基于计算机视觉的方法获取。再例如，位移（包括角位移）信息还可通过读取操作指令、读取各个运动部位对应的操作杆角度、读取各个运动部位上安装的位移（角位移）传感器的数据等基于运动学的方法获取。对于采用油缸、电动缸驱动的运动部位，可通过获取驱动部件的行程、做功、功率、位移等间接获取其位移信息。此外还可通过获取与运动部位存在几何和运动关系的参数，进而将其转换为运动部位的位移信息。本技术还可通过以上多种方式的组合获取运动部位的位移信息。
48.步骤s102，基于预先训练的动作识别模型分别对各时刻的所述运动部位信息进行分析，得到待识别施工机械设备在多个时刻的多个动作识别结果；所述动作识别模型是根据机械设备动作类型数据集训练得到的。
49.具体地，本步骤的动作识别模型是基于步骤s101中获得的运动部位信息分析得到设备的动作识别结果的，因此动作识别模型是与运动部位信息对应的。例如，当运动部位信息为拍摄得到的图像信息时，机械设备动作类型数据集则包含有各类机械设备在不同动作状态下的图像数据训练得到；当运动部位信息为操作杆的角度、驱动部件的行程、做功、功率、位移等驱动信息时，机械设备动作类型数据集则包含有各类机械设备在不同动作状态下的驱动数据训练得到。也即，本步骤的动作识别模型可以是用于分析图像信息的模型，也可以是用于分析驱动信息的模型，还可以同时具有分析图像信息和驱动信息能力的模型的组合。实际应用中，可根据步骤s101中选用的数据类型的不同而训练得到不同的动作识别模型。
50.需要强调的是，本步骤的动作识别模型进行动作识别时，分别针对各时刻的运动部位信息分析得到各时刻对应的动作识别结果。也即，不同于现有的基于一个时段内的多个数据来进行动作判断的技术方案，本技术不需要考虑时序信息，而是基于某一时刻的运动部位信息进行这一时刻的动作分类。这是本技术与现有的动作分类方法的不同。由于不需要考虑时序信息，本技术采集到某一时刻的运动部位信息后即可进行动作识别的相关处理，无需等待其他时刻的运动部位信息采集完成，因此本技术的基于单时点/时刻运动部位信息进行动作识别的效率相较于现有技术方案有较大的提高，实现了施工机械设备的实时甚至前端实时识别，这对于施工现场的安全和施工作业的稳定推进具有重大意义；同时，由于仅需处理某一时刻的运动部位信息即可得到动作识别结果，本技术处理的数据量大大减小，即本技术相比现有的基于一段时间内多个时刻设备所处的工作状态进行动作分类的技术方案而言具有数据降维、所需算力小的优势。
51.因此，本技术提供的施工机械设备动作实时智能识别方法，可以仅基于施工机械设备在某一时刻的运动部位信息识别得到施工机械设备在该时刻的动作，相比于现有的需要基于一个时段内的多个数据来进行动作判断的技术方案，本技术无需考虑数据的时序性，无需使用时域滑动窗口来获取上述一个时段内的时序上下文信息，进而减少了数据计算量和资源浪费，提高了动作识别效率和识别精度；同时，动作识别模型的大小也有一定程度的减小。
52.需要说明的是，本技术可同时对待识别施工机械设备的一个或多个运动部位的动作进行识别，各运动部位分别按照上述步骤处理即可。为了便于叙述，后续仅以某一个运动部位的动作识别为例进行识别，本领域技术人员应该明白，这并非对本技术的限定。
53.在一实施例中，如图2所示，所述施工机械设备动作实时智能识别方法还包括：步骤s103，利用时序信息对各时刻的所述动作识别结果进行平滑操作及结果纠正。
54.具体地，对于得到的各时刻的动作识别结果，可以利用时序信息进行平滑操作，对动作识别模型误判的结果进行纠正，其原理为在较短的连续时间内不可能出现两个动作之间的来回变动。例如，对按照时刻的先后顺序对动作识别结果进行排序，假设存在连续的t-5时刻、t-4时刻、t-3时刻、t-2时刻、t-1时刻、t时刻、t 1时刻、t 2时刻、t 3时刻、t 4时刻、t 5时刻，若各时刻对应的动作识别结果分别为动作一、动作一、动作一、动作一、动作一、动作二、动作一、动作一、动作一、动作一、动作一，由于t时刻前后动作一均连续出现了多次，因此认为t时刻的动作识别结果有误，可以将t时刻的动作识别结果更正为动作一。若各时刻对应的动作识别结果分别为动作一、动作一、动作一、动作一、动作一、动作二、动作二、动作二、动作二、动作二、动作二，由于t时刻的动作识别结果与之前时刻的不同，且t时刻之后连续多个时刻的动作识别结果均为动作二，因此可以判定动作二已经出现，此时可将t时刻确定为动作二的动作起始时刻（动作最开始出现的时刻），同样可进一步将t时刻作为动作一的动作结束时刻。由此可见，通过本技术的方法可快速、便捷的确定动作起始时刻和动作结束时刻，解决了现有技术中的一大难点。
55.也就是说，在纠正动作识别结果时，当连续一段时间内出现的都是某个动作时，再判定该动作出现，否则应仍判定为原来的动作。这里的连续一段时间可以设置为0.1s~5s，具体可以根据施工机械设备的不同动作而定，也可以由施工机械设备的多个动作共同确定，例如对于存在循环执行动作一、动作二、动作三和动作四的循环工作而言，可以根据起始动作（动作一）和结尾动作（动作四）确定循环工作的起始时刻，即结尾动作后第一次出现起始动作的时刻。对于变化速度快的动作，该“连续一段时间”相对较短，对于变化速度慢的动作，该“连续一定时间”相对较长。该“连续一段时间”可根据单时点/单时刻的运动部位信息的采样量进行转换，即根据时域采样频率、采样时长和采样数量之间的关系确定，例如当运动部位信息为拍摄得到的图像信息时，可根据帧率、时长和帧数之间的关系确定。
56.表1展示了以挖机对应的数据集训练得到的动作识别模型的正确率以及经过时间平滑后的动作识别正确率，表1中的数据是在装载训练集数量150、装载测试集数量460、旋转-重载训练集数量150、旋转-重载测试集数量460、卸载训练集数量150、卸载测试集数量460、旋转-空载训练集数量150、旋转-空载测试集数量460的基础上得到的。装载、旋转-重载、卸载、旋转-空载的数据集示意可参见图7a至图7d。
57.从上表可以看出，训练好的动作识别模型对挖机装载这一动作识别的正确率为98.70%，经过时间平滑后的正确率提高至99.57%；对挖机旋转-重载这一动作识别的正确率为98.48%，经过时间平滑后的正确率提高至99.13%；对挖机卸载这一动作识别的正确率为99.78%，经过时间平滑后的正确率提高至100.00%；对挖机旋转-空载这一动作识别的正确率为97.83%，经过时间平滑后的正确率提高至99.35%。由此可见，经过平滑操作可进一步提高待识别施工机械设备动作识别的正确率。
58.在一实施例中，如图3所示，所述运动部位信息为待识别施工机械设备的运动部位的图像信息；步骤s101，采集待识别施工机械设备在预设时间范围内的多个时刻的运动部位信息，包括：步骤s1011，获取待识别施工机械设备在预设时间范围内的图像序列。
59.其中，图像序列的排序依据为时间的先后顺序；图像序列的帧率可以固定，也可根据施工机械设备的运动部位的设置不同的值。本技术的图像序列可以为图像采集装置（如监控摄像头）实时或预先采集的施工机械设备的监控视频（不抽帧），也可以是对视频进行抽帧后由视频帧组成的图像序列。
60.图像序列中的图像可以是二值图图像、灰度图、rgb图像、hsv图像中的一种或多种。
61.步骤s1012，对所述图像序列中的各图像进行分析处理，得到待识别施工机械设备在对应时刻的运动部位信息。
62.运动部位信息的获取方法可以采用图像差分法（帧差法、背景差分法）、光流法、特征匹配法、实例分割法、实例分割后轮廓对比法（类似于图像差分法，区别在于图像差分法差分的对象为目标的像素值，而实例分割后轮廓对比法差分的对象为目标的轮廓在图像中的位置的变化）、边缘检测法中的一种或多种的组合。
63.实际上，在执行步骤s1012之前，还需要基于计算机视觉技术对获取到的图像序列中的各图像进行预处理，确定各图像中施工机械设备的区域或位置，将待识别施工机械设备从整幅图像中定位出来（detection or localization），然后通过resize（downsize or upsize）把目标区域截取出来。
64.本实施例采用图像作为各时刻的运动部位信息，图像可通过图像采集装置（如监
控摄像头）等图像采集设备获取。本实施例利用了图像采集设备这一非接触式的感测手段，实现工程现场的快捷监测，相比于使用传感器等接触式感测设备而言，图像采集设备无需与施工机械设备进行接口适配，也不会对施工作业产生影响，进一步提高了技术的适用性和便捷性。
65.在一实施例中，本技术优选图像差分法和实例分割法的组合方法对图像序列中的各图像进行分析处理，得到待识别施工机械设备在对应时刻的运动部位信息，如图4所示，基于图像差分法和实例分割法得到运动部位信息的步骤包括：步骤s10121，通过背景差分法获取所述图像中的运动目标对应的第一像素集。本步骤的图像差分法具体采用背景差分法，其中背景采用实时更新的背景。
66.具体地，在步骤s1011中获取到的图像序列中包含多个图像。这里需要分别对图像序列中的每个图像进行处理。以其中一个图像p1为例，通过背景差分法获取图像p1中的所有运动目标的像素集s
background difference
，图像p1中的运动目标可以为多个，这里的运动目标指施工机械设备以及工作人员等其他可动目标。
67.步骤s10122，在所述图像上对待识别施工机械设备进行实例分割得到第二像素集。
68.在图像p1上对待识别施工机械设备进行实例分割，得到待识别施工机械设备对应的像素集，这里的待识别施工机械设备可以为一个或多个，因此本步骤中的第二像素集可以表示为s
instance segmentation
=（equipment1，equipment2，
……
，equipmenti，
……
，equipmentn），其中，equipmenti表示对第i台待识别施工机械设备进行实例分割后得到的像素子集。
69.步骤s10123，获取所述第一像素集与所述第二像素集的交集，得到所述待识别施工机械设备的运动部位信息。
70.具体地，求解图像p1中所有运动目标的像素集s
background difference
与像素集s
instance segmentation
中的像素子集equipmenti的交集，得到图像p1中的第i台待识别施工机械设备的图像信息p
equipment，i
，也即运动部位信息。即：p
equipment，i = s
background difference
∩equipmenti通过以上方式，也可以得到图像p1中的其他待识别施工机械设备的图像信息。
71.以上即为得到图像p1中的待识别施工机械设备的运动部位信息的步骤。对于图像序列中的其他图像，可通过同样的方式进行处理，进而得到各图像中的待识别施工机械设备的运动部位信息。
72.本实施例基于图像差分法和实例分割法对采集到的图像进行处理，得到的图像信息（运动部位信息）的特征表达能力很强。通过本实施例得到的图像信息与图7a至图7d展示的图像数据类似，从图7a和图7d中也可以看出，图中待施工机械设备的动作特征足够明显，即使通过人工判断也能准确识别出其对应的动作。因此，本技术通过训练好的动作识别模型对图像进行动作识别的准确率也是非常之高的。
73.在一实施例中，如图5所示，训练所述动作识别模型的步骤包括：步骤s201，获取包含多个训练数据的训练数据集，各所述训练数据包括一施工机械设备的图像以及所述图像对应的语义标签；所述语义标签包括所述施工机械设备的类型及动作类别。
74.具体地，训练数据集可以预先存储在数据库中。训练数据集包含有各种施工机械设备的图像（运动部位信息）以及该图像所表示的动作类别。其中，施工机械设备的类型可参见步骤s101中给出的待识别施工机械设备的类型。不同施工机械设备的动作类别也存在不同，例如对于履带式反铲挖机，其动作类别包括装载（向铲斗内装载物料）、重载旋转、卸载（将铲斗内物料卸下）、空载旋转、行走、空闲、场地平整、边坡修整、深挖等；对于装载机，其动作类别包括装载、重载运输、空载行驶、高举卸载、正常卸载、空闲等；对于履带式起重机，其动作类别包括准备、起吊、重载行使、安装（下降）、空载行使、空闲等；对于旋挖钻机，其动作类别包括旋挖、提升、卸载、下降、临时转移、转场、空闲等；对于臂架泵车，其动作类别包括收臂空闲、张臂空闲、行使、布料、收臂、张臂、空闲等。其中，施工机械设备的“空闲”动作指施工机械设备没有部位处于运动状态，实际的动作识别过程中，当采集到某时刻的图像并通过实例分割获取到该图像中施工机械设备的轮廓后，若检测结果为该轮廓内没有运动部件可以识别，则该时刻的图像对应的动作识别结果即为“空闲”。
75.步骤s202，使用所述训练数据集对初始模型进行训练，得到所述动作识别模型。
76.其中，所述初始模型包括机器学习模型、深度学习模型、数理统计对比模型、基于简单数理运算的特征值与阈值对比模型中的一种。
77.本实施例中的动作识别模型仅需识别某一时刻的图像信息，模型计算量小，模型的复杂度和训练难度也大大降低。申请人实际训练该动作识别模型时，采用的训练配置为：华为matebook x pro14 2019款，cpu:intel 酷睿i7 8565u，非gpu加速；模型训练时间小于3分钟；训练好的模型大小仅3.25m。现有技术中需要根据考虑时序信息进行动作识别的模型，复杂度高，数据计算量大，模型训练时间经常需要2天甚至更久。相比之下，本技术的动作识别模型复杂度低，训练时间短，效率更高，运行更快更便捷。
78.在一实施例中，本技术提供一种低成本、高效率的训练数据集的建立方法，如图6所示，使用该方法建立训练数据集的步骤包括：步骤s301，采用机械设备模拟软件生成机械设备动作指令，并将所述机械设备动作指令施加于预设的数字机械设备。
79.其中，数字机械设备为与真实的施工机械设备对应的数字化模型。将机械设备动作指令施加于数字机械设备，可模拟真实的施工机械设备的动作。
80.步骤s302，使用虚拟相机获取所述数字机械设备在多个相机位姿的图像序列。
81.具体地，这里的虚拟相机可以采用现有的图形处理软件、处理工具包中的虚拟相机。通过设置虚拟相机的拍摄参数（相机位姿、拍摄频率等）获得数字机械设备采集数字机械设备在不同角度的图像序列。
82.步骤s303，将各相机位姿的图像序列时间对齐至标准时间。
83.即，将各相机位姿的图像序列时间对齐，是为了将各图像序列中代表数字机械设备在同一时刻的不同角度的图像对应起来。例如时间对齐后，在第一相机位姿拍摄的图像序列为：t时刻图像a1，t 1时刻图像a2，t 3时刻图像a3
……
；在第二相机位姿拍摄的图像序列为：t时刻图像b1，t 1时刻图像b2，t 3时刻图像b3
……
。将图像序列时间对齐后，t时刻的图像a1和图像b1为数字机械设备在同一动作状态下的不同角度的视图，图像a1和图像b1对应的是同一个动作，因此图像a1和图像b1对应的语义标签也是一样的。
84.步骤s304，对任一相机位姿的图像序列进行动作语义标准分析，得到对应的语义
标签。
85.具体地，本技术对某一个相机位姿的图像序列中的各图像分别进行语义标准分析，得到各图像对应的语义标签。语义标准分析可采用预先训练的语义模型实现。语义模型可使用大量的已赋予动作语义标签的施工机械设备的图像训练得到。训练好的语义模型可对待分析的图像特征进行提取并基于图像特征生成该图像对应的动作语义标签。
86.步骤s305，将所述语义标签赋予各相机位姿的图像序列中对应的图像。
87.具体地，假设在第一相机位姿拍摄的图像序列为：t时刻图像a1，t 1时刻图像a2，t 2时刻图像a3
……
；在第二相机位姿拍摄的图像序列为：t时刻图像b1，t 1时刻图像b2，t 2时刻图像b3
……
；在第三相机位姿拍摄的图像序列为：t时刻图像c1，t 1时刻图像c2，t 2时刻图像c3
……
。且步骤s304中针对第一相机位姿的图像序列进行动作语义标准分析，图像a1的语义标签为动作一，图像a2的语义标签为动作一，图像a3的语义标签为动作二
……
，则将图像a1的语义标签赋予其他相机位姿的图像序列中与图像a1同一时刻（t时刻）采集到的图像b1和图像c1，将图像a2的语义标签赋予其他相机位姿的图像序列中与图像a2同一时刻（t 1时刻）采集到的图像b2和图像c2，将图像a3的语义标签赋予其他相机位姿的图像序列中与图像a3同一时刻（t 2时刻）采集到的图像b3和图像c3
……
这是因为不同相机位姿在同一时刻采集到的图像为数字机械设备的同一动作，对应的语义标签自然是相同的。
88.步骤s306，分别根据各图像及其对应的语义标签建立所述训练数据集。训练数据集中包含了各图像（运动部位信息）与动作类别的对应关系。图7a至图7d分别展示了挖机的装载、旋转-重载、卸载、旋转-空载这四个动作对应的部分数据集。
89.通过以上步骤可实现训练数据集的快速扩充。实际上步骤s301与和步骤s302获取不同相机位姿的图像序列还可通过以下步骤实现：使用预先制作的rc模型模拟真实的施工机械设备，并将施工机械设备置于拍摄背景中。通过固定设置于rc模型不同角度的图像获取设备，拍摄施工机械设备的运动状态信息。该过程中，可以采样简化拍摄背景获得更高效的数据集，例如选择与施工机械设备的颜色对比鲜明的拍摄背景。获取到各图像序列后，按照步骤s303~步骤s306中的方法对图像序列中的图像进行处理即可。
90.实际应用中，可设计一种固定组件，将图像获取设备固定于施工机械设备的不同角度。该固定组件包括多根沿经线方向排列的滑轨，滑轨可为弧形或圆形。每根滑轨上设置有可沿滑轨移动并可固定于滑轨上任意位置的滑动组件，滑动组件可与图像获取设备的支架连接。滑动组件在滑轨上移动时，图像获取设备可随之移动，进而灵活调整图像获取设备相对于目标施工机械设备的位姿。
91.在一实施例中，所述施工机械设备动作实时智能识别方法还包括确定工程现场的施工要素，具体包括以下步骤：（1）采集工程现场的环境图像；（2）对所述环境图像进行实例分割和语义分析，得到多个施工要素。其中，所述施工要素包括装载物料、装载量、卸载位置、循环作业次数。
92.具体地，以挖机为例，施工要素可包括挖机正在挖掘的物料是土、黄土、沙土等；挖机的铲斗内的物料的卸载位置为大空地上、卡车上等；挖机铲斗的装载量为满载、半载、空载等；挖机执行“装载-重载旋转-卸载-空载旋转”这一循环作业的次数、装车耗时等。本实
施例可通过预先训练的模型实现实例分割和语音分析的步骤，实例分割模型和语义模型可使用大量的已赋予相应语义标签的环境图像训练得到。训练好的实例分割模型和语义模型可对待分析的环境图像进行特征提取并基于环境图像的特征生成该环境图像对应的多个语义标签。本技术所涉及的动作识别模型、实例分割模型和语义模型的训练数据集均可来源于已公开的数据库mocs dataset（参考文献：dataset and benchmark for detecting moving objects in construction sites），对mocs dataset中的图像进行进一步标注语义标签即可作为模型的训练数据使用。基于所训练的模型的不同，语义标签的类别数量、精细度等有一定差异。
93.例如，假设对挖机的某一图像信息识别，得到挖机的动作识别结果为装载。此时通过实例分割和语义分析，得到该图像中的施工要素为：铲斗内装载的物料为砂土，卸载的位置为编号x的卡车，通过计数器和深层次的状态语义分析得到执行6次“装载-重载旋转-卸载-空载旋转”的循环作业后装满了x卡车，其中有2次铲斗的装载量为半满，4次铲斗的装载量为全满。
94.本实施例中得到的施工要素可以作为待识别施工机械设备动作识别的补充信息。
95.在一实施例中，所述施工机械设备动作实时智能识别方法进一步还包括确定施工机械设备在不同工况下的工作效率，具体包括以下步骤：（1）获取待识别施工机械设备在多个作业工况下各作业环节的动作耗时；所述动作耗时为待识别施工机械设备执行某一动作所用的时间。执行某一动作所用时间可通过该动作连续出现的时间得到。
96.例如，对于挖机而言，对按照图像采集时刻的先后顺序对动作识别结果进行排序，假设存在连续的t-5时刻、t-4时刻、t-3时刻、t-2时刻、t-1时刻、t时刻、t 1时刻、t 2时刻、t 3时刻、t 4时刻、t 5时刻，且各时刻采集到的图像对应的动作识别结果分别为装载、旋转-重载、旋转-重载、旋转-重载、旋转-重载、旋转-重载、旋转-重载、旋转-重载、旋转-重载、旋转-重载、卸载，此时可将t-4时刻确定为旋转-重载的动作起始时刻（动作最开始出现的时刻），将t 4时刻确定为旋转-重载的动作结束时刻（动作最后出现的时刻），动作结束时刻与动作起始时刻的差值即为旋转-重载的动作耗时。
97.（2）基于所述动作耗时分别确定待识别施工机械设备在对应作业工况下的一个工作循环耗时；所述一个工作循环耗时为待识别施工机械设备依次执行所有动作所用的时间；例如，对于挖机而言，一个工作循环耗时为挖机连续执行“装载、旋转-重载、卸载、选旋转-空载”这四个动作所用的时间。
98.（3）根据所述动作耗时和/或所述一个工作循环耗时确定所述待识别施工机械设备在各作业工况下的工作效率信息。
99.这里本技术提供一个具体的示例进行说明。以履带式反铲挖机为例，其动作分类包括装载（向铲斗内装载物料）、重载旋转、卸载（将铲斗内物料卸下）、空载旋转、行走、空闲、场地平整、边坡修整、深挖等。对反铲履带挖机不同工况的工作效率进行分析，可确定不同工况下的最优工作策略。
100.对于最常见的土石方装车作业中，常见的变量包括：土石方类型（待装车物料种类）、待装车物料与挖机在高度上的相对位置关系、待装载卡车与挖机的高度关系，一个工作循环挖机的旋转角（即挖机完成一次“装载-重载旋转-卸载-空载旋转”循环作业所需要
旋转的角度）。其中，土石方类型包括：未松动\松动的板结原状土（强度较高）、未松动\松动的沃土（强度较小）、未松动\松动硬岩、未松动\松动软岩、原状\非原状鹅卵石堆积体、淤泥等；待装车物料与挖机在高度上的相对位置关系包括：待装车物料低于挖机重心、待装车物料与挖机重心几乎平齐、待装车物料高于挖机重心；待装载卡车与挖机的高度关系包括：卡车所在平面低于挖机所在平面1\半个车身高度左右、卡车与挖机在同一平面、卡车所在平面高于挖机所在平面；一个工作循环挖机的旋转角包括：30
°‑
90
°
，90
°‑
150
°
，150
°‑
210
°
，210
°‑
360
°
。
101.在一般的作业中，待装车物料种类无法选择，在某些条件下，其余几个变量通常也有至少一个无法选择（由现场工况基本确定）。因此在此种情况下，其余可选择的变量如何选择，才能保证挖机的装车效率最高，就显得非常之重要。
102.表2展示了履带式反铲挖机在五种工况下装载、旋转-重载、卸载、旋转-空载的动作耗时以及一个工作循环耗时。
103.以下分别从物料状态-挖机与物料位置关系-挖机与卡车高度关系-一个工作循环挖机的旋转角对五种工况分别作出解释：工况一：平铺散土-平地料-平车-后装：物料为松动的散土，未呈聚集状，基本层平铺状；物料与挖机下履带在同一平面（即基本与重心在同一平面或略低）；挖机履带底和卡车在同一平面；假设挖机装车（卸载物料）方向的正前方，则其装卸物料方向与卸载方向成角150
°‑
180
°
左右，即一个“挖掘、旋转-重载、卸载、旋转-空载”需要旋转的角度接近360
°
。
104.工况二：聚集原位土-中台阶料-低车-后装：物料为原位土，质地松软，呈聚集状；物料略高于挖机重心；挖机履带底高于卡车半个车高以上；假设挖机装车（卸载物料）方向的正前方，则其装卸物料方向与卸载方向成角150
°‑
180
°
左右，即一个“挖掘、旋转-重载、卸载、旋转-空载”需要旋转的角度接近360
°
。
105.工况三：原位风化岩-中台阶料-略低车-侧装：物料为原位风化岩，呈聚集状；物料略高于挖机重心；挖机履带底接近半个卡车高；假设挖机装车（卸载物料）方向的正前方，则其装卸物料方向与卸载方向成角60
°‑
90
°
左右，即一个“挖掘、旋转-重载、卸载、旋转-空载”需要旋转的角度接近180
°
。
106.工况四：原位古河床卵石-低台阶料-低车-前装：物料为原位古河床，鹅卵石为主，呈聚集状，颗粒料间强度不大；物料低于挖机履带，远低于挖机重心；挖机履带底高于卡车半个车高以上；假设挖机装车（卸载物料）方向的正前方，则其装卸物料方向与卸载方向成角15
°‑
30
°
左右，即一个“挖掘、旋转-重载、卸载、旋转-空载”需要旋转的角度接近60
°
。
107.工况五：聚集松土-低台阶料-平车-侧后装：物料为松动土，呈聚集状；物料低于挖机履带，远低于挖机重心；挖机履带底和卡车在同一平面；假设挖机装车（卸载物料）方向的正前方，则其装卸物料方向与卸载方向成角90
°‑
130
°
左右，即一个“挖掘、旋转-重载、卸载、旋转-空载”需要旋转的角度接近240
°
。
108.表2：挖机装车作业各环节耗时（s）
通过比较各工况下的一个工作循环耗时可知，履带式反铲挖机在工况四：原位古河床卵石-低台阶料-低车-前装下的效率最高。上表2仅给出了部分工况及其对应的动作耗时，且上表五种工况的作业对象均不同。在实际应用中，会以各可选择的工程要素为变量，得到针对同一待装车物料的多种作业方式，并分别统计各种作业方式下的动作耗时，以得
到针对该待装车物料的最优作业方式，提高施工效率。其中，不可选择的工程要素包括待装车物料，可选择的工程要素包括施工机械设备与物料位置关系（平地料、低台阶料、中台阶料等）-施工机械设备与卡车高度关系（平车、低车、略低车等）。
109.通过以上方式得到施工机械设备在各种作业工况/作业方式下的工作效率信息，对比不同工况下不同动作的效率信息可以优选出不同工况下的最优作业方式/作业工况，进而达到提升工作效率的目的。
110.进一步地，所述施工机械设备动作实时智能识别方法还包括：获取不同作业工况/作业方式对应的操作指令；建立作业工况/作业方式、工作效率信息以及操作指令之间的对应关系，以根据所述对应关系确定工作效率最高的作业工况/作业方式及其对应的操作指令。
111.具体地，得到施工机械设备各作业方式/作业工况对应的工作效率信息后，还可获取各作业方式/作业工况对应的操作指令，进而建立作业方式/作业工况、工作效率信息与操作指令三者之间的对应关系。合理利用该对应关系，有助于提升施工机械设备自动驾驶时的指令效率。
112.在一具体的示例中，通过图像采集装置（如监控摄像头）等图像采集设备采集并进一步分析得到包括待装车物料（平铺松散土、原位强风化岩、松动土、原位古河床、原位土等）在内的不可选择的施工要素，以该不可选择的施工要素为匹配依据匹配至少一个作业方式/作业工况，当作业方式/作业工况多于一个时，进一步根据前述对应关系获取各作业方式/作业工况的工作效率信息；根据各工作效率信息确定最优作业方式/作业工况，即效率最高的作业方式/作业工况；最后根据前述对应关系获取最优作业方式/作业工况对应的操作指令。将该最优作业方式对应的操作指令发送至驾驶施工机械设备的施工人员，供施工人员参考操作，或者将该最优作业方式对应的操作指令发送至可自动驾驶的施工机械设备，使其按照操作指令进行作业。
113.本实施例通过建立作业方式/作业工况、工作效率信息以及操作指令的对应关系，有利于快速确定施工现场的最优作业方式/作业工况，提高施工效率。
114.进一步地，所述施工机械设备动作实时智能识别方法还包括：根据所述动作识别结果以及所述施工要素确定对应的施工机械设备的交互活动、单个施工机械设备的安全信息和交互活动的安全信息；获取施工机械设备执行所述动作识别结果时的操作指令；建立所述操作指令与所述单个施工机械设备的安全信息和交互活动的安全信息之间的对应关系。
115.具体地，得到施工机械设备动作实时智能识别结果后，可通过对各个设备的动作分析和施工现场要素（工料机）分析得到施工机械设备之间交互活动信息（例如：挖掘机将物料装填至卡车上）、单个施工机械设备的安全信息（例如：施工机械设备的动作是否符合操作规范）及多个施工机械设备交互活动的安全信息（例如：多个施工机械设备交互过程中是否可能发生碰撞）以及各动作对应的操作指令，进而建立安全信息与操作指令的对应关系。其中，这里的单个施工机械设备的安全信息及多个施工机械设备交互活动的安全信息指施工机械设备的违规行为以及可能造成安全隐患的行为，例如：施工机械设备间是否会发生碰撞、是否会与其它物体碰撞、是否超载、是否超速等等。其中，如：1）机械设备间是否
会发生碰撞可由相关机械设备的位姿关系进行判断；2）是否会与其它物体碰撞可由该机械设备的位姿与其它施工要素的空间关系进行判断；3）是否超载可由物理传感器信息获得；4）是否超速可由运动部位信息结合机械设备（或其零部件）原始尺寸信息获得，如对于在图像信息中，由差分法得到运动部位后，结合机械设备（或其零部件）原始尺寸进行分析，可以还原该机械设备（或其零部件）的运动速度，如卡车、渣土车、吊车的吊钩等的速度。合理利用安全信息与操作指令的对应关系，有助于提升施工设备自动驾驶时的安全性。
116.进一步地，所述施工机械设备动作实时智能识别方法还包括：根据所述动作识别结果、所述工作效率信息、所述施工机械设备的交互活动、所述单个施工机械设备的安全信息以及所述交互活动的安全信息，生成施工机械设备的工作日志。
117.具体地，得到施工机械设备动作实时智能识别结果、各动作对应的工作效率信息、设备交互信息、单设备及设备交互活动的安全信息后，还可进一步基于该工作效率信息、设备交互信息、单设备及设备交互活动的安全信息、施工机械设备的动作时序信息（动作执行的先后顺序）以及位置信息，生成施工机械设备的工作日志并存储，便于后续在施工机械设备的检修等过程中供工作人员调用查看。
118.通过本实施例的方式自动生成工作日志，在一定程度上避免了依赖人工记录工作日志时易出错的问题，提高了工作日志中信息的准确性、可靠性和工作日志的记录效率。
119.进一步地，所述施工机械设备动作实时智能识别方法还包括：将所述动作识别结果发送至数据展示平台进行展示；其中，所述数据展示平台可通过全息投影的立体显示方式实现所述动作识别结果的近实时数字孪生，或通过二维显示方式实现所述动作识别结果的图像模拟孪生和/或文字描述信息孪生。
120.具体地，可利用5g、6g等通讯技术将本技术的动作识别结果发送至数据展示平台，由该数据展示平台进行展示。展示方式例如可以为三维立体展示，即通过全息投影的立体显示方式实现所述动作识别结果的近实时数字孪生；展示方式还可以为二维图像或文字展示，即通过显示屏等二维显示方式实现所述动作识别结果的图像模拟孪生和/或文字描述信息孪生。本实施例有利于后台工作人员查看施工机械设备的工作状态。
121.基于同一发明构思，本技术实施例还提供了一种施工机械设备动作实时智能识别装置，可以用于实现上述实施例所描述的方法，如下面的实施例所述。由于施工机械设备动作实时智能识别装置解决问题的原理与施工机械设备动作实时智能识别方法相似，因此施工机械设备动作实时智能识别装置的实施可以参见施工机械设备动作实时智能识别方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的系统较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
122.如图8所示，本技术提供一种施工机械设备动作实时智能识别装置，包括：信息采集模块801，用于采集待识别施工机械设备在预设时间范围内的多个时刻的运动部位信息；动作识别模块802，用于基于预先训练的动作识别模型分别对各时刻的所述运动部位信息进行分析，得到待识别施工机械设备在多个时刻的多个动作识别结果；所述动作识别模型是根据机械设备动作类型数据集训练得到的。
123.在一实施例中，如图9所示，所述施工机械设备动作实时智能识别装置还包括结果纠正模块803，用于利用时序信息对各时刻的所述动作识别结果进行平滑操作及结果纠正。
124.在一实施例中，如图10所示，所述运动部位信息为待识别施工机械设备的运动部位的图像信息；所述信息采集模块801包括：图像序列获取单元8011，用于获取待识别施工机械设备在预设时间范围内的图像序列；图像分析单元8012，用于基于图像差分法和实例分割法对所述图像序列中的各图像进行分析处理，得到待识别施工机械设备在对应时刻的运动部位信息。
125.在一实施例中，所述图像分析单元8012具体用于：通过背景差分法获取所述图像中的运动目标对应的第一像素集；在所述图像上对待识别施工机械设备进行实例分割得到第二像素集；获取所述第一像素集与所述第二像素集的交集，得到所述待识别施工机械设备的运动部位信息。
126.在一实施例中，如图11所示所述施工机械设备动作实时智能识别装置还包括：训练数据获取模块901，用于获取包含多个训练数据的训练数据集，各所述训练数据包括一施工机械设备的图像以及所述图像对应的语义标签；所述语义标签包括所述施工机械设备的类型及动作类别；模型训练模块902，用于使用所述训练数据集对初始模型进行训练，得到所述动作识别模型；所述初始模型包括机器学习模型、深度学习模型、数理统计对比模型、基于简单数理运算的特征值与阈值对比模型中的一种。
127.在一实施例中，所述训练数据获取模块901还用于：采用机械设备模拟软件生成机械设备动作指令，并将所述机械设备动作指令施加于预设的数字机械设备；使用虚拟相机获取所述数字机械设备在多个相机位姿的图像序列；将各相机位姿的图像序列时间对齐至标准时间；对任一相机位姿的图像序列进行动作语义标准分析，得到对应的语义标签；将所述语义标签赋予各相机位姿的图像序列中对应的图像；分别根据各图像及其对应的语义标签建立所述训练数据集。
128.在一实施例中，如图12所示，所述施工机械设备动作实时智能识别装置还包括施工要素获取模块804，用于：采集工程现场的环境图像；对所述环境图像进行实例分割和语义分析，得到多个施工要素。
129.在一实施例中，请继续参见图12，所述施工机械设备动作实时智能识别装置还包括工作效率生成模块805，用于：获取待识别施工机械设备在多个作业工况下各作业环节的动作耗时；所述动作耗时为待识别施工机械设备执行某一动作所用的时间；基于所述动作耗时分别确定待识别施工机械设备在对应作业工况下的一个工作循环耗时；所述一个工作循环耗时为待识别施工机械设备依次执行所有动作所用的时间；
根据所述动作耗时和/或所述一个工作循环耗时确定所述待识别施工机械设备在各作业工况下的工作效率信息。
130.本技术提供的施工机械设备动作实时智能识别装置，可以仅基于施工机械设备在某一时刻的运动部位信息识别得到施工机械设备在该时刻的动作，相比于现有的需要基于一个时段内的多个数据来进行动作判断的技术方案，本技术无需考虑数据的时序性，无需使用时域滑动窗口来获取上述一个时段内的时序上下文信息，进而减少了数据计算量和资源浪费，提高了动作识别效率和识别精度；同时，动作识别模型的大小也有一定程度的减小。
131.第三方面，本技术还提供一种电子设备，参见图13，所述电子设备100具体包括：中央处理器(processor) 110、存储器(memory)120、通信模块(communications) 130、输入单元140、输出单元150以及电源160。
132.其中，所述存储器(memory)120、通信模块(communications)130、输入单元140、输出单元150以及电源160分别与所述中央处理器(processor)110相连接。所述存储器120中存储有计算机程序，所述中央处理器110可调用所述计算机程序，所述中央处理器110执行所述计算机程序时实现上述实施例中的任一施工机械设备动作实时智能识别方法中的全部步骤。
133.第四方面，本技术还提供一种计算机存储介质，用于存储计算机程序，所述计算机程序可被处理器执行。所述计算机程序被处理器执行时实现本技术所提供的任一施工机械设备动作实时智能识别方法。
134.本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书实施例的至少一个实施例或示例中。
135.在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。以上所述仅为本说明书实施例的实施例而已，并不用于限制本说明书实施例。对于本领域技术人员来说，本说明书实施例可以有各种更改和变化。凡在本说明书实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书实施例的权利要求范围之内。