基于设备维护的过程跟踪方法、装置、设备及存储介质与流程

1.本技术涉及数据处理技术领域，尤其涉及一种基于设备维护的过程跟踪方法、一种基于设备维护的过程跟踪装置、一种电子设备以及一种计算机可读存储介质。


背景技术：

2.为防止设备性能劣化或降低设备失效的概率，按事先规定的计划或相应技术条件的规定进行的技术管理措施，称为设备维护(equipment service，maintenance)，设备维护是设备维修与保养的结合。设备维护是设备正常运行的基础，是预防事故发生的有效措施。
3.目前，针对设备的常用维护模式，是维保公司根据每个设备的保养周期或维修通知，用排班的形式安排维保人员进行保养或维修操作。但对维保人员的工作过程缺乏监控，容易出现维保不尽责、抢修不及时、维修工序完成度差等的监管问题。


技术实现要素：

4.本技术提供了一种基于设备维护的过程跟踪方法、装置、设备及存储介质，以解决现有的设备维护过程中因缺乏监控导致的容易出现维保不尽责、抢修不及时、维修工序完成度差等的监管问题。
5.根据本技术的第一方面，提供了一种基于设备维护的过程跟踪方法，所述方法包括：
6.获取维护人员在维护场景中的人员相关数据，所述人员相关数据包括所述维护人员的姿态类别以及所述维护人员所在的第一空间相对位置；
7.获取所述维护场景中的部件相关数据，所述部件相关数据包括部件类别以及所述部件类别对应的部件所在的第二空间相对位置；
8.根据所述人员相关数据以及所述部件相关数据，确定所述维护人员对所述部件的局部行为信息；
9.基于所述局部行为信息，对所述维护场景进行维护过程跟踪。
10.根据本技术的第二方面，提供了一种基于设备维护的过程跟踪装置，所述装置包括：
11.人员数据获取模块，用于获取维护人员在维护场景中的人员相关数据，所述人员相关数据包括所述维护人员的姿态类别以及所述维护人员所在的第一空间相对位置；
12.部件数据获取模块，用于获取所述维护场景中的部件相关数据，所述部件相关数据包括部件类别以及所述部件类别对应的部件所在的第二空间相对位置；
13.行为信息确定模块，用于根据所述人员相关数据以及所述部件相关数据，确定所述维护人员对所述部件的局部行为信息；
14.过程跟踪模块，用于基于所述局部行为信息，对所述维护场景进行维护过程跟踪。
15.根据本技术的第三方面，提供了一种电子设备，所述电子设备包括：
16.至少一个处理器；以及
17.与所述至少一个处理器通信连接的存储器；其中，
18.所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本技术任一实施例所述的的方法。
19.根据本技术的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本技术任一实施例所述的方法。
20.在本实施例中，通过获取维护场景中的维护人员的人员相关数据以及待维护部件的部件相关数据，自动确定维护人员对部件的局部行为信息，进而根据该局部行为信息对维护场景进行维护过程跟踪。整个过程通过时域和空域的连续数据，实现维保过程的全流程监控，提高了对维护人员的工作监督，从而更好地保障了设备的安全运行。
21.应当理解，本部分所描述的内容并非旨在标识本技术的实施例的关键或重要特征，也不用于限制本技术的范围。本技术的其它特征将通过以下的说明书而变得容易理解。
附图说明
22.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
23.图1是本技术实施例一提供的一种基于设备维护的过程跟踪方法的流程图；
24.图2是本技术实施例一提供的一种维护场景的示意图；
25.图3是本技术实施例二提供的一种基于设备维护的过程跟踪装置的结构示意图；
26.图4是本技术实施例三提供的一种电子设备的结构示意图。
具体实施方式
27.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
28.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
29.实施例一
30.图1为本技术实施例一提供的一种基于设备维护的过程跟踪方法的流程图，本实
施例可以应用于基于设备维护的过程跟踪装置中，该装置可以设置于服务器、管理后台、或者设置有处理器的本地设备等设备中，本实施例对该装置所在的设备不作限定。
31.本实施例可以适用于对维护人员在维护场景中进行设备维护的过程进行跟踪和监控的场景。但本实施例对维护场景不作限制，需要维护人员对设备进行定期保养、检查或者维修的场景均落入本实施例的保护范围内，例如，维护场景可以包括电梯维护场景，则对应的设备为电梯设备，对应的部件为电梯设备运行过程中包含的部件。又如，维护场景可以包括消防设备维护场景，则对应的设备为消防设备，对应的部件为消防设备包含的部件。
32.如图1所示，该方法可以包括如下步骤：
33.步骤110，获取维护人员在维护场景中的人员相关数据。
34.该步骤主要是获取维护场景中的维护人员的人员相关数据。人员相关数据可以包括维护人员在维护场景中产生的数据。人员相关数据被记录下来以后，可以用于后续的对维护过程的过程跟踪。示例性地，人员相关数据可以包括但不限于：维护人员的姿态类别、维护人员所在的第一空间相对位置以及在维护场景中设置的传感器采集到的维护人员的一些相关数据。
35.在一种实施例中，若人员相关数据包括姿态类别，则步骤110进一步可以包括如下步骤：
36.步骤110-1，获取包含所述维护人员的第一图像数据序列。
37.在实现时，第一图像数据序列可以由设置于维护场景中的第一采集设备采集。该第一采集设备可以为可移动的设备，可以由维护人员在到达维护现场时，寻找可用于架设该第一采集设备的架设位置，并在该假设位置中架设该第一采集设备。该架设位置可以使得第一采集设备能够采集到整个维护场景的信息，至少可以采集到维护人员的维护操作，而维护人员的数量可以是一个或者超过一个。
38.在一种实现中，第一采集设备中可以包括多种传感器，示例性地可以包括图像传感器、深度传感器、三轴传感器、电子罗盘等。则第一图像数据序列中的各第一图像数据可以是由图像传感器采集的图像数据，第一图像数据中至少可以包括维护人员，在其他示例中还可以包括维护人员正在维护的部件的部分或者全部。
39.步骤110-3，从各第一图像数据中提取出所述维护人员所在的第一区域图像。
40.在一种实现中，可以采用预先训练的人体目标检测网络从第一图像中检测出维护人员的矩形框，该矩形框可以采用位置信息(x1,y1,w1,h1)表示，其中，(x1,y1)为该矩形框的左上角坐标，(w1,h1)分别为矩形框的宽和高。得到各第一图像数据的矩形框以后，可以将该矩形框截取出来作为用于表示该维护人员的第一区域图像。在截取时，可以以该矩形框为边界进行图像截取，也可以以该矩形框的边界向外扩大预设像素距离进行截取。
41.其中，本实施例对人体目标检测网络使用的目标检测算法不作限定。
42.步骤110-5，对连续的第一区域图像序列进行姿态识别，以确定所述维护人员的姿态类别。
43.获得各第一图像数据对应的第一区域图像以后，则连续时间序列的第一区域图像会组成第一区域图像序列，然后对该第一区域图像序列进行姿态识别。在一种实现中，可以采用预先生成的人体姿态估计网络对第一区域图像序列进行姿态识别，从而得到维护人员的姿态类别。其中，该姿态类别示例性地可以包括但不限于：站立、躺下、半躺、弯腰、伸手、
拉扯等。
44.在一种实现中，人体姿态估计网络可以采用如下方式生成：采集当前维护场景下的人体姿态数据集，以训练alphapose姿态估计网络，通过数据集训练，alphapose姿态估计网络学习到人体的关节点热图分布，并通过热图的回归得到关节点在人体框中的数值坐标，并将其映射回输入的图像，最后得到人体关节点在输入图像像素坐标系下中的坐标。人体的关节点例如可以包括：鼻子、颈部、左肩部、左肘部、左手腕、右肩部、右肘部、右手腕、脊柱、左臀部、左膝盖、左脚踝、右臀部、右膝盖、右脚踝。然后利用人体3d姿态重构网络将第一区域图像序列的2d人体姿态重构为图像序列的人体关节点3d数值坐标。接着基于3d人体姿态数据集human3.6m和人体2d姿态作为输入，对人体3d姿态重构模型3d-baseline进行训练。将上述得到的2d人体位置坐标作为模型的输入，以输出3d人体位置坐标。也就是说，输入为上述估计出的15个关节2d坐标，输出为15个关节3d坐标。接着利用gcn网络模型从人体关节点3d数值坐标序列中获取人体姿态的时空关系，以实现当前维护环境下人体姿态的识别；基于3d人体姿态行为数据集human3.6m，基于3d人体姿态作为输入，对人体的姿态估计模型进行训练。
45.在另一种实施例中，若人员相关数据包括第一空间相对位置，该第一空间相对位置为维护人员与第一采集设备的空间相对位置，示例性地可以包括维护人员与第一采集设备之间的距离和角度。在实现时可以采用视觉定位算法来计算第一空间相对位置，具体的，步骤110进一步可以包括如下步骤：
46.步骤110-2，从所述第一区域图像中确定所述维护人员的关键点。
47.在一种实现中，可以将第一区域图像输入至上述人体姿态估计网络中，并获得该网络输出的维护人员的关键点，该关键点示例性地可以包括能够反映人体姿态的关键点，例如，头部关键点、四肢关键点、躯干关键点等。
48.步骤110-4，获取所述第一采集设备采集的第一深度图像，并将所述第一区域图像以及所述第一深度图像进行像素匹配，以确定各所述关键点在相机坐标系下的三维坐标。
49.在一种实现中，可以通过像素点匹配的方式，来从第一深度图像中确定各关键点的深度信息depth。假设各关键点在第一区域图像中的像素坐标为(u,v)，结合第一采集设备的焦距f和主点坐标(c
x
,cy)，可以计算出各关键点在相机坐标系下的三维坐标。
50.在一种实现中，可以采用如下公式计算各关键点在相机坐标系下的三维坐标(xc,yc,zc)：
51.zc＝depth
[0052][0053][0054]
步骤110-6，获取所述第一采集设备的第一角度信息，并根据所述第一角度信息，将各所述关键点在相机坐标系下的三维坐标转换成世界坐标系下的三维坐标，所述世界坐标系以所述第一采集设备投影到地面的位置为原点构建。
[0055]
示例性地，第一角度信息至少可以包括姿态角以及方向角。在实现时，可以通过第一采集设备上的三轴传感器获取第一采集设备的姿态角，通过第一采集设备上的电子罗盘
获取第一采集设备的方向角。
[0056]
在实现时，可以根据第一角度信息构建坐标转换矩阵，并根据该坐标转换矩阵将各关键点在相机坐标系下的三维坐标(xc,yc,zc)转换成世界坐标系下的三维坐标(xw,yw,zw)。
[0057]
其中，该世界坐标系的原点为第一采集设备投影到地面的位置，z轴与地面垂直并指向天空，x轴和y轴在地面上。则zw可以表示关键点的离地高度。
[0058]
本实施例对采用第一角度信息构建坐标转换矩阵的方式不作限定，可以是任何的已有的构建方式。
[0059]
步骤110-8，根据各关键点在所述世界坐标系下的三维坐标，计算各关键点与所述第一采集设备的距离与角度，作为所述第一空间相对位置。
[0060]
在确定各关键点在世界坐标系下的三维坐标以后，还可以根据世界坐标系，确定第一采集设备的关键点的三维坐标(例如图像传感器与深度传感器之间的中间位置)。然后通过距离计算公式计算维护人员的各关键点与该第一采集设备的距离，通过角度计算公式计算维护人员的各关键点与该第一采集设备的角度。然后将该距离和角度作为第一空间相对位置。
[0061]
除此以外，还可以将各关键点的高度信息(世界坐标系的z轴的值)作为第一空间相对位置。
[0062]
步骤120，获取所述维护场景中的部件相关数据。
[0063]
该步骤主要是获取维护场景中的部件的部件相关数据。部件相关数据可以包括与维护场景中的各设备的零部件相关的数据。部件相关数据被记录下来以后，可以用于后续的对维护过程的过程跟踪。示例性地，部件相关数据可以包括但不限于：部件类别、部件类别对应的部件所在的第二空间相对位置以及在维护场景中设置的传感器采集到的部件的一些相关数据。
[0064]
在一种实施例中，若部件相关数据包括部件类别，则步骤120进一步可以包括如下步骤：
[0065]
步骤120-1，获取包含所述部件的第二图像数据序列。
[0066]
在实现时，第二图像数据序列可以由设置于维护场景中的第二采集设备采集。该第二采集设备可以为可穿戴设备，可以由维护人员在到达维护现场时，穿戴在身上进行部件的图像采集。穿戴的位置可以使得第二采集设备能够采集到部件的完整信息。例如，如图2所示，第二采集设备20可以穿戴在维护人员头部，10是第一采集设备，30是部件。
[0067]
在一种实现中，第二采集设备中也可以包括多种传感器，示例性地可以包括图像传感器、深度传感器、三轴传感器、电子罗盘等。则第二图像数据序列中的各第二图像数据可以是由图像传感器采集的图像数据，第二图像数据中至少可以包括待维护的部件，优选可以为当前维护的一个部件。
[0068]
步骤120-3，从各第二图像数据中提取出所述部件所在的第二区域图像。
[0069]
在一种实现中，可以采用预先训练的部件目标检测网络从第二图像数据中检测出部件的矩形框，该矩形框可以采用位置信息(x2,y2,w2,h2)表示，其中，(x2,y2)为该矩形框的左上角坐标，(w2,h2)分别为矩形框的宽和高。得到各第二图像数据的一个或多个矩形框以后，可以将各矩形框截取出来作为用于表示部件的第二区域图像。在截取时，可以以该矩
形框为边界进行图像截取，也可以以该矩形框的边界向外扩大预设像素距离进行截取。
[0070]
其中，本实施例对部件目标检测网络使用的目标检测算法不作限定。
[0071]
在实际处理过程中，第二图像中的部件的数量可能超过一个，此时需要确定当前需要处理的部件是哪个，从而筛选出当前待处理的部件对应的第二区域图像。筛选的方法可以有多种，包括但不限于：根据部件的完整性检测，过滤掉不完整的部件；或者，获取各部件的深度信息，确定位于前景的部件为当前待处理的部件；或者，根据连续图像帧中部件出现的频率，将出现频率最高的部件作为当前待处理的部件。
[0072]
步骤120-5，对连续的第二区域图像序列进行部件识别，以确定所述部件的部件类别。获得各第二图像数据中的当前待处理部件对应的第二区域图像以后，则连续时间序列的第二区域图像会组成第二区域图像序列，然后对该第二区域图像序列进行部件类别识别。在一种实现中，可以采用预先生成的部件类别识别网络对第二区域图像序列进行部件类别识别，从而得到当前部件是什么类型的部件。例如，在电梯维保场景中，部件类别示例性地可以包括但不限于：钢丝绳、抱闸、限速器等。
[0073]
本实施例对部件类别识别网络的训练方式不作限定。在一种实现中，部件类别识别网络在训练时采用的样本集可以为当前维护场景中的出现的各个部件。通过提前对各部件样本标注对应的部件类别，并提取各部件样本的特征点信息，采用预设的分类算法进行训练，可以得到部件类别识别网络。在另一种实施例中，部件相关数据还可以包括部件状态，该部件状态示例性地可以包括工作状态、部件结构完整性等。其中，工作状态用于描述部件当前处于工作状态还是非工作状态，或者，部件处于哪种工作模式。部件结构完整性用于描述当前部件是否存在子部件，即子部件有没有缺失。则步骤120可以包括如下步骤：
[0074]
对所述第二区域图像序列进行部件状态检测，以确定所述部件的部件状态。
[0075]
在一种实现中，可以预先设定部件状态检测逻辑，并按照该部件状态检测逻辑来对当前部件进行状态检测，从而确定该部件状态。例如，若部件状态为工作状态，则可以根据当前部件的部件类别查询其处于工作状态的图像以及处于非工作状态的图像，然后将当前采集的第二区域图像与该工作状态的图像以及非工作状态的图像进行比较，从而判断该第二区域图像中的部件是处于工作状态还是非工作状态。又如，若部件状态为部件结构完整性，则可以根据当前部件的部件类别查询其结构完整的图像，然后将当前采集的第二区域图像与该结构完整的图像进行比较，如果两者的部件一致，表示当前部件是完整的，否则表示当前部件是不完整。
[0076]
在又一种实施例中，部件相关数据还可以包括部件质量，该部件质量包括部件表面是否存在缺陷。则步骤120可以包括如下步骤：对所述第二区域图像序列进行部件质量检测，以确定所述部件的部件质量。
[0077]
在一种实现中，可以预先设定部件质量检测逻辑，并按照该部件质量检测逻辑来对当前部件进行质量检测，从而确定该部件质量。例如，部件质量检测逻辑可以为部件质量检测模型，可以预先采集当前维护场景中各部件类别表面比较容易出现的缺陷，作为样本数据训练质量检测模型。然后将第二区域图像序列中各第二区域图像输入至该质量检测模型，由该质量检测模型检测图像是否存在对应的缺陷，并输出质量结果。该质量结果例如可以使用缺陷类别作为结果。
[0078]
在再一种实施例中，若部件相关数据包括第二空间相对位置，则步骤120可以包括
如下步骤：
[0079]
步骤120-2，从所述第二区域图像中确定所述部件的关键点。
[0080]
其中，部件的关键点可以包括：代表部件的形状特征或者轮廓特征的像素点。在实现时，可以采用部件关键点提取模型来从第二区域图像中确定部件的关键点。
[0081]
步骤120-4，获取所述第二采集设备采集的第二深度图像，并将所述第二区域图像以及所述第二深度图像进行像素匹配，以确定部件的各所述关键点在相机坐标系下的三维坐标。
[0082]
步骤120-6，获取所述第二采集设备的第二角度信息，并根据所述第二角度信息，将所述部件的各所述关键点在相机坐标系下的三维坐标转换成世界坐标系下的三维坐标，所述世界坐标系以所述第二采集设备投影到地面的位置为原点构建。
[0083]
步骤120-8，根据所述部件的各关键点在所述世界坐标系下的三维坐标，计算各关键点与所述第二采集设备的距离与角度，作为所述第二空间相对位置。
[0084]
第二空间相对位置是指部件与第二采集设备在场景中的相对位置。关于第二空间相对位置的计算方式，与第一空间相对位置的计算方式类似，可以参考上述第一空间相对位置的方式，本实施例对此不再赘述。
[0085]
步骤130，根据所述人员相关数据以及所述部件相关数据，确定所述维护人员对所述部件的局部行为信息。
[0086]
其中，局部行为信息可以为维护人员在某个时间段对某部件进行维护的行为，例如，在电梯维护场景中，局部行为信息可以包括但不限于：测量部件尺寸、拧螺丝、按下按钮、测量电气属性等。
[0087]
在一种实施例中，步骤130进一步可以包括如下步骤：
[0088]
步骤130-1，根据所述第一空间相对位置与所述第二空间相对位置，确定所述维护人员与所述部件的相对位置关系。
[0089]
具体的，第二采集设备是佩戴在维护人员身上的，当根据第二空间相对位置确定部件与第二采集设备的角度和距离以后，则可以将该角度与距离作为部件与维护人员之间的角度和距离。
[0090]
除此以外，在第一空间相对位置中，可以包括维护人员各关键点的离地高度。在第二空间相对位置中，包括部件的各关键点的离地高度。将维护人员的最大离地高度与当前部件的最大离地高度进行比较，以及，将维护人员的最小离地高度与当前部件的最小离地高度进行比较，可以确定部件相对于维护人员的上下方位，例如，部件位于维护人员上方还是下方。
[0091]
上述的部件与维护人员之间的距离、角度以及上下方位等均可以称为维护人员与部件的相对位置关系。步骤130-2，根据所述姿态类别、所述部件类别与所述相对位置关系生成待匹配信息，并将所述待匹配信息与预先生成的多个局部行为模板进行匹配，以将匹配成功的局部行为模板作为所述待匹配信息的局部行为信息，其中，各所述局部行为模板包括模板姿态类别、模板部件类别以及模板相对位置关系。
[0092]
当得到一定时间段内维护人员的姿态类别、维护人员操作的部件的部件类别，以及，维护人员与部件之间的相对位置关系等信息以后，则可以将上述信息作为待匹配信息，然后将该待匹配信息与预先生成的多个局部行为模板进行快速匹配，从而将匹配成功的局
部行为模板作为当前待匹配信息的局部行为信息。具体的，局部行为模板中也可以包括模板姿态类别、模板部件类别以及模板相对位置关系。当存在某个局部行为模板，其模板姿态类别与当前的姿态类别相同，模板部件类别与当前的部件类别相同，且存在相同或者相似的相对位置关系，则可以判定该局部行为模板为匹配成功的局部行为模板。
[0093]
步骤140，基于所述局部行为信息，对所述维护场景进行维护过程跟踪。
[0094]
当获得局部行为信息以后，可以将当前获得的局部行为信息记录下来。以便于后续基于该局部行为信息对维护场景进行维护过程跟踪。
[0095]
在一种实施例中，步骤140进一步可以包括如下步骤：
[0096]
获取所述维护人员在所述维护场景中已执行的一个或多个局部行为信息，并将所述一个或多个局部行为信息按时间顺序组织成局部行为列表；将所述局部行为列表与在先生成的一个或多个工序模板进行匹配，并将匹配成功的工序模板作为所述局部行为列表对应的工序类别。例如，在电梯维保场景下，工序模板可以包括绝缘电阻检测工序、抱闸检测工序、钢丝绳检测工序等。
[0097]
在该步骤中，可以预先设置多个工序模板，每个工序模板中包括多个工序步骤。然后将当前维护场景中在先记录的各个局部行为信息作为步骤，组成局部行为列表，即步骤列表。将该步骤列表与各工序模板的各个步骤顺序进行比较。如果存在某个工序模板，其步骤顺序与当前局部行为列表的步骤顺序一致或者相似，则可以将该最相似的，或者完全一致的工序模板作为匹配的工序模板，则该匹配的工序模板对应的工序类别作为当前局部行为列表对应的工序类别。
[0098]
在一种实施例中，当确定工序类别以后，还可以对当前工序进行完整性检测，则步骤140进一步可以包括如下步骤：
[0099]
根据所述局部行为列表，判断所述匹配成功的工序模板中的所有工序步骤是否均已完成；若是，则判定当前工序类别全部完成，也就是当前工序已经全部完成。若否，则判定当前工序类别未完成。根据上述的判断条件还可以向用户发出提示信息。
[0100]
在本实施例中，通过获取维护场景中的维护人员的人员相关数据以及待维护部件的部件相关数据，自动确定维护人员对部件的局部行为信息，进而根据该局部行为信息对维护场景进行维护过程跟踪。整个过程通过时域和空域的连续数据，实现维保过程的全流程监控，提高了对维护人员的工作监督，从而更好地保障了设备的安全运行。
[0101]
实施例二
[0102]
图3为本技术实施例二提供的一种基于设备维护的过程跟踪装置的结构示意图，可以包括如下模块：
[0103]
人员数据获取模块210，用于获取维护人员在维护场景中的人员相关数据，所述人员相关数据包括所述维护人员的姿态类别以及所述维护人员所在的第一空间相对位置；
[0104]
部件数据获取模块220，用于获取所述维护场景中的部件相关数据，所述部件相关数据包括部件类别以及所述部件类别对应的部件所在的第二空间相对位置；
[0105]
行为信息确定模块230，用于根据所述人员相关数据以及所述部件相关数据，确定所述维护人员对所述部件的局部行为信息；
[0106]
过程跟踪模块240，用于基于所述局部行为信息，对所述维护场景进行维护过程跟踪。
[0107]
在一种实施例中，人员数据获取模块210具体用于：
[0108]
获取包含所述维护人员的第一图像数据序列；
[0109]
从各第一图像数据中提取出所述维护人员所在的第一区域图像；
[0110]
对连续的第一区域图像序列进行姿态识别，以确定所述维护人员的姿态类别。
[0111]
在另一种实施例中，所述第一图像数据由设置于所述维护场景中的第一采集设备采集；人员数据获取模块210还用于：
[0112]
从所述第一区域图像中确定所述维护人员的关键点；
[0113]
获取所述第一采集设备采集的第一深度图像，并将所述第一区域图像以及所述第一深度图像进行像素匹配，以确定各所述关键点在相机坐标系下的三维坐标；
[0114]
获取所述第一采集设备的第一角度信息，并根据所述第一角度信息，将各所述关键点在相机坐标系下的三维坐标转换成世界坐标系下的三维坐标，所述世界坐标系以所述第一采集设备投影到地面的位置为原点构建；
[0115]
根据各关键点在所述世界坐标系下的三维坐标，计算各关键点与所述第一采集设备的距离与角度，作为所述第一空间相对位置。
[0116]
在一种实施例中，部件数据获取模块220具体用于：
[0117]
获取包含所述部件的第二图像数据序列；
[0118]
从各第二图像数据中提取出所述部件所在的第二区域图像；
[0119]
对连续的第二区域图像序列进行部件识别，以确定所述部件的部件类别。
[0120]
在另一种实施例中，所述部件相关数据还包括部件状态，部件数据获取模块220还用于：
[0121]
对所述第二区域图像序列进行部件状态检测，以确定所述部件的部件状态，所述部件状态包括工作状态。
[0122]
在又一种实施例中，所述部件相关数据还包括部件质量，部件数据获取模块220还用于：
[0123]
对所述第二区域图像序列进行部件质量检测，以确定所述部件的部件质量，所述部件质量包括所述部件表面是否存在缺陷。
[0124]
在再一种实施例中，所述第二图像数据由设置于所述维护场景中的第二采集设备采集；部件数据获取模块220还用于：
[0125]
从所述第二区域图像中确定所述部件的关键点；
[0126]
获取所述第二采集设备采集的第二深度图像，并将所述第二区域图像以及所述第二深度图像进行像素匹配，以确定部件的各所述关键点在相机坐标系下的三维坐标；
[0127]
获取所述第二采集设备的第二角度信息，并根据所述第二角度信息，将所述部件的各所述关键点在相机坐标系下的三维坐标转换成世界坐标系下的三维坐标，所述世界坐标系以所述第二采集设备投影到地面的位置为原点构建；
[0128]
根据所述部件的各关键点在所述世界坐标系下的三维坐标，计算各关键点与所述第二采集设备的距离与角度，作为所述第二空间相对位置。
[0129]
在一种实施例中，行为信息确定模块230可以包括如下子模块：
[0130]
相对位置关系确定子模块，用于根据所述第一空间相对位置与所述第二空间相对位置，确定所述维护人员与所述部件的相对位置关系；
[0131]
局部行为模板匹配子模块，用于根据所述姿态类别、所述部件类别与所述相对位置关系生成待匹配信息，并将所述待匹配信息与预先生成的多个局部行为模板进行匹配，以将匹配成功的局部行为模板作为所述待匹配信息的局部行为信息，其中，各所述局部行为模板包括模板姿态类别、模板部件类别以及模板相对位置关系。
[0132]
在一种实施例中，所述第一空间相对位置包括设置于维护场景的第一采集设备与维护人员之间的距离和角度；所述第二空间相对位置包括设置于所述维护人员身上的第二采集设备与部件之间的角度和距离；
[0133]
相对位置关系确定子模块具体用于：
[0134]
将所述部件与所述第二采集设备之间的距离和角度，作为所述部件与所述维护人员之间的距离和角度。
[0135]
在一种实施例中，过程跟踪模块240具体用于：
[0136]
获取所述维护人员在所述维护场景中已执行的一个或多个局部行为信息，并将所述一个或多个局部行为信息按时间顺序组织成局部行为列表；
[0137]
将所述局部行为列表与在先生成的一个或多个工序模板进行匹配，并将匹配成功的工序模板作为所述局部行为列表对应的工序类别。
[0138]
在另一种实施例中，过程跟踪模块240还用于：
[0139]
根据所述局部行为列表，判断所述匹配成功的工序模板中的所有工序步骤是否均已完成；
[0140]
若是，则判定当前工序类别全部完成；
[0141]
若否，则判定当前工序类别未完成。
[0142]
本技术实施例所提供的一种基于设备维护的过程跟踪装置可执行本技术任意实施例所提供的一种基于设备维护的过程跟踪方法，具备执行方法相应的功能模块和有益效果。
[0143]
实施例三
[0144]
图4示出了可以用来实施本技术的方法实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本技术的实现。
[0145]
如图4所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(rom)12、随机访问存储器(ram)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(rom)12中的计算机程序或者从存储单元18加载到随机访问存储器(ram)13中的计算机程序，来执行各种适当的动作和处理。在ram 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、rom 12以及ram 13通过总线14彼此相连。输入/输出(i/o)接口15也连接至总线14。
[0146]
电子设备10中的多个部件连接至i/o接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸
如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0147]
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如实施例一或实施例二所述的方法。
[0148]
在一些实施例中，实施例一或实施例二所述的方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由rom 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到ram 13并由处理器11执行时，可以执行上文描述的实施例一或实施例二所述的方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行实施例一或实施例二所述的方法。
[0149]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0150]
用于实施本技术的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0151]
在本技术的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0152]
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0153]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)、区块链网络和互联网。
[0154]
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务中，存在的管理难度大，业务扩展性弱的缺陷。
[0155]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本技术中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本技术的技术方案所期望的结果，本文在此不进行限制。
[0156]
上述具体实施方式，并不构成对本技术保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本技术的精神和原则之内所作的修改、等同替换和改进等，均应包含在本技术保护范围之内。