刀闸状态检测方法、装置、电子设备及存储介质与流程

1.本发明涉及图像识别技术领域，特别是涉及一种刀闸状态检测方法、一种刀闸状态检测装置、一种电子设备以及一种计算机可读存储介质。


背景技术：

2.刀闸属于变电站中变压器上常用的开关器件，通过外力将刀闸拉开或者闭合，可以达到切换变压器的工作方式的目的。刀闸的开合状态决定站点站中各个电流电路的通断，影响电力系统中电气设备的运行状态，在变电站的安全运行检测中，为了检测各种电气设备的实时运行进行检测，需要对刀闸的开合状态进行检测。
3.目前，通常是通过目标检测方法检测并提取图像中的刀闸，并将刀闸分为打开的刀闸或闭合的刀闸两类进行判断。然而，刀闸从打开到关闭是一个连续的状态，采用上述检查刀闸的开合状态的方式，无法涵盖完全打开到闭合的所有中间状态，导致在预测稍微打开的刀闸时无法准确分类刀闸状态。


技术实现要素：

4.本发明实施例是提供一种刀闸状态检测方法、装置、电子设备以及计算机可读存储介质，以解决目前检查刀闸的开合状态的方式，无法涵盖完全打开到闭合的所有中间状态，导致在预测稍微打开的刀闸时无法准确分类刀闸状态的问题。
5.本发明实施例公开了一种刀闸状态检测方法，所述方法包括：
6.获取视频流的当前视频帧中刀闸的第一关键点的位置，以及所述当前视频帧的上一视频帧中所述刀闸的第二关键点的位置；其中，所述第一关键点的位置和所述第二关键点的位置为所述当前视频帧和所述上一视频帧分别通过预训练的检测模型确定得到，所述第一关键点的位置和所述第二关键点的位置表征所述刀闸的刀闸臂的端部位置；
7.将所述第一关键点的位置与所述第二关键点的位置进行匹配；
8.根据所述第一关键点的位置与所述第二关键点的位置的匹配结果，对所述第一关键点的位置进行优化；
9.基于优化后的第一关键点的位置检测所述刀闸的状态。
10.可选地，所述刀闸包括刀闸左臂和刀闸右臂，所述第一关键点的位置包括位于所述刀闸左臂的两端的第一子关键点和第二子关键点，与位于所述刀闸右臂的两端的第三子关键点和第四子关键点，所述基于优化后的第一关键点的位置检测所述刀闸的状态，包括：
11.根据所述第一子关键点和所述第二子关键点，计算所述刀闸左臂的方向向量；
12.根据所述第三子关键点和所述第四子关键点，计算所述刀闸右臂的方向向量；
13.根据所述刀闸左臂的方向向量和所述刀闸右臂的方向向量，计算所述刀闸左臂和所述刀闸右臂的夹角；
14.基于所述夹角确定所述刀闸的状态。
15.可选地，所述检测模型包括目标检测模型和关键点检测模型，在所述获取视频流
的当前视频帧中刀闸的第一关键点的位置之前，所述方法还包括：
16.将视频流的当前视频帧输入所述目标检测模型，得到与所述刀闸对应的第一刀闸边界框；
17.将所述当前视频帧和所述第一刀闸边界框输入所述关键点检测模型，得到所述第一刀闸边界框内的第一关键点的位置。
18.可选地，所述将所述第一关键点的位置与所述第二关键点的位置进行匹配，包括：
19.获取所述上一视频帧中所述刀闸的第二刀闸边界框；
20.对所述第一刀闸边界框与所述第二刀闸边界框进行匹配，确定出所述第一刀闸边界框与所述第二刀闸边界框的相对位置关系；
21.基于所述第一刀闸边界框与所述第二刀闸边界框的相对位置关系，对所述第一关键点的位置与所述第二关键点的位置进行匹配，确定所述第一关键点的位置与所述第二关键点的位置的相对位置关系。
22.可选地，所述根据所述第一关键点的位置与所述第二关键点的位置的匹配结果，对所述第一关键点的位置进行优化，包括：
23.根据所述第一关键点的位置和其对应的所述第二关键点的位置，确定所述第一关键点的位置是否异常；
24.若确定所述第一关键点的位置异常，则通过所述第一关键点的位置对应的所述第二关键点的位置对所述第一关键点的位置进行优化。
25.可选地，所述第一关键点的位置具有对应的置信度，所述置信度表征第一关键点的位置为所述刀闸臂的端部位置的概率，所述根据所述第一关键点的位置和所述第二关键点的位置，确定所述第一关键点的位置是否存在异常，包括：
26.若所述第一关键点的位置的置信度小于置信度阈值，和/或所述第一关键点的位置与其对应的所述第二关键点的位置的距离大于距离阈值，则确定所述第一关键点的位置存在异常。
27.可选地，所述通过所述第一关键点的位置对应的所述第二关键点的位置对所述第一关键点的位置进行优化，包括：
28.根据所述第一关键点的位置对应的所述第二关键点的位置，计算所述第二关键点在所述当前视频帧中的目标位置，并将所述目标位置作为优化后的所述第一关键点的位置。
29.本发明实施例公开了一种刀闸状态检测装置，包括：
30.关键点获取模块，用于获取视频流的当前视频帧中刀闸的第一关键点的位置，以及所述当前视频帧的上一视频帧中所述刀闸的第二关键点的位置；其中，所述第一关键点的位置和所述第二关键点的位置为所述当前视频帧和所述上一视频帧分别通过预训练的检测模型确定得到，所述第一关键点的位置和所述第二关键点的位置表征所述刀闸的刀闸臂的端部位置；
31.关键点匹配模块，用于将所述第一关键点的位置与所述第二关键点的位置进行匹配；
32.关键点优化模块，用于根据所述第一关键点的位置与所述第二关键点的位置的匹配结果，对所述第一关键点的位置进行优化；
33.状态判断模块，用于基于优化后的第一关键点的位置检测所述刀闸的状态。
34.可选地，所述第一关键点的位置包括位于所述刀闸左臂的两端的第一子关键点和第二子关键点，与位于所述刀闸右臂的两端的第三子关键点和第四子关键点，所述状态判断模块，包括：
35.第一向量计算子模块，用于根据所述第一子关键点和所述第二子关键点，计算所述刀闸左臂的方向向量；
36.第二向量计算子模块，用于根据所述第三子关键点和所述第四子关键点，计算所述刀闸右臂的方向向量；
37.夹角计算子模块，用于根据所述刀闸左臂的方向向量和所述刀闸右臂的方向向量，计算所述刀闸左臂和所述刀闸右臂的夹角。
38.可选地，所述检测模型包括目标检测模型和关键点检测模型，还包括：
39.边界框预测模块，用于将视频流的当前视频帧输入所述目标检测模型，得到与所述刀闸对应的第一刀闸边界框；
40.关键点预测模块，用于将所述当前视频帧和所述第一刀闸边界框输入所述关键点检测模型，得到所述第一刀闸边界框内的第一关键点的位置。
41.可选地，所述关键点匹配模块，包括：
42.边界框获取子模块，用于获取所述上一视频帧中所述刀闸的第二刀闸边界框；
43.边界框匹配子模块，用于对所述第一刀闸边界框与所述第二刀闸边界框进行匹配，确定出所述第一刀闸边界框与所述第二刀闸边界框的相对位置关系；
44.关键点匹配子模块，用于基于所述第一刀闸边界框与所述第二刀闸边界框的相对位置关系，对所述第一关键点的位置与所述第二关键点的位置进行匹配，确定所述第一关键点的位置与所述第二关键点的位置的相对位置关系。
45.可选地，所述关键点优化模块，包括：
46.异常确定子模块，用于根据所述第一关键点的位置和其对应的所述第二关键点的位置，确定所述第一关键点的位置是否异常；若确定所述第一关键点的位置异常，则执行关键点优化子模块；
47.所述关键点优化子模块，用于通过所述第一关键点的位置对应的所述第二关键点的位置对所述第一关键点的位置进行优化。
48.可选地，所述第一关键点的位置具有对应的置信度，所述置信度表征第一关键点的位置为所述刀闸臂的端部位置的概率，所述异常确定子模块，包括：
49.异常确定单元，用于若所述第一关键点的位置的置信度小于置信度阈值，和/或所述第一关键点的位置与其对应的所述第二关键点的位置的距离大于距离阈值，则确定所述第一关键点的位置存在异常。
50.可选地，所述关键点优化子模块，包括：
51.目标位置计算单元，用于根据所述第一关键点的位置对应的所述第二关键点的位置，计算所述第二关键点在所述当前视频帧中的目标位置，并将所述目标位置作为优化后的所述第一关键点的位置。
52.本发明实施例还公开了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口以及所述存储器通过所述通信总线完成相互间的通
信；
53.所述存储器，用于存放计算机程序；
54.所述处理器，用于执行存储器上所存放的程序时，实现如本发明实施例所述的方法。
55.本发明实施例还公开了一种计算机可读存储介质，其上存储有指令，当由一个或多个处理器执行时，使得所述处理器执行如本发明实施例所述的方法。
56.本发明实施例包括以下优点：获取视频流的当前视频帧中刀闸的第一关键点的位置，及当前视频帧的上一视频帧中刀闸的第二关键点的位置，将第一关键点的位置与第二关键点的位置进行匹配，根据第一关键点的位置与第二关键点的位置的匹配结果，对第一关键点的位置进行优化，基于优化后的第一关键点的位置检测刀闸的状态。本发明实施例中，在对第一关键点的位置进行优化之后，由于第一关键点的位置表征刀闸的刀闸臂的端部位置，可以通过第一关键点的位置检测刀闸从打开到关闭的任意状态的开合状态，提高检测刀闸的开合状态的准确度，避免因采用将刀闸分为打开的刀闸或闭合的刀闸两类进行判断的方式，导致在预测稍微打开的刀闸时无法准确分类刀闸状态的情况发生。
57.进一步地，本发明实施例中将当前视频帧的第一关键点的位置与上一视频帧的第二关键点的位置进行匹配，然后通过第一关键点的位置与第二关键点的位置的匹配结果，对第一关键点的位置进行优化，提高第一关键点的位置精度，从而可以基于第一关键点的位置更准确地检测刀闸的开合状态，避免因拍摄或环境等因素导致确定的第一关键点的位置不准确，造成检测的刀闸的开合状态错误的情况发生。
附图说明
58.图1是本发明实施例中提供的一种刀闸状态检测方法的步骤流程图；
59.图2是本发明实施例中提供的一种刀闸打开/闭合状态的结构示意图；
60.图3是本发明实施例中提供的一种刀闸的结构示意图；
61.图4是本发明实施例中提供的一种预测第一关键点的步骤流程图；
62.图5是本发明实施例中提供的一种模型训练的流程示意图；
63.图6是本发明实施例中提供的一种刀闸状态检测的流程示意图；
64.图7是本发明实施例中提供的一种刀闸状态检测装置的结构框图；
65.图8是本发明实施例中提供的一种电子设备的框图。
具体实施方式
66.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
67.参照图1，示出了本发明实施例中提供的一种刀闸状态检测方法的步骤流程图，具体可以包括如下步骤：
68.步骤101：获取视频流的当前视频帧中刀闸的第一关键点的位置，以及所述当前视频帧的上一视频帧中所述刀闸的第二关键点的位置。
69.其中，视频流为拍摄设备拍摄刀闸生成的视频流；第一关键点的位置和第二关键点的位置为当前视频帧和上一视频帧分别通过预训练的检测模型确定得到，第一关键点的
位置和第二关键点的位置表征刀闸的刀闸臂的端部位置，刀闸臂通常包括刀闸左臂和刀闸右臂，在通过第一关键点的位置知道当前视频帧中刀闸臂的端部位置之后，可以通过刀闸臂的端部位置确定刀闸的开合状态；第一关键点的位置为第一关键点在当前视频帧上的位置，第二关键点的位置为第二关键点在上一视频帧中的位置；
70.预训练的检测模型可以为关键点检测模型，也可以为目标检测模型和关键点检测模型，具体可以根据实际情况设置，例如当拍摄的目标只包括一个刀闸，那么预训练的检测模型可以为关键点检测模型，只需对刀闸的关键点进行检测，当然检测模型也可以为目标检测模型和关键点检测模型，先通过目标检测模型对刀闸的边界框进行确定，在通过关键点检测模型确定边界框中的关键点；当拍摄的目标包括多个刀闸时，那么预训练的检测模型包括目标检测模型和关键点检测模型，先通过目标检测模型对多个刀闸的边界框进行确定，再通过关键点检测模型确定多个刀闸中边界框的关键点，本发明实施例中对预训练的检测模型不加以局限；
71.在通过预训练的检测模型确定视频流中的视频帧的关键点的位置之后，会将其保存，例如当前视频帧的上一视频帧中刀闸的第二关键点的位置可以储存在历史刀闸检测结果集合里面；
72.获取到的上一视频帧中刀闸的第二关键点的位置，优先为获取优化后的第二关键点的位置，在没有对第二关键点的位置优化的情况下，才直接获取上一视频帧中刀闸的第二关键点的位置。
73.具体地，通过预训练的检测模型确定得到当前视频帧中刀闸的第一关键点的位置后，获取当前视频帧中刀闸的第一关键点的位置，和在先储存的当前视频帧的上一视频帧中刀闸的第二关键点的位置。
74.步骤102：将所述第一关键点的位置与所述第二关键点的位置进行匹配。
75.具体地，在获取到当前视频帧的第一关键点的位置和上一视频帧中的第二关键点的位置之后，将当前视频帧的第一关键点的位置与上一视频帧的第二关键点的位置进行匹配，建立对应同一刀闸臂的端部位置的第一关键点的位置和第二关键点的位置的映射关系。
76.步骤103：根据所述第一关键点的位置与所述第二关键点的位置的匹配结果，对所述第一关键点的位置进行优化。
77.其中，在通过预训练的检测模型确定当前视频帧的第一关键点的位置时，会因当前视频帧模糊或者背景条件复杂的情况下，导致确定的第一关键点的位置不准确的情况发生，如刮大风时致使拍摄设备震动使得拍摄的当前视频帧模糊，或者下雨时导致拍摄的当前视频帧模糊，造成根据当前视频帧确定的第一关键点的位置不准确。
78.具体地，在将第一关键点的位置与第二关键点的位置进行匹配成功之后，可以确定出当前视频帧中每一个第一关键点的位置对应的上一视频帧中的第二关键点的位置，通过第二关键点的位置对其对应的第一关键点的位置进行优化，提高第一关键点的位置的准确性，例如由于当前视频帧与上一视频帧的拍摄间隔时间特别短，因此第一关键点的位置和其对应第二关键点的位置之间的距离并不会太大，所以在第一关键点的位置和其对应第二关键点的位置之间的距离过大时，通过第二关键点的位置对其对应的第一关键点的位置进行优化，提高第一关键点的位置的准确性。
79.上述实施例中，通过第一关键点的位置与第二关键点的位置的匹配结果，对第一关键点的位置进行优化，可以提高第一关键点的位置精度，从而可以基于第一关键点的位置更准确地检测刀闸的开合状态，避免因拍摄或环境等因素导致确定的第一关键点的位置不准确，造成检测的刀闸的开合状态错误的情况发生。
80.步骤104：基于优化后的第一关键点的位置检测所述刀闸的状态。
81.具体地，在通过第一关键点的位置与第二关键点的位置的匹配结果，对第一关键点的位置进行优化之后，由于第一关键点的位置为刀闸的刀闸臂的端部位置，因此可以根据刀闸臂的端部位置(第一关键点的位置)确定出刀闸的两刀闸臂的方向，进而通过两刀闸臂的方向判断刀闸的是处于打开状态还是闭合状态。参照图2，示出了本发明实施例中提供的一种刀闸打开/闭合状态的结构示意图。图2中的a刀闸为闭合状态，a为刀闸左臂，b为刀闸右臂，c为第一关键点，d为第一刀闸边界框，图2中的b刀闸为打开状态。
82.需要说明的是，在当前视频帧为视频流的首帧时，当前视频帧没有对应的上一视频帧，此时则不需要进行将第一关键点的位置与第二关键点的位置进行匹配，根据第一关键点的位置与第二关键点的位置匹配的结果对第一关键点的位置进行优化步骤，直接基于当前视频帧的第一关键点的位置去检测刀闸的状态。
83.上述实施例中，获取视频流的当前视频帧中刀闸的第一关键点的位置，及当前视频帧的上一视频帧中刀闸的第二关键点的位置，将第一关键点的位置与第二关键点的位置进行匹配，根据第一关键点的位置与第二关键点的位置的匹配结果，对第一关键点的位置进行优化，基于优化后的第一关键点的位置检测刀闸的状态。在对第一关键点的位置进行优化之后，由于第一关键点的位置表征刀闸的刀闸臂的端部位置，可以通过表征刀闸的刀闸臂的端部位置的第一关键点的位置检测刀闸从打开到关闭的任意状态的开合状态，提高检测刀闸的开合状态的准确度，避免因采用将刀闸分为打开的刀闸或闭合的刀闸两类进行判断的方式，导致在预测稍微打开的刀闸时无法准确分类刀闸状态的情况发生。
84.另外，将当前视频帧的第一关键点的位置与上一视频帧的第二关键点的位置进行匹配，然后通过第一关键点的位置与第二关键点的位置的匹配结果，对第一关键点的位置进行优化，提高第一关键点的位置精度，从而可以基于第一关键点的位置更准确地检测刀闸的开合状态，避免因拍摄或环境等因素导致确定的第一关键点的位置不准确，造成检测的刀闸的开合状态错误的情况发生。
85.在上述实施例的基础上，提出了上述实施例的变型实施例，在此需要说明的是，为了使描述简要，在变型实施例中仅描述与上述实施例的不同之处。
86.在本发明一实施例中，所述将所述第一关键点的位置与所述第二关键点的位置进行匹配，包括：获取所述上一视频帧中所述刀闸的第二刀闸边界框；将所述第一刀闸边界框与所述第二刀闸边界框进行匹配，确定出所述第一刀闸边界框与所述第二刀闸边界框的相对位置关系；基于所述第一刀闸边界框与所述第二刀闸边界框的相对位置关系，对所述第一关键点的位置与所述第二关键点的位置进行匹配，确定所述第一关键点的位置与所述第二关键点的位置的相对位置关系。
87.其中，第一刀闸边界框和第二刀闸边界框为当前视频帧和上一视频帧分别通过预训练的目标检测模型确定得到。
88.具体地，当拍摄的目标包括两个或两个以上的刀闸时，视频帧中存在多个刀闸，因
此需要对当前视频帧中的第一刀闸边界框和上一视频帧中的第二刀闸边界框进行匹配，确定出对应同一个刀闸的第一刀闸边界框和第二刀闸边界框，进而才能将对应同一个刀闸的第一刀闸边界框和第二刀闸边界框中的关键点进行匹配。
89.可以采用匈牙利算法、km算法等将第一刀闸边界框与第二刀闸边界框进行匹配，确定出第一刀闸边界框与第二刀闸边界框的相对位置关系，以采用km算法为例，km算法是一种计算机算法，功能是求完备匹配下的最大权匹配，本发明实施例中采用的是iou加权的km算法。具体将第一刀闸边界框从当前视频帧中转换到上一视频帧中，或将第二刀闸边界框从上一视频帧中转换到当前视频帧中，从而可以在同一视频帧中计算第一刀闸边界框和第二刀闸边界框的重叠面积，以及第一刀闸边界框和第二刀闸边界框在同一视频帧中占据的总面积。然后以第一刀闸边界框和第二刀闸边界框作为二分图的顶点，进而生成二分图，以第一刀闸边界框和第二刀闸边界框的重叠面积和总面积的比值作为权重，根据二分图生成带权二分图，基于带权二分图确定第一刀闸边界框与第二刀闸边界框的相对位置关系，进而可以确定出每一个第一刀闸边界框对应的第二刀闸边界框。
90.在确定出每一个第一刀闸边界框对应的第二刀闸边界框之后，可以根据第一刀闸边界框和其对应的第二刀闸边界框中关键点的预测顺序(其中，预测顺序为人工设置或随机设置)，对第一刀闸边界框中第一关键点的位置和第二刀闸边界框中的第二关键点的位置进行匹配，第一刀闸边界框内通过检测模型预测的第一个第一关键点的位置，与第二刀闸边界框内通过检测模型预测的第一个第二关键点的位置对应，预测的第二个第一关键点的位置与预测的第二个第二关键点的位置对应，以此类推，确定出当前视频帧中的第一关键点的位置与上一视频中的第二关键点的位置的相对位置关系。此外，还可以将第一关键点的位置从当前视频帧中转换到上一视频帧中，或将第二关键点的位置从上一视频帧中转换到当前视频帧中，从而可以在同一视频帧中计算第一关键点的位置和第二关键点的位置之间的距离，将距离最接近的第一关键点的位置和第二关键点的位置建立相对位置关系。本发明实施例中对第一关键点的位置与第二关键点的位置的匹配方式不加以局限。
91.需要说明的是，上述km算法为现有技术中常用的km算法，本示例对于该实现过程不再加以赘述。
92.若确定所有的第一刀闸边界框与第二刀闸边界框存在相对位置关系，则确定第一刀闸边界框与第二刀闸边界框匹配成功，若存在至少一个第一刀闸边界框不与第二刀闸边界框存在相对位置关系，则确定第一刀闸边界框与第二刀闸边界框匹配失败，表明当前视频帧或上一视频帧中存在异常。
93.上述实施例中，进行第一刀闸边界框与第二刀闸边界框匹配的目的，一方面是为了确定出对应同一个刀闸的第一刀闸边界框与第二刀闸边界框，以便对对应同一个刀闸的第一关键点的位置和第二关键点的位置进行匹配。另一方面，可以通过判断第一刀闸边界框和第二刀闸边界框的匹配是否成功，确定出存在异常的视频帧进行示警，例如上一视频帧中在拍摄的过程中，被鸟、树叶等物体遮挡镜头，导致未拍摄到刀闸或拍摄的刀闸不完整，进而导致通过预训练的检测模型无确定出上一视频帧的第二刀闸边界框，造成第一刀闸边界框和第二刀闸边界框无法匹配成功，所以确定上一视频帧异常。
94.进行第一关键点的位置和第二关键点的位置匹配的目的，是为了确定对应同一刀闸臂的端部位置的第一关键点和第二关键点的相对位置关系，以便后续根据该相对位置关
系对第一关键点进行是否异常确认和优化。
95.在本发明另一实施例中，当拍摄的刀闸为一个时，可以直接对当前视频帧中的第一关键点的位置与上一视频中的第二关键点的位置进行匹配，不用执行预测视频帧中的刀闸边界框，并对边界框进行匹配步骤。如可以直接根据视频帧中的关键点的预测顺序，对第一关键点的位置和第二关键点的位置进行匹配，当前视频帧中通过检测模型预测的第一个第一关键点的位置，与上一视频帧中通过检测模型预测的第一个第二关键点的位置对应，预测的第二个第一关键点的位置与预测的第二个第二关键点的位置对应，以此类推，确定出当前视频帧中的第一关键点的位置与上一视频中的第二关键点的位置的相对位置关系。此外，还可以将第一关键点的位置从当前视频帧中转换到上一视频帧中，或将第二关键点的位置从上一视频帧中转换到当前视频帧中，从而可以在同一视频帧中计算第一关键点的位置和第二关键点的位置之间的距离，将距离最接近的第一关键点的位置和第二关键点的位置建立相对位置关系。本发明实施例中对第一关键点的位置与第二关键点的位置的匹配方式不加以局限。
96.在本发明一实施例中，所述根据所述第一关键点的位置与所述第二关键点的位置的匹配结果，对所述第一关键点的位置进行优化，包括：根据所述第一关键点的位置和其对应的所述第二关键点的位置，确定所述第一关键点的位置是否异常；若确定所述第一关键点的位置异常，则通过所述第一关键点的位置对应的所述第二关键点的位置对所述第一关键点的位置进行优化。
97.具体地，在当前视频帧的第一关键点的位置与上一视频帧的第二关键点的位置匹配成功之后，可以根据第一关键点的位置和其对应的第二关键点的位置，确定第一关键点的位置是否异常，如可以根据第一关键点的位置和其对应的第二关键点的位置之间的距离确定第一关键点的位置是否异常，由于当前视频帧还上述视频帧的时间间隔特别小，所以第一关键点的位置和其对应的第二关键点的位置之间的距离不会相差太大，若距离过大，则可以确定第一关键点的位置异常。在确定第一关键点的位置异常之后，可以根据第一关键点的位置对应的第二关键点的位置对其进行优化，提高第一关键点的位置的准确性。
98.在本发明一实施例中，所述根据所述第一关键点的位置和所述第二关键点的位置，确定所述第一关键点的位置是否存在异常，包括：计算所述第一关键点的位置与其对应的所述第二关键点的位置的距离；若所述第一关键点的位置的置信度小于置信度阈值，和/或所述第一关键点的位置与其对应的所述第二关键点的位置的距离大于距离阈值，则确定所述第一关键点的位置存在异常。
99.其中，第一关键点的位置的置信度为在检测模型确定第一关键点的位置时同时确定，第一关键点的位置的置信度表征第一关键点的位置为第一关键点的位置为刀闸臂的端部位置的概率。
100.具体地，可以通过多种方式确定第一关键点的位置是否异常，第一种可以通过第一关键点的位置的置信度判断第一关键点是否异常，比如第一关键点的位置的置信度小于置信度阈值，表明第一关键点的位置为刀闸臂的端部位置的概率特别小，因此确定第一关键点的位置异常。
101.第二种，可以通过第一关键点的位置和其对应的第二关键点的位置之间的距离判断第一关键点是否异常，如可以将第一关键点的位置从当前视频帧中转换到上一视频帧
中，或将第二关键点的位置从上一视频帧中转换到当前视频帧中，从而可以在同一视频帧中计算第一关键点的位置和其对应的第二关键点的位置之间的距离，在计算出第一关键点的位置和其对应的第二关键点的位置之间的距离之后，判断该距离是否大于距离阈值，若大于，则表明第一关键点的位置和其对应的第二关键点的位置之间的距离相差过大，因此确定第一关键点的位置异常。
102.综上所述可以知道，当上述两种情况中的至少一种情况发生时，可以确定第一关键点的位置异常。
103.上述实施例中，可以通过第一关键点的位置的置信度，与第一关键点的位置和其对应的第二关键点的位置之间的距离判断第一关键点的位置是否异常，以确定出异常的第一关键点的位置，便于后续对异常的第一关键点的位置进行优化，提高第一关键点的位置的精度，从而基于第一关键点的位置更准确地检测刀闸的开合状态。
104.在本发明一实施例中，所述通过所述第一关键点的位置对应的所述第二关键点的位置对所述第一关键点的位置进行优化，包括：根据所述第一关键点的位置对应的所述第二关键点的位置，计算所述第二关键点在所述当前视频帧中的目标位置，并将所述目标位置作为优化后的所述第一关键点的位置。
105.具体地，根据第一关键点的位置对应的第二关键点的位置，可以计算第二关键点在当前视频帧中的目标位置。作为示例，计算第二关键点在当前视频帧中的目标位置的方式可以为多种，由于视频流为同一拍摄设备在一固定位置拍摄得到，也就是说拍摄设备拍摄的范围以及位置不会发生改变，因此可以确定第二关键点的位置在上一视频帧的像素坐标，当前视频帧中的该像素坐标处即为第二关键点在当前视频帧中的目标位置。
106.另外一种方式是需要在确定刀闸的关键点前，先确定刀闸的刀闸边界框，进而再确定刀闸边界框内的关键点，因此第一关键点的位置和第二关键点的位置在刀闸边界框内，然后基于刀闸边界框计算第二关键点在当前视频帧中的目标位置。例如，当前视频帧中的刀闸边界框的坐标为[xb,yb,wb,hb]，分别表示当前视频帧中刀闸边界框的左上角在图像中的坐标，与刀闸边界框的宽和高。当前视频帧的某个第一关键点为[xk,yk]，分别表示该第一关键点在图像中的横纵坐标。上一视频帧的刀闸边界框的坐标为[xh,yh,wh,hh]，分别表示上一视频帧中刀闸边界框的左上角在图像中的坐标，与刀闸边界框的宽和高。当前视频帧的第一关键点对应上一视频帧的中的第二关键点为[xj,yj]，分别表示该第二关键点在图像中的横纵坐标。基于上述的坐标计算目标位置[xm,ym] 方式如下：
[0107][0108][0109]
在计算出第二关键点在当前视频帧中的目标位置后，由于上一视频帧与当前视频帧之间的拍摄时间间隔非常短，因此，可以直接将该目标位置作为优化后的第一关键点的位置，从而实现对异常的第一关键点的位置进行优化。
[0110]
需要说明的是，本文中出现的将第一关键点的位置从当前视频帧中转换到上一视频帧中，或将第二关键点的位置从上一视频帧中转换到当前视频帧中均可以采用上述两种方式中的任意一种方式实现，具体根据实际需要进行设置，本发明实施例中对此不加以局
限。
[0111]
另外，在确定出第二关键点在当前视频帧中的目标位置之后，除了将目标位置作为优化后的第一关键点的位置方式之外，还可以其他方式对第一关键点的位置进行优化，如将目标位置与第一关键点的位置的连线的中间位置作为优化后的第一关键点的位置，或者将目标位置与第一关键点的位置的连线，该线条距离目标位置的预设距离处作为优化后的第一关键点的位置，从而起到对第一关键点的位置进行优化，预设距离可以为其他正常的第一关键点的位置与其对应的第二关键点的位置之间的平均距离。
[0112]
上述实施例中，在确定出第一关键点的位置异常之后，通过其对应的第二关键点的位置对第一关键点的位置进行优化，可以提高第一关键点的位置精度，从而基于第一关键点的位置更准确地检测刀闸的开合状态，避免因拍摄或环境等因素导致确定的第一关键点的位置不准确，进而导致输出的刀闸的夹角不准确，造成检测的刀闸的开合状态错误的情况发生。
[0113]
在本发明一实施例中，所述刀闸包括刀闸左臂和刀闸右臂，所述第一关键点的位置包括位于所述刀闸左臂的两端的第一子关键点和第二子关键点，与位于所述刀闸右臂的两端的第三子关键点和第四子关键点，所述基于优化后的所述刀闸关键点计算刀闸的夹角，包括：根据所述第一子关键点和所述第二子关键点，计算所述刀闸左臂的方向向量；根据所述第三子关键点和所述第四子关键点，计算所述刀闸右臂的方向向量；根据所述刀闸左臂的方向向量和所述刀闸右臂的方向向量，计算所述刀闸左臂和所述刀闸右臂的夹角。
[0114]
参照图3，示出了本发明实施例中提供的一种刀闸的结构示意图。图中刀闸左臂的第一子关键点a1和第二子关键点a2为[x
l1
,y
l1
],[x
l2
,y
l2
]，刀闸右臂的第三子关键点b1和第四子关键点b2为[x
r1
,y
r1
],[x
r2
,y
r2
]。则刀闸左臂和刀闸右臂的方向向量分别为v
l
＝[x
l2-x
l1
,y
l2-y
l1
],vr＝[x
r2-x
r1
,y
r2-y
r1
]。刀闸开合角度θ的计算公式为：
[0115][0116]
其中，arccos为反余弦函数，
[0117]
因此，可以通过上述方式计算出刀闸左臂和刀闸右臂的夹角。
[0118]
在本发明一实施例中，所述根据所述夹角判断所述刀闸的开合状态，包括：判断所述夹角是否小于夹角阈值；若所述夹角小于所述夹角阈值，则确定所述刀闸处于闭合状态；若所述夹角大于或等于所述夹角阈值，则确定所述刀闸处于打开状态。
[0119]
具体地，在计算出刀闸的夹角之后，判断刀闸夹角是否大于夹角阈值，若大于，表明刀闸处于打开状态，若小于，表明刀闸处于闭合状态。其中，夹角阈值可以根据实际情况进行设置，本发明实施例对此不加以局限，例如夹角阈值可以根据刀闸左臂和刀闸右臂之间不产生电弧的角度作为夹角阈值。
[0120]
上述实施例中，可以基于优化后的第一关键点的位置计算刀闸的夹角，从而可以通过刀闸的夹角判断刀闸从打开到关闭的任意状态的开合状态，提高检测刀闸的开合状态的准确度，避免因采用将刀闸分为打开的刀闸或闭合的刀闸两类进行判断的方式，导致在预测稍微打开的刀闸时无法准确分类刀闸状态的情况发生。
[0121]
在本发明一实施例中，在将所述第一关键点的位置与所述第二关键点的位置进行匹配之后，还包括：若所述第一刀闸边界框与所述第二刀闸边界框匹配失败，或确定所述第
一关键点的位置正常，则基于所述第一关键点的位置计算刀闸的夹角，以根据所述夹角判断所述刀闸的开合状态。
[0122]
具体地，在将当前视频帧的第一刀闸边界框与上一视频帧的第二刀闸边界框进行匹配之后，匹配失败，或者匹配成功后确定第一关键点的位置正常，那么直接可以基于第一关键点的位置计算刀闸的夹角，无需对第一关键点的位置进行优化，以节省计算资源。
[0123]
参照图4，示出了本发明实施例中提供的一种预测第一关键点的步骤流程图，本发明实施例在图1所示的实施例的基础上主要描述了一种通过检测模型确定第一关键点的实现方式。如图4所示，本实施例的方法可以包括：
[0124]
步骤401：将视频流的当前视频帧输入所述目标检测模型，得到与所述刀闸对应的第一刀闸边界框。
[0125]
其中，检测模型包括目标检测模型和关键点检测模型。
[0126]
具体地，在获取视频流的当前视频帧中刀闸的第一关键点的位置之前，先将视频流的当前视频帧输入目标检测模型，通过目标检测模型预测当前视频帧中刀闸对应的第一刀闸边界框。
[0127]
在本发明一实施例中，在步骤401之前，还包括：获取第一样本图像训练数据和第二样本图像训练数据；其中，所述第一样本图像训练数据具有对应的参照刀闸边界框，所述第二样本图像训练数据具有对应的参照刀闸边界框，和参照关键点的位置及其置信度；通过所述第一样本图像训练数据对待训练的目标检测模型进行训练，得到训练完成的目标检测模型；通过所述第二样本图像训练数据对待训练的关键点检测模型进行训练，得到训练完成的关键点检测模型。
[0128]
具体地，在通过目标检测模型和关键点检测模型去确定当前视频帧中的刀闸边界框和第一关键点的位置之前，需要提前对待训练的目标检测模型和待训练的关键点检测模型进行训练，得到训练完成的目标检测模型和训练完成的关键点检测模型，以便确定当前视频帧中的刀闸边界框和第一关键点的位置。
[0129]
通过第一样本图像训练数据对待训练的目标检测模型进行训练，作为示例，可以将第一样本图像训练数据输入待训练的目标检测模型中，得到刀闸的刀闸边界框，然后计算该刀闸边界框和参照刀闸边界框损失值，当损失值小于预设阈值，或损失值收敛时，确定目标检测模型训练完成，否则继续通过第一样本图像训练数据对待训练的目标检测模型进行训练。
[0130]
通过第二样本图像训练数据对待训练的关键点检测模型进行训练，具体方式如下：
[0131]
在本发明的一实施例中，所述通过所述第二样本图像训练数据对待训练的关键点检测模型进行训练，得到训练完成的关键点检测模型，包括：将所述第二样本图像训练数据输入至待训练的关键点检测模型中处理，得到刀闸的关键点的位置及其置信度；根据预设的损失函数，计算训练过程中所述待训练的关键点模型输出的关键点的位置及其置信度，与所述参照关键点的位置及其置信度之间的损失值；当所述损失值满足预设条件时，得到训练完成的关键点检测模型。
[0132]
具体地，将第二样本图像训练数据输入至待训练的关键点检测模型中处理，得到刀闸的关键点的位置及其置信度，计算关键点与参照关键点的第一损失值，和置信度与参
照置信度的第二损失值，并根据第一损失值和第二损失值的权重系数，确定待训练的关键点检测模型的全局函数损失值，当全局函数损失值小于预设阈值，或全局函数损失值收敛时，确定关键点检测模型训练完成，否则继续通过第二样本图像训练数据对待训练的关键点检测模型进行训练。
[0133]
步骤402：将所述当前视频帧和所述第一刀闸边界框输入所述关键点检测模型，得到所述第一刀闸边界框内的第一关键点的位置及其置信度。
[0134]
具体地，在通过目标检测模型预测当前视频帧中刀闸的第一刀闸边界框之后，将当前视频帧和第一刀闸边界框输入关键点检测模型，得到第一刀闸边界框内的第一关键点的位置及其置信度。其中，置信度表征第一关键点的位置为刀闸臂的端部位置的概率。
[0135]
上述实施例中，通过目标检测模型和关键点检测模型确定出当前视频帧中的第一刀闸边界框和第一刀闸边界框中的第一关键点，从而可以通过第一关键点计算刀闸的角度，从而通过刀闸的夹角判断刀闸从打开到关闭的任意状态的开合状态，进而提高检测刀闸的开合状态的准确度，避免因采用将刀闸分为打开的刀闸或闭合的刀闸两类进行判断的方式，导致在预测稍微打开的刀闸时无法准确分类刀闸状态的情况发生。
[0136]
为了更好的理解本发明中的实施例中，下述通过结合图5和图6进行示例性说明。
[0137]
参照图5，示出了本发明实施例中提供的一种模型训练的流程示意图。通过标注有刀闸数据(参照刀闸边界框)的样本图像训练数据输入待训练的目标检测模型中，对待训练的目标检测模型进行训练，得到刀闸目标检测模型(训练完成的目标检测模型)。通过标注有刀闸数据(参照刀闸边界框和参照关键点及其置信度)的样本图像训练数据输入刀闸关键点检测模型(待训练的关键点检测模型)中，对待训练的关键点检测模型进行训练，得到刀闸关键点检测模型(训练完成的关键点检测模型)。
[0138]
参照图6，示出了本发明实施例中提供的一种刀闸状态检测的流程示意图。将来自视频(视频流)的连续刀闸图片(视频帧)输入训练完成的刀闸目标检测模型(目标检测模型)，刀闸目标检测模型输出当前输入的视频帧中的刀闸的边界框(刀闸边界框)，将刀闸边界框和视频帧输入刀闸关键点检测模型(关键点检测模型)中，刀闸关键点检测模型输出当前输入的视频帧中刀闸边界框中的刀闸关键点(如第一关键点、第二关键点)，历史追踪信息中保存有当前输入的视频帧的上一视频帧的检测结果(刀闸边界框和关键点)，在确定当前的刀闸关键点异常时，通过历史追踪信息中的检测结果去对当前的刀闸关键点进行优化，优化完成后，删去历史追踪信息的上一视频帧的检测结果，保存当前输入的视频帧的检测结果，以便于对下一视频帧的刀闸关键点进行优化。然后通过优化后的刀闸关键点计算刀闸的开合角度，判断当前输入的视频帧中刀闸的开合状态。需要说明的时，在确定当前的刀闸关键点全部正常时，也需要删去历史追踪信息的上一视频帧的检测结果，保存当前输入的视频帧的检测结果，以便于对下一视频帧的刀闸关键点进行优化。
[0139]
上述实施例中，通过目标检测模型和关键点检测模型确定视频帧中的刀闸的第一关键点，基于关键点计算刀闸的夹角，进而可以通过刀闸的夹角判断刀闸从打开到关闭的任意状态的开合状态，进而提高检测刀闸的开合状态的准确度，避免因采用将刀闸分为打开的刀闸或闭合的刀闸两类进行判断的方式，导致在预测稍微打开的刀闸时无法准确分类刀闸状态的情况发生。
[0140]
进一步地，本发明实施例中在确定出第一关键点的位置异常之后，通过其对应的
第二关键点的位置对第一关键点的位置进行优化，可以提高第一关键点的位置精度，从而提高刀闸的夹角的精度，以根据该夹角更准确地检测刀闸的开合状态，避免因拍摄或环境等因素导致确定的第一关键点的位置不准确，进而导致输出的刀闸的夹角不准确，造成检测的刀闸的开合状态错误的情况发生。
[0141]
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
[0142]
参照图7，示出了本发明实施例中提供的一种刀闸状态检测装置的结构框图，具体可以包括如下模块：
[0143]
关键点获取模块701，用于获取视频流的当前视频帧中刀闸的第一关键点的位置，以及所述当前视频帧的上一视频帧中所述刀闸的第二关键点的位置；其中，所述第一关键点的位置和所述第二关键点的位置为所述当前视频帧和所述上一视频帧分别通过预训练的检测模型确定得到，所述第一关键点的位置和所述第二关键点的位置表征所述刀闸的刀闸臂的端部位置；
[0144]
关键点匹配模块702，用于将所述第一关键点的位置与所述第二关键点的位置进行匹配；
[0145]
关键点优化模块703，用于根据所述第一关键点的位置与所述第二关键点的位置的匹配结果，对所述第一关键点的位置进行优化；
[0146]
状态判断模块704，用于基于优化后的第一关键点的位置检测所述刀闸的状态。
[0147]
可选地，所述第一关键点的位置包括位于所述刀闸左臂的两端的第一子关键点和第二子关键点，与位于所述刀闸右臂的两端的第三子关键点和第四子关键点，所述状态判断模块，包括：
[0148]
第一向量计算子模块，用于根据所述第一子关键点和所述第二子关键点，计算所述刀闸左臂的方向向量；
[0149]
第二向量计算子模块，用于根据所述第三子关键点和所述第四子关键点，计算所述刀闸右臂的方向向量；
[0150]
夹角计算子模块，用于根据所述刀闸左臂的方向向量和所述刀闸右臂的方向向量，计算所述刀闸左臂和所述刀闸右臂的夹角。
[0151]
可选地，所述检测模型包括目标检测模型和关键点检测模型，还包括：
[0152]
边界框预测模块，用于将视频流的当前视频帧输入所述目标检测模型，得到与所述刀闸对应的第一刀闸边界框；
[0153]
关键点预测模块，用于将所述当前视频帧和所述第一刀闸边界框输入所述关键点检测模型，得到所述第一刀闸边界框内的第一关键点的位置。
[0154]
可选地，所述关键点匹配模块，包括：
[0155]
边界框获取子模块，用于获取所述上一视频帧中所述刀闸的第二刀闸边界框；
[0156]
边界框匹配子模块，用于将所述第一刀闸边界框与所述第二刀闸边界框进行匹配，确定出所述第一刀闸边界框与所述第二刀闸边界框的相对位置关系；
[0157]
关键点匹配子模块，用于基于所述第一刀闸边界框与所述第二刀闸边界框的相对位置关系，对所述第一关键点的位置与所述第二关键点的位置进行匹配，确定所述第一关键点的位置与所述第二关键点的位置的相对位置关系。
[0158]
可选地，所述关键点优化模块，包括：
[0159]
异常确定子模块，用于根据所述第一关键点的位置和其对应的所述第二关键点的位置，确定所述第一关键点的位置是否异常；若确定所述第一关键点的位置异常，则执行关键点优化子模块；
[0160]
所述关键点优化子模块，用于通过所述第一关键点的位置对应的所述第二关键点的位置对所述第一关键点的位置进行优化。
[0161]
可选地，所述第一关键点的位置具有对应的置信度，所述置信度表征第一关键点的位置为所述刀闸臂的端部位置的概率，所述异常确定子模块，包括：
[0162]
异常确定单元，用于若所述第一关键点的位置的置信度小于置信度阈值，和/或所述第一关键点的位置与其对应的所述第二关键点的位置的距离大于距离阈值，则确定所述第一关键点的位置存在异常。
[0163]
可选地，所述关键点优化子模块，包括：
[0164]
目标位置计算单元，用于根据所述第一关键点的位置对应的所述第二关键点的位置，计算所述第二关键点在所述当前视频帧中的目标位置，并将所述目标位置作为优化后的所述第一关键点的位置。
[0165]
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0166]
另外，本发明实施例还提供了一种电子设备，包括：处理器，存储器，存储在存储器上并可在处理器上运行的计算机程序，该计算机程序被处理器执行时实现上述数据获取方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0167]
本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述数据获取方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(read-only memory，简称rom)、随机存取存储器(random access memory，简称ram)、磁碟或者光盘等。
[0168]
图8为实现本发明各个实施例的一种电子设备的硬件结构示意图。
[0169]
该电子设备800包括但不限于：射频单元801、网络模块802、音频输出单元803、输入单元804、传感器805、显示单元806、用户输入单元807、接口单元808、存储器809、处理器810、以及电源811等部件。本领域技术人员可以理解，图8中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。在本发明实施例中，电子设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。
[0170]
应理解的是，本发明实施例中，射频单元801可用于收发信息或通话过程中，信号的接收和发送，具体的，将来自基站的下行数据接收后，给处理器810处理；另外，将上行的数据发送给基站。通常，射频单元801包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元801还可以通过无线通信系统与网络和其他设
备通信。
[0171]
电子设备通过网络模块802为用户提供了无线的宽带互联网访问，如帮助用户收发电子邮件、浏览网页和访问流式媒体等。
[0172]
音频输出单元803可以将射频单元801或网络模块802接收的或者在存储器809中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元803还可以提供与电子设备800执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元803包括扬声器、蜂鸣器以及受话器等。
[0173]
输入单元804用于接收音频或视频信号。输入单元804可以包括图形处理器(graphics processing unit，gpu)8041和麦克风8042，图形处理器8041 对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元 806上。经图形处理器8041处理后的图像帧可以存储在存储器809(或其它存储介质)中或者经由射频单元801或网络模块802进行发送。麦克风8042 可以接收声音，并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元801发送到移动通信基站的格式输出。
[0174]
电子设备800还包括至少一种传感器805，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板8061的亮度，接近传感器可在电子设备800移动到耳边时，关闭显示面板8061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；传感器805还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等，在此不再赘述。
[0175]
显示单元806用于显示由用户输入的信息或提供给用户的信息。显示单元806可包括显示面板8061，可以采用液晶显示器(liquid crystal display， lcd)、有机发光二极管(organic light-emitting diode，oled)等形式来配置显示面板8061。
[0176]
用户输入单元807可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元808 包括触控面板8071以及其他输入设备8072。触控面板8071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板8071上或在触控面板8071附近的操作)。触控面板8071可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器810，接收处理器810发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板8081。除了触控面板8071，用户输入单元807还可以包括其他输入设备8072。具体地，其他输入设备8072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
[0177]
进一步的，触控面板8071可覆盖在显示面板8061上，当触控面板8071 检测到在其上或附近的触摸操作后，传送给处理器810以确定触摸事件的类型，随后处理器810根据触摸事件的类型在显示面板8061上提供相应的视觉输出。虽然在图8中，触控面板8071与显示
面板8061是作为两个独立的部件来实现电子设备的输入和输出功能，但是在某些实施例中，可以将触控面板8071与显示面板8061集成而实现电子设备的输入和输出功能，具体此处不做限定。
[0178]
接口单元808为外部装置与电子设备800连接的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(i/o)端口、视频i/o端口、耳机端口等等。接口单元808可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到电子设备800内的一个或多个元件或者可以用于在电子设备800和外部装置之间传输数据。
[0179]
存储器809可用于存储软件程序以及各种数据。存储器809可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器809可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0180]
处理器810是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器809内的软件程序和/或模块，以及调用存储在存储器809内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。处理器810可包括一个或多个处理单元；优选的，处理器810可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器810中。
[0181]
电子设备800还可以包括给各个部件供电的电源811(比如电池)，优选的，电源811可以通过电源管理系统与处理器810逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
[0182]
另外，电子设备800包括一些未示出的功能模块，在此不再赘述。
[0183]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
[0184]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
[0185]
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。
[0186]
本领域普通技术人员可以意识到，结合本发明实施例中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0187]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0188]
在本技术所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0189]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0190]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0191]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0192]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。