口罩佩戴识别的方法、系统、装置和介质与流程

1.本技术涉及人脸识别技术领域，特别是涉及口罩佩戴识别的方法、系统、装置和介质。


背景技术：

2.在公共场合中佩戴口罩可以作为传染病防护方法，因此佩戴口罩出行已经成为人们的日常习惯。在人流出入较大的商场、地铁、校园、医院、办公等场所都会进行口罩佩戴查验。在相关技术中，通过人工进行查验时，存在员工缺岗、通行排队、漏识放行等问题，查验效果差；通过智能硬件设备进行核验时，只能识别出是否佩戴口罩，无法识别出口罩佩戴是否规范。
3.目前针对相关技术中通过人工或智能设备查验口罩时，查验效果差或无法识别出口罩佩戴是否规范的问题，尚未提出有效的解决方案。


技术实现要素：

4.本技术实施例提供了一种口罩佩戴识别的方法、系统、装置和介质，以至少解决相关技术中通过人工或智能设备查验口罩时，查验效果差或无法识别出口罩佩戴是否规范的问题。
5.第一方面，本技术实施例提供了一种口罩佩戴识别的方法，所述方法包括：构建多任务协同网络，所述多任务协同网络包括基础网络和第一分支网络，所述第一分支网络包括口罩佩戴分类分支和口罩佩戴回归分支；将训练数据输入至所述多任务协同网络，则所述训练数据经过所述基础网络后，分别通过口罩佩戴分支的分类损失函数、口罩佩戴分支的口罩高度回归损失函数和口罩佩戴分支的分类与回归之间的各项同性联合损失函数循环对所述第一分支网络进行训练，直至所述口罩佩戴分类分支和所述口罩佩戴回归分支达到预设的收敛状态，获得训练好的多任务协同网络；通过训练好的多任务协同网络对人脸进行识别，获得口罩佩戴分类的类别数和口罩佩戴回归高度，其中，所述类别数包括未佩戴、不规范佩戴和规范佩戴。
6.第二方面，本技术实施例提供了一种口罩佩戴识别的系统，所述系统包括多任务协同网络、所述多任务协同网络包括基础网络和第一分支网络，所述第一分支网络包括口罩佩戴分类分支和口罩佩戴回归分支；将训练数据输入至所述多任务协同网络，则所述训练数据经过所述基础网络后，分别通过口罩佩戴分支的分类损失函数、口罩佩戴分支的口罩高度回归损失函数和口罩佩戴分支的分类与回归之间的各项同性联合损失函数循环对所述第一分支网络进行训练，直至所述口罩佩戴分类分支和所述口罩佩戴回归分支达到预设的收敛状态，获得训练好的多任务协同网络；通过训练好的多任务协同网络对人脸进行识别，获得口罩佩戴分类的类别数和口
罩佩戴回归高度，其中，所述类别数包括未佩戴、不规范佩戴和规范佩戴。
7.第三方面，本技术实施例提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的口罩佩戴识别的方法。
8.第四方面，本技术实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的口罩佩戴识别的方法。
9.相比于相关技术，本技术实施例提供的口罩佩戴识别的方法，通过构建多任务协同网络，分别通过口罩佩戴分支的分类损失函数、口罩佩戴分支的口罩高度回归损失函数和口罩佩戴分支的分类与回归之间的各项同性联合损失函数循环对第一分支网络进行训练，直至口罩佩戴分类分支和口罩佩戴回归分支达到预设的收敛状态，获得训练好的多任务协同网络，训练好的多任务协同网络可以输出行人口罩佩戴分类的类别数和口罩佩戴回归高度，即可知道行人口罩是否佩戴规范，且本实施例中的多任务协同网络输出结果准确度更高，解决了相关技术中通过人工或智能设备查验口罩时，查验效果差或无法识别出口罩佩戴是否规范的问题。
附图说明
10.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：图1是根据本技术实施例的口罩佩戴识别的方法的流程图；图2是根据本技术实施例的另一种口罩佩戴识别的方法的流程图；图3是根据本技术实施例的轻量注意力模块的结构示意图；图4是根据本技术实施例的多任务协同网络的结构示意图。
具体实施方式
11.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。基于本技术提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本技术公开的内容相关的本领域的普通技术人员而言，在本技术揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本技术公开的内容不充分。
12.在本技术中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本技术所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
13.除非另作定义，本技术所涉及的技术术语或者科学术语应当为本技术所属技术领域内具有一般技能的人士所理解的通常意义。本技术所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本技术所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块（单元）的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本技术所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本技术所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。本技术所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
14.本实施例提供了一种口罩佩戴识别的方法，图1是根据本技术实施例的口罩佩戴识别的方法的流程图，如图1所示，该方法包括如下步骤：步骤s101，构建多任务协同网络，多任务协同网络包括基础网络和第一分支网络，第一分支网络包括口罩佩戴分类分支和口罩佩戴回归分支；步骤s102，将训练数据输入至该多任务协同网络，则训练数据经过基础网络后，通过口罩佩戴分支的分类损失函数和口罩佩戴分支的口罩高度回归损失函数和口罩佩戴分支的分类与回归之间的各项同性联合损失函数循环对第一分支网络进行训练，直至口罩佩戴分类分支和口罩佩戴回归分支达到预设的收敛状态，获得训练好的多任务协同网络；本实施例中，口罩佩戴分支的分类损失函数通过如下述公式1所示：
ꢀꢀꢀꢀ
公式1其中，表示口罩佩戴分支的分类损失，表示口罩佩戴分类的类别数，类别数为3，即1-未佩戴，2-不规范佩戴，3-规范佩戴，表示口罩佩戴分类的类别索引，范围为1到，表示当前图像数据的口罩佩戴的真实标签，即1-未佩戴，2-不规范佩戴，3-规范佩戴，含义与相同，表示口罩佩戴分支输出的分类概率，表示含义与相同。
15.口罩佩戴分支的口罩高度回归损失函数通过如下述公式2所示：
ꢀꢀꢀꢀ
公式2其中，表示口罩佩戴分支的口罩高度回归损失，表示batch size中的样本数，表示回归预测的口罩佩戴高度，表示真实标定的口罩佩戴高度，本发明在实施过程中，对于口罩佩戴高度是连续数值标定，这里阐述部分重要标定高度，即未佩戴-0，鼻尖-72，上嘴唇-65，眼袋-85，眉毛-100，则未佩戴-[0]，不规范-[0-72]，规范-[72-100]。
[0016]
口罩佩戴分支的分类与回归之间的各项同性联合损失函数如下述公式3-4所示：
ꢀꢀꢀ
公式3
ꢀꢀꢀꢀꢀ
公式4其中，表示口罩佩戴分支的分类与回归之间的各项同性联合损失，表示不同回归口罩高度对应的类别概率，例如，高度为85时，类别概率应为[0,0,1]，、、、表示含义同公式1。
[0017]
口罩是否佩戴与口罩佩戴高度，在语义上有非常强的相关性，单单通过口罩佩戴分支的分类损失函数和口罩佩戴分支的口罩高度回归损失函数对第一分支网络进行训练会使口罩佩戴分类分支和口罩佩戴回归分支的高层语义信息无法交汇利用，使输出的结果准确度不够高，因此需再通过口罩佩戴分支的分类与回归之间的各项同性联合损失函数对第一分支网络进行训练，将口罩佩戴分类分支与口罩佩戴高度回归分支联合起来一起训练，提高了输出结果的准确度。
[0018]
步骤s103，通过训练好的多任务协同网络对人脸进行识别，获得口罩佩戴分类的类别数和口罩佩戴回归高度，其中，类别数包括未佩戴、不规范佩戴和规范佩戴。本实施例中，可以将口罩佩戴高度为72以上时判定为口罩佩戴规范，则训练好的多任务协同网络输出行人a口罩佩戴分类的类别数为3和口罩佩戴回归高度为75，则说明该行人a口罩佩戴规范。
[0019]
通过步骤s101至步骤s103，相对于相关技术中通过人工或智能设备查验口罩时，查验效果差或无法识别出口罩佩戴是否规范的问题，本实施例通过构建多任务协同网络，并分别通过口罩佩戴分支的分类损失函数、口罩佩戴分支的口罩高度回归损失函数、口罩佩戴分支的分类与回归之间的各项同性联合损失函数循环对第一分支网络进行训练，直至口罩佩戴分类分支和口罩佩戴回归分支达到预设的收敛状态，获得训练好的多任务协同网络，训练好的多任务协同网络可以输出行人口罩佩戴分类的类别数和口罩佩戴回归高度，即可知道行人口罩是否佩戴规范，且本实施例中的多任务协同网络输出结果准确度更高，解决了相关技术中通过人工或智能设备查验口罩时，查验效果差或无法识别出口罩佩戴是否规范的问题。
[0020]
在其中一些实施例中，多任务协同网络还包括第二分支网络，第二分支网络包括活体识别分类分支，图2是根据本技术实施例的另一种口罩佩戴识别的方法的流程图，如图2所示，口罩佩戴分类分支和口罩佩戴回归分支达到预设的收敛状态之后，该方法包括如下步骤：步骤s201，固定口罩佩戴分类分支参数和口罩佩戴回归分支参数，分别通过活体识别分支的分类损失函数和口罩佩戴分支的回归与活体识别分类之间的各项同性联合损失函数循环对第二分支网络进行训练，直至活体识别分类分支达到预设的收敛状态，获得训练好的多任务协同网络；本实施例中，活体识别分支的分类损失函数通过如下述公式5所示：
ꢀꢀꢀꢀ
公式5其中，表示活体识别分支的分类损失，表示活体识别分类的类别数，该类别数为2，即1-假体，2-活体，表示活体识别分类的类别索引，范围为1到，表示当前图像数据的活体识别的真实标签，即1-假体，2-活体，表示含义与相同，表示活体识别分支输出的分类概率，表示含义与相同。
[0021]
口罩佩戴分支的回归与活体识别分类之间的各项同性联合损失函数如下述公式6-7所示：公式6
ꢀꢀꢀꢀꢀ
公式7其中，表示惩罚权重，当输入为活体，且规范佩戴口罩时，进行加权惩罚，提升规范佩戴口罩时的活体通过率，、、、、、表示含义同公式5，表示含义同公式3。
[0022]
通过本实施例，根据口罩佩戴高度进行损失惩罚，最终提升口罩佩戴情况下的活体判断准确率。
[0023]
步骤s202，通过训练好的多任务协同网络对人脸进行识别，获得口罩佩戴分类的类别数、口罩佩戴回归高度以及活体置信度。
[0024]
相关技术中活体识别主要依靠人脸中的细节来区分人脸的真假，但因为口罩遮挡，会造成人脸细节丢失，使模型输出的活体置信度偏低，致使那些依赖于固定阈值的常规活体算法容易出现误判情况，需要手动摘除或者下拉口罩才可正确识别，因此，本实施例中不单通过活体识别分支的分类损失函数训练第二分支网络，还通过口罩佩戴分支的回归与活体识别分类之间的各项同性联合损失函数对第二分支网络进行训练，直至活体识别分类分支达到预设的收敛状态，提高了行人佩戴口罩进行活体识别时的活体置信度，解决了现有技术中需要手动摘除或者下拉口罩才可正确识别活体的问题，通过对行人进行活体识别，也解决了面临打印纸张或电子屏幕等假体攻击的风险。
[0025]
在其中一些实施例中，活体识别分类分支达到预设的收敛状态之后，放开口罩佩戴分类分支参数、口罩佩戴回归分支参数和活体识别分类分支参数，通过口罩佩戴分支的分类损失函数、口罩佩戴分支的口罩高度回归损失函数训练第一分支网络通过活体识别分支的分类损失函数训练第二分支网络，直至口罩佩戴分类分支、口罩佩戴回归分支和活体识别分类分支达到预设的收敛状态，获得训练好的多任务协同网络。
[0026]
本实施例中，通过渐进式多级循环交替优化训练多任务协同网络，其中，渐进式为
先易后难，可以降低多任务协同网络的优化难度，多级循环包括下述步骤：（1）第一级循环：固定活体识别分类分支参数，训练第一分支网络a：通过口罩佩戴分类分支的分类损失函数训练第一分支网络；b：通过口罩佩戴分支的口罩高度回归损失函数训练第一分支网络；c：通过口罩佩戴分支的分类与回归之间的各项同性联合损失函数训练第一分支网络；重复步骤a-c，直至口罩佩戴分类分支和口罩佩戴回归分支达到预设的收敛状态。
[0027]
（2）第二级循环：固定口罩佩戴分类分支参数和口罩佩戴回归分支参数，训练第二分支网络e：通过活体识别分支的分类损失函数训练第二分支网络；f：通过口罩佩戴分支的回归与活体识别分类之间的各项同性联合损失函数训练第二分支网络；重复步骤e-f，直至活体识别分类分支达到预设的收敛状态。
[0028]
（3）第三级循环：放开口罩佩戴分类分支参数、口罩佩戴回归分支参数和活体识别分类分支参数，训练口罩佩戴分类分支、口罩佩戴回归分支和活体识别分类分支，直至口罩佩戴分类分支、口罩佩戴回归分支和活体识别分类分支达到预设的收敛状态。
[0029]
（4）重复步骤（1）-（4），直至口罩佩戴分类分支、口罩佩戴回归分支和活体识别分类分支达到预设的收敛状态，获得训练好的多任务协同网络。
[0030]
口罩识别与活体识别方案是一种强相关协同任务，对于网络来说，底层共享视觉信息，但高层语义信息需要区分是否佩戴口罩、口罩高度以及是否为活体，因此直接端到端训练时，会导致收敛相对困难且难以做到任务均衡，而本实施例通过渐进式多级循环交替优化训练策略，解决了多任务协同网络收敛困难且难以做到任务均衡的问题。
[0031]
在其中一些实施例中，基础网络包括若干个轻量注意力模块，即基础网络由很多个轻量注意力模块堆叠搭建组成，图3是根据本技术实施例的轻量注意力模块的结构示意图，如图3所示，训练数据输入至轻量注意力模块包括：先对输入x进行全局池化操作（gap），然后在channel维度上进行通道拆分（channel split），得到两个分组和，降低运算量，实现轻量推理，再分别对两个分组进行1
×
1卷积和sigmoid激活，然后将两个分组在channel通道维度上重新拼接在一起（channel cat），得到n，其中，n为各个通道channel的权重系数，将n与输入x相乘，由于n是各个通道的系数，所以n*x表示对各个输入通道进行配置权重，即对各个channel施加注意力机制，优化模型特征表达，有用的通道对应的权重系数大，无用的通道对应的权重系数小，可以让网络更加注重有用通道的学习，即注意力机制，最后再进行channel shuffle操作，将通道打乱，增加通道内的信息流动，进一步增强网络的特征表达能力，最终获得语义信息，输入x经过基础网络后，最终获得高层语义信息。
[0032]
注意力模块描述公式如下述公式8-10：
ꢀꢀꢀ
公式8
ꢀꢀꢀ
公式9
ꢀꢀꢀ
公式10
其中，为注意力模块的输入，为注意力模块的输出，表示分组索引序号，、表示中间运算临时变量，表示element-wise乘积，表示global average pooling操作，表示channel split操作，表示先进行1x1conv，再进行sigmoid操作，表示channel cat操作，表示channel shuffle操作。
[0033]
本实施例中，通过channel split降低运算量，保证了注意力模块的轻量，并通过channel shuffle促进特征通道内的信息交换，增强模型的特征表达，该即插即用注意力模块既保证了轻量低运算，又引入注意力机制，实现了小网络的实时高精度，解决了轻量小网络满足实时要求时，精准度不足问题。
[0034]
在相关技术中，口罩识别与活体识别一般用于门禁场景，识别通过才能够允许通行，在实际应用中，不同地方对口罩佩戴高度的要求不同，传统方案一般采用固定阈值，无法进行灵活设置，因此，在其中一些实施例中，通过训练好的多任务协同网络对人脸进行识别，获得口罩佩戴分类的类别数和口罩佩戴回归高度之后，获取口罩佩戴回归高度和预设口罩佩戴高度的比较结果，根据比较结果和口罩佩戴分类的类别数，获得口罩佩戴输出结果，具体实现如下述公式11：
ꢀꢀꢀꢀꢀ
公式11其中，表示口罩佩戴输出结果，即1-未佩戴，2-不规范佩戴，3-规范佩戴，表示多任务协同网络输出的口罩佩戴回归高度，范围0-100，数值越大，佩戴高度越高，表示多任务协同网络输出的口罩佩戴分类结果，表示预设口罩佩戴高度，用户可根据需求进行设置，可设置为72，即鼻尖位置，本实施例中，当多任务协同网络输出的口罩佩戴分类结果为规范佩戴，但是口罩佩戴回归高度小于预设口罩佩戴高度，则说明口罩佩戴符合一般的要求，但是不符合用户设定的要求，则最终口罩佩戴输出结果还是为不规范佩戴，通过本实施例可以灵活调整预设口罩佩戴高度，实现口罩佩戴识别的灵活部署。
[0035]
同时活体识别阈值也难以进行现场调参适应，因此在其中一些实施例中，通过训练好的多任务协同网络对人脸进行识别，获得口罩佩戴分类的类别数、口罩佩戴回归高度以及活体置信度之后，通过拔高系数、口罩佩戴回归高度和活体置信度获得拔高后活体置信度；获取拔高后活体置信度和置信度阈值的比较结果，根据比较结果获得活体识别的输出结果，具体实现如下述公式12-13：
ꢀꢀꢀ
公式12
ꢀꢀꢀ
公式13
其中，表示活体识别输出结果，表示拔高系数，可设置为0.03，表示拔高后活体置信度，即经过拔高后的活体置信度，可以提升口罩场景下活体判定鲁棒性，表示多任务协同网络输出的活体置信度，表示预设活体置信度阈值，用户可根据需求进行设置；通过口罩佩戴分支的回归与活体识别分类之间的各项同性联合损失函数对口罩高度回归与活体识别分类联合分支进行训练，虽然提高了口罩佩戴情况下的活体判断准确率，但并不能完全解决口罩佩戴情况下，活体输出数值偏低的问题，因此通过本实施例将多任务协同网络输出的活体置信度进行拔高，进一步缓解活体置信度偏低的问题，解决了门禁场景下，活体置信度低于预设活体置信度阈值，认为是假体攻击，不予放行通过，需要拉下口罩再次进行识别判定才可通行，若需要多次刷脸或者拉下口罩，会造成通行卡顿的问题，因此本实施例提升口罩佩戴情况下活体识别的通行效率。
[0036]
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0037]
本实施例还提供了一种口罩佩戴识别的系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
[0038]
图4是根据本技术实施例的多任务协同网络的结构示意图，如图4所示，该系统包括多任务协同网络、多任务协同网络包括基础网络和第一分支网络，第一分支网络包括口罩佩戴分类分支和口罩佩戴回归分支；将训练数据输入至多任务协同网络，则训练数据经过基础网络后，分别通过口罩佩戴分支的分类损失函数、口罩佩戴分支的口罩高度回归损失函数和口罩佩戴分支的分类与回归之间的各项同性联合损失函数循环对第一分支网络进行训练，直至口罩佩戴分类分支和口罩佩戴回归分支达到预设的收敛状态，获得训练好的多任务协同网络；通过训练好的多任务协同网络对人脸进行识别，获得口罩佩戴分类的类别数和口罩佩戴回归高度，其中，类别数包括未佩戴、不规范佩戴和规范佩戴，解决了相关技术中通过人工或智能设备查验口罩时，查验效果差或无法识别出口罩佩戴是否规范的问题。
[0039]
在其中一些实施例中，如图4所示，多任务协同网络还包括第二分支网络，第二分支网络包括活体识别分类分支，口罩佩戴分类分支和口罩佩戴回归分支达到预设的收敛状态之后，固定口罩佩戴分类分支参数和口罩佩戴回归分支参数，分别通过活体识别分支的分类损失函数和口罩佩戴分支的回归与活体识别分类之间的各项同性联合损失函数循环对第二分支网络进行训练，直至活体识别分类分支达到预设的收敛状态，获得训练好的多任务协同网络；通过训练好的多任务协同网络对人脸进行识别，获得口罩佩戴分类的类别数、口罩佩戴回归高度以及活体置信度。
[0040]
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器
中。
[0041]
本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
[0042]
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
[0043]
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
[0044]
另外，结合上述实施例中的口罩佩戴识别的方法，本技术实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种口罩佩戴识别的方法。
[0045]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种口罩佩戴识别的方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0046]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（rom）、可编程rom（prom）、电可编程rom（eprom）、电可擦除可编程rom（eeprom）或闪存。易失性存储器可包括随机存取存储器（ram）或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram（sram）、动态ram（dram）、同步dram（sdram）、双数据率sdram（ddrsdram）、增强型sdram（esdram）、同步链路（synchlink） dram（sldram）、存储器总线（rambus）直接ram（rdram）、直接存储器总线动态ram（drdram）、以及存储器总线动态ram（rdram）等。
[0047]
本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0048]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。