近视防控方法、装置、系统、存储介质和设备与流程

1.本公开涉及机电一体化技术领域，尤其涉及近视防控方法、装置、系统、存储介质和设备。


背景技术：

2.现有技术的用眼监控系统，能够利用可穿戴设备采集信息、用户的输入的信息，以向用户提供用眼建议，但仅通过只能眼睛本身采集数据，并且对采集的数据采用单一阈值进行判断，判定方法简单粗糙，且手动输入数据对用户来说太过繁琐，且无法实时观察用户的整体坐姿状态，从而给出比较全面的评价。


技术实现要素：

3.为了解决上述提出的至少一个技术问题，本公开提出了近视防控方法、监控终端、近视防控系统、存储介质和电子设备。
4.根据本公开的一方面，提供了一种近视防控方法，应用于近视防控系统，所述近视防控系统包括监控终端和可穿戴设备，所述监控终端包括第一传感器模块、第一控制模块和评估模块，所述可穿戴设备包括第二传感器模块，包括：
5.所述第一传感器模块将采集的第一姿态信息传输到所述第一控制模块，所述第二传感器模块将采集的第二姿态信息传输到所述第一控制模块，所述第一姿态信息包括人体坐姿图像、课桌距离、生理参数值，所述第二姿态信息包括视线距离、头部姿态信息和阅读时间；
6.所述第一控制模块将所述第一姿态信息和所述第二姿态信息输入到预设的特征提取网络模型进行特征提取，确定第一特征，其中，所述第一特征包括空间特征和微动信息特征，并将所述第一特征输入到注意力模型进行编码，确定注意力特征；将所述注意力特征进行特征融合，确定第二特征；根据所述第二特征，确定分类结果，将所述分类结果传输至所述评估模块；
7.所述评估模块根据所述分类结果，判断人体坐姿是否合格，若所述人体坐姿不合格，则提醒用户纠正坐姿。
8.在一些可能的实施方式中，所述预设的特征提取网络模型包括第一特征提取网络模型和第二特征提取网络模型，所述第一控制模块将所述第一姿态信息和第二姿态信息输入到预设的特征提取网络模型进行特征提取，确定第三特征，包括：
9.所述第一控制模块将所述第一姿态信息和所述第二姿态信息输入到所述第一特征提取网络模型，确定所述空间特征；
10.所述第一控制模块将所述第一姿态信息和所述第二姿态信息输入到所述第二特征提取网络模型，确定所述微动信息特征。
11.在一些可能的实施方式中，所述方法还包括：
12.所述第一控制模块获取所述阅读时间，判断所述阅读时间是否大于预设时间，若
大于预设时间，通过语音提示单元提醒用户。
13.根据本公开的第二方面，提供一种近视防控装置，应用于近视防控系统，所述近视防控系统包括监控终端和可穿戴设备，所述监控终端包括第一传感器模块、第一控制模块和评估模块，所述可穿戴设备包括第二传感器模块，包括：
14.信息获取模块，用于所述第一传感器模块将采集的第一姿态信息传输到所述第一控制模块，所述第二传感器模块将采集的第二姿态信息传输到所述第一控制模块，所述第一姿态信息包括人体坐姿图像、课桌距离、生理参数值，所述第二姿态信息包括视线距离、头部姿态信息和阅读时间；
15.分类结果确定模块，用于所述第一控制模块将所述第一姿态信息和所述第二姿态信息输入到预设的特征提取网络模型进行特征提取，确定第一特征，其中，所述第一特征包括空间特征和微动信息特征，并将所述第一特征输入到注意力模型进行编码，确定注意力特征；将所述注意力特征进行特征融合，确定第二特征；根据所述第二特征，确定分类结果，将所述分类结果传输至所述评估模块；
16.坐姿评估模块，用于所述评估模块根据所述分类结果，判断人体坐姿是否合格，若所述人体坐姿不合格，则提醒用户纠正坐姿。
17.根据本公开的第三方面，提供一种近视防控系统，所述系统包括监控终端、可穿戴设备和云端；
18.所述监控终端包括第一传感器模块、第一控制模块和评估模块，所述第一传感器模块用于采集第一姿态信息，所述第一姿态信息包括人体坐姿图像、课桌距离、生理参数值；所述第一控制模块用于将所述第一姿态信息和第二姿态信息输入到预设的特征提取网络模型进行特征提取，确定第一特征，其中，所述第一特征包括空间特征和微动信息特征，并将所述第一特征输入到注意力模型进行编码，确定注意力特征；将所述注意力特征进行特征融合，确定第二特征；根据所述第二特征，确定分类结果，将所述分类结果传输至所述评估模块；所述评估模块用于根据所述分类结果，判断人体坐姿是否合格，若所述人体坐姿不合格，则提醒用户纠正坐姿；
19.所述可穿戴设备与所述监控终端通信连接，所述监控终端与所述云端通信连接；
20.所述可穿戴设备包括第二传感器模块和第二控制模块，所述第二传感器模块用于采集所述第二姿态信息，并将所述第二姿态信息传输到所述第一控制模块和所述第二控制模块，所述第二姿态信息包括视线距离、头部姿态信息、阅读工具图像和阅读时间，所述第二控制模块用于控制阅读时间以及区分阅读工具；
21.所述云端模块包括专家引擎和公众号模块，所述专家引擎用于对用户的疲劳状态进行分类，所述公众号模块用于推送疲劳度改善程度信息。
22.在一些可能的实施方式中，所述第一传感器模块包括毫米波雷达，所述毫米波雷达用于获取所述人体坐姿图像；所述第一控制模块包括第一蓝牙通讯单元、语音提示单元、显示屏显示单元和网络单元；所述第一蓝牙通讯单元用于与可穿戴设备通信连接；所述语音提示单元用于当用户坐姿不正确或阅读时间超过预设时间的情况下，语音提醒用户；所述显示屏单元用于显示阅读时间和疲劳状态。
23.在一些可能的实施方式中，所述第二传感器模块包括测距传感器、陀螺仪传感器和摄像头；
24.所述测距传感器用于获取所述视线距离，所述视线距离为用户的眼睛距离阅读工具的距离；
25.所述陀螺仪传感器用于获取所述头部姿态信息；
26.所述摄像头用于获取所述阅读工具图像。
27.在一些可能的实施方式中，所述第二控制模块包括第二蓝牙通讯单元和振动控制单元；所述第二蓝牙通讯单元用于与所述监控终端通信连接；所述振动控制单元用于当阅读时间达到预设时间时，控制所述可穿戴设备振动，以提醒用户。
28.根据本公开的第四方面，提供了一种电子设备，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现如第一方面中任意一项所述的近视防控方法或第二方面中任意一项所述的人脸识别方法。
29.根据本公开的第五方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如第一方面中任意一项所述的近视防控方法或第二方面中任意一项所述的人脸识别方法。
30.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
31.实施本公开，具有以下有益效果：
32.本公开可穿戴设备和监控终端的传感器单元采集到人体坐姿图像、课桌距离、生理参数值、头部姿态信息或阅读时间等人体或阅读相关数据，通过控制器对人体或阅读相关数据进行处理，从而获取人体坐姿的分类结果，并对人体坐姿进行评估，以提醒用户注意坐姿姿态，如眼睛距离阅读工具的距离，身体距离课桌的距离等，并监控人体的生理状况，保证用户的健康用眼，合理学习阅读。
33.根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
34.为了更清楚地说明本说明书实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
35.图1示出根据本公开实施例的一种近视防控方法的流程示意图；
36.图2示出根据本公开实施例的特征提取网络模型的神经网络的结构示意图；
37.图3示出根据本公开实施例的特征提取网络模型整体的结构示意图；
38.图4示出根据本公开实施例的一种近视防控装置的结构示意图；
39.图5示出根据本公开实施例的近视防控系统的结构示意图；
40.图6示出根据本公开另一实施例的近视防控系统的结构示意图；
41.图7示出根据本公开实施例的一种电子设备的框图；
42.图8示出根据本公开实施例的另一种电子设备的框图。
具体实施方式
43.下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
44.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
45.以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
46.在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
47.本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括a、b、c中的至少一种，可以表示包括从a、b和c构成的集合中选择的任意一个或多个元素。
48.另外，为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
49.图1示出根据本公开实施例的一种近视防控方法的流程示意图，应用于近视防控系统100，近视防控系统100包括监控终端10和可穿戴设备20，监控终端10包括第一传感器模块11、第一控制模块12和评估模块13，可穿戴设备20包括第二传感器模块21，如图1所示，上述方法包括：
50.s101、第一传感器模块11将采集的第一姿态信息传输到第一控制模块12，第二传感器模块21将采集的第二姿态信息传输到第一控制模块12，所述第一姿态信息包括人体坐姿图像、课桌距离、生理参数值，所述第二姿态信息包括视线距离、头部姿态信息和阅读时间；
51.近视防控系统100包括监控终端10和可穿戴设备20，监控终端10可安装在书桌上，通过77ghz毫米波多天线发射与接收，基于多普勒效应获取到人体多点距离、方位，进而描绘出人体点阵图像。根据距离值判断坐姿状态下胸部距离课桌距离。监控终端10包括第一传感器模块11、第一控制模块12和评估模块13，可穿戴设备20可以是头部可穿戴设备，也可以是眼部可穿戴设备，如智能眼镜，可穿戴设备20包括第二传感器模块21，通过第二传感器模块21采集第二姿态信息，第二姿态信息包括视线距离、头部姿态信息和阅读时间，第二传感器模块21包括红外测距仪、陀螺仪、摄像头和定时器，红外测距仪可用于测量用户头部的
眼睛与阅读工具的直线距离即视线距离，陀螺仪用于获取用户的头部姿态信息，摄像头用于获取用户阅读工具的图像，以区分阅读工具的种类，定时器用于对用户用眼时间进行计时，第二传感器模块21将获取的第二姿态信息通过蓝牙通讯模块传输至监控终端10的第一控制模块12，
52.第一传感器模块11包括毫米波雷达，通过毫米波雷达获取人体坐姿图像，同时测取用户身体距离课桌的水平距离即为课桌距离，同时通过毫米波雷达还可以监测到人体心率、呼吸等生理参数值，第一传感器模块11获取第一姿态信息，将第一姿态信息传输至第一控制模块12。
53.s102、第一控制模块12将所述第一姿态信息和所述第二姿态信息输入到预设的特征提取网络模型进行特征提取，确定第一特征，其中，所述第一特征包括空间特征和微动信息特征，并将所述第一特征输入到注意力模型进行编码，确定注意力特征；将所述注意力特征进行特征融合，确定第二特征；根据所述第二特征，确定分类结果，将所述分类结果传输至评估模块13；
54.通过第一姿态信息和第二姿态信息，提取人体三维点图，图像预处理。分别将原始人体点云图像使用特征提取网络模型做特征提取，确定第一特征，所述第一特征根据动态时间规整算法(dtw)、欧式距离或马氏距离获取空间特征，微动多普勒特征。请参阅图2，本公开中使用的特征提取网络模型包括4个卷积神经网络模型(cnn)层、2个池化层(pooling)、2个全连接层(fullyconnectionlayer)及激活函数softmax，卷积神经网络包括但不限于残差网络。请参阅图3，将第一特征输入注意力编码模型进行编码，确定注意力特征，将注意力特征进行特征融合，特征融合是将注意力特征中图像信息特征与雷达信息特征参数有重叠的部分，如速度信息，角度信息，该部分信息通过分别对两个部分信息该特征与真实信息特征标签的标定匹配，设置一个权重向量(置信度向量)进行匹配，以确定第二特征，利用第二特征确定分类结果。
55.s103、评估模块13根据所述分类结果，判断人体坐姿是否合格，若所述人体坐姿不合格，则提醒用户纠正坐姿。
56.通过分类结果，与标准的人体坐姿作对比，若不合格，则通过语音提醒用户注意坐姿，并通过显示屏显示正确的坐姿，指导用户纠正坐姿。
57.本公开通过监控终端10，利用传感器采集到人体坐姿图像、课桌距离、生理参数值等人体相关数据，通过控制器人体相关数据进行处理，从而获取人体坐姿的分类结果，并对人体坐姿进行评估，以提醒用户注意坐姿姿态，如眼睛距离阅读工具的距离，身体距离课桌的距离等，并监控人体的生理状况，保证用户的健康用眼，合理学习阅读。
58.在一些实施例中，所述预设的特征提取网络模型包括第一特征提取网络模型和第二特征提取网络模型，第一控制模块12将所述第一姿态信息和所述第二姿态信息输入到预设的特征提取网络模型进行特征提取，确定第三特征，包括：
59.第一控制模块12将所述第一姿态信息和所述第二姿态信息输入到所述第一特征提取网络模型，确定所述空间特征；
60.第一控制模块12将所述第一姿态信息和所述第二姿态信息输入到所述第二特征提取网络模型，确定所述微动信息特征。
61.在一些实施例中，所述方法还包括：
62.第一控制模块12获取所述阅读时间，判断所述阅读时间是否大于预设时间，若大于预设时间，通过语音提示单元提醒用户。
63.通过可穿戴设备20监测用户的阅读时间，并将阅读时间传送给监控终端10的第一控制模块12，第一控制模块12获取用户的阅读时间后，判断用户的阅读时间是否在预设的时间内，若大于预设时间则通过语音提示单元提醒用户注意用眼时间，并通过显示单元的显示屏进行显示阅读时间，使得用户及时了解自己的阅读时间。
64.请参阅图4，本公开的第二方面，提供一种近视防控装置，应用于近视防控系统100，近视防控系统100包括监控终端10和可穿戴设备20，监控终端20包括第一传感器模块11、第一控制模块12和评估模块13，可穿戴设备20包括第二传感器模块21，包括：
65.信息获取模块40，用于第一传感器模块11将采集的第一姿态信息传输到第一控制模块12，第二传感器模块21将采集的第二姿态信息传输到第一控制模块12，所述第一姿态信息包括人体坐姿图像、课桌距离、生理参数值，所述第二姿态信息包括视线距离、头部姿态信息和阅读时间；
66.分类结果确定模块50，用于第一控制模块12将所述第一姿态信息和所述第二姿态信息输入到预设的特征提取网络模型进行特征提取，确定第一特征，其中，所述第一特征包括空间特征和微动信息特征，并将所述第一特征输入到注意力模型进行编码，确定注意力特征；将所述注意力特征进行特征融合，确定第二特征；根据所述第二特征，确定分类结果，将所述分类结果传输至评估模块13；
67.坐姿评估模块60，用于评估模块13根据所述分类结果，判断人体坐姿是否合格，若所述人体坐姿不合格，则提醒用户纠正坐姿。
68.在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
69.请参阅图5，根据本公开的第三方面，提供近视防控系统100，所述系统包括监控终端10、可穿戴设备20和云端30；
70.监控终端10包括第一传感器模块11、第一控制模块12和评估模块13，第一传感器模块11用于采集第一姿态信息，所述第一姿态信息包括人体坐姿图像、课桌距离、生理参数值；第一控制模块12用于将所述第一姿态信息输入到预设的特征提取网络模型进行特征提取，确定第一特征，其中，所述第一特征包括空间特征和微动信息特征，并将所述第一特征输入到注意力模型进行编码，确定注意力特征；将所述注意力特征进行特征融合，确定第二特征；根据所述第二特征，确定分类结果，将所述分类结果传输至评估模块13；评估模块13用于根据所述分类结果，判断人体坐姿是否合格，若所述人体坐姿不合格，则提醒用户纠正坐姿；
71.可穿戴设备20与监控终端10通信连接，监控终端10与云端30通信连接；
72.可穿戴设备20包括第二传感器模块21和第二控制模块，第二传感器模块21用于采集第二姿态信息，并将所述第二姿态信息传输到第一控制模块12，和第二控制模块22，所述第二姿态信息包括视线距离、头部姿态信息、阅读工具图像和阅读时间，第二控制模块22用于控制阅读时间以及区分阅读工具；
73.云端30模块包括专家引擎31和公众号模块32，专家引擎31用于对用户的疲劳状态
进行分类，公众号模块32用于推送疲劳度改善程度信息。
74.请参阅图6，在一些实施例中，近视防控系统100包括可穿戴设备20、监控终端10和云端30，其中可穿戴设备20可由用户佩戴在头部，监控终端10可设置在桌面上；监控终端10包括第一传感器模块11、第一控制模块12和评估模块13，第一传感器模块11包括毫米波雷达，第一控制模块12包括终端处理器，评估模块13包括距离计算单元、姿态分析单元、阈值预警单元和阅读时长监控单元，监控终端10还包括语音提示单元、显示屏显示单元、蓝牙通讯模块和网络模块；监控终端10与可穿戴设备20通过蓝牙通讯模块通信连接；头部可穿戴设备20包括第二传感器模块21和第二控制模块22、振动反馈模块、蓝牙通讯模块，第二传感器模块21包括红外测距仪、陀螺仪和摄像头，红外测距仪可用于测量用户头部的眼睛与阅读工具的直线距离，陀螺仪用于获取用户的头部姿态、摄像头用户获取用户阅读工具的图像，以区分阅读工具的种类，并将阅读工具的图像传输通过蓝牙通讯模块传输至监控终端10，监控终端10能够根据通过图像分析阅读工具的种类，从而根据不同阅读工具的不同阅读时间，控制用户的用眼时间，保护用户的眼睛，如电子设备的阅读时间阈值可以短一点，书本的阅读时间阈值可以长一点。另外，通过振动反馈模块，提醒用户，如阅读时间到达预设阈值，则控制振动，以提醒用户起来活动一会。云端30模块包括存储单元、专家引擎31和微信公众号模块32，存储单元用于存储多个用户的可穿戴设备20以及监控终端10的信息，也可以存储专家引擎31有关的信息和数据。专家引擎31可以是任何类型的专家系统，包括基于规则的系统或者基于模型的系统，如专家引擎31可以使用神经网络系统、偏最小二乘法模型、回归模型等，专家引擎31利用这些模型，可以通过可穿戴设备20和监控终端10传输的监测数据进行更进一步的分析，以获取更精准的分析结果，最后将分析结果通过微信公众号模块32进行推送给用户，使其更了解自己的阅读习惯，以及阅读习惯存在的问题，以及改正方向等。
75.在一些实施例中，第一传感器模块11包括毫米波雷达，所述毫米波雷达用于获取所述人体坐姿图像；第一控制模块12包括第一蓝牙通讯单元、语音提示单元、显示屏显示单元和网络单元；所述第一蓝牙通讯单元用于与可穿戴设备20通信连接；所述语音提示单元用于当用户坐姿不正确或阅读时间超过预设时间的情况下，语音提醒用户；所述显示屏单元用于显示阅读时间和疲劳状态。
76.在一些实施例中，第二传感器模块21包括测距传感器、陀螺仪传感器和摄像头；
77.所述测距传感器用于获取所述视线距离，所述视线距离为用户的眼睛距离阅读工具的距离；
78.所述陀螺仪传感器用于获取所述头部姿态信息；
79.所述摄像头用于获取所述阅读工具图像。
80.在一些实施例中，第二控制模块22包括第二蓝牙通讯单元和振动控制单元；所述第二蓝牙通讯单元用于与监控终端10通信连接；所述振动控制单元用于当阅读时间达到预设时间时，控制可穿戴设备20振动，以提醒用户。
81.本公开实施例还提出一种计算机可读存储介质，上述计算机可读存储介质中存储有至少一条指令或至少一段程序，上述至少一条指令或至少一段程序由处理器加载并执行时实现上述方法。计算机可读存储介质可以是非易失性计算机可读存储介质。
82.本公开实施例还提出一种电子设备，包括：处理器；用于存储处理器可执行指令的
存储器；其中，上述处理器被配置为上述方法。
83.电子设备可以被提供为终端、服务器或其它形态的设备。
84.图7示出根据本公开实施例的一种电子设备的框图。例如，电子设备800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等终端。
85.参照图7，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(i/o)的接口812，传感器组件814，以及通信组件816。
86.处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
87.存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
88.电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。
89.多媒体组件808包括在上述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。上述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与上述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
90.音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(mic)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
91.i/o接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
92.传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到电子设备800的打开/关闭状态，组件的相对定位，例如上述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或
电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
93.通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如wifi，2g、3g、4g、5g或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，上述通信组件816还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
94.在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
95.在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器804，上述计算机程序指令可由电子设备800的处理器820执行以完成上述方法。
96.图8示出根据本公开实施例的另一种电子设备的框图。例如，电子设备1900可以被提供为一服务器。参照图8，电子设备1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。
97.电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源管理，一个有线或无线网络接口1950被配置为将电子设备1900连接到网络，和一个输入输出(i/o)接口1958。电子设备1900可以操作基于存储在存储器1932的操作系统，例如windowsservertm，macosxtm，unixtm,linuxtm，freebsdtm或类似。
98.在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1932，上述计算机程序指令可由电子设备1900的处理组件1922执行以完成上述方法。
99.本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
100.计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通
过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
101.这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
102.用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，上述编程语言包括面向对象的编程语言—诸如smalltalk、c 等，以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
103.这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
104.这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
105.也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
106.附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，上述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标准的功能也可以以不同于附图中所标准的顺序发生。例如，两个连续的方框实际上可以基本并行地执
行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
107.以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。