一种图像处理方法及电子设备与流程

1.本技术涉及图像处理领域，尤其涉及一种图像处理方法及电子设备。


背景技术：

2.随着电子设备的拍摄功能的逐渐完善，越来越多场景下需要使用到电子设备的拍摄功能。在电子设备拍摄包括一个或多个用户的正脸的图像时，该一个或多个用户中的任一用户可能会出现眼部异常的情况，眼部异常可以包括闭眼或者眼神异常(例如眼神游离)，使得电子设备最终采集的图像中，会存在用户眼部异常的情况，影响图像的质量。
3.而用户出现眼部异常的情况往往是难以避免的，导致用户出现眼部异常的原因很多，例如：拍摄时用户的注意力被其他事物吸引而导致眼神异常或者拍照时，摆拍太久坚持不住导致闭眼等。
4.因此，如何使得电子设备在拍摄图像中呈现出正常的眼部图像，是值得研究的方向。


技术实现要素：

5.本技术提供了一种图像处理方法及电子设备，当第二图像中第一用户的眼部异常时，电子设备可以利用拍摄第二图像之前采集的图像序列中的第一用户的眼部正常的某一第一图像的眼部图像，替换第二图像中第一用户的眼部图像。
6.第一方面，本技术提供了一种图像处理方法，该方法包括：电子设备获取图像序列以及第二图像；该图像序列中至少包括一帧第一图像，任一第一图像中都包括第一用户；该第二图像中也包括第一用户；该电子设备根据图像序列确定第一脸部图像序列；该第一脸部图像序列为第一脸部图像集合，该第一脸部图像为第一图像中眼部正常的第一用户的脸部图像；该眼部正常为第一用户的眼睛没有闭眼或眼神异常；该电子设备确定第二图像中第一用户的眼部异常；该电子设备确定该第一脸部图像序列中与第二脸部图像最匹配的第一脸部图像为目标第一脸部图像；该第二脸部图像为该第二图像中的第一用户的脸部图像；该电子设备利用该目标第一脸部图像中的眼部图像替换该第二图像中的眼部图像。
7.实施第一方面的方法，当第二图像中第一用户的眼部异常时，电子设备可以从图像序列中，确定与该第二图像的脸部图像最匹配的目标第一脸部图像，该目标第一脸部图像中该第一用户的眼部图像是正常的，且与该第二图像中第一用户的眼部图像是匹配的，这样，电子设备可以利用该目标第一脸部图像中第一用户的正常的眼部图像替换该第二图像中异常的眼部图像，提高电子设备拍摄图像的效率。
8.结合第一方面，在一种实施方式中，电子设备根据图像序列确定第一脸部图像序列之前，该方法还包括：该电子设备确定第一用户不是意图拍摄眼部异常的图像。
9.在上述实施例中，当第二图像中第一用户的眼部异常时，电子设备在修复该第一用户的眼部图像时，会先判断该第一用户是否本来就是想拍摄眼部异常的图像，如果是，则不对第一用户的眼部图像进行修复，使得电子设备可以满足用户的意图。
10.结合第一方面，在一种实施方式中，该电子设备获取图像序列以及第二图像，具体包括：该电子设备显示拍摄界面，该拍摄界面包括第一控件；检测到该第一控件的第一操作之前，该电子设备采集图像序列；检测到该第一控件上的第一操作；响应于该第一操作，该电子设备拍摄第二图像。
11.在上述实施例中，电子设备可以在拍摄场景中实时的使用本技术实施例提供的方法对电子设备拍摄的第二图像进行修复，提高电子设备拍摄图像的效率。
12.结合第一方面，在一种实施方式中，该电子设备获取图像序列以及第二图像，具体包括：该电子设备将该图像序列与该第二图像存储在存储器中；该电子设备在第一用户界面中显示第二图像；该第一界面包括第一控件；检测到该第一控件上的第一操作；响应于该第一操作，该电子设备从存储器中获取该第二图像以及该图像序列。
13.在上述实施例中，电子设备可以在已经拍摄第二图像之后，将第二图像保存至相册之后，在使用本技术提供的图像处理方法对该第二图像进行后期处理，这样，也可以对第二图像中第一用户的异常的眼部图像进行修复。
14.结合第一方面，在一种实施方式中，电子设备根据图像序列确定第一脸部图像序列，具体包括：该电子设备获取该图像序列中第一用户的脸部图像序列；该脸部图像序列为任一第一图像中第一用户的脸部图像；该电子设备对该脸部图像序列中的任一脸部图像进行眼部质量评估，确定其中眼部质量合格的脸部图像为第一脸部图像；该眼部质量评估用于确定该第一用户的眼部是否正常；该电子设备确定全部第一脸部图像为第一脸部图像序列。
15.在上述实施例中，电子设备从图像序列中裁剪出眼部正常的脸部图像序列，利用该脸部图像序列进行后面的处理过程，可以节约计算资源以及存储空间。
16.结合第一方面，在一种实施方式中，该电子设备确定第二图像中第一用户的眼部异常，具体包括：该电子设备获取第二图像中第一用户的第二脸部图像；该电子设备对该第二脸部图像进行眼部质量评估，当该第二脸部图像中第一用户的闭眼或者眼神异常的情况下，该电子设备确定第二图像中第一用户的眼部异常。
17.在上述实施例中，对第一用户的眼部进行眼部质量评估，可以确定该第二图像中，该第一用户的眼部是否需要进行修复。
18.结合第一方面，在一种实施方式中，该电子设备确定该第一脸部图像序列中与第二脸部图像最匹配的第一脸部图像为目标第一脸部图像，具体包括：该电子设备通过计算该第一脸部图像序列中任一第一脸部图像对应的第一人脸检测框与该第二脸部图像对应的第二人脸检测框的交并比确定任一第一脸部图像与该第二脸部图像的匹配程度；该交并比为该第一人脸检测框与该第二人脸检测框的面积的交集与两者面积的并集之比；该电子设备可以确定与该第二人脸检测框的交并比最大的第一人脸检测框对应的第一脸部图像为目标第一脸部图像。
19.在上述实施例中，电子设备从该第一脸部图像序列中选择与该第二图像的脸部图像最匹配的第一脸部图像作为目标第一脸部图像，这样，可以在图像序列中，确定出与该第二图像中的第一用户的眼部图像高度匹配的眼部图像对其进行替换。
20.结合第一方面，在一种实施方式中，该电子设备对该脸部图像序列中的任一脸部图像进行眼部质量评估，具体包括：该电子设备根据第一人眼的眼部关键点信息确定第一
人眼是否闭合；该第一人眼为该脸部图像序列中的任一脸部图像中第一用户的眼睛；该第一人眼的眼部关键点信息包括上眼睑的关键点以及下眼睑的关键点；在第一人眼的上眼睑的关键点以及下眼睑的关键点重合的情况下，则确定第一人眼闭合；在第一人眼的上眼睑的关键点以及下眼睑的关键点不重合的情况下，则确定第一人眼未闭合；该电子设备根据第一人眼姿态信息以及第一人脸姿态信息确定第一人眼是否眼神异常；该第一人脸姿态信息包括第一人脸的俯仰角以及翻滚角，该第一人脸为任一脸部图像中第一用户的人脸，其用于确定第一人脸所面向的方向；该第一人眼姿态信息包括第一人眼的俯仰角以及翻滚角，其用于确定第一人眼关注的方向；在确定第一人眼关注的方向与第一人脸所面向的方向不一致的情况下，则确定第一人眼的眼神异常；在确定第一人眼关注的方向与第一人脸所面向的方向一致的情况下，则确定确定该电子设备确定第一人眼的眼神正常。
21.在上述实施例中，电子设备通过上下眼睑的关键点是否重合判断该第一用户的眼睛是否闭合以及利用眼睛关注的方向与人脸所面向的方法是否匹配来判断眼睛是游离，在算法的实现上简单且准确率高。
22.结合第一方面，在一种实施方式中，该电子设备对该第二脸部图像进行眼部质量评估，具体包括：该电子设备根据第二人眼的眼部关键点信息确定第二人眼是否闭合；该第二人眼为该第二脸部图像的第一用户的眼睛；该第二人眼的眼部关键点信息包括上眼睑的关键点以及下眼睑的关键点；在第二人眼的上眼睑的关键点以及下眼睑的关键点重合的情况下，则确定第二人眼闭合；在第二人眼的上眼睑的关键点以及下眼睑的关键点不重合的情况下，则确定第二人眼未闭合；该电子设备根据第二人眼姿态信息以及第二人脸姿态信息确定第二人眼是否眼神异常；该第二人脸姿态信息包括第二人脸的俯仰角以及翻滚角，该第二人脸为第二脸部图像中第一用户的人脸，其用于确定第二人脸所面向的方向；该第二人眼姿态信息包括第二人眼的俯仰角以及翻滚角，其用于确定第二人眼关注的方向；在确定第二人眼关注的方向与第二人脸所面向的方向不一致的情况下，则确定第二人眼的眼神异常；在确定第二人眼关注的方向与第二人脸所面向的方向一致的情况下，则确定该电子设备确定第二人眼的眼神正常。
23.在上述实施例中，在上述实施例中，电子设备通过上下眼睑的关键点是否重合判断该第一用户的眼睛是否闭合以及利用眼睛关注的方向与人脸所面向的方法是否匹配来判断眼睛是游离，在算法的实现上简单且准确率高。
24.结合第一方面，在一种实施方式中，其特征在于，该电子设备确定第一用户不是意图拍摄眼部异常的图像，具体包括：该电子设备确定该脸部图像序列中，小于40％
‑
60％的脸部图像中第一用户的表情都处于搞怪表情，则该电子设确定该第一用户不是意图拍摄眼部异常的图像。
25.在上述实施例中，如果在图像序列中大部分图像中，第一用户的都处于搞怪表情，则该第一用户是有意拍摄眼部异常的图像的，不用对第二图像进行修复。
26.第二方面，本技术提供了一种电子设备，该电子设备包括：一个或多个处理器和存储器；该存储器与该一个或多个处理器耦合，该存储器用于存储计算机程序代码，该计算机程序代码包括计算机指令，该一个或多个处理器调用该计算机指令以使得该电子设备执行：获取图像序列以及第二图像；该图像序列中至少包括一帧第一图像，任一第一图像中都包括第一用户；该第二图像中也包括第一用户；根据图像序列确定第一脸部图像序列；该第
一脸部图像序列为第一脸部图像集合，该第一脸部图像为第一图像中眼部正常的第一用户的脸部图像；该眼部正常为第一用户的眼睛没有闭眼或眼神异常；确定第二图像中第一用户的眼部异常；确定该第一脸部图像序列中与第二脸部图像最匹配的第一脸部图像为目标第一脸部图像；该第二脸部图像为该第二图像中的第一用户的脸部图像；利用该目标第一脸部图像中的眼部图像替换该第二图像中的眼部图像。
27.在上述实施例中，当第二图像中第一用户的眼部异常时，电子设备可以从图像序列中，确定与该第二图像的脸部图像最匹配的目标第一脸部图像，该目标第一脸部图像中该第一用户的眼部图像是正常的，且与该第二图像中第一用户的眼部图像是匹配的，这样，电子设备可以利用该目标第一脸部图像中第一用户的正常的眼部图像替换该第二图像中异常的眼部图像，提高电子设备拍摄图像的效率。
28.结合第二方面，在一种实施方式中，该一个或多个处理器还用于调用该计算机指令以使得该电子设备执行：确定第一用户不是意图拍摄眼部异常的图像。
29.在上述实施例中，当第二图像中第一用户的眼部异常时，电子设备在修复该第一用户的眼部图像时，会先判断该第一用户是否本来就是想拍摄眼部异常的图像，如果是，则不对第一用户的眼部图像进行修复，使得电子设备可以满足用户的意图。
30.结合第二方面，在一种实施方式中，该一个或多个处理器具体用于调用该计算机指令以使得该电子设备执行：显示拍摄界面，该拍摄界面包括第一控件；检测到该第一控件的第一操作之前，采集图像序列；检测到该第一控件上的第一操作；响应于该第一操作，拍摄第二图像。
31.在上述实施例中，电子设备可以在拍摄场景中实时的使用本技术实施例提供的方法对电子设备拍摄的第二图像进行修复，提高电子设备拍摄图像的效率。
32.结合第二方面，在一种实施方式中，该一个或多个处理器具体用于调用该计算机指令以使得该电子设备执行：将该图像序列与该第二图像存储在存储器中；在第一用户界面中显示第二图像；该第一界面包括第一控件；检测到该第一控件上的第一操作；响应于该第一操作，从存储器中获取该第二图像以及该图像序列。
33.在上述实施例中，电子设备可以在已经拍摄第二图像之后，将第二图像保存至相册之后，在使用本技术提供的图像处理方法对该第二图像进行后期处理，这样，也可以对第二图像中第一用户的异常的眼部图像进行修复。
34.结合第二方面，在一种实施方式中，该一个或多个处理器具体用于调用该计算机指令以使得该电子设备执行：获取该图像序列中第一用户的脸部图像序列；该脸部图像序列为任一第一图像中第一用户的脸部图像；对该脸部图像序列中的任一脸部图像进行眼部质量评估，确定其中眼部质量合格的脸部图像为第一脸部图像；该眼部质量评估用于确定该第一用户的眼部是否正常；确定全部第一脸部图像为第一脸部图像序列。
35.在上述实施例中，电子设备从图像序列中裁剪出眼部正常的脸部图像序列，利用该脸部图像序列进行后面的处理过程，可以节约计算资源以及存储空间。
36.结合第二方面，在一种实施方式中，该一个或多个处理器具体用于调用该计算机指令以使得该电子设备执行：获取第二图像中第一用户的第二脸部图像；对该第二脸部图像进行眼部质量评估，当该第二脸部图像中第一用户的闭眼或者眼神异常的情况下，确定第二图像中第一用户的眼部异常。
37.在上述实施例中，对第一用户的眼部进行眼部质量评估，可以确定该第二图像中，该第一用户的眼部是否需要进行修复。
38.结合第二方面，在一种实施方式中，该一个或多个处理器具体用于调用该计算机指令以使得该电子设备执行：通过计算该第一脸部图像序列中任一第一脸部图像对应的第一人脸检测框与该第二脸部图像对应的第二人脸检测框的交并比确定任一第一脸部图像与该第二脸部图像的匹配程度；该交并比为该第一人脸检测框与该第二人脸检测框的面积的交集与两者面积的并集之比；可以确定与该第二人脸检测框的交并比最大的第一人脸检测框对应的第一脸部图像为目标第一脸部图像。
39.在上述实施例中，电子设备从该第一脸部图像序列中选择与该第二图像的脸部图像最匹配的第一脸部图像作为目标第一脸部图像，这样，可以在图像序列中，确定出与该第二图像中的第一用户的眼部图像高度匹配的眼部图像对其进行替换。
40.结合第二方面，在一种实施方式中，该一个或多个处理器具体用于调用该计算机指令以使得该电子设备执行：根据第一人眼的眼部关键点信息确定第一人眼是否闭合；该第一人眼为该脸部图像序列中的任一脸部图像中第一用户的眼睛；该第一人眼的眼部关键点信息包括上眼睑的关键点以及下眼睑的关键点；在第一人眼的上眼睑的关键点以及下眼睑的关键点重合的情况下，则确定第一人眼闭合；在第一人眼的上眼睑的关键点以及下眼睑的关键点不重合的情况下，则确定第一人眼未闭合；根据第一人眼姿态信息以及第一人脸姿态信息确定第一人眼是否眼神异常；该第一人脸姿态信息包括第一人脸的俯仰角以及翻滚角，该第一人脸为任一脸部图像中第一用户的人脸，其用于确定第一人脸所面向的方向；该第一人眼姿态信息包括第一人眼的俯仰角以及翻滚角，其用于确定第一人眼关注的方向；在确定第一人眼关注的方向与第一人脸所面向的方向不一致的情况下，则确定第一人眼的眼神异常；在确定第一人眼关注的方向与第一人脸所面向的方向一致的情况下，则确定该电子设备确定第一人眼的眼神正常。
41.在上述实施例中，电子设备通过上下眼睑的关键点是否重合判断该第一用户的眼睛是否闭合以及利用眼睛关注的方向与人脸所面向的方法是否匹配来判断眼睛是游离，在算法的实现上简单且准确率高。
42.结合第二方面，在一种实施方式中，该一个或多个处理器具体用于调用该计算机指令以使得该电子设备执行：根据第二人眼的眼部关键点信息确定第二人眼是否闭合；该第二人眼为该第二脸部图像的第一用户的眼睛；该第二人眼的眼部关键点信息包括上眼睑的关键点以及下眼睑的关键点；在第二人眼的上眼睑的关键点以及下眼睑的关键点重合的情况下，则确定第二人眼闭合；在第二人眼的上眼睑的关键点以及下眼睑的关键点不重合的情况下，则确定第二人眼未闭合；根据第二人眼姿态信息以及第二人脸姿态信息确定第二人眼是否眼神异常；该第二人脸姿态信息包括第二人脸的俯仰角以及翻滚角，该第二人脸为第二脸部图像中第一用户的人脸，其用于确定第二人脸所面向的方向；该第二人眼姿态信息包括第二人眼的俯仰角以及翻滚角，其用于确定第二人眼关注的方向；在确定第二人眼关注的方向与第二人脸所面向的方向不一致的情况下，则确定第二人眼的眼神异常；在确定第二人眼关注的方向与第二人脸所面向的方向一致的情况下，则确定该电子设备确定第二人眼的眼神正常。
43.在上述实施例中，电子设备通过上下眼睑的关键点是否重合判断该第一用户的眼
睛是否闭合以及利用眼睛关注的方向与人脸所面向的方法是否匹配来判断眼睛是游离，在算法的实现上简单且准确率高。
44.结合第二方面，在一种实施方式中，该一个或多个处理器具体用于调用该计算机指令以使得该电子设备执行：确定该脸部图像序列中，小于40％
‑
60％的脸部图像中第一用户的表情都处于搞怪表情，则该电子设确定该第一用户不是意图拍摄眼部异常的图像。
45.在上述实施例中，如果在图像序列中大部分图像中，第一用户的都处于搞怪表情，则该第一用户是有意拍摄眼部异常的图像的，不用对第二图像进行修复。
46.第三方面，本技术提供了一种电子设备，该电子设备包括：一个或多个处理器和存储器；该存储器与该一个或多个处理器耦合，该存储器用于存储计算机程序代码，该计算机程序代码包括计算机指令，该一个或多个处理器调用该计算机指令以使得该电子设备执行如第一方面或第一方面的任意一种实施方式所描述的方法。
47.在上述实施例中，当第二图像中第一用户的眼部异常时，电子设备可以从图像序列中，确定与该第二图像的脸部图像最匹配的目标第一脸部图像，该目标第一脸部图像中该第一用户的眼部图像是正常的，且与该第二图像中第一用户的眼部图像是匹配的，这样，电子设备可以利用该目标第一脸部图像中第一用户的正常的眼部图像替换该第二图像中异常的眼部图像，提高电子设备拍摄图像的效率。
48.第四方面，本技术实施例提供了一种芯片系统，该芯片系统应用于电子设备，该芯片系统包括一个或多个处理器，该处理器用于调用计算机指令以使得该电子设备执行如第一方面或第一方面的任意一种实施方式所描述的方法。
49.上述实施例中，当第二图像中第一用户的眼部异常时，电子设备可以从图像序列中，确定与该第二图像的脸部图像最匹配的目标第一脸部图像，该目标第一脸部图像中该第一用户的眼部图像是正常的，且与该第二图像中第一用户的眼部图像是匹配的，这样，电子设备可以利用该目标第一脸部图像中第一用户的正常的眼部图像替换该第二图像中异常的眼部图像，提高电子设备拍摄图像的效率。
50.第五方面，本技术实施例提供了当该计算机程序产品在电子设备上运行时，使得该电子设备执行如第一方面或第一方面的任意一种实施方式所描述的方法。
51.上述实施例中，当第二图像中第一用户的眼部异常时，电子设备可以从图像序列中，确定与该第二图像的脸部图像最匹配的目标第一脸部图像，该目标第一脸部图像中该第一用户的眼部图像是正常的，且与该第二图像中第一用户的眼部图像是匹配的，这样，电子设备可以利用该目标第一脸部图像中第一用户的正常的眼部图像替换该第二图像中异常的眼部图像，提高电子设备拍摄图像的效率。
52.第六方面，本技术实施例提供了当该指令在电子设备上运行时，使得该电子设备执行如第一方面或第一方面的任意一种实施方式所描述的方法。
53.上述实施例中，当第二图像中第一用户的眼部异常时，电子设备可以从图像序列中，确定与该第二图像的脸部图像最匹配的目标第一脸部图像，该目标第一脸部图像中该第一用户的眼部图像是正常的，且与该第二图像中第一用户的眼部图像是匹配的，这样，电子设备可以利用该目标第一脸部图像中第一用户的正常的眼部图像替换该第二图像中异常的眼部图像，提高电子设备拍摄图像的效率。
附图说明
54.图1
‑
图3为一种方案中电子设备拍摄的图像中出现用户眼部异常的一个示例；
55.图4
‑
图7为本技术实施例子中电子设备对图像中第一用户的眼部图像进行替换时的一组示例性用户界面；
56.图8为电子设备对第二图像中第一用户的眼部图像进行修复的示意性流程图；
57.图9为电子设备确定该脸部图像序列中的任一脸部图像的眼部质量是否合格的示意性流程图；
58.图10示出了电子设备确定眼部质量是否合格涉及的一个示例性参考坐标系；
59.图11示出了人脸关键点的一个示意图；
60.图12示出了人脸关键点中的眼部关键点的一个示意图；
61.图13示出了左眼的眼部关键点的一个示意图；
62.图14示出了为电子设备确定左眼是否闭合涉及的一个示意图；
63.图15示出了任一第一人脸检测框以及第二人脸检测框求交并比的示意图；
64.图16a
‑
图16d为电子设备利用对眼部出现异常的图像进行后期处理的一组示例性用户界面；
65.图17是本技术实施例提供的电子设备的结构示意图。
具体实施方式
66.本技术以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本技术的限制。如在本技术的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式，除非其上下文中明确地有相反指示。还应当理解，本技术中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。
67.以下，术语“第一”、“第二”仅用于描述目的，而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征，在本技术实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
68.本技术以下实施例中的术语“用户界面(user interface，ui)”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面是通过java、可扩展标记语言(extensible markup language，xml)等特定计算机语言编写的源代码，界面源代码在电子设备上经过解析，渲染，最终呈现为用户可以识别的内容。用户界面常用的表现形式是图形用户界面(graphic user interface，gui)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的文本、图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、widget等可视的界面元素。
69.在一种方案中，电子设备在拍摄包括一个或多个用户的正脸的图像时，不会对用户出现眼部异常的情况进行处理。电子设备进行拍摄的过程中，当该一个或多个用户中的任一用户在出现眼部异常的情况，则会导致电子设备拍摄的图像中出现存在用户眼部异常的情况，影响图像的质量。
70.图1
‑
图3为电子设备拍摄的图像中出现用户眼部异常的一个示例。
71.如图1中的(a)所示，假设电子设备现在正在拍摄的被拍摄对象包括第一用户、第二用户以及第三用户。
72.其中，该第一用户的眼部如图1中的(b)所示，该第一用户是闭眼的，其眼部处于异常状态。该第二用户的眼部如图1中的(c)所示，眼部处于正常状态。该第三用户的眼部如图1中的(d)所示，眼部处于正常状态。
73.此时电子设备可以显示如图1中的(e)所示的用户界面10，该用户界面10为电子设备的一个预览界面。该用户界面10中可以包括拍摄控件101，更改拍摄控件101用户触发电子设备拍摄图像。该用户界面10中还可以包括回显控件102，该回显控件102可以用于显示电子设备最近拍摄的图像。此时，电子设备的预览框103中可以显示第二图像，响应于在该拍摄控件上的操作(如点击操作)电子设备可以拍摄该第二图像。显示图2所示的用户界面20。
74.如图2所示，用户界面20为电子设备的另一个预览界面，该用户界面20中，回显控件102中显示的图像为电子设备拍摄的第二图像。响应于用户在该回显控件102上的操作(例如点击操作)，电子设备可以显示如图3所示的用户界面30。
75.如图3中的(a)所示，用户界面30为电子设备显示第二图像的一个显示界面。该用户界面30中可以显示第二图像。该第二用户的眼部如图3中的(c)所示，眼部处于正常状态。该第三用户的眼部如图3中的(d)所示，眼部处于正常状态。但是，该第二图像中第一用户的眼部如图3中的(b)，该第一用户是闭眼的，其眼部处于异常状态。
76.由于该第二图像中出现了一个用户的眼部处于异常状态，影响了该第二图像的质量，导致该第二图像不满足用户预期。
77.实施本技术中的图像处理方法，电子设备在拍摄包括一个或多个用户的正脸的图像时，会确定用户的是否意图拍摄眼部异常的图像，如果不是，则会对用户出现眼部异常的情况进行处理，使得拍摄的图像中该一个或多个用户的眼部都处于正常状态。如果是，则不会对用户出现眼部异常的情况进行处理。
78.具体的，在拍摄的图像中，第一用户的眼部处于异常状态的情况下，电子设备可以使用预览时获取的图像中该第一用户的眼部处于正常状态时的眼部图像去替换拍摄的图像中该第一用户的眼部图像，得到第一用户的眼部处于正常状态的图像。
79.图4
‑
图7为电子设备对图像中第一用户的眼部图像进行替换时的一组示例性用户界面。
80.如图4中的(a)所示，用户界面40为电子设备拍摄图像时的一个预览界面。该预览界面可以显示电子设备获取的第一图像。该第一图像中，被拍摄对像包括第一用户、第二用户以及第三用户。其中，该第一用户、第二用户以及第三用户的眼部如图4中的(b)、(c)以及(d)所示，均处于正常状态。
81.如图5中的(a)所示，用户界面50为电子设备的另一个预览界面。该预览界面中显示的图像为第二图像。此时，被拍摄对象包括第一用户、第二用户以及第三用户。其中，该第二用户的眼部如图5中的(c)所示，眼部处于正常状态。该第三用户的眼部如图5中的(d)所示，眼部处于正常状态。但是，该第一用户的眼部如图5中的(b)所示，该第一用户是闭眼的，其眼部处于异常状态。响应于在该拍摄控件上的操作(如点击操作)电子设备可以拍摄该第
二图像。显示图6所示的用户界面60。
82.如图6所示，该用户界面60中，回显控件102中显示的图像为第三图像。该第三图像为电子设备将该第二图像中第一用户的眼部图像利用第一图像中第一用户的眼部进行替换后的图像。响应于用户在该回显控件102上的操作(例如点击操作)，电子设备可以显示如图7所示的用户界面70。
83.如图7中的(a)所示，用户界面70为电子设备显示第三图像的一个显示界面。该用户界面70中可以显示第三图像。该第三图像中，该第一用户、第二用户以及第三用户的眼部如图7中的(b)、(c)以及(d)所示，均处于正常状态。
84.这样，电子设备可以在拍摄第二图像时，可以使用预览时获取的第一图像中的眼部图像去替换拍摄的第二图像中眼部处于异常状态的眼部图像，得到所有用户的眼部都处于正常状态的图像。提高了图像的质量。
85.下面详细介绍本技术实施例涉及的图像处理方法。
86.本技术实施例中，电子设备在拍摄第二图像之前，该第二图像中包括第一用户，电子设备可以采集图像序列，该图像序列中的部分图像可以用于预览，该图像序列中的某一第一图像也包括该第一用户且该第一用户的眼部正常。当电子设备确定该第一用户不是意图拍摄眼部异常的图像且第二图像中该第一用户的眼部异常时，电子设备可以对该第二图像进行修复。具体的，利用该某一第一图像中的眼部图像替换该第二图像中的眼部图像，得到修复后的第二图像。
87.图8为电子设备对第二图像中第一用户的眼部图像进行修复的示意性流程图。
88.对该过程的详细描述，可以参考下述对步骤s101
‑
步骤s112的描述：
89.s101.电子设备检测到第一操作之前，采集图像序列；
90.该第一操作为触发电子设备拍摄图像的操作，例如在拍摄控件上的点击操作等。
91.电子设备检测到第一操作之前，该电子设备可以处于预览状态。如图4中(a)所示出的用户界面40可以为电子设备检测到第一操作之前的一个用户界面，此时，电子设备的预览框中可以显示图像，该图像可以为图像序列中的一张图像。
92.在电子设备检测到第一操作之前，该电子设备可以采集图像序列，该图像序列中包括n帧第一图像，其中n为大于等于1的整数。图像序列中的任一第一图像都是电子设备在预览过程中采集的图像。其中，部分第一图像可以显示在预览框中。
93.图像序列中，第一用户的眼部正常的全部第一图像为第一图像序列。
94.s102.电子设备获取图像序列中第一用户的人脸检测框信息集合；
95.该第一用户可以为第一图像中的任一用户，例如为第i个用户。
96.人脸检测框为图像序列中，任一第一图像中第一用户的人脸检测框信息。则该人脸检测框信息集合为全部第一图像中第一用户的人脸检测框信息的集合。
97.在一些实施例中，电子设备可以通过人脸识别算法获取任一第一图像中该第一用户的人脸检测框信息。即该第一用户对应n个人脸检测框信息。
98.其中，以第一图像的左上角为原点建立坐标系，长作为x轴，宽作为y轴。该人脸检测框信息可以表示为四个值：人脸检测框的左上角的点的横坐标、纵坐标、人脸检测框的高以及宽。该人脸检测框可以用于从第一图像中确定出第一用户的脸部图像。则第j帧第一图像中该第一用户(为第i个用户)对应的人脸检测框信息可以表示为：
[0099][0100]
式中，n表示n张第一图像，k表示任一第一图像中有k个用户。
[0101]
s103.电子设备根据第一用户的人脸检测框信息集合，获取图像序列中第一用户的脸部图像序列，该脸部图像序列为第一用户的脸部图像的集合；
[0102]
该脸部图像为图像序列中，任一第一图像中第一用户的脸部图像。则该脸部图像序列为全部第一图像中第一用户的脸部图像的集合。
[0103]
电子设备利用该第一用户的n个人脸检测框信息从k帧第一图像中获取该第一用户的n个脸部图像，作为脸部图像序列。例如，第i个人脸检测框信息用于从第i帧第一图像中确定该人脸检测框范围内的全部像素点，作为该第i帧第一图像中第一用户的脸部图像。
[0104]
s104.电子设备检测到第一操作，响应于该第一操作，电子设备获取第二图像；
[0105]
对该第一操作的描述可以参考前述步骤s101的相关描述，此处不再赘述。
[0106]
该第二图像为电子设备拍摄的图像，该第二图像中包括k个用户，其中包括第一用户。
[0107]
该步骤s104涉及的过程可以参考对前述图5中(a)所示的用户界面50以及图6所示的用户界面60的描述，该第二图像可以为用户界面50中显示的第二图像。
[0108]
s105.电子设备根据脸部图像序列，确定该第一用户的眼部图像是否需要进行修复；
[0109]
该步骤s105是可选的，在一些实施例中，电子设备可以不确定该第一用户的眼部图像是否需要进行修复，直接默认进行修复，执行步骤s106
‑
步骤s111。
[0110]
在一些实施例中，如果该脸部图像序列中有大于或等于40％
‑
60％的脸部图像中第一用户的表情都处于搞怪表情，则电子设确定该第一用户是意图拍摄眼部异常的图像，不需要进行修复。否则，该电子设备确定该第一用户是意图拍摄眼部异常的图像，需要进行修复。
[0111]
具体的，电子设备可以利用训练好的表情识别算法判断任一脸部图像中第一用户的表情是否处于搞怪表情。该搞怪表情是该表情识别算法中定义好的参考表情，常见的搞怪表情包括闭眼、翻白眼等。电子设备将该脸部图像序列中的n个脸部图像逐一通过该表情识别算法判断第一用户的表情是否处于搞怪表情。计算n个脸部图像中处于第一用户的表情是处于搞怪表情的数量，假设为m个。
[0112]
当m/n大于或等于40％
‑
60％时，则电子设确定该第一与用户的眼部图像不需要进行修复。电子设备执行下述步骤s106
‑
步骤s111。
[0113]
当m/n小于40％
‑
60％时，则电子设确定该第一与用户的眼部图像需要进行修复。电子设备执行下述步骤s112。
[0114]
s106.电子设备对脸部图像序列中的任一脸部图像进行眼部质量评估，筛选出该脸部图像序列中的第一脸部图像序列，该第一脸部图像序列为第一脸部图像的集合，该第一脸部图像为眼部质量合格的脸部图像；
[0115]
电子设备对该脸部图像序列中的任一脸部图像进行眼部质量评估，电子设备通过该脸部图像，得到该脸部图像中第一用户的人脸姿态信息以及第一用户的人眼姿态信息，通过该人脸姿态信息以及该人眼姿态信息判断该脸部图像中的第一用户的眼部质量是否合格。并确定该脸部图像序列中眼部质量合格的全部脸部图像，作为第一脸部图像序列。该
第一脸部图像序列中的眼部图像为第一脸部图像。
[0116]
该第一图像中包括k个用户，其中k为大于等于1的整数。电子设备可以为该k个用户分贝设置一个用户信息库，即k个用户对应k个用户信息库，其中第i个用户对应第i个用户信息库。用户信息库用于存储用户的处理信息，该处理信息包括用户的眼部质量合格的脸部图像对应的人脸检测框信息以及眼部质量合格的脸部图像对应的眼部图像。其中，该第一用户对应的用户信息库中为第一用户信息库，该第一用户信息库中可以存储第一脸部图像序列中任一脸部图像对应的第一人脸检测框信息，以及该第一脸部图像序列中任一脸部图像对应的眼部图像，其中该任一第一人脸检测框信息唯一对应一个眼部图像。
[0117]
电子设备可以确定该第一用户的脸部图像序列中，眼部质量的全部第一脸部图像，作为第一脸部图像序列。电子设备每确定一个眼部质量合格的脸部图像。就将该脸部图像对应的人脸检测框信息以及该脸部图像对应的眼部图像存储得到第一用户信息库中。
[0118]
在一些实施例中，电子设备可以以列表、数组等方式表示该第一用户信息库，下述为一个第一用户信息库的示例：
[0119]
第一脸部图像序号第一脸部图像对应的人脸检测框信息第一脸部图像对应的眼部图像1人脸检测框信息1眼部图像12人脸检测框信息2眼部图像2
………
[0120]
表1
[0121]
如表1所示，第一脸部图像的人脸检测框信息唯一对应一个眼部图像。例如人脸检测框信息1对应眼部图像1，人脸检测框信息2对应眼部图像2。
[0122]
下面详细介绍电子设备如何确定该脸部图像序列中的任一脸部图像的眼部质量是否合格：
[0123]
图9为电子设备确定该脸部图像序列中的任一脸部图像的眼部质量是否合格的示意性流程图。
[0124]
图10示出了电子设备确定眼部质量是否合格涉及的一个示例性参考坐标系。
[0125]
如图10所示，该参考坐标系为摄像机坐标系，平面xoy平行于电子设备的显示屏，以电子设备的摄像头中心为原点建立该摄像机坐标系。水平方向建立x轴，竖直方向建立y轴，垂直于平面xoy的方向建立z轴。
[0126]
电子设备确定该脸部图像序列中的任一脸部图像的眼部质量是否合格的过程可以参考下述对步骤s201
‑
步骤s209的描述：
[0127]
s201.电子设备对脸部图像序列中的任一脸部图像进行人脸关键点检测，得到人脸关键点信息；
[0128]
电子设备可以利用人脸关键点检测算法对脸部图像序列中的任一脸部图像进行人脸关键点检测，得到人脸关键点信息；该人脸关键点信息中包括第一用户的人脸的若干关键点的在摄像机坐标系中的位置信息，该位置信息为在该摄像机坐标系中的位置。
[0129]
如图11示出了人脸关键点的一个示意图。
[0130]
如图11所示，人脸关键点中包括下巴、鼻子、眼睛以及嘴巴上的关键点。该人脸关键点信息可以用于计算下述步骤s202中的人脸姿态信息以及下述步骤s205中的人眼姿态信息。
[0131]
s202.电子设备根据该人脸关键点信息，得到人脸姿态信息；
[0132]
人脸姿态信息包括该脸部图像中第一用户的人脸的俯仰角(pitch)以及翻滚角(roll)。
[0133]
该俯仰角以及翻滚角的参考坐标系是前述涉及的摄像机坐标系。
[0134]
三维标准人脸在摄像机坐标系中的俯仰角为0
°
，记人脸的翻滚角为0
°
。
[0135]
其中，俯仰角表示人脸绕x轴旋转的角度，俯仰角的范围为0
°‑
360
°
。例如，如图10所示，向量旋转至向量的角度φ2可以表示为人脸的俯仰角。不同人脸中的向量以及可以不同，导致不同人脸的俯仰角不同。
[0136]
翻滚角表示人脸绕y轴旋转的角度，翻滚角的范围为0
°‑
360
°
。例如，如图10所示，向量旋转到向量的角度φ1可以表示为人脸的翻滚角。向量的方向是固定的，不同人脸中的向量可以不同，导致不同人脸的翻滚角不同。
[0137]
电子设备可以根据该人脸关键点信息计算得到人脸的旋转向量再将该旋转向量转换为旋转矩阵，通过旋转矩阵计算得到人脸姿态信息。
[0138]
s203.电子设备根据该人脸关键点信息，确定眼部图像；
[0139]
眼部图像包括左眼的眼部图像以及右眼的眼部图像。
[0140]
人脸关键点信息中可以包括眼部关键点信息，其中，眼部关键点为上述步骤s201中涉及的人脸关键点中的眼部的关键点。
[0141]
如图12示出了人脸关键点中的眼部关键点的一个示意图。
[0142]
如图12所示，该人脸关键点中可以包括眼部的关键点，左右眼的关键点的位置对称，这里以左眼为例。该人脸关键点中可以包括左眼的两个眼角的关键点：关键点1以及关键点2。上眼睑的两个关键点：关键点3以及关键点4。下眼睑的两个关键点：关键5以及关键点6。
[0143]
以确定左眼的眼部图像为例，电子设备可以获取该6个关键点的位置信息，该位置信息为在摄像机坐标系中的位置。然后电子设备可以将该6个关键点的位置信息转换到图像坐标系中。其中，图像坐标系是以脸部图像的左上角作为原点建立坐标系，长为x轴，宽为y轴。任一眼部关键点的转换关系为：
[0144][0145]
其中，s为放大系数，a为电子设备的摄像机内参矩阵，(x,y,z)为任一眼部关键点的位置信息，其中x，y，z分别表示其到摄像机坐标系的x轴，y轴，z轴的距离。(a,b)表示该眼部关键点在图像中的位置，a，b分别表示其到图像坐标系的x轴，y轴的距离。
[0146]
如图12所示，电子设备确定利用左眼的6个关键点在图像坐标系中的位置确定该左眼的眼部图像框，然后将该眼部图像框向外扩展15％
‑
30％，例如20％，得到眼部图像扩展框。将该眼部图像扩展框中全部像素作为左眼的眼部图像。
[0147]
可以理解的是，电子设备获取右眼的眼部图像的过程可以参考前述对电子设备获取左眼的眼部图像的描述，此处不再赘述。
[0148]
s204.电子设备根据眼部图像，得到第一眼部关键点信息；
[0149]
第一眼部关键点包括左眼的眼部图像中的眼部关键点以及右眼的眼部图像中的
眼部关键点。则第一眼部关键点信息包括左眼的第一眼部关键点信息以及右眼的第一眼部关键点信息。
[0150]
左眼以及右眼的第一眼部关键点信息均为在前述摄像机坐标系中的位置。
[0151]
以左眼为例，进行详细介绍：
[0152]
如图13示出了左眼的眼部关键点的一个示意图。
[0153]
如图13所示，左眼的眼部关键点中可以包括虹膜边缘检测点、瞳孔边缘检测点、上眼睑关键点、眼角边缘关键点、瞳孔中心关键点以及下眼睑关键点等。
[0154]
应该理解的是，图13只是本技术实施例中眼部关键点的一个示例，不应该对本技术实施例构成限制。
[0155]
电子设备可以利用眼部关键点检测算法对该左眼的眼部图像进行眼部关键点检测，得到左眼的眼部关键点信息。
[0156]
关于右眼的第一眼部关键点以及如何获取该右眼的第一眼部关键点信息的相关描述可以参考前述对左眼的第一眼部关键点信息的描述，此处不再赘述。
[0157]
s205.电子设备根据第一眼部关键点信息以及人脸姿态信息，确定人眼姿态信息；
[0158]
人眼姿态信息包括左眼的人眼姿态信息以及右眼的人眼姿态信息。
[0159]
下面以左眼的人眼姿态信息为例进行详细讲解：
[0160]
该左眼的人眼姿态信息包括该第一用户的左眼的俯仰角(pitch)以及翻滚角(roll)。
[0161]
三维标准人眼在摄像机坐标系中的俯仰角为0
°
，记人脸的翻滚角为0
°
。
[0162]
其中，俯仰角表示人眼绕x轴旋转的角度，俯仰角的范围为0
°‑
360
°
。对该俯仰角的描述可以参考前述图10中对人脸的俯仰角的描述，此处不再赘述。
[0163]
翻滚角表示人眼绕y轴旋转的角度，翻滚角的范围为0
°‑
360
°
。对该翻滚角的描述可以参考前述图10中对人脸的翻滚角的描述，此处不再赘述。
[0164]
电子设备可以根据步骤s202中求解的人脸姿态信息以及步骤s204中求解的左眼的第一眼部关键点信息组成特征向量，通过人眼姿态估计算法，得到左眼的人眼姿态信息。
[0165]
s206.电子设备根据眼部关键点，确定人眼是否闭合；
[0166]
该眼部关键点是人脸检测关键点中的眼部关键点。其中包括左眼的眼部关键点以及右眼的眼部关键点。
[0167]
本技术实施例中，人眼闭合是指左眼闭合以及右眼闭合中的一个或两个。
[0168]
电子设备可以先确定左眼以及右眼中任一个是否闭合，如果闭合，则电子设备确定人眼闭合。
[0169]
电子设备可以先确定左眼以及右眼中任一个是否闭合，如果不闭合，则确定另一眼睛是否闭合，如过不闭合，则电子设备确定该人眼不是闭合的。如果闭合，则电子设备确定人眼闭合。
[0170]
下面以电子设备判断左眼是否闭合为例进行详细说明：
[0171]
该左眼的眼部关键点的描述可以参考上述图12所示的描述。
[0172]
如图14所示，为电子设备确定左眼是否闭合涉及的一个示意图。
[0173]
电子设备可以通过上眼睑的两个关键点与下眼睑的两个关键点是否重合确定人眼是否闭合。
[0174]
在一些实施例中，电子设备可以计算上眼睑的两个关键点的中点到下眼睑的两个关键点的中点的距离，作为第一距离。其中，如图14所示，上眼睑的两个关键点的中点可以为中点1所示，下眼睑的两个关键点的中点可以为中点2。第一距离为距离1。
[0175]
然后，电子设备计算两个眼角的关键点间的距离，作为第二距离。如图14所示，该第二距离可以为距离2。
[0176]
再计算该第一距离与第二距离的比值，如果小于第一阈值，则电子设备确定上眼睑的两个关键点与下眼睑的两个关键点是重合的，则该左眼是闭合的。反之，确定该左眼不是闭合的。其中，第一阈值的取值范围0
‑
0.05。例如，0.01。
[0177]
在另一些实施例中，电子设备可以直接通过判断该第一距离的大小，判断该左眼是否闭合，如何该第一距离小于第二阈值，则电子设备确定上眼睑的两个关键点与下眼睑的两个关键点是重合的，则该左眼是闭合的。反之，确定该左眼不是闭合的。其中，第一阈值的取值范围0
‑
0.05。例如，0.01。
[0178]
可以理解的是，电子设备判断右眼是否闭合的方式可以参考前述对判断左眼是否闭合的描述，此处不再赘述。
[0179]
如果电子设备判断人眼不是闭合的，则执行步骤s207。
[0180]
如果电子设备判断人眼是闭合的，则执行步骤s209。
[0181]
s207.电子设备根据人眼姿态信息以及人脸姿态信息，确定人眼是否眼神异常；
[0182]
眼神异常是指，人眼的方向与人脸的方向不一致。其中，人眼的方向包括左眼的方向以及右眼的方向。左眼的方向是指左眼关注的方向，可以由左眼的人眼姿态信息确定。右眼的方向是指右眼关注的方向，可以由右眼的人眼姿态信息确定。人脸的方向是指人脸所面向的方向，可以由人脸姿态信息确定。
[0183]
电子设备可以先确定左眼以及右眼中任一个是否眼神异常，如果异常，则电子设备确定人眼异常。
[0184]
电子设备可以先确定左眼以及右眼中任一个是否眼神异常，如果不异常，则确定另一眼睛是否眼神异常，如过不异常，则电子设备确定该人眼的眼神是正常的。如果异常，则电子设备确定人眼的眼神异常。
[0185]
下面以电子设备判断左眼是否异常为例进行详细说明：
[0186]
电子设备可以通过左眼的人眼姿态信息确定左眼的方向，其计算公式如下：
[0187][0188]
式中，向量表示左眼的方向。θ为前述步骤s205中得到的左眼的俯仰角。μ为前述步骤s205中得到的左眼的翻滚角。
[0189]
电子设备可以通过左人脸姿态信息确定人脸的方向，其计算公式如下：
[0190][0191]
式中，向量表示人脸的方向。α为前述步骤s202中得到的人脸的俯仰角。β为前述步骤s202中得到的人脸的翻滚角。
[0192]
电子设备可以通过左眼的方向以及人脸的方向计算这两个方向的夹角，当两个方向的夹角大于第三阈值时，则电子设备确定左眼的方向以及人脸的方向不一致，则确定该左眼异常。
[0193]
电子设备确定左眼的方向以及人脸的方向的夹角的公式如下：
[0194][0195]
式中为左眼的方向以及人脸的方向的夹角。设定第三阈值，如果该夹角小于该第三阈值，则电子设备则电子设备确定左眼的方向以及人脸的方向一致，则确定该左眼正常。如果该夹角大于该第三阈值，则电子设备则电子设备确定左眼的方向以及人脸的方向不一致，则确定该左眼异常。其中，第三阈值的取值范围可以为0
°‑
10
°
，例如5
°
。
[0196]
可以理解的是，电子设备判断右眼是否异常的方式可以参考前述对判断左眼是否异常的描述，此处不再赘述。
[0197]
如果电子设备判断人眼的眼神正常，则执行步骤s208。
[0198]
如果电子设备判断人眼的眼神异常，则执行步骤s209。
[0199]
s208.电子设备确定该脸部图像的眼部质量合格；
[0200]
电子设备确定人眼不闭合以及人眼的眼神正常的情况下，可以确定该脸部图像的眼部质量合格。
[0201]
s209.电子设备确定该脸部图像的眼部质量不合格。
[0202]
在一些实施例中，电子设备先执行步骤s206再执行步骤s207，则电子设备确定人眼闭合的情况下，可以确定该脸部图像的眼部质量不合格。电子设备确定人眼不闭合但是人眼的眼神异常的情况下，可以确定该脸部图像的眼部质量不合格。
[0203]
在一些实施例中，电子设备可以先执行步骤s207再执行步骤s206，即电子设备判断人眼的眼神异常的情况下，则确定该脸部图像的眼部质量不合格。
[0204]
s107.电子设备确定该第一脸部图像序列中任一第一脸部图像对应的第一人脸检测框信息；
[0205]
第一人脸检测框信息是指第一脸部图像对应的人脸检测框信息。
[0206]
电子设备可以从第一用户信息库中获取该第一脸部图像序列中任一第一脸部图像对应的第一人脸检测框信息。
[0207]
s108.电子设备获取该第二图像中第一用户的第二人脸检测框信息；
[0208]
第二人脸检测框信息为第二图像中第一用户的人脸检测框信息。
[0209]
该步骤s108的过程与前述步骤s102中电子设备获取第一图像中第一用户的人脸检测框信息的方式相同，可以参考前述对步骤s102中相关内容的描述，此处不再赘述。
[0210]
s109.电子设备根据该第二人脸检测框信息，获取该第二图像的第二脸部图像；
[0211]
该第二脸部图像为第二图像中第一用户的脸部图像。
[0212]
该步骤s109的过程与步骤s103中电子设备根据第一图像中第一用户的任一人脸检测框信息确定脸部图像的过程相同，可以参考前述步骤s103的相关描述，此处不再赘述。
[0213]
s110.电子设备对该第二脸部图像进行眼部质量评估，判断该第二脸部图像的眼部质量是否合格；
[0214]
该步骤s110涉及的过程与前述步骤s106中电子设备对任一第一脸部图像进行眼部质量评估的过程相同，此处不再赘述。
[0215]
s111.电子设备利用该第二人脸检测框信息与该第一脸部图像序列中任一第一脸部图像对应的第一人脸检测框信息，判断该第一脸部图像序列中，与该第二脸部图像最匹
配的第一脸部图像，并利用该第一脸部图像对应的眼部图像替换该第二图像的眼部图像，得到修复后的图像；
[0216]
电子设备可以可以通过确定全部第一脸部图像中与第二脸部图像最匹配的第一脸部图像。然后，利用该第一脸部图像对应的眼部图像替换该第二图像的眼部图像。
[0217]
电子设备可以通过计算任一第一脸部图像对应的第一人脸检测框与该第二脸部图像对应的第二人脸检测框的交并比(intersection over union，iou)来确定任一第一脸部图像与该第二脸部图像的匹配程度。该交并比越大，则匹配程度越高。
[0218]
其中，交并比是指第一人脸检测框与第二人脸检测框的面积的交集与两者面积的并集之比。
[0219]
电子设备确定与该第二人脸检测框的交并比最大的第一人脸检测框对应的眼部图像。替换第二图像中的眼部图像。
[0220]
具体的，电子设备利用该第二人脸检测框信息从第二图像中确定该第二人脸检测框范围内的全部像素点，将其替换称为第一人脸检测框对应的眼部图像。
[0221]
如图15示出了任一第一人脸检测框以及第二人脸检测框求交并比的示意图。
[0222]
如图15中的(a)所示，任一第一人脸检测框对应的第一人脸检测框信息包括：第一人脸检测框的左上角的点的横坐标x1、纵坐标y1、人脸检测框的高h1以及宽w1。第二人脸检测框对应的第二人脸检测框信息包括：第二人脸检测框的左上角的点的横坐标x2、纵坐标y2、人脸检测框的高h2以及宽w2。
[0223]
如图15中的(b)示出了第一人脸检测框与第二人脸检测框的面积的交集与两者面积的并集，交并比即为第一人脸检测框与第二人脸检测框的面积的交集与两者面积的并集之比。
[0224]
电子设备在计算该交并比之前，首先可以确定该任一第一人脸检测框与该第二人脸检测框之间是否有交集。如有交集则计算交并比，反之不计算。确定是否有交集的公式如下：
[0225]
x
11
≥x
22
ory
11
≥y
22
[0226]
式中，x
11
＝max(x1,x2)，其表示第一人脸检测框的左上角以及第二人脸检测框的左上角对应的横坐标之间的最大值，作为第一最大值；y
11
＝max(y1,y2)，其表示第一人脸检测框的左上角以及第二人脸检测框的左上角对应的纵坐标之间的最大值，作为第二最大值；x
22
＝min(x1 w1,x2 w2)，其表示第一人脸检测框的右上角以及第二人脸检测框的右上角对应的横坐标之间的最小值，作为第一最小值。y
22
＝min(y1 h1,y2 h2)，其表示第一人脸检测框的左下角以及第二人脸检测框的左下角对应的纵坐标之间的最小值，作为第二最小值。则上述公式表示，当第一最大值大于或者等于第一最小值时，或者，当第二最大值大于或者等于第二最小值时，则该电子设备确定该第一人脸检测框与该第二人脸检测框之间没有交集。反之，有交集。
[0227]
如图15中的(c)示出了第一人脸检测框与该第二人脸检测框之间没有交集的示意图。
[0228]
式中可以看出x
11
＝x2，x
22
＝x1 w1，且x
11
>x
22
，则此时，该第一人脸检测框与该第二人脸检测框之间没有交集。
[0229]
电子设备确定任一第一人脸检测框与第二人脸检测框的交并比的公式如下：
[0230][0231]
式中，iou
i
表示第i个第一人脸检测框与该第二人脸检测框之间的交并补。
[0232]
s112.电子设备将该第二图像作为修复后图像。
[0233]
综上所述，使用本技术实施例涉及的图像处理方法，电子设备可以确定用户的是否意图拍摄眼部异常的图像，如果不是，则电子设备可以对用户出现眼部异常的图像进行处理。使用眼部正常的眼部图像替换眼部异常的图像中的眼部图像。使得眼部异常的图像质量得以提高。
[0234]
下面介绍本技术实施例的2个使用场景。
[0235]
使用场景1：电子设备可以在拍摄图像时，实时的使用本方案对眼部出现异常的图像进行处理。当电子设备打开相机应用，显示预览界面时，电子设备设备可以采集图像序列，该图像序列中包括至少一张眼部正常的第一图像。此时，电子设备确认用户不是意图拍摄眼部异常的图像，则当电子设备拍摄第二图像时，如果第二图像中出现了眼部异常，则电子设备可以利用第一图像的眼部图像替换第二图像的眼部图像。
[0236]
该场景可以参考前述对图4
‑
图7的描述，此处不再赘述。
[0237]
使用场景2：电子设备可以使用本方案涉及的图像处理方法，对眼部出现异常的图像进行后期处理。电子设备可以将图像序列存储在存储器中，该图像序列中包括至少一张眼部正常的第一图像。该图像序列对应一个第二图像。当电子设备接收到需要对该第二图像进行眼部处理的指令时，电子设备可以利用该图像序列对该第二图像进行本方案涉及的图像处理。
[0238]
在一些实施例中，电子设备使用本方案涉及的图像处理方法，对眼部出现异常的图像进行后期处理的过程可以由用户的操作触发。
[0239]
如图16a
‑
图16d所示，为电子设备利用对眼部出现异常的图像进行后期处理的一组示例性用户界面。
[0240]
如图16a所示，用户界面80为电子设备的一个图像显示界面，显示框801中可以显示第二图像，该第二图像中的第一用户的眼部是异常的。响应于用户在更多控件802上的操作(例如点击操作)，电子设备可以显示对该第二图像的更多设置项。
[0241]
如图16b所示，用户界面81为电子设备对第二图像的一个设置界面。该设置界面中包括眼部处理设置项811，该眼部处理设置项811可以用于触发电子设备对该第二图像进行眼部图像处理。响应于用户在该眼部处理设置项811上的操作(例如点击操作)，电子设备可以获取该第二图像对应的图像序列，利用该图像序列对第二图像进行眼部图像处理，此时，电子设备可以显示如图16c所示的用户界面。
[0242]
如图16c所示，用户界面82为电子设备使用本技术涉及的图像处理方法对第二图像进行眼部图像处理时涉及的一个用户界面。该用户界面82中可以显示提示框821，该提示框821中可以显示提示文字：“正在对
‘
图像1’进行眼部处理，请稍后”。处理完成之后，电子设备可以显示如图16d所示的用户界面。
[0243]
如图16d所示，用户界面83为电子设备将第二图像的眼部图像利用图像序列中的第一图像的眼部图像进行替换后的一个用户界面，用户界面83中可以显示提示文字831：“处理完成”。可以看出，此时，图像中，第一用户的眼部处于正常状态。
[0244]
在另一些实施例中，电子设备使用本方案涉及的图像处理方法，对眼部出现异常的图像进行后期处理的过程可以为默认设置。
[0245]
具体的，在电子设备确定第二图像中的第一用户的人眼处于异常状态时，可以使用本技术实施例中涉及的图像处理方法对该第二图像进行修复。并且同时保持第二图像以及修复后的第二图像，并且显示到相册中，用户可以在相册中查看该第二图像以及修复后的第二图像。
[0246]
应该理解的是，除了上述使用场景，电子设备还可以在其他的场景下使用本技术涉及的图像处理方法。例如，录制视频时。不应该对本技术实施例构成限制。
[0247]
下面介绍本技术实施例提供的示例性电子设备100。
[0248]
图17是本技术实施例提供的电子设备100的结构示意图。
[0249]
下面以电子设备100为例对实施例进行具体说明。应该理解的是，电子设备100可以具有比图中所示的更多的或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
[0250]
电子设备100可以包括：处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，usb)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194以及用户标识模块(subscriber identification module，sim)卡接口195等。其中传感器模块180可以包括压力传感器180a，陀螺仪传感器180b，气压传感器180c，磁传感器180d，加速度传感器180e，距离传感器180f，接近光传感器180g，指纹传感器180h，温度传感器180j，触摸传感器180k，环境光传感器180l，骨传导传感器180m等。
[0251]
可以理解的是，本发明实施例示意的结构并不构成对电子设备100的具体限定。在本技术另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
[0252]
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，ap)，调制解调处理器，图形处理器(graphics processing unit，gpu)，图像信号处理器(image signal processor，isp)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，dsp)，基带处理器，和/或神经网络处理器(neural
‑
network processing unit，npu)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
[0253]
其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
[0254]
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
[0255]
在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路
(inter
‑
integrated circuit，i2c)接口，集成电路内置音频(inter
‑
integrated circuit sound，i2s)接口，脉冲编码调制(pulse code modulation，pcm)接口等。
[0256]
可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本技术另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
[0257]
充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。
[0258]
电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。
[0259]
电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。
[0260]
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。
[0261]
移动通信模块150可以提供应用在电子设备100上的包括2g/3g/4g/5g等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，lna)等。
[0262]
调制解调处理器可以包括调制器和解调器。无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wireless local area networks，wlan)(如无线保真(wireless fidelity，wi
‑
fi)网络)，蓝牙(bluetooth，bt)，全球导航卫星系统(global navigation satellite system，gnss)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。
[0263]
在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。
[0264]
电子设备100通过gpu，显示屏194，以及应用处理器等实现显示功能。gpu为图像处理的微处理器，连接显示屏194和应用处理器。gpu用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个gpu，其执行程序指令以生成或改变显示信息。
[0265]
显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，lcd)，有机发光二极管(organic light
‑
emitting diode，oled)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active
‑
matrix organic light emitting diode，amoled)等。
[0266]
电子设备100可以通过isp，摄像头193，视频编解码器，gpu，显示屏194以及应用处理器等实现拍摄功能。
[0267]
isp用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给isp处理，转化为肉眼可见的图像。isp还可以对图像的噪点，亮度，肤色进行算法优化。isp还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，isp可以设置在摄像头193中。
[0268]
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，ccd)或互补金属氧化物半导体(complementary metal
‑
oxide
‑
semiconductor，cmos)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给isp转换成数字图像信号。isp将数字图像信号输出到dsp加工处理。dsp将数字图像信号转换成标准的rgb，yuv等格式的图像信号。在一些实施例中，电子设备100可以包括1个或n个摄像头193，n为大于1的正整数。
[0269]
数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
[0270]
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，mpeg)1，mpeg2，mpeg3，mpeg4等。
[0271]
npu为神经网络(neural
‑
network，nn)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过npu可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
[0272]
外部存储器接口120可以用于连接外部存储卡，例如micro sd卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
[0273]
内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。
[0274]
电子设备100可以通过音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，以及应用处理器等实现音频功能。例如音乐播放，录音等。
[0275]
音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。
[0276]
扬声器170a，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170a收听音乐，或收听免提通话。
[0277]
受话器170b，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时，可以通过将受话器170b靠近人耳接听语音。
[0278]
麦克风170c，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170c发声，将声音信号输入到麦克风170c。电子设备100可以设置至少一个麦克风170c。在另一些实施例中，电子设备100可以设置两个麦克风170c，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备100还可以设置三个，四个或更多麦克风170c，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。
[0279]
耳机接口170d用于连接有线耳机。耳机接口170d可以是usb接口130，也可以是
3.5mm的开放移动电子设备平台(open mobile terminal platform，omtp)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the usa，ctia)标准接口。
[0280]
压力传感器180a用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180a可以设置于显示屏194。压力传感器180a的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180a，电极之间的电容改变。
[0281]
陀螺仪传感器180b可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180b确定电子设备100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器180b可以用于拍摄防抖。
[0282]
气压传感器180c用于测量气压。在一些实施例中，电子设备100通过气压传感器180c测得的气压值计算海拔高度，辅助定位和导航。
[0283]
磁传感器180d包括霍尔传感器。电子设备100可以利用磁传感器180d检测翻盖皮套的开合。
[0284]
加速度传感器180e可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。
[0285]
距离传感器180f，用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，电子设备100可以利用距离传感器180f测距以实现快速对焦。
[0286]
接近光传感器180g可以包括例如发光二极管(led)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。
[0287]
环境光传感器180l用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180l也可用于拍照时自动调节白平衡。环境光传感器180l还可以与接近光传感器180g配合，检测电子设备100是否在口袋里，以防误触。
[0288]
指纹传感器180h用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。
[0289]
温度传感器180j用于检测温度。在一些实施例中，电子设备100利用温度传感器180j检测的温度，执行温度处理策略。
[0290]
触摸传感器180k，也称“触控面板”。触摸传感器180k可以设置于显示屏194，由触摸传感器180k与显示屏194组成触摸屏，也称“触控屏”。
[0291]
按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。
[0292]
马达191可以产生振动提示。
[0293]
指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。
[0294]
sim卡接口195用于连接sim卡。
[0295]
本技术实施例中，该处理器110可以调用内部存储器121中存储的计算机指令，以使得电子设备执行本技术实施例中的图像处理方法。
[0296]
本技术实施例中，电子设备的内部存储器121中或者存储接口120外接的存储设备中可以预先存储本技术涉及的图像处理方法涉及的相关指令，使得电子设备执行本技术实
施例中的图像处理方法。
[0297]
下面以结合步骤s101
‑
步骤s107为例，示例性说明电子设备的工作流程。
[0298]
1.电子设备检测到第一操作之前，采集图像序列；
[0299]
在一些实施例中，电子设备的触摸传感器180k接收到触摸操作(用户触摸拍摄控件时触发的)，相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标，触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件，识别该输入事件所对应的控件。
[0300]
例如，以上触摸操作是触摸单击操作，该单击操作所对应的控件为相机应用中的图标为例。相机应用调用应用框架层的接口，启动相机应用，进而通过调用内核层启动摄像头驱动，通过摄像头193采集图像序列。
[0301]
具体的，电子设备的摄像头193可以将被拍摄对象反射的光信号通过镜头传递到摄像头193的图像传感器上，该图像传感器将该光信号转换为电信号，该图像传感器将该电信号传递给isp，该isp将该电信号转成为对应的图像序列。
[0302]
电子设备可以将该图像序列存储到内部存储器121中。
[0303]
2.电子设备获取图像序列中第一用户的人脸检测框信息集合；
[0304]
电子设备可以通过处理器110获取存储器121中存储的图像序列，调用相关计算机指令，获取图像序列中第一用户的人脸检测框信息集合。
[0305]
3.电子设备根据第一用户的人脸检测框信息集合，获取图像序列中第一用户的脸部图像序列；
[0306]
电子设备可以调用相关计算机指令，根据第一用户的人脸检测框信息集合，获取图像序列中第一用户的脸部图像序列。
[0307]
4.电子设备检测到第一操作，响应于该第一操作，电子设备获取第二图像；
[0308]
在一些实施例中，电子设备的触摸传感器180k接收到触摸操作(用户触摸拍摄控件时触发的)，相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标，触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件，识别该输入事件所对应的控件。
[0309]
例如，以上触摸操作是触摸单击操作，该单击操作所对应的控件为相机应用中的拍摄控件为例。相机应用调用应用框架层的接口，启动相机应用，进而通过调用内核层启动摄像头驱动，通过摄像头193获取第二图像。
[0310]
具体的，电子设备的摄像头193可以将拍摄对象反射的光信号通过镜头传递到摄像头193的图像传感器上，该图像传感器将该光信号转换为电信号，该图像传感器将该电信号传递给isp，该isp将该电信号转成为第二图像。
[0311]
电子设备可以将该第二图像存储到内部存储器121中或者存储接口120外接的存储设备中。
[0312]
5.电子设备根据脸部图像序列，确定该第一用户的眼部图像是否需要进行修复；
[0313]
电子设备可以调用相关计算机指令，根据脸部图像序列，确定该第一用户的眼部图像是否需要进行修复。
[0314]
6.电子设备对脸部图像序列中的任一脸部图像进行眼部质量评估，筛选出该脸部图像序列中的第一脸部图像序列；
[0315]
电子设备可以调用相关计算机指令，对脸部图像序列中的任一脸部图像进行眼部质量评估，筛选出该脸部图像序列中的第一脸部图像序列。
[0316]
电子设备可以将该第一脸部图像序列中的脸部图像对应的人脸检测框信息以及眼部图像存储到第一用户信息库中。
[0317]
7.电子设备确定该第一脸部图像序列中任一第一脸部图像对应的第一人脸检测框信息。
[0318]
电子设备可以调用相关计算机指令，从第一用户信息库中获取该第一脸部图像序列中任一第一脸部图像对应的第一人脸检测框信息。
[0319]
以上所述，以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。
[0320]
上述实施例中所用，根据上下文，术语“当
…
时”可以被解释为意思是“如果
…”
或“在
…
后”或“响应于确定
…”
或“响应于检测到
…”
。类似地，根据上下文，短语“在确定
…
时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定
…”
或“响应于确定
…”
或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。
[0321]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如dvd)、或者半导体介质(例如固态硬盘)等。
[0322]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：rom或随机存储记忆体ram、磁碟或者光盘等各种可存储程序代码的介质。