一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

数据处理的方法、呼叫方法、接听方法及相关设备与流程

2022-04-16 12:59:17 来源:中国专利 TAG:


1.本技术涉及互联网通信技术领域,尤其涉及一种数据处理的方法、呼叫方法、接听方法及相关设备。


背景技术:

2.随着计算机及通信技术的发展,电视逐渐走向智能化,通过在电视系统中安装视频通话或语音通话应用实现与手机、电脑、电视等其他终端设备进行视频或语音通话。电视实现视频通话的优点是,屏幕大,在视频通话过程中,具有较佳的视频显示效果,提高用户体验。
3.智能电视的视频通话功能拉近了人与人之间的距离,尤其是对于不熟悉互联网视频聊天工具、子女不在身边的老人或父母不在身边的小孩子,智能电视的视频通话能够给他们带来极大的方便,让其可以经常与其亲戚朋友“面对面”进行视频聊天。
4.然而,由于所有家庭成员的联系人都保存在智能电视中,每个家庭成员的联系人信息都能被所有用户看到,不利于个人隐私保护。


技术实现要素:

5.本技术实施例公开了一种数据处理的方法、呼叫方法、接听方法及相关设备,可以由多个用户共用的电子设备在通过人脸识别和/或语音识别的方法识别出用户的身份后,电子设备提供该用户对应的联系人列表,实现该用户独立管理其对应的联系人列表,其他用户不能获取该用户对应的联系人列表,可提高个人隐私信息安全性。
6.第一方面,本技术实施例提供了一种数据处理的方法,所述方法应用与电子设备,所述电子设备包括多个用户分别对应的特征信息和所述多个用户分别对应的联系人列表,所述方法包括:
7.在所述电子设备通过第一账号处于登录状态的情况下,获取第一信息;
8.提取所述第一信息中的特征信息,所述特征信息用于识别用户;
9.根据所述多个用户分别对应的特征信息,确定所述第一信息中的特征信息对应的目标用户;
10.根据所述多个用户分别对应的联系人列表,显示所述目标用户对应的联系人列表。
11.上述方法,在电子设备有多个用户共同使用时,通过根据多个用户分别对应的特征信息来识别出目标用户的身份,显示目标用户对应的联系人列表,可以防止其他用户对目标用户对应的联系人列表中的信息进行更改、删除等操作,提高了个人联系人信息的安全性。
12.结合第一方面,在一种可能的实现中,所述第一信息为待识别图像,所述特征信息为人脸特征;或,所述第一信息为待识别语音,所述特征信息为语音特征。
13.在一种可能的实现中,显示所述目标用户对应的联系人列表之后,所述方法还包
括:
14.接收第一联系人的信息,将所述第一联系人的信息存储在所述目标用户对应的联系人列表中。
15.在一种可能的实现中,所述方法还包括:
16.所述显示所述目标用户对应的联系人列表包括:显示第一用户界面,所述第一用户界面包括所述目标用户对应的联系人列表和添加联系人控件,
17.所述接收第一联系人的信息,具体包括:
18.响应于针对添加联系人控件输入的用户操作,显示第二用户界面,所述第二用户界面包括联系人输入框;
19.接收在所述联系人输入框中输入的第一联系人的信息,所述第一联系人的信息包括所述第一联系人的账号、名称。
20.在一种可能的实现中,所述第二用户界面还包括隐私设置控件,所述方法还包括:
21.响应于针对所述隐私设置控件输入的用户操作,将所述第一联系人设为隐私联系人。
22.在一种可能的实现中,所述显示所述目标用户对应的联系人列表之后,所述方法还包括:
23.接收针对所述目标用户对应的联系人列表中的第二联系人的修改指令;
24.响应于所述修改指令,在所述目标用户对应的联系人列表中修改所述第二联系人的信息。
25.在一种可能的实现中,所述显示所述目标用户对应的联系人列表之后,所述方法还包括:
26.接收针对所述目标用户对应的联系人列表中的第三联系人的删除指令;
27.响应于所述删除指令,在所述目标用户对应的联系人列表中删除所述第三联系人。
28.在一种可能的实现中,所述电子设备包括可信执行环境tee;
29.所述电子设备确定所述第一信息中的特征信息对应的目标用户,包括:在所述tee下,根据特征信息与用户的标识的对应关系,确定所述第一信息中的特征信息对应的目标用户的标识,所述目标用户的标识用于在所述电子设备中标识所述目标用户。
30.在一种可能的实现中,所述显示所述目标用户对应的联系人列表之后,所述方法还包括:
31.接收针对所述联系人列表中目标联系人的呼叫指令;
32.响应于所述呼叫指令,向服务器发送针对所述目标联系人的第一呼叫请求,所述第一呼叫请求携带所述第一账号。
33.在一种可能的实现中,所述第一呼叫请求还携带所述目标用户的信息。
34.在一种可能的实现中,在所述电子设备通过第一账号处于登录状态的情况下,所述方法还包括:
35.接收来自呼叫方的第二呼叫请求,所述第二呼叫请求用于指示呼叫所述第一账号;
36.接收针对所述第二呼叫请求的接听指令;
37.响应于所述接听指令,建立与所述呼叫方的通话连接。
38.在一种可能的实现中,所述第二呼叫请求携带所述呼叫方的账号,所述接收针对所述第二呼叫请求的接听指令,包括:
39.根据所述多个用户分别对应的联系人列表和所述呼叫方的账号判断所述呼叫方是否为隐私联系人,所述联系人列表包括至少一个联系人的账号和用于指示所述至少一个联系人分别是否为隐私联系人的指示信息;
40.在所述呼叫方为隐私联系人时,确定所述呼叫方对应的用户;
41.获取第二信息;
42.提取所述第二信息中的特征信息;
43.在根据所述多个用户分别对应的特征信息确定所述第二信息中的特征信息对应的用户为所述呼叫方对应的用户时,生成针对所述第二呼叫请求的接听指令。
44.在一种可能的实现中,生成针对所述第二呼叫请求的接听指令之前,所述方法还包括:
45.显示接听界面,界面包括接听控件,所述接听控件处于不可使用状态;
46.所述在根据所述多个用户分别对应的特征信息确定所述第二信息中的特征信息对应的用户为所述呼叫方对应的用户时,将所述接听控件由不可使用状态转变为可使用状态。
47.所述生成针对所述第二呼叫请求的接听指令,具体包括:在所述接听控件处于可使用状态时,根据接收到的针对所述接听控件输入的用户操作生成所述接听指令。
48.第二方面,本技术实施例还提供了一种呼叫方法,应用于电子设备,所述电子设备包括多个用户分别对应的特征信息和所述多个用户分别对应的联系人列表,所述特征信息包括语音特征,所述联系人列表包括至少一个联系人的名称、账号,所述方法包括:
49.在所述电子设备通过第一账号处于登录状态的情况下,获取待识别语音;
50.提取所述待识别语音的语音特征;
51.根据多个用户分别对应的语音特征确定所述待识别语音对应的目标用户;
52.识别所述待识别语音的意图;
53.在识别到的意图为呼叫意图时,获取语音信息中的联系人的名称;
54.确定所述目标联系人的账号为在目标用户对应的联系人列表中获取到的联系人的名称对应的账号;
55.响应于所述呼叫意图,向服务器发送用于呼叫所述目标联系人的呼叫请求,所述呼叫请求携带所述第一账号和所述目标联系人的账号。
56.上述呼叫方法,电子设备通过识别待识别语音中的意图,向服务器发出针对目标联系人的呼叫请求,可以实现通过语音控制对联系人进行呼叫,提高了呼叫的便利性。
57.结合第二方面,在一种可能的实现中,所述呼叫请求还携带所述目标用户的信息。
58.第三方面,本技术实施例提供了一种接听方法,应用于电子设备,所述电子设备包括多个用户分别对应的特征信息和所述多个用户分别对应的联系人列表,所述方法包括:
59.在所述电子设备通过第一账号处于登录状态的情况下,接收来自呼叫方的呼叫请求,所述呼叫请求用于指示呼叫所述第一账号,所述呼叫请求携带所述呼叫方的账号;
60.根据所述多个用户分别对应的联系人列表和所述呼叫方的账号判断所述呼叫方
是否为隐私联系人,所述联系人列表包括至少一个联系人的账号和用于指示所述至少一个联系人分别是否为隐私联系人的指示信息;
61.在所述呼叫方为隐私联系人时,确定所述呼叫方对应的用户;
62.获取待识别信息;
63.提取所述待识别信息中的特征信息;
64.在根据所述多个用户分别对应的特征信息确定所述待识别信息中的特征信息对应的用户为所述呼叫方对应的用户时,与所述建立与所述呼叫方的通话连接。
65.上述接听方法,通过确定呼叫方为隐私联系人,电子设备需要在接听前验证用户的身份,当用户为所述呼叫方对应的用户时,方可接听,可实现在使用共用电子设备时提高用户通话的隐私性。
66.结合第三方面,在一种可能的实现中,所述待识别信息为待识别图像,所述特征信息为人脸特征;或,所述待识别信息为待识别语音,所述特征信息为语音特征。
67.在一种可能的实现中,所述与所述建立与所述呼叫方的通话连接之前,所述方法还包括:
68.显示接听界面,界面包括接听控件,所述接听控件处于不可使用状态;
69.所述在根据所述多个用户分别对应的特征信息确定所述待识别信息中的特征信息对应的用户为所述呼叫方对应的用户时,将所述接听控件由不可使用状态转变为可使用状态。
70.所述与所述建立与所述呼叫方的通话连接,具体包括:在所述接听控件处于可使用状态时,响应于接收到的针对所述接听控件输入的用户操作,与所述建立与所述呼叫方的通话连接。
71.第四方面,本技术提供了一种通信方法,所述方法包括:
72.服务器接收来自呼叫方的呼叫请求,所述呼叫请求用于请求呼叫接听方,所述呼叫请求携带所述呼叫方的账号和所述接收方的账号;
73.服务器接收来自接听方的用于指示接听的指令,根据所述呼叫方的账号和所述接听方的账号建立呼叫方与所述接听方之间的通话连接。
74.上述通信方法,通过服务器对呼叫请求和用于指示接听指令的处理,实现了呼叫方和接听方之间的通话连接。
75.第五方面,本技术提供了一种电子设备,包括处理器、存储器、通信模块、显示屏、摄像头和麦克风,其中,所述处理器通过总线分别耦合所述存储器、所述通信模块、所述显示器、所述摄像头和所述麦克风,所述处理器用于调用所述存储器存储的指令,执行上述第一方面或第一方面任意一种实现中所述的方法。
76.第六方面,本技术提供了一种电子设备,包括处理器、存储器、通信模块、显示屏、摄像头和麦克风,其中,所述处理器通过总线分别耦合所述存储器、所述通信模块、所述显示器、所述摄像头和所述麦克风,所述处理器用于调用所述存储器存储的指令,执行上述第二方面或第二方面任意一种实现中所述呼叫方法。
77.第七方面,本技术提供了一种电子设备,包括处理器、存储器、通信模块、显示屏、摄像头和麦克风,其中,所述处理器通过总线分别耦合所述存储器、所述通信模块、所述显示器、所述摄像头和所述麦克风,所述处理器用于调用所述存储器存储的指令,执行:上述
第三方面或第三方面任意一种实现中所述的接听方法。
78.第八方面,本技术提供了一种计算机可读存储介质,包括指令,当上述指令在电子设备上运行时,使得上述电子设备执行如第一方面以及第一方面中任一可能的实现描述的方法。
79.第九方面,本技术提供了一种计算机可读存储介质,包括指令,当上述指令在电子设备上运行时,使得上述电子设备执行如第二方面以及第二方面中任一可能的实现描述的方法。
80.第十方面,本技术提供了一种计算机可读存储介质,包括指令,当上述指令在电子设备上运行时,使得上述电子设备执行如第三方面以及第三方面中任一可能的实现描述的方法。
81.可以理解地,上述第五方面提供的电子设备、第六方面提供的电子设备、第七方面提供的电子设备、第八方面提供的计算机可读存储介质、第九方面提供的计算机可读存储介质、第十方面提供的计算机可读存储介质均用于执行上述第一方面、第二方面、第三方面所提供的方法。因此,其所能达到的有益效果可参考对应方法中的有益效果,此处不再赘述。
附图说明
82.图1是本技术实施例提供的一种通话系统的架构示意图;
83.图2a是本技术实施例提供的一种所提供的电子设备的结构示意图;
84.图2b是本技术实施例示例性提供的一种所提供的电子设备的软件架构示意图;
85.图3-图6是本技术实施例示例性提供的一些用户界面示意图;
86.图7a是本技术实施例提供的一种数据处理的方法流程示意图;
87.图7b是本技术实施例提供的另一种数据处理的方法流程示意图;
88.图8a-图8b是本技术实施例示例性提供的一些用户界面示意图;
89.图9-图14是本技术实施例示例性提供的一些用户界面示意图;
90.图15是本技术实施例提供的一种呼叫方法流程示意图;
91.图16-图18是本技术实施例示例性提供的一些用户界面示意图;
92.图19是本技术实施例提供的另一种呼叫方法流程示意图;
93.图20是本技术实施例提供的一种接听方法流程示意图;
94.图21是本技术实施例提供的另一种接听方法流程示意图;
95.图22-图23是本技术实施例示例性提供的一些用户界面示意图;
96.图24是本技术实施例示例性提供的一种服务器的结构框图。
具体实施方式
97.本技术以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本技术的限制。如在本技术的说明书和所附权利要求书中所使用的那样,单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式,除非其上下文中明确地有相反指示。还应当理解,本技术中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。
98.下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有实施例,都属于本发明保护的范围。
99.本技术以下实施例提供了一种数据处理的方法及相关装置。
100.下面介绍本技术实施例涉及的应用场景。
101.当前随着智能电视的发展,通过集成软件或第三方软件实现与其他终端设备进行视频/语音通话,智能电视的大屏显示给人们带来较佳的体验。智能电视属于家庭共有设备,所有家庭用户都可以使用该电视进行视频或语音通话,可以上传、新增、删除、修改联系人。然而,所有家庭用户的联系人同时存储在电视中,可能会造成联系人混乱的情况,比如,家庭用户1的一个朋友名字为“小明”,而家庭用户2也有一个叫“小明”的朋友,两个家庭用户都将他们的朋友的联系方式存储在智能电视的通讯录中,那么当家庭用户1或2需要联系“小明”时,搜索通讯录,智能电视将会显示两条关于“小明”的联系方式,而家庭用户1或2并不能确定哪条联系方式是属于自己的朋友“小明”的。
102.本技术实施例提供的数据处理方法中,实现了多人能够共同使用电子设备如智能电视,并管理属于自己的联系人列表。该电子设备可将每个家庭用户的各自的联系人信息通过各自的身份标识分别进行处理,使得每个家庭用户可以对属于自己的联系人进行管理,并且快捷、简便地向自己的联系人发起视频/语音通话。
103.例如,上述家庭用户1和家庭用户2都分别将自己的朋友“小明”的联系方式存储在该电子设备上,当家庭用户1使用该电子设备时,该电子设备识别出家庭成语1的身份,通过其身份标识查找出与其身份标识绑定的联系人列表,家庭用户1搜索“小明”,该电子设备显示家庭用户1存储的“小明”的联系方式,此时,家庭用户1可通过语音控制或呼叫操作向其朋友“小明”的终端设备发起呼叫。
104.上述数据处理的方法,能够通过每个家庭用户的标识使得电子设备上的联系人分类更加清晰,并且每个家庭用户智能对属于自己的联系人列表进行新增、删除、修改等操作,其他家庭用户不能获取没有与自己身份标识绑定的联系人列表,排除了每个家庭用户的联系人信息存在被恶意修改或删除的风险,并且增加了信息的隐私性。
105.请参阅图1,图1是本发明实施例提供的一种通话系统的架构示意图,如图1所示,该系统包括呼叫设备11、接听设备12、第一服务器13、第二服务器14、终端设备15。
106.如图1所示,呼叫设备11可以通过登录第一账号使用本技术实施例提供的目标应用,在登录第一账号时,呼叫设备接收用户输入的第一账号和第一密码,向第一服务器13发送身份验证的请求,该请求中携带第一账号和第一密码,身份验证通过,呼叫方用户可以继续使用该目标应用。当呼叫方用户通过使用呼叫设备11上的目标应用呼叫接听设备12时,呼叫设备向第二服务器发送呼叫请求,经过第二服务器转发该呼叫请求到达接听设备12。
107.接听设备12可以通过登录第二账号使用本技术实施例提供的目标应用,在登录第二账号时,呼叫设备接收用户输入的第二账号和第二密码,向第一服务器13发送身份验证的请求,该请求中携带第二账号和第二密码,身份验证通过,接收方用户可以继续使用该目标应用。当呼叫方用户通过使用呼叫设备11上的目标应用呼叫接听设备12时,呼叫设备向第二服务器发送呼叫请求,经过第二服务器转发该呼叫请求到达接听设备12。
108.应理解,呼叫设备11和接听设备12均可以运行目标应用,该目标应用是为用户提供本地服务的程序。这里,该本地服务可包括但不限于:人机交互服务、本地数据采集和维护服务、本地与服务器(图1中第一服务器13或第二服务器14)之间的通信服务等等。例如,呼叫设备11上的目标应用通过摄像头获取呼叫方用户人脸图像,识别出目标用户身份,显示目标用户存储的联系人列表,响应呼叫方用户针对接听方用户账号对呼叫控件的操作,向第二服务器14发送针对该联系人的呼叫请求,第二服务器14将该呼叫请求发送至接听设备12,接听设备12上的目标应用接收该呼叫请求并解析显示呼叫方信息,响应于针对接听方用户对接听控件的操作,建立与呼叫方的通话连接,其中,接听方用户为使用接听设备12的用户。
109.第一服务器13接收来自呼叫设备11和接听设备12发送的身份验证请求,第一服务器13将请求中携带的登录信息(第一账号和第一密码、第二账号和第二密码)与其存储的用户信息进行比对,为其存储的用户信息时,身份验证通过,此时设备可以继续使用目标应用。
110.第二服务器14接收来自呼叫设备11的呼叫请求,该请求用于请求呼叫接听设备12,该请求中携带呼叫方的账号和接收方的账号,第二服务器14向接听设备12发送该呼叫请求;第二服务器14接收来自接听设备12的用于指示接听的指令,根据呼叫方的账号和接听方的账号,建立呼叫设备11和接听设备12的通话连接。
111.终端设备15可以是手机、平板电脑、智能手表等其他小屏设备。终端设备15的存储中包括联系人列表,用户可以通过终端设备15、呼叫设备11上的无线传输模块中的无线局域网(wireless local area networks,wlan)、蓝牙(bluetooth,bt)功能,将终端设备15存储的联系人列表传输到呼叫设备11上,实现设备之间的信息共享,用户无需在呼叫设备11上一一添加联系人。
112.在一种实现中,呼叫设备11可以是全面屏电视、智能电视等大屏设备,接听设备12可以是手机、平板电脑、智能手表、个人电脑等小屏设备,本技术实施例对设备的类型不作限定。
113.在一种实现中,呼叫设备11可以是手机、平板电脑、智能手表、个人电脑等终端设备,接听设备12可以是全面屏电视、智能电视等大屏设备,本技术实施例对设备的类型不作限定。
114.需要说明的是,呼叫设备11也可以是接听设备,同理,接听设备12也可以作为呼叫设备,例如,呼叫设备和接听设备可以都为全面屏电视、智能电视等大屏设备,本技术实施例对呼叫设备和接听设备的类型不作限定。
115.第一服务器13和第二服务器14可以是同一设备,该设备可以执行用户登录账号的验证工作、呼叫请求中转工作、建立呼叫设备11与接听设备12的通话连接工作等,本技术实施例对该设备的功能不作限定。
116.请参阅图2a,一种电子设备的硬件的结构示意图,该电子设备可以是上述图1可以是呼叫设备或接听设备。
117.电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,usb)接口150,高清多媒体(high definition multimedia interface,hdmi)接口151,电源管理模块140,通信模块160,显示屏170,音频模块180,扬声
器183,麦克风182,耳机接口181,传感器模块190,按键130,指示器131,摄像头132等。其中传感器模块190可以包括压力传感器191,触摸传感器192,温度传感器193等。
118.可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本技术另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
119.处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,ap),调制解调处理器,图形处理器(graphics processing unit,gpu),图像信号处理器(image signal processor,isp),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,dsp),基带处理器,和/或神经网络处理器(neural-network processing unit,npu)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
120.其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
121.处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
122.在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,i2c)接口,集成电路内置音频(inter-integrated circuit sound,i2s)接口,脉冲编码调制(pulse code modulation,pcm)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,uart)接口,移动产业处理器接口(mobile industry processor interface,mipi),通用输入输出(general-purpose input/output,gpio)接口,用户标识模块(subscriber标识entity module,sim)接口,和/或通用串行总线(universal serial bus,usb)接口等。
123.i2c接口是一种双向同步串行总线,包括一根串行数据线(serial data line,sda)和一根串行时钟线(derail clock line,scl)。在一些实施例中,处理器110可以包含多组i2c总线。处理器110可以通过不同的i2c总线接口分别耦合触摸传感器192,充电器,闪光灯,摄像头132等。例如:处理器110可以通过i2c接口耦合触摸传感器192,使处理器110与触摸传感器192通过i2c总线接口通信,实现电子设备100的触摸功能。
124.i2s接口可以用于音频通信。在一些实施例中,处理器110可以包含多组i2s总线。处理器110可以通过i2s总线与音频模块180耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块180可以通过i2s接口向通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
125.pcm接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块180与通信模块160的无线通信可以通过pcm总线接口耦合。在一些实施例中,音频模块180也可以通过pcm接口向通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。所述i2s接口和所述pcm接口都可以用于音频通信。
126.uart接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。
它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,uart接口通常被用于连接处理器110与通信模块160。例如:处理器110通过uart接口与通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块180可以通过uart接口向无线通信模块传递音频信号,实现通过蓝牙耳机播放音乐的功能。
127.mipi接口可以被用于连接处理器110与显示屏170,摄像头132等外围器件。mipi接口包括摄像头串行接口(camera serial interface,csi),显示屏串行接口(display serial interface,dsi)等。在一些实施例中,处理器110和摄像头132通过csi接口通信,实现电子设备100的拍摄功能。处理器110和显示屏170通过dsi接口通信,实现电子设备100的显示功能。
128.gpio接口可以通过软件配置。gpio接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,gpio接口可以用于连接处理器110与摄像头132,显示屏170,通信模块160,音频模块180,传感器模块190等。gpio接口还可以被配置为i2c接口,i2s接口,uart接口,mipi接口等。
129.usb接口150是符合usb标准规范的接口,具体可以是mini usb接口,micro usb接口,usb type c接口等。usb接口150可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如ar设备等。
130.高清多媒体接口151是一种全数字化视频和声音传输接口,可以传输未压缩的音频及视频信号。hdmi接口可以是hdmi a type接口,hdmi b type接口,hdmi c type接口,hdmi d type接口等。可以通过hdmi高清数据线与其他终端设备连接起来,使得该电子设备100成为其他终端设备的显示器,能够同步播放其他终端设备上的画面和声音。
131.可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本技术另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
132.电源管理模块140接收电源的输入,为处理器110,内部存储器121,外部存储器,显示屏10,摄像头132,和通信模块160等供电。在其他一些实施例中,电源管理模块140也可以设置于处理器110中。
133.电子设备100的通信功能可以通过天线1,网线2,无线通信模块,调制解调处理器以及基带处理器等实现。
134.天线1用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
135.网线2用于有线网络的输入,通过网卡接口连接网络,网卡接口可以是rj-45,bnc,aui。
136.无线通信模块可以提供应用在电子设备100上的包括无线局域网(wireless local area networks,wlan)(如无线保真(wireless fidelity,wi-fi)网络),蓝牙(bluetooth,bt),全球导航卫星系统(global navigation satellite system,gnss),调频(frequency modulation,fm),近距离无线通信技术(near field communication,nfc),红外技术(infrared,ir)等无线通信的解决方案。无线通信模块可以是集成至少一个通信处
理模块的一个或多个器件。无线通信模块经由天线接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线转为电磁波辐射出去。
137.电子设备100通过gpu,显示屏170,以及应用处理器等实现显示功能。gpu为图像处理的微处理器,连接显示屏170和应用处理器。gpu用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个gpu,其执行程序指令以生成或改变显示信息。
138.显示屏170用于显示图像,视频等。显示屏170包括显示面板。显示面板可以采用液晶显示屏(liqu标识crystal display,lcd),有机发光二极管(organic light-emitting diode,oled),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的,amoled),柔性发光二极管(flex light-emitting diode,fled),miniled,microled,micro-oled,量子点发光二极管(quantum dot light emitting diodes,qled)等。在一些实施例中,电子设备100可以包括1个或n个显示屏170,n为大于1的正整数。
139.本技术实施例中,显示面板可采用led、lcd、oled、amoled、fled等实现,使得显示屏170。其中,该显示屏可以是一块屏幕,也可以是多块屏幕拼凑在一起组合成的显示屏,在此不作限定。
140.电子设备100可以通过isp,摄像头132,视频编解码器,gpu,显示屏170以及应用处理器等实现拍摄功能。
141.isp用于处理摄像头132反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给isp处理,转化为肉眼可见的图像。isp还可以对图像的噪点,亮度,肤色进行算法优化。isp还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,isp可以设置在摄像头132中。
142.摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,ccd)或互补金属氧化物半导体(complementary metal-ox标识e-semiconductor,cmos)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给isp转换成数字图像信号。isp将数字图像信号输出到dsp加工处理。dsp将数字图像信号转换成标准的rgb,yuv等格式的图像信号。在一些实施例中,电子设备100可以包括1个或n个摄像头132,n为大于1的正整数。
143.数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
144.视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,mpeg)1,mpeg2,mpeg3,mpeg4等。
145.npu为神经网络(neural-network,nn)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过npu可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
146.外部存储器接口120可以用于连接外部存储卡,例如micro sd卡,实现扩展电子设
备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
147.内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,ufs)等。
148.电子设备100可以通过音频模块180,扬声器183,麦克风182,耳机接口181,以及应用处理器等实现音频功能。例如音乐播放,录音等。
149.音频模块180用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块180还可以用于对音频信号编码和解码。在一些实施例中,音频模块180可以设置于处理器110中,或将音频模块180的部分功能模块设置于处理器110中。
150.扬声器183,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器183收听音乐,或收听通话。电子设备100可以包括1个或n个扬声器193,n为大于1的正整数。
151.麦克风182,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风182发声,将声音信号输入到麦克风182。电子设备100可以设置至少一个麦克风182。在另一些实施例中,电子设备100可以设置两个麦克风182,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个,四个或更多麦克风182,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
152.耳机接口181用于连接有线耳机。耳机接口181可以是usb接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,omtp)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the usa,ctia)标准接口。
153.压力传感器191用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器191可以设置于显示屏170。压力传感器191的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器191,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏170,电子设备100根据压力传感器191检测所述触摸操作强度。电子设备100也可以根据压力传感器191的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于联系人图标时,执行呼叫联系人的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于联系人图标时,执行编辑联系人信息的指令。
154.温度传感器193用于检测温度。在一些实施例中,电子设备100利用温度传感器193
检测的温度,执行温度处理策略。例如,当温度传感器193上报的温度超过阈值,电子设备100执行降低位于温度传感器193附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备100对电源模块加热,以避免低温导致电子设备100异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备100对电源模块140的输出电压执行升压,以避免低温导致的异常关机。
155.触摸传感器192,也称“触控面板”。触摸传感器192可以设置于显示屏170,由触摸传感器192与显示屏170组成触摸屏,也称“触控屏”。触摸传感器192用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏170提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器192也可以设置于电子设备100的表面,与显示屏170所处的位置不同。
156.按键130包括开机键,音量键等。按键130可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
157.指示器131可以是指示灯,可以用于指示电源状态,网络情况,也可以用于指示消息,未接来电,通知等。
158.请参见图2b,图2b示出了本技术实施例示例性提供的电子设备100的软件架构框图。
159.如图2b所示,电子设备软件架构200包括互相隔离的两个运行环境,即富执行环境(rich execution environment,ree)220和可信执行环境(trusted execution environment,tee)210、两个运行环境分别有独立的硬件资源和操作系统。通过硬件资源的隔离技术,例如arm trustzone机制,可以实现ree 220和tee 210的硬件资源的隔离,同时通过虚拟化技术实现ree 220和tee 210操作系统之间,以及应用之间的隔离。这样,tee 210所能访问的软硬件资源时与ree分离的,并且,tee 210对应用程序可访问的数据和功能有严格的限制,使其安全级别满足特定的安全需求。ree 220是tee 210之外的运行环境,相比于tee 210,ree 220的安全性更低,是一个易于被攻击的环境,而运行于ree 220中的应用程序,即目标应用程序,也是被认为是不可信的。
160.运行在tee 210中的应用程序211为可信应用,可信应用程序可以为ree 220中的目标应用程序221或者其他应用程序提供安全相关的功能或服务。在tee 210中运行的可信操作系统(trusted operating system,trusted os)213向可信应用211提供tee内部接口212,可信应用211通过内部接口212来获取安全资源和服务的访问权限,这些安全资源和服务包括但不限于:密钥注入和管理、加密、安全存储、安全时钟、可信用户界面等。本技术实施例中的可信应用211可以存储通过目标应用221获取的用户人脸特征、声纹特征等用户隐私信息,可信应用211还可以根据目标应用221获取的待识别信息与其存储的用户人脸特征、声纹特征信息进行比对,以查找用户身份。
161.富操作系统(rich operating system,rich os)223提供了比可信操作系统213更丰富的特性,富操作系统223非常开放,能够接受各种类型的应用程序,但其安全性也低于可信操作系统213。富操作系统223可以是android、ios等终端操作系统,运行在ree 220中的目标应用程序221可以利用tee提供的外部接口212来请求tee 210中提供的安全服务。例如,需要人脸验证、声纹验证、指纹验证、验证码验证等的场景下,如果涉及用户敏感信息的
输入和显示,ree 220中的目标应用程序221可以通过tee提供的外部接口212来调用tee 210侧可信应用211的服务,以防止ree 220侧的应用对用户敏感信息的恶意程序监听和窃取。
162.目标应用221为本技术实施例提供的视频/语音通话应用程序,目标应用221是为用户提供本地服务的程序,可以是系统级应用程序,也可以是系统上应用程序。这里,该本地服务可包括但不限于:人机交互服务、本地数据采集和维护服务、本地与服务器(图1中第一服务器13或第二服务器14)之间的通信服务等等。例如,目标应用221通过摄像头获取用户人脸图像,识别出目标用户身份,显示目标用户存储的联系人列表,响应目标用户针对一个联系人的呼叫指令,向服务器发送针对该联系人的呼叫请求。
163.关于本技术实施例涉及的ree、tee、rich os、trust os等术语的定义,可以参见全球平台组织(global platform,gp)提出的tee相关标准。
164.需要说明的,图2b所示的电子设备的功能架构仅仅是本技术实施例的一种实现方式,实际应用中,电子设备还可以包括更多或更少的应用程序,这里不作限制。
165.还需要说的是,电子设备也可以采用其他的软件架构,如不区分ree和tee的软件架构。
166.下面分几个过程介绍实施本技术实施例中,目标用户首次使用上述电子设备,对该电子设备的设置等操作。电子设备可以是上述图1中的呼叫设备或接听设备。
167.(一)用户首次使用电子设备
168.目标用户首次打开电子设备,打开目标应用,电子设备显示第一账号的登录界面,如图3所示,登录界面为账号登录界面,包括账号输入框301、密码输入框302和登录控件303。电子设备接收目标用户在上述账号输入框301输入的第一账号和在上述密码输入框302输入的第一密码。电子设备响应于针对上述登录控件输入的用户操作,向第一服务器发送身份验证请求,该请求携带第一账号和第一密码,该请求用于请求第一服务器对第一账号和第一密码进行验证。第一服务器将接收到的第一账号和第一密码与其存储的用户账号信息进行比对,为其存储的用户账号信息时,第一账号登录验证通过,第一服务器向电子设备发送验证结果。
169.其中,第一账号为登录所述电子设备的账号,可以是用户通过购买或注册等方式从服务提供商获取的账号标识,用户可以通过第一账号获取服务提供商提供的服务,例如视频/语音通话。第一密码可以是由用户设置或由服务商提供,该第一密码与第一账号唯一绑定。
170.电子设备接收来自第一服务器的验证结果,若验证结果为通过,显示添加用户界面,如图4所示,添加用户界面包括添加用户控件401,电子设备上存在的其他用户的标志402;若验证不通过,显示提示用户再次输入账号密码的信息,重新显示第一账号的登录界面。
171.目标用户针对添加用户控件输入操作,电子设备添加用户的方式可以包括但不限于以下实现方式:
172.在实现方式1中,电子设备响应于针对添加用户控件输入的用户操作,开启摄像头,并显示采集图像界面,如图5所示,该采集图像界面包括采集区501、提示用户操作等信息502,该采集区包括通过摄像头采集目标用户的人脸图像。电子设备处理通过摄像头获取
的目标用户的人脸图像,提取其中的人脸特征,将该人脸特征作为目标人脸特征,并生成一个目标人脸特征的标识,该目标人脸特征的标识与该目标人脸特征绑定并存储在电子设备中的tee中。电子设备根据该目标人脸特征的标识生成目标用户的标识,该目标人脸特征的标识与目标用户的标识绑定。
173.在实现方式2中,电子设备响应于针对添加用户控件输入的用户操作,开启麦克风,显示采集语音界面,如图6,该界面包括提示用户操作的信息。电子设备通过麦克风采集目标用户语音,提取所述用户语音中的语音特征,将该语音特征作为目标语音特征,并生成一个目标语音特征的标识,该目标语音特征的标识与该目标语音特征绑定并存储在电子设备的tee中。电子设备根据该目标人脸特征的标识生成目标用户的标识,将该目标语音特征的标识与目标用户的标识绑定。
174.在实现方式3中,电子设备可以执行上述两种实现方式1和2,可以是先执行实现方式1后执行实现方式2,也可以是先执行实现方式1后执行实现方式2,并将目标语音特征的标识、目标人脸特征的标识与目标用户的标识绑定。
175.在实现方式4中,电子设备响应于目标用户针对用户添加控件输入的操作,生成一个目标用户的标识。再通过摄像头采集目标用户的人脸图像,提取该人脸图像中的人脸特征,将该人脸特征作为目标人脸特征,并生成一个目标人脸特征的标识与该目标人脸特征绑定并存储在tee中;或通过麦克风采集目标用户的语音,提取语音中的语音特征,将该语音特征作为目标语音特征,生成一个目标语音特征的标识与该目标语音特征绑定并存储在tee中。将上述目标人脸特征的标识或/和目标语音特征的标识与目标用户的标识绑定。
176.其中,人脸特征包括眼睛、鼻子和嘴等面部特征,和其面部特征之间的几何关系,如距离、面积和角度等;语音特征包括与人类的发音机制的解剖学结构有关的声学特征(如频谱、倒频谱、共振峰、基音、反射系数等等)、鼻音、带深呼吸音、沙哑音等特征。每个人都有唯一的人脸特征和唯一的语音特征,目标用户的目标人脸特征和目标语音特征可以用于标识目标用户,可以根据获取的特征信息来识别目标用户,具体的,可以根据通过摄像头获取的人脸图像中人脸特征与目标人脸特征进行比对,也可以根据通过麦克风获取的语音中的语音特征与目标语音特征进行比对,比对结果一致,可以确定当前用户为目标用户。
177.应理解的是,使用该电子设备的每个用户都需根据上述实现方式1-4中任一项或几项进行用户添加,因此,该电子设备中存储多个用户的特征信息的标识与多个用户的标识分别的对应关系,其中,特征信息包括人脸特征、语音特征。
178.还应理解的是,使用该电子设备的用户可以添加名称、头像等信息,并将该名称与其对应的用户的标识绑定,因此,多个用户的标识与多个用户的特征信息的标识、名称等分别具有对应关系,这些对应关系存储在电子设备的存储器中。
179.(二)用户再次使用电子设备
180.请参阅图7a和图7b,图7a和图7b为本实施例提供的两种数据处理的方法的流程图,该方法可以由电子设备执行,该电子设备可以是上述图1中的呼叫设备或接听设备,该电子设备的硬件架构可以是如图2a所示的架构,软件架构可以是如图2b所示的架构。
181.s1、在电子设备通过第一账号处于登录状态的情况下,电子设备获取第一信息。
182.目标用户打开电子设备,需要使用目标应用,电子设备可以获取第一信息,第一信息可以是通过摄像头采集的待识别图像或和/或通过麦克风采集的待识别语音,具体方式
可以是但不限于以下方式:
183.在一种实现方式中,电子设备开启摄像头,并显示如图5所示的采集图像界面。目标用户根据界面中的提示信息如“请正对摄像头,将面部完整移入采集区”进行操作,将人脸对准摄像头,使得面部完整移入采集区。电子设备获取待识别图像,该待识别图像为通过摄像头采集到的目标用户的人脸图像。
184.在一种实现方式中,电子设备开启麦克风,并显示如图6所示的采集语音界面,目标用户根据界面中的提示信息如“请保持环境安静,并说出一段话”进行操作,输出一段语音。电子设备获取待识别语音,该待识别语音为通过麦克风采集到的目标用户输出的语音。
185.在一种实现方式中,目标用户说出一段语音,该段语音中包括意图,如“打开联系人列表”,电子设备获取该段语音为待识别语音。
186.如图7b所示,上述步骤s1可以由电子设备的ree来实现。
187.s2、电子设备提取第一信息中的特征信息。
188.电子设备通过摄像头或麦克风获取的第一信息,第一信息中的特征信息是每个用户独有的特征,用于识别用户的身份,特征信息可以是但不限于人脸特征、语音特征。
189.在一种实现方式中,上述第一信息为通过摄像头获取的待识别图像,上述特征信息为人脸特征。待识别图像中包括人脸图像,提取该人脸图像中的人脸特征,该人脸特征用于和该电子设备tee中存储的多个用户的人脸特征进行比对确定用户身份。
190.在一种实现方式中,上述第一信息为待识别语音,上述特征信息为语音特征。提取待识别语音中的语音特征,该语音特征用于和该电子设备tee中存储的多个用户的语音特征进行比对确定用户身份。
191.如图7b所示,上述步骤s2可以由电子设备的ree来实现。
192.s3、根据存储的多个用户分别对应的特征信息,确定该第一信息中的特征信息对应的目标用户。
193.应理解,电子设备可以通过上述(一)部分中的方法存储多个用户的特征信息,在电子设备提取第一信息中的特征信息后,可以根据存储的多个用户分别对应的特征信息,确定该第一信息中的特征信息对应的目标用户。
194.在一种具体实现中,如图7b所示,s3可以包括如下步骤s31-s34。
195.s31、在ree中的目标应用向在tee中的可信应用发送特征信息。
196.具体的,在ree中目标应用利用如图2b中的tee外部接口来请求在tee中的可信应用提供安全服务,将所提取出的特征信息发送至可信应用。
197.s32、可信应用根据多个特征信息与多个用户的特征信息的标识分别的对应关系,确定该特征信息的标识。
198.可信应用可以通过如图2b中的tee内部接口获取在tee中存储的数据,可信应用将接收到的来自目标应用的特征信息与在tee中存储的多个用户的特征信息进行比对,当目标应用发送的特征信息与目标特征信息比对一致时,确定目标应用发送的特征信息与目标特征信息的标识对应,确定该特征信息的标识为目标特征信息的标识。其中,目标特征信息为存储在tee中的目标用户的特征信息。
199.在一种实现方式中,特征信息为人脸特征,可信应用将该接收到的人脸特征和tee中存储的多个用户的人脸特征进行比对,当该人脸特征与目标人脸特征比对结果一致时,
根据目标人脸特征与目标人脸特征的标识的绑定关系,确定该人脸特征的标识为目标人脸特征的标识。
200.在一种实现方式中,特征信息为语音特征,可信应用将该接收到的语音特征和tee中存储的多个用户的语音特征进行比对,当该语音特征与目标语音特征比对结果一致时,根据目标语音特征与目标语音特征的标识的绑定关系,确定该语音特征的标识为目标语音特征的标识。
201.例如,特征信息为人脸特征,目标人脸特征的标识为1234,如果可信应用比对结果为接收到的人脸特征与目标人脸特征一致,那么该人脸特征的标识为1234。
202.s33、在tee中的可信应用向在ree中的目标应用发送该特征信息的标识。
203.可信应用将在步骤s4中确定的该目标特征信息的标识发送至目标应用,特征信息的标识可以是人脸特征的标识、语音特征的标识。
204.s34、电子设备在ree下根据多个用户的特征信息的标识与多个用户的标识分别的对应关系,确定上述第一信息对应的目标用户。
205.电子设备根据确定的目标特征信息的标识、多个用户的特征信息的标识与多个用户的标识分别的对应关系,在本地存储查找与目标特征信息的标识对应的用户的标识,确定目标特征信息的标识与目标用户的标识对应,确定上述第一信息对应的用户的标识为目标用户的标识,进而可以确定当前用户为目标用户。
206.s4、电子设备根据多个用户分别对应的联系人列表,显示目标用户对应的联系人列表。
207.多个用户共同使用该电子设备,该电子设备中存储多个用户分别对应的联系人列表。电子设备将多个用户的标识对其分别对应的联系人列表进行标记。当通过上述第一信息确定当前用户为目标用户时,电子设备显示目标用户对应的联系人列表。
208.具体的,每个用户将自己的联系人的信息存储在该电子设备中。以目标用户为例,电子设备将目标用户的每个联系人的信息与目标用户的标识进行绑定,使用目标用户的标识对其联系人的信息进行标记。电子设备还可以将用户的联系人设置为隐私联系人,电子设备获取用户对联系人的隐私设置信息,将该隐私设置信息与用户的标识进行绑定。目标用户的所有联系人的信息组成目标用户的联系人列表。
209.在s4之后,目标用户可以对其联系人列表进行管理,如添加联系人、删除联系人、修改联系人信息等。下面分别进行介绍。
210.(1)添加联系人
211.当目标用户需要添加联系人,电子设备接收第一联系人的信息,将第一联系人的信息存储在所述目标用户对应的联系人列表中。其中,电子设备接受第一联系人的信息可以包括但不限于以下实现方式:
212.在一种实现方式中,电子设备可以接收其他设备发送的第一联系人的信息,例如,其他设备如手机,通过手机和该电子设备上的蓝牙或wlan通信将存储在该手机中的第一联系人的信息发送至该电子设备。
213.在另一种实现方式中,电子设备也可以接收用户输入的联系人信息。如图8a-图8b所示的用户界面。
214.如图8a所示,为本技术实施例提供的一种包括目标用户对应的联系人列表的用户
界面的示意性说明图,该用户界面也称为第一用户界面,该第一用户界面包括第一显示区域801、添加联系人控件802、第二显示区域803。其中,该显示区域801用于显示目标用户对应的联系人列表;第二显示区域803用于显示当前摄像头采集的人脸图像,以指示当前使用电子设备的用户。
215.其中,接收用户输入的联系人信息的在一种实现可以是:电子设备响应于目标用户针对添加联系人控件输入的操作,显示第二用户界面,如图8b所示,所述第二用户界面包括联系人输入框804,该联系人输入框804可以包括姓名输入框8041、账号输入框8042、电子邮件输入框8043等。电子设备接收目标用户在上述联系人输入框中输入的第一联系人的信息,将第一联系人的信息与目标用户的标识绑定。其中,第一联系人的信息包括所述第一联系人的账号、名称。
216.可选地,如图8b所示,第二用户界面还可以包括隐私设置控件8044,电子设备响应于目标用户针对所述隐私设置控件输入的操作,获取对第一联系人的隐私设置的指示信息,将该指示信息与目标用户的标识绑定,将所述第一联系人设为隐私联系人并存储在该目标用户的联系人列表中。
217.例如,如图9所示,目标用户在联系人输入框中输入名称为“星星”、账号为“1888888”的联系人的信息,并且针对隐私设置控件输入操作,电子设备响应于针对联系人输入框的操作,将该联系人的信息与目标用户的标识绑定,电子设备响应于针对隐私设置控件输入的操作,获取对该联系人的隐私设置的指示信息,将该信息与目标用户的标识绑定。
218.需要说明的是,电子设备获取的隐私设置的指示信息包括:电子设备响应针对上述隐私设置控件的用户操作,获取的指示信息为“1”或其他标识;第二用户界面中上述隐私设置控件没有接收到用户的输入操作,则电子设备获取的指示信息为“0”或其他标识。
219.在添加联系人之后,电子设备可以再次显示第一用户界面,如图10所示为本技术实施例提供的另一种第一用户界面的示意性说明图。
220.还需要说的是,电子设备可以根据输入的联系人的账号,检测该联系人是否已被电子设备中的其他用户设置为隐私联系人,如果是,输出用于指示该联系人已被设置为隐私联系人的提示信息。
221.应理解,上述图8b中可以不包括隐私设置控件8044,即电子设备不能设置隐私联系人。
222.(2)修改联系人
223.电子设备接收针对目标用户对应的联系人列表中的第二联系人的修改指令,电子设备响应于上述修改指令,在目标用户对应的联系人列表中修改第二联系人的信息。具体的实现方式包括但不限于以下方式:
224.在一种实现方式中,电子设备响应于在上述图10所示的用户界面中针对目标用户对应的联系人列表中的第二联系人“小花”输入的用户操作(如点击操作),显示如图11所示的用户界面,该用户界面包括修改联系人控件1101、显示区域1102和删除联系人控件1501。显示区域1102用于显示第二联系人的信息。电子设备响应于针对该修改联系人控件1101输入的用户操作,生成修改指令,显示如图12所示的用户界面,该用户界面包括联系人输入框1201,该联系人输入框1201中显示当前第二联系人的信息。电子设备接收在上述联系人输
入框1201中修改第二联系人的名称、账号等信息,将修改后的第二联系人的信息保存至目标联系人对应的联系人列表中。例如,将上述图11中“小花”的账号修改为“1555555”。
225.在显示如图10所示的用户界面时,电子设备响应于针对第二联系人的选择控件的长按操作,如图13所示,在图10所示的用户界面中显示一个显示区域1301,该显示区域1301包括修改联系人控件13011和删除联系人控件13012。电子设备响应与针对联系人修改控件13011输入的用户操作,生成修改指令,显示如图12所示的用户界面。
226.需要说明的是,针对以上用户界面中的控件的用户操作可以是但不限于触摸操作、遥控器选择等操作。
227.(3)删除联系人
228.电子设备接收针对目标用户对应的联系人列表中的第三联系人的删除指令,电子设备响应于上述删除指令,从目标用户对应的联系人列表中删除第三联系人的信息。具体的实现方式包括但不限于以下方式:
229.在一种实现方式中,电子设备响应于在上述图10所示的用户界面中针对目标用户对应的联系人列表中的第三联系人“小花”输入的用户操作,显示如图14所示的用户界面,电子设备响应于针对该删除联系人控件1401输入的用户操作,将第三联系人的信息从目标联系人对应的联系人列表中删除。
230.在另一种实现方式中,在显示如图10所示的用户界面时,电子设备响应于针对第三联系人的选择控件的长按的操作,如图13所示,在图10所示的用户界面中显示一个显示区域1301,该显示区域1301包括修改联系人控件13011和删除联系人控件13012。电子设备响应与针对联系人删除控件13012输入的用户操作,在目标用户对应的联系人列表中删除第三联系人的信息。
231.需要说明的是,针对以上各个用户界面中的控件的用户操作可以通过触控屏、鼠标、键盘、软键盘、遥控器、语音控制等实现。
232.(三)呼叫过程
233.下面介绍本技术提供的一种呼叫方法,该呼叫法可以由上述图1所示的系统来实现,可以实现视频通话和/或语音通话等功能。
234.在该呼叫方法的第一种实现中,呼叫设备可以是上述图1中的呼叫设备11、图2a所示的电子设备100,呼叫设备可以已执行上述过程(一)和(二),服务器可以是上述图1中的第二服务器14,接收设备可以是上述图1中的接听设备12。应理解,在如图15所示,该方法可以包括但不限于如下步骤:
235.s1501:呼叫设备显示目标用户对应的联系人列表。
236.在本技术实施例中,呼叫方为账号为第一账号的用户,其使用的电子设备称为呼叫设备。同理,接收方为目标联系人第一账号的用户,该目标联系人为呼叫方需要呼叫的联系人,可以是其呼叫设备的联系人列表中存储的联系人,也可以是输入的联系人,接收方使用的电子设备成为接听设备。
237.在一些实施例中,通过上述步骤s1-s4,呼叫设备可以显示该当前目标用户对应的联系人列表。
238.在一些实施例中,呼叫设备还可以响应于该目标用户发出的用于指示打开联系人列表的语音指令,如“打开通讯录”,通过语音或图像验证用户身份为目标用户后,显示该当
前目标用户对应的联系人列表。
239.s1502:呼叫设备接收针对所述联系人列表中目标联系人的呼叫指令。
240.s1502可以包括但不限于以下方式:
241.在实现方式a中,在s1501之后,呼叫设备可以显示如图10所示的用户界面,电子设备响应于在上述图10所示的用户界面中针对目标用户对应的联系人列表中的目标联系人“小花”输入的用户操作(如点击操作),可以显示如图16所示的用户界面,该用户界面包括修改联系人控件1601、显示区域1602、删除联系人控件1603和呼叫控件1604。其中,修改联系人控件1601、显示区域1602、删除联系人控件1603分别可以参见上述图11中修改联系人控件1101、显示区域1102、删除联系人控件1103相关描述,这里不再赘述。电子设备响应于针对该呼叫控件1604输入的用户操作,生成用于呼叫目标联系人的呼叫指令。
242.在实现方式b中,在s1501之后,呼叫设备可以显示如图17所示的用户界面,如图17所示为本技术实施例提供的另一种包括目标用户对应的联系人列表的用户界面的示意性说明图,该用户界面包括显示区域1701,其中,显示区域1701用于显示目标用户对应的联系人列表,显示区域1701可以包括多个联系人17011以及分别与多个联系人一一对应的多个呼叫控件16012。电子设备响应针对目标联系人对应的呼叫控件输入的用户操作,生成用于呼叫目标联系人的呼叫指令。
243.s1503:呼叫设备响应于所述呼叫指令,向服务器发送针对所述目标联系人的第一呼叫请求,所述第一呼叫请求携带所述第一账号和目标联系人的账号。
244.可选地,该第一呼叫请求还携带目标用户的信息。
245.s1504:服务器接收来自呼叫设备的第一呼叫请求。
246.s1505:服务器根据目标联系人的账号向接听设备发送该第一呼叫请求。
247.其中,接听设备即为已登录目标联系人的账号的电子设备。在服务器接收到接听设备发送在针对该第一呼叫请求的接听指令时,服务器可以建立接听设备与所述呼叫方的通话连接,具体实现可以包括下述s1606-s1608;在服务器在预设时间段内未接收到接听设备发送上述接听指令时,可以向呼叫设备发送用于指示接听设备未接听的提示信息。
248.s1506:接听设备接收第一呼叫请求。
249.s1507:接听设备接收针对所述第一呼叫请求的接听指令。
250.接听设备可以是大屏设备,如电视,也可以是手机、平板电脑、智能手表等小屏设备。
251.在一种实现中,接听设备接收到第一呼叫请求后,以接听设备为大屏设备为例,接听设备可以显示如图18所示的用户界面,该用户界面包括显示区域1801、接听控件1802和挂断控件1803。其中,显示区域用于显示呼叫设备登录的账号(即为第一账号)和/或该第一账号对应的用户信息(如,名称、头像等);电子设备响应于针对接听控件1802输入的用户操作,生成针对该第一呼叫请求的接听指令;电子设备响应于针对挂断控件1803输入的用户操作,生成针对该第一呼叫请求的挂断指令并向服务器发送该挂断指令。服务器在接收到针对所述第一呼叫请求的挂断指令后,可以向呼叫设备发送用于指示接听设备未接听或正在通话中提示信息。
252.在第一呼叫请求还携带目标用户的信息时,上述如图18所示的用户界面的显示区域还可以显示目标用户的信息,如目标用户的昵称、名称等。
253.s1508:接听设备响应于所述接听指令,建立与所述呼叫设备的通话连接。
254.在具体实现中,接听设备向服务器发送用于指示接听该第一呼叫请求的指令,服务器根据所述呼叫方的账号(即为第一账号)和接听方的账号(即为目标联系人的账号)建立呼叫方与所述接听方之间的通话连接。
255.在上述第一呼叫请求为语音呼叫请求时,在建立通话连接后,呼叫设备和接听设备可以开启麦克风采集语音,互相发送采集的到的语音。
256.在上述第一呼叫请求为视频呼叫请求时,在建立通话连接后,呼叫设备和接听设备可以开启麦克风采集语音,同时开启摄像头采集图像,并互相发送采集的到的语音和图像。
257.在该呼叫方法的第二种实现中,呼叫设备可以处于任意的界面,其发送第一呼叫请求的方法与上述第一种实现不同,在第一实现中,呼叫设备通过步骤s1501-s1503实现第一呼叫请求的发送,在第二种实现中,如图19所示,呼叫设备发送第一呼叫请求的具体实现可以包括但不限于如下步骤:
258.s1901:在呼叫设备通过第一账号处于登录状态的情况下,呼叫设备通过麦克风采集获取待识别语音。
259.呼叫设备通过上述过程(一),可以登录第一账号,在呼叫设备中添加多个用户,各个用户可以存储自己的联系人列表,也就是说呼叫设备存储了多个用户分别对应的特征信息和该多个用户分别对应的联系人列表,上述特征信息至少包括语音特征,上述联系人列表包括至少一个联系人的名称、账号。
260.s1902:呼叫设备提取该待识别语音的语音特征,根据存储的多个用户分别对应的语音特征确定该提取到的语音特征对应的目标用户。
261.s1903:呼叫设备识别所述待识别语音的意图。
262.具体实现中,可以通过语音文本转换器将待识别语音转换为文本,进而将转换得到的文本输入到用于意图识别的模型,以输出待识别语音的意图。
263.s1904:呼叫设备在识别到的意图为呼叫意图时,获取语音信息中的联系人的名称。
264.在具体实现中,可以命名实体识别技术来识别转换得到的文本中的人名、称呼等名称。
265.s1905:呼叫设备确定目标联系人的账号为在目标用户对应的联系人列表中获取到的联系人的名称对应的账号。
266.s1906:呼叫设备响应于该呼叫意图,向服务器发送用于呼叫所述目标联系人的第一呼叫请求,第一呼叫请求携带第一账号和目标联系人的账号。
267.应理解,在s1906之后,该呼叫方法的第二种实现同上述呼叫方法的第一种实现,这里不再赘述。
268.(四)接听过程
269.下面介绍本技术提供的一种接听方法,该接听方法可以由上述图1所示的系统来实现,可以实现视频通话和/或语音通话等功能。
270.在该接听方法的第一种实现中,呼叫设备可以是上述图1中的呼叫设备11服务器可以是上述图1中的第二服务器14,接收设备可以是上述图1中的接听设备12、上述图2a所
示的电子设备100,接听设备可以已执行上述过程(一)。应理解,在如图20所示,该方法可以包括但不限于如下步骤:
271.s2001:呼叫设备向接听设备发送第二呼叫请求,第二呼叫请求用于指示呼叫第一账号。
272.在一些实施例中,呼叫设备可以是大屏设备,其发送第二呼叫请求的具体实现可以参见上述过程(三)中发送第一呼叫请求的具体实现。
273.在一些实施例中,呼叫设备可以是手机、平板电脑等小屏设备,其发送第二呼叫请求的具体实现是:呼叫设备可以响应于接收到的针对通讯录中目标用户的呼叫操作,向接听设备发送第二呼叫请求。
274.应理解,呼叫设备是向服务器发送第二呼叫请求,服务器接收来自呼叫设备的第二呼叫请求,第二呼叫请求用于指示呼叫第一账号,服务器根据第一账号向接听设备发送该第二呼叫请求。
275.s2002:接听设备接收来自呼叫方的第二呼叫请求。
276.s2003:接听设备接收针对第二呼叫请求的接听指令。
277.在s2003的第一种实现中,在电子设备接收来自呼叫方的第二呼叫请求,第二呼叫请求携带呼叫方的账号。电子设备显示如图23所示的可接听界面,该界面包括显示区域2301、接听控件2302、挂断控件2303。显示区域2301用于显示呼叫方的信息(如,名称、头像等)。电子设备根据接收到的针对接听控件2302输入的用户操作生成接听指令。电子设备响应于针对挂断控件2303输入的用户操作,生成针对该第二呼叫请求的挂断指令并向服务器发送该挂断指令。
278.在s2003的第二种实现中,如图21所示,接听设备接收针对第二呼叫请求的接听指令具体实现可以包括但不限于如下步骤:
279.s20031:根据所述多个用户分别对应的联系人列表和所述呼叫方的账号判断所述呼叫方是否为隐私联系人。其中,第二呼叫请求携带所述呼叫方的账号,联系人列表包括至少一个联系人的账号和用于指示所述至少一个联系人分别是否为隐私联系人的指示信息。
280.在呼叫方为隐私联系人时,接听设备可以执行s20032,在所述呼叫方不是隐私联系人时,接听设备可以执行s20036,
281.s20032:在呼叫方为隐私联系人时,确定呼叫方对应的用户。
282.当电子设备根据获取的该呼叫方的信息中包括设为隐私联系人的指示信息时,确定呼叫方为隐私联系人。电子设备根据多个用户的联系人的信息分别与多个用户的标识的对应关系,确定呼叫方对应的用户。电子设备显示接听界面,如图22所示,该界面包括显示区域2201、接听控件2202和挂断控件2203,其中,接听控件2202处于不可使用状态。显示区域2201中包括(如,名称,头像等)呼叫方的信息,显示区域2201还可以包括提示目标用户进行身份验证的提示信息,在一些实施例中,该提示信息还可以通过扬声器播放。
283.s20033:获取第二信息。
284.其中,第二信息可以是通过摄像头采集的待识别图像或和/或通过麦克风采集的待识别语音,具体方式可以是但不限于以下方式:
285.在一种实现方式中,电子设备开启摄像头,并显示如图5所示的采集图像界面。用户根据界面中的提示信息如“请正对摄像头,将面部完整移入采集区”进行操作,将人脸对
准摄像头,使得面部完整移入采集区。电子设备获取待识别图像,该待识别图像为通过摄像头采集到的用户的人脸图像。
286.在一种实现方式中,电子设备开启麦克风,并显示如图6所示的采集语音界面,用户根据界面中的提示信息如“请保持环境安静,并说出一段话”进行操作,输出一段语音。电子设备获取待识别语音,该待识别语音为通过麦克风采集到的用户输出的语音。
287.s20034:提取所述第二信息中的特征信息。
288.应理解,电子设备可以通过上述(一)部分中的方法存储多个用户的特征信息,在电子设备提取第二信息中的特征信息后,可以根据存储的多个用户分别对应的特征信息,确定该第二信息中的特征信息对应的用户。其中,特征信息用于识别用户的身份,特征信息可以是但不限于人脸特征、语音特征,特征信息的描述可参见上述(二)部分中的s2。
289.s20035:在根据所述多个用户分别对应的特征信息确定所述第二信息中的特征信息对应的用户为所述呼叫方对应的用户时,显示可接听界面,如图23所示,接听控件2302由不可使用状态转变为可使用状态。
290.s20036:电子设备响应于针对接听控件2302输入的用户操作生成接听指令。
291.s2004:接听设备响应于上述接听指令,建立与呼叫方的通话连接。
292.应理解,接听设备是向服务器发送上述用于指示接听的指令,服务器根据所述呼叫方的账号和接听方的账号(即为第一账号)建立呼叫方与所述接听方之间的通话连接。具体的通话方式可以参见上述(三)中的s1508所述的方法,此处不再赘述。
293.本技术实施还提供一种服务器,如图24所示,图24为本技术实施例所提供的一种服务器的结构框图,可以是图1所示的系统中的第二服务器,包括一个或多个处理器2401、一个或多个存储器2402和通信接口2403,一个或多个存储器2402用于存储计算机指令,一个或多个处理器2401用于运行所述一个或多个存储器存储的计算机指令实现上述过程(二)、(三)和(四)中服务器实现的方法。
294.上述实施例中所用,根据上下文,术语“当

时”可以被解释为意思是“如果
…”
或“在

后”或“响应于确定
…”
或“响应于检测到
…”
。类似地,根据上下文,短语“在确定

时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定
…”
或“响应于确定
…”
或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。
295.在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如dvd)、或者半导体介质(例如固态硬盘)等。
296.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程
可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:rom或随机存储记忆体ram、磁碟或者光盘等各种可存储程序代码的介质。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献