基于用户声纹的信息处理方法、存储介质及电子设备与流程

1.本发明属于信息处理的技术领域，涉及一种信息处理方法，特别是涉及一种基于用户声纹的信息处理方法、存储介质及电子设备。


背景技术：

2.随着电子科技的不断发展，用户所用的电子设备功能越来越丰富，从一定程度上也带动了用户的消费，改变了用户的生活方式，尤其是通过电子设备进行的网上消费与个人应用。例如，用户可以通过电子设备进行网上购物、网上飞机票与火车票的预约、酒店预约、网上投资及网上休闲娱乐等。常见的操作方式需要用户注册一账户，基于该账户进行个人操作。然而，有些电子设备开机启动后自动登录该账户，或用户忘记设置手动启动，或用户忘记关闭账户，此时，若使用该电子设备的用户非该账户对应的用户，则容易暴露用户的隐私问题。
3.另一方面，当其他用户借用某一用户的电子设备进行相关应用时，海量的信息无法使其他用户快速找到适合自己偏好的信息，从而在信息浏览上花费了较多时间，体验较差。
4.因此，如何提供一种基于用户声纹的信息处理方法、存储介质及电子设备，以解决现有技术无法在显示用户的各类账户信息时使待显示信息符合不同用户的应用需求等缺陷，成为本领域技术人员亟待解决的技术问题。


技术实现要素：

5.鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于用户声纹的信息处理方法、存储介质及电子设备，用于解决现有技术无法在显示用户的各类账户信息时使待显示信息符合不同用户的应用需求的问题。
6.为实现上述目的及其他相关目的，本发明一方面提供一种基于用户声纹的信息处理方法，所述基于用户声纹的信息处理方法包括以下步骤：对获取的用户声纹进行声纹识别；基于声纹识别的结果确定所述用户声纹所属的用户身份；确定与所述用户身份对应的待显示信息；呈现所述待显示信息，以使所述待显示信息符合不同用户的应用需求。
7.为实现上述目的及其他相关目的，本发明另一方面提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的基于用户声纹的信息处理方法。
8.为实现上述目的及其他相关目的，本发明最后一方面提供一种电子设备，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行所述的基于用户声纹的信息处理方法。
9.如上所述，本发明所述的基于用户声纹的信息处理方法、存储介质及电子设备，具有以下有益效果：
10.本发明可以在显示用户的各类账户信息时使待显示信息符合不同用户的应用需
求。
11.本发明一方面相比传统电子设备，整个电子设备可以仅提供一个显示账户，并将显示的账户关联到语音发出者的个人信息，无需手动切换账户即可保护每一个关联用户的隐私。
12.本发明另一方面可以根据用户声纹的识别，确定用户身份，进而确定该用户的用户偏好，并智能地向该用户呈现于其偏好一致的信息，节省了较多不必要的检索时间。
13.本发明另一方面可以通过车机对用户声纹进行识别，进而在不同用户使用该车辆时，只显示当前语音交互的用户权限范围内的信息。
14.本发明另一方面可以通过车机对车内的多个用户进行声纹识别，然后通过不同的车内显示屏向不同用户呈现对应的显示信息。
15.本发明另一方面可以将声纹识别结合屏下指纹识别与人脸识别等生物特征识别方法，对登录账户的用户进行多层身份验证，以最大程度的保护不同用户的隐私。
附图说明
16.图1显示为本发明的基于用户声纹的信息处理方法于一实施例中的原理流程图。
17.图2显示为本发明的基于用户声纹的信息处理方法于一实施例中的声纹识别流程图。
18.图3显示为本发明的基于用户声纹的信息处理方法于一实施例中的用户身份确定示意图。
19.图4显示为本发明的基于用户声纹的信息处理方法于一实施例中的显示信息呈现方式示意图。
20.图5显示为本发明的电子设备于一实施例中的结构连接示意图。
21.图6显示为本发明的电子设备为车机时于一实施例中的显示信息呈现方式示意图。
22.图7显示为本发明的电子设备为车机时于一实施例中的一种呈现方式示意图。
23.图8显示为本发明的电子设备为车机时于一实施例中的另一种呈现方式示意图。
24.元件标号说明
[0025]5ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
电子设备
[0026]
51
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
处理器
[0027]
52
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
存储器
[0028]
s11～s14
ꢀꢀꢀꢀꢀꢀꢀꢀ
步骤
具体实施方式
[0029]
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0030]
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构
想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
[0031]
本发明所述的基于用户声纹的信息处理方法主要通过声纹识别用户身份，进而根据用户身份进行信息显示，有效解决了不同用户信息显示时存在的隐私问题。
[0032]
以下将结合图1至图8详细阐述本实施例的一种基于用户声纹的信息处理方法、存储介质及电子设备的原理及实施方式，使本领域技术人员不需要创造性劳动即可理解本实施例的基于用户声纹的信息处理方法、存储介质及电子设备。
[0033]
请参阅图1，显示为本发明的基于用户声纹的信息处理方法于一实施例中的原理流程图。如图1所示，所述基于用户声纹的信息处理方法具体包括以下几个步骤：
[0034]
s11，对获取的用户声纹进行声纹识别。
[0035]
请参阅图2，显示为本发明的基于用户声纹的信息处理方法于一实施例中的声纹识别流程图。s11包括以下步骤：
[0036]
s111，由用户的语音数据中获取所述用户声纹。
[0037]
于实际应用中，响应于用户成功进行账户登录，由用户的语音数据中获取所述用户声纹。
[0038]
具体地，假设有用户登录了，但是在说话过程中提取说话的声音特征，通过实时声纹检测时，发现不是登录的本人，则不会将登录者本人的隐私信息暴露给说话者。
[0039]
s112，针对所述用户声纹进行特征提取，以确定所述用户对应的声纹特征。
[0040]
具体地，由用户声纹中提取出计算机可以识别的声纹特征，所述声纹特征至少包括：(1)声学特征(例如倒频谱)；(2)词法特征(说话人相关的词n-gram，音素n-gram)；(3)韵律特征(利用n-gram描述的基音和能量“姿势”)，其中，n-gram是大词汇连续语音识别中常用的一种语言模型；(4)语种、方言和口音信息中的一种。
[0041]
s113，将所述声纹特征与预存的不同用户的声纹信息进行匹配。
[0042]
于一实施例中，将检测到的声纹特征与预存的不同用户的声纹信息中的同一数学指标进行比对，若两者差距在预设范围内，则认为匹配一致，若两者差距超出预设范围，则认为匹配不一致。进一步地，还可以结合多个数学指标进行比对，并分别赋予一定的权重，最终综合分析得到匹配结果。
[0043]
于另一实施例中，根据预存的不同用户的声纹信息训练出一声纹自动识别模型，该声纹自动识别模型可以识别上述的声纹特征。将检测到的声纹特征输入训练完成的声纹自动识别模型中，则可以实现与声纹相关的用户身份识别。
[0044]
于实际的匹配过程中，可以通过最近邻方法、隐式马尔可夫模型等匹配方式实现匹配。其中，最近邻方法是指预存的不同用户的声纹信息在训练时保留所有特征矢量，在检测的声纹特征进行识别时对每个检测矢量都找到训练矢量中最近的k个，据此进行识别，其中，k是指根据最接近的程度排列后取值的数目，可以根据实际的匹配需求进行适当调整。
[0045]
s114，结合匹配情况生成所述声纹识别的结果。
[0046]
于一实施例中，s114包括以下步骤：
[0047]
(1)响应于所述声纹特征与预存的其中一个用户的声纹信息一致，确定所述声纹特征源自该用户。
[0048]
(2)响应于所述声纹特征与预存的所有用户的声纹信息均不一致，确定所述声纹特征源自新用户。
[0049]
(3)响应于所述声纹特征源自新用户，向已注册的至少一个用户发送新用户提示信息，以通过已注册的用户对所述新用户进行身份验证。
[0050]
请参阅图3，显示为本发明的基于用户声纹的信息处理方法于一实施例中的用户身份确定示意图。如图3所示，用户在语音交互过程中发出语音，由此检测该用户的声纹，由预存的用户声纹与账户的对应关系中查找该用户的声纹。例如，将用户a声纹对应用户a账户、用户b声纹对应用户b账户、用户c声纹对应用户c账户等关联信息进行预先存储或预先训练。若是检测到用户b声纹，则在预先存储的内容中获取用户b账户信息，进而呈现账户b信息。若未检测到预存用户的声纹，则判定为新用户。于实际应用中，可以针对新用户进行多种灵活处理，例如，将新用户登录账户的提示信息发送至已注册的用户，以便已注册的用户查看新用户的身份，若是熟悉的人员，则可以通过验证，对新用户的声纹信息进行注册及存储，进而对新用户接下来的操作记录进行存储，以便新用户后续登录时查看自己的操作记录。若是不熟悉的人员，则通过该提示信息使已注册的用户得知账户存在异常登录的风险。
[0051]
结合图3，于实际应用中，用户b登录账户发出语音“我要继续订酒店”，在声纹检测后确定为用户b声纹，进而获取用户b账户信息，呈现用户b对应的酒店信息，以此，用户b可以进行后续的酒店预订操作。
[0052]
于一实施例中，对获取的多个所述用户声纹进行声纹识别，以确定多个用户身份后，分别向不同的用户显示自身权限内对应的待显示信息。
[0053]
具体地，当多个用户在同一空间内进行语音交互时，用户可能存在同时发出语音的情况，以便查看自己界面上呈现的信息。此时，每一个用户分别对应一个显示界面，多用户同时发出语音时，检测到一个多语音的混合信号，通过盲信号分离从获取的混合信号估计出源信号。采用独立分量分析的方法，将接收到的混合信号按照统计独立的原则通过优化算法分解为若干独立分量，并将独立分量作为源信号的一种近似估计，由此，每个用户的声纹信息被近似估计出来，以进行后续的声纹识别与用户身份的确定。
[0054]
进一步地，当每个用户的声纹信息被近似估计出来以后，还可以通过人脸识别、指纹识别等多种生物特征识别方式对估计出来的用户声纹作出进一步的验证，以确保用户声纹与用户对应关系的准确性。
[0055]
s12，基于声纹识别的结果确定所述用户声纹所属的用户身份。
[0056]
s13，确定与所述用户身份对应的待显示信息。
[0057]
请参阅图4，显示为本发明的基于用户声纹的信息处理方法于一实施例中的显示信息呈现方式示意图。如图4所示，在用户身份确认之后，呈现于用户身份对应的待显示信息。所述对应可以是用户与自身账户中操作记录信息的对应，也可以是用户与自身偏好信息的对应。由此，一方面在呈现待显示信息时，可以根据声纹特征进行账户信息的显示；另一方面在呈现待显示信息时，可以根据用户身份下对应的用户偏好类别，进行同一类别的偏好信息显示。
[0058]
进一步地，在用户身份确认之后，若用户身份为注册账户的本人，结合电子设备的定位，向该用户呈现预设时间段内使用过该账户的所有用户、所有用户登录该账户的时间
及地点，以便账户本人对自己账户的登录及应用情况有一个基本的了解。
[0059]
于一实施例中，s13包括：响应于所述声纹特征与预存的其中一个用户的声纹信息一致，显示与所述声纹特征对应的待显示信息，且隐藏与所述声纹特征无关的信息。
[0060]
于另一实施例中，s13包括：所述确定与所述用户身份对应的待显示信息包括以下步骤：
[0061]
(1)查找与所述用户身份对应的用户偏好。所述用户偏好可以是用户喜欢的信息类别还可以是用户个人的生理特征相关的信息。
[0062]
(2)调取与所述用户偏好相同的信息，并将其作为所述待显示信息。
[0063]
具体地，当用户偏好为用户喜欢的信息类别时，调取与所述用户喜欢的信息类别一致的信息并进行显示，实现了智能地向该用户呈现于其偏好一致的信息，节省了较多不必要的检索时间。
[0064]
具体地，当所述用户偏好为用户个人的生理特征相关的信息时，通过上述声纹特征的各种指标可以反映用户的声音特点，例如鼻音、沙哑音或方言。当通过指纹识别或人脸识别确定用户身份后，进一步声纹识别时识别出该用户的声音带有鼻音或为沙哑音，与预存的该用户的声纹信息不一致时，初步判定用户可能患有感冒，向该用户主动推荐并显示附近药店的信息，以便用户确认是否前往推荐地点购买感冒药还是用户自身嗓音特点即为沙哑音，以通过本发明向用户提供较多的人文关怀，提升用户的人机交互体验。当识别出用户的声音为某种方言时，向该用户主动推荐并显示与该方言相关的购物信息、社交信息或音视频信息等。
[0065]
进一步地，当通过指纹识别或人脸识别确定用户身份后，进一步声纹识别时识别出该用户的声音带有鼻音或为沙哑音，与预存的该用户的声纹信息不一致，并且通过语音识别检测出用户时常有咳嗽声，则判定用户可能患有感冒，向该用户主动推荐并显示附近药店的信息或通过语音提示“主人，您感冒了，请注意添加衣物或请服用感冒药”。
[0066]
s14，呈现所述待显示信息，以使所述待显示信息符合不同用户的应用需求。
[0067]
具体地，所述待显示信息可以包括：购物、个人嗜好、投资、行踪等所有与个人隐私相关的、属于私人的排他性的不愿为他人知晓或干涉的信息。
[0068]
于一实施例中，在s12之后，在s13之前，基于用户声纹的信息处理方法还包括以下步骤：结合用户的非声纹形式的生物特征进行所述用户身份的辅助识别。
[0069]
具体地，针对非声纹形式的生物特征进行辅助识别可以是结合屏下指纹识别、人脸识别、虹膜识别或签字识别等生物特征识别方式，对登录账户的用户进行多层身份验证，以最大程度的保护不同用户的隐私。
[0070]
具体地，先进行屏下指纹识别和/或人脸识别，再进行声纹识别：当账户自动登录后并不显示账户中的具体记录，用户可能通过触控操作进行功能选择与查看，此时进行屏下指纹的识别，并产生语音提示或界面文字提示“请进行声纹验证”，用户发出语音后，对该用户的声纹进行识别，当屏下指纹识别结果与声纹识别结果一致，即确定的是同一用户后，向该用户呈现与其权限范围内对应的显示信息。
[0071]
具体地，先进行声纹识别再进行屏下指纹识别和/或人脸识别：当多个用户同时进行语音交互时，通过盲源分离将多个用户的声纹信息分离出来，进一步地，在显示信息之前，产生语音提示或界面文字提示“请进行指纹/人脸识别”，由此，对分离出的声纹信息作
出进一步验证。
[0072]
因账户信息登录有多种方式，如声纹、密码等，而登录了账户的不一定操作过程就是本人发出的，由此本发明在登录后再做一层隐私判断，现有电子设备例如传统手机账户登录后，操作时就没法确定是不是本人，而语音交互过程，可以实时确认是不是本人，也就是说发现说话者不是登录者本人时，要将登录者的隐私信息隐藏，然后采用说话者的隐私信息展示。
[0073]
本发明所述的基于用户声纹的信息处理方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。
[0074]
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述基于用户声纹的信息处理方法。
[0075]
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的计算机可读存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的计算机存储介质。
[0076]
请参阅图5，显示为本发明的电子设备于一实施例中的结构连接示意图。如图5所示，本实施例提供一种电子设备5，包括：处理器51及存储器52。所述存储器52用于存储计算机程序，所述处理器51用于执行所述存储器存储的计算机程序，以使所述电子设备5执行基于用户声纹的信息处理方法的各个步骤。
[0077]
上述的处理器11可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(alication specific integrated circuit，简称asic)、现场可编程门阵列(field programmable gatearray，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0078]
上述的存储器12可能包含随机存取存储器(random access memory，简称ram)，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。
[0079]
于实际应用中，所述电子设备可以是包括存储器、存储控制器、一个或多个处理单元(cpu)、外设接口、rf电路、音频电路、扬声器、麦克风、输入/输出(i/o)子系统、显示屏、其他输出或控制设备，以及外部端口等组件的计算机；所述计算机包括但不限于如台式电脑、笔记本电脑、平板电脑、智能手机、智能电视、个人数字助理(personal digital assistant，简称pda)等个人电脑，所述电子设备还可以是车机端或是智能眼镜、智能手表或其他可穿戴设备。在另一些实施方式中，所述电子设备还可以是服务器，所述服务器可以根据功能、负载等多种因素布置在一个或多个实体服务器上，也可以是由分布的或集中的服务器集群构成的云服务器，本实施例不作限定。
[0080]
于一实施例中，所述电子设备为车机端，所述车机端用于对获取的用户声纹进行声纹识别；基于声纹识别的结果确定所述用户声纹所属的用户身份；确定与所述用户身份对应的待显示信息；呈现所述待显示信息，以使所述待显示信息符合不同用户的应用需求。需要说明的是，当所述基于用户声纹的信息处理方法的执行主体为车机端时，可以在不超出车机端硬件存储条件的情况下，将用户声纹、用户身份及待显示信息建立对应关系后预
先存储至车机端本地，以便车机端在识别用户身份后，调取自身存储的相应的待显示信息。
[0081]
请参阅图6，显示为本发明的电子设备为车机时于一实施例中的显示信息呈现方式示意图。如图6所示，车机中有的包括一个车载显示屏，有的包括驾驶座显示屏、副驾驶显示屏以及后排座椅显示屏。由此，待显示信息的呈现方式也不同，可以是多用户在同一车机内的同一车载显示屏上进行不同时段的操作，此时，显示当前进行语音交互和操作的用户的信息；还可以是多个用户同时在车机内不同显示屏上进行语音交互，此时，多个用户对应的账户信息可以同时显示在不同屏幕上，以使不同用户分别查看自己权限内的显示信息，互不干扰，且不会侵犯其他用户的隐私。通过声纹识别进行账户信息的显示，免去了不同用户使用不同账户时需重新登录、重新验证的繁琐操作，实现账户的无感切换与信息的无感显示与安全显示。
[0082]
请参阅图7，显示为本发明的电子设备为车机时于一实施例中的一种呈现方式示意图。如图7所示，该车辆为某老板的车辆，用户a为老板，上午用车时登录账号进行相关应用，此时显示老板的相关信息，如行程信息、酒店信息或购物信息等。用户b为老板的司机，下午需要用老板的车，车辆启动后登录老板的账号，则司机在进行语音交互时，车载显示屏上显示的是与司机这一身份关联的显示信息，隐藏老板于该账户下的应用信息。
[0083]
请参阅图8，显示为本发明的电子设备为车机时于一实施例中的另一种呈现方式示意图。如图8所示，用户a与用户b同时对某一物品感兴趣，需要通过车载显示屏进行操作及购买，用户a在驾驶座购物，用户b在副驾驶购物，用户a购物时驾驶座显示屏上显示的是用户a之前的购物信息，用户b购物时副驾驶显示屏上显示的用户b之前的购物信息。现有技术是对车内登录时统一设置开关隐私模式，无法做到本发明所实现的通过一个主机，两个不同人同时操作屏幕，而显示不一样的个人信息。具体地，即使用户a与用户b同时发出语音，因语音发出的方位不同，根据盲源分离将不同方位声音分隔出来，以此将用户a与用户b的声纹剥离出来，进而根据用户a与用户b的声纹信息确定用户a与用户b的身份。
[0084]
于另一实施例中，所述电子设备为车机端与云服务器共同构成的系统设备。所述车机端向用户提供一app(application，应用程序)，用户通过在app界面操作进行账户登录及信息查看。所述车机端通过车上麦克风获取用户声纹并上传至云服务器以及接收云服务器回传的待显示信息后呈现所述待显示信息；所述云服务器用于对获取的用户声纹进行声纹识别；基于声纹识别的结果确定所述用户声纹所属的用户身份；确定与所述用户身份对应的待显示信息。在本实施例中，将用户声纹、用户身份及待显示信息建立对应关系后预先存储至云服务器，用户声纹的识别及用户身份的判断由云服务器执行，然后调取云服务器自身存储的相应的待显示信息或云服务器与第三方消费、服务网站关联后获取的待显示信息，并将其发送至车机端，借用车机端的app界面进行显示。
[0085]
综上所述，本发明所述基于用户声纹的信息处理方法、存储介质及电子设备可以在显示用户的各类账户信息时使待显示信息符合不同用户的应用需求。相比传统电子设备，整个电子设备可以仅提供一个显示账户，并将显示的账户关联到语音发出者的个人信息，无需手动切换账户即可保护每一个关联用户的隐私。可以根据用户声纹的识别，确定用户身份，进而确定该用户的用户偏好，并智能地向该用户呈现于其偏好一致的信息，节省了较多不必要的检索时间。可以通过车机对用户声纹进行识别，进而在不同用户使用该车辆时，只显示当前语音交互的用户权限范围内的信息。可以通过车机对车内的多个用户进行
声纹识别，然后通过不同的车内显示屏向不同用户呈现对应的显示信息。可以将声纹识别结合屏下指纹识别与人脸识别，对登录账户的用户进行多层身份验证，以最大程度的保护不同用户的隐私。本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
[0086]
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。