文字输入方法、电子设备及计算机可读存储介质与流程

1.本技术涉及人工智能(artificial intelligence，ai)领域，尤其涉及一种文字输入方法、电子设备及计算机可读存储介质。


背景技术：

2.移动互联网用户以及市场规模的不断扩大，为手机输入法的快速发展奠定了基础，手机输入法在最初的拼音输入的基础上增加了五笔、手写、语音输入等多种方式，目前，拼音输入仍是用户使用最多的输入方式，其次是手写输入，最后是语音输入。由于语音输入的速度最快，越来越多的用户选择语音输入的方式。但是在一些场景下，例如在噪杂环境下、用户不方便发出较大声音的隐私环境下，语音识别的准确率较低，从而导致采用语音输入方式进行文字输入的准确率降低。


技术实现要素：

3.本技术提供一种文字输入方法、电子设备及计算机可读存储介质，可以在用户不方便进行语音输入的情况下，提高文字输入的准确率。
4.为达到上述目的，本技术采用如下技术方案：
5.第一方面，提供一种文字输入方法，包括：在检测到用户的文字输入操作时，获取所述用户的唇部变化信息以及所述用户输入的字符信息，所述唇部变化信息包括所述用户在说出待输入的文字时的唇部特征序列；根据所述唇部特征序列以及所述字符信息确定所述用户待输入的文字。
6.上述实施例中，在检测到用户的文字输入操作时，获取用户的唇部变化信息以及用户输入的字符信息，唇部变化信息包括用户在说出待输入的文字时的唇部特征序列，根据唇部特征序列以及字符信息确定用户待输入的文字。由于根据用户输入的字符信息确定出的待输入的文字的准确率较高，将唇部特征序列与字符信息结合确定待识别的文字，可以在用户不方便进行语音输入的情况下，提高文字输入的准确率。
7.在第一方面的一种可能的实现方式中，所述获取所述用户的唇部变化信息，包括：
8.通过摄像头采集包含所述用户的嘴唇区域的图像序列，从所述图像序列的每张图像中提取唇部特征，获得唇部特征序列。在用户进行文字输入时，电子设备即开启摄像头采集嘴唇区域的图像，在用户完成唇语输入后，即完成图像采集，唇语输入和字符信息的输入可以同步进行，不影响文字输入效率。从图像序列中获取的唇部特征序列可以较好的反映用户唇部形状的变化信息，准确率较高，再根据准确率较高的唇部特征序列确定用户待输入的文字，提高了文字输入的准确率。
9.在第一方面的一种可能的实现方式中，所述获取所述用户的唇部变化信息，包括：
10.发射无线信号，并获取反射信号序列，其中所述反射信号序列中的反射信号是所述无线信号在碰到障碍物后反射回来的信号；根据所述反射信号序列确定障碍物，若所述障碍物为嘴唇，则从所述反射信号序列的每个反射信号中提取唇部特征，获得唇部特征序
列。由于无线信号对环境的要求较低，例如，不受外界光线的影响，因此，采用无线信号获得唇部特征序列，可以提高电子设备的应用范围。
11.在第一方面的一种可能的实现方式中，所述字符信息包括所述用户待输入的文字的第一首字母。由于只输入首字母时，输入速度较快，因此，根据唇部特征序列以及首字母确定用户待输入的文字具有较高的输入效率。
12.在第一方面的一种可能的实现方式中，所述根据所述唇部特征序列以及所述字符信息确定所述用户待输入的文字，包括：
13.确定所述唇部特征序列对应的文字序列；根据所述第一首字母，对所述文字序列进行纠正处理，获得至少一个纠正后的候选文字序列；从所述候选文字序列中确定概率最大的候选文字序列，将所述概率最大的候选文字序列作为所述用户待输入的文字。由于根据唇部特征序列可以确定出多个文字序列，确定出的多个文字序列中，会存在错误的文字序列，因此，采用第一首字母对文字序列进行纠错，可以提高文字输入的准确率，且可以缩小候选文字序列的数量，进而减少后续确定待输入文字的计算量，提高计算速度。
14.在第一方面的一种可能的实现方式中，所述根据所述第一首字母，对所述文字序列进行纠正处理，获得至少一个纠正后的候选文字序列，包括：
15.提取所述文字序列中每个文字的第二首字母；将提取的所述第二首字母与所述第一首字母进行匹配；若存在不匹配的第二首字母，则将所述不匹配的第二首字母替换为对应的第一首字母，得到替换后的至少一个文字序列，将所述替换后的文字序列作为所述候选文字序列。采用首字母替换的方法，可以纠正根据唇部特征序列确定出的文字序列，提高文字输入效率。
16.在第一方面的一种可能的实现方式中，所述若存在不匹配的第二首字母，则将所述不匹配的第二首字母替换为对应的第一首字母，得到替换后的至少一个文字序列，包括：
17.若存在不匹配的第二首字母，且存在与对应的第一首字母的关联的字母，则将所述不匹配的第二首字母替换为对应的第一首字母，以及将所述不匹配的第二首字母替换为关联的字母，得到替换后的至少一个文字序列。由于用户输入的首字母也可能存在输入错误的情况，因此，根据与第一首字母关联的字母确定替换后的文字序列，可以防止丢失有用信息，提高文字输入的准确率。
18.在第一方面的一种可能的实现方式中，所述确定所述唇部特征序列对应的文字序列，包括：
19.将所述唇部特征序列输入训练后的唇语识别模型，获得所述唇语识别模型输出的文字序列，所述唇语识别模型用于识别唇部特征对应的文字，所述唇语识别模型是基于唇部特征，以及唇部特征对应的文字作为训练样本训练得到的。由于唇语识别模型是根据训练样本训练得到的，具有通用性，因此，采用唇语识别模型识别文字序列，提高了输出的文字序列的准确度。
20.第二方面，提供一种文字输入装置，包括：
21.获取模块，用于在检测到用户的文字输入操作时，获取所述用户的唇部变化信息以及所述用户输入的字符信息，所述唇部变化信息包括所述用户在说出待输入的文字时的唇部特征序列；
22.处理模块，用于根据所述唇部特征序列以及所述字符信息确定所述用户待输入的
文字。
23.在第二方面的一种可能的实现方式中，所述获取模块具体用于：
24.通过摄像头采集包含所述用户的嘴唇区域的图像序列，从所述图像序列的每张图像中提取唇部特征，获得唇部特征序列。
25.在第二方面的一种可能的实现方式中，所述获取模块具体用于：
26.发射无线信号，并获取反射信号序列，其中所述反射信号序列中的反射信号是所述无线信号在碰到障碍物后反射回来的信号；
27.根据所述反射信号序列确定障碍物，若所述障碍物为嘴唇，则从所述反射信号序列的每个反射信号中提取唇部特征，获得唇部特征序列。
28.在第二方面的一种可能的实现方式中，所述字符信息包括所述用户待输入的文字的第一首字母。
29.在第二方面的一种可能的实现方式中，所述处理模块包括：
30.确定单元，用于确定所述唇部特征序列对应的文字序列；
31.纠错单元，用于根据所述第一首字母，对所述文字序列进行纠正处理，获得至少一个纠正后的候选文字序列；
32.输出单元，用于从所述候选文字序列中确定概率最大的候选文字序列，将所述概率最大的候选文字序列作为所述用户待输入的文字。
33.在第二方面的一种可能的实现方式中，所述纠错单元具体用于：
34.提取所述文字序列中每个文字的第二首字母；
35.将提取的所述第二首字母与所述第一首字母进行匹配；
36.若存在不匹配的第二首字母，则将所述不匹配的第二首字母替换为对应的第一首字母，得到替换后的至少一个文字序列，将所述替换后的文字序列作为所述候选文字序列。
37.在第二方面的一种可能的实现方式中，所述纠错单元具体还用于：
38.若存在不匹配的第二首字母，且存在与对应的第一首字母的关联的字母，则将所述不匹配的第二首字母替换为对应的第一首字母，以及将所述不匹配的第二首字母替换为关联的字母，得到替换后的至少一个文字序列。
39.在第二方面的一种可能的实现方式中，所述确定单元具体用于：
40.将所述唇部特征序列输入训练后的唇语识别模型，获得所述唇语识别模型输出的文字序列，所述唇语识别模型用于识别唇部特征对应的文字，所述唇语识别模型是基于唇部特征，以及唇部特征对应的文字作为训练样本训练得到的。
41.第三方面，提供一种电子设备，包括处理器，所述处理器用于执行存储在存储器中的计算机程序，以实现如上述第一方面所述的文字输入方法。
42.第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的文字输入方法。
43.第五方面，提供一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行上述第一方面中所述的文字输入方法。
44.可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
45.图1为本技术实施例提供的文字输入方法的流程示意图；
46.图2为本技术实施例提供的文字输入方法的应用场景图；
47.图3为本技术实施例提供的唇部形状示意图；
48.图4为本技术一实施例提供的文字输入方法的具体流程图；
49.图5为本技术一实施例提供的输出文字序列的方法示意图；
50.图6为本技术另一实施例提供的文字输入方法的具体流程图；
51.图7为本技术实施例提供的雷达波信号的示意图；
52.图8为本技术实施例提供的距离多普勒图像的示意图；
53.图9为本技术实施例提供的电子设备的结构示意图。
具体实施方式
54.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本技术的描述。
55.应当理解，当在本技术说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
56.还应当理解，在本技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
57.如在本技术说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
[0058]
另外，在本技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0059]
在本技术说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本技术的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
[0060]
现有的输入法主要有语音输入法、拼音输入法以及手写输入法等。拼音输入法以及手写输入法的输入准确率较高，但是输入效率较低。语音输入法一般是先进行语音识别，将识别出的语音转换为对应的文字，具有较高的输入效率，但是在一些噪音较大或者不能大声说话的场景下，语音识别的准确率较低，导致语音转化为文本的准确率也降低。
[0061]
为此，本技术实施例提供一种文字输入方法，在检测到用户的文字输入操作时，获取用户的唇部变化信息以及用户输入的字符信息，唇部变化信息包括用户在说出待输入的
文字时的唇部特征序列，根据唇部特征序列以及字符信息确定用户待输入的文字。由于根据用户输入的字符信息确定出的待输入的文字的准确率较高，因此将唇部特征序列与字符信息结合确定待识别的文字，可以在语音输入方式下提高输入的文字的准确率。
[0062]
下面结合具体实施例对本技术提供的文字输入方法进行示例性说明。
[0063]
本技术实施例提供的文字输入方法应用于电子设备，电子设备可以是手机、平板电脑、手持计算机、个人数字助理(personal digital assistant，pda)、带屏音箱、穿戴设备等。
[0064]
如图1所示，本技术一实施例提供的文字输入方法包括：
[0065]
s101：在检测到用户的文字输入操作时，获取用户的唇部变化信息以及用户输入的字符信息，唇部变化信息包括用户在说出待输入的文字时的唇部特征序列。
[0066]
其中，用户可以采用软键盘输入或者手写输入的方式输入字符信息，输入的字符信息可以是文字，也可以是与文字对应的字母，也可以是文字的首字母，文字可以是中文、英文或其它外文。
[0067]
用户在说出待输入的文字时可以发出声音，也可以不发出声音。唇部特征序列包括连续时间内，每个时刻的唇部特征，唇部特征用于表征是用户在说话时的唇部形状，不同的唇部形状对应不同的发音。
[0068]
在一种可能的实现方式中，电子设备通过摄像头采集用户的嘴唇区域的图像序列，图像序列为连续时间内，每个时刻的嘴唇区域图像，再从图像序列的每张图像中提取唇部特征，获得唇部特征序列。
[0069]
在另一种可能的实现方式中，电子设备通过无线传感器发射无线信号，无线信号在碰到障碍物后反射回信号，反射回的信号即为反射信号。电子设备再通过无线传感器再接收反射信号，根据连续时间内每个时刻的反射信号，得到反射信号序列，根据反射信号序列确定障碍物是否为嘴唇，若确定出障碍物为嘴唇，从嘴唇对应的反射信号序列中的每个反射信号中提取唇部特征，获得唇部特征序列。其中，无线信号可以是雷达波信号、红外线信号或者超声波信号等。
[0070]
在一种可能的实现方式中，用户选择预设的输入模式(例如多模输入模式)后，电子设备在检测到用户开始输入字符后，获取用户的唇部变化信息。
[0071]
例如，在一种应用场景中，用户打开短信编辑页面，电子设备在检测到多模输入模式的指令后，打开如图2所示的界面，若用户需要输入中文，可以通过图2所示的界面输入中文拼音的首字母，同时进行唇语输入。当用户开始进行输入时，电子设备的摄像头采集用户的唇部图像，从各个时刻的唇部图像中提取唇部特征，即得到唇部特征序列。
[0072]
s102：根据所述唇部特征序列以及所述字符信息确定所述用户待输入的文字。
[0073]
由于用户在说话时，当唇部特征变化，即唇部形状变化时，发音也会变化，因此，根据用户说话时的唇部形状，可以确定出用户的发音，进一步确定用户说出的文字。但是，当用户说出不同的文字时，对应的唇部形状也可能相同，例如，当唇部为如图3中的(a)所示的形状时，对应的发音可能是英文字母的“a”、“e”或者“i”，当唇部为如图3中的(b)所示的形状时，对应的发音可能是英文字母的“q”或者“w”。而且同一个文字可能需要变化的唇部形状才可以发出，例如，英文字母“m”、“l”需要变化的唇部形状才可以发出。因此，根据用户的每个时刻唇部特征，均有可能确定出多个文字，或者确定出错误的文字。再根据各个时刻的
唇部特征，即唇部特征序列，可以确定出多种可能的文字序列。
[0074]
用户输入的每个字符信息也对应一个或者多个文字，将唇部特征序列与字符信息结合，可以纠正根据唇部特征序列识别出的文字，或者去除根据唇部特征序列识别出的错误的文字，从而得到准确的文字序列，即用户待输入的文字，从而不用获取用户的语音，即可完成文字输入，提高了文字输入的准确率。
[0075]
在一种可能的实现方式中，电子设备根据唇部特征序列和字符信息可以确定出多个候选文字序列，在确定出多个候选文字序列后，根据各文字序列的语义，选择出概率最大的候选文字序列，将概率最大的候选文字序列作为用户待输入的文字。
[0076]
在一种可能的实现方式中，可以将候选文字序列输入训练好的语义识别模型中，获得语义识别模型输出的概率最大的候选文字序列。其中，语义识别模型是基于文字序列，以及概率最大的文字序列作为训练样本训练得到的。
[0077]
上述实施例中，由于根据用户输入的字符信息确定出的待输入的文字的准确率较高，因此将唇部特征序列与字符信息结合确定待识别的文字，可以在语音输入方式下提高输入的文字的准确率。
[0078]
在一种可能的实现方式中，用户输入的字符信息包括用户待输入的文字的第一首字母，其中，“第一”用于区分描述“首字母”，“首字母”指文字的第一个字母，可以是中文拼音中的第一个字母，例如“wen”中的“w”，也可以是英文单词的第一个字母，例如“good”中的“g”。第一首字母包括待输入的文字中的每个文字的首字母。电子设备根据获取的唇部特征序列确定出文字序列后，根据第一首字母，对确定出的文字序列进行纠正处理，获得至少一个纠正后的候选文字序列。
[0079]
若用户待输入的文字是中文，电子设备在根据获取的唇部特征序列确定出文字序列后，根据第一首字母，对确定出的文字序列的拼音进行纠正，得到纠正后的拼音，根据纠正后的拼音确定至少一个纠正后的候选文字序列。
[0080]
例如，在一种应用场景中，电子设备根据第一首字母对文字序列的拼音进行纠正，得到一个纠正后的拼音，根据纠正后的拼音确定纠正后的候选文字序列。例如，根据唇部特征序列确定出的文字序列为“荷兰”，第一首字母为“hn”，则对文字序列的拼音“helan”进行纠正，得到的纠正后的拼音为“henan”，根据发音“henan”确定出的候选文字序列包括“河南”、“贺楠”等。
[0081]
在另一种应用场景中，电子设备根据第一首字母对文字序列进行纠正，得到多个纠正后的拼音，根据每个纠正后的拼音确定纠正后的候选文字序列。例如，根据唇部特征序列确定出的文字序列为“飞机”，第一首字母为“hj”，则对文字序列的拼音“feiji”进行纠正，得到的纠正后的拼音为“huijia”、“huiji”等，对于拼音“huijia”，确定出的候选文字序列为“回家”、“汇价”等，对于拼音“huiji”，确定出的候选文字序列为“汇集”、“惠及”等。
[0082]
电子设备在获得纠正后的候选文字序列后，再从候选文字序列中确定概率最大的候选文字序列，将概率最大的候选文字序列作为用户待输入的文字。例如，将候选文字序列输入语义识别模型中，获得语义识别模型输出的概率最大的候选文字序列。由于首字母输入法在没有历史联想信息的情况下，准确率较低，但是输入速度较快，通过唇部特征序列和首字母的结合，提高了文字输入的准确率，且用户使用较短的时间即可完成首字母的输入，提高了输入效率。例如，若用户想输入“中国人”三个字，只需要输入三个首字母“z”“g”“r”，
同时嘴部默念“中国人”三个字，就可以完成文字输入。
[0083]
在一种可能的实现方式中，电子设备根据第一首字母对根据唇部特征序列确定出的文字序列进行纠正处理的方法具体为：首先提取出确定出的文字序列中每个文字的第二首字母，其中，“第二”用于区分描述“首字母”。对于英文来说，可以直接从文字序列中提取出第二首字母，对于中文来说，首先需要将中文转换为对应的拼音，再从每个拼音中提取出第二首字母。
[0084]
提取出第二首字母后，将第二首字母与第一首字母进行匹配，若存在不匹配的第二首字母，将不匹配的第二首字母替换为对应的第一首字母，得到替换后的至少一个文字序列，再将替换后的文字序列作为候选文字序列。其中，对应的第一首字母是指与第二首字母的位置对应的第一首字母，例如，若第二首字母是文字序列中第二个文字的首字母，则对应的第一首字母为用户输入的第二个首字母。
[0085]
下面以中文为例，介绍得到候选文字序列的过程。
[0086]
在一种应用场景中，若存在不匹配的第二首字母，则直接用第一首字母替换不匹配的第二首字母，得到替换后的拼音，再根据替换后的拼音确定替换后的至少一个候选文字序列。例如，根据唇部特征序列确定出的文字序列为“支持”，则提取出的第二首字母为“zc”，若第一首字母为“zs”，则存在不匹配的第二首字母“c”，用第一首字母“s”替换“c”，得到替换后的拼音为“zhishi”，再根据替换后的拼音确定的候选文字序列为“知识”、“指示”等。
[0087]
在另一种应用场景中，若存在不匹配的第二首字母，直接用第一首字母替换不匹配的第二首字母，替换后的字母不能形成一个文字，或者替换后的字母与文字序列的发音差别较大时，则对替换后的字母进行修正，根据修正结果得到至少一个文字序列。例如，根据唇部特征序列确定出的文字序列为“发挥”，对应的拼音为“fahui”，则提取出的第二首字母为“fh”，若第一首字母为“fw”，则存在不匹配的第二首字母“h”，若直接用第一首字母“w”替换“h”，替换后的字母形成的发音为“fawui”，由于“wui”不能形成文字，因此，不能直接替换，因此，根据预设的修正规则，对替换后的字母进行修正，将“wui”修正为“wei”，得到修正后的拼音“fawei”，再根据修正后的拼音确定的候选文字序列为“乏味”、“发尾”等。
[0088]
又例如，根据唇部特征序列确定出的文字序列为“哇”，对应的发音为“wa”，则提取出的第二首字母为“w”，若第一首字母为“h”，则存在不匹配的第二首字母，若直接用“h”替换“w”，根据替换后的字母得到的拼音为“ha”，由于“ha”与“wa”的发音差别较大，因此，不能直接替换，因此，根据预设的修正规则，对替换后的字母进行修正，将“ha”修正为“hua”，使得修正后的拼音的发音与文字序列的发音接近，再根据修正后的拼音确定的候选文字序列为“花”、“华”等。
[0089]
由于一些字母序列对应的发音比较接近，例如，拼音中的“r”和“l”发音接近，“n”和“l”发音接近，“h”和“f”发音接近，“zh”和“z”发音接近，“ch”和“c”发音接近，“sh”和“s”发音接近。因此，用户输入的第一首字母可能存在错误，为了提高文字输入的准确率，在一种可能的实现方式中，预先设定关联数据库，关联数据库中存储存在关联关系的字母，存在关联关系的字母为发音接近、容易混淆的字母。电子设备在判定存在不匹配的第二首字母后，根据关联数据库中存储的存在关联关系的字母，判断是否存在与对应的第一首字母关联的字母。若存在与对应的第一首字母的关联的字母，则将不匹配的第二首字母替换为对
应的第一首字母，以及将不匹配的第二首字母替换为关联的字母，得到替换后的至少一个文字序列，从而可以扩大候选文字序列的范围，再根据候选文字序列确定用户待输入的文字时，提高了文字输入的准确率。
[0090]
例如，文字序列为“自己”，对应的发音为“ziji”，则提取出的第二首字母为“zj”，若第一首字母为“sj”，则存在不匹配的第二首字母“z”，对应的第一首字母为“s”，且存在与第一首字母“s”的关联的字母“sh”，则将“z”替换为“s”，得到替换后的发音为“siji”，同时，将“z”替换为“sh”得到替换后的发音为“shiji”，最终根据替换后的发音得到的候选文字序列包括“司机”、“四级”、“实际”、“时机”等。
[0091]
又例如，文字序列为“落”，对应的发音为“luo”，则提取出的第二首字母为“l”，若第一首字母为“r”，则存在不匹配的第二首字母，且存在与第一首字母“r”发音接近的字母“n”，则将“l”替换为“r”，得到替换后的发音“ruo”，同时，将“l”替换为“n”，得到替换后的发音“nuo”，最终根据替换后的发音得到的候选文字序列为“若”、“弱”、“挪”、“诺”等。
[0092]
在一种可能的实现方式中，唇部特征序列是从用户的嘴唇区域的图像序列中获取的，唇语识别模型是基于嘴唇区域的图像序列中提取的唇部特征序列，以及唇部特征序列对应的文字序列作为训练样本训练得到的。对应地，文字输入方法的具体流程如图4所示，在检测到用户的文字输入操作时，获取用户输入的待输入文字的第一首字母，同时采用电子设备上前置的摄像头采集人脸图像，对采集的每张人脸图像进行识别，识别出图像中的人脸。如图5所示，在识别出人脸后，从人脸中截取出嘴唇区域的图像，连续时间内各时刻的嘴唇区域的图像形成图像序列，从图像序列中的每张图像中提取唇部特征，得到唇部特征序列。然后将唇部特征序列输入唇语识别模型中，获得唇语识别模型输出的文字序列。其中，唇语识别模型可以是时空卷积神经网络(spatiotemporal convolutional neural networks，stcnn)模型。在得到唇语识别模型输出的文字序列后，采用第一首字母对文字序列进行纠错处理，得到纠正后的候选文字序列。例如，若待输入文字为中文，在得到唇语识别模型输出的文字序列后，将文字序列转换为拼音，提取拼音中的第二首字母，采用第一首字母替换第二首字母，得到替换后的拼音，根据替换后的拼音确定候选文字序列。得到候选文字序列后，确定每个候选文字序列的语义，根据每个候选文字序列的语义，确定出概率最大的候选文字序列。例如，可以将确定出的文字序列与预先存储的词语数据库进行比较，选择与词语数据库匹配程度最高的候选文字序列，作为概率最大的候选文字序列，再将概率最大的候选文字序列作为用户待输入的文字。
[0093]
在其他可能的实现方式中，也可以将替换后的拼音输入预设的语义识别模型中，获得语义识别模型输出的概率最大的候选文字序列。其中，语义识别模型是基于发音，以及概率最大的文字序列作为训练样本训练得到的。
[0094]
在另一种可能的实现方式中，唇部特征序列是从经障碍物反射后的雷达波信号序列中获取的，唇语识别模型是基于雷达波信号序列中提取的唇部特征序列，以及唇部特征序列对应的文字作为训练样本训练得到的。对应地，文字输入方法的具体流程如图6所示，在检测到用户的文字输入操作时，获取用户输入的待输入文字的第一首字母，同时采用电子设备上前置的雷达发射雷达波信号，并接收经障碍物反射的雷达波信号序列，即反射信号序列，反射信号序列包括连续时间内各时刻的反射信号。其中，雷达可以是60ghz毫米波雷达，雷达天线可以是单发射、多接收的模式，也可以是多发射、多接收的模式。由于反射信
号相对于发射信号的延时、以及反射信号的多普勒效应可以反映障碍物的特征，包括障碍物的大小、形状、距离、速度等信息，因此，通过对用户说话时唇部的反射信号序列进行处理，可以获取用户在说话时的唇部特征序列。然后将唇部特征序列输入唇语识别模型中，获得唇语识别模型输出的文字序列。
[0095]
在一种可能的实现方式中，可以采用调频连续波(frequency modulated continuous wave，fmcw)的调制格式对雷达波进行调制，fmcw调制格式是由周期性锯齿波函数进行调制的。对雷达波进行调制后，得到如图7所示的调制后的雷达波，其中，反射信号s2相对于发射信号s1存在延时，且反射信号与发射信号存在频率差异，频率差异的原因是障碍物运动时的多普勒效应。将反射信号与发射信号相乘，将相乘后的信号基于模拟信号进行低通滤波，得到beat信号。在得到beat信号后，对beat信号进行快速傅里叶变换(fast fourier transform，fft)，并进行背景消除(例如滤波处理)以去掉静止不变的背景环境，得到如图8所示的距离多普勒图像(range doppler map，rdm)。rdm中的每一格对应矩阵中的一个元素，rdm中，每列中的元素，代表障碍物的距离，每行中的元素，代表障碍物的速度。根据rdm可以确定出当前时刻障碍物的速度和距离，例如图8中的黑色区域表示当前时刻障碍物的速度和距离。得到rdm后，再根据各个接收天线接收到的反射信号，可以得到障碍物的到达角度，根据障碍物的到达角度以及距离，即可得到障碍物的空间位置信息，再根据障碍物的空间位置信息对障碍物进行三维重建，得到障碍物的三维深度图。三维深度图结合rdm中的速度值，即可得到障碍物的四维(三维空间和速度)矢量信号。
[0096]
同理，本技术实施例中，电子设备接收反射信号后，对反射信号以及对应的发射信号做上述处理，可以得到唇部的四维矢量信号，将唇部的四维矢量信号作为唇部特征，根据唇部各时刻的四维矢量信号，可以得到唇部特征序列。然后将唇部特征序列输入唇语识别模型中，获得唇语识别模型输出的文字序列。在得到唇语识别模型输出的文字序列后，采用第一首字母对文字序列进行纠错处理，得到纠正后的候选文字序列。得到候选文字序列后，确定每个候选文字序列的语义，根据每个候选文字序列的语义，确定出概率最大的候选文字序列，再将概率最大的候选文字序列作为用户待输入的文字。
[0097]
由于雷达波信号对环境的要求较低，例如，不受外界光线的影响，因此，采用雷达波信号获得唇部特征序列，可以提高电子设备的应用范围。
[0098]
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
[0099]
图9示出了本技术实施例提供的电子设备100的结构示意图。
[0100]
电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，usb)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，sim)卡接口195等。其中传感器模块180可以包括压力传感器180a，陀螺仪传感器180b，气压传感器180c，磁传感器180d，加速度传感器180e，距离传感器180f，接近光传感器180g，指纹传感器180h，温度传感器180j，触摸传感器180k，环境光传感器180l，骨传导传感器180m等。
[0101]
可以理解的是，本发明实施例示意的结构并不构成对电子设备100的具体限定。在本技术另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
[0102]
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，ap)，调制解调处理器，图形处理器(graphics processing unit，gpu)，图像信号处理器(image signal processor，isp)，控制器，视频编解码器，数字信号处理器(digital signal processor，dsp)，基带处理器，和/或神经网络处理器(neural-network processing unit，npu)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
[0103]
控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
[0104]
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
[0105]
在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，i2c)接口，集成电路内置音频(inter-integrated circuit sound，i2s)接口，脉冲编码调制(pulse code modulation，pcm)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，uart)接口，移动产业处理器接口(mobile industry processor interface，mipi)，通用输入输出(general-purpose input/output，gpio)接口，用户标识模块(subscriber identity module，sim)接口，和/或通用串行总线(universal serial bus，usb)接口等。
[0106]
i2c接口是一种双向同步串行总线，包括一根串行数据线(serial data line，sda)和一根串行时钟线(derail clock line，scl)。在一些实施例中，处理器110可以包含多组i2c总线。处理器110可以通过不同的i2c总线接口分别耦合触摸传感器180k，充电器，闪光灯，摄像头193等。例如：处理器110可以通过i2c接口耦合触摸传感器180k，使处理器110与触摸传感器180k通过i2c总线接口通信，实现电子设备100的触摸功能。
[0107]
i2s接口可以用于音频通信。在一些实施例中，处理器110可以包含多组i2s总线。处理器110可以通过i2s总线与音频模块170耦合，实现处理器110与音频模块170之间的通信。在一些实施例中，音频模块170可以通过i2s接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。
[0108]
pcm接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块170与无线通信模块160可以通过pcm总线接口耦合。在一些实施例中，音频模块170也可以通过pcm接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。所述i2s接口和所述pcm接口都可以用于音频通信。
[0109]
uart接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，uart接口通常被用于连接处理器110与无线通信模块160。例如：处理器110通过uart接口与无线通信模块160
中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块170可以通过uart接口向无线通信模块160传递音频信号，实现通过蓝牙耳机播放音乐的功能。
[0110]
mipi接口可以被用于连接处理器110与显示屏194，摄像头193等外围器件。mipi接口包括摄像头串行接口(camera serial interface，csi)，显示屏串行接口(display serial interface，dsi)等。在一些实施例中，处理器110和摄像头193通过csi接口通信，实现电子设备100的拍摄功能。处理器110和显示屏194通过dsi接口通信，实现电子设备100的显示功能。
[0111]
gpio接口可以通过软件配置。gpio接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，gpio接口可以用于连接处理器110与摄像头193，显示屏194，无线通信模块160，音频模块170，传感器模块180等。gpio接口还可以被配置为i2c接口，i2s接口，uart接口，mipi接口等。
[0112]
usb接口130是符合usb标准规范的接口，具体可以是mini usb接口，micro usb接口，usb type c接口等。usb接口130可以用于连接充电器为电子设备100充电，也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如ar设备等。
[0113]
可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本技术另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
[0114]
充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过usb接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。
[0115]
电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。
[0116]
电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。
[0117]
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
[0118]
移动通信模块150可以提供应用在电子设备100上的包括2g/3g/4g/5g等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，lna)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移
动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
[0119]
调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170a，受话器170b等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。
[0120]
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wireless local area networks，wlan)(如无线保真(wireless fidelity，wi-fi)网络)，蓝牙(bluetooth，bt)，全球导航卫星系统(global navigation satellite system，gnss)，调频(frequency modulation，fm)，近距离无线通信技术(near field communication，nfc)，红外技术(infrared，ir)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。
[0121]
在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，gsm)，通用分组无线服务(general packet radio service，gprs)，码分多址接入(code division multiple access，cdma)，宽带码分多址(wideband code division multiple access，wcdma)，时分码分多址(time-division code division multiple access，td-scdma)，长期演进(long term evolution，lte)，bt，gnss，wlan，nfc，fm，和/或ir技术等。所述gnss可以包括全球卫星定位系统(global positioning system，gps)，全球导航卫星系统(global navigation satellite system，glonass)，北斗卫星导航系统(beidou navigation satellite system，bds)，准天顶卫星系统(quasi-zenith satellite system，qzss)和/或星基增强系统(satellite based augmentation systems，sbas)。
[0122]
电子设备100通过gpu，显示屏194，以及应用处理器等实现显示功能。gpu为图像处理的微处理器，连接显示屏194和应用处理器。gpu用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个gpu，其执行程序指令以生成或改变显示信息。
[0123]
显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，lcd)，有机发光二极管(organic light-emitting diode，oled)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的，amoled)，柔性发光二极管(flex light-emitting diode，fled)，miniled，microled，micro-oled，量子点发光二极管(quantum dot light emitting diodes，qled)等。在一些实施例中，电子设备100可以包括1个或n个显示屏194，n为大于1的正整数。
[0124]
电子设备100可以通过isp，摄像头193，视频编解码器，gpu，显示屏194以及应用处
理器等实现拍摄功能。
[0125]
isp用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给isp处理，转化为肉眼可见的图像。isp还可以对图像的噪点，亮度，肤色进行算法优化。isp还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，isp可以设置在摄像头193中。
[0126]
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，ccd)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，cmos)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给isp转换成数字图像信号。isp将数字图像信号输出到dsp加工处理。dsp将数字图像信号转换成标准的rgb，yuv等格式的图像信号。在一些实施例中，电子设备100可以包括1个或n个摄像头193，n为大于1的正整数。本技术实施例中，摄像头193用于在检测的用户的文字输入操作时，捕获用户的人脸图像。
[0127]
数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
[0128]
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，mpeg)1，mpeg2，mpeg3，mpeg4等。
[0129]
npu为神经网络(neural-network，nn)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过npu可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
[0130]
外部存储器接口120可以用于连接外部存储卡，例如micro sd卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
[0131]
内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，ufs)等。处理器110通过运行存储在内部存储器121的指令，和/或存储在设置于处理器中的存储器的指令，执行电子设备100的各种功能应用以及数据处理。
[0132]
电子设备100可以通过音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，以及应用处理器等实现音频功能。例如音乐播放，录音等。
[0133]
音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。
[0134]
扬声器170a，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170a收听音乐，或收听免提通话。
[0135]
受话器170b，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时，可以通过将受话器170b靠近人耳接听语音。
[0136]
麦克风170c，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170c发声，将声音信号输入到麦克风170c。电子设备100可以设置至少一个麦克风170c。在另一些实施例中，电子设备100可以设置两个麦克风170c，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备100还可以设置三个，四个或更多麦克风170c，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。
[0137]
耳机接口170d用于连接有线耳机。耳机接口170d可以是usb接口130，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，omtp)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the usa，ctia)标准接口。
[0138]
压力传感器180a用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180a可以设置于显示屏194。压力传感器180a的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180a，电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194，电子设备100根据压力传感器180a检测所述触摸操作强度。电子设备100也可以根据压力传感器180a的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。
[0139]
陀螺仪传感器180b可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180b确定电子设备100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器180b可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器180b检测电子设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备100的抖动，实现防抖。陀螺仪传感器180b还可以用于导航，体感游戏场景。
[0140]
气压传感器180c用于测量气压。在一些实施例中，电子设备100通过气压传感器180c测得的气压值计算海拔高度，辅助定位和导航。
[0141]
磁传感器180d包括霍尔传感器。电子设备100可以利用磁传感器180d检测翻盖皮套的开合。在一些实施例中，当电子设备100是翻盖机时，电子设备100可以根据磁传感器180d检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态，设置翻盖自动解锁等特性。
[0142]
加速度传感器180e可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。
[0143]
距离传感器180f，用于测量距离。电子设备100可以通过雷达、红外或激光测量距
离。在一些实施例中，拍摄场景，电子设备100可以利用距离传感器180f测距以实现快速对焦。在一些实施例中，电子设备100也可以利用距离传感器180f测量障碍物的距离和速度。
[0144]
接近光传感器180g可以包括例如发光二极管(led)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定电子设备100附近有物体。当检测到不充分的反射光时，电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180g检测用户手持电子设备100贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器180g也可用于皮套模式，口袋模式自动解锁与锁屏。
[0145]
环境光传感器180l用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180l也可用于拍照时自动调节白平衡。环境光传感器180l还可以与接近光传感器180g配合，检测电子设备100是否在口袋里，以防误触。
[0146]
指纹传感器180h用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。
[0147]
温度传感器180j用于检测温度。在一些实施例中，电子设备100利用温度传感器180j检测的温度，执行温度处理策略。例如，当温度传感器180j上报的温度超过阈值，电子设备100执行降低位于温度传感器180j附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，电子设备100对电池142加热，以避免低温导致电子设备100异常关机。在其他一些实施例中，当温度低于又一阈值时，电子设备100对电池142的输出电压执行升压，以避免低温导致的异常关机。
[0148]
触摸传感器180k，也称“触控器件”。触摸传感器180k可以设置于显示屏194，由触摸传感器180k与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180k用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180k也可以设置于电子设备100的表面，与显示屏194所处的位置不同。
[0149]
骨传导传感器180m可以获取振动信号。在一些实施例中，骨传导传感器180m可以获取人体声部振动骨块的振动信号。骨传导传感器180m也可以接触人体脉搏，接收血压跳动信号。在一些实施例中，骨传导传感器180m也可以设置于耳机中，结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180m获取的声部振动骨块的振动信号，解析出语音信号，实现语音功能。应用处理器可以基于所述骨传导传感器180m获取的血压跳动信号解析心率信息，实现心率检测功能。
[0150]
按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。
[0151]
马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
[0152]
指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。
[0153]
sim卡接口195用于连接sim卡。sim卡可以通过插入sim卡接口195，或从sim卡接口195拔出，实现和电子设备100的接触和分离。电子设备100可以支持1个或n个sim卡接口，n为大于1的正整数。sim卡接口195可以支持nano sim卡，micro sim卡，sim卡等。同一个sim卡接口195可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。sim卡接口195也可以兼容不同类型的sim卡。sim卡接口195也可以兼容外部存储卡。电子设备100通过sim卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，电子设备100采用esim，即：嵌入式sim卡。esim卡可以嵌在电子设备100中，不能和电子设备100分离。
[0154]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0155]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0156]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/电子设备的任何实体或装置、记录介质、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质。例如u盘、移动硬盘、磁碟或者光盘等。
[0157]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0158]
在本技术所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
[0159]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0160]
最后应说明的是：以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何在本技术揭露的技术范围内的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。