智能终端控制方法、存储介质及智能终端与流程

1.本发明涉及语音交互技术领域，尤其涉及一种智能终端控制方法、存储介质及智能终端。


背景技术：

2.随着科技的不断进步，一个智能终端承载的功能越来越多。以投影仪为例，传统的投影仪只能在开屏状态下进行投影，关屏状态即关机状态，而目前的投影仪可以在开屏状态下进行投影，在关屏状态下进入音响模式，即投影仪的工作状态包括开屏状态和关屏状态。此外，人们越来越追求更智能化的智能终端控制体验，语音控制是一种常用的控制手段。因此，使语音控制满足智能终端的多功能化是目前的研究方向。
3.上述公开的信息仅用于对本发明的背景做进一步的理解，因此它可以包含对于本领域普通技术人员已知的不构成现有技术的信息。


技术实现要素：

4.有鉴于此，本发明实施例提供一种智能终端控制方法、存储介质及智能终端，当智能终端处于关屏状态的工作状态时，可以一步到位的满足用户诉求的开启屏幕。
5.第一方面，本发明实施例提供一种智能终端控制方法，所述智能终端的工作状态包括开屏状态和关屏状态，包括：获取语音指令；对所述语音指令所携带的语音数据进行语义识别；在智能终端处于关屏状态时，如果根据语义识别结果确定不需要开屏响应所述语音指令，则在关屏状态下响应所述语音指令；如果根据语义识别结果确定需要开屏响应所述语音指令，则根据目标参数确认是否将智能终端从关屏状态调整为开屏状态，若是，则将智能终端调整为开屏状态，并响应所述语音指令，若否，则在关屏状态下响应所述语音指令。
6.在一种可能的实现方式中，所述目标参数包括以下任一种或者多种：语义识别结果，对所述语音数据的声纹识别结果，系统时间，投影区域的图像，环境光亮度，所述智能终端的用户行为数据。
7.在一种可能的实现方式中，所述在关屏状态下响应所述语音指令包括语音播报，且在语音播报期间保持免唤醒状态。
8.在一种可能的实现方式中，在语音播报期间保持免唤醒状态时，进行语音响应的条件包括：继续说话者为当前说话的用户，且所述继续说话者输入语音的语义与当前语义场景相关。
9.在一种可能的实现方式中，所述根据目标参数确认是否将智能终端从关屏状态调整为开屏状态包括以下各项中的至少一项：
如果语义识别结果为明确的开启屏幕语义，则确认将智能终端从关屏状态调整为开屏状态；如果基于所述声纹识别结果确定所述语音指令的输入用户为儿童，且智能终端上已经开启开屏童锁，则确认不将智能终端从关屏状态调整为开屏状态；如果基于所述投影区域的图像确定智能终端的投影区域有人，则确认不将智能终端从关屏状态调整为开屏状态；如果基于所述系统时间确定当前时间为晚上时间，且环境光亮度小于亮度阈值，则根据所述智能终端的用户行为数据确认是否将智能终端从关屏状态调整为开屏状态。
10.在一种可能的实现方式中，所述根据目标参数确认是否将智能终端从关屏状态调整为开屏状态包括：判断语义识别结果是否为明确的开启屏幕语义，如果确定所述语义识别结果为明确的开启屏幕语义，则确认将智能终端从关屏状态调整为开屏状态；对所述语音数据进行声纹识别，如果基于所述声纹识别结果确定所述语音指令的输入用户为儿童，且智能终端上已经开启开屏童锁，则确认不将智能终端从关屏状态调整为开屏状态，并提醒当前时间小朋友不能开启屏幕使用；基于投影区域的图像判断智能终端的投影区域是否有人，如果智能终端的投影区域有人，则确认不将智能终端从关屏状态调整为开屏状态，并进行提示；判断当前时间是否为晚上时间，且环境光亮度小于亮度阈值，如果当前时间为晚上时间，且环境光亮度小于亮度阈值，则根据所述智能终端的用户行为数据确认是否将智能终端从关屏状态调整为开屏状态；提示用户是否将智能终端从关屏状态调整为开屏状态进行响应，如果用户确认将智能终端从关屏状态调整为开屏状态进行响应，则确认将智能终端从关屏状态调整为开屏状态，否则，确认不将智能终端从关屏状态调整为开屏状态。
11.在一种可能的实现方式中，根据所述智能终端的用户行为数据确认是否将智能终端从关屏状态调整为开屏状态包括：根据用户当前语音行为数据生成用户开屏事件表，所述用户开屏事件表中包含字段用户id及以下任一种或多种字段：第二天是否节假日或周末，时间段，语义领域，当前状态，是否需要开启屏幕；将所述用户开屏事件表中的数据输入到利用所述智能终端的用户历史行为数据训练好的开屏模型中，根据所述开屏模型的输出确认是否将智能终端从关屏状态调整为开屏状态。
12.在一种可能的实现方式中，所述开屏模型的训练方法包括：根据收集到的用户在晚上时间内使用语音相关行为日志，生成第一用户事件表，所述日志包括用户id及以下任一种或多种字段：使用语音时间，语义领域，当前状态，是否需要开启屏幕，是否开启屏幕；所述第一用户事件表中包含字段用户id及以下任一种或多种字段：第二天是否节假日或周末，时间段，语义领域，当前状态，是否需要开启屏幕，是否开启屏幕；根据所述第一用户事件表统计用户预设时间段在晚上时间内的语音使用次数，生成用户语音使用事件表，所述用户语音使用事件表中包含字段用户id及以下任一种或多种
字段：语音使用次数，开屏使用次数，关屏状态下需要开屏指令最终开屏的次数，关屏状态下需要开屏指令最终未开屏的次数，第二天为节假日的情况下关屏状态下需要开屏指令最终开屏的次数，第二天为非节假日的情况下关屏状态下需要开屏指令最终开屏的次数；仅保留所述第一用户事件表中当前状态为关屏且需要开启屏幕的数据，生成第二用户事件表，所述第二用户事件表中包含的字段与第一用户事件表相同；利用所述用户语音使用事件表和第二用户事件表训练所述开屏模型。
13.第二方面，本发明实施例提供一种智能终端控制装置，所述智能终端的工作状态包括开屏状态和关屏状态，包括：语音指令获取模块，用于获取语音指令；语义识别模块，用于对所述语音指令所携带的语音数据进行语义识别；开屏模块，用于在智能终端处于关屏状态时，如果根据语义识别结果确定不需要开屏响应所述语音指令，则在关屏状态下响应所述语音指令；如果根据语义识别结果确定需要开屏响应所述语音指令，则根据目标参数确认是否将智能终端从关屏状态调整为开屏状态，若是，则将智能终端调整为开屏状态，并响应所述语音指令，若否，则在关屏状态下响应所述语音指令。
14.第三方面，本发明实施例提供一种智能终端，所述智能终端包括处理器和存储器，所述存储器中存储有可被所述处理器执行的指令，所述指令由所述处理器加载并执行，以实现如第一方面所述的智能终端控制方法。
15.第四方面，本发明实施例提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的智能终端控制方法。
16.第五方面，本发明实施例提供一种计算机程序产品，其包括指令，所述指令在由至少一个处理器执行时，使得所述至少一个处理器执行如第一方面所述的智能终端控制方法。
17.需要说明的是，第二方面所述的装置、第三方面所述的智能终端、第四方面所述的存储介质和第五方面所述的计算机程序产品用于执行上述第一方面提供的方法，因此可以达到与第一方面所述的方法相同的有益效果，本发明实施例不再一一赘述。
18.通过本发明方案的实施，智能终端处于关屏状态的工作状态时，可以一步到位的满足用户诉求的开启屏幕，提升用户体验。同时，通过进行是否开屏的确认，可以避免误识别等因素影响用户体验。
附图说明
19.本发明将通过实施例并参照附图的方式说明，其中：图1为本发明实施例提供的智能终端控制方法流程图；图2为本发明实施例提供的确认是否开屏的方法流程图。
具体实施方式
20.为了使本技术领域的人员更好地理解本发明中的技术方案，下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不
用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。此外，虽然本发明中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整技术方案。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
21.在本发明实施例中，“示例地”、“例如”等词用于表示作例子、例证或说明。本发明中被描述为“示例”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用示例的一词旨在以具体方式呈现概念。
22.除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而是仅用于区分描述，且对应术语的含义可以相同也可以不同。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。术语“和/或”是指包含一个或多个相关联的列出项目的任何所有可能组合。字符“/”，一般表示前后关联对象是一种“或”的关系。
23.本发明实施例中，智能终端可以为电视或投影仪等，其工作状态包括开屏状态和关屏状态，本发明实施例对智能终端的形式不做限制。
24.图1为本发明实施例提供的智能终端控制方法流程图。如图1所示，智能终端控制方法包括以下步骤：s101.获取语音指令。
25.智能终端可通过语音接收装置（如遥控器、远场麦克风阵列等）获取语音指令，比如：遥控器的麦克风通过蓝牙将数据传递给智能终端，远场麦克风阵列获取语音指令等。
26.s102.对所述语音指令所携带的语音数据进行语义识别。
27.将语音指令所携带的语音数据进行语音识别，转化为文本数据，根据文本数据进行语义识别。如果语义识别结果在两个语义领域都可以，则根据智能终端的开关屏状态进行偏向于某个领域的响应。比如输入“一帘幽梦”，关屏状态下则响应音乐领域，开屏状态下则响应影视领域。
28.s103.判断智能终端是否处于开屏状态。
29.如果智能终端处于开屏状态，则直接根据识别的语义进行指令的响应；如果智能终端处于关屏状态，则根据语义识别结果判断是否需要开屏响应该语音指令，具体地，如果不需要依赖ui（user interface,，用户界面）即可直接完成对语音指令的响应，则判定不需要开屏，比方用于查询天气、听歌、音量调节等的语音指令，则无需开屏响应；如果对语音指令的响应需要依赖于ui显示，则判定需要开屏，比如用于查看图片、视频等的语音指令，则需要开屏响应。如果根据语义识别结果确定不需要开屏响应所述语音指令，则在关屏状态下响应所述语音指令；如果根据语义识别结果确定需要开屏响应所述语音指令，则根据目标参数确认是否将智能终端从关屏状态调整为开屏状态，若是，则将智能终端调整为开屏状态，并响应所述语音指令，若否，则在关屏状态下响应所述语音指令。其中，上述语音指令可以为任何类型的语音指令，例如：问询类指令（如用于查询天气的指令）、工具类指令（如
用于设置闹钟的指令）、如控制类指令（如用于调节音量的指令）等等，本发明实施例对此不作具体限定。上述的目标参数可包括以下任一种或者多种：语义识别结果，对所述语音数据的声纹识别结果，系统时间，投影区域的图像，环境光亮度和所述智能终端的用户行为数据。
30.示例性地，当语音指令为一个问询类指令时，对该语音指令进行响应通常需要进行语音播报，例如，语音指令用于查询“xx城市今天的天气如何”，通常响应该语音指令的具体方式为：查询xx城市今天的天气，并将查询结果从文本数据转化为语音数据，并向用户播报该语音数据，这即是一个完整的tts（text to speech，从文本到语音）语音播报过程。
31.本发明实施例中，上述关屏状态下响应语音指令包括语音播报，且在语音播报期间保持免唤醒状态。智能终端在关屏状态下响应语音指令可以进行ui显示的调整、优化语义全部为tts，不再显示图片及文字。比如，语音指令为一个问询类指令，用于询问“成都的天气怎么样”，在开屏状态下，有ui显示，怕影响用户，tts则会相对较短：tts仅播报今天的天气，并在ui上显示今天以及最近7天的天气以及相关的周边；在关屏状态下，因无ui显示，则可以将全部内容调整为语音播报（如tts播报）。关屏状态下，tts播报时间可能过长，则将在tts播报未结束期间一直保持免唤醒状态，不需要用户说唤醒词直接可以对话（其中，开屏状态下除了多轮外均需唤醒词）。其中，免唤醒状态下进行下一次响应的条件包括：（a）继续说话者为当前说话的用户（可采用话者识别技术）。
32.（b）继续说话者输入语音的语义与当前语义场景相关（可采用nlu（natural language understanding）识别技术）。示例地，语义为“成都的天气怎么样”，如果这个时候说话的用户继续说“北京的呢”、“不要再说了”、“穿衣服建议呢”等，则说明继续说话者输入语音的语义与当前语义场景“成都的天气怎么样”关联，则可以直接对继续说话者输入的语音进行响应，比如说“明天有什么电影”，则不响应。
33.在一些实施例中，根据目标参数确认是否将智能终端从关屏状态调整为开屏状态包括以下各项中的至少一项：如果语义识别结果为明确的开启屏幕语义，则确认将智能终端从关屏状态调整为开屏状态；如果基于所述声纹识别结果确定所述语音指令的输入用户为儿童，且智能终端上已经开启开屏童锁，则确认不将智能终端从关屏状态调整为开屏状态；如果基于所述投影区域的图像确定智能终端的投影区域有人，则确认不将智能终端从关屏状态调整为开屏状态；如果基于所述系统时间确定当前时间为晚上，且环境光亮度小于亮度阈值（亮度阈值可在80lux
‑
400lux之间选取，如100lux），则根据所述智能终端的用户行为数据确认是否将智能终端从关屏状态调整为开屏状态。
34.示例地，如图2所示，根据目标参数确认是否将智能终端从关屏状态调整为开屏状态包括：s3001.判断语义识别结果是否为明确的开启屏幕语义。比如“打开屏幕”、“打开光机”等，则有明确的开启屏幕语义。如果为明确的开启屏幕语义，则确认开屏，即确认将智能终端从关屏状态调整为开屏状态，否则进入下一步。
35.s3002.利用声纹识别技术，识别当前说话的用户的年龄段。如果说话的用户为儿
童，且智能终端上已经开启开屏童锁（用户可设置开启开屏童锁的时间段，比如0：00
‑
6：00），则确认不开屏，即确认不将智能终端从关屏状态调整为开屏状态，并提醒当前时间小朋友不能开启屏幕使用，否则进入下一步。
36.s3003.判断智能终端的投影区域是否有人。如智能终端为投影仪，则可触发投影仪上的红外传感器、摄像机抓拍等，利用红外技术、图像识别技术等判断当前投影区域是否有人。如果智能终端的屏幕区域有人，则确认不开屏，并进行提示，否则进入下一步。需要说明的是，该步骤为可选步骤，本发明实施例对此不做限制。
37.s3004.基于系统时间判断当前时间是否为晚上时间（比如0：00
‑
6：00，可根据实际情况进行设定），且环境光线较暗（如未开灯），如可利用抓拍的图片识别环境光线较暗是否较暗，即环境光亮度低于某一预设值，如环境光亮度低于100lux。如果当前时间为晚上时间，且环境光线较暗，则根据智能终端的用户行为数据确认是否开屏，否则进入下一步。
38.在一些实施例中，根据用户的行为数据确认是否开屏包括开屏模型的训练和利用训练好的开屏模型进行预测。
39.（1）开屏模型的训练。
40.s6001.收集用户在晚上时间内使用语音相关行为日志，所述日志包括用户id及以下任一种或多种字段：使用语音时间，语义领域，当前状态，是否需要开启屏幕，是否开启屏幕。根据用户历史行为判断用户最终是否开启屏幕。示例地，收集到的日志如表1所示。
41.表1
用户id使用语音时间语义领域当前状态是否需要开启屏幕是否开启屏幕usera2020
‑
07
‑
0100:30:00视频开屏否是usera2020
‑
07
‑
0105:40:00视频关屏是否userb2020
‑
07
‑
0201:40:00音乐关屏否否userb2020
‑
07
‑
0203:50:00视频关屏是否
s6002.根据收集到的用户在晚上时间内使用语音相关行为日志，生成第一用户事件表，所述第一用户事件表中包含字段用户id及以下任一种或多种字段：第二天是否节假日或周末，时间段，语义领域，当前状态，是否需要开启屏幕，是否开启屏幕。示例地，第一用户事件表如表2所示。
42.表2
用户id第二天是否节假日或周末时间段语义领域当前状态是否需要开启屏幕是否开启屏幕usera否0视频开屏否是usera否5视频关屏是否userb是1音乐关屏否否userb是3视频关屏是否
其中，根据表1中的使用语音时间得到第二天是否节假日或周末及时间段，且时间段选取所在小时，如系统时间为00:00:00
‑
00:59:59，所在小时为0，系统时间为05:00:00
‑
05:59:59，所在小时为5。且表2中的第二天是否节假日或周末为可选字段，本发明实施例对此不做限制。
43.s6003.根据所述第一用户事件表统计用户预设时间段在晚上时间内的语音使用次数，如统计用户最近一段时间（比如：1个月）在定义的晚上时间（如00：00—06：00）之间的语音使用次数，生成用户语音使用事件表，所述用户语音使用事件表中包含字段用户id及
以下任一种或多种字段：语音使用次数，开屏使用次数，关屏状态下需要开屏指令最终开屏的次数，关屏状态下需要开屏指令最终未开屏的次数，第二天为节假日的情况下关屏状态下需要开屏指令最终开屏的次数，第二天为非节假日的情况下关屏状态下需要开屏指令最终开屏的次数。
44.s6004.仅保留第一用户事件表中当前状态为关屏且需要开启屏幕的数据，生成第二用户事件表，所述第二用户事件表中包含的字段与第一用户事件表相同。示例地，第二用户事件表如表3所示。
45.表3
用户id第二天是否节假日、周末时间段语义领域当前状态是否需要开启屏幕是否开启屏幕usera否5视频关屏是否userb是3视频关屏是否
s6005.利用用户语音使用事件表和第二用户事件表训练所述开屏模型。示例地，对用户语音使用事件表和第二用户事件表中的数据进行标准化处理，如将用户语音使用事件表中的数据进行标准化、归一化处理；将第二用户事件表中关屏状态下的数据进行特征编码。其中，开屏模型训练的输出（label）为是否开启屏幕，如，0标识未开启，1标识开启；特征数据为处理后的用户语音使用事件表中的数据与处理后的第二用户事件表中的数据的连接。定时周期性使用逻辑回归算法进行训练得到最近的模型文件。本发明实施例中开屏模型为逻辑回归模型，但本发明对开屏模型的类型不做限制，如开屏模型可为神经网络等模型等其他模型。
46.（2）利用训练好的开屏模型进行预测。
47.a.模型训练过程，将用户的语音行为处理为用户行为特征集合。
48.b.根据用户当前语音行为数据生成用户开屏事件表，所述用户开屏事件表中包含字段用户id及以下任一种或多种字段：第二天是否节假日或周末，时间段，语义领域，当前状态，是否需要开启屏幕。如，根据用户当前的语义、时间、屏幕状态等生成用户开屏事件表，其中，用户开屏事件表示例如表4所示。
49.表4
用户id第二天是否节假日、周末时间段语义领域当前状态是否需要开启屏幕usera否5视频关屏是
c.将用户开屏事件表中的数据输入到训练好的开屏模型中，根据所述开屏模型的输出确认是否开屏。如将用户语音使用事件表中的数据和用户开屏事件表中的数据进行连接，并同模型训练一样的处理，最终使用已经训练好的逻辑回归模型进行预测，如果返回1，则确认开屏；返回0，则确认不开屏。
50.s3005.二次确认是否开启屏幕响应，如tts提醒并问答是否开启屏幕进行响应。如果用户语义回答开启屏幕，则确认开屏，即确认将智能终端从关屏状态调整为开屏状态，否则，确认不开屏，即确认不将智能终端从关屏状态调整为开屏状态。
51.本发明实施例中，基于与上述智能终端控制方法同样的发明构思，本发明实施例还提供了一种智能终端控制装置，包括：语音指令获取模块，用于获取语音指令；语义识别模块，用于对所述语音指令所携带的语音数据进行语义识别；开屏模块，用于在智能终端处于关屏状态时，如果根据语义识别结果确定不需要
开屏响应所述语音指令，则在关屏状态下响应所述语音指令；如果根据语义识别结果确定需要开屏响应所述语音指令，则根据目标参数确认是否将智能终端从关屏状态调整为开屏状态，若是，则将智能终端调整为开屏状态，并响应所述语音指令，若否，则在关屏状态下响应所述语音指令。
52.本发明实施例还提供了一种智能终端，所述智能终端包括处理器和存储器，所述存储器中存储有可被所述处理器执行的指令，所述指令由所述处理器加载并执行，以实现上述实施例涉及的智能终端控制方法。
53.此外，本发明实施例还提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例涉及的智能终端控制方法。
54.应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，部分或全部步骤可以并行执行或先后执行，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
55.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
56.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备、装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
57.所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上模块集成在一个单元中。
58.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，网络设备或者终端等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、rom、ram)磁碟或者光盘等各种可以存储程序代码的介质。
59.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。