本申请涉及语音交互技术领域，尤其涉及一种显示设备及语音交互方法。
背景技术：
随着电视朝着智能化的方向不断发展，当今的电视，除了支持传统的遥控器控制之外，还能支持语音控制。用户可向电视输入一段语音，电视可从这段语音中识别出文本，然后通过网络查询这段文本的语义，根据预设的语义与显示设备的业务之间的关系进行响应。例如，用户可向电视输入的语音为一个查询语句，显示设备对该语音的响应可为显示这个查询语句对应的答案并朗读该答案。然而，相关技术中，显示设备朗读答案的过程和显示答案的过程相互独立，导致用户需要集中注意力一边聆听朗读的答案，一边观看显示的答案，使得语音交互体验不佳。
技术实现要素：
为解决语音交互体验不佳的技术问题，本申请提供了一种显示设备及语音交互方法。
第一方面，本申请提供了一种显示设备，该显示设备包括：
显示器，用于呈现用户界面；
控制器，与所述显示器连接，所述控制器被配置为：
接收用户输入的语音指令；
响应于所述语音指令，获取所述语音指令对应的响应数据；
在所述响应数据包括音频数据和显示数据时，根据所述显示数据生成响应界面，将所述音频数据对应的文本与所述响应界面上的图文对象进行匹配，得到相匹配的参考文本与目标图文，其中，所述参考文本属于所述音频数据对应的文本，所述目标图文属于所述图文对象；
控制所述显示器显示所述响应界面，并控制与之相连接的音频输出装置播放所述音频数据对应的音频；
在播放到所述参考文本时，更新所述目标图文在所述响应界面上的显示效果，使所述目标图文的显示效果与在所述参考文本播放前的显示效果不同。
在一些实施例中，所述控制器还被配置为：
在播放完所述参考文本后，还原所述目标图文的显示效果，使所述目标图文的显示效果与在所述参考文本播放前的显示效果相同。
在一些实施例中，所述控制器还被配置为：
在播放完所述参考文本后，将所述目标图文的显示效果进行更新，使所述目标图文的显示效果与在所述参考文本播放前的显示效果不同，与在所述参考文本播放后的显示效果也不同。
在一些实施例中，所述将所述音频数据对应的文本与所述响应界面上的图文对象进行匹配，得到匹配的参考文本与目标图文，包括：
将所述音频数据对应的文本拆分成多个字符组；
将所述字符组与所述响应界面上的文本进行匹配，若匹配成功，将所述字符组确定为参考文本，将所述响应界面上的文本确定为目标文本，所述响应界面上的图文对象包括所述响应界面上的文本，所述目标图文包括所述目标文本。
在一些实施例中，所述将所述音频数据对应的文本与所述响应界面上的图文对象进行匹配，得到匹配的参考文本与目标图文，包括：
将所述音频数据对应的文本拆分成多个字符组；
将所述字符组与所述响应界面上的图形进行匹配，若匹配成功，将所述字符组确定为参考文本，将所述响应界面上的文本确定为目标图形，所述响应界面上的图文对象包括所述响应界面上的图形，所述目标图文包括所述目标图形。
第二方面，本申请提供了一种语音交互方法，该方法包括：
接收用户输入的语音指令；
响应于所述语音指令，获取所述语音指令对应的响应数据；
在所述响应数据包括音频数据和显示数据时，根据所述显示数据生成响应界面，将所述音频数据对应的文本与所述响应界面上的图文对象进行匹配，得到相匹配的参考文本与目标图文，其中，所述参考文本属于所述音频数据对应的文本，所述目标图文属于所述图文对象；
控制所述显示器显示所述响应界面，并控制音频输出装置播放所述音频数据对应的音频；
在播放到所述参考文本时，更新所述目标图文在所述响应界面上的显示效果，使所述目标图文的显示效果与在所述参考文本播放前的显示效果不同。
本申请提供的显示设备及语音交互方法的有益效果包括：
本申请提供的显示设备，在接收到语音指令对应的响应数据后，可对响应数据进行分析，在响应数据包括音频数据和显示数据时，可根据所述显示数据生成响应界面，在响应界面检测与音频数据对应的目标图文，从而在播报到目标图文对应的音频时，在响应界面上更新目标图文的显示效果，使目标图文的显示效果与播报前不同，从而使用户可根据响应界面上的显示效果，得到当前播报的进度，实现了将语音播报的播报文本与ui界面的变化联系起来，提升了用户体验。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1中示例性示出了根据一些实施例的显示设备与控制装置之间操作场景的示意图；
图2中示例性示出了根据一些实施例的控制装置100的硬件配置框图；
图3中示例性示出了根据一些实施例的显示设备200的硬件配置框图；
图4中示例性示出了根据一些实施例的显示设备200中软件配置示意图；
图5中示例性示出了根据一些实施例的语音交互原理的示意图；
图6中示例性示出了根据一些实施例的语音交互界面的示意图；
图7中示例性示出了根据一些实施例的语音交互界面的示意图；
图8中示例性示出了根据一些实施例的语音交互界面的示意图。
具体实施方式
为使本申请的目的和实施方式更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。
需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。
本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。
术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
术语“模块”是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。
图1为根据实施例中显示设备与控制装置之间操作场景的示意图。如图1所示，用户可通过智能设备300或控制装置100操作显示设备200。
在一些实施例中，控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式，通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等输入用户指令，来控制显示设备200。
在一些实施例中，也可以使用智能设备300(如移动终端、平板电脑、计算机、笔记本电脑等)以控制显示设备200。例如，使用在智能设备上运行的应用程序控制显示设备200。
在一些实施例中，显示设备200还可以采用除了控制装置100和智能设备300之外的方式进行控制，例如，可以通过显示设备200设备内部配置的获取语音指令的模块直接接收用户的语音指令控制，也可以通过显示设备200设备外部设置的语音控制设备来接收用户的语音指令控制。
在一些实施例中，显示设备200还与服务器400进行数据通信。可允许显示设备200通过局域网(lan)、无线局域网(wlan)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。服务器400可以是一个集群，也可以是多个集群，可以包括一类或多类服务器。
图2示例性示出了根据示例性实施例中控制装置100的配置框图。如图2所示，控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起用用户与显示设备200之间交互中介作用。
图3示出了根据示例性实施例中显示设备200的硬件配置框图。
在一些实施例中，显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。
在一些实施例中控制器包括处理器，视频处理器，音频处理器，图形处理器，ram，rom，用于输入/输出的第一接口至第n接口。
在一些实施例中，显示器260包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件，用于接收源自控制器输出的图像信号，进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控ui界面。
在一些实施例中，显示器260可为液晶显示器、oled显示器、以及投影显示器，还可以为一种投影装置和投影屏幕。
在一些实施例中，通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如：通信器可以包括wifi模块，蓝牙模块，有线以太网模块等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。显示设备200可以通过通信器220与外部控制设备100或服务器400建立控制信号和数据信号的发送和接收。
在一些实施例中，用户接口，可用于接收控制装置100(如：红外遥控器等)的控制信号。
在一些实施例中，检测器230用于采集外部环境或与外部交互的信号。例如，检测器230包括光接收器，用于采集环境光线强度的传感器；或者，检测器230包括图像采集器，如摄像头，可以用于采集外部环境场景、用户的属性或用户交互手势，再或者，检测器230包括声音采集器，如麦克风等，用于接收外部声音。
在一些实施例中，外部装置接口240可以包括但不限于如下：高清多媒体接口接口(hdmi)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(cvbs)、usb输入接口(usb)、rgb端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。
在一些实施例中，调谐解调器210通过有线或无线接收方式接收广播电视信号，以及从多个无线或有线广播电视信号中解调出音视频信号，如以及epg数据信号。
在一些实施例中，控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。
在一些实施例中，控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器260上显示ui对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。
在一些实施例中，所述对象可以是可选对象中的任何一个，例如超链接、图标或其他可操作的控件。与所选择的对象有关操作有：显示连接到超链接页面、文档、图像等操作，或者执行与所述图标相对应程序的操作。
在一些实施例中控制器包括中央处理器(centralprocessingunit，cpu)，视频处理器，音频处理器，图形处理器(graphicsprocessingunit，gpu)，ramrandomaccessmemory，ram)，rom(read-onlymemory,rom)，用于输入/输出的第一接口至第n接口，通信总线(bus)等中的至少一种。
cpu处理器。用于执行存储在存储器中操作系统和应用程序指令，以及根据接收外部输入的各种交互指令，来执行各种应用程序、数据和内容，以便最终显示和播放各种音视频内容。cpu处理器，可以包括多个处理器。如，包括一个主处理器以及一个或多个子处理器。
在一些实施例中，图形处理器，用于产生各种图形对象，如：图标、操作菜单、以及用户输入指令显示图形等。图形处理器包括运算器，通过接收用户输入各种交互指令进行运算，根据显示属性显示各种对象；还包括渲染器，对基于运算器得到的各种对象，进行渲染，上述渲染后的对象用于显示在显示器上。
在一些实施例中，视频处理器，用于将接收外部视频信号，根据输入信号的标准编解码协议，进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等视频处理，可得到直接可显示设备200上显示或播放的信号。
在一些实施例中，视频处理器，包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等。其中，解复用模块，用于对输入音视频数据流进行解复用处理。视频解码模块，用于对解复用后的视频信号进行处理，包括解码和缩放处理等。图像合成模块，如图像合成器，其用于将图形生成器根据用户输入或自身生成的gui信号，与缩放处理后视频图像进行叠加混合处理，以生成可供显示的图像信号。帧率转换模块，用于对转换输入视频帧率。显示格式化模块，用于将接收帧率转换后视频输出信号，改变信号以符合显示格式的信号，如输出rgb数据信号。
在一些实施例中，音频处理器，用于接收外部的音频信号，根据输入信号的标准编解码协议，进行解压缩和解码，以及降噪、数模转换、和放大处理等处理，得到可以在扬声器中播放的声音信号。
在一些实施例中，用户可在显示器260上显示的图形用户界面(gui)输入用户命令，则用户输入接口通过图形用户界面(gui)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。
在一些实施例中，“用户界面”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(graphicuserinterface，gui)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、widget等可视的界面元素。
在一些实施例中，显示设备的系统可以包括内核(kernel)、命令解析器(shell)、文件系统和应用程序。内核、shell和文件系统一起组成了基本的操作系统结构，它们让用户可以管理文件、运行程序并使用系统。上电后，内核启动，激活内核空间，抽象硬件、初始化硬件参数等，运行并维护虚拟内存、调度器、信号及进程间通信(ipc)。内核启动后，再加载shell和用户应用程序。应用程序在启动后被编译成机器码，形成一个进程。
显示设备的系统可以包括内核(kernel)、命令解析器(shell)、文件系统和应用程序。内核、shell和文件系统一起组成了基本的操作系统结构，它们让用户可以管理文件、运行程序并使用系统。上电后，内核启动，激活内核空间，抽象硬件、初始化硬件参数等，运行并维护虚拟内存、调度器、信号及进程间通信(ipc)。内核启动后，再加载shell和用户应用程序。应用程序在启动后被编译成机器码，形成一个进程。
参见图4，在一些实施例中，将系统分为四层，从上至下分别为应用程序(applications)层(简称“应用层”)，应用程序框架(applicationframework)层(简称“框架层”)，安卓运行时(androidruntime)和系统库层(简称“系统运行库层”)，以及内核层。
在一些实施例中，应用程序层中运行有至少一个应用程序，这些应用程序可以是操作系统自带的窗口(window)程序、系统设置程序或时钟程序等；也可以是第三方开发者所开发的应用程序。在具体实施时，应用程序层中的应用程序包不限于以上举例。
框架层为应用程序提供应用编程接口(applicationprogramminginterface，api)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心，这个中心决定让应用层中的应用程序做出动作。应用程序通过api接口，可在执行中访问系统中的资源和取得系统的服务。
如图4所示，本申请实施例中应用程序框架层包括管理器(managers)，内容提供者(contentprovider)等，其中管理器包括以下模块中的至少一个：活动管理器(activitymanager)用与和系统中正在运行的所有活动进行交互；位置管理器(locationmanager)用于给系统服务或应用提供了系统位置服务的访问；文件包管理器(packagemanager)用于检索当前安装在设备上的应用程序包相关的各种信息；通知管理器(notificationmanager)用于控制通知消息的显示和清除；窗口管理器(windowmanager)用于管理用户界面上的括图标、窗口、工具栏、壁纸和桌面部件。
在一些实施例中，活动管理器用于管理各个应用程序的生命周期以及通常的导航回退功能，比如控制应用程序的退出、打开、后退等。窗口管理器用于管理所有的窗口程序，比如获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕，控制显示窗口变化(例如将显示窗口缩小显示、抖动显示、扭曲变形显示等)等。
在一些实施例中，系统运行库层为上层即框架层提供支撑，当框架层被使用时，安卓操作系统会运行系统运行库层中包含的c/c 库以实现框架层要实现的功能。
在一些实施例中，内核层是硬件和软件之间的层。如图4所示，内核层至少包含以下驱动中的至少一种：音频驱动、显示驱动、蓝牙驱动、摄像头驱动、wifi驱动、usb驱动、hdmi驱动、传感器驱动(如指纹传感器，温度传感器，压力传感器等)、以及电源驱动等。
在一些实施例中的硬件或软件架构可以基于上述实施例中的介绍，在一些实施例中可以是基于相近的其他硬件或软件架构，可以实现本申请的技术方案即可。
为清楚说明本申请的实施例，下面结合图5对本申请实施例提供的一种语音识别网络架构进行描述。
参见图5，图5为本申请实施例提供的一种语音识别网络架构示意图。图5中，智能设备用于接收输入的信息以及输出对该信息的处理结果。语音识别服务设备为部署有语音识别服务的电子设备，语义服务设备为部署有语义服务的电子设备，业务服务设备为部署有业务服务的电子设备。这里的电子设备可包括服务器、计算机等，这里的语音识别服务、语义服务(也可称为语义引擎)和业务服务为可部署在电子设备上的web服务，其中，语音识别服务用于将音频识别为文本，语义服务用于对文本进行语义解析，业务服务用于提供具体的服务如墨迹天气的天气查询服务、qq音乐的音乐查询服务等。在一个实施例中，图5所示架构中可存在部署有不同业务服务的多个实体服务设备，也可以一个或多个实体服务设备中集合一项或多项功能服务。
一些实施例中，下面对基于图5所示架构处理输入智能设备的信息的过程进行举例描述，以输入智能设备的信息为通过语音输入的查询语句为例，上述过程可包括如下三个过程：
[语音识别]
智能设备可在接收到通过语音输入的查询语句后，将该查询语句的音频上传至语音识别服务设备，以由语音识别服务设备通过语音识别服务将该音频识别为文本后返回至智能设备。在一个实施例中，将查询语句的音频上传至语音识别服务设备前，智能设备可对查询语句的音频进行去噪处理，这里的去噪处理可包括去除回声和环境噪声等步骤。
[语义理解]
智能设备将语音识别服务识别出的查询语句的文本上传至语义服务设备，以由语义服务设备通过语义服务对该文本进行语义解析，得到文本的业务领域、意图等。
[语义响应]
语义服务设备根据对查询语句的文本的语义解析结果，向相应的业务服务设备下发查询指令以获取业务服务给出的查询结果。智能设备可从语义服务设备获取该查询结果并输出。作为一个实施例，语义服务设备还可将对查询语句的语义解析结果发送至智能设备，以由智能设备输出该语义解析结果中的反馈语句。
需要说明的是，图5所示架构只是一种示例，并非对本申请保护范围的限定。本申请实施例中，也可采用其他架构来实现类似功能，例如：三个过程全部或部分可以由智能终端来完成，在此不做赘述。
在一些实施例中，图5所示的智能设备可为显示设备，如智能电视，语音识别服务设备的功能可由显示设备上设置的声音采集器和控制器配合实现，语义服务设备和业务服务设备的功能可由显示设备的控制器实现，或者由显示设备的服务器来实现。
在一些实施例中，用户通过语音输入显示设备的查询语句或其他交互语句可称为语音指令。
在一些实施例中，显示设备从语义服务设备获取到的是业务服务给出的查询结果，显示设备可对该查询结果进行分析，生成语音指令的响应数据，然后根据响应数据控制显示设备执行相应的动作。例如，对查询结果进行分析后，得到查询结果包括一段设置有播报标识的文本。显示设备可根据预设的响应规则生成响应数据，一种示例性的响应规则是：在获取到设置有播报标识的文本时，在语音交互界面生成包含播报数据对应的文本的对话框，并语音播报该播报数据对应的文本。因此，显示设备可根据该预设的响应规则生成包括ui界面数据和播报数据的响应数据，该ui界面数据对应的ui界面上，设置有包含查询结果对应文本的对话框，播报数据包括播报数据对应的文本和调用音频播放装置播放这段播报数据对应的文本的控制指令。
在一些实施例中，显示设备从语义服务设备获取到的是语音指令的语义解析结果，显示设备可对该语义解析结果进行分析，生成响应数据，然后根据响应数据控制显示设备执行相应的动作。
在一些实施例中，语音指令对应的响应数据包括业务类型数据，不包括播报数据，其中，播报数据可包括音频数据和该音频数据对应的文本，该文本也可称为播报文本，即需要进行语音播报的文本，当然，播报数据也可只包括播报文本，显示设备可根据播报文本生成对应的音频数据，业务类型数据可包括ui界面数据和/或显示设备的控制指令，ui界面数据可包括用于生成响应界面的显示数据。这一般出现在语音场景是用户对显示设备发出指令的场景。例如，在语音指令为增大音量的音量调节指令时，响应数据可包括显示音量条的ui界面数据和增大扬声器音量的控制指令。显示设备根据响应数据调整音量并显示音量条，不进行语音播报。
在一些实施例中，语音指令对应的响应数据包括播报数据和业务类型数据，其中，业务类型数据可包括ui界面数据。这一般出现在语音场景是一种人机对话的场景，例如，用户发出“今天天气如何”指令，响应于该指令，显示设备需要再将查询结果通过语音播报的形式反馈给用户，这时，语音指令对应的响应数据中包括了播报数据。在语音指令为查询今日天气的指令时，响应数据可包括显示今日天气详情的ui数据和包括气温、风力、湿度等天气信息的播报数据。显示设备可根据响应数据显示ui界面并进行语音播报。
然而，相关技术中，在语音指令对应的响应数据包括播报数据和业务类型数据时，显示设备执行显示ui界面和语音播报的这两个过程相互独立，没有关联，用户需要自行将语音播报的播报文本与ui界面联系起来，体验欠佳。
为解决上述技术问题，在一些实施例中，显示设备在得到语音指令的响应数据后，可在响应数据包括播报数据时，根据ui界面数据生成响应界面，在响应界面数据中检测播报文本对应的目标图文，显示响应界面并进行语音播报，在播报到目标图文对应的音频时，更新目标图文在响应界面上的显示效果，从而使用户能够在响应界面上就能看出当前语音播报的内容，实现了自动将语音播报的文本与ui界面联系起来，提升了用户体验。
下面以用户与显示设备的语音交互过程为例，详细介绍上述将语音播报的文本与响应界面联系起来的技术方案。
在一些实施例中，显示设备的遥控器上可设置有语音控制按键，用户按住遥控器上的语音控制按键后，显示设备的控制器可控制显示设备的显示器显示语音交互界面，并控制声音采集器，如麦克风，采集显示设备周围的声音。此时，用户可向显示设备输入语音指令。
在一些实施例中，显示设备可支持语音唤醒功能，显示设备的声音采集器可处于持续采集声音的状态。用户说出唤醒词后，显示设备对用户输入的语音指令进行语音识别，识别出语音指令为唤醒词后，可控制显示设备的显示器显示语音交互界面，此时，用户可继续向显示设备输入语音指令。
在一些实施例中，在用户输入一个语音指令后，在显示设备获取语音指令的响应数据或显示设备根据响应数据进行响应的过程中，显示设备的声音采集器可保持声音采集的状态，用户可随时按住遥控器上的语音控制按键重新输入语音指令，或者说出唤醒词，此时，显示设备可结束上一次的语音交互进程，根据用户新输入的语音指令，开启新的语音交互进程，从而保障语音交互的实时性。
在一些实施例中，在显示设备的当前界面为语音交互界面时，显示设备对用户输入的语音指令进行语音识别后，得到语音指令对应的文本，显示设备自己或显示设备的服务器对该文本进行语义理解后得到用户意图，对用户意图进行处理得到语义解析结果，根据语义解析结果生成响应数据，该响应数据可称为初始响应数据，显示设备如果直接按照该初始响应数据进行语音播报并显示响应界面，则可能就会出现语音播报与响应界面相独立的情况。
为避免出现语音播报与响应界面相独立的情况，在一些实施例中，显示设备可对初始响应数据进行处理，得到最终响应数据，根据最终响应数据进行响应，可得到语音播报与响应界面相联系的效果。当然，如果初始响应数据不包含播报数据，则可直接根据初始响应数据进行响应。
以初始响应数据包括播报数据为例，显示设备对初始响应数据进行处理以得到最终响应数据的过程可参见下文描述。
在一些实施例中，若初始响应数据包括播报数据和ui界面数据，可根据ui界面数据生成响应界面，然后在响应界面上检测播报文本对应的目标图文。其中，目标图文可为与播报文本相关联，且能够进行特殊显示的对象，如文字、图形等，特殊显示是指区别于播报前的显示。
在一些实施例中，目标图文可包括目标文本。由于响应界面显示的内容通常会包括与播报文本相同的文本，例如，响应界面上设置有一个对话框，该对话框中显示的文本可与播报文本相同，因此可从响应界面上显示的文本中确定需要随着播报进度变化显示效果的目标文本。
为了得到目标文本，可根据一些预设的拆分规则将播报文本拆分成至少两个字符组。
播报文本的一种示例性拆分规则如下：将播报文本拆分成单个汉字，每个汉字可作为一个字符组，如果该汉字与下一个汉字之间有标点符号，则可忽略该标点符号，也可将该标点符号写入该汉字对应的字符组内，或者将该标点符号写入在下一个汉字的字符组内。例如，对于播报文本“你好”，可将其拆分为两个字符组，一个是“你”，另一个是“好！”。
播报文本的一种示例性拆分规则如下：将播报文本拆分成多个词语，标点符号的处理可参考上文。例如，对于播报文本“你好，我叫小a。”，可将其拆分为四个字符组，分别为：“你好，”、“我”、“叫”、“小a。”。
播报文本的一种示例性拆分规则如下：以标点符号作为区分，将播报文本拆分成多个短句，例如，对于播报文本“你好，我叫小a。”，可将其拆分为两个字符组，分别为：“你好，”、“我叫小a。”。
上述拆分规则仅为示例性的播报文本的拆分规则，实际实施中，拆分规则也可为其他规则。
在一些实施例中，若响应界面上包含了与播报文本相同的文本，则可将播报文本对应的每个字符组确定为一个参考文本，将响应界面上与该字符组相同的文本确定为该参考文本的目标文本，即参考文本是播报数据中的文本，目标文本是响应界面上的文本。
在一些实施例中，除了包含与播报文本相同的文本，响应界面显示的内容还包括一些其他文本，还可将这些文本与字符组进行文本匹配，将与字符组匹配的文本也确定为该字符组的目标文本。例如，对于播报文本“今天的天气是多云。”，可将其拆分为下列几个字符组，分别为：“今天的”、“天气”、“是”、“多云。”在响应界面上，存在语音交互的对话框和今天的天气详情信息，其中，语音交互的对话框内显示有与播报文本相同的文本：“今天的天气是多云。”，今天的天气详情信息包括与字符组匹配的文本“多云”，因此，也可将今天的天气详情信息中的“多云”确定为字符组“多云”对应的一个目标文本。
在一些实施例中，文本匹配的规则可为文本相同或文本的含义相同、相近或相关。例如，播放文本对应的字符组为“3到8摄氏度”，响应界面的天气详情信息中含有文本“3℃～8℃”，则可根据“3℃～8℃”与“3到8摄氏度”含义相同，将“3℃～8℃”确定为目标文本。
在一些实施例中，参考文本对应的目标图文可包括目标图形。响应界面可显示多个图形，部分图形可能设置有文字说明，这些文字说明可能与播报文本相匹配。例如，播报文本为“紫外线弱，不适宜钓鱼，适宜室内锻炼。”可将该播报文本拆分为下列几个字符组，分别为：“紫外线”、“弱，”、“不适宜”、“钓鱼，”、“适宜”、“室内”、“锻炼”。响应界面上显示的图形可包括一个太阳图形和鱼图形，且太阳图形一侧设置有文字说明：“紫外线弱”，鱼图形一侧设置有文字说明：“钓鱼一般”。此时，根据文本匹配的规则，可得到文字说明“紫外线弱”与字符组“紫外线”内容相关，文字说明“钓鱼一般”与字符组“钓鱼”内容相关，因此，可将太阳图形确定为字符组“紫外线”对应的一个目标图形，将鱼图形确定为字符组“钓鱼”对应的一个目标图形。
可见，对于一段播报文本，将其拆分成多个字符组后，在响应界面上，一个字符组作为参考文本，可能对应一个目标文本，也可能对应着多个目标文本。一个字符组还可能对应一个目标图形或者不对应目标图形，在一些实施例中，一个字符组还可能对应多个目标图形。
在一些实施例中，显示设备可为每个字符组设置上编号，便于区分不同的字符组。
在得到参考文本后，为保障显示设备在播放到参考文本对应的目标图文后，能准时更新目标图文的显示效果，在语音播报的过程中，显示设备需要获取播报进度。
在一些实施例中，显示设备可在语音播报的过程中通过麦克风进行收集声音，从而得到显示设备的扬声器发出的声音，对扬声器发出的声音进行语音到文本的转换，再将转换后的文本与播报文本进行匹配，就可得到当前的播放进度，进而在播报进度与目标图文相对应时，将目标图文进行强调显示。通过该方法获取的播报进度与实际的播报进度的时间差与显示设备进行数据处理的时间大小相同，能够较好地反映显示设备的实际播报进度，从而保障了播报目标进行强调显示的准确性。
然而，上述播报进度的获取方法需要显示设备实时对扬声器发出的声音进行数据处理，性能消耗较大，在显示设备的计算能力较弱时，可能导致显示设备出现卡顿的现象。
在一些实施例中，显示设备可预先计算好从播报起点开始播报后到参考文本需要花费的时间，其中，播报起点为播报文本的第一个字符，然后在播报开始后进行记时，根据显示设备的语音播报速度就能得到播报进度，具体实现如下：
在一些实施例中，显示设备在得到多个参考文本后，可分别计算显示设备在进行语音播报时，从语音播报的起点到参考文本需要花费的播报时间。
在一些实施例中，显示设备在语音交互时可支持利用不同的音色进行播报，不同的音色播报的语速可能稍有不同，例如，显示设备支持的音色包括女声和男声，女声语速稍快，男声语速稍慢。显示设备可默认设置音色为女声，当然，也可默认设置音色为男声，用户可预先对显示设备的音色进行设置，使显示设备按照用户设置的音色进行语音播报，如果用户不预先设置显示设备的音色，显示设备将按照默认音色进行播报。
在一些实施例中，显示设备可根据当前的音色确定自己的语音播报速度，根据语音播报速度和参考文本的起点距离音频数据对应的文本的起点的字符间距，计算参考文本开始播报的时刻，再根据参考文本的字符长度和播报速度，计算参考文本结束播报的时刻。
在一些实施例中，显示设备在计算出参考文本开始播报的时刻和结束播报的时刻后，可将ui界面数据调整为在达到参考文本开始播报的时刻，即播报进度到达参考文本时，根据预设的显示规则，将参考文本对应的目标图文的显示效果进行更新，使目标图文的显示效果与播报前不同，这样，一个目标图文就拥有了至少两种显示效果，可对应“非正在播报”、“正在播报”这两种状态。从而可使用户根据响应界面上目标图文的显示效果发生了变化，知道当前语音播报的音频对应的内容为该显示效果发生变化的目标图文，即可使用户明确当前的播报进度。
在一些实施例中，也可将ui界面数据调整为播报完一个参考文本后，不改变其对应的目标图文的显示效果，一直到播报到下一个参考文本后，再还原该目标图文的显示效果，并更新下一个参考文本对应的目标图文的显示效果，这样，一个目标图文就拥有了至少两种显示效果，可对应“未播报或已播报到下一个目标图文”、“正在播报或已播报但尚未播报下一个目标图文”这两种状态，可使用户明确当前的播报进度。
在一些实施例中，还可将ui界面数据调整为播报完一个参考文本后，将所述目标图文的显示效果进行更新，使所述目标图文的显示效果与在所述参考文本播放前的显示效果不同，与在所述参考文本播放时的显示效果也不同。这样，一个目标图文就拥有了至少三种显示效果，可对应“未播报”、“正在播报”、“已播报”这三种状态，可使用户明确当前的播报进度。
在一些实施例中，若目标图文为目标文本，则更新显示效果的方式可为将目标文本进行变色，使所述目标文本的颜色与之前不同。在上述的各个状态，目标文本的颜色可各不相同，其中，“正在播报”和“正在播报或已播报但尚未播报下一个目标图文”对应的文本颜色与背景色的色差可相对较大，“非正在播报”、“未播报或已播报到下一个目标图文”、“未播报”“已播报”对应的文本颜色与背景色的色差可相对较小，便于用户可以容易地掌握最新的播报进度。“未播报”与“已播报”相比，“未播报”对应的文本颜色与背景色的色差可相对较大，便于用户区分已播报内容和未播报内容。
可见，上述颜色变换的方法实现了将目标文本进行强调显示的效果，不同的颜色可视为对应不同的强调等级，高强调等级对应的文本颜色与背景色的色差可相对较大，低强调等级对应的文本颜色与背景色的色差可相对较小。
在一些实施例中，若目标图文为目标图形，则将播报目标进行更新显示效果的方法可为将所述目标图文在所述响应界面上的位置进行调整，使所述目标图文在所述响应界面上的位置与在所述参考文本播放前的位置不同。
可见，上述位置变换的方法实现了将目标图形进行强调显示的效果，不同的位置可视为对应不同的强调等级，正在播报的参考文本对应的目标图形的强调等级最高，已播报的次之，未播报的最低。高强调等级对应的位置为更为显眼的区域，如靠近响应界面的中心区域或上方区域，低强调等级对应的位置为更为不显眼的区域，如靠近响应界面的边缘区域或下方区域。
需要说明的是，上述颜色变换的强调方法也可适用于目标图形，上述位置变化的强调方法也可适用于目标文本。
在一些实施例中，若播报目标为目标图形，则将播报目标进行强调显示的方法还可为：若在所述参考文本播放前，显示设备的焦点不在所述目标图文上，则在所述参考文本播放时，将所述显示设备的焦点移动到所述目标图文上。
根据上述强调显示的规则将ui界面数据进行调整后，调整后的ui界面数据对应的ui界面可为随播报进度变化的动态界面，根据调整后的ui界面数据和播报数据可得到最终响应数据。
在一些实施例中，显示设备在得到最终响应数据后，可控制音频输出装置开始起播播报文本，并控制显示器显示响应界面，在播报到播报目标后，更新所述目标图文在所述响应界面上的显示效果。
其中，音频输出装置可以与图3中的音频输出接口相对应，其中音频输出接口可以包括或者连接扬声器以及外接音响输出端子。
为对上述语音交互过程中的显示界面变化做进一步描述，以目标图文为目标文本为例，图6-图8示出了根据一些实施例的语音交互界面示意图，这些语音交互界面均为语音指令的响应界面。
参见图6，播报文本可为图6中显示的文本，包括：“为您找到以下笑话写作班同学须在堂上写一篇短故事、要包括宗教、皇室、……”。显示设备可将播报文本拆分成多个字符组，第一个字符组可为“为您找到以下笑话”，第二个字符组及后续的字符组可包括单个字符，即第二个字符组为“写”、第三个字符组为“作”、第四个字符组为“班”，以此类推。
每个字符组均为作为一个参考文本，在播报到一个参考文本时，可将该参考文本对应的目标文本的颜色进行变色，图6中，“写作班同学须在堂上写一篇短故事、要包括宗教、”的颜色区别于其他文本的颜色，表明当然的播报进度是“教”。
参见图7，播报文本包括：“崂山区今天多云，3到8摄氏度，……”。显示设备可将播报文本拆分成多个字符组，第一个字符组可为“崂山区”，第二个字符组可为“今天”，第三个字符组可为“多云，3到8摄氏度”，以此类推。
每个字符组均为作为一个参考文本，在播报到一个参考文本时，可将该参考文本对应的目标文本的颜色进行变色，图7中，“多云，3到8摄氏度”的颜色区别于其他文本的颜色，表明当然的播报进度是“多云，3到8摄氏度”。
图7中还包括与参考文本匹配的目标文本，例如，图7的左下角的“多云3℃～8℃”与参考文本“多云，3到8摄氏度”相匹配，因此，还可将“多云3℃～8℃”设置为目标文本，当语音播报到“多云，3到8摄氏度”时，可将“多云3℃～8℃”也进行变色显示。
参见图8，为图7中的界面更新后的示意图。如图8所示，当播报进度为“空气良”时，参考文本中的“空气良”和“空气良”匹配的目标文本“空气质量62(空气良)”均可变色显示。
根据图7、图8可见，在播报到不同的参考文本时，不同的目标文本可分别强调显示，以提示用户当前的播报进度。
由上述实施例可见，本申请提供的显示设备，本申请提供的显示设备，在接收到语音指令对应的响应数据后，可对响应数据进行分析，在响应数据包括音频数据和显示数据时，可根据所述显示数据生成响应界面，在响应界面检测与音频数据对应的目标图文，从而在播报到目标图文对应的音频时，在响应界面上更新目标图文的显示效果，使目标图文的显示效果与播报前不同，从而使用户可根据响应界面上的显示效果，得到当前播报的进度，实现了将语音播报的播报文本与ui界面的变化联系起来，提升了用户体验。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
