一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种车载多模交互方法与流程

2022-09-15 06:45:53 来源:中国专利 TAG:


1.本发明涉及汽车软件领域内的车载多模交互方法。


背景技术:

2.现有的语音交互方案是语音识别应用将车主的语音内容转换成文字指令,然后调用交互应用的接口进行指令操作,这种方式需要交互应用提供大量接口,且不同的交互应用提供接口不一样,同时语音识别应用需要进行大量的接口联调适配工作。当前语音交互方式不利于主机厂定义统一的交互接口,且适配工作量大。


技术实现要素:

3.本发明的目的是提供一种车载多模交互方法,在交互应用页面显示场景时定义一套新的交互方式从而减少应用间的交互接口,能减少语音识别应用接口联调适配工作。
4.为实现上述目的,本发明提供了一种车载多模交互方法,步骤1,用户打开应用程序页面;步骤2,无障碍服务应用监听应用程序页面变化;步骤3,用户下达语音指令; 步骤4,无障碍服务应用与应用程序进行交互应用。
5.与现有技术相比,本发明的有益效果在于,主机中新增无障碍服务应用,无障碍服务应用负责监听应用程序页面元素变化和执行模拟点击操作,语音识别应用将语音指令派发给到无障碍服务应用,无障碍服务应用找到匹配语音指令的描述内容,并检索当前页面元素中是否存在对应的描述内容,如果查找到则执行点击事件,帮助主机厂在交互应用页面显示场景时定义一套新的交互方式从而减少应用间的交互接口,且这种方案能减少语音识别应用接口联调适配工作。
6.作为本发明的进一步改进,无障碍服务应用为安卓系统下自带的无障碍服务应用,应用程序页面为安卓系统下的标准化页面;这样可以借助成熟的软件应用进行承载程序之间的应用交互,更加方便。
7.作为本发明的进一步改进,步骤2的具体内容如下,应用程序页面的视图层次结构信息由sendaccessibilityevent获取并发送给accessibilitymanagerservice, accessibilitymanagerservice对该信息进行读取识别后发送给无障碍服务应用,并由此监听应用程序页面变化。
8.这样能够利用无障碍服务应用识别应用程序页面的层析结构信息,进而为识别匹配用户的语音指令做准备。
9.作为本发明的进一步改进,步骤3具体内容如下,由用户下达针对应用程序的语音指令,该语音指令发送给车载语音识别应用,通过车载语音识别应用对该语音指令进行语音识别,并将识别后的语音指令发送给无障碍服务应用。
10.这样,可以通过无障碍服务应用通过车载语音识别应用接收用户下达的语音指令,以便与监听的应用程序页面进行交互。
11.作为本发明的进一步改进,步骤4的具体内容如下,无障碍服务应用收到该语音指令并进行识别,通过查找整个应用程序页面的视图层次结构的信息中是否有与该语音指令内容相匹配的描述,若找到匹配的描述,则进行虚拟点击,执行语音指令;若找不到匹配语音指令的描述,则发出语音提示后,由用户发出下一道语音指令,重复步骤3-4,直至能够查找到与最新语音指令相匹配的描述,并进行虚拟点击,执行语音指令。
12.这样通过无障碍服务应用与应用程序页面实现软件层面的交互,减少应用间的交互接口,且这种方案能减少语音识别应用接口联调适配工作。
13.作为本发明的进一步改进,标准化页面在安卓系统中都有一个布局页面,称为layout.xml,能在布局页面中定义控件和显示位置,在控件定义时有一个属性android:contentdescription用来描述控件,通过对标准化页面控件描述进行规范程序定义,在无障碍服务与应用程序进行交互应用时按照该规范化定义程序进行需要按照规范程序填写。
14.设置一个统一的规范程序,能够快速实现在安卓系统下,由无障碍服务应用于对应的应用程序页面的之间的交互。
15.作为本发明的进一步改进,规范化程序具体为:android:contentdescription="描述定义"这样,通过上述程序在应用交互页面场景下定义统一的交互规范,主机厂可以减少大量的适配工作。
附图说明
16.图1为本发明中无障碍服务监听页面变化时序图。
17.图2为本发明中语音指令交互时序图。
18.图3为本发明中无障碍服务监听歌曲页面变化时序图。
19.图4为本发明中用户说下一曲的交互时序图。
20.图5为本发明中音乐播放下一曲的流程场景图一。
21.图6为本发明中音乐播放下一曲的流程场景图二。
22.图7为本发明中音乐播放下一曲的流程场景图三。
23.图8为本发明中无障碍服务监听蓝牙开关页面变化时序图。
24.图9为本发明中用户说打开蓝牙的交互时序图。
25.图10为本发明中蓝牙打开的的流程场景图一。
26.图11为本发明中蓝牙打开的的流程场景图二。
27.图12为本发明中蓝牙打开的的流程场景图三 。
具体实施方式
28.下面结合附图对本发明进一步说明:如图1-2所示的一种车载多模交互方法,包括以下步骤,步骤1,用户打开安卓系统下的应用程序页面;步骤2,安卓系统下自带的无障碍服务应用监听应用程序页面变化;应用程序页面的视图层次结构信息由sendaccessibilityevent获取并发送给
accessibilitymanagerservice,accessibilitymanagerservice对该信息进行读取识别后发送给无障碍服务应用,并由此监听应用程序页面变化。
29.步骤3,用户下达语音指令;由用户下达针对应用程序的语音指令,该语音指令发送给车载语音识别应用,通过车载语音识别应用对该语音指令进行语音识别,并将识别后的语音指令发送给无障碍服务应用。
30.步骤4,无障碍服务应用与应用程序进行交互应用。
31.无障碍服务应用收到该语音指令并进行识别,通过查找整个应用程序页面的视图层次结构的信息中是否有与该语音指令内容相匹配的描述,若找到匹配的描述,则进行虚拟点击,执行语音指令;若找不到匹配语音指令的描述,则发出语音提示后,由用户发出下一道语音指令,重复步骤3-4,直至能够查找到与最新语音指令相匹配的描述,并进行虚拟点击,执行语音指令。
32.标准化页面在安卓系统中都有一个布局页面,称为layout.xml,能在布局页面中定义控件和显示位置,在控件定义时有一个属性android:contentdescription用来描述控件,通过对标准化页面控件描述进行规范程序定义,在无障碍服务与应用程序进行交互应用时按照该规范化定义程序进行需要按照规范程序填写。
33.规范化程序具体为:android:contentdescription="描述定义"本发明是借助安卓无障碍服务应用加标准化页面控件描述的方案实现新的语音交互方案,其中安卓无障碍服务完成:页面控件定位查找和模拟点击;标准化页面控件描述完成:控件锚点安卓无障碍服务介绍:安卓系统自带的无障碍服务具有强大的界面监听能力和替代用户操作的能力,可以获取当前页面视图的层次结构(通过accessibilityevent接收指定事件的回调),并可以代表用户执行操作,包括更改输入焦点和选择(激活)用户界面元素。标准化页面控件描述介绍:安卓系统中每个应用页面都有一个布局页面(layout.xml),在布局页面中定义控件和显示位置,在控件定义时有一个属性android:contentdescription用来描述控件。标准化页面控件描述是主机厂定义一套描述规范,各交互应用需要按照规范填写android:contentdescription。
34.实施例一现有技术中,酷我音乐提供publicvoidplaynext()播放下一曲的接口,语音识别应用调用酷我playnext()接口实现播放下一曲的操作。
35.如下是酷我音乐提供的部分接口://播放下一曲playnext()//播放上一曲playpre()//播放play()//暂停pause()
//设置播放模式setplaymodel()如下则是虾米音乐提供的部分接口://播放下一曲setplaystate(playstate.state_next)//播放上一曲setplaystate(playstate.state_pre)//播放setplaystate(playstate.state_play)//暂停setplaystate(playstate.state_pause)//设置播放模式setplaymodel()通过上面酷我音乐和虾米音乐接口可以发现,不同音乐应用提供的接口都不一样,对于语音识别应用来说需要和不同接口进行联调,需要耗费大量的工作。
36.采用本发明,则具体方案如下(具体如图3-7):如下是下一曲控件的定义: 《imageview
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
android:id="@ id/song_lrc_bottom_left"
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
android:layout_width="36dp"
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
android:layout_height="36dp"
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
android:contentdescription="playpre"
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
android:padding="2dp"
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
android:src="@drawable/iv_previous"
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
android:onclick="@{musicinfo::skiptopreviousplayback}"/》 其中android:contentdescription需要填写playpre,即描述定义。
37.1、主机厂需要输出描述规范,具体如下://播放下一曲playnext//播放上一曲playpre//播放play//暂停pause//设置播放模式setplaymode。
38.//播放下一曲playnext
//播放上一曲playpre//播放play//暂停pause//设置播放模式setplaymode。
39.2、交互应用需要在布局文件中定义组件时是添加描述说明,根据实际与语音指令选择描述定义,例如音乐类播放下一曲: 《imageview
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
android:id="@ id/song_lrc_bottom_left"
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
android:layout_width="36dp"
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
android:layout_height="36dp"
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
android:contentdescription="playpre"
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
android:padding="2dp"
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
android:src="@drawable/iv_previous"
ꢀꢀꢀꢀꢀꢀ
android:onclick="@{musicinfo::skiptopreviousplayback}"/》。3、主机中集成无障碍服务应用用来监听页面变化、组件查找以及模拟点击。
40.4、当语音识别将语音内容转换成控制指令后,语音应用调用无障碍服务应用并传递调用指令,无障碍辅助服务根据指令查找匹配的描述信息,如果发现则根据描述信息遍历页面组件,如匹配到组件信息,则对组件执行模拟点击操作。
41.5交互应用接收到点击操作后响应操作。
42.实施例二蓝牙的场景(具体如图8-12):现有技术中,设置应用需要提供openbt()的接口,语音识别应用调用设置应用的openbt()接口进行打开蓝牙的操作,不同蓝牙应用提供的接口都不一样,对于语音识别应用来说需要和不同接口进行联调,需要耗费大量的工作。
43.而采用本发明,则具体方案如下:《switch
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
android:id="@ id/bluetooth_switch"
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
android:layout_width="wrap_content"
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
android:layout_height="wrap_content"
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
android:layout_alignparentend="true"
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
android:contentdescription="openbt"
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
android:layout_centervertical="true"
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
android:thumb="@drawable/switch_slider"
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
android:thumbtextpadding="20sp"
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
android:track="@drawable/switch_bg_drawble" /》
其中android:contentdescription需要填写openbt如下是对蓝牙开关描述的规范://开关蓝牙openbt。
44.具体过程如下:1、主机厂需要输出描述规范,具体如下://开关蓝牙openbt。
45.2、交互应用需要在布局文件中定义组件时是添加描述说明,蓝牙开关打开《switch
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
android:id="@ id/bluetooth_switch"
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
android:layout_width="wrap_content"
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
android:layout_height="wrap_content"
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
android:layout_alignparentend="true"
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
android:contentdescription="openbt"
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
android:layout_centervertical="true"
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
android:thumb="@drawable/switch_slider"
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
android:thumbtextpadding="20sp"
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
android:track="@drawable/switch_bg_drawble" /》3、主机中集成无障碍服务应用用来监听页面变化、组件查找以及模拟点击。
46.4、当语音识别将语音内容转换成控制指令后,语音应用调用无障碍服务应用并传递调用指令,无障碍辅助服务根据指令查找匹配的描述信息,如果发现则根据描述信息遍历页面组件,如匹配到组件信息,则对组件执行模拟点击操作。
47.5交互应用接收到点击操作后响应操作,对于蓝牙打开页面来说,即为模拟点击打开蓝牙。
48.本发明在主机中新增无障碍服务应用,无障碍服务应用负责监听页面元素变化和执行模拟点击操作,语音识别应用将语音指令派发给到无障碍服务应用,无障碍服务应用找到匹配语音指令的描述内容,并检索当前页面元素中是否存在对应的描述内容,如果查找到则执行点击事件。
49.与现有技术相比,具有如下优势: 1、交互应用和语音应用的解耦,两者不要通过接口就可以建立通信。
50.2、降低应用间联调工作。
51.3、在应用交互页面场景下定义统一的交互规范,主机厂可以减少大量的适配工作。
52.4、丰富智能语音操作,实现可看即可语音操作,无需手动操作。
53.本发明不局限于上述实施例,在本公开的技术方案的基础上,本领域的技术人员根据所公开的技术内容,不需要创造性的劳动就可以对其中的一些技术特征作出一些替换和变形,这些替换和变形均在本发明的保护范围内。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献