一种车载多模交互方法与流程

技术特征：
1.一种车载多模交互方法，其特征在于：包括以下步骤，步骤1，用户打开应用程序页面；步骤2，无障碍服务应用监听应用程序页面变化；步骤3，用户下达语音指令；步骤4，无障碍服务应用与应用程序进行交互应用。2.根据权利要求1所述的一种车载多模交互方法，其特征在于：无障碍服务应用为安卓系统下自带的无障碍服务应用，应用程序页面为安卓系统下的标准化页面。3.根据权利要求2所述的一种车载多模交互方法，其特征在于：步骤2的具体内容如下，应用程序页面的视图层次结构信息由sendaccessibilityevent获取并发送给accessibilitymanagerservice，accessibilitymanagerservice对该信息进行读取识别后发送给无障碍服务应用，并由此监听应用程序页面变化。4.根据权利要求3所述的一种车载多模交互方法，其特征在于：步骤3具体内容如下，由用户下达针对应用程序的语音指令，该语音指令发送给车载语音识别应用，通过车载语音识别应用对该语音指令进行语音识别，并将识别后的语音指令发送给无障碍服务应用。5.根据权利要求4所述的一种车载多模交互方法，其特征在于：步骤4的具体内容如下，无障碍服务应用收到该语音指令并进行识别，通过查找整个应用程序页面的视图层次结构的信息中是否有与该语音指令内容相匹配的描述，若找到匹配的描述，则进行虚拟点击，执行语音指令；若找不到匹配语音指令的描述，则发出语音提示后，由用户发出下一道语音指令，重复步骤3-4，直至能够查找到与最新语音指令相匹配的描述，并进行虚拟点击，执行语音指令。6.根据权利要求5所述的一种车载多模交互方法，其特征在于：标准化页面在安卓系统中都有一个布局页面，称为layout.xml,能在布局页面中定义控件和显示位置，在控件定义时有一个属性android:contentdescription用来描述控件，通过对标准化页面控件描述进行规范程序定义，在无障碍服务与应用程序进行交互应用时按照该规范化定义程序进行需要按照规范程序填写。7.根据权利要求6所述的一种车载多模交互方法，其特征在于：规范化程序具体为：android:contentdescription="描述定义"。

技术总结
本发明公开了车载智能控制领域内的一种车载多模交互方法，步骤1，用户打开应用程序页面；步骤2，无障碍服务应用监听应用程序页面变化；步骤3，用户下达语音指令；步骤4，无障碍服务应用与应用程序进行交互应用；主机中新增无障碍服务应用，无障碍服务应用负责监听应用程序页面元素变化和执行模拟点击操作，语音识别应用将语音指令派发给到无障碍服务应用，无障碍服务应用找到匹配语音指令的描述内容，并检索当前页面元素中是否存在对应的描述内容，如果查找到则执行点击事件，帮助主机厂在交互应用页面显示场景时定义一套新的交互方式从而减少应用间的交互接口，且这种方案能减少语音识别应用接口联调适配工作。识别应用接口联调适配工作。识别应用接口联调适配工作。


技术研发人员：徐武龙 杨洪坪
受保护的技术使用者：扬州航盛科技有限公司
技术研发日：2022.06.29
技术公布日：2022/9/13