智能体多模态无障碍交互方法、装置、智能终端及介质与流程

本发明涉及ai人机交互，尤其涉及的是一种基于智能终端的智能体多模态无障碍交互方法、装置、智能终端及存储介质。

背景技术：

1、随着人工智能的发展和人们生活水平的不断提高，各种智能终端如智能电视的使用越来越普及，智能电视已经成为人们生活中不可缺少的休闲娱乐工具。

2、电视作为家庭信息与娱乐中心，其传统交互方式（如遥控器、复杂菜单）对许多用户构成了使用障碍：1）、对老年人：视力衰退使其难以看清小字体和复杂界面；听力下降影响音频内容接收；操作逻辑复杂的智能电视遥控器带来学习困难。2）、对视障用户：完全依赖视觉信息的图形界面（gui）使其无法独立使用电视。3）、对听障用户：电视节目的音频信息、系统提示音等无法被有效接收。4）、对行动障碍用户：精细操作遥控器按键或使用手势交互存在困难。5）、对儿童：识字量有限，无法理解文本菜单；逻辑思维能力尚未完善，难以导航复杂界面。

3、现有解决方案多为零散的辅助功能，缺乏一个以用户能力为中心、深度融合ai的普惠化智能交互体系。

4、因此，现有技术还有待于改进与发展。

技术实现思路

1、本发明要解决的技术问题在于，针对上述现有技术的缺陷，提供一种基于智能终端的智能体多模态无障碍交互方法、装置、智能终端及存储介质，本发明提供一种面向普惠接入的电视智能体多模态无障碍交互系统及方法；通过动态适配的交互模态、ai情景感知与自然交互，可以适配各种年龄、各种身体或认知能力差异的用户使用，为每个用户提供更好更方便的交互服务。

2、本发明解决问题所采用的技术方案如下：

3、一种基于智能终端的智能体多模态无障碍交互方法，其中，包括：

4、a、当检测到用户进入智能终端感知范围，采集用户生物特征信息；将采集的生物特征信息与预存的用户身份特征比对，确定当前用户身份；所述智能终端接收通过语音唤醒、手势唤醒和/或外接辅助设备唤醒的触发方式唤醒；

5、b、基于确定的当前用户身份，从预设的无障碍用户画像库调取适配于当前用户的能力特征参数；

6、c、根据所述能力特征参数，动态重构智能终端界面元素的呈现方式，切换至适配当前用户的操作模式；启用多模态引导反馈，根据用户能力特征开启对应的替代性感知通道，包括界面语音播报导读、全局实时字幕、视觉提示，输出引导交互提示；

7、d、获取用户在适配操作模式下的多模态异构输入信号，所述输入信号包括语音信号、手势/唇语视觉识别信号、和/或外接辅助设备输入信号；对多模态输入信号进行融合理解，解析得到用户操作意图；

8、e、响应解析得到的用户操作意图执行对应业务；并对媒体内容做感知增强处理：对视频画面实时分析生成视觉解说音频，对音频信号识别生成对话字幕以及环境音效文字描述，通过已建立的替代性感知通道输出，补偿用户缺失的感知信息。

9、所述的基于智能终端的智能体多模态无障碍交互方法，其中，所述步骤e之后还包括：

10、f、记录本次交互过程数据，基于交互成功/失败样本迭代优化用户对应的识别模型，更新无障碍用户画像库内的用户偏好配置。

11、所述的基于智能终端的智能体多模态无障碍交互方法，其中，所述步骤a之前还包括：

12、预先采集不同用户的特定能力特征，并为不同特定能力特征的用户设置对应的能力特征参数；

13、将不同用户的特定能力特征以及对应的能力特征参数，包括障碍类型、感知通道偏好及界面参数，存储在无障碍用户画像库。

14、所述的基于智能终端的智能体多模态无障碍交互方法，其中，所述当检测到用户进入智能终端感知范围，采集用户生物特征信息的步骤包括：

15、通过摄像头进行面部识别或通过带麦克风阵列的语音感知模块进行声纹识别，无感判断当前使用者身份；

16、其中，所述语音感知模块采用麦克风阵列，内置针对老人含糊语音、儿童童声的优化识别模型。

17、所述的基于智能终端的智能体多模态无障碍交互方法，其中，所述根据所述能力特征参数，动态重构智能终端界面元素的呈现方式，切换至适配当前用户的操作模式；启用多模态引导反馈，根据用户能力特征开启对应的替代性感知通道，包括界面语音播报导读、全局实时字幕、视觉提示，输出引导交互提示的步骤还包括：

18、当当前用户身份为视障用户，则控制引擎关闭能耗超过预定能耗值的视觉渲染，切换至纯音频用户界面，将菜单结构、选项状态转换为语音播报序列；

19、当当前用户身份为听障用户，则控制引擎在视频层叠加实时字幕层，并将系统提示音转换为屏幕边缘的闪烁或色彩变化；和/或通过与遥控器或智能手环的通信联动，将系统提示音、来电提醒、操作确认信息转换为振动触觉信号；

20、当当前用户身份为老年人，则控制引擎简化界面层级，放大点击热区至预定值；

21、当当前用户身份为上肢精细动作控制困难的用户，使用头部追踪替代输入设备选中目标；通过软件算法动态调整交互参数：放大点击热区并把光标移动速度降低至预设的移动速度；

22、虚拟助手以语音和文字双重方式问候并进行多模态引导。

23、所述的基于智能终端的智能体多模态无障碍交互方法，其中，所述获取用户在适配操作模式下的多模态异构输入信号，所述输入信号包括语音信号、手势/唇语视觉识别信号、和/或外接辅助设备输入信号；对多模态输入信号进行融合理解，解析得到用户操作意图的步骤还包括：

24、通过加权融合算法，将获取用户手势指向位置的屏幕空间坐标与语音语义进行关联解析，解析得到用户操作意图，用于实现精细化控制。

25、所述的基于智能终端的智能体多模态无障碍交互方法，其中，其还包括步骤：

26、预先在智能终端音频解码层部署音频活动检测器，实时分析影视内容的音频流响度与频谱特征，识别并标记两类时间窗口为：音频响度符合预设条件一的绝对静默窗口、以及语音停顿间隙或背景音乐符合预设条件二的相对低活跃窗口，为每个检测到的窗口打上时间戳与置信度标签，构建动态的可插入时隙队列；

27、音频活动检测模块对内容音频的实时分析，识别出影视叙事中的自然听觉空隙；

28、设立导航语音缓冲区，将待播报的界面信息暂存于队列中，不立即触发语音输出，通过智能调度器将所述自然听觉空隙作为导航语音的传输时隙，待自然听觉空隙时，将待播报的导航文本从导航语音缓冲区提取传输；并对导航文本进行语义压缩与变速处理，缩短单条语音的占用时长；

29、在导航语音播报前预定时间，通过用户持有的遥控器或佩戴的智能手环发出触觉预提示，利用跨模态注意力引导效应将用户注意力转向系统导航；对于必须即时反馈的紧急信息，通过响度对比与淡入淡出技术实现通道切换。

30、一种基于智能终端的智能体多模态无障碍交互装置，其中，所述装置包括：

31、多模态感知模块，用于当检测到用户进入智能终端感知范围，采集用户生物特征信息；将采集的生物特征信息与预存的用户身份特征比对，确定当前用户身份；所述智能终端接收通过语音唤醒、手势唤醒和/或外接辅助设备唤醒的触发方式唤醒；

32、能力特征参数调取模块，用于基于确定的当前用户身份，从预设的无障碍用户画像库调取适配于当前用户的能力特征参数；

33、适配模式切换模块，用于根据所述能力特征参数，动态重构智能终端界面元素的呈现方式，切换至适配当前用户的操作模式；启用多模态引导反馈，根据用户能力特征开启对应的替代性感知通道，包括界面语音播报导读、全局实时字幕、视觉提示，输出引导交互提示；

34、多模态交互模块，用于获取用户在适配操作模式下的多模态异构输入信号，所述输入信号包括语音信号、手势/唇语视觉识别信号、和/或外接辅助设备输入信号；对多模态输入信号进行融合理解，解析得到用户操作意图；

35、多模块响应执行模块，用于响应解析得到的用户操作意图执行对应业务；并对媒体内容做感知增强处理：对视频画面实时分析生成视觉解说音频，对音频信号识别生成对话字幕以及环境音效文字描述，通过已建立的替代性感知通道输出，补偿用户缺失的感知信息；

36、数据优化模块，用于记录本次交互过程数据，基于交互成功/失败样本迭代优化用户对应的识别模型，更新无障碍用户画像库内的用户偏好配置。

37、一种智能终端，其中，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行任意一项所述的方法。

38、一种计算机可读存储介质，其中，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行中任意一项所述的方法。

39、本发明的有益效果、本发明提供了一种基于智能终端的智能体多模态无障碍交互方法、装置、智能终端及存储介质，与现有技术相比，本发明具有以下显著优点：

40、1）、本发明可以实现真正普惠功能，从根本上解决了特殊群体使用智能电视的难题，体现了设计为人的包容性设计理念，具有深远的社会价值。

41、2）、具有交互模态的动态适配与融合功能，本发明不再是固定的“一种模式”，而是根据用户身份和能力动态选择最优的交互组合，实现了“千人千面”的无障碍体验。

42、3）、实现自然与主动的智能，本发明通过ai感知和内容理解，主动提供信息增强（如视觉解说、环境音字幕），超越了被动响应的范畴，提供了更深层次的接入服务。

43、4）、降低学习成本与使用焦虑，本发明具体实施时用户无需学习复杂操作，可用最自然、最本能的方式（说话、手势）与电视交互，极大提升了易用性和用户信心。

44、5）、具有系统化与集成化功能，本发明将分散的无障碍功能整合为一个协同工作的智能系统，提供了统一、无缝的终端体验。