基于多模态融合的移动终端交互适配方法及系统与流程

摘要: 本技术实施例涉及人机交互领域,尤其涉及一种基于多模态融合的移动终端交互适配方法及系统。背景技术:1、在移动互联网高速发展的今天,目前大多数医院中已普及移动终端的...
基于多模态融合的移动终端交互适配方法及系统与流程

本技术实施例涉及人机交互领域,尤其涉及一种基于多模态融合的移动终端交互适配方法及系统。

背景技术:

1、在移动互联网高速发展的今天,目前大多数医院中已普及移动终端的智能辅助功能。然而,医院的老年用户由于视力下降、反应迟缓、对新技术接受能力较弱等生理和认知特点,在使用医院的移动终端应用时面临诸多困难,特别是在医疗健康类应用中,复杂的操作流程和专业术语往往让老年用户望而却步。

2、目前,针对老年用户的移动应用适老化改造主要集中在界面优化层面,例如增大字体、简化图标、调整色彩对比度等视觉层面的改进。部分医疗软件也推出了“长辈版”或“关怀模式”,通过精简功能模块、优化页面布局来降低使用难度。然而,在医疗业务场景中,老年用户不仅需要清晰的界面展示,更需要全流程的操作引导和风险提示。

3、在现有技术中,当老年用户进入适老模式后,医院的终端系统由于无法提供引导信息,导致老年用户在复杂的医疗业务流程中容易迷失方向或操作失误。并且对于涉及支付、授权、信息提交等高风险操作,现有系统无法有效识别并拦截可能给老年用户带来损失的误操作或风险操作,这在一定程度上增加了老年用户使用移动医疗应用的安全隐患,导致老年用户的体验感大大降低。

4、对于上述问题,目前暂无有效的解决手段。

技术实现思路

1、本技术实施例提供一种基于多模态融合的移动终端交互适配方法及系统,用于有效解决老年用户在复杂的医疗业务流程中的操作失误问题,降低老年用户使用移动医疗应用的安全隐患,提升老年用户的体验感。

2、为达到上述目的,本技术的实施例采用如下技术方案:

3、第一方面,提供了一种基于多模态融合的移动终端交互适配方法,应用于移动终端,该方法包括:

4、响应于移动终端发送的老年模式切换指令,将当前业务界面切换为目标适老渲染模板;

5、获取目标适老渲染模板的页面元素数据,基于页面元素数据生成对应的语音播报信息并输出;

6、获取针对目标适老渲染模板的操作指令,确定当前业务步骤,并输出与当前业务步骤对应的引导信息;

7、基于操作指令,确定当前操作是否属于预设的高风险操作类型;

8、若当前操作属于高风险操作类型,则输出二次确认弹窗;

9、响应于移动终端发送的确认指令执行对应的医疗业务流程。

10、在第一方面的一种可能的实现方式中,输出与当前业务步骤对应的引导信息,包括:

11、在目标适老渲染模板上调用轻量浮层组件;

12、确定与当前业务步骤对应的操作按钮,并在轻量浮层组件中动态高亮显示操作按钮;

13、在轻量浮层组件中同步展示与操作按钮对应的图文信息,并联动输出对应的语音讲解,作为引导信息,其中,在确定当前业务步骤完成时,控制轻量浮层组件自动切换至下一业务步骤对应的引导信息。

14、在第一方面的另一种可能的实现方式中,获取针对目标适老渲染模板的操作指令,包括:

15、获取目标适老渲染模板在预设时间段内的触控轨迹散点和语音音频流;

16、对触控轨迹散点和语音音频流进行多模态意图校准,确定目标业务指令,并将目标业务指令作为操作指令。

17、在第一方面的另一种可能的实现方式中,对触控轨迹散点和语音音频流进行多模态意图校准,确定目标业务指令,包括:

18、基于触控轨迹散点,确定触控意图;

19、对语音音频流进行解析,获取语音意图;

20、判断触控意图和语音意图是否一致;

21、若匹配结果为一致,则基于触控意图确定目标业务指令。

22、在第一方面的另一种可能的实现方式中,基于触控轨迹散点,确定触控意图,包括:

23、获取触控轨迹散点在屏幕坐标系中的散布范围和时间间隔;

24、基于散布范围和时间间隔,确定触控轨迹散点中每个触控点在二维平面上的动态衰减轨迹;

25、基于动态衰减轨迹去除高频发散触控点,并将收敛的坐标作为触控意图。

26、在第一方面的另一种可能的实现方式中,判断触控意图和语音意图是否一致,包括:

27、将触控意图转化为触控事务请求,并将语音意图转化为语音事务请求;

28、基于预设的意图事务锁判断触控事务请求和语音事务请求的业务逻辑方向是否一致;

29、若业务逻辑方向不一致,则触发意图事务锁的死锁拦截,将触控事务请求的状态挂起;

30、若业务逻辑方向一致,则判定触控意图和语音意图一致。

31、在第一方面的另一种可能的实现方式中,若当前操作属于高风险操作类型,则输出二次确认弹窗,包括:

32、确定当前业务的核心业务节点,在当前页面的文档对象模型树中向上溯源,并动态克隆核心业务节点及核心文本说明节点;

33、在原页面层级之上进行隔离,用以阻断底层原文档对象模型树的触控事件响应接口;

34、将克隆出的核心业务节点及核心文本说明节点拼接为浮动视图,并将浮动视图在隔离的原页面层级进行渲染;

35、控制浮动视图内的确认按钮处于锁定状态,并输出与浮动视图对应的语音播报;

36、在语音播报结束时,解除浮动视图内确认按钮的锁定状态,并将浮动视图作为二次确认弹窗输出。

37、在第一方面的另一种可能的实现方式中,方法还包括:

38、将属于预设就医范围的医疗业务封装为独立的微服务模块,其中,微服务模块统一归集至适老门户首页;

39、获取微服务模块之间的数据互通请求,并基于数据互通请求在多个微服务模块之间共享患者数据。

40、第二方面,本技术提供一种用于医院的移动终端,包括:

41、存储器,被配置成存储指令;以及

42、处理器,被配置成从所述存储器调用所述指令以及在执行所述指令时能够实现上述的基于多模态融合的移动终端交互适配方法。

43、第三方面,本技术提供一种移动终端交互适配系统,包括:

44、多个移动终端,且每个移动终端之间电连接。

45、通过上述技术方案,自动将业务界面转换为适老渲染模板,并结合页面元素的智能解析生成同步语音播报,为视力下降的老年用户提供了视听双通道的信息获取方式,显著降低了认知负担。通过触控轨迹散点的动态衰减分析和语音意图的实时识别,结合意图事务锁机制进行多模态意图校准,有效解决了老年用户因手部抖动或表达不清导致的误操作问题,提高了操作指令识别的准确性。基于轻量浮层组件的动态引导,在每个业务步骤为老年用户提供高亮提示和图文语音讲解,实现了全流程的操作引导,使老年用户在复杂的医疗业务流程中不再迷失方向,大幅提升了操作成功率和用户信心。此外,通过预设高风险操作类型库进行实时风险判断,并在检测到高风险操作时触发强制二次确认机制,确保老年用户在充分理解操作后果的情况下才能完成确认,有效防止了因误操作导致的经济损失和隐私泄露,显著降低了老年用户使用移动医疗应用的安全风险。

46、本技术实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。