基于自然语言处理的智能应用交互方法与流程
本发明涉及自然语言处理,具体为基于自然语言处理的智能应用交互方法。
背景技术:
1、大语言模型具备较强的自然语言理解与生成能力,业界将其与图形用户界面自动化技术相结合,构建可将自然语言指令转化为界面点击、输入、滑动等操作的智能体,为使模型识别界面元素,通常通过操作系统提供的无障碍服务接口或文档对象模型解析工具获取界面控件的结构化文本树,或通过屏幕截图结合多模态视觉模型对界面元素进行识别与定位,进而生成下一步应执行的交互动作;
2、与本发明最接近的现有技术为基于多模态大模型的开环式图形用户界面智能体交互方法,该方法在每一交互步骤中对当前活跃窗口进行全屏截图或导出全量控件树文本,连同历史交互指令一并编码后输入大语言模型,由大语言模型生成交互动作指令并交由执行模块执行,执行完成后经过预设固定时长再重复上述过程,直至任务完成;
3、上述现有技术存在以下不足:一方面,随着跨应用交互步数增加,全量界面文本输入导致模型输入的文本数量急剧增长,容易造成模型上下文窗口截断,使模型无法准确关联用户指令中的模糊时空指代词与跨应用产生的具体界面对象,另一方面,该方法采用单向开环范式,动作执行后不进行结果状态校验,一旦出现界面异常,模型容易在错误假设下继续推演后续步骤,导致重复无效操作,系统鲁棒性不足,为此,我们提出基于自然语言处理的智能应用交互方法。
技术实现思路
1、本发明的目的在于提供基于自然语言处理的智能应用交互方法。
2、本发明要解决的技术问题包括以下两方面:第一,在多应用高频切换的智能交互场景下,现有方法依赖全量界面文本或全屏截图作为模型输入,随着交互步数增加,输入文本量急剧膨胀,容易造成模型上下文窗口截断,导致模型无法准确关联用户语句中的模糊时空指代词与跨应用产生的具体界面对象,产生时空指代失效问题,同时该方式对算力消耗较高,难以在端侧低算力设备上实时部署,第二,现有的自然语言驱动图形用户界面交互方法普遍采用感知、决策、执行的开环范式,模型在生成动作指令后无法感知该动作是否已在真实界面中生效,一旦遇到网络延迟、界面卡顿、弹窗遮挡等异常情况,模型容易在动作已成功执行的错误假设下继续推演后续步骤,最终陷入重复点击或长时间等待的循环,缺乏自我校验与异常恢复能力,系统鲁棒性不足。
3、为解决上述技术问题,本发明提供了基于自然语言处理的智能应用交互方法,包括如下技术方案:
4、通过操作系统提供的无障碍服务接口持续监听终端设备当前活跃窗口的界面变化事件,在检测到界面发生变化时,提取相较于前一时刻发生变化的用户界面节点集合,形成增量文本流,并按照意图索引、时间索引与空间索引三维索引方式将所述增量文本流写入动态语义图谱,接收用户自然语言指令,提取所述用户自然语言指令中的时空指代词,结合所述动态语义图谱中的候选用户界面节点,通过双向指代消解与交叉注意力对齐处理确定所述时空指代词所对应的具体界面对象,完成对象绑定,基于对象绑定结果、历史交互指令及当前所述动态语义图谱的信息,并行生成当前交互步骤的交互动作文本,以及所述交互动作文本执行后界面应呈现状态的预期结果语义描述文本,执行所述交互动作文本对应的操作,在执行完成后重新采集当前界面的增量文本流,计算重新采集的所述增量文本流与所述预期结果语义描述文本之间的语义相似度,判断所述语义相似度是否达到预设的语义偏离阈值,在达到所述语义偏离阈值时,判定动作执行结果与预期结果一致,返回持续监听界面变化事件的处理,在未达到所述语义偏离阈值时,判定发生异常,生成语义异常摘要,将所述语义异常摘要反馈至并行生成交互动作文本与预期结果语义描述文本的处理,重新生成交互动作文本与预期结果语义描述文本。
5、采用上述技术方案,与现有技术相比,本发明的有益效果在于:
6、1.本发明通过增量结构化文本流替代全量界面文本或全屏截图作为模型输入,显著降低了模型输入的数据量与计算资源消耗,使本方法能够部署于端侧低算力设备;
7、2.本发明通过按照意图、时间与空间三维索引方式持续更新的动态语义图谱,并结合双向指代消解与交叉注意力对齐处理,能够在仅依赖增量文本的前提下准确关联跨应用产生的历史界面对象,有效避免因上下文窗口截断而导致的模糊时空指代词绑定错误,提升对象绑定准确率;
8、3.本发明通过交互动作文本与预期结果语义描述文本的并行生成,并结合执行后的语义相似度比对与异常反馈重规划机制,使本方法在执行过程中具备自我校验能力,能够及时发现网络延迟、界面卡顿、弹窗遮挡等异常情形并触发重新规划,避免陷入重复无效操作的循环,提升复杂跨应用任务的整体执行成功率与系统鲁棒性。
1.基于自然语言处理的智能应用交互方法,其特征在于,包括:
2.根据权利要求1所述的基于自然语言处理的智能应用交互方法,其特征在于,所述提取相较于前一时刻发生变化的用户界面节点集合,形成增量文本流,并按照意图索引、时间索引与空间索引三维索引方式将所述增量文本流写入动态语义图谱,包括:
3.根据权利要求2所述的基于自然语言处理的智能应用交互方法,其特征在于,还包括:
4.根据权利要求1所述的基于自然语言处理的智能应用交互方法,其特征在于,所述通过双向指代消解与交叉注意力对齐处理确定所述时空指代词所对应的具体界面对象,包括:
5.根据权利要求1所述的基于自然语言处理的智能应用交互方法,其特征在于,所述计算重新采集的所述增量文本流对应的当前实际界面状态描述文本与所述预期结果语义描述文本之间的语义相似度,包括:
6.根据权利要求1所述的基于自然语言处理的智能应用交互方法,其特征在于,所述语义异常摘要包括所述当前实际界面状态描述文本与所述预期结果语义描述文本之间的差异点说明,所述差异点说明用于表征界面异常的原因。
7.根据权利要求1所述的基于自然语言处理的智能应用交互方法,其特征在于,在终端设备未获取到操作系统无障碍服务权限的情况下,对当前活跃窗口中发生变化的局部区域进行截图,并对截图得到的图像进行光学字符识别处理,得到所述局部区域的文本内容与坐标信息,以所述文本内容与坐标信息形成所述增量文本流。
8.根据权利要求1所述的基于自然语言处理的智能应用交互方法,其特征在于,将所述当前实际界面状态描述文本与所述预期结果语义描述文本输入大语言模型,获取所述大语言模型输出的语义一致性判断结果,以所述语义一致性判断结果替代所述语义相似度,用于判断动作执行结果与预期结果是否一致。
9.基于自然语言处理的智能应用交互装置,其特征在于,包括:
10.计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的基于自然语言处理的智能应用交互方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com