智能手机的辅助操控系统、方法、介质及程序产品与流程

本申请涉及人工智能，特别是涉及一种智能手机的辅助操控系统、方法、介质及程序产品。

背景技术：

1、随着人工智能（artificial intelligence，ai）技术的快速发展，具备多模态感知与自主决策能力的ai智能体已开始深度集成于移动终端，形成能够接管手机屏幕并执行复杂任务的智能助手。以豆包手机助手为代表，通过采用视觉识别结合模拟触控的图形用户界面（graphical user interface，gui）自动化技术路线实现跨app操作的功能。具体而言，通过与移动终端厂商的深度合作，获取高等级的系统级权限，例如注入事件权限（inject_events），使ai助手能够像自然人一样实时观看屏幕内容，并通过模拟点击、滑动等触控事件向操作系统注入输入指令，从而完成对各类应用程序的跨平台操作。

2、然而，由于现有的ai助手方案需要获取模糊且宽泛的系统级权限，ai助手在运行过程中能够无差别地读取屏幕所呈现的全部信息，包括用户的个人隐私数据、金融账户详情、即时通讯内容以及企业敏感资料。这种权限配置突破了传统应用程序沙箱隔离机制所确立的安全边界，导致屏幕数据在传输至云端大模型进行处理的过程中缺乏有效的本地隔离与精细化访问控制，存在严重的隐私泄露风险与数据滥用隐患。

3、因此，有必要提供一种智能手机的辅助操控系统、方法、介质及程序产品，以解决现有技术中存在的上述问题。

技术实现思路

1、鉴于以上所述现有技术的缺点，本申请的目的在于提供一种智能手机的辅助操控系统、方法、介质及程序产品，用于解决现有技术的系统级权限模糊且宽泛导致用户隐私数据存在严重隐私泄露风险与数据滥用隐患的技术问题。

2、为实现上述目的及其他相关目的，本申请的第一方面提供一种智能手机的辅助操控系统，包括：获取模块，用于获取智能手机的当前显示界面数据；fpga模块，用于对当前显示界面数据进行解析处理，以得到与智能手机的当前显示界面对应的图像数据；处理模块，用于基于视觉大模型对所接收的图像数据进行界面信息提取以及语义解析处理，以识别图像数据中的界面元素，并根据识别得到的界面元素和目标操作任务生成界面交互信息；交互模块，用于根据所生成的界面交互信息执行第一交互模式或第二交互模式；其中，在第一交互模式下，将界面交互信息输出显示，以提示用户对智能手机执行对应界面操作；在第二交互模式下，根据界面交互信息生成输入控制指令，并发送至智能手机，以控制智能手机执行对应界面操作。

3、于本申请的第一方面的一些实施例中，所述处理模块包括提取单元、解析单元和信息生成单元；其中，所述提取单元用于对所接收的图像数据进行特征提取和文本识别，以得到图像数据对应的界面信息；所述解析单元用于根据提取的界面信息进行语义解析，以得到界面信息对应的界面元素；所述信息生成单元用于根据界面元素和目标操作任务生成界面交互信息。

4、于本申请的第一方面的一些实施例中，所述fpga模块包括解码单元和分解单元；其中，所述解码单元用于对所获取的当前显示界面数据进行解码处理；所述分解单元用于将解码处理后的当前显示界面数据分解为图片格式的图像数据。

5、于本申请的第一方面的一些实施例中，所述fpga模块还包括编码单元，用于将所接收的界面交互信息进行编码处理，以转换为输出显示的数据格式。

6、于本申请的第一方面的一些实施例中，还包括显示输出接口，用于将编码处理后的界面交互信息输出显示于显示设备，以提示用户对智能手机执行对应界面操作。

7、于本申请的第一方面的一些实施例中，所述交互模块包括旁路单元和无线通信单元；其中，所述旁路单元用于绕过所述处理模块，接收用户通过外接输入设备产生的人工操作信号，并对人工操作信号转换处理，生成对应的输入控制数据；所述无线通信单元用于将输入控制数据发送至智能手机，以使智能手机响应于输入控制数据执行对应界面操作。

8、于本申请的第一方面的一些实施例中，所述交互模块还包括模拟输入单元，用于根据所接收的界面交互信息生成对应的输入控制指令，并通过无线通信单元将输入控制指令发送至智能手机，以使智能手机响应于输入控制指令执行对应界面操作。

9、为实现上述目的及其他相关目的，本申请的第二方面提供一种智能手机的辅助操控方法，包括：获取智能手机的当前显示界面数据；对当前显示界面数据进行解析处理，以得到与智能手机的当前显示界面对应的图像数据；基于视觉大模型对所接收的图像数据进行界面信息提取以及语义解析处理，以识别图像数据中的界面元素，并根据识别得到的界面元素和目标操作任务生成界面交互信息；根据所生成的界面交互信息执行第一交互模式或第二交互模式；其中，在第一交互模式下，将界面交互信息输出显示，以提示用户对智能手机执行对应界面操作；在第二交互模式下，根据界面交互信息生成输入控制指令，并发送至智能手机，以控制智能手机执行对应界面操作。

10、为实现上述目的及其他相关目的，本申请的第三方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述方法。

11、为实现上述目的及其他相关目的，本申请的第四方面提供一种计算机程序产品，所述计算机程序产品中包括计算机程序代码，当所述计算机程序代码在计算机上运行时，使得所述计算机实现所述方法。

12、如上所述，本申请的智能手机的辅助操控系统、方法、介质及程序产品，具有以下有益效果：

13、通过获取模块先获取智能手机的当前显示界面数据，并将当前显示界面数据传输至fpga模块；然后，fpga模块对所获取的当前显示界面数据进行解析处理，以得到与智能手机的当前显示界面对应的图像数据，并将图像数据传输至处理模块；然后，处理模块基于视觉大模型对所接收的图像数据进行界面信息提取以及语义解析处理，以识别图像数据中的界面元素，并根据识别得到的界面元素和目标操作任务生成界面交互信息；最终，交互模块根据所生成的界面交互信息执行第一交互模式或第二交互模式；其中，在第一交互模式下，将界面交互信息输出显示，以提示用户对智能手机执行对应界面操作；在第二交互模式下，根据界面交互信息生成输入控制指令，并发送至智能手机，以控制智能手机执行对应界面操作，本申请在不突破传统应用程序原有沙箱隔离机制且不依赖高等级系统注入权限的前提下，实现对智能手机的安全可控操作，从而规避了隐私泄露与数据滥用隐患，极大地提高了隐私安全性。

1.一种智能手机的辅助操控系统，其特征在于，包括：

2.根据权利要求1所述的智能手机的辅助操控系统，其特征在于，所述处理模块包括提取单元、解析单元和信息生成单元；其中，所述提取单元用于对所接收的图像数据进行特征提取和文本识别，以得到图像数据对应的界面信息；所述解析单元用于根据提取的界面信息进行语义解析，以得到界面信息对应的界面元素；所述信息生成单元用于根据界面元素和目标操作任务生成界面交互信息。

3.根据权利要求1所述的智能手机的辅助操控系统，其特征在于，所述fpga模块包括解码单元和分解单元；其中，所述解码单元用于对所获取的当前显示界面数据进行解码处理；所述分解单元用于将解码处理后的当前显示界面数据分解为图片格式的图像数据。

4.根据权利要求1所述的智能手机的辅助操控系统，其特征在于，所述fpga模块还包括编码单元，用于将所接收的界面交互信息进行编码处理，以转换为输出显示的数据格式。

5.根据权利要求4所述的智能手机的辅助操控系统，其特征在于，还包括显示输出接口，用于将编码处理后的界面交互信息输出显示于显示设备，以提示用户对智能手机执行对应界面操作。

6.根据权利要求1所述的智能手机的辅助操控系统，其特征在于，所述交互模块包括旁路单元和无线通信单元；其中，所述旁路单元用于绕过所述处理模块，接收用户通过外接输入设备产生的人工操作信号，并对人工操作信号转换处理，生成对应的输入控制数据；所述无线通信单元用于将输入控制数据发送至智能手机，以使智能手机响应于输入控制数据执行对应界面操作。

7.根据权利要求6所述的智能手机的辅助操控系统，其特征在于，所述交互模块还包括模拟输入单元，用于根据所接收的界面交互信息生成对应的输入控制指令，并通过无线通信单元将输入控制指令发送至智能手机，以使智能手机响应于输入控制指令执行对应界面操作。

8.一种智能手机的辅助操控方法，其特征在于，包括：

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求8中所述方法。

10.一种计算机程序产品，其特征在于，所述计算机程序产品中包括计算机程序代码，当所述计算机程序代码在计算机上运行时，使得所述计算机实现如权利要求8中所述方法。