人工智能意图实时可视化方法及系统与流程

本发明涉及人工智能与人机交互，特别涉及人工智能意图实时可视化方法及系统。

背景技术：

1、在当前的ai视觉自动化执行及人机协同场景中，视觉模型通常作为黑盒引擎运行。现有的自动化测试或辅助操作技术，其核心逻辑在于后端获取设备画面截图，由模型推理后直接输出最终的操作指令（如点击、滑动）。

2、然而，这种处理机制存在显著的技术缺陷：由于视觉模型推理产生的中间态语义信息（即为什么要执行该动作）与空间信息（即模型关注的具体物理区域）仅存在于后端内存中，且传统的http请求响应机制存在显著的往返时延（rtt），导致前端展示的视频流与后端的推理逻辑在时间轴和空间维上无法实时解耦并同步。用户仅能观测到最终的画面跳变结果，而无法获取ai在执行操作前的决策依据及目标的物理落点映射。这种执行逻辑的不透明性，导致在复杂ui环境下，系统缺乏可观测性与可纠错性，进而降低了自动化调试的效率及人机互信度。

技术实现思路

1、本发明所要解决的技术问题是：提供一种人工智能意图实时可视化方法及系统，能够实现ai推理决策过程在视频流上的实时空间映射与语义同步展示，提升人工智能执行逻辑的可观测性。

2、为了解决上述技术问题，本发明采用的技术方案为：

3、一种人工智能意图实时可视化方法，应用于服务端，所述方法包括：

4、接收视频流、原始分辨率数据和服务端推送的意图文本和目标物理坐标；

5、比较所述原始分辨率数据与当前播放容器尺寸数据，计算所述视频流的画面缩放比例和边缘偏移量；

6、利用所述画面缩放比例和所述边缘偏移量将所述目标物理坐标转换为适应屏幕显示区域的屏幕坐标；

7、根据所述意图文本和所述屏幕坐标执行意图标识组件的渲染。

8、一种人工智能意图实时可视化方法，应用于客户端，所述方法包括：

9、接收视频流、原始分辨率数据和服务端推送的意图文本和目标物理坐标；

10、比较所述原始分辨率数据与当前播放容器尺寸数据，计算所述视频流的画面缩放比例和边缘偏移量；

11、利用所述画面缩放比例和所述边缘偏移量将所述目标物理坐标转换为适应屏幕显示区域的屏幕坐标；

12、根据所述意图文本和所述屏幕坐标执行意图标识组件的渲染。

13、为了解决上述技术问题，本发明采用的另一种技术方案为：

14、一种人工智能意图实时可视化系统，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的一种人工智能意图实时可视化方法的各个步骤。

15、本发明的有益效果在于：通过在服务端构建并行的双通道数据管线，实现了底层视频数据与高层语义元数据的解耦传输。通过引入服务器发送事件通道（sse），利用其单向持久连接的特性，将视觉模型生成的结构化意图文本与目标物理坐标以匹配推理频率的吞吐率实时推送至客户端。解决了传统交互模式下推理逻辑与渲染画面的时空不同步问题；在空间维度上，通过将离散的物理坐标映射至视频流之上，实现了ai关注区域的视觉锚定；在语义维度上，将黑盒模型的潜在决策过程转化为可观测的文本标签。两者协同作用，通过在视频播放层之上的动态意图标识组件渲染，实现了ai行为的实时“白盒化”展示。相较于现有技术，本方案消除了自动化执行过程中的决策不可见性，显著降低了人机协同场景下的调试反馈时延，提升了系统在复杂ui操作中的确定性与透明度。

1.一种人工智能意图实时可视化方法，其特征在于，应用于服务端，所述方法包括：

2.根据权利要求1所述的一种人工智能意图实时可视化方法，其特征在于，所述获取视频流，并将所述视频流传输至客户端，包括：

3.根据权利要求1所述的一种人工智能意图实时可视化方法，其特征在于，所述提取所述视频流的帧图像输入至预设的视觉模型中，包括：

4.根据权利要求1所述的一种人工智能意图实时可视化方法，其特征在于，所述获取所述视觉模型推理生成的所述帧图像的意图文本和目标物理坐标，包括：

5.根据权利要求1所述的一种人工智能意图实时可视化方法，其特征在于，所述将所述意图文本和所述目标物理坐标通过服务器发送事件通道推送至所述客户端之前，还包括：

6.根据权利要求1所述的一种人工智能意图实时可视化方法，其特征在于，所述将所述意图文本和所述目标物理坐标通过服务器发送事件通道推送至所述客户端时，还包括：

7.根据权利要求1所述的一种人工智能意图实时可视化方法，其特征在于，所述方法还包括：

8.一种人工智能意图实时可视化方法，其特征在于，应用于客户端，所述方法包括：

9.根据权利要求8所述的一种人工智能意图实时可视化方法，其特征在于，所述根据所述意图文本和所述屏幕坐标执行所述意图标识组件的渲染，包括：

10.一种人工智能意图实时可视化系统，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的一种人工智能意图实时可视化方法的各个步骤。