一种CAD软件的远程操控方法、系统及存储介质与流程

本发明涉及人工智能与远程交互，尤其涉及一种cad软件的远程操控方法、系统及存储介质。

背景技术：

1、随着ai（artificial intelligence，人工智能）大模型技术的成熟，ai辅助编程已成为软件开发领域的主流工作流，用户可以在移动端通过自然语言与人工智能体对话，从而调度主机端的人工智能体自动完成代码编写、场景搭建、资源调整等操作，但用户无法在移动端实时查看软件的运行画面，也无法在存在问题时通过移动端及时修改软件中的内容。

2、在现有的桌面远程操控技术中，可以通过在云端虚拟机中运行软件，并将云端虚拟机中的画面串流至用户终端查看，或通过远程桌面协议，将主机端的桌面画面传输至用户终端，并将用户终端发送的键鼠指令回传至主机端执行。

3、然而，云端虚拟机需为每个用户分配云主机实例，运营成本过高，传统远程桌面方案延迟高、操控体验差，但cad（computeraided design，计算机辅助设计）软件对实时渲染反馈和交互操控的要求较高，传统远程桌面方案在cad软件的编辑场景下存在画面延迟大、帧率低的问题，且不支持移动端的远程操控，也不适配cad软件的专有操作逻辑。此外，在用户通过移动端远程调度主机端的人工智能体执行cad软件操作的场景下，主机端与移动端往往处于不同的网络环境，跨网络互联困难。

技术实现思路

1、本发明提供了一种cad软件的远程操控方法、系统及存储介质，使移动端用户能够以低成本、低延迟的方式远程操控cad软件，实现对话与实时结果查看并行的ai辅助编程工作流。

2、根据本发明的一方面，提供了一种cad软件的远程操控方法，由主机端、移动端以及信令服务器配合执行，包括：

3、通过所述信令服务器，在确定所述主机端与所述移动端完成注册之后，通过nat穿透建立所述主机端与所述移动端之间的至少一条p2p直连通道；

4、通过所述主机端，在cad软件响应于人工智能体的调用并启动执行之后，检测cad软件中的当前活跃视口；

5、通过所述主机端，若确定存在多个当前活跃视口且为分屏展示模式，则采集各当前活跃视口的实时画面，编码生成多路独立视频流，并通过p2p通道将所述多路独立视频流并行传输至所述移动端；

6、通过所述移动端，将多路独立视频流分别渲染至移动端的主屏和副屏，以供用户查看，并当检测到用户的手势操作时，将所述手势操作映射为第一cad操作指令并通过p2p通道回传至所述主机端，以供所述主机端中的cad软件执行所述第一cad操作指令。

7、根据本发明的另一方面，提供了一种cad软件的远程操控系统，包括主机端、移动端以及信令服务器；其中，

8、所述信令服务器，用于在确定所述主机端与所述移动端完成注册之后，通过nat穿透建立所述主机端与所述移动端之间的至少一条p2p直连通道；

9、所述主机端，用于在cad软件响应于人工智能体的调用并启动执行之后，检测cad软件中的当前活跃视口；

10、所述主机端，用于若确定存在多个当前活跃视口且为分屏展示模式，则采集各当前活跃视口的实时画面，编码生成多路独立视频流，并通过p2p通道将所述多路独立视频流并行传输至所述移动端；

11、所述移动端，用于将多路独立视频流分别渲染至移动端的主屏和副屏，以供用户查看，并当检测到用户的手势操作时，将所述手势操作映射为第一cad操作指令并通过p2p通道回传至所述主机端，以供所述主机端中的cad软件执行所述第一cad操作指令。

12、根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的cad软件的远程操控方法。

13、本发明实施例的技术方案，采用通过信令服务器，在确定主机端与移动端完成注册之后，通过nat穿透建立主机端与移动端之间的至少一条p2p直连通道；通过主机端，在cad软件响应于人工智能体的调用并启动执行之后，检测cad软件中的当前活跃视口；通过主机端，若确定存在多个当前活跃视口且为分屏展示模式，则采集各当前活跃视口的实时画面，编码生成多路独立视频流，并通过p2p通道将多路独立视频流并行传输至移动端；通过移动端，将多路独立视频流分别渲染至移动端的主屏和副屏，以供用户查看，并当检测到用户的手势操作时，将手势操作映射为第一cad操作指令并通过p2p通道回传至主机端，以供主机端中的cad软件执行第一cad操作指令的方式，能够实现在移动端通过自然语言驱动人工智能体操控cad软件的场景下，区别于传统远程桌面的纯镜像模式，在主机端与移动端跨网络环境的情况下支持移动端内操控界面与渲染画面的并行查看，同时支持移动端通过手势操作间接触控驱动cad操作，弱网状态下可用，实现了低成本、低延迟、高可用性的cad软件的远程操控。

14、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

1.一种计算机辅助设计cad软件的远程操控方法，由主机端、移动端以及信令服务器配合执行，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，通过所述信令服务器，在确定所述主机端与所述移动端完成注册之后，通过nat穿透建立所述主机端与所述移动端之间的至少一条p2p直连通道，包括：

3.根据权利要求1所述的方法，其特征在于，在通过nat穿透建立所述主机端与所述移动端之间的至少一条p2p直连通道之后，还包括：

4.根据权利要求3所述的方法，其特征在于，通过所述主机端，若确定存在多个当前活跃视口且为分屏展示模式，则采集各当前活跃视口的实时画面，编码生成多路独立视频流，并通过p2p通道将所述多路独立视频流并行传输至所述移动端，包括：

5.根据权利要求1所述的方法，其特征在于，通过所述移动端，将多路独立视频流分别渲染至移动端的主屏和副屏，以供用户查看，包括：

6.根据权利要求5所述的方法，其特征在于，当检测到用户的手势操作时，将所述手势操作映射为第一cad操作指令并通过p2p通道回传至所述主机端，以供所述主机端中的cad软件执行所述第一cad操作指令，包括：

7.根据权利要求5所述的方法，其特征在于，在通过所述主机端，在cad软件响应于人工智能体的调用并启动执行之后，检测cad软件中的当前活跃视口之后，还包括：

8.根据权利要求1所述的方法，其特征在于，在通过所述主机端，在cad软件响应于人工智能体的调用并启动执行之后，检测cad软件中的当前活跃视口之后，还包括：

9.一种cad软件的远程操控系统，其特征在于，包括主机端、移动端以及信令服务器；其中，

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-8中任一项所述的cad软件的远程操控方法。