一种基于权限标定的跨模态智能体安全推理方法及系统与流程

本申请属于人工智能与计算机，尤其涉及一种基于权限标定的跨模态智能体安全推理方法及系统。

背景技术：

1、随着大语言模型和视觉语言模型的发展，跨模态智能体能够结合图像和文本信息完成图形用户界面的识别、理解及操作，已广泛应用于自动化办公、智能助手、人机交互等领域。其中，智能体通常根据屏幕图像及用户输入完成界面分析和操作决策，其执行结果直接影响系统操作的准确性和安全性。

2、在相关技术中，主要通过提示词过滤、内容审核、安全策略配置以及模型训练优化等方式提升智能体的安全性，在一定程度上能够降低恶意输入对模型的影响。然而，在复杂图形用户界面环境下，不同来源的信息通常同时存在于同一界面中，相关技术难以准确识别和区分不同信息的可信程度，导致智能体在推理过程中容易受到不可信信息的干扰，从而影响模型推理结果的可靠性和系统操作的安全性。

技术实现思路

1、本申请的实施例提供了一种基于权限标定的跨模态智能体安全推理方法及系统，能够有效抑制恶意控制指令对跨模态智能体推理过程的干扰，并保证合法业务信息能够正常参与模型推理，提高跨模态智能体图形用户界面交互过程的安全性和可靠性。

2、本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。

3、根据本申请实施例的第一方面，提供一种基于权限标定的跨模态智能体安全推理方法，所述方法包括：

4、获取当前物理屏幕对应的图像数据以及窗口元数据；

5、根据所述窗口元数据确定所述图像数据中各窗口的窗口权限标识，并基于所述窗口权限标识对所述图像数据中各视觉图块进行标定，得到权限视觉图块；

6、将所述权限视觉图块通过视觉编码器进行编码生成视觉特征向量，并基于所述视觉特征向量生成特权特征向量；

7、将所述特权特征向量通过意图分类头进行分类预测得到控制意图概率；

8、根据所述特权特征向量和所述控制意图概率生成特权注意力遮罩矩阵，并基于所述特权注意力遮罩矩阵对模型推理过程进行权限约束，得到经权限约束的安全推理结果。

9、根据本申请实施例的第二方面，提供一种基于权限标定的跨模态智能体安全推理系统，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现根据上述的一种基于权限标定的跨模态智能体安全推理方法中的各个步骤。

10、在本申请的实施例中，本申请获取当前物理屏幕对应的图像数据以及窗口元数据；根据所述窗口元数据确定所述图像数据中各窗口的窗口权限标识，并基于所述窗口权限标识对所述图像数据中各视觉图块进行标定，得到权限视觉图块；将所述权限视觉图块通过视觉编码器进行编码生成视觉特征向量，并基于所述视觉特征向量生成特权特征向量；将所述特权特征向量通过意图分类头进行分类预测得到控制意图概率；根据所述特权特征向量和所述控制意图概率生成特权注意力遮罩矩阵，并基于所述特权注意力遮罩矩阵对模型推理过程进行权限约束，得到经权限约束的安全推理结果。

11、因此，本申请通过获取当前物理屏幕的图像数据及窗口元数据，利用窗口元数据确定各窗口的窗口权限标识，并将窗口权限标识进一步映射至视觉图块，使视觉图块在进入视觉编码及模型推理之前具有与其信息来源相对应的权限属性；在此基础上，将视觉特征向量与权限信息结合形成特权特征向量，并结合控制意图概率生成特权注意力遮罩矩阵，使窗口来源对应的权限属性能够由图像空间层逐步传递至模型特征层和注意力计算层。由此，模型在进行跨模态推理时，不再将物理屏幕中的全部视觉信息作为同等可信的信息进行处理，而能够根据视觉信息的来源权限及其控制意图对不同视觉信息施加差异化的注意力约束，降低低权限或不可信窗口中的视觉内容对模型推理过程的影响，从而提高复杂图形用户界面环境下跨模态智能体推理结果的可靠性以及操作决策的安全性。

12、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

1.一种基于权限标定的跨模态智能体安全推理方法，其特征在于，包括：

2.根据权利要求1所述的一种基于权限标定的跨模态智能体安全推理方法，其特征在于，所述窗口元数据包括各窗口的空间边界坐标和进程身份特征；

3.根据权利要求2所述的一种基于权限标定的跨模态智能体安全推理方法，其特征在于，根据所述交叠面积确定各所述视觉图块的图块权限标识，得到权限视觉图块包括：

4.根据权利要求3所述的一种基于权限标定的跨模态智能体安全推理方法，其特征在于，基于所述视觉特征向量生成特权特征向量包括：

5.根据权利要求1所述的一种基于权限标定的跨模态智能体安全推理方法，其特征在于，根据所述特权特征向量和所述控制意图概率生成特权注意力遮罩矩阵包括：

6.根据权利要求1所述的一种基于权限标定的跨模态智能体安全推理方法，其特征在于，基于所述特权注意力遮罩矩阵对模型推理过程进行权限约束，得到经权限约束的安全推理结果包括：

7.根据权利要求6所述的一种基于权限标定的跨模态智能体安全推理方法，其特征在于，将所述特权特征向量进行自注意力计算得到初始注意力值，并基于所述特权注意力遮罩矩阵对所述初始注意力值进行惩罚约束，得到特权注意力值包括：

8.根据权利要求4所述的一种基于权限标定的跨模态智能体安全推理方法，其特征在于，将各所述权限视觉图块对应的视觉特征向量与所述权限特征向量进行特征融合，得到各所述权限视觉图块对应的特权特征向量包括：

9.根据权利要求2所述的一种基于权限标定的跨模态智能体安全推理方法，其特征在于，获取当前物理屏幕对应的图像数据以及窗口元数据包括：

10.一种基于权限标定的跨模态智能体安全推理系统，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现根据权利要求1至9中任意一项所述的一种基于权限标定的跨模态智能体安全推理方法中的各个步骤。