风险识别方法、装置、设备、介质及程序产品与流程

本技术涉及人工智能，尤其涉及一种风险识别方法、装置、设备、介质及程序产品。

背景技术：

1、随着多模态大模型的广泛应用，其面临的安全威胁也变得越来越复杂，因此，在多模态大模型使用之前，需要建立防御机制，以对潜在攻击进行提前防范。

2、现有技术通常采用“外挂大模型围栏”的策略来进行防护，即在多模态大模型外部部署一层独立于多模态大模型的防护层，当多模态输入数据进入时，该防护层会先行对其进行审查与拦截，从而在一定程度上保障输入至大模型的数据安全性。

3、然而，由于这种外挂式大模型与多模态大模型彼此独立，无法深入感知模型内部对多模态数据的实际处理逻辑与特征融合方式，导致在面对具有高度针对性的跨模态语义级攻击、隐式指令注入等攻击手段时，感知能力显著不足，导致对多模态大模型进行攻击识别的准确性较低。

技术实现思路

1、本技术提供一种风险识别方法、装置、设备、介质及程序产品，用于提高对多模态大模型进行攻击识别的准确性。

2、第一方面，本技术实施例提供了一种风险识别方法，该方法包括：通过多模态大模型的至少一个转换层，基于第一文本和第一图像，获取第一特征信息，上述第一特征信息包括：每个转换层输出的第一图像的图像特征、第一文本的文本特征以及第一图像的文本描述特征；基于每个转换层输出的图像特征和文本描述特征，从上述至少一个转换层中确定第一转换层，上述第一转换层输出的图像特征和文本描述特征的相似度最大；基于上述第一转换层输出的图像特征和文本描述特征，获取上述第一转换层的第一指数，并基于上述第一转换层输出的图像特征和文本特征，获取上述第一转换层的第二指数，上述第一指数用于表征无攻击时的上述第一图像和上述第一图像的文本描述特征之间的语义偏差，上述第二指数用于表征上述第一图像和上述第一文本之间的语义偏差；基于上述第一指数和上述第二指数，获取第一判定结果，上述第一判定结果用于表征上述第一文本和第一图像是否具有攻击风险。

3、本技术提供的技术方案至少带来以下有益效果：通过多模态大模型的至少一个转换层，基于第一文本和第一图像，获取第一特征信息；基于每个转换层输出的第一特征信息，从上述至少一个转换层中确定第一转换层；基于上述第一转换层输出的第一特征信息，获取上述第一转换层的第一指数和第二指数；基于上述第一指数和上述第二指数，获取第一判定结果。在本方案中，通过至少一个转换层中的每个转换层获取第一文本和第一图像的第一特征信息，并基于第一特征信息对每个转换层对于图像和文本处理后的信息的相似度进行分析，以获取处理后的文本和图像质检相似度最高的最优对齐层（即第一转换层），再通过第一转换层输出的图像和文本的第一相似度指数和图像和图像描述的第二相似度指数，进行输入图像和输入文本的攻击性的判断，由于通过输出内容选取了最优对齐层，再根据最优对齐层的第一相似度指数和第二相似度指数，可以使得对于输入文本和输入图像的攻击性判断基于最准确的转换层进行，从而提高了多模态大模型进行攻击识别的准确性。

4、一种可能的实现方式，上述通过多模态大模型的至少一个转换层，基于第一文本和第一图像，获取第一特征信息，包括：基于上述第一图像，获取上述第一图像的文本描述；将上述第一文本、上述第一图像和上述第一图像的文本描述，输入上述至少一个转换层中的每个转换层，获取第一特征信息。

5、另一种可能的实现方式，上述基于每个转换层输出的图像特征和文本描述特征，从上述至少一个转换层中确定第一转换层，包括：基于每个转换层输出的图像特征和文本特征，获取每个转换层的第一相似度；获取每个转换层的第一相似度的最大值，确定每个转换层的第一相似度的最大值对应的转换层为第一转换层。

6、又一种可能的实现方式，上述基于上述第一转换层输出的图像特征和文本特征，获取上述第一转换层的第二指数，包括：获取上述第一转换层输出的图像特征和文本特征的协方差相似度，并基于上述协方差相似度，得到上述第二指数。

7、又一种可能的实现方式，上述基于上述第一指数和上述第二指数，获取第一判定结果，包括：获取上述第二指数和上述第一指数的第一差值；若上述第一差值大于或等于第一预设阈值，则获取第一判定结果为上述第一文本和上述第一图像具有风险；若上述第一差值小于上述第一预设阈值，则获取第一判定结果为上述第一文本和上述第一图像无风险。

8、第二方面，本技术实施例提供了本技术提供一种风险识别装置，包括：获取模块；上述获取模块，用于通过多模态大模型的至少一个转换层，基于第一文本和第一图像，获取第一特征信息，上述第一特征信息包括：每个转换层输出的第一图像的图像特征、第一文本的文本特征以及第一图像的文本描述特征；上述获取模块，还用于基于每个转换层输出的图像特征和文本描述特征，从上述至少一个转换层中确定第一转换层，上述第一转换层输出的图像特征和文本描述特征的相似度最大；上述获取模块，还用于基于上述第一转换层输出的图像特征和文本描述特征，获取上述第一转换层的第一指数，并基于上述第一转换层输出的图像特征和文本特征，获取上述第一转换层的第二指数，上述第一指数用于表征无攻击时的上述第一图像和上述第一图像的文本描述特征之间的语义偏差，上述第二指数用于表征上述第一图像和上述第一文本之间的语义偏差；上述获取模块，还用于基于上述第一指数和上述第二指数，获取第一判定结果，上述第一判定结果用于表征上述第一文本和第一图像是否具有攻击风险。

9、一种可能的实现方式，上述获取模块，具体用于：基于上述第一图像，获取上述第一图像的文本描述；将上述第一文本、上述第一图像和上述第一图像的文本描述，输入上述至少一个转换层中的每个转换层，获取第一特征信息。

10、另一种可能的实现方式，上述获取模块，具体用于：基于每个转换层输出的图像特征和文本特征，获取每个转换层的第一相似度；获取每个转换层的第一相似度的最大值，确定每个转换层的第一相似度的最大值对应的转换层为第一转换层。

11、又一种可能的实现方式，上述获取模块，具体用于：获取上述第一转换层输出的图像特征和文本特征的协方差相似度，并基于上述协方差相似度，得到上述第二指数。

12、又一种可能的实现方式，上述获取模块，具体用于：获取上述第二指数和上述第一指数的第一差值；若上述第一差值大于或等于第一预设阈值，则获取第一判定结果为上述第一文本和上述第一图像具有风险；若上述第一差值小于上述第一预设阈值，则获取第一判定结果为上述第一文本和上述第一图像无风险。

13、第三方面，本技术提供一种电子设备，该电子设备包括：处理器和存储器；该存储器存储可在处理器上运行的程序或指令，上述程序或指令被该处理器执行时实现上述第一方面的方法。

14、第四方面，本技术提供一种可读存储介质，该可读存储介质上存储程序或指令，上述程序或指令被计算机执行时实现上述第一方面的方法。

15、第五方面，本技术提供一种计算机程序产品，该计算机程序产品被存储在存储介质中，当该计算机程序产品被计算机执行时以实现上述第一方面的方法。

16、第六方面，本技术实施例提供了一种芯片，该芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。

17、上述第二方面至第六方面的有益效果参考第一方面的对应描述，不再赘述。