大语言模型请求的安全路由方法、装置和电子设备与流程

本发明涉及计算机软件，尤其是涉及一种大语言模型请求的安全路由方法、装置和电子设备。

背景技术：

1、随着大语言模型技术的广泛应用，企业在通过代理网关统一管理模型服务访问时，面临着敏感数据泄露风险与模型推理质量保障之间的平衡难题。

2、现有技术中，针对大语言模型请求的敏感数据防护通常采用异步队列检测或单一脱敏策略。然而，异步检测机制引入了显著的响应延迟，无法满足大语言模型实时交互场景下毫秒级响应的性能要求；而单一的脱敏策略在检测到敏感数据时，往往无条件地对数据进行遮蔽处理后发送至外部模型，遮蔽处理后无法实现无损推理，导致语义信息丢失和推理质量下降。

3、综上，传统的大语言模型请求的安全路由方案存在敏感数据检测延迟高，且防护策略单一导致模型推理质量受损的技术问题。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种大语言模型请求的安全路由方法、装置和电子设备，以缓解传统的大语言模型请求的安全路由方案敏感数据检测延迟高，防护策略单一导致模型推理质量受损的技术问题。

2、第一方面，本发明提供了一种大语言模型请求的安全路由方法，包括：

3、在模型路由前同步拦截大语言模型请求，并提取请求发起方角色的消息内容作为待检测内容；

4、采用至少两种模式匹配算法对所述待检测内容并行执行同步检测，得到敏感数据检测结果；

5、响应于所述敏感数据检测结果指示命中敏感数据，评估安全计算资源的实时可用性；

6、若所述安全计算资源可用，将所述大语言模型请求路由至所述安全计算资源；若所述安全计算资源不可用，对所述大语言模型请求中命中的敏感数据执行脱敏处理后路由至外部计算资源。

7、进一步地，所述请求发起方角色包括用户输入角色或工具调用角色，且排除模型生成角色；

8、所述至少两种模式匹配算法包括基于状态机的正则匹配和基于多模式自动机的关键词匹配。

9、进一步地，所述基于状态机的正则匹配包括：

10、使用预编译的确定有限自动机对所述待检测内容进行模式匹配，所述确定有限自动机的编译结果存储于采用读写锁保护的缓存中；

11、所述基于多模式自动机的关键词匹配包括：

12、使用aho-corasick自动机对所述待检测内容进行关键词查找，所述aho-corasick自动机基于启用的关键词规则构建。

13、进一步地，所述安全计算资源包括本地部署的安全模型池，所述实时可用性的评估基于所述安全模型池中供应商的启用状态及凭证有效性确定；

14、所述脱敏处理为可逆脱敏，所述方法还包括：

15、在接收到所述外部计算资源返回的响应数据后，基于所述可逆脱敏的映射关系对所述响应数据进行还原。

16、进一步地，所述安全模型池受唯一性约束限制的安全路由供应商组，系统同一时刻最多允许存在一个安全路由供应商组；

17、将所述大语言模型请求路由至所述安全计算资源，包括：

18、从所述安全路由供应商组内的可用模型中随机选取一个目标模型，将所述大语言模型请求的原文转发至所述目标模型。

19、进一步地，所述方法还包括：

20、响应于所述并行执行同步检测的过程中发生运行时异常，捕获所述运行时异常，并将所述大语言模型请求降级路由至所述外部计算资源，以保持请求链路不阻塞。

21、进一步地，所述方法还包括：

22、响应于检测规则缓存加载失败，使用空规则集启动检测引擎以执行所述同步检测，并触发异步重试加载所述检测规则缓存。

23、进一步地，所述方法还包括：

24、响应于所述敏感数据检测结果指示命中敏感数据，将命中事件以异步批量方式写入审计日志，所述审计日志记录检测环节、处置动作以及实际使用的模型信息。

25、第二方面，本发明还提供了一种大语言模型请求的安全路由装置，包括：

26、拦截和提取单元，用于在模型路由前同步拦截大语言模型请求，并提取请求发起方角色的消息内容作为待检测内容；

27、同步检测单元，用于采用至少两种模式匹配算法对所述待检测内容并行执行同步检测，得到敏感数据检测结果；

28、评估单元，用于响应于所述敏感数据检测结果指示命中敏感数据，评估安全计算资源的实时可用性；

29、路由单元，用于若所述安全计算资源可用，将所述大语言模型请求路由至所述安全计算资源；若所述安全计算资源不可用，对所述大语言模型请求中命中的敏感数据执行脱敏处理后路由至外部计算资源。

30、第三方面，本发明还提供了一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面所述方法。

31、第四方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行第一方面所述方法。

32、本发明提供的一种大语言模型请求的安全路由方法，包括：在模型路由前同步拦截大语言模型请求，并提取请求发起方角色的消息内容作为待检测内容；采用至少两种模式匹配算法对待检测内容并行执行同步检测，得到敏感数据检测结果；响应于敏感数据检测结果指示命中敏感数据，评估安全计算资源的实时可用性；若安全计算资源可用，将大语言模型请求路由至安全计算资源；若安全计算资源不可用，对大语言模型请求中命中的敏感数据执行脱敏处理后路由至外部计算资源。通过上述描述可知，本发明的大语言模型请求的安全路由方法中，通过在模型路由前采用同步拦截与并行检测，有效解决了现有技术中异步检测机制延迟高的问题，实现了毫秒级的实时敏感数据识别，满足了大语言模型实时交互的性能要求。同时，通过根据安全计算资源的实时可用性，动态选择将请求原文路由至安全计算资源或对敏感数据脱敏后路由至外部计算资源，克服了单一脱敏策略无条件遮蔽数据导致语义信息丢失的缺陷，在保障数据安全的前提下，最大限度地保留了原始语义，从而提升了模型的推理质量。

1.一种大语言模型请求的安全路由方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述请求发起方角色包括用户输入角色或工具调用角色，且排除模型生成角色；

3.根据权利要求2所述的方法，其特征在于，所述基于状态机的正则匹配包括：

4.根据权利要求1所述的方法，其特征在于，所述安全计算资源包括本地部署的安全模型池，所述实时可用性的评估基于所述安全模型池中供应商的启用状态及凭证有效性确定；

5.根据权利要求4所述的方法，其特征在于，所述安全模型池受唯一性约束限制的安全路由供应商组，系统同一时刻最多允许存在一个安全路由供应商组；

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

9.一种大语言模型请求的安全路由装置，其特征在于，包括：

10.一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法。