提升大模型对话合法化的方法、装置、介质及设备与流程

本技术涉及人工智能领域，尤其涉及一种提升大模型对话合法化的方法、装置及介质及设备。

背景技术：

1、llm(大型语言模型)(如gpt、claude等)在各类应用中广泛使用，如何提升大模型对话的合法合规性，是非常现实的问题。现有技术中，设置静态敏感词库，依靠提取对话内容的关键词，和静态敏感词库进行匹配，发现风险并进行拦截，但由于静态敏感词库需要依赖人工维护，无法实时适配各国法律的动态变化，更新能力弱，更新滞后。另外，对对话内容的审查存在缺陷，只对用户输入内容进行拦截，忽略了大模型生成结果可能包含的违规信息。缺乏针对不同国家或地区的法律、敏感词1、敏感词2差异的本地化拦截能力，跨文化跨敏感词1的适配能力不足。因此，需要一种更加灵活可靠的、适配不同文化不同敏感词1的大模型拦截方法和拦截系统。

技术实现思路

1、为克服相关技术中存在的问题，本技术提供一种提升大模型对话合法化的方法、装置、介质及设备。

2、根据本技术的第一方面，提供一种提升大模型对话合法化的方法，包括：

3、实时获取多种数据源的敏感词数据；

4、对所述敏感词数据进行数据清洗，生成或更新敏感词词库；

5、对所述敏感词词库中的敏感词进行向量化，生成敏感词向量；

6、对所述敏感词向量进行聚类，计算聚类后的每个语义簇的中心向量；

7、使用拦截模型对输入和输出分别提取关键词和嵌入向量，基于所述关键词和所述敏感词的匹配结果、所述嵌入向量和各语义簇的中心向量的相似度，确定输入或输出的风险评分；

8、当所述输入或输出的风险评分大于等于风险阈值时，拦截对话内容。

9、在本技术的一些实施例中，基于前述方案，所述多种数据源包括：

10、政府的法律文本、用户举报的违规词汇、网络热度高的违规词汇。

11、在本技术的一些实施例中，基于前述方案，提升大模型对话合法化的方法，还包括：实时或定期以更新的敏感词词库训练拦截模型。

12、在本技术的一些实施例中，基于前述方案，所述拦截模型包括第一拦截模型和第二拦截模型，第一拦截模型上线部署时，实时训练第二拦截模型；将训练好的第二拦截模型上线，与第一拦截模型并行运行预定时长，对比结果一致后，将第一拦截模型下线。

13、在本技术的一些实施例中，基于前述方案，基于所述关键词和所述敏感词的匹配结果、所述嵌入向量和各语义簇的中心向量的相似度，确定输入风险评分包括：

14、对输入文本提取关键词，当所述关键词和所述敏感词匹配时，确定精确匹配分值，当所述精确匹配分值大于等于第一预设阈值时，以所述精确匹配分值作为输入风险评分；

15、当所述精确匹配分值小于第一预设阈值时，提取输入文本的嵌入向量，计算所述嵌入向量与所述中心向量的相似度，当所述相似度大于等于第二预设阈值时，以所述相似度作为输入风险评分；

16、当所述相似度小于第二预设阈值时，获取对话历史，确定上下文匹配分值，将所述精确匹配分值、相似度、上下文匹配分值分别和各自的权重系数相乘后求和，确定为输入风险评分。

17、在本技术的一些实施例中，基于前述方案，基于所述关键词和所述敏感词的匹配结果、所述嵌入向量和各语义簇的中心向量的相似度，确定输出风险评分包括：

18、对输出文本提取关键词，当所述关键词和所述敏感词匹配时，确定精确匹配分值，当所述精确匹配分值大于等于第三预设阈值时，以所述精确匹配分值作为输出风险评分；

19、当所述精确匹配分值小于第三预设阈值时，提取输出文本的嵌入向量，计算所述嵌入向量与所述中心向量的相似度，以所述相似度作为输出风险评分。

20、根据本技术的另一方面，提供一种提升大模型对话合法化的装置，包括：

21、敏感词数据获取模块，用于实时获取多种数据源的敏感词数据；

22、敏感词处理模块，用于对所述敏感词数据进行数据清洗，生成或更新敏感词词库；

23、向量化模块，用于对所述敏感词词库中的敏感词进行向量化，生成敏感词向量；

24、聚类模块，用于对所述敏感词向量进行聚类，计算聚类后的每个语义簇的中心向量；

25、风险评估模块，用于使用拦截模型对输入和输出分别提取关键词和嵌入向量，基于所述关键词和所述敏感词的匹配结果、所述嵌入向量和各语义簇的中心向量的相似度，确定输入或输出的风险评分；

26、拦截模块，用于当所述输入或输出的风险评分大于等于风险阈值时，拦截对话内容。

27、在本技术的一些实施例中，基于前述方案，提升大模型对话合法化的装置还包括：

28、训练模块，用于实时或定期以更新的敏感词词库训练拦截模型。

29、在本技术的一些实施例中，基于前述方案，所述拦截模型包括第一拦截模型和第二拦截模型，第一拦截模型上线部署时，实时训练第二拦截模型；将训练好的第二拦截模型上线，与第一拦截模型并行运行预定时长，对比结果一致后，将第一拦截模型下线。

30、在本技术的一些实施例中，基于前述方案，风险评估模块确定输入风险评分包括：

31、对输入文本提取关键词，当所述关键词和所述敏感词匹配时，确定精确匹配分值，当所述精确匹配分值大于等于第一预设阈值时，以所述精确匹配分值作为输入风险评分；

32、当所述精确匹配分值小于第一预设阈值时，提取输入文本的嵌入向量，计算所述嵌入向量与所述中心向量的相似度，当所述相似度大于等于第二预设阈值时，以所述相似度作为输入风险评分；

33、当所述相似度小于第二预设阈值时，获取对话历史，确定上下文匹配分值，将所述精确匹配分值、相似度、上下文匹配分值分别和各自的权重系数相乘后求和，确定为输入风险评分。

34、在本技术的一些实施例中，基于前述方案，风险评估模块确定输出风险评分包括：

35、对输出文本提取关键词，当所述关键词和所述敏感词匹配时，确定精确匹配分值，当所述精确匹配分值大于等于第三预设阈值时，以所述精确匹配分值作为输出风险评分；

36、当所述精确匹配分值小于第三预设阈值时，提取输出文本的嵌入向量，计算所述嵌入向量与所述中心向量的相似度，以所述相似度作为输出风险评分。

37、根据本技术的另一方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现提升大模型对话合法化的方法的步骤。

38、根据本技术的另一方面，提供一种计算机设备，包括处理器、存储器和存储于所述存储器上的计算机程序，所述处理器执行所述计算机程序时实现提升大模型对话合法化的方法的步骤。

39、本技术通过实时获取多种数据源的敏感词数据；对敏感词数据进行数据清洗，生成或更新敏感词词库；对敏感词词库中的敏感词进行向量化，生成敏感词向量；对敏感词向量进行聚类，计算聚类后的每个语义簇的中心向量；使用拦截模型对输入和输出分别提取关键词和嵌入向量，基于关键词和敏感词的匹配结果，嵌入向量和各语义簇的中心向量的相似度，确定输入或输出的风险评分；当输入或输出的风险评分大于等于预设阈值时，拦截对话内容。可以实现对敏感词词库的实时更新，提高拦截准确率。同时对敏感词进行向量聚类，生成不同国家或地区的法律、敏感词1、敏感词2相关的语义簇，进而准确针对不同国家或地区的法律、敏感词1、敏感词2差异，进行本地化拦截。拦截模型可以同时针对输入和输出的对话内容进行风险评估，及时阻断违禁内容，提高对话安全。

40、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。