结合用户画像的人工智能生成内容动态评估方法及系统与流程
本申请涉及信息,具体涉及结合用户画像的人工智能生成内容动态评估方法及系统。
背景技术:
1、随着大语言模型的广泛部署与应用,企业及个人用户对模型输出内容的合规性、安全性要求日益提升。目前,主流的生成式ai输出安全检测方案主要可归为以下几类:第一类是基于静态规则与敏感词库的过滤方案,这类方案通过构建敏感词库并采用前缀树或正则表达式进行匹配,对模型输出内容实施硬过滤;第二类是基于深度学习模型的语义安全检测方案,方案采用transformer架构的轻量级模型进行风险意图识别,输出风险类别标签及置信度;第三类基于大模型二次审核的方案,方案在被测大模型输出响应后,通过调用更强的大模型对内容进行安全性检查或通过构建检测知识图谱并设计两级安全评估器来判断是否能够绕过大语言模型的安全防护。
2、然而,现有技术中,上述现有技术方案普遍存在以下局限性:评估粒度粗糙,缺乏用户差异,现有方案大多采用一刀切的评估策略,无论用户身份、角色、权限如何,均使用相同规则与阈值对模型输出进行评判,无法实现差异化的精准管控;忽视场景动态性,方案对每一次问答独立评估,无法感知对话所处的业务场景,也无法捕捉多轮对话中的上下文演化对安全风险的影响;静态阈值限制,大多数方案使用固定的风险评估阈值,无法根据用户历史行为、对话敏感程度等因素动态调整评估标准,导致安全策略僵化;缺乏闭环学习机制,现有方案不记录用户对审核结果的反馈,无法通过用户行为数据持续优化评估策略。因此,本发明提供一种能够根据用户身份特征、行为模式与实时场景上下文进行动态差异化评估的方法及系统,以提升现有生成式ai输出安全检测技术的综合质量。
技术实现思路
1、本说明书多个实施例描述了一种结合用户画像的人工智能生成内容动态评估方法及系统。
2、第一方面,本说明书实施例提供了结合用户画像的人工智能生成内容动态评估方法,包括步骤:
3、获取目标用户的用户画像信息,所述用户画像信息包括静态属性层数据和动态行为层数据;
4、获取当前对话请求的场景上下文信息,所述场景上下文信息包括业务场景类型、会话状态信息以及时间与来源上下文信息;
5、根据所述业务场景类型确定基础安全阈值t_base;
6、根据所述用户画像信息计算用户画像调整量δt_user,所述用户画像调整量δt_user基于用户信誉评分和/或历史违规次数确定;
7、根据所述场景上下文信息计算场景上下文调整量δt_scene;
8、将所述基础安全阈值t_base、所述用户画像调整量δt_user和所述场景上下文调整量δt_scene进行融合,得到动态评估阈值t_final;
9、根据所述动态评估阈值t_final对所述人工智能生成内容进行合规性评估,并输出评估结果。
10、第二方面,本说明书实施例提供了结合用户画像的人工智能生成内容动态评估系统,包括:
11、画像模块,获取目标用户的用户画像信息,所述用户画像信息包括静态属性层数据和动态行为层数据;
12、场景模块,获取当前对话请求的场景上下文信息,所述场景上下文信息包括业务场景类型、会话状态信息以及时间与来源上下文信息;
13、阈值模块,根据所述业务场景类型确定基础安全阈值t_base;
14、画像调整模块,根据所述用户画像信息计算用户画像调整量δt_user,所述用户画像调整量δt_user基于用户信誉评分和/或历史违规次数确定;
15、场景调整模块,根据所述场景上下文信息计算场景上下文调整量δt_scene;
16、融合模块,将所述基础安全阈值t_base、所述用户画像调整量δt_user和所述场景上下文调整量δt_scene进行融合,得到动态评估阈值t_final;
17、评估模块,根据所述动态评估阈值t_final对所述人工智能生成内容进行合规性评估,并输出评估结果。
18、第三方面,本说明书实施例提供了电子设备,包括处理器以及存储器;
19、所述处理器与所述存储器相连;
20、所述存储器,用于存储可执行程序代码;
21、所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于执行上述任一方面所述的方法。
22、第四方面,本说明书实施例提供了计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一方面所述的方法。
23、本说明书一些实施例提供的技术方案带来的有益效果至少包括:
24、在本说明书多个实施例中,提供的通过将用户画像与场景上下文深度融合,构建了生成式人工智能输出动态评估机制,在差异化管控方面,利用包含角色标签、权限等级、历史行为及信誉评分的多维度用户画像,使评估策略随用户身份动态调整,对高危用户和敏感场景实施更严格拦截,对可信用户提供更流畅体验,实现精细化差异管控。
25、在阈值信息方面,摒弃固定风险评估阈值,基于业务场景类型、会话敏感度、对话轮次等实时上下文,结合用户信誉评分和历史违规次数动态计算评估阈值,使安全策略随场景变化灵活调整,显著降低合法合规内容的误拦截率,提升检测准确性。
26、在多轮对话防护方面,构建会话级上下文缓存与增量式累积风险评分机制,持续感知风险演化趋势,有效识别分布式攻击和渐进式越狱行为,克服传统方案独立评估的缺陷,为长对话场景提供持续可靠防护。
27、在优化方面,引入用户反馈驱动机制,动态修正画像参数、在线调优阈值并采用增量学习更新检测模型,使评估策略不断进化,误报率持续下降,精准度逐步提升。递进式检测架构按需调用大模型复核,在保障高安全性的前提下最大程度减少计算资源开销和响应延迟。
28、本发明在安全性、自适应能力、用户体验和资源效率等方面均实现提升,为生成式ai大规模安全部署提供可靠技术支撑。
29、本说明书多个实施例的其他特点和优点将会在下面的具体实施方式、附图中进一步揭示。
1.结合用户画像的人工智能生成内容动态评估方法,其特征在于,包括步骤:
2.根据权利要求1所述的结合用户画像的人工智能生成内容动态评估方法,其特征在于,
3.根据权利要求1所述的结合用户画像的人工智能生成内容动态评估方法,其特征在于,
4.根据权利要求1所述的结合用户画像的人工智能生成内容动态评估方法,其特征在于,
5.根据权利要求1所述的结合用户画像的人工智能生成内容动态评估方法,其特征在于,
6.根据权利要求1所述的结合用户画像的人工智能生成内容动态评估方法,其特征在于,
7.根据权利要求1所述的结合用户画像的人工智能生成内容动态评估方法,其特征在于,
8.结合用户画像的人工智能生成内容动态评估系统,其特征在于,包括:
9.一种电子设备,其特征在于,包括处理器以及存储器;
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com