一种基于大模型问答内容的细粒度用户行为风险处理方法、设备及介质与流程

摘要: 本技术涉及行为风险处理,尤其涉及一种基于大模型问答内容的细粒度用户行为风险处理方法、设备及介质。背景技术:1、现有技术在大模型交互场景下的用户行为分析与风险检测...
一种基于大模型问答内容的细粒度用户行为风险处理方法、设备及介质与流程

本技术涉及行为风险处理,尤其涉及一种基于大模型问答内容的细粒度用户行为风险处理方法、设备及介质。

背景技术:

1、现有技术在大模型交互场景下的用户行为分析与风险检测,普遍依赖于静态规则引擎或基于单点特征的分类模型,如关键词匹配、登录频次统计或会话时长阈值判断。此类方法难以捕捉用户在多轮问答中呈现的语义意图演化路径与交互行为的深层关联,仅能对显性异常(如敏感词触发)做出响应,对隐性恶意行为(如诱导性提问、意图伪装、语义渗透)缺乏感知能力,导致风险识别粒度粗放、误报率高、漏报严重。

2、当前主流方案普遍忽视会话的时序结构与跨轮语义依赖,无法构建动态的用户行为图谱,因而难以识别恶意模式在多轮交互中的渐进式演化与协同性攻击。同时,缺乏对语义意图特征与交互行为特征之间跨层一致性的量化评估机制,使得异常归因依赖人工规则,无法实现自动化、可解释的贡献度分析,导致风险评分静态化、无法适配用户个性化容忍度与业务场景动态变化,严重制约了风控系统的自适应能力与响应精度。

技术实现思路

1、本技术提供一种基于大模型问答内容的细粒度用户行为风险处理方法、设备及介质,以解决现有方案忽视会话的时序结构与跨轮语义依赖,无法构建动态的用户行为图谱、缺乏对语义意图特征与交互行为特征之间跨层一致性的量化评估机制的问题。

2、第一方面,本技术提供了一种基于大模型问答内容的细粒度用户行为风险处理方法,方法包括:

3、实时采集用户与大模型交互过程中的多维用户交互数据;

4、基于多维用户交互数据和用户历史正常会话数据,构建语义意图基线和交互行为基线,确定用户偏离基线的偏离结果;计算当前多维用户交互数据中的语义意图特征子向量、交互行为特征子向量之间的跨层一致性得分;

5、以当前会话的n轮交互为节点,以每轮的多维用户交互数据作为节点,以节点间语义相似度构建边,获得会话图谱;将会话图谱输入图注意力网络,获得图神经网络编码;

6、通过训练好的对比学习编码器将图神经网络编码投影到嵌入空间,得到会话嵌入向量;计算会话嵌入向量与预先在恶意样本库中提取的恶意模式嵌入向量之间的余弦相似度,确定恶意模式和恶意模式相似度;获取多维用户交互数据对恶意模式判定的贡献度,根据贡献度生成异常归因报告;根据偏离结果、跨层一致性得分、恶意模式相似度,生成综合异常得分;

7、根据综合异常得分、恶意模式、异常归因报告,利用多层感知机模型,生成初始风险得分;根据初始风险得分和用户画像数据,利用预设非线性函数计算动态风险评分;根据当前系统负载情况和当前业务场景的敏感度,确定划分阈值;根据动态风险评分与划分阈值之间的关系为当前风险等级;

8、基于当前风险等级、恶意模式、异常归因报告和用户个性化风险容忍度配置,利用多分类器,从预设的风控策略规则集中获取处置策略;当处置策略大于1时,根据预设优先级执行处置策略。

9、在本技术的一种实现方式中,实时采集用户与大模型交互过程中的多维用户交互数据,具体包括:

10、通过消息队列实时接入用户请求与大模型响应数据流;

11、对用户请求与大模型响应数据流进行预处理操作,获得预处理后用户请求与大模型响应数据流;

12、从预处理后用户请求的请求元数据中提取预设基础身份特征,构成用户画像数据;

13、根据用户画像数据中的静态标签,提取基础身份特征;

14、根据预处理后用户请求中的请求发生的时间戳,计算相邻请求的时间间隔;

15、从预处理后用户请求的原始文本查询信息中,获得字符信息、预设特殊符号信息、与历史n轮输入的相似度;同时计算原始文本查询信息对预设历史上下文的语义依赖密度和代词引用频率;

16、从预处理后大模型响应数据流涉及的调用内部api列表及参数、本次交互的计算资源消耗中提取api调用频率、token消耗速率、计算资源强度;

17、基于预处理后用户请求的原始文本查询信息和预处理后大模型响应数据流中涉及的大模型返回的原始文本响应,提取内容语义特征;其中,内容语义特征至少包括:主题分类、意图类型、敏感词命中情况、敏感度得分、意图漂移幅度、是否存在预设攻击语义;

18、基于预处理后用户请求中的请求发生的时间戳和原始文本查询信息,提取交互模式特征;其中,交互模式特征包括:轮次间隔、指令复杂度、多轮上下文关联度;

19、将基础身份特征、相邻请求的时间间隔、字符信息、预设特殊符号信息、与历史n轮输入的相似度、语义依赖密度、代词引用频率、api调用频率、token消耗速率、计算资源强度、内容语义特征、交互模式特征,整合向量化为统一的多维用户交互数据。

20、在本技术的一种实现方式中,基于多维用户交互数据和用户历史正常会话数据,构建语义意图基线和交互行为基线,确定用户偏离基线的偏离结果,具体包括:

21、将多维用户交互数据分解为语义意图特征子向量、交互行为特征子向量;

22、将语义意图特征子向量映射到语义意图空间,按照时间构建语义意图特征子向量序列;

23、将交互行为特征子向量映射到交互行为空间,按照时间构建交互行为特征子向量序列;

24、利用语义意图特征子向量序列,训练transformer模型获得当前用户的意图序列模式、意图波动范围和主题迁移规律,获得训练好的transformer模型;其中,语义意图基线包含:意图序列模式、意图波动范围和主题迁移规律;

25、利用交互行为特征子向量序列,训练自适应核密度估计算法,获得用户行为特征的非参数分布,获得训练好的自适应核密度估计算法;其中,交互行为基线包含用户行为特征的非参数分布;

26、在transformer模型和自适应核密度估计算法各自对应的训练总损失函数中引入互信息损失函数;

27、将实时语义意图特征子向量输入训练好的transformer模型,获取用户偏离语义意图基线的偏离结果;

28、将实时语义意图基线输入训练好的自适应核密度估计算法,获取用户偏离交互行为基线的偏离结果;

29、当训练好的transformer模型输出偏离结果的置信度低于预设值且训练好的自适应核密度估计算法的偏离结果判定行为正常时,触发预设复核流程。

30、在本技术的一种实现方式中,方法还包括:

31、获取预设短期滑动时间窗口内的多维用户交互数据,更新训练好的transformer模型中的语义意图基线,更新训练好的自适应核密度估计算法中的交互行为基线;

32、获取按照预设长周期时间段内的多维用户交互数据,更新训练好的transformer模型中的语义意图基线,更新训练好的自适应核密度估计算法中的交互行为基线。

33、在本技术的一种实现方式中,计算当前多维用户交互数据中的语义意图特征子向量、交互行为特征子向量之间的跨层一致性得分,具体包括:

34、从当前多维用户交互数据中提取语义意图特征子向量、交互行为特征子向量;

35、将语义意图特征子向量、交互行为特征子向量输入预训练的互信息估计器,输出跨层一致性得分。

36、在本技术的一种实现方式中,以当前会话的n轮交互为节点,以每轮的多维用户交互数据作为节点,以节点间语义相似度构建边,获得会话图谱,具体包括:

37、以当前会话的n轮交互为节点,以每轮的多维用户交互数据作为节点;

38、计算节点之间语义向量的余弦相似度,当相似度大于预设相似度阈值时,构建节点之间的边;当两个节点的请求的资源消耗模式的相似度大于预设模式相似阈值,或者两个节点之间的时间间隔小于预设时间阈值,构建节点之间的边;

39、根据节点和边,获得会话图谱。

40、在本技术的一种实现方式中,获取多维用户交互数据对恶意模式判定的贡献度,根据贡献度生成异常归因报告;根据偏离结果、跨层一致性得分、恶意模式相似度,生成综合异常得分,具体包括:

41、利用ai技术,将多维用户交互数据和恶意模式输入预设引导模版,获得多维用户交互数据中各个维度数据对恶意模式判定的贡献度,进而生成由贡献度组成的异常归因报告;

42、将偏离结果、跨层一致性得分、恶意模式相似度分别映射至[0,1]区间;

43、根据预设权重系数,将[0,1]区间的偏离结果、跨层一致性得分、恶意模式相似度,加权获得综合异常得分。

44、在本技术的一种实现方式中,根据初始风险得分和用户画像数据,利用预设非线性函数计算动态风险评分;根据当前系统负载情况和当前业务场景的敏感度,确定划分阈值;根据动态风险评分与划分阈值之间的关系为当前风险等级,具体包括:

45、将用户画像数据中的用户历史行为积累的信用评分映射至[0,1]区间;

46、根据用户画像数据中的用户岗位/职责标签,从预设权重映射表中获得风险权重因子;

47、将用户画像数据中的用户个性化风险容忍度配置映射至[0,1]区间;

48、将映射至[0,1]区间的用户历史行为积累的信用评分、风险权重因子、户个性化风险容忍度配置和初始风险得分,输入预设非线性函数,计算动态风险评分;

49、根据当前系统负载情况和当前业务场景的敏感度,确定划分阈值;

50、当动态风险评分大于划分阈值中的第一阈值时确定为高风险等级;

51、当动态风险评分小于等于划分阈值中的第一阈值且大于第二阈值时,确定为中风险等级;

52、当动态风险评分小于等于第二阈值时,确定为低风险等级。

53、第二方面,本技术提供了一种基于大模型问答内容的细粒度用户行为风险处理设备,设备包括:

54、处理器;

55、以及存储器,其上存储有可执行代码,当可执行代码被执行时,使得处理器执行如上述任一项的一种基于大模型问答内容的细粒度用户行为风险处理方法。

56、第三方面,本技术提供了一种非易失性计算机存储介质,其上存储有计算机指令,计算机指令在被执行时实现如上述任一项的一种基于大模型问答内容的细粒度用户行为风险处理方法。

57、从以上技术方案可以看出,本技术具有以下优点:

58、通过以多轮交互为节点、语义相似度为边构建会话图谱,并引入图注意力网络进行编码,在大模型交互场景中实现了对用户会话时序结构与跨轮语义依赖的显式建模。该结构能够捕捉恶意行为在多轮对话中逐步渗透、策略调整与多节点协同的演化轨迹,突破传统静态特征提取对时序依赖的忽略,使系统可自动识别如典型渐进式攻击链,提升对隐蔽性、低频协同攻击的检测覆盖率,无需依赖人工定义攻击模式模板。

59、通过分别提取语义意图特征子向量与交互行为特征子向量,并计算二者间的跨层一致性得分,本方案建立了意图与行为之间的结构化关联评估机制。该机制直接替代了传统依赖人工规则的异常归因方式,使系统能够自动定位异常来源——例如当用户语义意图表现为“索要敏感信息”但交互行为却呈现“频繁中断与重试”时,系统可输出贡献度报告,指出“行为偏离”是主要异常驱动因素,从而生成具备逻辑可追溯性的异常归因报告,为后续策略响应提供透明依据。

60、基于综合异常得分与用户画像数据,采用预设非线性函数计算动态风险评分,并结合系统负载与业务场景敏感度实时调整判定阈值,本方案彻底打破传统静态评分模型的僵化局限。风险等级不再固定,而是随用户历史行为基线、当前业务敏感度(如金融交易 vs普通咨询)及系统资源状态动态演化。在此基础上,多分类器依据风险等级、恶意模式、归因报告及用户个性化容忍度配置,从规则集中智能匹配最优处置策略,实现细粒度自适应风控,提升用户体验与系统响应精度。