基于认知行为偏离度的用户算法抵抗状态检测方法及系统

摘要: 本发明涉及人工智能,尤其涉及一种基于认知行为偏离度的用户算法抵抗状态检测方法及系统。背景技术:1、生成式人工智能(如大语言模型)已广泛应用于辅助设计、内容创作、...
基于认知行为偏离度的用户算法抵抗状态检测方法及系统

本发明涉及人工智能,尤其涉及一种基于认知行为偏离度的用户算法抵抗状态检测方法及系统。

背景技术:

1、生成式人工智能(如大语言模型)已广泛应用于辅助设计、内容创作、决策支持等场景,用户在与生成式人工智能交互过程中,可能因感知到算法黑箱、隐私风险、信息茧房等因素而产生算法抵抗行为,即用户基于自身的认知和实践能力对算法采取的抵抗实践行为。现有的用户行为检测方法一般从操作数据中提取用户行为特征进行异常判定。该类方法仅关注用户的操作行为,而难以感知用户的内在认知状态。然而,算法抵抗行为本质上是用户在认知层面对算法产生不信任或排斥后,才会在操作层面表现出抵抗行为。因此,仅凭行为数据难以区分“用户因操作失误导致的异常”与“用户对算法本身的系统性抵抗”。

技术实现思路

1、针对现有技术的不足,本发明提供了一种基于认知行为偏离度的用户算法抵抗状态检测方法及系统,解决了现有的用户行为检测方法难以同步关注用户的操作行为和内在认知状态,并实现对用户算法抵抗行为的检测的技术问题。

2、为解决上述技术问题,本发明提供了如下技术方案:一种基于认知行为偏离度的用户算法抵抗状态检测方法,包括以下步骤:

3、s1、实时采集用户与生成式人工智能交互过程中的认知通道数据和行为通道数据;所述认知通道数据至少包括用户每一轮交互中输入至生成式人工智能的文本内容;所述行为通道数据至少包括用户每一轮交互中对所述生成式人工智能输出内容执行的操作事件类型及操作时间戳;

4、s2、对认知通道数据按交互轮次对多项认知特征进行提取,并构建认知倾向向量;

5、s3、对行为通道数据按交互轮次对多项行为特征进行提取,并构建行为倾向向量;

6、s4、按交互轮次索引对所述认知倾向向量和所述行为倾向向量进行时序对齐,形成包含每一轮交互所对应的配对向量对的配对向量对序列;

7、s5、采用滑动窗口对配对向量对序列进行流式处理,对于每个滑动窗口,计算滑动窗口内认知倾向向量与行为倾向向量之间的认知行为偏离度;

8、s6、当任一滑动窗口所对应的认知行为偏离度超过预设的偏离度阈值时,输出用户在该滑动窗口内处于算法抵抗状态的标签作为检测结果。

9、作为优选,在步骤s1中,所述操作事件类型至少包括请求提交事件、生成中断事件、重新生成事件、结果复制事件、结果编辑事件、会话切换事件和负向反馈事件。

10、作为优选,在步骤s2中,所述认知特征至少包括情感极性值、认知确定性指数和评价倾向值;

11、每一轮交互过程中的情感极性值通过对该轮交互中用户输入的文本内容进行语义情感分析得到;

12、每一轮交互过程中的认知确定性指数通过统计该轮交互中用户输入的文本内容中预构建的确定性词典词汇的加权频次与文本总词汇数的比值得到;

13、每一轮交互过程中的评价倾向值通过对该轮交互中用户针对生成式人工智能输出内容的评价文本进行语义倾向分类得到;若该轮交互中用户未对输出内容进行评价,则按照预设规则取值。

14、作为优选,在步骤s3中,所述行为特征至少包括ai输出采纳率、ai输出修改率和主动发起率;

15、任一轮交互过程中的ai输出采纳率为截止到该轮交互时,用户直接使用生成式人工智能输出内容未作任何修改的轮次数与总交互轮次数的比值;

16、任一轮交互过程中的ai输出修改率为截止到该轮交互时,用户对生成式人工智能输出内容进行修改后再使用的轮次数与总交互轮次数的比值;所述修改为用户对ai输出内容编辑前后的文本编辑距离大于0;

17、任一轮交互过程中的主动发起率为截止到该轮交互时,用户主动发起新请求的轮次数与总交互轮次数的比值;所述主动发起是指用户在未接收系统提示或自动触发的情况下,自行通过输入提交请求开启新一轮交互。

18、作为优选,在步骤s4中,具体包括如下步骤:

19、获取每一轮交互所对应的操作时间戳,所述操作时间戳至少包括该轮交互中用户提交请求的第一时间戳和用户完成对ai输出内容处理的第二时间戳;

20、以所述第一时间戳作为该轮交互的起始时刻,以所述第二时间戳作为该轮交互的终止时刻,将发生在起始时刻至终止时刻之间的所有行为事件归属于该轮交互;

21、对于每一轮交互,将在该轮交互的起始时刻提交的输入文本所提取的认知倾向向量与该轮交互的时间窗口内采集的所有行为事件所提取的行为倾向向量进行配对,形成该轮交互的配对向量对;

22、按交互轮次的先后顺序对所有配对向量对进行排列,生成所述配对向量对序列。

23、作为优选,在步骤s5中,所述认知行为偏离度计算的具体步骤为:

24、对于第t个滑动窗口,获取该滑动窗口内所有配对向量对,其中,,并分别计算滑动窗口内认知倾向向量的滑动平均值和行为倾向向量的滑动平均值;

25、根据滑动窗口内认知倾向向量的滑动平均值、行为倾向向量的滑动平均值和预设的交叉权重矩阵,基于加权余弦相似度计算该滑动窗口的认知行为偏离度,其计算公式为:

26、;

27、上式中,为预设的交叉权重矩阵,为滑动平均值的转置,表示l2范数。

28、作为优选,所述交叉权重矩阵通过标定获得,具体包括如下步骤:

29、构建训练数据集,其中,为训练样本总数,为第个样本的认知倾向向量与行为倾向向量配对,为第个样本的算法抵抗状态标签,表示用户处于算法抵抗状态,表示用户处于算法非抵抗状态;

30、初始化交叉权重矩阵为单位矩阵,对于第轮迭代,根据各训练样本的认知倾向向量、行为倾向向量和当前的交叉权重矩阵,基于加权余弦相似度计算各样本的认知行为偏离度的预测值;其计算公式为:

31、;

32、上式中,表示第个样本认知行为偏离度的预测值,表示第轮迭代的交叉权重矩阵;

33、根据各训练样本认知行为偏离度的预测值与真实标签计算损失函数值,对于每个训练样本,当真实标签为第一标签值时,预测偏离度越接近1则损失越小,当真实标签为第二标签值时,预测偏离度越接近0则损失越小;对所有训练样本的损失取平均值作为当前迭代轮次的损失函数值;其计算公式为:

34、;

35、计算所述损失函数对所述交叉权重矩阵的梯度,沿梯度的负方向以预设的学习率更新交叉权重矩阵,使得更新后的交叉权重矩阵对应的损失函数值减小;交叉权重矩阵更新的表达式为:

36、;

37、上式中,和分别表示第轮和第+1轮迭代的交叉权重矩阵,为预设的学习率,,为损失函数对交叉权重矩阵的梯度;

38、通过多轮迭代直至满足预设的迭代终止条件,并输出最终得到的交叉权重矩阵作为标定结果。

39、作为优选,在步骤s6中,所述偏离度阈值确定的具体步骤为:

40、获取包含多个标注样本的验证数据集,所述标注样本包含认知倾向向量与行为倾向向量的配对及对应的算法抵抗状态标签;

41、分别以验证数据集中各标注样本的认知行为偏离度作为候选阈值,计算每个候选阈值下的分类灵敏度与特异度;

42、以分类灵敏度为纵坐标、以假正率为横坐标绘制受试者工作特征曲线,所述假正率等于1减去所述特异度;

43、计算所述受试者工作特征曲线上每个候选阈值对应的约登指数,所述约登指数等于所述灵敏度与所述特异度之和减1;

44、选取所述约登指数取得最大值时所对应的候选阈值作为偏离度阈值。

45、作为优选,在步骤s6之后还包括:

46、每当新增一轮交互数据时,重复执行步骤s1至步骤s6,更新当前滑动窗口所对应的认知行为偏离度,并输出更新后的检测结果;

47、当连续预设数量个滑动窗口的认知行为偏离度均超过偏离度阈值时,输出算法抵抗状态确认标签,所述确认标签的置信度高于单次检测结果。

48、本发明还提供了一种用户算法抵抗状态检测系统,包括处理器和存储器,所述存储器用于存储计算机程序,所述计算机程序被所述处理器执行时实现所述的用户算法抵抗状态检测方法。

49、借由上述技术方案,本发明提供了一种基于认知行为偏离度的用户算法抵抗状态检测方法及系统,至少具备以下有益效果:

50、1、本发明通过实时采集用户与生成式人工智能交互过程中的认知通道数据和行为通道数据,按交互轮次分别提取认知特征和行为特征并构建双通道向量,再通过时序对齐形成配对向量对序列,实现了对用户内在认知状态与外在操作行为的同步感知,克服了现有技术中单通道检测无法区分操作失误与系统性算法抵抗的缺陷。

51、2、本发明构建的认知倾向向量至少融合了情感极性值、认知确定性指数和评价倾向值三个维度,其中认知确定性指数通过确定性词典词汇的加权频次统计得到,评价倾向值通过语义倾向分类得到,将抽象的认知状态分解为可计算的底层特征指标,实现了认知信号的精确量化,为后续认知行为偏离度的计算提供了可靠的数据基础。

52、3、本发明构建的行为倾向向量至少融合了ai输出采纳率、ai输出修改率和主动发起率三个维度,其中ai输出修改率以用户编辑前后文本的编辑距离大于0作为判定条件,主动发起率以用户是否在未接收系统提示的情况下自行提交请求作为判定条件,实现了从依赖度、修正度和主导度三个层面实现了用户操作行为的立体化表征。

53、4、本发明采用基于加权余弦相似度的认知行为偏离度计算方法,通过预设的交叉权重矩阵实现认知倾向向量与行为倾向向量之间的全维度交叉关联,使得每一个认知维度与每一个行为维度之间均通过独立的权重建立关联,克服了标准余弦相似度仅支持同维度一一对应的局限,显著提升了认知行为偏离度的计算精度。

54、5、本发明通过训练数据集对交叉权重矩阵进行数据驱动标定,以单位矩阵为初始化起点,采用二分类交叉熵损失函数和梯度下降法迭代优化权重矩阵,使得权重矩阵的取值具有客观的数据依据而非依赖人工经验设定,保证了技术方案在不同应用场景下的可重复性和泛化能力;同时通过独立验证数据集采用roc曲线分析和约登指数最大化确定偏离度阈值,进一步确保了检测决策边界的客观性和最优性。