诈骗检出模型优化方法、装置、电子设备及存储介质与流程

本发明涉及通信，具体涉及一种诈骗检出模型优化方法、装置、电子设备及存储介质。

背景技术：

1、在电信网络诈骗治理领域，运营商通常针对不同的诈骗类型和业务场景建立大量的轻量化诈骗检出模型，并对这些诈骗检出模型进行持续的效果评估与优化，以维持其对诈骗行为的检出能力。

2、相关技术中，通常由工程师定期导出新近打标的样本数据，人工或通过固化脚本逐个对模型池中的诈骗检出模型计算检出覆盖率和误判率等效果评估指标，根据效果评估指标人工分析并设计优化方案，验证通过后部署至生产环境。

3、然而，上述方案需要对数量庞大的模型逐个进行数据提取、效果评估、原因分析和方案设计，优化周期长、难以快速响应诈骗手段变化；同时，优化过程依赖工程师的个人经验及固化的分析路径，优化智能化程度低、难以根据模型特点动态生成优化策略；此外，工程师在优化过程中产生的分析逻辑和调优方法等隐形知识分散在个人经验中，优化知识难以沉淀和复用。

技术实现思路

1、本发明旨在提供一种诈骗检出模型优化方法、装置、电子设备及存储介质，以至少解决现有技术存在的优化周期长、智能化程度低及优化知识难以沉淀和复用等问题。

2、本发明解决上述技术问题的技术方案如下：

3、本发明提供了一种诈骗检出模型优化方法，包括：

4、响应于优化触发操作，获取待优化诈骗检出模型的模型标识；

5、调用工具集中的工具提取所述模型标识对应的样本数据，并评估所述待优化诈骗检出模型在所述样本数据上的模型效果指标；

6、将所述模型效果指标输入大模型智能体，由所述大模型智能体基于所述模型效果指标识别低效模型，基于所述低效模型的所述模型标识在模型知识库中检索对应的模型知识并形成分析上下文，基于所述分析上下文及所述模型效果指标生成优化假设并调用所述工具集中的工具进行验证，生成针对所述低效模型的优化策略；

7、基于所述优化策略对所述低效模型进行优化，并将优化记录更新至所述模型知识库。

8、本发明提供的技术方案至少带来以下有益效果：

9、在本发明提供的诈骗检出模型优化方法中，通过自动调用工具集中的工具批量提取数据、计算效果指标，无需工程师逐个模型进行数据提取和效果评估，缩短了模型优化的迭代周期；通过将模型效果指标输入大模型智能体并由大模型智能体检索模型知识库、调用工具进行分析并生成优化策略，能够利用大模型智能体的推理和工具调用能力替代部分人工分析决策，在提升优化智能化程度的同时，能够根据模型特点动态生成优化策略；通过将本次优化记录更新至模型知识库，能够对优化过程中的分析逻辑和调优方法进行积累，实现优化知识的沉淀与复用。

10、在上述技术方案的基础上，本发明还可以做如下改进。

11、进一步，所述工具集包括数据提取工具、特征计算工具及模型效果评估工具；所述调用工具集中的工具提取所述模型标识对应的样本数据，并评估所述待优化诈骗检出模型在所述样本数据上的模型效果指标，包括：调用所述数据提取工具提取所述模型标识对应的所述样本数据，所述样本数据包括样本标签、话单数据及行为标签；调用所述特征计算工具基于所述样本数据计算所述待优化诈骗检出模型对应的特征值，并通过所述待优化诈骗检出模型对所述特征值进行预测，得到命中结果；调用所述模型效果评估工具基于所述样本标签及所述命中结果计算所述模型效果指标，所述模型效果指标包括检出覆盖率、误判率和精确率中的至少一种。

12、采用该方案的有益效果如下：通过调用工具集中的相应工具，能够实现从数据提取、特征计算到效果评估的自动化工具调用链条，无需工程师手动进行数据提取和指标计算，保证了效果评估的客观性和准确性，为后续智能体识别低效模型提供了标准化的量化依据。

13、进一步，所述由所述大模型智能体基于所述模型效果指标识别低效模型，包括：通过所述大模型智能体在所述模型知识库中获取所述待优化诈骗检出模型的历史模型效果指标；通过所述大模型智能体比对当前模型效果指标及所述历史模型效果指标，识别出所述检出覆盖率下降或所述误判率上升的所述待优化诈骗检出模型，记为所述低效模型。

14、采用该方案的有益效果如下：通过大模型智能体在模型知识库中获取待优化诈骗检出模型的历史模型效果指标，并比对当前效果指标与历史效果指标，识别出检出覆盖率下降或误判率上升的低效模型，能够以客观量化的方式自动识别出需要重点优化的模型，避免了人工判断的主观性，同时将深度分析的范围聚焦于真正需要优化的低效模型，避免对所有模型进行无差别分析，进一步提升了优化效率。

15、进一步，所述模型知识库采用基于图的检索增强生成技术构建，用于存储及管理模型池中全部诈骗检出模型的结构化信息，所述结构化信息包括模型属性、构建背景、业务目标、处置级别、模型类型、规则阈值与条件分支、特征集合、数据处理流程、历史优化变更记录以及历史检出量和效果指标。

16、采用该方案的有益效果如下：采用基于图的检索增强生成技术构建模型知识库，并将模型的结构化信息存储于该模型知识库中，能够对模型的全生命周期信息进行集中化、结构化的存储和管理，从而可以为大模型智能体的检索和分析提供完整准确的模型知识支撑，提高优化决策的准确性。

17、进一步，所述基于所述低效模型的所述模型标识在模型知识库中检索对应的模型知识并形成分析上下文，包括：针对所述低效模型，通过所述大模型智能体调用知识库查询工具获取所述低效模型的所述结构化信息，形成所述分析上下文。

18、采用该方案的有益效果如下：通过大模型智能体调用知识库查询工具获取低效模型的结构化信息以形成分析上下文，能够实现模型知识检索与上下文构建的自动化，无需人工查阅分散的文档或历史记录即可获取模型的完整结构化信息，从而能够确保大模型智能体的分析推理建立在充分的历史经验基础之上，避免了从零开始分析造成的知识浪费。

19、进一步，所述基于所述分析上下文及所述模型效果指标生成优化假设并调用所述工具集中的工具进行验证，生成针对所述低效模型的优化策略，包括：通过所述大模型智能体基于所述分析上下文及所述模型效果指标生成所述优化假设，并调用所述工具集中的相应工具对所述优化假设进行数据验证；通过所述大模型智能体基于验证结果生成所述优化策略，所述优化策略包括现状分析、问题根因、优化方案、预期效果提升及待人工复核要点。

20、采用该方案的有益效果如下：通过大模型智能体基于分析上下文及模型效果指标生成优化假设，并调用工具集中的相应工具对优化假设进行数据验证，基于验证结果生成优化策略，形成了“假设生成→工具验证→策略输出”的完整智能决策链路，使优化策略的生成具有数据支撑和可追溯性，同时结构化的报告内容便于后续人工快速理解和复核决策，提升了人机协同效率。

21、进一步，所述工具集包括数据提取工具、特征计算工具及模型自动调优工具；所述通过所述大模型智能体基于所述分析上下文及所述模型效果指标生成所述优化假设，并调用所述工具集中的相应工具对所述优化假设进行数据验证，包括：当所述诈骗检出模型为规则模型时，由所述大模型智能体根据所述分析上下文及所述模型效果指标推理生成所述优化假设，并调用所述数据提取工具及所述特征计算工具对所述优化假设进行验证，所述优化假设包括规则阈值调整策略和/或约束条件增减策略；当所述诈骗检出模型为机器学习模型时，由所述大模型智能体根据所述分析上下文及所述模型效果指标推理生成所述优化假设，并调用所述模型自动调优工具对所述优化假设进行验证，所述优化假设包括参数调优策略。

22、采用该方案的有益效果如下：通过区分规则模型和机器学习模型并采用差异化的验证方式，能够根据不同模型的技术特点灵活适配最优的验证策略，突破了传统固化脚本只能执行预设优化动作的限制，实现了对不同类型模型的个性化优化。

23、进一步，所述基于所述优化策略对所述低效模型进行优化，包括：将所述优化策略推送至人工复核终端；响应于所述人工复核终端对所述优化策略的复核确认操作，将所述优化策略部署至对应的生产环境。

24、采用该方案的有益效果如下：通过在自动化优化的基础上保留人工审核环节，既发挥了自动化优化的效率优势，又通过人机协同机制保障了优化方案的安全性和可靠性。

25、对应地，本发明还提供了一种诈骗检出模型优化装置，包括：

26、流程触发模块，用于响应于优化触发操作，获取待优化诈骗检出模型的模型标识；

27、效果评估模块，用于调用工具集中的工具提取所述模型标识对应的样本数据，并评估所述待优化诈骗检出模型在所述样本数据上的模型效果指标；

28、策略生成模块，用于将所述模型效果指标输入大模型智能体，由所述大模型智能体基于所述模型效果指标识别低效模型，基于所述低效模型的所述模型标识在模型知识库中检索对应的模型知识并形成分析上下文，基于所述分析上下文及所述模型效果指标生成优化假设并调用所述工具集中的工具进行验证，生成针对所述低效模型的优化策略；

29、模型优化模块，用于基于所述优化策略对所述低效模型进行优化，并将优化记录更新至所述模型知识库。

30、本发明还提供了一种电子设备，包括：处理器；存储器，用于存储所述处理器的可执行指令；其中，所述处理器被配置为执行所述指令，以实现上述诈骗检出模型优化方法。

31、本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述诈骗检出模型优化方法。