一种消息管控方法、装置、设备及存储介质

本技术涉及消息处理，尤其涉及一种消息管控方法、装置、设备及存储介质。

背景技术：

1、随着互联网技术的快速发展，用户生成内容呈现爆发式增长，内容社区、社交平台与即时通信等应用场景的消息交互量持续攀升。然而，海量的用户生成内容中混杂着各类违规信息，平台面临着日益严峻的内容安全与合规治理挑战。在高并发的业务场景下，如何在保障消息处理效率的同时实现精准的内容审核，成为平台运营的核心难题。

2、目前的内容审核方法主要分为两类：一类是基于正则表达式或本地有限状态机的显式特征匹配方法，这类方法虽能实现微秒级的快速处理，但仅能识别预设的显式违规特征，存在明显的语义盲区，难以识别隐晦表达、变体词汇以及结合上下文的复杂违规内容，容易导致较高的误报率和漏报率；另一类是基于大语言模型的语义审核方法，这类方法具备较强的语义理解能力，但存在推理延迟高、算力成本昂贵的问题，难以独立支撑海量数据的全量实时过滤，同时缺乏完善的容灾机制和柔性管控手段，容易引发业务流阻断或用户体验受损。

3、因此，如何兼顾内容审核的处理效率、识别精度与用户体验，构建兼具高并发支撑能力和深度语义识别能力的消息管控体系，是一个亟待解决的问题。

技术实现思路

1、有鉴于此，本技术实施例提供的一种消息管控方法、装置、设备及存储介质，能够兼顾内容审核的处理效率、识别精度与用户体验，构建兼具高并发支撑能力和深度语义识别能力的消息管控体系。本技术实施例提供的一种消息管控方法、装置、设备及存储介质是这样实现的：

2、本技术实施例提供的一种消息管控方法，包括：

3、对待检测文本进行风控特征扫描处理，得到初筛放行文本；

4、对所述初筛放行文本进行语义指纹生成与缓存碰撞校验处理，得到待推理文本；

5、对所述待推理文本与业务上下文信息进行结构化提示词组装处理，得到标准化大模型推理输入；

6、对所述标准化大模型推理输入进行深度语义意图推演与风险量化处理，得到连续风险评估分数；

7、对所述连续风险评估分数进行双边界阈值分级映射处理，得到离散审核级别状态信息；

8、对所述离散审核级别状态信息进行差异化管控策略匹配与异步回写处理，得到目标管控指令。

9、在一些实施例中，所述对所述待推理文本与业务上下文信息进行结构化提示词组装处理，得到标准化大模型推理输入，包括：

10、获取业务系统关联的用户行为数据与内容属性数据；

11、对所述用户行为数据与所述内容属性数据进行上下文提取处理，得到用户历史信誉信息与内容所属版块标签信息；

12、对所述待推理文本、所述用户历史信誉信息与所述内容所属版块标签信息进行多维度投影组合处理，得到整合文本信息；

13、对所述整合文本信息进行标准化结构封装处理，得到标准化大模型推理输入。

14、在一些实施例中，所述对所述标准化大模型推理输入进行深度语义意图推演与风险量化处理，得到连续风险评估分数，包括：

15、对所述标准化大模型推理输入进行深层语境特征抽取与隐性意图推演处理，得到文本语义意图识别结果；

16、对所述文本语义意图识别结果进行正常语义与对抗性违规区分处理，得到违规风险特征数据；

17、对所述违规风险特征数据进行连续概率值量化处理，得到连续风险评估分数。

18、在一些实施例中，所述对所述连续风险评估分数进行双边界阈值分级映射处理，得到离散审核级别状态信息，包括：

19、获取预设的低风险边界阈值与高风险边界阈值；

20、对所述连续风险评估分数、所述低风险边界阈值与所述高风险边界阈值进行区间划分匹配处理，得到风险区间归属标识；

21、对所述风险区间归属标识进行离散状态映射处理，得到离散审核级别状态信息。

22、在一些实施例中，所述对所述离散审核级别状态信息进行差异化管控策略匹配与异步回写处理，得到目标管控指令，包括：

23、获取预设的差异化管控规则集合；

24、对所述离散审核级别状态信息与所述差异化管控规则集合进行路由匹配处理，得到初始管控指令；

25、对所述初始管控指令与对应的原始审核数据进行关联打包处理，得到待回写数据包；

26、对所述待回写数据包进行分布式事件队列异步回写处理，得到目标管控指令。

27、在一些实施例中，所述对所述初筛放行文本进行语义指纹生成与缓存碰撞校验处理，得到待推理文本，包括：

28、对所述初筛放行文本进行内容脱敏与元数据提取处理，得到文本脱敏特征与文本元数据；

29、对所述文本脱敏特征与所述文本元数据进行哈希散列处理，得到唯一语义指纹；

30、对所述唯一语义指纹与历史语义指纹库进行碰撞校验处理，得到缓存命中状态信息；

31、对所述缓存命中状态信息进行分支判定处理，得到待推理文本。

32、在一些实施例中，所述离散审核级别状态信息包括绝对安全态、模糊可疑态以及明确有害态中的一种。

33、本技术实施例提供的一种消息管控装置，包括：

34、处理模块，用于对待检测文本进行风控特征扫描处理，得到初筛放行文本；

35、所述处理模块，还用于对所述初筛放行文本进行语义指纹生成与缓存碰撞校验处理，得到待推理文本；

36、所述处理模块，还用于对所述待推理文本与业务上下文信息进行结构化提示词组装处理，得到标准化大模型推理输入；

37、所述处理模块，还用于对所述标准化大模型推理输入进行深度语义意图推演与风险量化处理，得到连续风险评估分数；

38、映射模块，用于对所述连续风险评估分数进行双边界阈值分级映射处理，得到离散审核级别状态信息；

39、管控模块，用于对所述离散审核级别状态信息进行差异化管控策略匹配与异步回写处理，得到目标管控指令。

40、本技术实施例提供的计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本技术实施例所述的方法。

41、本技术实施例提供的计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本技术实施例提供的所述的方法。

42、本技术实施例所提供的一种消息管控方法、装置、设备及存储介质，通过对待检测文本进行风控特征扫描处理，得到初筛放行文本后进行语义指纹生成与缓存碰撞校验处理，得到待推理文本；将待推理文本与业务上下文信息进行结构化提示词组装处理，得到标准化大模型推理输入后进行深度语义意图推演与风险量化处理，得到连续风险评估分数；对连续风险评估分数进行双边界阈值分级映射处理，得到离散审核级别状态信息后进行差异化管控策略匹配与异步回写处理，得到目标管控指令。这样，能够兼顾内容审核的处理效率、识别精度与用户体验，构建兼具高并发支撑能力和深度语义识别能力的消息管控体系，解决背景技术中所提出的技术问题。