基于多模态的网络安全防护方法、设备及介质

本发明涉及语音语义，尤其涉及一种基于多模态的网络安全防护方法、设备及介质。

背景技术：

1、随着即时通信、群组交流、评论互动、语音通话和短视频社交等功能不断融合，未成年人能够在同一网络社交平台中以文本、表情包、语音及交互行为等多种形式与互动对象进行交流。相关平台通常采用敏感词过滤、举报审核或人工巡查等方式识别网络风险，并在发现明显违规内容后执行提示、拦截或事后处置。

2、然而，未成年人网络社交中的风险表达往往具有隐蔽性和跨模态特征。其一，网络词语经常采用谐音、缩写、圈层用语或语义转移方式表达与字面含义不同的内容，单纯依赖敏感词匹配容易漏识别真实风险。其二，风险线索可能分散在文字、表情包、语音语气、连续私聊、隐私索取和账号历史行为中，若各模态分别判断，难以得到及时、稳定的风险结论。其三，统一化的事后提醒难以与风险程度相匹配，既可能对同学玩笑或熟人互动造成过度干预，也可能延误对高风险交流的处置；同时，直接将完整聊天内容发送给监护人还可能扩大未成年人的隐私暴露范围。

3、综上所述，现有技术难以及时、准确地识别未成年人网络社交活动中由网络隐义词和跨模态信息共同表征的风险，也难以在风险研判、未成年人保护和授权通知之间取得平衡。因此，如何提高未成年人网络社交风险识别与处理的及时性与准确性成为亟待解决的问题。

技术实现思路

1、本发明提供基于多模态的网络安全防护方法、设备及介质，其主要目的在于解决如何提高未成年人网络社交风险识别与处理的及时性与准确性的问题。

2、第一方面，为实现上述目的，本发明提供的基于多模态的网络安全防护方法，包括：

3、实时采集目标用户与互动对象的网络活动数据，根据预设的网络隐义词表识别所述网络活动数据中的网络隐义词语，其中，所述网络隐义词表包含网络词语与真实含义表述的映射关系数据；

4、根据所述网络隐义词表将网络活动数据中的网络隐义词语替换为对应的真实含义表述，得到修正数据；根据预设的数据模态将所述修正数据划分为多种单模态数据，利用预设的多模态集成模型提取每种单模态数据对应的单模态数据特征；

5、获取并分析所述互动对象的身份数据及历史行为数据，以构建所述互动对象的画像特征；根据提取的所有单模态数据特征和构建的画像特征分析网络社交活动的实时预警特征值，并分析所述实时预警特征值是否在预设阈值区间内；

6、若在预设阈值区间内，则调用预设的ai智能体并根据所述修正数据分析所述实时预警特征值的置信度，并根据所述置信度与预设置信阈值之间的大小关系，确定并执行直接返回实时采集目标用户与互动对象的网络活动数据的步骤，或者，确定并执行先调用所述ai智能体生成当前行动建议，将所述当前行动建议向所述目标用户进行推送，再返回实时采集目标用户与互动对象的网络活动数据的步骤。

7、第二方面，本发明还提供一种电子设备，所述电子设备包括：

8、至少一个处理器；以及，

9、与所述至少一个处理器通信连接的存储器；其中，

10、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述所述的基于多模态的网络安全防护方法。

11、第三方面，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个计算机程序，所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的基于多模态的网络安全防护方法。

12、本发明实施例通过实时采集网络社交活动数据并借助网络隐义词表恢复隐义词语的真实含义，能够降低隐蔽表达造成的漏识别；通过对文本、视觉、语音和行为信息进行协同分析，并结合互动对象的身份和历史行为构建画像，能够提高实时预警特征值对当前交流风险的表达能力；通过阈值区间和置信度分级执行风险提示、行动建议及脱敏内容通知，能够在保护目标用户与避免误判之间取得平衡，并使高风险内容仅发送至预先授权的用户端。本发明可以最终提高未成年人网络社交风险识别与处理的及时性与准确性。

1.一种基于多模态的网络安全防护方法，其特征在于，所述方法包括：

2.如权利要求1所述的基于多模态的网络安全防护方法，其特征在于，所述方法还包括：

3.如权利要求1所述的基于多模态的网络安全防护方法，其特征在于，所述根据所述网络隐义词表将网络活动数据中的网络隐义词语替换为对应的真实含义表述，包括：

4.如权利要求1所述的基于多模态的网络安全防护方法，其特征在于，所述根据预设的数据模态将所述修正数据划分为多种单模态数据，包括：

5.如权利要求1所述的基于多模态的网络安全防护方法，其特征在于，所述构建所述互动对象的画像特征，包括：

6.如权利要求4所述的基于多模态的网络安全防护方法，其特征在于，所述根据提取的所有单模态数据特征和构建的画像特征分析网络社交活动的实时预警特征值，包括：

7.如权利要求1所述的基于多模态的网络安全防护方法，其特征在于，所述调用预设的ai智能体并根据所述修正数据分析所述实时预警特征值的置信度，包括：

8.如权利要求1所述的基于多模态的网络安全防护方法，其特征在于，所述调用所述ai智能体生成当前行动建议，包括：

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的基于多模态的网络安全防护方法。