青少年网络欺凌识别方法、装置、设备及程序产品

本技术涉及互联网平台，尤其涉及一种青少年网络欺凌识别方法、装置、设备及程序产品。

背景技术：

1、随着短视频、图文社区、熟人动态和即时通信关联内容服务的发展，青少年在网络平台中发布、浏览和互动的场景逐渐增多。平台通常通过内容审核系统、用户举报系统和人工复核机制，对评论、回复、转发或公开动态中的不当内容进行处理。相关系统一般会采集文本、图像、音频、视频、账号行为、举报记录和处置记录，并按照平台规则对内容实例或账号行为进行审核。

2、在现有网络欺凌识别或内容安全处理方式中，平台常见做法包括：对单条评论或回复进行文本分类，对图像或视频进行内容识别，对账号行为进行异常检测，根据举报数量、互动频次、转发数量、评论数量、拉黑记录或历史违规记录确定审核优先级。

3、但是，现有技术仍然存在一些问题，导致无法更准确及时的对针对青少年的网络欺凌行为进行识别。

技术实现思路

1、为了解决上述技术问题或者至少部分地解决上述技术问题，本技术提供了一种青少年网络欺凌识别方法，能够更准确及时的对针对青少年的网络欺凌行为进行识别。

2、第一方面，本技术提供了一种青少年网络欺凌识别方法，所述方法应用于社交平台服务器，所述方法包括：

3、获取当前识别窗口内与待识别青少年对象关联的互动数据，以及与所述互动数据中的内容实例对应的内容风险值；

4、根据所述互动数据，以所述待识别青少年对象为中心生成对象交互图，所述对象交互图包括待识别青少年对象节点、内容实例节点、互动账号节点以及表征互动行为的边；

5、根据所述待识别青少年对象的历史正常关系数据，生成历史正常关系子图；

6、根据所述对象交互图和所述历史正常关系子图，确定所述当前识别窗口内相对于所述历史正常关系子图新增的节点或者新增边的拓扑异常量化值；

7、在与所述新增节点或者新增边关联的内容风险值小于直接处置阈值，且所述新增节点或者新增边的拓扑异常量化值满足预设异常条件的情况下，将所述新增节点或者新增边对应的关系节点确定为候选伪异常关系节点；

8、根据所述候选伪异常关系节点的拓扑异常量化值，以及所述候选伪异常关系节点与所述待识别青少年对象节点之间的连接路径，在所述对象交互图中生成用于聚合所述候选伪异常关系节点的虚拟对象邻域异常中心节点，并生成所述候选伪异常关系节点与所述虚拟对象邻域异常中心节点之间的连接边，得到增强对象图；

9、根据所述增强对象图，生成所述待识别青少年对象对应的青少年网络欺凌识别结果，所述青少年网络欺凌识别结果包括网络欺凌风险状态。

10、可选的，所述根据所述增强对象图，生成所述待识别青少年对象对应的青少年网络欺凌识别结果，包括：

11、根据所述增强对象图确定所述待识别青少年对象的网络欺凌风险得分，将所述网络欺凌风险得分与判定阈值进行比较，确定所述网络欺凌风险状态；

12、所述方法还包括：

13、利用连边预测器预测所述候选伪异常关系节点新增的后续边，并将所述后续边加入所述增强对象图，得到扩展对象图；

14、利用图自编码器对所述扩展对象图进行重构，得到所述后续边的重构置信度，剪去重构置信度小于剪枝阈值的后续边，保留重构置信度大于等于剪枝阈值的后续边，得到鲁棒后续对象图；

15、按照根据所述增强对象图确定所述网络欺凌风险得分的方式，确定所述鲁棒后续对象图对应的网络欺凌风险得分，得到网络欺凌风险倾向；

16、根据所述网络欺凌风险倾向生成判定阈值调整量，利用所述判定阈值调整量对所述判定阈值进行调整；

17、根据所述增强对象图对应的网络欺凌风险得分和调整后的判定阈值，确定所述待识别青少年对象的网络欺凌风险状态，并在确定所述待识别青少年对象存在网络欺凌风险的情况下，触发对所述待识别青少年对象的人工审核。

18、可选的，所述根据所述网络欺凌风险倾向生成判定阈值调整量，包括：

19、在所述网络欺凌风险倾向高于第一倾向阈值的情况下，生成使所述判定阈值调低的判定阈值调整量，以使所述待识别青少年对象相比所述判定阈值调低前更容易被判定为存在网络欺凌风险；

20、在所述网络欺凌风险倾向低于第二倾向阈值的情况下，生成使所述判定阈值调高的判定阈值调整量，以使所述待识别青少年对象相比所述判定阈值调高前更不容易被判定为存在网络欺凌风险；

21、所述第二倾向阈值小于所述第一倾向阈值。

22、可选的，所述连边预测器通过以下步骤训练得到：

23、构建所述连边预测器，所述连边预测器包括连边预测器输入层、局部邻域提取层、图卷积编码层、连边打分层和连边预测器输出层；

24、连边预测器输入层用于接收所述增强对象图；

25、局部邻域提取层连接至连边预测器输入层以获取所述增强对象图，以所述候选伪异常关系节点为中心，提取所述候选伪异常关系节点在所述增强对象图中预设跳数内的局部邻域子图；

26、图卷积编码层连接至局部邻域提取层以获取所述局部邻域子图，所述图卷积编码层包括多个图卷积模块，每个所述图卷积模块包括图卷积单元和邻域聚合单元，以通过多层图卷积聚合所述局部邻域子图的结构与节点特征，得到表征所述候选伪异常关系节点局部连接倾向的局部节点表示，以及所述局部邻域子图中各节点的节点表示；

27、连边打分层连接至图卷积编码层以获取局部节点表示和各节点的节点表示，根据局部节点表示与各节点的节点表示之间的相似度，确定所述候选伪异常关系节点与所述局部邻域子图中各节点之间的连接概率，并将连接概率大于等于预测阈值的连接，确定为所述候选伪异常关系节点新增的后续边；

28、连边预测器输出层连接至连边打分层以接收所述后续边，并向外输出所述候选伪异常关系节点新增的后续边；

29、收集多个候选伪异常关系节点对应的增强对象图以及所述候选伪异常关系节点实际新增的后续边作为训练集，以所述增强对象图作为所述连边预测器的输入，以所述实际新增的后续边作为训练标签，训练得到所述连边预测器。

30、可选的，所述图自编码器通过以下步骤训练得到：

31、构建所述图自编码器，所述图自编码器包括图自编码器输入层、图卷积编码器、隐表示层、内积解码器和图自编码器输出层；

32、图自编码器输入层用于接收所述扩展对象图；

33、图卷积编码器连接至图自编码器输入层以获取所述扩展对象图，所述图卷积编码器包括多个图卷积模块，以通过多层图卷积对所述扩展对象图中所述待识别青少年对象的对象邻域的结构与节点特征进行聚合，得到表征所述对象邻域全局连接一致性的各节点的隐表示；

34、隐表示层连接至图卷积编码器以获取各节点的隐表示；

35、内积解码器连接至隐表示层以获取各节点的隐表示，根据所述后续边两端节点的隐表示之间的内积对所述后续边进行重构，得到所述后续边的重构置信度；

36、图自编码器输出层连接至内积解码器以接收所述重构置信度，并向外输出所述后续边的重构置信度；

37、收集多个对象邻域对应的扩展对象图作为训练集，以所述扩展对象图作为所述图自编码器的输入，以重构所述扩展对象图中已存在的边作为训练目标，采用第一损失函数训练得到所述图自编码器，所述第一损失函数为所述扩展对象图中已存在的边与重构得到的边之间的重构误差。

38、可选的，所述根据所述对象交互图和所述历史正常关系子图，确定所述当前识别窗口内相对于所述历史正常关系子图新增的节点或者新增边的拓扑异常量化值，包括：

39、将所述新增边节点化，得到与所述新增边对应的关系节点，并将所述新增节点和所述关系节点确定为待量化节点；

40、根据所述待量化节点与所述历史正常关系子图之间的连接距离，以及所述待量化节点在所述对象交互图中缺少稳定关系支撑的程度，确定所述待量化节点偏离正常支持结构的偏离分数；

41、根据所述待量化节点经由内容实例节点或者互动账号节点指向所述待识别青少年对象节点的路径数量或者路径长度，确定所述待量化节点指向所述待识别青少年对象的对象指向分数；

42、根据所述待量化节点与其他待量化节点在所述当前识别窗口内共同指向同一所述待识别青少年对象节点的程度，以及所述待量化节点进入所述当前识别窗口的时间集中程度，确定所述待量化节点的协同分数；

43、对所述偏离分数、所述对象指向分数和所述协同分数进行加权求和，得到所述待量化节点的拓扑异常量化值，并将所述待量化节点的拓扑异常量化值确定为相应新增节点或者新增边的拓扑异常量化值。

44、可选的，所述根据所述候选伪异常关系节点的拓扑异常量化值，以及所述候选伪异常关系节点与所述待识别青少年对象节点之间的连接路径，在所述对象交互图中生成用于聚合所述候选伪异常关系节点的虚拟对象邻域异常中心节点，并生成连接边得到增强对象图，包括：

45、根据各候选伪异常关系节点的拓扑异常量化值，确定各候选伪异常关系节点与所述虚拟对象邻域异常中心节点之间的第一连接权重；

46、按照所述第一连接权重，对各候选伪异常关系节点的节点特征进行加权聚合，得到所述虚拟对象邻域异常中心节点的中心节点特征；

47、根据各候选伪异常关系节点与所述待识别青少年对象节点之间的路径数量或者路径长度，以及各候选伪异常关系节点对应的第一连接权重，确定所述虚拟对象邻域异常中心节点与所述待识别青少年对象节点之间的第二连接权重；

48、在所述对象交互图中增加具有所述中心节点特征的虚拟对象邻域异常中心节点，按照所述第一连接权重生成所述候选伪异常关系节点与所述虚拟对象邻域异常中心节点之间的连接边，并按照所述第二连接权重生成所述虚拟对象邻域异常中心节点与所述待识别青少年对象节点之间的连接边，得到增强对象图。

49、第二方面，本技术提供了一种青少年网络欺凌识别装置，所述装置包括至少一个模块，所述至少一个模块用于执行第一方面任一所述的青少年网络欺凌识别方法。

50、第三方面，本技术提供了一种计算机设备，所述计算机设备包括处理器，所述处理器用于执行存储器中存储的计算机程序，以实现第一方面任一所述的青少年网络欺凌识别方法。

51、第四方面，本技术提供了一种包含指令的计算机程序产品，当所述指令被计算机设备运行时，使得所述计算机设备执行如第一方面任一所述的青少年网络欺凌识别方法。

52、本技术提供的技术方案与现有技术相比具有如下优点：

53、其有益效果之一及其工作原理在于：

54、在社交平台（如短视频、图文社区和即时通信的关联内容平台）中，青少年网络欺凌在早期未必出现大量辱骂和威胁。其早期表现，往往是多个低强度互动持续指向同一青少年。欺凌形成前，早期参与账号通常先发起指向性互动，使后续进入的无关账号识别该青少年，并获知可用于攻击的内容。早期参与账号常回复置顶评论，或提及昵称、头像。还可能引用旧内容，或提到同伴关系。上述互动将其他账号的注意力引向该青少年。由于单条内容的风险较低，通常尚未达到直接处置阈值。即使以待识别青少年为中心生成对象交互图，这些低强度新增关系，仍分别以对应节点或边参与计算。新增关系与青少年对象节点之间，还隔有内容实例节点或互动账号节点。各新增关系作为分散的弱连接，分别更新青少年对象节点的表示。该表示容易被既有正常互动稀释，难以反映多个新增关系共同指向同一对象的异常结构。

55、本技术在社交平台服务器侧，获取当前识别窗口内的互动数据，并获取对应的内容风险值。服务器以该青少年对象为中心，生成对象交互图。该对象交互图包括青少年对象节点、内容实例节点、互动账号节点和互动行为边。服务器还根据历史正常关系数据，生成历史正常关系子图。通过比较两类图结构，服务器确定当前识别窗口内的新增节点或新增边，并计算其拓扑异常量化值。当新增节点或新增边对应的内容风险值，低于直接处置阈值时，服务器按照拓扑异常量化值，将对应的关系节点确定为候选伪异常关系节点。由此可从低风险内容形成的互动增长中，筛出来源偏离历史正常结构的弱关系。

56、服务器在对象交互图中，增加虚拟对象邻域异常中心节点。服务器将当前识别窗口内，各候选伪异常关系节点，汇集至该中心节点。各候选节点均指向同一青少年对象，由此形成增强对象图。候选节点与中心节点之间，设置对应的连接边。连接边的权重，由候选节点的拓扑异常量化值，以及其与青少年对象节点之间的连接路径确定。这样，候选节点不再作为分散弱连接，而在中心节点周围形成可计算结构。该结构用于表征两类信息。一类是候选节点，相对历史正常关系结构的异常程度。另一类是候选节点，是否经连接路径指向同一青少年对象。

57、普通内容扩散、好友转发或短时曝光增加，也会产生新增节点或新增边，但相关关系多围绕内容实例展开。其连接至中心节点的权重较为分散，与青少年对象节点之间的路径也不集中。早期欺凌中的多个候选节点，虽然单条内容风险较低，但会反复指向同一青少年对象。这些候选节点相对历史正常关系子图存在拓扑异常，汇集后会在中心节点周围形成权重集中的连接结构。服务器根据增强对象图确定网络欺凌风险得分时，读取上述连接结构，能够从互动增长中识别围绕青少年对象本人形成的欺凌风险。

58、因此，本技术能够更准确及时的对针对青少年的网络欺凌行为进行识别。

59、其有益效果之二及其工作原理在于：

60、在青少年相关内容进入前期扩散时，普通内容扩散与网络欺凌前期，均可能出现新增账号增多、对象指向增强等现象，且对应内容风险仍然较低。仅根据当前识别窗口内的互动，平台难以判断后续新增边，是转向内容实例，还是继续围绕青少年本人形成。而根据增强对象图确定的风险得分，依赖已经出现的新增节点、新增边，以及相关连接路径。只有等待后续边继续积累，待两类关系呈现不同走向，平台才能稳定区分二者。普通扩散的后续边逐步转向内容实例，欺凌前期的后续边，则持续围绕青少年本人形成。等待更多数据的过程，会使风险核验晚于欺凌关系形成。

61、针对上述滞后，本技术不再等待后续边真实积累。服务器利用连边预测器，根据候选伪异常关系节点的局部连接倾向，预测其最可能出现的后续边。预测得到的后续边被加入增强对象图，形成扩展对象图。服务器再利用图自编码器，根据青少年对象邻域的全局连接一致性，对扩展对象图进行重构。重构时剪去缺少整体结构支撑的后续边，并保留经扰动后仍可重构的后续边，得到鲁棒后续对象图。

62、社交平台服务器按照根据增强对象图确定网络欺凌风险得分的同一方式，对鲁棒后续对象图计算风险得分，并将该得分作为网络欺凌风险倾向。服务器根据该风险倾向，生成判定阈值调整量，并调整青少年对象的风险判定阈值。当风险倾向偏向被欺凌时，服务器调低判定阈值，使该对象更易触发人工审核；当风险倾向偏向内容扩散时，服务器调高判定阈值，降低其被判定为网络欺凌的可能。

63、所述连边预测器与图自编码器在社交平台历史互动数据上、针对对象依附式欺凌与普通内容扩散两类后续生成规律训练得到。连边预测器给出候选伪异常关系节点最可能的后续边，图自编码器对扩展对象图进行重构，无论后续边指向内容实例还是指向青少年对象本人，只要得不到对象邻域整体结构的支撑、扰动后不能被重构，就会被剪去，仅保留被结构支撑的后续边。

64、经上述剪枝处理，鲁棒后续对象图会呈现两类不同结构。对于已具有早期欺凌结构特征的青少年对象，围绕对象本人的后续边能够相互支撑，并在重构后得到保留。对象邻域由此保持密集共指结构，据此确定的网络欺凌风险得分偏高。即使当前数据较少，服务器也会相应调低判定阈值，使相关对象提前触发人工审核。对于普通内容扩散形成的对象关注增长，对象邻域不存在相互支撑的密集共指。零散指向对象本人的后续边缺少结构支撑，会在重构过程中被剪去。剪枝后的鲁棒后续对象图，不会形成围绕对象本人的密集结构。据此确定的网络欺凌风险得分偏低，判定阈值不会被无端调低。该处理无需等待后续边真实出现，可缩短稳定区分两类关系所需的等待时间。由此，继续围绕青少年本人展开的早期欺凌，可更早进入人工审核处置。普通内容扩散也更不易被误判。

65、因此，本技术能够更准确及时的对针对青少年的网络欺凌行为进行识别。