直播连麦控制方法、装置及存储介质与流程

1.本公开涉及直播技术领域，尤其涉及一种直播连麦控制方法、装置及存储介质。


背景技术：

2.随着移动互联网技术的持续升级，在线直播行业飞速发展，用户群体、主播群体和行业影响力都不断扩大。目前在线直播行业的用户习惯已经基本养成，各大直播平台着力于差异化内容，打造优质特色栏目，寻找平台原创自制内容。
3.在相关的直播技术中，往往会出现主播pk(player killing，)的活动，主播端和观众端可以同时播放两路直播流。主播pk能丰富直播内容的趣味性，深受用户喜爱。然而，参与pk的双方是由系统随机匹配的，主播pk时可能出现一些不文明的pk现象，比如双方骂架，对直播间观众造成不好的影响。


技术实现要素：

4.本公开提供一种直播连麦控制方法、装置及存储介质。通过分析目标账户和候选账户所对应的直播数据，来确定是否建立目标账户与其他账户之间的连麦，能够解决相关技术中由随机分配连麦对象造成的连麦配对不合适的技术问题。本公开的技术方案如下：
5.根据本公开实施例的第一方面，提供一种直播连麦控制方法，包括：
6.接收目标账户发起的直播间连麦请求，获取所述目标账户对应的直播数据；
7.从正在发起直播间连麦请求的其他账户中确定候选账户；
8.获取所述候选账户对应的直播数据；
9.将所述目标账户对应的直播数据和所述候选账户对应的直播数据输入预测模型，对所述目标账户与所述候选账户之间的连麦进行异常预测，获得所述目标账户与所述候选账户之间连麦的异常预测数据；
10.基于所述异常预测数据，控制所述目标账户与所述候选账户之间的连麦。
11.在一示例性实施例中，所述基于所述异常预测数据，控制所述目标账户与所述候选账户之间的连麦包括：
12.在所述目标账户与候选账户之间连麦的异常预测数据小于预设阈值的情况下，将所述候选账户作为所述目标账户的连麦对象；
13.建立所述目标账户与所述连麦对象之间的连麦。
14.在一示例性实施例中，所述方法还包括：
15.在所述目标账户与候选账户之间连麦的异常预测数据不满足预设条件的情况下，将所述异常预测数据对应的候选账户所在的客户端从所述其他客户端中剔除，并返回执行从正在发起直播间连麦请求的其他客户端中确定候选客户端的步骤，直至所述目标账户与候选账户之间连麦的异常预测数据满足预设条件时，将满足预设条件的异常预测数据所对应的候选账户，作为所述目标账户的连麦对象。
16.在一示例性实施例中，所述将所述目标账户对应的直播数据和所述候选账户对应
的直播数据输入预测模型，对所述目标账户与所述候选账户之间的连麦进行异常预测，获得所述目标账户与所述候选账户之间连麦的异常预测数据，包括：
17.将所述目标账户对应的直播数据和所述候选账户对应的直播数据输入预测模型，对所述目标账户对应的直播数据和所述候选账户对应的直播数据分别进行特征提取，对提取得到的目标账户的直播特征和所述候选账户的直播特征进行合并，根据合并得到的特征向量进行概率预测，获得所述目标账户与所述候选账户之间连麦的异常预测数据。
18.在一示例性实施例中，所述获取所述目标账户对应的直播数据，包括：
19.从所述目标账户对应的直播片段中抽取预设数量的直播图像，作为第一直播图像；对所述第一直播图像进行特征提取，以获得对应的第一图像特征向量；对所述第一直播图像进行人脸识别，以获得对应的第一图像人物信息；对所述第一直播图像进行异常检测，以获得对应的第一图像异常信息；根据所述第一图像特征向量、第一图像人物信息和第一图像异常信息，生成所述目标账户的直播图像信息；
20.获取所述目标账户的历史异常信息和账户身份信息，根据所述目标账户的历史异常信息和账户身份信息，确定所述目标账户的账户信息；
21.获取所述目标账户对应的直播间在当前时刻的观众数和直播时间段，根据所述目标账户对应的直播间在当前时刻的观众数和直播时间段，确定所述目标账户的直播间信息；
22.根据所述目标账户的直播图像信息、所述目标账户的账户信息和所述目标账户的直播间信息，确定所述目标账户的直播数据。
23.在一示例性实施例中，所述获取所述候选账户对应的直播数据，包括：
24.从所述候选账户对应的直播片段中抽取预设数量的直播图像，作为第二直播图像；对所述第二直播图像进行特征提取，以获得对应的第二图像特征向量，对所述第二直播图像进行人脸识别，以获得对应的第二图像人物信息，对所述第二直播图像进行异常检测，以获得对应的第二图像异常信息；根据所述第二图像特征向量、第二图像人物信息和第二图像异常信息，生成所述候选账户的直播图像信息；
25.获取所述候选账户的历史异常信息和账户身份信息，根据所述候选账户的历史异常信息和账户身份信息，确定所述候选账户的账户信息；
26.获取所述候选账户对应的直播间在当前时刻的观众数和直播时间段，根据所述候选账户对应的直播间在当前时刻的观众数和直播时间段，确定所述候选账户的直播间信息；
27.根据所述候选账户的直播图像信息、所述候选账户的账户信息和所述候选账户的直播间信息，确定所述候选账户的直播数据。
28.在一示例性实施例中，所述预测模型通过以下步骤确定：
29.获取训练样本集合，所述训练样本集合包括标签属性为正样本的至少一个样本数据和标签属性为负样本的至少一个样本数据；
30.将所述训练样本集合中各样本数据输入初始深度学习模型，得到所述训练样本集合中各样本数据的样本异常预测数据；
31.根据各样本数据的样本异常预测数据与预设阈值之间的比对结果，确定各样本数据的预测属性；
32.基于各样本数据的预测属性与对应的标签属性之间的损失，训练所述初始深度学习模型，得到所述预测模型。
33.在一示例性实施例中，所述获取训练样本集合包括：
34.获取历史直播数据，所述历史直播数据包括不存在异常行为的连麦直播片段和存在异常行为的连麦直播片段；
35.获取与各连麦直播片段对应的样本直播数据；
36.将存在异常行为的连麦直播片段对应的样本直播数据，作为标签属性为正样本的样本数据；将不存在异常行为的连麦直播片段对应的样本直播数据，作为标签属性为负样本的样本数据。
37.在一示例性实施例中，所述获取与各连麦直播片段对应的样本直播数据，包括：
38.从连麦直播片段中抽取预设数量的直播图像，作为样本直播图像；对所述样本直播图像进行特征提取，以获得对应的样本图像特征向量，对所述样本直播图像进行人脸识别，以获得样本图像人物信息，对所述样本直播图像进行异常检测，以获得样本图像异常预测数据；根据所述样本图像特征向量、样本图像人物信息和样本图像异常预测数据，生成样本直播图像信息；
39.确定所述连麦直播片段对应的样本账户，获取所述样本账户的历史异常信息和账户身份信息，根据所述样本账户的历史异常信息和账户身份信息，确定样本账户信息；
40.获取所述连麦直播片段对应的直播间的观众数和直播时间段，根据所述连麦直播片段对应的直播间的观众数和直播时间段，确定样本直播间信息；
41.根据所述样本直播图像信息、所述样本账户信息和所述样本直播间信息，确定所述样本直播数据。
42.根据本公开实施例的第二方面，提供一种直播连麦控制装置，包括：
43.第一直播数据获取单元，被配置为接收目标账户发起的直播间连麦请求，获取所述目标账户对应的直播数据；
44.候选账户确定单元，被配置为从正在发起直播间连麦请求的其他账户中确定候选账户；
45.第二直播数据获取单元，被配置为获取所述候选账户对应的直播数据；
46.异常预测数据获取单元，被配置为将所述目标账户对应的直播数据和所述候选账户对应的直播数据输入预测模型，对所述目标账户与所述候选账户之间的连麦进行异常预测，获得所述目标账户与所述候选账户之间连麦的异常预测数据；
47.连麦控制单元，被配置为基于所述异常预测数据，控制所述目标账户与所述候选账户之间的连麦。
48.在一示例性实施例中，所述连麦控制单元包括：
49.第一连麦控制模块，被配置为在所述目标账户与候选账户之间连麦的异常预测数据小于预设阈值的情况下，执行将所述候选账户作为所述目标账户的连麦对象，以及建立所述目标账户与所述连麦对象间的连麦。
50.在一示例性实施例中，所述连麦控制单元还包括：
51.第二连麦控制模块，被配置为在所述目标账户与候选账户之间连麦的异常预测数据满足预设条件的情况下，执行将所述异常预测数据对应的候选账户所在的客户端从所述
其他客户端中剔除，并返回执行从正在发起直播间连麦请求的其他客户端中确定候选客户端的步骤，直至所述目标账户与候选账户之间连麦的异常预测数据满足预设条件时，将满足预设条件的异常预测数据所对应的候选账户，作为所述目标账户的连麦对象。
52.在一示例性实施例中，所述异常预测数据获取单元，还被配置为将所述目标账户对应的直播数据和所述候选账户对应的直播数据输入预测模型，对所述目标账户对应的直播数据和所述候选账户对应的直播数据分别进行特征提取，对提取得到的目标账户的直播特征和所述候选账户的直播特征进行合并，根据合并得到的特征向量进行概率预测，获得所述目标账户与所述候选账户之间连麦的异常预测数据。
53.在一示例性实施例中，所述第一直播数据获取单元包括：
54.第一直播图像信息获取模块，被配置为从所述目标账户对应的直播片段中抽取预设数量的直播图像，作为第一直播图像；对所述第一直播图像进行特征提取，以获得对应的第一图像特征向量；对所述第一直播图像进行人脸识别，以获得对应的第一图像人物信息；对所述第一直播图像进行异常检测，以获得对应的第一图像异常信息；根据所述第一图像特征向量、第一图像人物信息和第一图像异常信息，生成所述目标账户的直播图像信息；
55.第一账户信息获取模块，被配置为获取所述目标账户的历史异常信息和账户身份信息，根据所述目标账户的历史异常信息和账户身份信息，确定所述目标账户的账户信息；
56.第一直播间信息获取模块，被配置为获取所述目标账户对应的直播间在当前时刻的观众数和直播时间段，根据所述目标账户对应的直播间在当前时刻的观众数和直播时间段，确定所述目标账户的直播间信息；
57.第一直播数据确定模块，被配置为根据所述目标账户的直播图像信息、所述目标账户的账户信息和所述目标账户的直播间信息，确定所述目标账户的直播数据。
58.在一示例性实施例中，所述第二直播数据获取单元包括：
59.第二直播图像信息获取模块，被配置为从所述候选账户对应的直播片段中抽取预设数量的直播图像，作为第二直播图像；对所述第二直播图像进行特征提取，以获得对应的第二图像特征向量，对所述第二直播图像进行人脸识别，以获得对应的第二图像人物信息，对所述第二直播图像进行异常检测，以获得对应的第二图像异常信息；根据所述第二图像特征向量、第二图像人物信息和第二图像异常信息，生成所述候选账户的直播图像信息；
60.第二账户信息获取模块，被配置为获取所述候选账户的历史异常信息和账户身份信息，根据所述候选账户的历史异常信息和账户身份信息，确定所述候选账户的账户信息；
61.第二直播间信息获取模块，被配置为获取所述候选账户对应的直播间在当前时刻的观众数和直播时间段，根据所述候选账户对应的直播间在当前时刻的观众数和直播时间段，确定所述候选账户的直播间信息；
62.第二直播数据确定模块，被配置为根据所述候选账户的直播图像信息、所述候选账户的账户信息和所述候选账户的直播间信息，确定所述候选账户的直播数据。
63.在一示例性实施例中，所述直播连麦控制装置还包括：
64.样本数据获取单元，被配置为获取训练样本集合，所述训练样本集合包括标签属性为正样本的至少一个样本数据和标签属性为负样本的至少一个样本数据；
65.模型训练单元，被配置为将所述训练样本集合中各样本数据输入初始深度学习模型，得到所述训练样本集合中各样本数据的样本异常预测数据，根据各样本数据的样本异
常预测数据与预设阈值之间的比对结果，确定各样本数据的预测属性，基于各样本数据的预测属性与对应的标签属性之间的损失，训练所述初始深度学习模型，得到所述预测模型。
66.在一示例性实施例中，所述样本数据获取单元包括：
67.历史数据获取模块，被配置为获取历史连麦直播数据，所述历史连麦直播数据包括不存在异常行为的连麦直播片段和存在异常行为的连麦直播片段；
68.样本直播数据获取模块，被配置为获取与各连麦直播片段对应的样本直播数据；将存在异常行为的连麦直播片段对应的样本直播数据，作为标签属性为正样本的样本数据；将不存在异常行为的连麦直播片段对应的样本直播数据，作为标签属性为负样本的样本数据。
69.在一示例性实施例中，所述样本直播数据获取模块，包括：
70.样本直播图像信息获取子模块，被配置为从连麦直播片段中抽取预设数量的直播图像，作为样本直播图像；对所述样本直播图像进行特征提取，以获得对应的样本图像特征向量，对所述样本直播图像进行人脸识别，以获得样本图像人物信息，对所述样本直播图像进行异常检测，以获得样本图像异常预测数据；根据所述样本图像特征向量、样本图像人物信息和样本图像异常预测数据，生成样本直播图像信息；
71.样本账户信息获取子模块，被配置为确定所述连麦直播片段对应的样本账户，获取所述样本账户的历史异常信息和账户身份信息，根据所述样本账户的历史异常信息和账户身份信息，确定样本账户信息；
72.样本直播间信息获取子模块，被配置为获取所述连麦直播片段对应的直播间的观众数和直播时间段，根据所述连麦直播片段对应的直播间的观众数和直播时间段，确定样本直播间信息；
73.样本直播数据确定子模块，被配置为根据所述样本直播图像信息、所述样本账户信息和所述样本直播间信息，确定所述样本直播数据。
74.根据本公开实施例的第三方面，提供一种电子设备，其特征在于，包括：
75.处理器；
76.用于存储所述处理器可执行指令的存储器；
77.其中，所述处理器被配置为执行所述指令，以实现如上述第一方面所述的直播连麦控制方法。
78.根据本公开实施例的第四方面，提供一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上述第一方面所述的直播连麦控制方法。
79.本公开的实施例提供的技术方案至少带来以下有益效果：
80.本公开实施例提供的直播连麦控制方法、装置及存储介质，通过接收目标账户所在的客户端发起的直播间连麦请求，获取目标账户对应的直播数据；从正在发起直播间连麦请求的其他客户端中确定候选客户端，获取登录候选客户端的候选账户对应的直播数据；将目标账户对应的直播数据和候选账户对应的直播数据输入预测模型，对目标账户与候选账户间的连麦进行异常预测，获得目标账户与候选账户间连麦对应的异常预测数据；基于异常预测数据，控制目标账户与候选账户间的连麦。本公开在为目标账户确定连麦对象过程中，通过对目标账户的直播数据和候选账户的直播数据进行分析，来预测目标账户
与候选账户连麦后发生异常的概率，基于可以指示用户行为的直播数据来进行异常预测，能够获得准确的异常预测数据；而异常预测数据越大，则目标账户与候选账户连麦直播中出现违规等异常内容的概率就越大，因此，可以允许连麦后出现异常概率较小的双方账户之间连麦，对于连麦后出现异常内容概率较大的双方账户可以给予不建立连麦的处理方式，相对于随机为连麦请求方分配连麦对象的方式，本公开通过分析账户对应的直播数据来决定是否建立账户之间的连麦，能够为连麦请求方匹配到合适的连麦对象，识别和规避大概率会发生违规的连麦，降低不良连麦的发生率，为用户营造舒适健康的直播及观看环境。
81.本公开实施例中，通过获取训练样本集合，训练样本集合包括标签属性为正样本的至少一个样本数据和标签属性为负样本的至少一个样本数据；将训练样本集合中各样本数据输入初始深度学习模型，得到训练样本集合中各样本数据的样本异常预测数据；根据各样本数据的样本异常预测数据与预设阈值之间的比对结果，确定各样本数据的预测属性；基于各样本数据的预测属性与对应的标签属性之间的损失，训练初始深度学习模型，得到预测模型。使用正负样本数据训练初始深度学习模型，能够使初始深度学习模型自动学习到正样本数据的特征和负样本数据的特征，提高预测输入数据对应的异常预测数据的准确性。
82.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
83.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
84.图1是根据一示例性实施例示出的一种直播连麦控制方法的实施环境示意图。
85.图2是根据一示例性实施例示出的一种直播连麦的界面示意图。
86.图3是根据一示例性实施例示出的一种直播连麦控制方法的流程示意图。
87.图4是根据一示例性实施例示出的一种训练预测模型的方法的流程图。
88.图5是根据一示例性实施例示出的一种xgb模型的示意图。
89.图6是根据一示例性实施例示出的一种xgb模型的应用示意图。
90.图7是根据一示例性实施例示出的一种基于预测模型的直播连麦控制方法的流程图。
91.图8是根据一示例性实施例示出的一种直播连麦控制装置的结构示意图。
92.图9是根据一示例性实施例示出的另一种直播连麦控制装置的结构示意图。
93.图10是根据一示例性实施例示出的一种终端的框图。
94.图11是根据一示例性实施例示出的一种服务器的框图。
具体实施方式
95.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
96.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第
二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
97.目前，网络直播平台成为了一种崭新的社交媒体，主播录制的视频可以实时同步至观众的客户端，观众可以在客户端发表评论、向主播发送礼物的方式与主播互动。为了提高主播与观众之间的互动程度，目前还有一种连麦的直播方式。可以将两个主播的麦克风相连，并将两个录制两个主播的视频内容放置在同一直播间。
98.图1是根据一示例性实施例示出的一种直播连麦控制方法的实施环境示意图。请参见图1，包括：直播服务器102、直播连麦控制装置103和客户端101，客户端101与直播服务器102通信连接，直播连麦控制装置103余直播服务器102通信。其中，客户端101包括至少一个观众客户端(如图中示出的观众客户端1013)和至少两个参与直播pk的主播客户端(以两个为例，如图中示出的主播1客户端1011和主播2客户端1012)，直播连麦控制装置103可以以一个独立的服务器存在，也可以内置于直播服务器102中。
99.参与直播pk的主播客户端，用于获取直播数据，并将直播数据发送至直播服务器102，直播数据包括视频数据。
100.具体实施时，客户端101可以包括：智能手机、平板电脑、笔记本电脑、数字助理、智能可穿戴设备、车载终端等类型的实体设备，也可以包括运行于实体设备中的软体，例如具有视频关键帧提取功能的应用程序等，本公开实施例对此不做限定。客户端101可以基于浏览器/服务器模式(browser/server，b/s)或客户端/服务器模式(client/server，c/s)与直播服务器102通信连接。
101.直播服务器102，用于响应目标账户所在客户端发起的直播间连麦请求，将请求数据传输至直播连麦控制装置103，直播连麦控制装置103用于接收目标账户所在客户端发起的直播间连麦请求，获取目标账户对应的直播数据；从正在发起直播间连麦请求的其他客户端中确定候选客户端；获取登录候选客户端的候选账户对应的直播数据；将目标账户对应的直播数据和候选账户对应的直播数据输入预测模型，对目标账户与候选账户之间的连麦进行异常预测，获得目标账户与候选账户之间连麦的异常预测数据；基于异常预测数据，控制目标账户与候选账户之间的连麦。
102.目标账户和候选账户所在的客户端可以为主播客户端，在允许主播客户端之间进行连麦的情况下，直播服务器102将来自主播客户端的直播数据进行整合，并将整合后的数据发送至观看直播pk的观众客户端以及参与直播pk的主播客户端。客户端展示直播pk画面，如图2所示，直播画面展示两个参与直播pk的主播客户端的账户信息，两个主播客户端各自的视频数据，各观众客户端的发言数据等，当参与pk的主播进行游戏竞技时，还可以展示游戏画面、显示游戏分数等游戏数据。
103.直播服务器102可以包括一个独立运行的服务器，或者分布式服务器，或者由多个服务器组成的服务器集群。
104.需要说明的是，主播客户端与观众客户端的数量均可以根据实际需求更改，主播客户端在观看其它主播的直播时，也可以变为观众客户端，观众客户端在参与直播或者直
播时，也可以变为主播客户端，本公开实施例对此不做限定。
105.图3是根据一示例性实施例示出的一种直播连麦控制方法的流程示意图。如图3所示，本公开的直播连麦控制方法是将需要进行连麦pk的用户对应的直播数据进行匹配，根据匹配结果来控制用户之间的连麦，采用了预测模型进行数据的匹配，可以提升预测效率以及提高预测结果的精准度。本公开实施例提供的直播连麦控制方法包含两部分，分为模型训练部分和模型应用部分。模型训练部分主要是基于训练样本(标签属性为正样本的样本数据和标签属性为负样本的样本数据)训练初始深度学习模型，得到预测模型；模型应用部分主要是将目标账户对应的直播数据和候选账户对应的直播数据输入预测模型，输出得到目标账户与候选账户之间连麦的异常预测数据，之后可以基于异常预测数据，控制目标账户与候选账户之间的连麦。
106.图4是根据一示例性实施例示出的一种训练预测模型的方法的流程图。如图4所示，预测模型的训练过程包括以下步骤。
107.s401，获取训练样本集合，训练样本集合包括标签属性为正样本的至少一个样本数据和标签属性为负样本的至少一个样本数据。
108.在一个可能的实现方式中，可以通过如下步骤获取训练样本集合：
109.s4011，获取历史直播数据，历史直播数据包括不存在异常行为的连麦直播片段和存在异常行为的连麦直播片段。
110.具体实施时，可以从直播平台存储的直播pk数据中，通过诸如图像检测、语音检测等方式找到过去发生违规的全部连麦直播片段，同时，从未发生违规的直播pk数中抽取等量的连麦直播片段，并记录直播中参与pk各用户的用户id(即账户)。进一步的，还可以对找到的连麦直播片段进行人工复检，以确保数据的准确性。
111.示例性的，当一条完整的直播pk数据中某个时段出现双方骂架的画面及语音时，将这个时段对应的直播内容作为存在异常行为的连麦直播片段。
112.s4013，获取与各连麦直播片段对应的样本直播数据。
113.在一个可能的实现方式中，可以通过如下方法获取与连麦直播片段对应的样本直播数据。包括：
114.(1)从连麦直播片段中抽取预设数量的直播图像，作为样本直播图像；对样本直播图像进行特征提取，以获得对应的样本图像特征向量，对样本直播图像进行人脸识别，以获得样本图像人物信息，对样本直播图像进行异常检测，以获得样本图像异常预测数据；根据样本图像特征向量、样本图像人物信息和样本图像异常预测数据，生成样本直播图像信息。
115.针对正负样本的连麦直播片段，随机抽样x条截图作为样本直播图像。
116.采用特征提取模型对样本直播图像进行特征提取，例如，将样本直播图像输入到使用image net数据集预训练的诸如resnet50、inceptionv3的深度学习分类模型(可以在公开网络上获取到的模型)中，获取深度学习分类模型倒数第二层即全连接层的输出特征(一般为1024维或者2048维的特征向量)，将该输出特征作为与样本直播图像对应的样本图像特征向量。其中，image net数据集是按照word net架构组织的大规模带标签图像数据集。resnet50是残差网络(residual network)的一种典型网络，广泛用于目标分类等领域以及作为计算机视觉任务主干经典神经网络的一部分。resnet50则包含50个conv2d操作，其数据处理过程中，先对输入做卷积操作，之后包含4个残差块(residual block),最后进
行全连接操作以便于进行分类任务。inceptionv3网络是由google开发的一个非常深的卷积网络，为图片识别的常用网络，在此不赘述。
117.对样本直播图像进行人脸识别时，可以调用公开的人脸识别服务，如公开的人脸识别模型，获取上述x条截图的人脸识别结果，包括每个截图的人脸数、人脸的平均年龄、男性占比等表明人身份的特征，基于人脸识别结果确定出样本图像人物信息。
118.样本图像异常预测数据可以使用检测模型检测得到，例如，将样本直播图像输入具有诸如色情、抽烟、裸露上半身等异常行为识别能力的检测模型，获得检测模型输出的样本图像异常预测数据。
119.(2)确定连麦直播片段对应的样本账户，获取样本账户的历史异常信息和账户身份信息，根据样本账户的历史异常信息和账户身份信息，确定样本账户信息。
120.针对正负样本的连麦直播片段，确定参与直播间pk的主播，将参与pk的主播作为样本用户，根据样本用户的用户id获取参与pk的每个样本用户各自的历史异常信息以及账户身份信息，其中，历史异常信息包括前[a1,a2,a3]天(比如前7天，前30天，前90天)的开播次数、违规次数、违规比例，账户身份信息包括主播的年龄、性别、所在城市等用户特征。历史异常信息可以根据用户id在违规数据库中查询获得，账户身份信息可以根据用户id在用户数据库中查询得到。
[0121]
(3)获取连麦直播片段对应的直播间的观众数和直播时间段，根据连麦直播片段对应的直播间的观众数和直播时间段，确定样本直播间信息。
[0122]
对于每个连麦直播片段，确定该连麦直播片段对应的pk直播时间和参与直播间pk的主播，获取主播直播间在该pk直播时间内的观众数，以及，确定pk直播时间对应的直播时间段，其中，可以设置每一个小时为一个时间段，以此确定pk直播时间对应的直播时间段，示例性的，一连麦直播片段对应的pk直播时间为22:15-22:45，则对应的直播时间段为22:00-23:00。
[0123]
(4)根据样本直播图像信息、样本账户信息和样本直播间信息，确定样本直播数据。
[0124]
对于任意一个连麦直播片段，其样本直播数据可以由样本直播图像信息、样本账户信息和样本直播间信息组成，样本直播数据体现直播pk过程中参与pk的主播的账户信息、主播的历史行为及当前行为等信息，能够全面覆盖直播pk场景下的有效信息，使模型学习到pk场景下的各种特征，提高预测准确率。
[0125]
s4015，将存在异常行为的连麦直播片段对应的样本直播数据，作为标签属性为正样本的样本数据；将不存在异常行为的连麦直播片段对应的样本直播数据，作为标签属性为负样本的样本数据。
[0126]
本公开实施例采用正样本和负样本数据进行模型训练，训练样本包括样本数据及其对应的标签属性，标签属性用于标识样本数据的正负样本属性。具体的，设置正样本属性的样本数据与负样本属性的样本数据的数量相等，以丰富模型学习样本，提高模型的泛化能力。
[0127]
s403，将训练样本集合中各样本数据输入初始深度学习模型，得到训练样本集合中各样本数据的样本异常预测数据；根据各样本数据的样本异常预测数据与预设阈值之间的比对结果，确定各样本数据的预测属性；基于各样本数据的预测属性与对应的标签属性
之间的损失，训练初始深度学习模型，得到预测模型。
[0128]
本公开实施例的初始深度学习模型可以包括特征提取网络和概率预测网络，其中，特征提取网络的输出为概率预测网络的输入。使用样本数据训练初始深度学习模型过程中，将训练样本输入初始深度学习模型，利用特征提取网络对训练样本中的样本直播图像信息、样本账户信息和样本直播间信息分别进行特征提取，获得对应的样本直播图像特征、样本账户特征和样本直播间特征，进而将样本直播图像特征、样本账户特征和样本直播间特征合并为一个特征向量，将合并得到的特征向量输入概率预测网络，输出特征向量对应的样本数据的样本异常预测数据，将样本异常预测数据与预设阈值进行比对，在样本异常预测数据大于等于预设阈值的情况下，确定样本数据的预测属性为正样本，在样本异常预测数据小于预设阈值的情况下，确定样本数据的预测属性为负样本，计算样本数据的预测属性与该样本数据的标签属性之间的损失，并基于损失调整初始深度学习模型的参数，直至满足预设的训练停止条件时，停止对初始深度学习模型的参数的调整，得到预测模型。其中，训练停止条件可以是损失值达到预设数值或者训练次数达到预设次数，也可以在损失值相对于上次得到的损失值没有明显降低时停止对模型的训练。
[0129]
在一个可能的实现方式中，可以使用卷积神经网络(cnn)来作为特征提取网络，以获得合并后的特征向量。
[0130]
在一个可能的实现方式中，可以选择梯度提升决策树作为概率预测网络，梯度提升决策树(gradient boos ting decision tree，gbdt)是基于提升(boosting)增强策略的加法模型，训练时采用前向分布算法进行贪婪学习，每次迭代都学习一棵cart树来拟合之前t-1棵树的预测结果与训练样本真实值的残差。xgb(extreme gradient boosting)是gbdt的一种工业实现，通过不断增加新树，拟合伪残差来降低损失函数。xgb模型基于特征生成多棵回归树，每棵回归树学习相应的残差，残差之和即为数据样本的预测值。
[0131]
如图5所示，xgb模型的树结构包括结点n1到n5，其中，n1是根结点，n2是中间结点，n3、n4和n5是叶结点，并且n1和n2是分裂结点。在使用数据进行模型预测时，实际预测路径如图5所示，即，从根结点n1到中间结点n2，再由中间结点到叶结点n5。xgb使用了一阶和二阶偏导，二阶导数有利于梯度下降的更快更准，使用泰勒展开取得函数做自变量的二阶导数形式，可以在不选定损失函数具体形式的情况下，仅仅依靠输入数据的值就可以进行叶子分裂优化计算，本质上也就把损失函数的选取和模型算法优化/参数选择分开了。这种去耦合增加了xgb的适用性，使得它按需选取损失函数，可以用于分类，也可以用于回归。
[0132]
图6示出了xgb模型的示例示意图。在图2中示出的xgb模型包括两棵树(决策树)，树1和树2。在其他实施例中，xgb模型可以包括更多的树。对于每棵决策树，假设存在t个叶结点，则该棵决策树模型可以记为：f(x)＝wq(x)，其中，q：rm→
{1，2，......，t}是由特征输入x向叶结点编号的映射，其本质是树的分支结构。w∈r
t
是叶结点权重向量，叶结点权重向量为(w1，w2，...，w
t
)。假设实例x落在决策树的叶结点j，则其预测输出值为叶结点j的权重值wj。
[0133]
如图6所示，树1具有2个分裂结点以及3个叶结点，以及树2具有1个分裂结点以及2个叶结点。在树1中，第一个分裂结点的分裂特征为{age《15}，以及第二个分裂结点的分裂特征为{is male？}。在树2中，分裂结点的分裂特征为{use computer daily}。树1的叶结点权重向量为(w
11
，w
12
，w
13
)，即，( 2， 0.1，-1)。树2的叶结点权重向量为(w
21
，w
22
)，即，(
0.9，-0.9)。假设实例x落在树1的叶结点1，则预测值为 2。如果同时落在树1的叶结点1和树2的叶结点1，则预测值为 2 0.9＝ 2.9，如图6所示。
[0134]
具体的，选用xgb作为概率预测网络，可以预先设置模型的相关参数，包括学习率、最大树深、参数正则化系统及优化目标函数，本公开实施例中概率预测网络用于分类，故xgb的优化目标函数需要设置为用于分类的损失函数。
[0135]
在一个可能的实现方式中，可以设置xgb模型的学习率为0.03、最大树深度为6、参数正则化系数为2、优化目标函数为分类交叉熵损失；使用开源的xgb工具进行模型训练，直到在测试集合上的损失值不再降低，此时获取训练后的xgb模型m。同时根据模型m的准确和召回情况确定阈值r，大于该阈值r的判定为此直播pk容易违规，不建议pk匹配。
[0136]
本公开实施例中，通过获取训练样本集合，训练样本集合包括标签属性为正样本的至少一个样本数据和标签属性为负样本的至少一个样本数据；将训练样本集合中各样本数据输入初始深度学习模型，得到训练样本集合中各样本数据的样本异常预测数据；根据各样本数据的样本异常预测数据与预设阈值之间的比对结果，确定各样本数据的预测属性；基于各样本数据的预测属性与对应的标签属性之间的损失，训练初始深度学习模型，得到预测模型。使用正负样本数据训练初始深度学习模型，能够使初始深度学习模型自动学习到正样本数据的特征和负样本数据的特征，提高预测输入数据对应的异常预测数据的准确性。
[0137]
以上训练初始深度学习模型以获得预测模型的方法，可以在终端或者服务器上执行。
[0138]
图7是根据一示例性实施例示出的一种基于预测模型的直播连麦控制方法的流程图。请参见图7，该直播连麦控制方法应用于服务器，包括以下步骤。
[0139]
s701，接收目标账户发起的直播间连麦请求，获取目标账户对应的直播数据。
[0140]
随着直播技术的发展，已出现了让至少两个主播进行连麦，使画面和声音都面向双方房间的粉丝直播的形态。而为了能更大程度的提升直播的趣味性，在主播连麦的基础上，又引入了竞赛性的pk机制让双方主播进行一场短暂的比赛，也称为主播连麦pk。
[0141]
在连麦pk场景中，第一客户端对应的主播开播后，可能希望与其他用户连麦pk，例如，可以向其它用户发送互动请求，在第二客户端对应的用户或者主播接受邀请时，服务器为第一客户端与第二客户端建立连麦，并向第一客户端、第二客户端下发指令以同时开启互动。其中，主播可以选择某个特定用户发起互动请求，也可以向所有在线用户广播互动请求，由服务器随机匹配一名用户与之进行连麦pk。连麦是主播与观众、主播与主播之间的一种互动方式，在连麦过程中，主播与观众的身份也由此转变成发起者与参与者，当发起者向参与者发起连麦请求，参与者接受连麦后，便在发起者与参与者自身所在的客户端之间建立起连接，而直播画面也由上述两个客户端共同提供。一般情况下，直播画面可以是发起者的直播画面为大窗口，参与者的主播画面为小窗口的画中画形式进行显示。当然上述显示方式可以由发起者或参与者随意调整。在某些例子中，连麦还可以是多人连麦。相关技术中，直播过程中，pk发起方用户向pk接收方用户发起连麦pk时，只要pk接收方用户接受邀请，就会自动建立pk发起方与pk接收方之间的连接，可能在连麦pk过程中出现骂架等违规画面或语言，对直播间观众造成不良影响，可能给主播带来关注者减少等负面影响。
[0142]
本公开实施例提供一种直播连麦控制方法，用于在目标账户发起直播间连麦请求
的情况下，将目标账户与此时同样发起直播间请求的其他账户逐一进行匹配，直至找到与该目标账户连麦pk满足预设条件的候选账户，然后建立该候选账户与目标账户之间的连麦pk。其中，预设条件被配置为目标账户与候选账户之间的连麦pk的异常预测数据小于小于预设阈值。由此可以规避违规可能性较大的连麦pk。
[0143]
本公开实施例中，目标账户的直播数据包括目标账户的直播图像信息、目标账户的账户信息和目标账户的直播间信息。获取目标账户对应的直播数据，具体可以包括：
[0144]
11)从目标账户对应的直播片段中抽取预设数量的直播图像，作为第一直播图像；对第一直播图像进行特征提取，以获得对应的第一图像特征向量；对第一直播图像进行人脸识别，以获得对应的第一图像人物信息；对第一直播图像进行异常检测，以获得对应的第一图像异常信息；根据第一图像特征向量、第一图像人物信息和第一图像异常信息，生成目标账户的直播图像信息。
[0145]
获取目标账户的直播图像信息，具体包括如下步骤：
[0146]
从目标账户对应的直播片段中随机抽样x条截图作为第一直播图像。
[0147]
采用特征提取模型对第一直播图像进行特征提取，例如，将第一直播图像输入到使用image net数据集预训练的诸如resnet50、inceptionv3的深度学习分类模型(可以在公开网络上获取到的模型)中，获取深度学习分类模型倒数第二层(即全连接层)的输出特征，将该输出特征作为与第一直播图像对应的第一图像特征向量。
[0148]
对第一直播图像进行人脸识别时，具体可以调用公开的人脸识别服务，如公开的人脸识别模型open face，获取上述第一直播图像的人脸识别结果，包括每个图像的人脸数、人脸的平均年龄、男性占比等表明人身份的特征，基于人脸识别结果确定出第一直播图像对应的第一图像人物信息。
[0149]
使用检测模型检测第一直播图像对应的第一图像异常预测数据，例如，将第一直播图像输入具有诸如色情、抽烟、裸露上半身等异常行为识别能力的检测模型，获得检测模型输出的与第一直播图像对应的第一图像异常预测数据。
[0150]
本公开实施例使用公开的模型，对从目标账户对应的直播片段中抽取的直播图像进行图像特征、人物信息及图像违规信息的提取，其特征提取方法易于实现，并丰富了目标账户的直播图像信息。
[0151]
12)获取目标账户的历史异常信息和账户身份信息，根据目标账户的历史异常信息和账户身份信息，确定目标账户的账户信息。
[0152]
获取目标账户的用户id，根据用户id在违规数据库中查询得到该目标账户的历史异常信息、在用户数据库中查询获得目标账户的账户身份信息。其中，违规数据库收录使用直播应用的每个用户的用户id和对应的违规信息，违规信息包括当前时刻之前的预设时间段中的开播次数、违规次数、违规比例等，预设时间段例如可以是当前时刻之前的7天、30天或者90天。用户数据库中收录每个用户的用户id和对应的的账户身份信息，账户身份信息包括主播的年龄、性别、所在城市等用户特征。
[0153]
13)获取目标账户对应的直播间在当前时刻的观众数和直播时间段，根据目标账户对应的直播间在当前时刻的观众数和直播时间段，确定目标账户的直播间信息。
[0154]
具体的，可以设置每一个小时为一个时间段，目标账户对应的直播时间段为当前时刻所属的时间段，例如，当前时刻为12:30，则对应的直播时间段为12:00-13:00。对于直
播而言，有一些不良直播内容容易集中在某些时间段发生，例如有关色情裸露的直播在深夜发生的概率更高，区分直播时间段有利于模型学习不同时间段的异常预测方向，提高模型预测准确性。
[0155]
14)根据目标账户的直播图像信息、目标账户的账户信息和目标账户的直播间信息，确定目标账户的直播数据。
[0156]
s703，从正在发起直播间连麦请求的其他账户中确定候选账户。
[0157]
具体的，在接收到目标账户发起的直播间连麦请求的情况下，从当前正在发起直播间连麦请求的其他账户中随机选取以为用户作为候选账户。对目标账户与候选账户进行匹配，预测二者是否适合进行直播连麦pk。
[0158]
s705，获取候选账户对应的直播数据。
[0159]
在一个可能的实现方式中，获取候选账户对应的直播数据可以包括如下步骤：
[0160]
21)从候选账户对应的直播片段中抽取预设数量的直播图像，作为第二直播图像；对第二直播图像进行特征提取，以获得对应的第二图像特征向量，对第二直播图像进行人脸识别，以获得对应的第二图像人物信息，对第二直播图像进行异常检测，以获得对应的第二图像异常信息；根据第二图像特征向量、第二图像人物信息和第二图像异常信息，生成候选账户的直播图像信息。
[0161]
具体的，获取候选账户的直播图像信息，可以包括以下步骤：
[0162]
从候选账户对应的直播片段中随机抽样x条截图作为第二直播图像。
[0163]
采用特征提取模型对第二直播图像进行特征提取，例如，将第二直播图像输入到使用image net数据集预训练的诸如resnet50、inceptionv3的深度学习分类模型中，获取深度学习分类模型倒数第二层(即全连接层)的输出特征，将该输出特征作为与第二直播图像对应的第二图像特征向量。
[0164]
对第二直播图像进行人脸识别时，具体可以调用公开的人脸识别服务，如公开的人脸识别模型open face，获取上述第二直播图像的人脸识别结果，包括每个图像的人脸数、人脸的平均年龄、男性占比等表明人身份的特征，基于人脸识别结果确定出第二直播图像对应的第二图像人物信息。
[0165]
使用检测模型检测第二直播图像对应的第二图像异常信息，例如，将第二直播图像输入具有诸如色情、抽烟、裸露上半身等异常行为识别能力的检测模型，获得检测模型输出的与第二直播图像对应的第二图像异常信息。
[0166]
本公开实施例使用公开的模型，对从候选账户对应的直播片段中抽取的直播图像进行图像特征、人物信息及图像违规信息的提取，其特征提取方法易于实现，并丰富了候选账户的直播图像信息。
[0167]
22)获取候选账户的历史异常信息和账户身份信息，根据候选账户的历史异常信息和账户身份信息，确定候选账户的账户信息。
[0168]
获取候选账户的用户id，根据用户id在违规数据库中查询得到该候选账户的历史异常信息、在用户数据库中查询获得候选账户的账户身份信息。其中，违规数据库收录使用直播应用的每个用户的用户id和对应的违规信息，违规信息包括当前时刻之前的预设时间段中的开播次数、违规次数、违规比例等，预设时间段例如可以是当前时刻之前的7天、30天或者90天。用户数据库中收录每个用户的用户id和对应的的账户身份信息，账户身份信息
包括主播的年龄、性别、所在城市等用户特征。
[0169]
23)获取候选账户对应的直播间在当前时刻的观众数和直播时间段，根据候选账户对应的直播间在当前时刻的观众数和直播时间段，确定候选账户的直播间信息。
[0170]
具体的，候选账户对应的直播时间段为当前时刻所属的时间段，可以设置每一个小时为一个时间段，例如，当前时刻为12:30，则对应的直播时间段为12:00-13:00。对于直播而言，有一些不良直播内容容易集中在某些时间段发生，例如有关色情裸露的直播在深夜发生的概率更高，区分直播时间段有利于模型学习不同时间段的异常预测方向，提高模型预测准确性。
[0171]
24)根据候选账户的直播图像信息、候选账户的账户信息和候选账户的直播间信息，确定候选账户的直播数据。
[0172]
s707，将目标账户对应的直播数据和候选账户对应的直播数据输入预测模型，对目标账户与候选账户之间的连麦进行异常预测，获得目标账户与候选账户之间连麦的异常预测数据。
[0173]
其中，预测模型是预先训练好的，具体可以采用如图4对应的预测模型训练方法训练获得预测模型。模型训练过程具体请参详图4及对应的实施例介绍，在此不赘述。
[0174]
基于预测模型确定目标账户与候选账户之间连麦的异常预测数据，具体可以包括：将目标账户对应的直播数据和候选账户对应的直播数据输入预测模型，对目标账户对应的直播数据和候选账户对应的直播数据分别进行特征提取，对提取得到的目标账户的直播特征和候选账户的直播特征进行合并，根据合并得到的特征向量进行概率预测，获得目标账户与候选账户之间连麦的异常预测数据。
[0175]
s709，基于异常预测数据，控制目标账户与候选账户之间的连麦。
[0176]
本公开实施例要实现根据目标账户与候选账户之间连麦的异常预测数据，过滤掉那些连麦pk时容易发生违规的连麦行为，降低连麦pk违规的自然发生率。具体实现过程包括：
[0177]
(1)将目标账户与候选账户之间连麦的异常预测数据与预设阈值进行比较，异常预测数据可以是异常预测概率，如果异常预测数据小于预设阈值，确定目标账户与候选账户之间连麦的异常预测数据满足预设条件，如果异常预测数据大于等于预设阈值，确定目标账户与候选账户之间连麦的异常预测数据不满足预设条件。其中预设阈值可以根据预测模型的准确度和召回情况确定，例如，对于预测模型的输出值对应的直播片段进行人工复检，记录每个输出值及对应的人工复检结果，根据复检结果为存在违规的直播片段对应的输出值分布，确定预设阈值。例如，1000条数据中，有98％以上的违规直播片段对应的输出值大于等于75％，可以将75％作为预设阈值。
[0178]
(2)在目标账户与候选账户之间连麦的异常预测数据满足预设条件的情况下，将候选账户作为目标账户的连麦对象；建立目标账户与连麦对象之间的连麦。
[0179]
(3)在目标账户与候选账户之间连麦的异常预测数据大于等于预设阈值的情况下，将异常预测数据对应的候选账户所在的客户端从其他客户端中剔除，并返回执行从正在发起直播间连麦请求的其他客户端中确定候选客户端的步骤，直至目标账户与候选账户之间连麦的异常预测数据满足预设条件时，将满足预设条件的异常预测数据所对应的候选账户，作为目标账户的连麦对象。
[0180]
如果经过上述步骤确定候选账户与目标账户连麦pk容易发生违规，则可以从当前正在发起直播间连麦请求的其他客户端中重新确定一位候选客户端，新确定的候选客户端不能是已判定不建议进行连麦pk的客户端，对新确定的候选客户端对应的候选账户采用如图7中的方法对其是否能与目标账户建立连麦进行判别，直至找到一适合与目标账户连麦的候选账户。
[0181]
本公开实施例提供的直播连麦控制方法，通过接收目标账户发起的直播间连麦请求，获取目标账户对应的直播数据；从正在发起直播间连麦请求的其他账户中确定一位候选账户；获取候选账户对应的直播数据；将目标账户对应的直播数据和候选账户对应的直播数据输入预测模型，对目标账户与候选账户间的连麦进行异常预测，获得目标账户与候选账户间连麦对应的异常预测数据；基于异常预测数据，控制目标账户与候选账户间的连麦。本公开通过对直播过程中，目标账户与候选账户之间的连麦行为进行异常预测，基于预测得到的异常预测数据，识别和规避大概率会发生违规的连麦，从而降低不良连麦的发生率，为用户营造舒适健康的直播及观看环境。
[0182]
图8是根据一示例性实施例示出的一种直播连麦控制装置的结构示意图。参照图8，该直播连麦控制装置800包括：
[0183]
第一直播数据获取单元810，被配置为接收目标账户发起的直播间连麦请求，获取目标账户对应的直播数据；
[0184]
候选账户确定单元820，被配置为从正在发起直播间连麦请求的其他账户中确定候选账户；
[0185]
第二直播数据获取单元830，被配置为获取候选账户对应的直播数据；
[0186]
异常预测数据获取单元840，被配置为将目标账户对应的直播数据和候选账户对应的直播数据输入预测模型，对目标账户与候选账户之间的连麦进行异常预测，获得目标账户与候选账户之间连麦的异常预测数据；
[0187]
连麦控制单元850，被配置为基于异常预测数据，控制目标账户与候选账户之间的连麦。
[0188]
请参见图9，在一个可能的实现方式中，连麦控制单元850可以包括：
[0189]
第一连麦控制模块851，被配置为在目标账户与候选账户之间连麦的异常预测数据小于预设阈值的情况下，执行将候选账户作为目标账户的连麦对象，以及建立目标账户与连麦对象间的连麦；
[0190]
第二连麦控制模块852，被配置为在目标账户与候选账户之间连麦的异常预测数据大于等于预设阈值的情况下，执行将异常预测数据对应的候选账户从其他账户中剔除，并返回执行从正在发起直播间连麦请求的其他账户中确定候选账户的步骤，直至目标账户与候选账户之间连麦的异常预测数据小于预设阈值，将小于预设阈值的异常预测数据所对应的候选账户，作为目标账户的连麦对象。
[0191]
在一个可能的实现方式中，异常预测数据获取单元840，还被配置为将目标账户对应的直播数据和候选账户对应的直播数据输入预测模型，对目标账户对应的直播数据和候选账户对应的直播数据分别进行特征提取，对提取得到的目标账户的直播特征和候选账户的直播特征进行合并，根据合并得到的特征向量进行概率预测，获得目标账户与候选账户之间连麦的异常预测数据。
[0192]
在一个可能的实现方式中，第一直播数据获取单元810可以包括：
[0193]
第一直播图像信息获取模块811，被配置为从目标账户对应的直播片段中抽取预设数量的直播图像，作为第一直播图像；对第一直播图像进行特征提取，以获得对应的第一图像特征向量；对第一直播图像进行人脸识别，以获得对应的第一图像人物信息；对第一直播图像进行异常检测，以获得对应的第一图像异常信息；根据第一图像特征向量、第一图像人物信息和第一图像异常信息，生成目标账户的直播图像信息；
[0194]
第一账户信息获取模块812，被配置为获取目标账户的历史异常信息和账户身份信息，根据目标账户的历史异常信息和账户身份信息，确定目标账户的账户信息；
[0195]
第一直播间信息获取模块813，被配置为获取目标账户对应的直播间在当前时刻的观众数和直播时间段，根据目标账户对应的直播间在当前时刻的观众数和直播时间段，确定目标账户的直播间信息；
[0196]
第一直播数据确定模块814，被配置为根据目标账户的直播图像信息、目标账户的账户信息和目标账户的直播间信息，确定目标账户的直播数据。
[0197]
在一个可能的实现方式中，第二直播数据获取单元830可以包括：
[0198]
第二直播图像信息获取模块831，被配置为从候选账户对应的直播片段中抽取预设数量的直播图像，作为第二直播图像；对第二直播图像进行特征提取，以获得对应的第二图像特征向量，对第二直播图像进行人脸识别，以获得对应的第二图像人物信息，对第二直播图像进行异常检测，以获得对应的第二图像异常信息；根据第二图像特征向量、第二图像人物信息和第二图像异常信息，生成候选账户的直播图像信息；
[0199]
第二账户信息获取模块832，被配置为获取候选账户的历史异常信息和账户身份信息，根据候选账户的历史异常信息和账户身份信息，确定候选账户的账户信息；
[0200]
第二直播间信息获取模块833，被配置为获取候选账户对应的直播间在当前时刻的观众数和直播时间段，根据候选账户对应的直播间在当前时刻的观众数和直播时间段，确定候选账户的直播间信息；
[0201]
第二直播数据确定模块834，被配置为根据候选账户的直播图像信息、候选账户的账户信息和候选账户的直播间信息，确定候选账户的直播数据。
[0202]
在一个可能的实现方式中，直播连麦控制装置800还包括：
[0203]
样本数据获取单元860，被配置为获取训练样本集合，训练样本集合包括标签属性为正样本的至少一个样本数据和标签属性为负样本的至少一个样本数据；
[0204]
模型训练单元870，被配置为将训练样本集合中各样本数据输入初始深度学习模型，得到训练样本集合中各样本数据的样本异常预测数据，根据各样本数据的样本异常预测数据与预设阈值之间的比对结果，确定各样本数据的预测属性，基于各样本数据的预测属性与对应的标签属性之间的损失，训练初始深度学习模型，得到预测模型。
[0205]
其中，样本数据获取单元860可以包括：
[0206]
历史数据获取模块861，被配置为获取历史连麦直播数据，历史连麦直播数据包括不存在异常行为的连麦直播片段和存在异常行为的连麦直播片段；
[0207]
样本直播数据获取模块862，被配置为获取与各连麦直播片段对应的样本直播数据；将存在异常行为的连麦直播片段对应的样本直播数据，作为标签属性为正样本的样本数据；将不存在异常行为的连麦直播片段对应的样本直播数据，作为标签属性为负样本的
样本数据。
[0208]
其中，样本直播数据获取模块862可以包括：
[0209]
样本直播图像信息获取子模块8621，被配置为从连麦直播片段中抽取预设数量的直播图像，作为样本直播图像；对样本直播图像进行特征提取，以获得对应的样本图像特征向量，对样本直播图像进行人脸识别，以获得样本图像人物信息，对样本直播图像进行异常检测，以获得样本图像异常预测数据；根据样本图像特征向量、样本图像人物信息和样本图像异常预测数据，生成样本直播图像信息；
[0210]
样本账户信息获取子模块8622，被配置为确定连麦直播片段对应的样本账户，获取样本账户的历史异常信息和账户身份信息，根据样本账户的历史异常信息和账户身份信息，确定样本账户信息；
[0211]
样本直播间信息获取子模块8623，被配置为获取连麦直播片段对应的直播间的观众数和直播时间段，根据连麦直播片段对应的直播间的观众数和直播时间段，确定样本直播间信息；
[0212]
样本直播数据确定子模块8624，被配置为根据样本直播图像信息、样本账户信息和样本直播间信息，确定样本直播数据。
[0213]
本公开实施例提供的直播连麦控制装置，通过接收目标账户发起的直播间连麦请求，获取目标账户对应的直播数据；从正在发起直播间连麦请求的其他账户中确定一位候选账户；获取候选账户对应的直播数据；将目标账户对应的直播数据和候选账户对应的直播数据输入预测模型，对目标账户与候选账户间的连麦进行异常预测，获得目标账户与候选账户间连麦对应的异常预测数据；基于异常预测数据，控制目标账户与候选账户间的连麦。本公开通过对直播过程中，目标账户与候选账户之间的连麦行为进行异常预测，预测得到的异常预测数据越大，则目标账户与候选账户连麦直播中出现违规等异常内容的概率就越大，因此，可以允许连麦后出现异常概率较小的双方账户之间连麦，对于连麦后出现异常内容概率较大的双方账户可以给予不建立连麦的处理方式，从而识别和规避大概率会发生违规的连麦，降低不良连麦的发生率，为用户营造舒适健康的直播及观看环境。
[0214]
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
[0215]
图10是根据一示例性实施例示出的一种终端的框图。该终端用于执行上述训练预测模型的方法所对应的步骤，可以是便携式移动终端，比如：智能手机、平板电脑、mp3播放器(moving picture experts group audio layer iii，动态影像专家压缩标准音频层面3)、mp4(moving picture experts group audio layer iv，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
[0216]
参照图10，终端可以包括以下一个或多个组件：处理组件902、存储器904、电源组件906、多媒体组件908、音频组件910、输入/输出(i/o)的接口99、传感器组件914以及通信组件916。
[0217]
处理组件902通常控制终端的整体操作，诸如与显示、电话呼叫、数据通信、相机操作和记录操作相关联的操作。处理组件902可以包括一个或多个处理器920来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件902可以包括一个或多个模块，便于处
理组件902和其他组件之间的交互。例如，处理组件902可以包括多媒体模块，以方便多媒体组件908和处理组件902之间的交互。
[0218]
存储器904被配置为存储各种类型的数据以支持在终端的操作。这些数据的示例包括用于在终端上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图像，视频等。存储器904可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)、电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)、可编程只读存储器(prom)、只读存储器(rom)、磁存储器、快闪存储器、磁盘或光盘。
[0219]
电源组件906为终端的各种组件提供电力。电源组件906可以包括电源管理系统，一个或多个电源，及其他与为终端生成、管理和分配电力相关联的组件。
[0220]
多媒体组件908包括在终端和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件908包括一个前置摄像头和/或后置摄像头。当终端处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
[0221]
音频组件910被配置为输出和/或输入音频信号。例如，音频组件910包括一个麦克风(mic)，当终端处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器904或经由通信组件916发送。在一些实施例中，音频组件910还包括一个扬声器，用于输出音频信号。
[0222]
i/o接口99为处理组件902和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
[0223]
传感器组件914包括一个或多个传感器，用于为终端提供各个方面的状态评估。例如，传感器组件914可以检测到终端的打开/关闭状态，组件的相对定位，例如组件为终端的显示器和小键盘，传感器组件914还可以检测终端或终端一个组件的位置改变，用户与终端接触的存在或不存在，终端方位或加速/减速和终端的温度变化。传感器组件914可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件914还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件914还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
[0224]
通信组件916被配置为便于终端和其他设备之间有线或无线方式的通信。终端可以接入基于通信标准的无线网络，如wifi，运营商网络(如2g、3g、4g或9g)，或它们的组合。在一个示例性实施例中，通信组件916经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件916还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
[0225]
在示例性实施例中，终端可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
[0226]
在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器904，上述指令可由终端的处理器920执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
[0227]
在示例性实施例中，还提供了一种计算机程序产品，该计算机程序产品包括可读性程序代码，该可读性程序代码可由终端的处理器920执行以完成上述方法。可选地，该程序代码可以存储在终端的存储介质中，该存储介质可以是非临时性计算机可读存储介质，例如，非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
[0228]
图11是根据一示例性实施例示出的一种服务器的框图，服务器可以用于执行上述直播连麦控制方法所对应的步骤。参照图11，服务器1000包括处理组件1010，其进一步包括一个或多个处理器，以及由存储器1020所代表的存储器资源，用于存储可由处理组件1010的执行的指令，例如应用程序。存储器1020中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1010被配置为执行指令，以执行上述内容展示方法。
[0229]
服务器1000还可以包括电源组1030，被配置为执行服务器,1000的电源管理，一个有线或无线网络接口1050被配置为将服务器1000连接到网络，和一个输入输出(i/o)接口1040。服务器1000可以操作基于存储在存储器1020的操作系统，例如windowsservertm，mac os xtm，unixtm,linuxtm，freebsdtm或类似。
[0230]
在示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的直播连麦控制方法。
[0231]
在示例性实施例中，还提供了一种电子设备，所述电子设备包括处理器和存储器，存储器用于存储处理器可执行指令，其中，处理器被配置为执行所述可执行指令，以实现如图7所对应的直播连麦控制方法。
[0232]
存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。
[0233]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的
权利要求指出。
[0234]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。