直播控制方法、装置、设备及存储介质与流程

1.本公开涉及计算机技术领域，尤其涉及一种直播控制方法、装置、设备及存储介质。


背景技术：

2.随着移动互联网的发展，直播应用快速发展。主播在直播应用开设直播间即可进行直播，进入该直播间的观众端可以获取该主播对应的实时直播流。然而，在直播过程中，主播可能进行一些违规行为或违规言论，因此需要对直播流进行审核和控制，以降低违规直播对互联网平台环境的不利影响。
3.相关技术中，在传统的直播审核技术中，通常是在主播被举报违规之后，才对该主播的直播间进行审核、并基于审核结果进行控制处理，与审核时间相比，控制处理过程会存在几分钟的延迟。然而，由于直播内容是对观众进行实时展示的，对于观众数较多或者影响力较大的直播间，这几分钟的延迟处理足以造成巨大的危害。此外，还有一种方法是对全量直播间进行全程人工审核和控制，一旦发现违规便立即控制处理，这种采用全程直播审核和控制的方法虽然能够降低直播控制延迟，但是需要浪费较多的人力、设备和带宽资源，增加直播审核和控制成本。


技术实现要素：

4.本公开提供一种直播控制方法、装置、设备及存储介质，以至少解决相关技术中直播控制延迟和资源浪费等问题中至少一种问题。本公开的技术方案如下：
5.根据本公开实施例的第一方面，提供一种直播控制方法，包括：
6.获取至少一个直播流中的直播片段，提取所述直播片段的特征，获得各直播流在第一预设时刻的直播特征信息；所述直播片段的开始时刻早于所述第一预设时刻，且与所述第一预设时刻之间相差第一预设时间间隔；
7.对所述直播特征信息进行风险预测，得到所述各直播流在所述第一预设时刻的风险值，所述风险值用于表征各直播流为违规直播内容的概率；
8.获取风险值排序列表，所述风险值排序列表记录多个直播流在对应的预设时刻的风险值，并利用所述各直播流在所述第一预设时刻对应的风险值更新所述风险值排序列表，得到更新的风险值排序列表；
9.根据所述更新的风险值排序列表，确定满足预设审核条件的直播流为待审核的目标直播流；
10.根据所述目标直播流的审核结果，控制所述目标直播流。
11.作为一种可选的实施方式，所述根据所述目标直播流的审核结果，控制所述目标直播流步骤包括：
12.若在预设审核时间段审核出所述目标直播流存在违规直播内容，对所述目标直播流进行违规处理，并从风险值排序列表中删除所述目标直播流对应的记录。
13.作为一种可选的实施方式，所述根据所述目标直播流的审核结果，控制所述目标直播流步骤还包括：
14.在执行直播审核的预设审核时间段内，获得所述目标直播流在第二预设时刻的风险值；所述第二预设时刻晚于所述第一预设时刻，且与所述第一预设时刻之间相差至少一个第一预设时间间隔；
15.当预测到目标直播流在第二预设时刻的风险值低于全部目标直播流中最低风险值时，则停止审核所述目标直播流。
16.作为一种可选的实施方式，所述方法还包括：
17.若在预设审核时间段未审核出所述目标直播流存在违规直播内容，根据预设调低策略调低所述目标直播流对应的风险值，并基于调低后的风险值更新风险值排序列表。
18.作为一种可选的实施方式，所述若在预设审核时间段未审核出所述目标直播流存在违规直播内容，根据预设调低策略调低所述目标直播流对应的风险值，并基于调低后的风险值更新风险值排序列表步骤之后，所述方法还包括：
19.当预测到目标直播流对应的风险值高于所述目标直播流被审核之前的预测风险值时，将预测得到所述目标直播流的风险值作为所述目标直播流的风险值，并更新风险值排序列表。
20.作为一种可选的实施方式，所述提取所述直播片段的特征，获得各直播流在第一预设时刻的直播特征信息步骤包括：
21.提取所述直播片段的内容特征，得到所述直播片段对应的内容特征信息；
22.获得所述直播流的主播画像特征信息和所述直播流的直播交互特征信息；
23.融合所述内容特征信息、主播画像特征信息和直播交互特征信息，获得所述直播流在第一预设时刻的直播特征信息。
24.作为一种可选的实施方式于，所述对所述直播特征信息进行风险预测，得到所述直播流在所述第一预设时刻的风险值步骤包括：
25.获取所述直播流在上一预设时刻对应的隐藏特征信息，所述上一预设时刻早于所述第一预设时刻、且与所述第一预设时刻间隔所述第一预设时间间隔；
26.根据所述第一预设时刻的直播特征信息和所述上一预设时刻的隐藏特征信息，获得所述直播流在所述第一预设时刻的隐藏特征信息；
27.基于所述隐藏特征信息进行风险预测，得到所述直播流在所述第一预设时刻的风险值。
28.作为一种可选的实施方式，所述根据所述更新的风险值排序列表，确定满足预设审核条件的直播流为待审核的目标直播流步骤包括：
29.根据风险值由大至小的排序顺序，从更新的风险值排序列表中确定预设数量的风险值对应的直播流为满足预设审核条件的直播流；或者
30.将所述更新的风险值排序列表中风险值大于预设风险值对应的直播流作为满足预设审核条件的直播流。
31.根据本公开实施例的第二方面，提供一种直播控制装置，包括：
32.特征获取模块，被配置为执行获取至少一个直播流中的直播片段，提取所述直播片段的特征，获得各直播流在第一预设时刻的直播特征信息；所述直播片段的开始时刻早
于所述第一预设时刻，且与所述第一预设时刻之间相差第一预设时间间隔；
33.风险值确定模块，被配置为执行对所述直播特征信息进行风险预测，得到所述各直播流在所述第一预设时刻的风险值，所述风险值用于表征各直播流为违规直播内容的概率；
34.列表更新模块，被配置为执行获取风险值排序列表，所述风险值排序列表记录多个直播流在对应的预设时刻的风险值，并利用所述各直播流在所述第一预设时刻对应的风险值更新所述风险值排序列表，得到更新的风险值排序列表；
35.确定模块，被配置为执行根据所述更新的风险值排序列表，确定满足预设审核条件的直播流为待审核的目标直播流；
36.控制模块，被配置为执行根据所述目标直播流的审核结果，控制所述目标直播流。
37.作为一种可选的实施方式，所述控制模块包括：
38.第一控制单元，被配置为执行若在预设审核时间段审核出所述目标直播流存在违规直播内容，对所述目标直播流进行违规处理，并从风险值排序列表中删除所述目标直播流对应的记录。
39.作为一种可选的实施方式，所述控制模块还包括：
40.获取单元，被配置为执行在执行直播审核的预设审核时间段内，获得所述目标直播流在第二预设时刻的风险值；所述第二预设时刻晚于所述第一预设时刻，且与所述第一预设时刻之间相差至少一个第一预设时间间；
41.第二控制单元，被配置为执行当预测到目标直播流在第二预设时刻的风险值低于全部目标直播流中最低风险值时，则停止审核所述目标直播流。
42.作为一种可选的实施方式，所述装置还包括：
43.调低模块，被配置为执行若在预设审核时间段未审核出所述目标直播流存在违规直播内容，根据预设调低策略调低所述目标直播流对应的风险值，并基于调低后的风险值更新风险值排序列表。
44.作为一种可选的实施方式，所述装置还包括：
45.替换模块，被配置为执行当预测到目标直播流对应的风险值高于所述目标直播流被审核之前的预测风险值时，将预测得到所述目标直播流的风险值作为所述目标直播流的风险值，并更新风险值排序列表。
46.作为一种可选的实施方式，所述特征获取模块包括：
47.第一特征获取单元，被配置为执行提取所述直播片段的内容特征，得到所述直播片段对应的内容特征信息；
48.第二特征获取单元，被配置为执行获得所述直播流的主播画像特征信息和所述直播流的直播交互特征信息；
49.融合单元，被配置为执行融合所述内容特征信息、主播画像特征信息和直播交互特征信息，获得所述直播流在第一预设时刻的直播特征信息。
50.作为一种可选的实施方式，所述风险值确定模块包括：
51.第一获取单元，被配置为执行获取所述直播流在上一预设时刻对应的隐藏特征信息，所述上一预设时刻早于所述第一预设时刻、且与所述第一预设时刻间隔所述第一预设时间间隔；
52.第二获取单元，被配置为执行根据所述第一预设时刻的直播特征信息和所述上一预设时刻的隐藏特征信息，获得所述直播流在所述第一预设时刻的隐藏特征信息；
53.预测单元，被配置为执行基于所述隐藏特征信息进行风险预测，得到所述直播流在所述第一预设时刻的风险值。
54.作为一种可选的实施方式，所述确定模块包括：
55.第一确定单元，被配置为执行根据风险值由大至小的排序顺序，从更新的风险值排序列表中确定预设数量的风险值对应的直播流为满足预设审核条件的直播流；或者
56.第二确定单元，被配置为执行将所述更新的风险值排序列表中风险值大于预设风险值对应的直播流作为满足预设审核条件的直播流。
57.根据本公开实施例的第三方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上述中任一实施方式所述的直播控制方法。
58.根据本公开实施例的第四方面，提供一种电子设备，包括：
59.处理器；
60.用于存储所述处理器可执行指令的存储器；
61.其中，所述处理器被配置为执行所述指令，以实现如上述任一实施方式所述的直播控制方法。
62.根据本公开实施例的第五方面，提供一种计算机程序产品，该计算机程序产品包括计算机程序或指令，该计算机程序或指令被处理器执行时实现上述任一种实施方式中提供的直播控制方法。
63.本公开的实施例提供的技术方案至少带来以下有益效果：
64.本公开实施例通过获得各直播流在第一预设时刻的直播特征信息，对该直播特征信息进行风险预测，得到各直播流在所述第一预设时刻的风险值；获取风险值排序列表，该风险值排序列表记录多个直播流在对应的预设时刻的风险值，并利用各直播流在第一预设时刻对应的风险值更新所述风险值排序列表，得到更新的风险值排序列表；根据更新的风险值排序列表，确定满足预设审核条件的直播流为待审核的目标直播流；根据目标直播流的审核结果控制所述目标直播流。如此，通过根据预测的风险值，从直播流中抽取高风险值对应的目标直播流进行实时审核，并根据实时审核结果控制目标直播流，无需对全量直播流进行实时审核，降低了直播审核成本，且在最大程度的降低了审核延迟的情况下节约了审核资源，也最大程度减少了违规直播的曝光时间。
65.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
66.此处的附图被并入说明书中并构成本公开的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
67.图1是根据一示例性实施例示出的一种应用直播控制方法的系统的架构图。
68.图2是根据一示例性实施例示出的一种直播控制方法的流程图。
69.图3是根据一示例性实施例示出的一种直播控制方法的部分流程图。
70.图4是根据一示例性实施例示出的另一种直播控制方法的部分流程图。
71.图5是根据一示例性实施例示出的一种直播控制方法的过程示意图。
72.图6是根据一示例性实施例示出的一种直播控制装置框图。
73.图7是根据一示例性实施例示出的另一种直播控制装置框图。
74.图8是根据一示例性实施例示出的又一种直播控制装置框图。
75.图9是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
76.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
77.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
78.图1是根据一示例性实施例示出的一种应用直播控制方法的系统的架构图，参见图1，该架构图可以包括终端01、服务器02和终端03。
79.其中，终端01和终端03可以是但不限于为智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能可穿戴设备、数字助理、增强现实设备、虚拟现实设备等实体设备或者运行于实体设备中的应用程序中一种或多种。终端01和终端03上可以安装有支持直播功能的应用程序，该应用程序可以是终端01和终端03操作系统中的应用，也可以为第三方提供的应用。仅作为示例，终端01可以是主播端，终端03可以是观众端，也就说，主播端安装有主播客户端，观众端安装有观众客户端。
80.服务器02可以为终端01和终端03上安装的应用程序提供服务，仅作为示例，服务器02可以是但不限于为独立的服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器等中一种或多种。
81.终端01和终端03上安装的应用程序可以由服务器02提供服务，主播通过终端01上安装的该应用程序进行直播，观众通过终端03实现与终端01例如数据传输、消息交互等功能。该终端01以及服务器02之间、服务器02与终端03直接可以通过有线或无线通信方式进行直接或间接地连接，本公开实施例在此不作限制。
82.本公开实施例提供的直播控制方法，可以由直播控制装置来执行，该直播控制装置可以是硬件形式或软件形式集成在终端或服务器等电子设备中，也可以由服务器或终端单独执行实现，或者可以由终端和服务器协同执行实现。
83.图2是根据一示例性实施例示出的一种直播控制方法的流程图，如图2所示，直播控制方法可以应用于电子设备，以该电子设备为上述实施环境示意图中服务器为例进行说明，包括以下步骤。
84.在步骤s201中，获取至少一个直播流中的直播片段，提取所述直播片段的特征，获得各直播流在第一预设时刻的直播特征信息。其中，直播片段的开始时刻早于第一预设时刻，且与所述第一预设时刻之间相差第一预设时间间隔。
85.可选地，主播可以利用支持直播功能的应用程序发起直播，以供观众观看该主播的直播内容。由于现有的直播内容多样化，有些主播为了吸引更多的观众进入直播间，可能会进行一些违规行为(例如色情、暴力等行为)或违规言论(例如违反政治、法律等言论)，因此需要对直播内容进行检测，以减少违规直播所带来的不良影响。
86.可选地，在直播过程中，服务器可以获取处于播放状态的直播流。播放状态可以为正在直播的状态，该直播流可以为从直播开始到当前时刻之间的时间段内的直播数据，也可以为从任一起始时刻到当前时刻之间的时间段内的直播数据，本公开对此不作具体限定。
87.在服务器获取到处于播放状态的直播流时，可以从该直播流中截取开始时刻早于第一预设时刻第一预设时间间隔的直播片段，并对截取的直播片段进行特征提取处理，以根据该直播片段的特征数据确定直播流在所述第一预设时刻的直播特征数据。其中，第一预设时间间隔的时间区间可以为数秒、十几秒、几十秒、数分钟或者甚至更多。举例而言，若获取处于8:00
‑
9:00时段的正在直播中的直播流，第一预设时刻为9:00，第一预设时间间隔的时间区间为2分钟，则截取开始时刻为8:58，间隔时间为2分钟的直播片段，也即截取8:58
‑
9:00之间时间段的直播流数据为该直播片段，对处于该第一预设时间间隔的直播片段进行特征提取处理，以便于后续根据该直播片段进行未来时间段的违规风险预测。
88.在一可选实施方式中，所述提取所述直播片段的特征，获得各直播流在所述第一预设时刻的直播特征信息步骤至少包括步骤s2011
‑
s2013。
89.在步骤s2011中，提取所述直播片段的内容特征，得到所述直播片段对应的内容特征信息。
90.其中，该直播片段的类型可根据直播流的内容(例如视频直播、音频直播、文本直播等)而不同，对应的，该直播片段可以为视频片段、音频片段、文本片段等类型。在从直播流中截取直播片段之后，可以根据直播片段的类型进行差异化内容特征提取处理。例如，对于音频片段，可以先将音频片段转换为文本，之后利用例如文本特征提取网络(比如基于变换器的双向编码表示bert网络)对转换后的文本进行内容特征提取，提取到的文本特征作为音频片段的音频特征，将该音频特征作为直播片段对应的内容特征信息。对于文本片段，可以利用例如文本特征提取网络(比如bert网络)对文本片段进行内容特征提取，提取到的文本特征作为直播片段对应的内容特征信息。对于视频片段，可以通过例如卷积神经网络(比如cnn网络)进行内容特征提取，提取到的图像特征作为直播片段对应的内容特征信息。应理解，若视频片段中还包括音频数据和文本数据，则分别采用上述对音频片段和文本片段的处理方法进行特征提取，并与提取的图像特征进行拼接，以将拼接得到的视频特征作为直播片段对应的内容特征信息。
91.在步骤s2012中，获得所述直播流的主播画像特征信息和所述直播流的直播交互特征信息。
92.在截取到直播片段之后，服务器还可以获取直播流的主播画像数据，并根据主播画像数据得到主播画像特征信息；以及还可以获取直播流的直播交互数据，并根据直播交
互数据得到直播交互特征信息。
93.可选地，主播画像数据包括但不限于为：主播性别、主播年龄、主播七天内直播次数、主播三十天内直播次数、主播一天内违规次数、主播七天内违规次数、主播在之前一个月内的违规次数中至少一种。直播交互数据包括但不限于为当前直播时长、直播评论总数量、直播五分钟内评论数量、直播十分钟内评论数量、直播观众数、直播五分钟内进入观众数、直播十分钟内进入观众数中至少一种。
94.在步骤s2013中，融合所述内容特征信息、主播画像特征信息和直播交互特征信息，获得所述直播流在所述第一预设时刻的直播特征信息。
95.在获取到所述内容特征信息、主播画像特征信息和直播交互特征信息之后，可以将这些特征信息进行融合处理，得到所述直播流在所述第一预设时刻的直播特征信息。这里的融合处理包括但不限于向量拼接等。
96.上述实施例，由于获取的直播流数据的时间跨度可能较长，距离当前时刻较近的已播放的直播片段可能更有价值，因此通过该直播片段进行违规风险预测，更有利于准确预测未来时间段的违规风险情况。此外，在确定直播流对应的直播特征信息时，除了考虑提取的直播片段的内容特征信息之外，还综合了主播画像特征信息和直播交互特征信息，并根据融合提取的这三种特征信息得到反映该直播流的直播特征信息。如此，获取的直播特征信息涵盖了更丰富的直播信息，有利充分学习各提取特征对预测结果的内在关联，进而更有利于提高后续违规风险预测结果的准确性。
97.在步骤s202中，对所述直播特征信息进行风险预测，得到所述各直播流在所述第一预设时刻的风险值，所述风险值用于表征各直播流为违规直播内容的概率。
98.在一可选实施方式中，所述对所述直播特征信息进行风险预测，得到所述直播流在所述第一预设时刻的风险值步骤包括步骤s2021
‑
s2023。
99.在步骤s2021中，获取所述直播流在上一预设时刻的隐藏特征信息，所述上一预设时刻早于所述第一预设时刻、且与所述第一预设时刻间隔所述第一预设时间间隔。
100.其中，隐藏特征信息用于表征直播流中对应直播片段的特征信息，以及该直播片段与其他直播片段序列之间隐藏的依赖关系。
101.可选地，该隐藏特征信息可以是利用直播风险预测模型中的隐藏特征提取模块提取得到。
102.其中，直播风险检测模型可以是经过训练的神经网络模型，该直播风险检测模型可以包括用于处理时间依赖关系的隐藏特征提取模块。可选地，该隐藏特征提取模块可以包括长短期记忆(lstm，long short
‑
term memory)网络，该lstm网络是一种时间循环神经网络，是为了解决普通的rnn(循环神经网络)存在的长期依赖问题而设计的。lstm网络通过增加输入门、遗忘门和输出门的组合，自动学习各直播片段序列中有用的信息，捕获各直播片段序列之间隐藏的依赖关系，以得到直播流在对应预设时刻的隐藏特征信息。
103.仅作为示例，第一预设时刻为第一个风险预测时刻，例如直播流包括三个连续的直播片段为p1～p3，直播片段p1对应的风险预测时刻为第一预设时刻。在第一预设时刻为第一个风险预测时刻时，获取所述直播流在上一预设时刻的隐藏特征信息作为初始化值。在另一个示例中，第一预设时刻为非第一个风险预测时刻，例如直播流包括三个连续的直播片段为p4～p6，直播片段p6对应的风险预测时刻为第一预设时刻，直播片段p5对应的风
险预测时刻为上一预设时刻，直播片段p4对应的风险预测时刻为上上一预设时刻。第一预设时刻为非第一个风险预测时刻时，可以先获取所述直播流在上一预设时刻的直播特征信息(也即直播片段p5对应的直播特征信息)，将该上一预设时刻的直播特征信息和上上一预设时刻的隐藏特征信息(也即直播片段p4对应的隐藏特征信息)输入至直播风险检测模型的隐藏特征提取模块进行处理，将隐藏特征提取模块输出得到的隐藏状态作为所述直播流在上一预设时刻的隐藏特征信息(也即直播片段p5对应的隐藏特征信息)。具体地，该上一预设时刻的隐藏特征信息可以是lstm网络的输出，该隐藏特征信息是与直播流的直播特征信息相关、且较难从直观上提取的特征。该隐藏特征信息用于表征直播流中对应直播片段的特征信息、以及该直播片段与其他直播片段序列之间隐藏的依赖关系。
104.其中，直播片段p5对应的隐藏特征信息的获取方式可以类似于直播片段p6对应的隐藏特征信息的获取方式。具体地，直播片段p5对应的隐藏特征信息可以为初始化值，也可以通过直播风险检测模型中隐藏特征提取模块对直播片段p5对应的直播特征信息和直播片段p5的上一预设时刻的隐藏特征信息进行处理，并基于隐藏特征提取模块输出得到的隐藏状态确定得到。
105.其中，上一预设时刻的直播特征信息可以与所述直播流在第一预设时刻的直播特征信息类似。具体的，该直播流在上一预设时刻的直播特征信息可以是基于融合该直播流在上一预设时刻的内容特征信息、主播画像特征信息和直播交互特征信息确定得到。仅作为示例，直播流在上一预设时刻的内容特征信息是基于直播流的音频数据和/或文本数据所确定得到。主播画像数据包括但不限于为：主播性别、主播年龄、主播七天内直播次数、主播三十天内直播次数、主播一天内违规次数、主播七天内违规次数、主播在之前一个月内的违规次数中至少一种。直播交互数据包括但不限于为当前直播时长、直播评论总数量、直播五分钟内评论数量、直播十分钟内评论数量、直播观众数、直播五分钟内进入观众数、直播十分钟内进入观众数中至少一种。
106.步骤s2022中，根据所述第一预设时刻的直播特征信息和所述上一预设时刻的隐藏特征信息，获得所述直播流在所述第一预设时刻的隐藏特征信息。
107.可选地，将所述第一预设时刻的直播特征信息和所述上一预设时刻的隐藏特征信息输入至直播风险检测模型中隐藏特征提取模块进行处理，将该隐藏特征提取模块输出得到的隐藏状态作为所述直播流在第一预设时刻的隐藏特征信息。
108.在步骤s2023中，基于所述隐藏特征信息进行风险预测，得到所述直播流在所述第一预设时刻的风险值。
109.可选地，可以利用直播风险预测模型中预测模块对隐藏特征信息进行风险预测，以得到直播流在所述第一预设时刻的违规概率。该预测模块可以包括全连接层和激活层，该激活层包括但不限于softmax层。具体的，通过该全连接层将隐藏特征信息连接，并通过激活层转化为对应的直播流在所述第一预设时刻的违规概率。该违规概率可以通过包括但不限于风险值进行表示。该风险值反映直播流在未来时间段时间段为违规直播内容的概率。其中，未来时间段晚于当前时刻为距离当前时刻的预设时间区间，例如，未来时间段可以为未来十几秒、未来几十秒、未来几分钟、未来几十分钟等等。仅作为示例，未来时间段可以包括但不限于为未来5分钟、未来10分钟、未来15分钟等等。
110.上述直播风险检测模型的训练过程中，可以利用直播间在未来一段时间内(例如
五分钟之内)是否违规作为训练标签，并使用二分类的交叉熵损失函数进行训练得到。在预测的过程中，直播风险检测模型最终会输出直播间在未来一段时间内(例如五分钟之内)的违规概率，我们可以称之为：风险值。
111.上述实施例，由于直播间的风险程度往往随着时间的推移往往具有趋势性，例如，当某个直播间的色情爱好观众在一段时间内迅速增加时，预示着该直播可能会有色情违规。如此，通过计算直播间在某个预设时刻的风险值时通过考虑该直播间前面时刻的各种特征信息，也即在预测风险值时，一方面需要向直播风险检测模型输入当前时刻直播特征，另一方面需要输入前一个时刻直播风险检测模型的输出的隐藏特征信息，以此来刻画同一个直播间在不同时刻特征的趋势性；通过综合直播间在当前时刻的特征信息以及之前时刻的输出信息计算风险程度，提高了风险程度计算的准确性，便于更准确地预测直播流的风险值。
112.在步骤s203中，获取风险值排序列表，所述风险值排序列表记录多个直播流在对应的预设时刻的风险值，并利用所述各直播流在所述第一预设时刻对应的风险值更新所述风险值排序列表，得到更新的风险值排序列表。
113.可选地，风险值排序列表为用于存储正在直播中的多个直播流与该多个直播流对应的风险值之间对应关系的数据表。风险值排序列表包括多个直播流在对应预设时刻的风险值的记录。该风险值排序列表中数据可以为键值(key
‑
value)对形式存储，例如key可以为直播流标识，该直播流标识可以包括但不限于为直播房间号、主播id、主播昵称、主播账号等唯一身份标识。value可以为该直播流对应的风险值，该风险值可以是整数分值、小数分值、百分比例分值等，本技术对此不作具体限定。
114.风险值排序列表可以是事先根据风险值的高低经过排序的列表。在服务器获取到新的直播流对应的风险值或者直播流对应的新的风险值时，可以将该直播流及对应的风险值加入到该风险值排序列表中，并可以实时或者在满足预设更新时间后对风险值排序列表进行重新排序更新，得到更新的风险值排序列表。该预设更新时间可以为数秒、十几秒、几十秒、数分钟等，仅作为示例，预设更新时间可以为但不限于为1分钟。
115.仅作为示例，若直播流a在ta时刻的风险值为a1，直播流b在ta时刻的风险值为a2，直播流c在ta时刻的风险值为a3。直播流a在第一预设时刻t1的风险值为a1’，直播流b在第一预设时刻t1的风险值为a2’，直播流c在第一预设时刻t1的风险值为a3’，直播流d在第一预设时刻t1的风险值为a4’。其中ta的时间早于第一预设时刻t1，a1＞a2＞a3，a2’＞a4’＞a1’＞a3’。风险值排序列表在更新前，也即在ta时刻其记录可以表示为{(a,a1)，(b,a2)，(c,a3)}，更新后的风险值排序列表可以表示为{(b,a2’)，(d,a4’)，(a,a1’),(c,a3’)}。
116.在步骤s204中，根据所述更新的风险值排序列表，确定满足预设审核条件的直播流为待审核的目标直播流。
117.在一可选实施方式中，所述根据所述更新的风险值排序列表，确定满足预设审核条件的直播流为待审核的目标直播流步骤包括：
118.根据风险值由大至小的排序顺序，从更新的风险值排序列表中确定预设数量的风险值对应的直播流为满足预设审核条件的直播流；或者
119.将所述更新的风险值排序列表中风险值大于预设风险值对应的直播流作为满足预设审核条件的直播流。
120.可选的，在确定更新的风险值排序列表之后，可以根据风险值由大至小的排序顺序，从更新的风险值排序列表中确定预设数量n的风险值对应的直播流，也即抽取top
‑
n个直播流作为待审核的目标直播流。或者，将更新的风险值排序列表中风险值大于预设风险值对应的直播流作为待审核的目标直播流。
121.一个示例中，通过人工审核或机器自动审核的方式对确定的目标直播流进行实时审核。其中，预设数量n为正整数，可以根据实际审核人力情况进行确定，或者审核设备所能承受的额定同步审核数量而确定。该预设风险值可以为大于等于最大风险值的一半对应的任一值。本公开对此不作具体限定。
122.在步骤s205中，根据所述目标直播流的审核结果，控制所述目标直播流。
123.在一可选实施方式中，如图3所示，所述根据所述目标直播流的审核结果，控制所述目标直播流步骤可以包括：
124.在步骤s301中，若在预设审核时间段审核出所述目标直播流存在违规直播内容，对所述目标直播流进行违规处理，并从风险值排序列表中删除所述目标直播流对应的记录。
125.其中，预设审核时间段为晚于第一预设时刻的时间区间，预设审核时间段的时间区间可以为几分钟、十几分钟、几十分钟等。仅作为示例，预设审核时间段的时间区间包括但不限于为3分钟、5分钟、10分钟、15分钟等等。
126.在实际应用中，以预设审核时间段为5分钟为例，若对目标直播流审核五分钟之后，审核出该目标直播流存在违规直播内容，则对该目标直播流进行违规处理。这里的违规处理包括但不限于为关闭直播间、暂停直播间、遮挡违规内容、警告、封号等。接着，将经过违规处理的目标直播流对应的记录从风险值排序列表中剔除，并重新更新风险值排序列表。
127.上述实施例，通过在预设审核时间段审核出该目标直播流存在违规直播内容，立即对该目标直播流进行违规处理，可以做到几乎零延迟，及时遏制违规直播的不良影响，提高了直播控制的及时性，最大程度的降低了违规内容的曝光时间。同时从风险值排序列表中删除被执行违规处理的目标直播流对应的记录，从而减少对违规直播的审核资源占用，为其他直播流提供更多的审核机会，提高了对违规内容的审核效率和效果。
128.在一可选实施方式中，继续如图3所示，所述根据所述目标直播流的审核结果，控制所述目标直播流步骤还可以包括：
129.在步骤s302中，在执行直播审核的预设审核时间段内，获得所述目标直播流在第二预设时刻的风险值；所述第二预设时刻晚于所述第一预设时刻，且与所述第一预设时刻之间相差至少一个第一预设时间间隔；
130.在步骤s303中，当预测到目标直播流在第二预设时刻的风险值低于全部目标直播流中最低风险值时，则停止审核所述目标直播流。
131.在实际应用中，以预设审核时间段为5分钟为例，在目标直播流被审核的5分钟之内，在每个第二预设时刻，仍利用直播风险检测模型对该目标直播流的直播特征信息进行风险预测，预测在第二预设时刻该目标直播流的风险值。该第二预设时刻晚于第一预设时刻且与所述第一预设时刻之间相差第一预设时间间隔。例如，若第一预设时刻为t1，则第二预设时刻t2可以为t1 nδt，其中δt为第一预设时间间隔,n为正整数。该δt可以为小于该
预设审核时间段(比如5分钟)的时间间隔。若在某个第二预设时刻预测得到的风险值低于全部目标直播流中最低风险值时，例如被审核的top
‑
n中最小风险值，则可以提前自动退出审核该目标直播流的流程，停止审核所述目标直播流，无需对该目标直播流执行完这5分钟预设审核时间段的审核流程。同时，可以将风险值排序列表中风险值较高的直播流替代该退出审核的目标直播流进入审核流程，从而可以为其他高风险值对应的直播流让出审核资源，避免至少一个直播的违规概率交底却仍被审核，造成审核资源浪费，进一步提高了审核资源的利用率、审核质量和审核效率。
132.仅作为示例，若在目标直播流m的预设审核时间段内，在第二预设时刻，再次对目标直播流m的风险值进行预测，得到第二预设时刻对应的风险值am2。由于被审核的直播流是根据风险值排序列表所确定top
‑
n个风险值对应的直播流，若该第二预设时刻对应的风险值am2小于被审核的top
‑
n个风险值中最小风险值的情况下，则停止审核该目标直播流m，否则，继续审核该目标直播流m。
133.上述实施例，通过在预设审核时间段内，若预测到被审核的目标直播流在第二预设时刻的风险值低于全部目标直播流中最低风险值时，也即该目标直播流的风险值降低到不需要继续审核的情况，则停止审核该目标直播流。如此，减少了对非违规直播的审核资源占用，为其他直播流提供更多的审核机会，进一步提高了对违规内容的审核效率和效果。
134.在一可选实施方式中，如图4所示，所述方法还包括步骤s401
‑
步骤s402。
135.在步骤s401中，若在预设审核时间段未审核出所述目标直播流存在违规直播内容，根据预设调低策略调低所述目标直播流对应的风险值，并基于调低后的风险值更新风险值排序列表。
136.在实际应用中，以预设审核时间段为5分钟为例，若对目标直播流审核5分钟过程中，该目标直播流一直没有违规，则可以根据预设调低策略调低该目标直播流对应的预测风险值，将该目标直播流赋予一个较低的风险值，例如可以赋予一个不被选中为待审核的目标直播流的风险值，例如，赋予一个小于被审核的目标直播流中最小风险值对应的风险值，当然，也可以将该目标直播流的风险值设置为零，也可以按照一预设调低比例调低该目标直播流的预测风险值，仅作为示例，该预设调低比例可以为10％
‑
90％中任一值。接着，将该目标直播流经调低后的风险值替换记录在风险值排序列表中对应的风险值，并根据风险值大小进行排序，得到更新的风险值排序列表。
137.上述实施例，通过对目标直播流进行第二预设时间段的审核，若审核该目标直播流没有违规，则赋予该目标直播流一个更低的风险值，并更新风险值排序列表，从而可以为其他高风险值对应的直播流让出审核资源，避免一个直播没有违规却长期被审核，造成审核资源浪费，提高了审核资源的利用率、审核质量和审核效率。若审核该目标直播流存在违规，则立即对该目标直播流进行判罚违规处理，可以做到几乎零延迟，及时遏制违规直播的不良影响，提高了直播控制的及时性；同时在尽可能节约资源的情况下将直播审核的延迟降低到几乎为零，从而最大程度地减少了违规内容的曝光时间。
138.在又一可选实施例中，继续如图4所示，上述步骤s401，所述若在预设审核时间段未审核出所述目标直播流存在违规直播内容，根据预设调低策略调低所述目标直播流对应的风险值，并基于调低后的风险值更新风险值排序列表步骤之后，所述方法还可以包括：
139.在步骤s402中，当预测到目标直播流对应的风险值高于所述目标直播流被审核之
前的预测风险值时，将预测得到所述目标直播流的风险值作为所述目标直播流的风险值，并更新风险值排序列表。
140.在实际应用中，若在预设审核时间段未审核出目标直播流存在违规直播内容，调低该目标直播流对应的风险值，并基于调低后的风险值更新风险值排序列表。之后，在下一风险值预测对应的预设时刻，若预测到该目标直播流对应的风险值高于目标直播流被审核之前的预测风险值时，也即预测到该目标直播流对应的风险值高于目标直播流被抽取进入直播审核时的最近一次风险值，也就是说预测该目标直播流存在违规风险的概率升高，则将该目标直播流新预测的风险值替换掉经过调低后的风险值，以作为该目标直播流的风险值，基于替换后的新的预测风险值更新风险值排序列表，以便于重新对该目标直播流进行再次审核。从而，可以根据直播流的实际违规风险情况，及时作出调整，进一步降低了直播审核的延迟，提高了直播控制的及时性；同时在尽可能节约资源的情况下将直播审核的延迟降低到几乎为零，从而最大程度地减少了违规内容的曝光时间。
141.上述实施例，通过根据预测的风险值，从直播流中抽取高风险值对应的目标直播流进行实时审核，并根据实时审核结果对目标直播流进行控制并更新风险值排序列表，无需对全量直播流进行实时审核，降低了直播审核成本，且在最大程度的降低了审核延迟的情况下节约了审核资源，也最大程度减少了违规直播的曝光时间。
142.请参阅图5，为一示例性实施例示出的一种直播控制方法的过程示意图，直播控制方法可以应用于电子设备，以该电子设备为上述实施环境示意图中服务器为例进行说明，包括以下步骤。
143.在步骤s201中，获取至少一个直播流中的直播片段，提取所述直播片段的特征，获得各直播流在第一预设时刻的直播特征信息。其中，直播片段的开始时刻早于第一预设时刻，且与所述第一预设时刻之间相差第一预设时间间隔。
144.在步骤s202中，对所述直播特征信息进行风险预测，得到所述各直播流在所述第一预设时刻的风险值，所述风险值用于表征各直播流为违规直播内容的概率。
145.在步骤s203中，获取风险值排序列表，所述风险值排序列表记录多个直播流在对应的预设时刻的风险值，并利用所述各直播流在所述第一预设时刻对应的风险值更新所述风险值排序列表，得到更新的风险值排序列表。
146.在步骤s204中，根据所述更新的风险值排序列表，确定满足预设审核条件的直播流为待审核的目标直播流。
147.在步骤s205中，根据所述目标直播流的审核结果，控制所述目标直播流。步骤s205具体实现为：在预设审核时间段审核所述目标直播流是否存在违规直播内容；若是，则执行步骤s301；若否，则执行步骤s401。
148.在步骤s301中，若在预设审核时间段审核出所述目标直播流存在违规直播内容，对所述目标直播流进行违规处理，并从风险值排序列表中删除所述目标直播流对应的记录。
149.在步骤s401中，若在预设审核时间段未审核出所述目标直播流存在违规直播内容，根据预设调低策略调低所述目标直播流对应的风险值，并基于调低后的风险值更新风险值排序列表。
150.具体的，上述步骤s201
‑
s205、s301、s401的描述可参阅前述图2
‑
4所示实施例的相
关描述，在此不再赘述。
151.图6是根据一示例性实施例示出的一种直播控制装置框图。参照图6，该装置包括：
152.特征获取模块610，被配置为执行获取至少一个直播流中的直播片段，提取所述直播片段的特征，获得各直播流在第一预设时刻的直播特征信息；所述直播片段的开始时刻早于所述第一预设时刻，且与所述第一预设时刻之间相差第一预设时间间隔；
153.风险值确定模块620，被配置为执行对所述直播特征信息进行风险预测，得到所述各直播流在所述第一预设时刻的风险值，所述风险值用于表征各直播流为违规直播内容的概率；
154.列表更新模块630，被配置为执行获取风险值排序列表，所述风险值排序列表记录多个直播流在对应的预设时刻的风险值，并利用所述各直播流在所述第一预设时刻对应的风险值更新所述风险值排序列表，得到更新的风险值排序列表；
155.确定模块640，被配置为执行根据所述更新的风险值排序列表，确定满足预设审核条件的直播流为待审核的目标直播流；
156.控制模块650，被配置为执行根据所述目标直播流的审核结果，控制所述目标直播流。
157.作为一种可选的实施方式，如图7所示，所述控制模块650包括：
158.第一控制单元651，被配置为执行若在预设审核时间段审核出所述目标直播流存在违规直播内容，对所述目标直播流进行违规处理，并从风险值排序列表中删除所述目标直播流对应的记录。
159.作为一种可选的实施方式，继续如图7所示，所述控制模块650还包括：
160.获取单元652，被配置为执行在执行直播审核的预设审核时间段内，获得所述目标直播流在第二预设时刻的风险值；所述第二预设时刻晚于所述第一预设时刻，且与所述第一预设时刻之间相差至少一个第一预设时间间；
161.第二控制单元653，被配置为执行当预测到目标直播流在第二预设时刻的风险值低于全部目标直播流中最低风险值时，则停止审核所述目标直播流。
162.作为一种可选的实施方式，如图8所示，所述装置还包括：
163.调低模块660，被配置为执行若在预设审核时间段未审核出所述目标直播流存在违规直播内容，根据预设调低策略调低所述目标直播流对应的风险值，并基于调低后的风险值更新风险值排序列表。
164.作为一种可选的实施方式，所述装置还包括：
165.替换模块，被配置为执行当预测到目标直播流对应的风险值高于所述目标直播流被审核之前的预测风险值时，将预测得到所述目标直播流的风险值作为所述目标直播流的风险值，并更新风险值排序列表。
166.作为一种可选的实施方式，所述特征获取模块包括：
167.第一特征获取单元，被配置为执行提取所述直播片段的内容特征，得到所述直播片段对应的内容特征信息；
168.第二特征获取单元，被配置为执行获得所述直播流的主播画像特征信息和所述直播流的直播交互特征信息；
169.融合单元，被配置为执行融合所述内容特征信息、主播画像特征信息和直播交互
特征信息，获得所述直播流在第一预设时刻的直播特征信息。
170.作为一种可选的实施方式，所述风险值确定模块包括：
171.第一获取单元，被配置为执行获取所述直播流在上一预设时刻对应的隐藏特征信息，所述上一预设时刻早于所述第一预设时刻、且与所述第一预设时刻间隔所述第一预设时间间隔；
172.第二获取单元，被配置为执行根据所述第一预设时刻的直播特征信息和所述上一预设时刻的隐藏特征信息，获得所述直播流在所述第一预设时刻的隐藏特征信息；
173.预测单元，被配置为执行基于所述隐藏特征信息进行风险预测，得到所述直播流在所述第一预设时刻的风险值。
174.作为一种可选的实施方式，所述确定模块包括：
175.第一确定单元，被配置为执行根据风险值由大至小的排序顺序，从更新的风险值排序列表中确定预设数量的风险值对应的直播流为满足预设审核条件的直播流；或者
176.第二确定单元，被配置为执行将所述更新的风险值排序列表中风险值大于预设风险值对应的直播流作为满足预设审核条件的直播流。
177.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
178.图9是根据一示例性实施例示出的一种电子设备的框图。参照图9，电子设备包括处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行存储器上所存放的指令时，实现上述实施例中任一直播控制方法的步骤。
179.该电子设备可以终端、服务器或者类似的运算装置，以该电子设备是服务器为例，图9是根据一示例性实施例示出的一种用于直播控制的电子设备的框图，该电子设备900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，cpu)910(处理器910可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器930，一个或一个以上存储应用程序923或数据922的存储介质920(例如一个或一个以上海量存储设备)。其中，存储器930和存储介质920可以是短暂存储或持久存储。存储在存储介质920的程序可以包括一个或一个以上模块，每个模块可以包括对电子设备中的一系列指令操作。更进一步地，中央处理器910可以设置为与存储介质920通信，在电子设备900上执行存储介质920中的一系列指令操作。
180.电子设备900还可以包括一个或一个以上电源960，一个或一个以上有线或无线网络接口950，一个或一个以上输入输出接口940，和/或，一个或一个以上操作系统921，例如windows server，mac os x，unix,linux，freebsd等等。
181.输入输出接口940可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括电子设备900的通信供应商提供的无线网络。在一个实例中，输入输出接口940包括一个网络适配器(network interface controller，nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个示例性实施例中，输入输出接口940可以为射频(radio frequency，rf)模块，其用于通过无线方式与互联网进行通讯。
182.本领域普通技术人员可以理解，图9所示的结构仅为示意，其并不对上述电子设备的结构造成限定。例如，电子设备900还可包括比图9中所示更多或者更少的组件，或者具有与图9所示不同的配置。
183.在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器，上述指令可由电子设备900的处理器执行以完成上述方法。可选地，计算机可读存储介质可以是rom、随机存取存储器(ram)、cd
‑
rom、磁带、软盘和光数据存储设备等。
184.在示例性实施例中，还提供了一种计算机程序产品，该计算机程序产品包括计算机程序或指令，该计算机程序或指令被处理器执行时实现上述任一种实施方式中提供的视频搜索方法。可选地，该计算机程序或指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机程序或指令，处理器执行该计算机程序或指令，使得该电子设备执行上述任一种实施方式中提供的方法。
185.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
186.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。